JP7497767B2 - 情報処理装置および方法、並びにプログラム - Google Patents

Description

本技術は、情報処理装置および方法、並びにプログラムに関し、特に、符号量を削減することができるようにした情報処理装置および方法、並びにプログラムに関する。

従来の固定視点向け3D Audioとして規格化されたMPEG（Moving Picture Experts Group）-H符号化規格は、受聴者の位置を原点とし、その周りの空間内をオーディオオブジェクトが移動するという考え方に基づいている（例えば、非特許文献１参照）。

これに対して、受聴者が空間上を自由に移動することができる、つまり受聴者の視点位置（受聴位置）を自由に移動させることができる自由視点に関する技術も提案されている。

ISO/IEC 23008-3 Information technology － High efficiency coding and media delivery in heterogeneous environments － Part 3: 3D audio

例えば自由視点向けオーディオ再生において、空間内に存在する各々のオブジェクトの位置を伝送する場合、全てのオブジェクトが含まれる空間全体に対する位置情報の符号化が行われている。すなわち、空間全体を含む座標系におけるオブジェクトの位置情報が符号化される。

しかし、空間全体におけるオブジェクトの存在箇所には偏りがあり、オブジェクトが空間内の特定の領域に集中していることもある。そのような場合、空間全体に対してオブジェクトの位置情報の正規化および符号化を行うと、実際にはオブジェクトが存在しない領域までを表現するための情報量（符号量）が必要となり、結果として伝送符号量が多くなってしまう。

本技術は、このような状況に鑑みてなされたものであり、符号量を削減することができるようにするものである。

本技術の一側面の情報処理装置は、親空間内に含まれる子空間の前記親空間内における位置と大きさに関する空間情報と、前記子空間に含まれるオーディオオブジェクトの前記子空間内における位置を示す子空間内位置情報とを取得する取得部と、前記空間情報および前記子空間内位置情報に基づいて、前記親空間内における前記オーディオオブジェクトの位置を示す親空間内位置情報を算出する算出部とを備える。

本技術の一側面の情報処理方法またはプログラムは、親空間内に含まれる子空間の前記親空間内における位置と大きさに関する空間情報と、前記子空間に含まれるオーディオオブジェクトの前記子空間内における位置を示す子空間内位置情報とを取得し、前記空間情報および前記子空間内位置情報に基づいて、前記親空間内における前記オーディオオブジェクトの位置を示す親空間内位置情報を算出するステップを含む。

本技術の一側面においては、親空間内に含まれる子空間の前記親空間内における位置と大きさに関する空間情報と、前記子空間に含まれるオーディオオブジェクトの前記子空間内における位置を示す子空間内位置情報とが取得され、前記空間情報および前記子空間内位置情報に基づいて、前記親空間内における前記オーディオオブジェクトの位置を示す親空間内位置情報が算出される。

本技術の一側面によれば、符号量を削減することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

親空間と子空間について説明する図である。 親空間と子空間の座標系について説明する図である。 量子化について説明する図である。 分割インデックスと分割数の例を示す図である。 子空間内位置情報の量子化例を示す図である。 使用ビット数の差について説明する図である。 エンコーダの構成例を示す図である。 符号化処理を説明するフローチャートである。 デコーダの構成例を示す図である。 復号処理を説明するフローチャートである。 ヘッダ情報の例を示す図である。 子空間情報の例を示す図である。 初回量子化位置情報送信要求の例を示す図である。 初回量子化位置情報の例を示す図である。 追加ビット情報送信要求の例を示す図である。 追加ビット情報の例を示す図である。 コンテンツ再生システムの構成例を示す図である。 絶対座標位置情報エンコーダの構成例を示す図である。 サーバの構成例を示す図である。 クライアントの構成例を示す図である。 符号化処理およびファイル保存処理を説明するフローチャートである。 位置情報取得処理および位置情報送信処理を説明するフローチャートである。 追加ビット情報取得処理および追加ビット情報送信処理を説明するフローチャートである。 子空間の例を示す図である。 子空間の例を示す図である。 ヘッダ情報の例を示す図である。 子空間情報の例を示す図である。 フレームのスキップについて説明する図である。 初回量子化位置情報送信要求の例を示す図である。 初回量子化位置情報の例を示す図である。 位置情報取得処理および位置情報送信処理を説明するフローチャートである。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈本技術について〉
本技術は、所定の空間内に存在するオブジェクトの位置情報を、その空間よりも小さい子空間内の位置情報に変換し、変換後の位置情報を量子化することで符号量を削減することができるようにするものである。

特に、本技術は、以下の特徴Ｔ（１）乃至特徴Ｔ（４）を有している。

特徴Ｔ（１）
全体空間（親空間）から符号化対象となるオブジェクトの存在範囲を包含するスケーリングされた空間（子空間）を形成する
特徴Ｔ（２）
親空間から子空間へのスケーリング変換を行ってから符号化および復号を行い、復号された子空間のオブジェクトの位置情報に対して子空間から親空間への逆スケーリング変換を行い、親空間上に復元する
特徴Ｔ（３）
複数の異なる空間を子空間として配置し、受聴者が所望の子空間を選択的に受信、再生する
特徴Ｔ（４）
復号側は伝送されたスキップフレーム情報と補間情報をもとに現在の再生位置からスキップフレーム先の一つ手前のフレームまで補間されたオブジェクトの位置情報を生成する

なお、本技術において符号化対象となるオブジェクトの位置情報は、オーディオオブジェクトの位置を示す位置情報に限らず、画像上や仮想的な空間内のビデオオブジェクトの位置を示す位置情報など、どのようなものであってもよい。以下では、オーディオオブジェクトの位置情報を符号化および復号する例について説明を行う。

それでは、以下、本技術についてより詳細に説明する。

まず、図１の矢印Q11に示すような３次元絶対座標系の全体空間である親空間PA11内に局所的に集中したオブジェクト群の領域がある場合について考える。なお、図１において各円はオブジェクト（オーディオオブジェクト）を表している。

ここでは親空間PA11は絶対座標により表される空間であり、親空間PA11内の位置は絶対座標により表される。換言すれば、親空間PA11は絶対座標系の座標空間である。なお、親空間は、例えば極座標系などの絶対座標系とは異なる他の座標系の座標空間であってもよいが、以下では親空間が絶対座標系の座標空間である場合を例として説明を続ける。

例えば親空間PA11内にあるオブジェクトの位置を表現する場合、親空間PA11内にある３次元絶対座標系の原点Oから見たオブジェクトの位置を３次元の絶対座標で表すのが一般的である。

これに対して本技術では、符号化側の装置、すなわちエンコーダは親空間PA11内におけるオブジェクトの分布状況を検知し、その検知結果に応じて局所的に集中したオブジェクト群を包囲する小空間を子空間とする。この例では、例えば矢印Q12に示すように複数のオブジェクトが含まれる、スケーリングされた小空間が子空間CA11とされている。

ここでは親空間PA11内に含まれている子空間CA11は絶対座標により表される空間であり、本技術では子空間CA11内の位置を絶対座標により表すこととする。換言すれば、子空間CA11は絶対座標系の座標空間である。なお、子空間は、例えば極座標系などの絶対座標系とは異なる他の座標系の座標空間であってもよいが、以下では子空間が絶対座標系の座標空間である場合を例として説明を続ける。

本技術では、親空間PA11内のオブジェクトの位置を親空間PA11の絶対座標系の座標で表現するのではなく、親空間PA11内における子空間CA11の位置と大きさに関する子空間情報と、子空間CA11の絶対座標系におけるオブジェクトの位置の座標とで表現する。

ここで、図２を参照して親空間PA11の座標系と子空間CA11の座標系について説明する。なお、図２において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

例えば図２では矢印Q21に示すように、親空間PA11はMPEG-Hで扱われている立方体の中心を原点Oとし、ｘ軸、ｙ軸、およびｚ軸の合計３つの軸からなる絶対座標系の座標空間である。

親空間PA11では各軸方向の位置を表現するのには、原点Oから端までの間の位置を表現するための0から1までの正規化値と、正負の符号情報とが必要になる。つまり、x軸方向、y軸方向、およびz軸方向の各方向の位置を示すx座標、y座標、およびz座標は、それぞれ-1から1までの値となる。

以下では、原点Oを基準とした親空間PA11の絶対座標系をxyz座標系とも称し、xyz座標系における位置を示す座標を（x,y,z）と記すこととする。

また、親空間PA11では、例えばx座標が0である位置から、x座標が1である位置までの実際の長さ（距離）が、後述する親空間PA11の絶対距離absoluteDistanceとなる。例えば絶対距離absoluteDistanceはメートルを単位として記述される。

これに対して、矢印Q22に示すように子空間CA11の絶対座標系の座標表現では、位置情報の符号化を容易にするという観点から正負の符号は用いられないようにされている。

ここでは子空間CA11は立方体または直方体の形状とされている。また、子空間CA11の絶対座標系は、親空間PA11の位置（-1,-1,-1）に相当する子空間CA11の頂点を原点O’とし、各辺は0から1までの正規化値を用いたものとされている。

すなわち、子空間CA11は、子空間CA11の図中、左下の頂点を原点O’とし、X軸、Y軸、およびZ軸の合計３つの軸からなる絶対座標系の座標空間である。

以下では、原点O’を基準とした子空間CA11の絶対座標系をXYZ座標系とも称し、XYZ座標系における位置を示す座標を（X,Y,Z）と記すこととする。特に、ここではX,Y,Zの座標値は、0から1までの間の値となる。

なお、ここではXYZ座標系の各軸方向の座標値は0以上の値となる場合について説明するが、各軸方向の座標値が負の値もとり得るようにしてもよい。また、子空間CA11の形状は立方体や直方体に限らず、どのような形状であってもよい。

図２に示す例では、親空間PA11内における子空間CA11の原点O’の位置を示すxyz座標系の座標は（x0,y0,z0）となっており、子空間CA11の原点O’の対角頂点の位置を示すxyz座標系の座標は（x1,y1,z1）となっている。

なお、以下ではxyz座標系におけるオブジェクトの位置、つまり親空間内におけるオブジェクトの位置を示す情報を親空間内位置情報とも称する。また、以下、XYZ座標系におけるオブジェクトの位置、つまり子空間内におけるオブジェクトの位置を示す情報を子空間内位置情報とも称する。

ところで、例えばオブジェクトの位置を示す位置情報を符号化する場合、入力されるオブジェクトの位置を示す情報は、親空間内における位置を示す親空間内位置情報となっている。そこで、本技術では、親空間から子空間、すなわち親空間内位置情報から子空間内位置情報への座標変換（スケーリング変換）が行われる。

いま、親空間内にあるi番目の子空間を示すインデックスをiとし、親空間内位置情報である座標（x,y,z）を、i番目の子空間の子空間内位置情報である座標（X,Y,Z）へと座標変換することとすると、その変換式は次式（１）に示すようになる。

但し、式（１）において0≦X≦1，0≦Y≦1，0≦Z≦1である。また、式（１）におけるa_x[i]、b_x[i]、a_y[i]、b_y[i]、a_z[i]、およびb_z[i]はi番目の子空間のスケーリング変換係数であり、次式（２）に示される。

なお、式（２）においてx0[i]、y0[i]、およびz0[i]はi番目の子空間の原点O’の位置を示すxyz座標系のx座標、y座標、およびz座標を示しており、上述した（x0,y0,z0）に対応する。また、x1[i]、y1[i]、およびz1[i]は、i番目の子空間の原点O’に対する対角頂点の位置を示すxyz座標系のx座標、y座標、およびz座標を示しており、上述した（x1,y1,z1）に対応する。

したがって、ここでは座標変換として座標系の軸ごとに１次関数を用いた関数変換が行われている。そして、その１次関数のパラメータとして各軸についての１次関数の傾きa_x[i]、a_y[i]、およびa_z[i]と、１次関数の切片b_x[i]、b_y[i]、およびb_z[i]とが用いられている。

例えば本技術では、これらの合計６個のパラメータが、親空間内における子空間の位置と大きさに関する子空間情報として用いられるようにすることができる。これらの１次関数のパラメータは、子空間の原点O’の座標（x0,y0,z0）、および対角頂点の座標（x1,y1,z1）から得られるものであるので、実質的に親空間内における子空間の位置と大きさを示す情報であるということができる。

なお、ビットストリームから親空間内における子空間の位置を示す情報を直接取得したい場合には、子空間情報として式（２）に示した１次関数のパラメータに代えて、親空間内における子空間の原点O’の座標（x0,y0,z0）と、その原点O’に対する子空間の対角頂点の座標（x1,y1,z1）を子空間情報としてそのまま伝送してもよい。

但し、子空間の基準となる頂点である原点O’の座標（x0,y0,z0）と対角頂点の座標（x1,y1,z1）を子空間情報として伝送する場合と比較して、１次関数のパラメータを子空間情報として伝送する方が、復号側における演算量は少なくて済む。

また、オブジェクト群が親空間内の複数個所に存在する場合には１つの親空間に対して複数の子空間を形成するようにしてもよい。

このように符号化対象のオブジェクトが存在する範囲に限定した子空間に合わせて、オブジェクトの位置情報を正規化することは、既存のオーディオ符号化のスペクトルの大きさに合わせたスケールファクタの適用と似た関係となる。

子空間の位置や大きさ、形状の決定はエンコーダに委ねられるが、子空間は対象となるオブジェクトが全て含まれ、かつ最も空間の容積が小さいものとなることが望ましい。

以上の座標変換により子空間内位置情報である座標（X,Y,Z）が得られると、その子空間内位置情報が所定の量子化精度で量子化されて量子化位置情報とされる。

量子化処理では、例えば図３に示すように子空間の一辺、つまり１つの軸方向の辺が0から1に正規化され、一辺に対する２のべき乗の分割された領域の中央値が量子化後の値とされる。なお、図３では説明を簡単にするため、子空間がX軸方向とY軸方向の２次元であるものとされている。

例えば子空間の各軸方向の範囲、つまり各軸の座標の範囲は0から1までであるが、この範囲を図中、右側に示すように2ⁿ（但し0≦n）個に分割し、分割後の各範囲の中央値が量子化後の値としてとりうる代表値とされる。

以下では、各軸方向の範囲を2ⁿ個に分割するときのn（指数部）の値を特に分割インデックスと称することとする。この分割インデックスは、２のべき乗で各軸方向の範囲を何分割するかを示すものである。

例えば図３に示す例では、分割インデックスの値が０である場合には、各軸方向の範囲が0個に分割される、つまり実質的には分割されないため、子空間内位置情報である座標（X,Y,Z）は（0.5,0.5,0.5）とされる。

また、例えば分割インデックスの値が１である場合には、各軸方向の範囲が２個に分割されるため、子空間内位置情報の各軸の座標は、0.25または0.75の何れかの値とされる。なお、図３では、くさび印の位置が量子化後の代表値を表している。

このように量子化を行う場合、２のべき乗値、つまり分割インデックスにより定まる分割数が多いほど、量子化精度が高くなる。

ここで、図４に分割インデックスが0から10である場合における、その分割インデックスに対応する各軸方向の範囲の分割数を示す。図４では、例えば分割インデックスの値が0である場合には分割数は0であり、分割インデックスの値が10である場合には分割数は512となっている。

次に、子空間内位置情報を最も高精度に量子化するための分割インデックス、つまり最も小さい量子化ステップ幅で量子化するための分割インデックスは、次式（３）に示すようになる。但し、ここでは受聴者からオブジェクトまでの最小距離MinDist以下は量子化しないルールが適用されているものとする。最小距離MinDistは、受聴者からオブジェクトまでの距離としてとり得る最小の距離であり、最小距離MinDistは、例えば受聴者の頭部の大きさが考慮されて、受聴者とオブジェクトとが重ならないように定められる。

なお、式（３）においてmax_exp_index_X、max_exp_index_Y、max_exp_index_Zは、それぞれ最も高い精度で量子化するためのX軸（X方向）、Y軸（Y方向）、およびZ軸（Z方向）の分割インデックス（以下、最高精度分割インデックスとも称する）を示している。また、式（３）においてINT()は、引数の整数部を出力するINT関数を示しており、「＾」はべき乗を示している。

さらに、式（３）において、absoluteDistanceX、absoluteDistanceY、およびabsoluteDistanceZは、子空間のX軸方向、Y軸方向、およびZ軸方向の各方向の辺の実際の距離（絶対距離）を示しており、これらの絶対距離は例えばメートル（m）を単位とするものである。同様に、受聴者からのオブジェクトまでの最小距離MinDistも例えばメートル（m）を単位とするものであり、この最小距離MinDistは一般的なユーザの頭の大きさなどの予め定められた値とされる。

式（３）により最高精度分割インデックスが求まると、子空間のXYZ座標系の各軸に対する量子化ステップ幅が以下の式（４）により求まる。

なお、式（４）においてstep_encX、step_encY、およびstep_encZは、XYZ座標系のX軸、Y軸、およびZ軸に対する量子化ステップ幅を示しており、「＾」はべき乗を示している。

さらに、このようにして求めた量子化ステップ幅を用いて次式（５）を計算することで、子空間内のオブジェクトの子空間内位置情報（X,Y,Z）を最も高い精度で量子化して得られる量子化位置情報のX座標、Y座標、およびZ座標であるQpx_high[i]、Qpy_high[i]、およびQpz_high[i]が求まる。なお、式（５）においてiは子空間を示すインデックスである。

なお、以下では、子空間内位置情報を量子化して得られた量子化位置情報のうち、特に最高精度分割インデックスに基づいて量子化することで得られた量子化位置情報を最高精度量子化位置情報とも称することとする。

また、ここでは最も高い量子化精度における各軸方向の領域の分割数の決定方法について受聴者からオブジェクトまでの最小距離MinDistを基準として用いたが、他の基準を用いてもよい。

さらに、最高精度分割インデックスは子空間の絶対距離が小さい場合など、分割数を多く必要としない場合があるため、空間の絶対距離に応じて上限の分割インデックスを定めて分割数を制限すれば不要なビット数を削減することができる。

その他、子空間内位置情報の量子化値、つまり量子化位置情報の値は、２のべき乗の分割数での除算を行うことで得られたものとなっている。そのため、最高精度量子化位置情報のMSB（Most Significant Bit）側、つまり最上位ビット側から必要なビット数を取り出すことで、任意の量子化精度の量子化位置情報を得ることができる。

すなわち、例えば子空間内位置情報の所定の軸の座標値「0.2」を各量子化精度、つまり各分割数で量子化した場合における量子化位置情報を図５に示す。

図５において文字「分割インデックス」、「１象限の１辺の分割数」、「量子化ステップ幅」は、上述した分割インデックス、１つの軸方向の範囲の分割数、および量子化時の量子化ステップ幅を示している。

また「量子化値」、「ビット表記」、および「伝送bit数」は量子化位置情報（整数値）の１つの軸方向の座標値、量子化位置情報の１つの軸方向の座標値のビット表記、および量子化位置情報の１つの軸方向の座標値のビット数を示している。さらに「デコード値」および「真値との誤差」は、量子化位置情報を復号して得られる子空間内位置情報の１つの軸方向の座標値、および復号後の子空間内位置情報の１つの軸方向の座標値と、量子化前の子空間内位置情報の１つの軸方向の座標値との誤差を示している。

ここでは、例えば最高精度分割インデックスが「11」であるとすると、その最高精度分割インデックスで量子化を行ったときの量子化値のビット表記は「00110011001」となる。

また、例えば最高精度分割インデックスよりも少ない分割数、つまりより量子化精度が低い分割インデックス「10」で量子化を行ったときの量子化値のビット表記は「0011001100」となる。

したがって、最高精度量子化位置情報の量子化値「00110011001」の最上位ビット側から、分割インデックス「10」により示されるビット数（10ビット）分だけビットを抽出すると、その分割インデックス「10」に対応する量子化値「0011001100」が得られることが分かる。

すなわち、最高精度量子化位置情報の最上位ビット側から分割インデックスに対応するビット数分だけ最高精度量子化位置情報のビットを抽出することで、任意の分割インデックス、つまり任意の量子化精度の量子化位置情報を得ることができる。

以上のように子空間の決定、親空間内位置情報の子空間内位置情報への座標変換、および子空間内位置情報の量子化を行う処理が親空間内位置情報の符号化処理として行われる。

次に、量子化位置情報の復号について説明する。量子化位置情報の逆量子化と、その逆量子化により得られた子空間内位置情報の親空間内位置情報への逆変換が復号処理として行われる。

例えば量子化位置情報のX座標、Y座標、およびZ座標をQpx_dec、Qpy_dec、およびQpz_decとし、X座標、Y座標、およびZ座標の分割インデックスをexp_index_fin_X、exp_index_fin_Y、およびexp_index_fin_Zとする。特に子空間を示すインデックスをiとして、その子空間についての分割インデックスexp_index_fin_X、exp_index_fin_Y、およびexp_index_fin_Zを、分割インデックスexp_index_fin_X[i]、exp_index_fin_Y[i]、およびexp_index_fin_Z[i]と記すこととする。

また、量子化位置情報を逆量子化して得られる子空間内位置情報（以下、特に復号子空間内位置情報とも称する）のX座標、Y座標、およびZ座標をXdec、Ydec、およびZdecとする。

この場合、逆量子化では次式（６）の計算が行われて復号子空間内位置情報が求められる。なお、式（６）においてiはオブジェクトが属す子空間を示すインデックスであり、「＾」はべき乗を示している。

続いて、このようにして得られた復号子空間内位置情報の座標（Xdec,Ydec,Zdec）に対して、次式（７）に示す逆スケーリング変換を行うと、もとの親空間内位置情報の座標（xdec,ydec,zdec）を得ることができる。この式（７）の計算は、上述した式（１）の逆変換である。なお、式（７）においてiはオブジェクトが属す子空間を示すインデックスである。

また、式（７）においてa’_x[i]、b’_x[i]、a’_y[i]、b’_y[i]、a’_z[i]、およびb’_z[i]はi番目の子空間から親空間への逆スケーリング変換係数であり、子空間情報としてのa_x[i]、b_x[i]、a_y[i]、b_y[i]、a_z[i]、およびb_z[i]を用いて次式（８）により表される。

以上の復号処理により、親空間内でのオブジェクトの位置を示す親空間内位置情報として座標（xdec,ydec,zdec）が得られる。なお、以下、復号処理により得られた親空間内位置情報を、適宜、復号親空間内位置情報とも称することとする。

本技術のように親空間内位置情報を子空間内位置情報に変換してから量子化を行うことで、親空間内位置情報をそのまま量子化する場合と比較して、量子化位置情報の符号量を少なくすることができる。換言すれば、オブジェクトの位置情報の伝送符号量を削減することができる。

具体的には、例えば図６に示すように親空間PA11内の一部の領域に複数のオブジェクトが集中して存在しており、子空間CA11を形成してオブジェクトの位置情報を符号化することを考える。なお、図６において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図６に示す例では、各円は１つのオブジェクトを表しており、立方体である親空間PA11の一辺の長さは128mとなっている。この親空間PA11に対して、親空間PA11内に含まれる立方体の子空間CA11が形成されており、子空間CA11の一辺の長さは10mとなっている。

このような場合、例えば親空間内位置情報の真値に対して位置の精度を0.2m以下とするために必要な座標系の１軸あたりの符号化ビット数は、親空間PA11で9ビット、子空間CA11で5ビットとなる。つまり、座標空間の一辺が128mであれば9ビット、座標空間の一辺が10mであれば5ビットが必要となる。

したがって、各座標空間の座標は３つの軸があるので、例えば親空間内位置情報をそのまま量子化する場合には量子化位置情報のビット数として27ビット必要となるのに対して、子空間内位置情報を量子化する場合には、同じ精度の情報を得るのに量子化位置情報のビット数として15ビットで済むことになる。このように１つのオブジェクトで12ビット削減することができる。

但し、子空間内位置情報を量子化する場合には、その子空間CA11の位置と大きさに関する子空間情報が必要となるが、子空間情報は、例えば１次関数のパラメータが１つで32ビットであるとすると合計で32×6＝192ビットとなる。また、時間方向において子空間の位置や大きさが変化しない場合には、フレームごとに子空間情報を伝送する必要がない。

このように子空間CA11内に含まれるオブジェクトの数が多くなるほど削減できるビット数は大きくなるので、オブジェクト数が多い場合には、親空間内位置情報をそのまま量子化するよりも子空間内位置情報を量子化した方が少ない符号量（ビット数）でオブジェクトの位置情報を伝送することができる。

〈エンコーダの構成例〉
続いて、以上において説明した本技術のより具体的な実施の形態について説明する。

図７は、本技術を適用したエンコーダの一実施の形態の構成例を示す図である。

図７に示すエンコーダ１１は、取得部２１、符号化部２２、および通信部２３を有している。

取得部２１は、外部の装置等から符号化対象となるオブジェクトの数を示すオブジェクト数、親空間の絶対距離absoluteDistance、および各オブジェクトの親空間内位置情報を取得して符号化部２２に供給する。

符号化部２２は、取得部２１から供給されたオブジェクト数や、親空間の絶対距離absoluteDistance、オブジェクトの親空間内位置情報に基づいて、各オブジェクトの親空間内位置情報を符号化し、その結果得られた符号化データを通信部２３に供給する。

符号化部２２は、子空間決定部３１、変換部３２、および量子化部３３を有している。

子空間決定部３１は、各オブジェクトの親空間内位置情報に基づいて子空間を決定する。変換部３２は、子空間決定部３１による子空間の決定結果に基づいて、各オブジェクトの親空間内位置情報を子空間内位置情報に変換する。量子化部３３は、子空間内位置情報を量子化する。

通信部２３は、符号化部２２から供給された符号化データを送信する。

〈エンコーダによる符号化処理の説明〉
次に、エンコーダ１１の動作について説明する。すなわち、以下、図８のフローチャートを参照して、エンコーダ１１による符号化処理について説明する。

ステップＳ１１において、取得部２１はオブジェクト数、親空間の絶対距離absoluteDistance、および各オブジェクトの親空間内位置情報を取得して符号化部２２に供給する。

ステップＳ１２において子空間決定部３１は、取得部２１から供給された各オブジェクトの親空間内位置情報に基づいて子空間を決定する。

例えばステップＳ１２では、親空間内に存在する全てのオブジェクトを含み、かつ最も容積が小さくなる立方体の領域（空間）が子空間とされる。なお、例えば複数のオブジェクト群間の距離が所定の距離以上離れている場合などにおいては、複数のオブジェクト群ごとに子空間が決定されるようにしてもよい。

ステップＳ１３において変換部３２は、取得部２１から供給された各オブジェクトの親空間内位置情報を子空間内位置情報に変換する。

例えばステップＳ１３では、上述した式（１）の計算が行われて座標変換により子空間内位置情報が算出される。なお、式（１）の計算に用いられる１次関数のパラメータは、子空間の決定結果、すなわち親空間内における子空間の原点O’の座標と、その原点O’に対する子空間の対角頂点の座標とから式（２）により得ることができる。

ステップＳ１４において量子化部３３は、分割インデックスを決定する。

例えばステップＳ１４では、予め定められた最小距離MinDistと、子空間の決定結果および絶対距離absoluteDistanceから求まる絶対距離absoluteDistanceX、absoluteDistanceY、およびabsoluteDistanceZとに基づいて上述した式（３）の計算が行われ、最高精度分割インデックスが求められる。

そして最高精度分割インデックスに基づいて、必要な量子化精度に対応する分割インデックスが決定される。ここでは、最高精度分割インデックスが、そのまま量子化に用いる分割インデックスとされてもよいし、最高精度分割インデックスよりも小さい値の分割インデックスが量子化に用いる分割インデックスとされてもよい。

なお、分割インデックスは、各オブジェクトについて子空間のXYZ座標系の軸ごとに決定されるようにすることができる。

ステップＳ１５において量子化部３３は、ステップＳ１４で決定した分割インデックスに基づいて、上述した式（４）と同様の計算を行うことにより量子化ステップ幅を求める。

ステップＳ１６において量子化部３３は、ステップＳ１３で得られた各オブジェクトの子空間内位置情報を量子化する。

例えばステップＳ１６では、ステップＳ１５で求められた量子化ステップ幅が用いられて上述した式（５）と同様の計算が行われ、親空間内位置情報の各軸の座標の量子化が行われる。すなわち各軸の座標成分ごとに量子化が行われる。これにより、各オブジェクトの量子化位置情報が得られる。

以上のステップＳ１２乃至ステップＳ１６の処理が親空間内位置情報を符号化する処理として行われる。なお、ここでは全てのオブジェクトの親空間内位置情報が子空間内位置情報に変換されて量子化されると説明したが、一部の親空間内位置情報のみが子空間内位置情報に変換されて量子化され、残りの一部の親空間内位置情報はそのまま量子化されるようにしてもよい。そのような場合、例えば他の全てのオブジェクトとの間の距離が所定の距離以上であり、近くに他のオブジェクトが存在しないオブジェクトについては、親空間内位置情報がそのまま量子化されるようにしてもよい。

ステップＳ１７において符号化部２２は、ステップＳ１６で得られた量子化位置情報、ステップＳ１１で取得されたオブジェクト数と絶対距離absoluteDistance、ステップＳ１２における子空間の決定結果から得られる子空間情報と各オブジェクトが属す子空間を示す情報（以下、オブジェクト所属情報とも称する）、およびステップＳ１４で決定された分割インデックスを含む符号化データを生成する。

符号化部２２は、得られた符号化データを通信部２３に供給する。

ステップＳ１８において通信部２３は、符号化部２２から供給された符号化データを送信し、符号化処理は終了する。

以上のようにしてエンコーダ１１は、親空間内位置情報を座標変換により子空間内位置情報へと変換するとともに、子空間内位置情報を量子化し、符号化データを生成する。このようにすることで、親空間内位置情報をそのまま符号化（量子化）する場合と比較して量子化位置情報の符号量を削減することができる。

〈デコーダの構成例〉
また、エンコーダ１１から出力された符号化データは、直接、または他の装置や記録媒体を介してデコーダに供給され、復号される。

ここで、エンコーダ１１により出力された符号化データを復号するデコーダについて説明する。図９は本技術を適用したデコーダの一実施の形態の構成例を示すものである。

図９に示すデコーダ６１は、取得部７１、復号部７２、および出力部７３を有している。

取得部７１は、エンコーダ１１により送信された符号化データを受信したり、他の装置から符号化データを取得したり、記録媒体から符号化データを読み出したりすることで符号化データを取得し、復号部７２に供給する。

復号部７２は、取得部７１から供給された符号化データをアンパッキングするとともに、符号化データから抽出された量子化位置情報を復号し、各オブジェクトの親空間内位置情報を得る。復号部７２は逆量子化部８１および変換部８２を有している。

逆量子化部８１は、各オブジェクトの量子化位置情報を逆量子化し、子空間内位置情報を算出する。変換部８２は、符号化データから抽出された子空間情報を用いて子空間内位置情報を親空間内位置情報に変換する。さらに変換部８２は、親空間内位置情報に符号化データから抽出された絶対距離absoluteDistanceを乗算することで、親空間内における、正規化されていない絶対的なオブジェクトの位置を算出し、その結果得られた位置情報を出力部７３に供給する。

このような逆量子化部８１と変換部８２を有する復号部７２は、空間情報と、量子化された子空間内位置情報である量子化位置情報とに基づいて、親空間内におけるオブジェクトの位置を示す親空間内位置情報を算出する算出部として機能する。

出力部７３は、復号部７２から供給された親空間内におけるオブジェクトの位置を示す位置情報を後段に出力する。

〈デコーダによる復号処理の説明〉
次にデコーダ６１の動作について説明する。すなわち、以下、図１０のフローチャートを参照してデコーダ６１による復号処理について説明する。

ステップＳ４１において取得部７１は符号化データを取得して復号部７２に供給する。復号部７２は、取得部７１から供給された符号化データをアンパッキングし、各オブジェクトの量子化位置情報、オブジェクト数、絶対距離absoluteDistance、子空間情報、オブジェクト所属情報、および分割インデックスを抽出する。

ステップＳ４２において逆量子化部８１は、各オブジェクトの量子化位置情報について、量子化位置情報と分割インデックスとに基づいて上述した式（６）を計算することで、量子化位置情報を逆量子化する。これにより、子空間内位置情報（復号子空間内位置情報）が得られる。

ステップＳ４３において変換部８２は、各オブジェクトについて、ステップＳ４２で得られた子空間内位置情報と、子空間情報とに基づいて逆スケーリング変換を行い、子空間内位置情報を親空間内位置情報に変換する。

例えばステップＳ４３では上述した式（８）により子空間情報としての１次関数のパラメータから逆スケーリング変換係数が求められ、さらに逆スケーリング変換係数と、復号子空間内位置情報とに基づいて式（７）の計算が行われ、復号親空間内位置情報が算出される。

変換部８２は、このようにして各オブジェクトの復号親空間内位置情報が得られると、それらの復号親空間内位置情報に絶対距離absoluteDistanceを乗算することで、親空間内におけるオブジェクトの位置を示す位置情報を求め、出力部７３に供給する。

このとき、変換部８２は、必要に応じてオブジェクト数やオブジェクト所属情報も出力部７３に供給し、出力部７３は変換部８２から供給されたオブジェクトの位置情報やオブジェクト数、オブジェクト所属情報を後段に出力する。

以上のステップＳ４２およびステップＳ４３の処理が、量子化位置情報を復号して親空間内位置情報を得る処理となる。このようにしてオブジェクトの位置情報が出力されると、復号処理は終了する。

以上のようにしてデコーダ６１は量子化位置情報を逆量子化し、その結果得られた子空間内位置情報を親空間内位置情報へと変換する。このようにすることで、親空間内位置情報がそのまま符号化（量子化）される場合と比較して、オブジェクトの位置を示す情報の符号量を削減することができる。

〈第２の実施の形態〉
〈コンテンツの配信について〉
ところで、本技術は少なくともオーディオオブジェクトのオーディオデータを含む自由視点のコンテンツの配置にも利用することができる。この場合、例えばサーバからクライアントに対して、コンテンツとしてのオーディオデータと、コンテンツの補助情報としてのオーディオオブジェクト（オブジェクト）の位置情報とが送信される。

このようにサーバからクライアントに対してコンテンツの補助情報として、オブジェクトの位置を示す量子化位置情報が送信される場合、サーバは量子化位置情報として、上述の最高精度量子化位置情報を予め保持しておくようにすることができる。

そうすればクライアント側、すなわち受聴者側の条件等に応じて、サーバが最高精度量子化位置情報から任意の量子化精度の量子化位置情報を生成し、クライアントへと供給することが可能となる。

例えば通信速度の制限がない場合には、サーバが最も量子化精度の高い最高精度量子化位置情報をそのままクライアントに送信することもできる。これに対して、例えば通信速度等に制限がある場合には、何らかの条件に応じて最高精度よりも低い量子化精度の量子化位置情報をクライアントに送信することで、量子化位置情報の伝送ビットレートを下げることができる。

ここでいう条件としては、例えば親空間における受聴者からオブジェクトまでの実際の距離や伝送路の帯域状況などに基づくものとすることができる。

具体的には、例えば人間の聴覚では水平方向については、正面のオブジェクトに対して左右の一定範囲内の角度であれば正面角度と同じ角度と認識されるという知見があり、この角度は知覚限界角度と呼ばれている。

そのため、受聴者から見てオブジェクトのある位置において知覚限界角度に対応する水平方向の距離よりも量子化ステップ幅が小さいという条件が満たされていれば、どのような量子化精度の量子化位置情報を取得しても、その量子化位置情報から得られるオブジェクトの位置に音を定位させた場合に受聴者が音像位置のずれを感じることはない。換言すれば、知覚限界角度による許容誤差以下の量子ステップ幅の量子化位置情報であれば、受聴者に音像位置のずれを感じさせることはない。

そこで、例えば受聴者からオブジェクトまでの実際の距離と、知覚限界角度とに基づいて、知覚限界角度に対応する水平方向の距離を超えない最大の量子化ステップ幅で量子化された量子化位置情報が選択されるようにすれば、受聴者に音像位置のずれを感じさせることなく量子化位置情報の符号量を削減し、伝送ビットレートを低減させることができる。

また、例えば量子化位置情報を伝送する伝送路の帯域状態に応じた量子化精度の量子化位置情報が取得されるようにしてもよい。この場合、例えば伝送路の伝送帯域に余裕があるときには最高精度量子化位置情報を取得するようにし、伝送路の伝送帯域が狭いときには、その伝送帯域幅に対して定まる、より低い量子化精度の量子化位置情報を取得するようにすればよい。

また、サーバからクライアントには、オーディオデータのフレームごとなどに、オブジェクト数や絶対距離absoluteDistance等のクライアントでの復号などに必要となる情報を伝送する必要がある。

そこでサーバからクライアントに対して、例えば図１１に示すヘッダ情報を伝送することで、オブジェクト数や絶対距離absoluteDistance等の必要な情報を伝送すればよい。

図１１に示す例では、ヘッダ情報には、文字「absoluteDistance」により示される親空間の大きさを示す絶対距離absoluteDistance、文字「ChildAreaInfo()」により示される子空間情報、文字「nobjs」により示される親空間内にあるオブジェクトのオブジェクト数が含まれている。

また、ヘッダ情報には、オブジェクト数の数だけ、つまり各オブジェクトについて、オブジェクトが属す子空間を示すインデックスがオブジェクト所属情報として格納されている。ここでは文字「ChildAreaIndexForObj[i]」がi番目のオブジェクトのオブジェクト所属情報を示している。

さらに、ヘッダ情報に含まれている子空間情報「ChildAreaInfo()」部分のフォーマットは、例えば図１２に示すようになる。

図１２に示す例では、子空間情報には、文字「numOfChildArea」により示される、親空間内に含まれている子空間の数を示す子空間数が含まれている。

また、子空間情報には、子空間数の数だけ、各軸方向の最高精度分割インデックスと１次関数のパラメータが格納されている。

すなわち、文字「max_exp_index_X[i]」、「max_exp_index_Y[i]」、および「max_exp_index_Z[i]」は、それぞれi番目の子空間についてのX軸方向、Y軸方向、およびZ軸方向の各軸方向の最高精度分割インデックスを示している。

また、文字「a_x[i]」、「a_y[i]」、および「a_z[i]」は、それぞれi番目の子空間についてのX軸方向、Y軸方向、およびZ軸方向の各軸方向の１次関数の傾きを示すパラメータである。さらに文字「b_x[i]」、「b_y[i]」、および「b_z[i]」は、それぞれi番目の子空間についてのX軸方向、Y軸方向、およびZ軸方向の各軸方向の１次関数の切片を示すパラメータである。これらの１次関数の傾きと切片が上述した式（２）に示したスケーリング変換係数である。

なお、ヘッダ情報はクライアントに対してフレームごとに送信してもよいし、子空間の数や位置、大きさに変化が生じた場合に送信するようにしてもよい。その他、一定のフレーム間隔でヘッダ情報が送信されるようにしてもよい。

また、自身の属している子空間の外にオブジェクトが移動した場合には、そのオブジェクトが既存の他の子空間や新規の子空間に属すように、オブジェクト所属情報を更新すればよい。この場合、更新後のオブジェクト所属情報が含まれるヘッダ情報がサーバからクライアントへと送信される。

さらに、上述したようにサーバに最高精度量子化位置情報が保持されているようにすれば、クライアントはサーバから任意の量子化精度の量子化位置情報を取得することが可能である。

例えばクライアントが所定の量子化精度の量子化位置情報を取得した後でも、既に取得した量子化位置情報よりも高い量子化精度の量子化位置情報を得ることが可能である。

具体的には、まずクライアントが最初にサーバから取得する量子化位置情報を初回量子化位置情報と称することとする。

なお、初回量子化位置情報は、ヘッダ情報に含まれている最高精度分割インデックスに対応する最高精度以下の量子化精度の量子化位置情報である。したがって、初回量子化位置情報として最高精度量子化位置情報を取得することも可能である。

クライアントは、例えば図１３に示すビットストリームフォーマットの初回量子化位置情報送信要求をサーバに送信することで、サーバから初回量子化位置情報を取得する。

図１３に示す例では、初回量子化位置情報送信要求には、オブジェクトごとに、各軸方向について、送信を要求する量子化精度に対応する分割インデックスが格納されている。

すなわち、文字「exp_index_initial_x[i]」、「exp_index_initial_y[i]」、および「exp_index_initial_z[i]」は、それぞれi番目のオブジェクトについてのX軸方向、Y軸方向、およびZ軸方向の各軸方向の分割インデックスを示している。

このような初回量子化位置情報送信要求を受信したサーバは、オブジェクトごとに、各軸方向について初回量子化位置情報送信要求に含まれる分割インデックスに対応する量子化精度の量子化位置情報を初回量子化位置情報としてクライアントに送信する。

例えば図５に示した例において、初回量子化位置情報送信要求に含まれる分割インデックスが「3」である場合には、その分割インデックス「3」に対応する量子化位置情報「001」が初回量子化位置情報としてクライアントに送信される。

具体的にはサーバからクライアントには、例えば図１４に示すビットストリームフォーマットで初回量子化位置情報が送信される。

図１４に示す例では、ビットストリームにはオブジェクトごとに、各軸方向について初回量子化位置情報が格納されている。

ここでは、文字「Xpos_initial[i]」、「Ypos_initial[i]」、および「Zpos_initial[i]」は、それぞれi番目のオブジェクトについてのX軸方向、Y軸方向、およびZ軸方向の各軸方向の初回量子化位置情報、より詳細には初回量子化位置情報を構成する各軸方向の成分の座標値を示している。

クライアントでは、このようにして初回量子化位置情報を取得した後、さらにその初回量子化位置情報よりも量子化精度が高い量子化位置情報を得たい場合には、その量子化位置情報と、初回量子化位置情報との差分情報である追加ビット情報を取得する。

クライアントでは、初回量子化位置情報の下位ビット側に追加ビット情報を付加することで、その初回量子化位置情報よりも量子化精度の高い量子化位置情報が得られる。

具体的には、例えば図５に示した例で、初回量子化位置情報として分割インデックス「3」に対応する量子化位置情報「001」を取得したが、最終的に分割インデックス「5」に対応する量子化位置情報「00110」を得たいとする。

この場合、クライアントは、初回量子化位置情報「001」と、最終的に得たい量子化位置情報「00110」との差分情報である「10」を追加ビット情報として取得する。そして、クライアントは、既に取得した初回量子化位置情報「001」の下位ビット側に新たに取得した追加ビット情報「10」を付加することで、最終的に得たい量子化精度の量子化位置情報「00110」を得ることができる。

このようにクライアントがサーバから追加ビット情報を取得する場合、クライアントは伝送帯域の状況等に応じて追加ビット情報を取得するときの要求モードを選択する。そして、クライアントは、選択した要求モードに応じたフォーマットで、追加ビット情報の送信を要求する旨の追加ビット情報送信要求をサーバに送信する。

ここでは、例えば図１５に示す追加ビット情報送信要求がサーバに送信される。

図１５に示す例では、追加ビット情報送信要求には、文字「request_mode」により示される要求モードを示す情報が含まれている。例えば要求モードには、共通モード、子空間共通モード、および個別モードの３つがある。

共通モードとは、軸方向ごとに追加で取得する追加ビット情報のビット数が全オブジェクトで同じとなるように、全オブジェクトの各軸方向について追加ビット情報を要求するモードである。例えば共通モードでは軸方向ごとに追加するビット数、つまり追加で高める量子化精度を選択することができる。

また、子空間共通モードとは同じ子空間に属す全オブジェクトで、軸方向ごとに追加で取得する追加ビット情報のビット数が同じとなるように、所望の１または複数の子空間について、子空間に属す全オブジェクトの各軸方向について追加ビット情報を要求するモードである。例えば子空間共通モードでも軸方向ごとに追加するビット数を選択することができる。なお、子空間共通モードでは追加ビット情報を要求する子空間と、追加ビット情報を要求しない子空間とがある。

さらに、個別モードとは、オブジェクトごとに個別に追加ビット情報を要求するモードである。個別モードでは、オブジェクトごとに追加ビット情報を要求するか否かを選択することができ、また各オブジェクトについて、軸方向ごとに所望の量子化精度の量子化位置情報が得られるように追加ビット情報を要求することができる。

図１５では、例えば文字「request_mode」により示される要求モードが共通モードを示している場合、文字「case 0」の部分に示されるように、追加ビット情報送信要求には文字「addbit_x」、「addbit_y」、および「addbit_z」により示される、X軸方向、Y軸方向、およびZ軸方向の各軸方向の追加ビット数を示す情報が格納される。

例えば追加ビット数を示す情報が3ビットを示す情報であれば、追加ビット情報として初回量子化位置情報に付加される3ビット分の追加ビット情報が送信されてくる。

また、文字「request_mode」により示される要求モードが子空間共通モードを示している場合、文字「case 1」の部分に示されるように、追加ビット情報送信要求には文字「num_of_addprec_childArea」により示される、追加ビット情報を要求する子空間の数を示す情報が格納されている。

この場合、さらに追加ビット情報送信要求には文字「addprec_childArea_index[i]」により示される、追加ビット情報を要求する子空間を示すインデックスと、その子空間での各軸方向の追加ビット数を示す「addbit_x[i]」、「addbit_y[i]」、および「addbit_z[i]」とが、追加ビット情報を要求する子空間の数だけ格納されている。特に、ここでは文字「addbit_x[i]」、「addbit_y[i]」、および「addbit_z[i]」のそれぞれは、X軸方向、Y軸方向、およびZ軸方向の各軸方向の追加ビット数を示す情報となっている。

さらに、文字「request_mode」により示される要求モードが個別モードを示している場合、文字「case 2」の部分に示されるように、追加ビット情報送信要求には文字「num_of_addprec_objects」により示される、追加ビット情報を要求するオブジェクトの数を示す情報が格納されている。

この場合、さらに追加ビット情報送信要求には文字「addprec_ object_index[i]」により示される、追加ビット情報を要求するオブジェクトを示すインデックスと、そのオブジェクトの各軸方向の追加ビット数を示す「addbit_x[i]」、「addbit_y[i]」、および「addbit_z[i]」とが、追加ビット情報を要求するオブジェクトの数だけ格納されている。特に、ここでは文字「addbit_x[i]」、「addbit_y[i]」、および「addbit_z[i]」のそれぞれは、X軸方向、Y軸方向、およびZ軸方向の各軸方向の追加ビット数を示す情報となっている。

このような図１５に示す追加ビット情報送信要求を受信すると、サーバは、例えば図１６に示すビットストリームフォーマットで追加ビット情報をクライアントに送信する。

図１６に示す例では、要求モードが共通モードである場合、文字「case 0」の部分に示されるように、ビットストリームには文字「Xpos_add[i]」、「Ypos_add[i]」、および「Zpos_add[i]」により示されるi番目のオブジェクトについてのX軸方向、Y軸方向、およびZ軸方向の各軸方向の追加ビット情報が格納される。

また、要求モードが子空間共通モードである場合、文字「case 1」の部分に示されるように、ビットストリームには追加ビット情報が要求された子空間ごとに、その子空間に属す各オブジェクトの追加ビット情報が格納される。具体的には、文字「Xpos_add[j]」、「Ypos_add[j]」、および「Zpos_add[j]」により示される子空間内のj番目のオブジェクトについてのX軸方向、Y軸方向、およびZ軸方向の各軸方向の追加ビット情報が格納されている。

さらに要求モードが個別モードである場合、文字「case 2」の部分に示されるように、ビットストリームには追加ビット情報が要求されたオブジェクトごとに、そのオブジェクトの追加ビット情報が格納される。具体的には、文字「Xpos_add[addprec_object_index[i]]」、「Ypos_add[addprec_object_index[i]]」、および「Zpos_add[addprec_object_index[i]]」により示される、オブジェクトのX軸方向、Y軸方向、およびZ軸方向の各軸方向の追加ビット情報が格納されている。

このように追加ビット情報を取得できるようにすることで、最初から最高精度量子化位置情報を取得するよりも少ない伝送量で、十分な量子化精度の量子化位置情報を得ることができるようになる。

〈コンテンツ再生システムの構成例〉
次に、以上において説明したように、クライアントがサーバからコンテンツや量子化位置情報を取得してコンテンツの再生を行うコンテンツ再生システムについて説明する。

そのようなコンテンツ再生システムは、例えば図１７に示すように構成される。

図１７に示すコンテンツ再生システムは絶対座標位置情報エンコーダ１１１、サーバ１１２、受聴者位置取得装置１１３、クライアント１１４、およびMPEG-Hレンダラ１１５を有している。このコンテンツ再生システムでは、クライアント１１４において、受聴者U12から見たオブジェクトの位置を示す極座標表現の極座標位置情報が算出される。

すなわち、コンテンツの配信側ではユーザU11が親空間内における各オブジェクトの位置を示す親空間内位置情報などを絶対座標位置情報エンコーダ１１１に入力する。

この親空間内位置情報は、上述したように３次元の絶対座標系（直交座標系）、すなわちxyz座標系の座標により表される絶対座標情報である。

絶対座標位置情報エンコーダ１１１は、ユーザU11により入力された親空間内位置情報を符号化し、その結果得られた符号化データファイルをサーバ１１２へと送信する。

サーバ１１２は記録部１２１を有する情報処理装置であり、絶対座標位置情報エンコーダ１１１から受信した符号化データファイルを記録部１２１に記録する。ここで、符号化データファイルには、各オブジェクトの最高精度量子化位置情報が含まれている。

サーバ１１２は、記録部１２１に記録している最高精度量子化位置情報から初回量子化位置情報や追加ビット情報を生成してクライアント１１４に送信する。

クライアント１１４側では、受聴者位置取得装置１１３により、親空間内における受聴者U12の位置を示す受聴者位置情報が取得され、クライアント１１４に供給される。この受聴者位置取得装置１１３は、例えばGPS（Global Positioning System）やジャイロセンサなどの測距デバイス、親空間としてのバーチャル空間内の受聴者U12の仮想的な位置情報を取得する入力装置等から構成される。

クライアント１１４は、絶対座標位置情報デコーダ１３１および座標変換部１３２を有する情報処理装置であり、サーバ１１２から初回量子化位置情報や追加ビット情報を取得する。

絶対座標位置情報デコーダ１３１は、サーバ１１２から取得された初回量子化位置情報や、初回量子化位置情報と追加ビット情報から得られた量子化位置情報を復号する。

座標変換部１３２は、量子化位置情報の復号により得られた、親空間内におけるオブジェクトの位置を示す情報を、親空間内における受聴者U12から見たオブジェクトの相対的な位置を示す極座標に変換し、極座標位置情報とする。

座標変換部１３２は、各オブジェクトの極座標位置情報をMPEG-Hレンダラ１１５に供給し、MPEG-Hレンダラ１１５は、供給された極座標位置情報と、サーバ１１２から取得した各オブジェクトのオーディオデータとに基づいてレンダリングを行う。

そして、MPEG-Hレンダラ１１５は、レンダリングにより得られた、親空間内の各位置にオブジェクトの音像が定位する再生オーディオデータをスピーカ等の再生系へと出力し、音声を再生させる。なお、MPEG-Hレンダラ１１５は、MPEG-Hで規格化された極座標系のレンダラである。

以上のようなコンテンツ再生システムでは、サーバ１１２とクライアント１１４との間で授受されるオブジェクトの位置を示す情報が、絶対座標である量子化位置情報とされている。したがって、親空間内における受聴者U12の位置を考慮する必要はなく、移動するオブジェクトについてのみ量子化位置情報をクライアント１１４に伝送すればよいという利点がある。

〈絶対座標位置情報エンコーダの構成例〉
次に、図１７に示した絶対座標位置情報エンコーダ１１１、サーバ１１２、およびクライアント１１４のより詳細な構成例について説明する。

まず、絶対座標位置情報エンコーダ１１１の構成例について説明する。

絶対座標位置情報エンコーダ１１１は、例えば図１８に示すように構成される。

図１８に示す絶対座標位置情報エンコーダ１１１は取得部１６１、符号化部１６２、および通信部１６３を有している。

取得部１６１は、外部の装置等から符号化対象となるオブジェクトのオブジェクト数、親空間の絶対距離absoluteDistance、および各オブジェクトの親空間内位置情報を取得して符号化部１６２に供給する。

符号化部１６２は、取得部１６１から供給されたオブジェクト数や、親空間の絶対距離absoluteDistance、オブジェクトの親空間内位置情報に基づいて、各オブジェクトの親空間内位置情報を符号化し、その結果得られた符号化データファイルを通信部１６３に供給する。

符号化部１６２は、子空間決定部１７１、変換部１７２、および量子化部１７３を有している。なお、これらの子空間決定部１７１乃至量子化部１７３は、図７に示した子空間決定部３１乃至量子化部３３に対応し、同じ動作を行うので、その説明は省略する。

通信部１６３は、符号化部１６２から供給された符号化データファイルを送信する。

〈サーバの構成例〉
また、サーバ１１２は、例えば図１９に示すように構成される。なお、図１９において図１７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１９に示すサーバ１１２は通信部２０１、制御部２０２、および記録部１２１を有している。

通信部２０１は、制御部２０２から供給された各種の情報をクライアント１１４に送信したり、絶対座標位置情報エンコーダ１１１やクライアント１１４から送信されてきた各種の情報を受信して制御部２０２に供給したりする。

制御部２０２は、サーバ１１２全体の動作を制御する。制御部２０２は通信制御部２１１および送信情報生成部２１２を有している。

通信制御部２１１は、通信部２０１を制御することで、通信部２０１による絶対座標位置情報エンコーダ１１１やクライアント１１４との通信を制御する。送信情報生成部２１２は、必要に応じて記録部１２１に記録されている符号化データファイル等の情報を用いて、クライアント１１４に送信する各種の情報を生成する。

〈クライアントの構成例〉
また、クライアント１１４は、例えば図２０に示すように構成される。なお、図２０において図１７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図２０に示すクライアント１１４は、通信部２４１、制御部２４２、および出力部２４３を有している。

通信部２４１は、制御部２４２から供給された各種の情報をサーバ１１２に送信したり、サーバ１１２から送信されてきた各種の情報を受信して制御部２４２に供給したりする。

制御部２４２は、クライアント１１４全体の動作を制御する。制御部２４２は通信制御部２５１、絶対座標位置情報デコーダ１３１、および座標変換部１３２を有している。

通信制御部２５１は、通信部２４１を制御することで、通信部２４１によるサーバ１１２との通信を制御する。例えば通信制御部２５１は、通信部２４１を制御して、サーバ１１２から初回量子化位置情報や追加ビット情報を取得する取得部として機能する。

絶対座標位置情報デコーダ１３１は、量子化位置情報や追加ビット情報に基づいて親空間内におけるオブジェクトの絶対的な位置を示す親空間内位置情報を算出することで、符号化された親空間内位置情報の復号（デコード）を行う算出部として機能する。

出力部２４３は、座標変換部１３２による座標変換により得られた各オブジェクトの極座標位置情報をMPEG-Hレンダラ１１５に出力する。

〈符号化処理およびファイル保存処理の説明〉
次に、コンテンツ再生システムにおいて行われる具体的な処理について説明する。

まず、図２１のフローチャートを参照して、絶対座標位置情報エンコーダ１１１による符号化処理、およびサーバ１１２によるファイル保存処理について説明する。

絶対座標位置情報エンコーダ１１１により符号化処理が開始されると、ステップＳ７１において取得部１６１は、ユーザU11により入力されたオブジェクト数、親空間の絶対距離absoluteDistance、および各オブジェクトの親空間内位置情報を取得して符号化部１６２に供給する。

ステップＳ７２において子空間決定部１７１は、取得部１６１から供給された各オブジェクトの親空間内位置情報に基づいて子空間を決定する。ステップＳ７２では、図８のステップＳ１２と同様の処理が行われて子空間が決定される。

ステップＳ７３において変換部１７２は、取得部１６１から供給された各オブジェクトの親空間内位置情報を子空間内位置情報に変換する。ステップＳ７３では、図８のステップＳ１３と同様の処理が行われる。

ステップＳ７４において量子化部１７３は、最高精度分割インデックスを決定する。

例えばステップＳ７４では、予め定められた最小距離MinDistと、子空間の決定結果および絶対距離absoluteDistanceから求まる絶対距離absoluteDistanceX、absoluteDistanceY、およびabsoluteDistanceZとに基づいて上述した式（３）の計算が行われ、最高精度分割インデックスが求められる。

ステップＳ７５において量子化部１７３は、ステップＳ７４で決定した最高精度分割インデックスに基づいて、上述した式（４）の計算を行うことにより量子化ステップ幅を求める。

ステップＳ７６において量子化部１７３は、ステップＳ７３で得られた各オブジェクトの子空間内位置情報を量子化する。

例えばステップＳ７６では、ステップＳ７５で求められた量子化ステップ幅が用いられて上述した式（５）の計算が行われ、親空間内位置情報の各軸方向の座標の量子化が行われ、各オブジェクトの最高精度量子化位置情報が得られる。

以上のステップＳ７２乃至ステップＳ７６の処理により、親空間内位置情報が符号化されたことになる。

ステップＳ７７において符号化部１６２は、最高精度量子化位置情報、ステップＳ７１で取得されたオブジェクト数と絶対距離absoluteDistance、およびステップＳ７２における子空間の決定結果から得られる子空間情報とオブジェクト所属情報を含む符号化データファイルを生成し、通信部１６３に供給する。

ここでは、例えば子空間情報には、親空間内に含まれる子空間の数を示す情報、各子空間での最高精度分割インデックス、および各子空間についての座標変換のための１次関数のパラメータが含まれている。

ステップＳ７８において通信部１６３は、符号化部１６２から供給された符号化データファイルを、無線または有線の通信等によりサーバ１１２に送信し、符号化処理は終了する。

なお、後述するように符号化データファイルがサーバ１１２で正しく保存されると、その旨の保存完了通知がサーバ１１２から送信されてくるので、絶対座標位置情報エンコーダ１１１は送信されてきた保存完了通知を受信して、適宜、表示させる。

また、符号化データファイルが送信されると、サーバ１１２では、ファイル保存処理が開始される。

すなわち、ステップＳ１０１においてサーバ１１２の通信部２０１は、絶対座標位置情報エンコーダ１１１から送信されてきた符号化データファイルを通信制御部２１１の制御に従って受信し、制御部２０２に供給する。

ステップＳ１０２において制御部２０２は、通信部２０１から供給された符号化データファイルを記録部１２１に供給し、保存させる。これにより、記録部１２１に最高精度量子化位置情報等が保存（記録）された状態となる。

その後、通信制御部２１１は、通信部２０１を制御して、符号化データファイルを正しく保存できた旨の保存完了通知を絶対座標位置情報エンコーダ１１１に送信し、ファイル保存処理は終了する。

以上のようにして絶対座標位置情報エンコーダ１１１は、親空間内位置情報を座標変換により子空間内位置情報へと変換するとともに、子空間内位置情報を量子化し、符号化データファイルを生成する。このようにすることで、親空間内位置情報をそのまま符号化（量子化）する場合と比較して量子化位置情報の符号量を削減することができる。

また、サーバ１１２は、絶対座標位置情報エンコーダ１１１から送信されてきた符号化データファイルを受信して保存する。これにより、クライアント１１４の要求に応じて最高精度量子化位置情報から任意の量子化精度の量子化位置情報を生成し、クライアント１１４に伝送することが可能となる。

その結果、クライアント１１４において各オブジェクトの極座標位置情報を求めるようにしてサーバ１１２や絶対座標位置情報エンコーダ１１１といったコンテンツの配信側の処理負荷を低減させるとともに、情報の伝送量を削減することができる。

〈位置情報取得処理および位置情報送信処理の説明〉
サーバ１１２に符号化データファイルが保存されると、クライアント１１４はサーバ１１２からコンテンツについての各オブジェクトの量子化位置情報の供給を受けることができるようになる。

以下、クライアント１１４がサーバ１１２から初回量子化位置情報を取得するときに行われる処理について説明する。すなわち、以下、図２２のフローチャートを参照して、クライアント１１４による位置情報取得処理、およびサーバ１１２による位置情報送信処理について説明する。

クライアント１１４により位置情報取得処理が開始されると、ステップＳ１３１において、通信部２４１は、通信制御部２５１の制御に従ってヘッダ情報送信要求をサーバ１１２に送信する。

ヘッダ情報送信要求が送信されると、サーバ１１２では位置情報送信処理が開始される。すなわち、ステップＳ１６１において通信部２０１は、クライアント１１４から送信されてきたヘッダ情報送信要求を通信制御部２１１の制御に従って受信し、制御部２０２に供給する。

すると、送信情報生成部２１２は、記録部１２１に記録されている符号化データファイルを参照して、絶対距離absoluteDistanceや子空間情報、オブジェクト数、オブジェクト所属情報が含まれるヘッダ情報を生成する。これにより、例えば図１１に示したヘッダ情報が生成される。

送信情報生成部２１２がヘッダ情報を生成すると、通信制御部２１１は、生成されたヘッダ情報を通信部２０１に供給する。

ステップＳ１６２において通信部２０１は、通信制御部２１１の制御に従って、通信制御部２１１から供給されたヘッダ情報をクライアント１１４に送信する。

するとクライアント１１４では、ステップＳ１３２において通信部２４１は、サーバ１１２から送信されてきたヘッダ情報を通信制御部２５１の制御に従って受信し、制御部２４２に供給する。

このようにしてヘッダ情報が得られると、制御部２４２は、サーバ１１２との間の伝送帯域の状況や、ヘッダ情報に含まれているオブジェクト数や最高精度分割インデックス等に基づいて、初回量子化位置情報の量子化精度、つまり分割インデックスを決定する。

そして制御部２４２は、決定した量子化精度に基づいて、初回量子化位置情報の送信を要求する初回量子化位置情報送信要求を生成し、通信部２４１に供給する。例えば、ここでは図１３に示した初回量子化位置情報送信要求が生成される。

ステップＳ１３３において、通信部２４１は、通信制御部２５１の制御に従って、制御部２４２から供給された初回量子化位置情報送信要求をサーバ１１２に送信する。

すると、サーバ１１２では、ステップＳ１６３において通信部２０１は、通信制御部２１１の制御に従って、クライアント１１４から送信されてきた初回量子化位置情報送信要求を受信して制御部２０２に供給する。

ステップＳ１６４において、送信情報生成部２１２は、通信部２０１から供給された初回量子化位置情報送信要求に応じて、記録部１２１に記録されている符号化データファイルを参照して、初回量子化位置情報を生成する。

例えば図５の例において、初回量子化位置情報送信要求により要求された分割インデックスが「９」である場合、送信情報生成部２１２は、符号化データファイルに含まれている最高精度量子化位置情報の上位９ビットを抽出して初回量子化位置情報とする。

図５の例では、最高精度量子化位置情報の所定の軸方向の座標値「00110011001」から分割インデックス「９」と同じビット数、すなわち９ビットだけ最上位ビット側から抽出して得られる「001100110」が初回量子化位置情報の所定の軸方向の座標値とされる。

なお、初回量子化位置情報送信要求により最高精度分割インデックスが要求された場合には、最高精度量子化位置情報がそのまま初回量子化位置情報とされる。

送信情報生成部２１２は、オブジェクごとに初回量子化位置情報を生成すると、それらの初回量子化位置情報を図１４に示したフォーマットでビットストリームに格納し、通信制御部２１１は生成されたビットストリームを通信部２０１に供給する。

ステップＳ１６５において、通信部２０１は、通信制御部２１１から供給されたビットストリーム、すなわち各オブジェクトの初回量子化位置情報を通信制御部２１１の制御に従ってクライアント１１４に送信し、位置情報送信処理は終了する。

サーバ１１２により初回量子化位置情報が送信されると、クライアント１１４では、ステップＳ１３４の処理が行われる。

ステップＳ１３４において、通信部２４１は、サーバ１１２から送信されてきた初回量子化位置情報を通信制御部２５１の制御に従って受信し、制御部２４２に供給する。すなわち、通信制御部２５１は初回量子化位置情報を取得する。

ステップＳ１３５において絶対座標位置情報デコーダ１３１は、各オブジェクトの初回量子化位置情報について、初回量子化位置情報と、初回量子化位置情報送信要求に格納した分割インデックスとに基づいて上述した式（６）と同様の計算を行うことで、初回量子化位置情報を逆量子化する。これにより、復号子空間内位置情報が得られる。

ステップＳ１３６において絶対座標位置情報デコーダ１３１は、各オブジェクトについて得られた子空間内位置情報を親空間内位置情報に変換する。

すなわち、絶対座標位置情報デコーダ１３１は、ステップＳ１３５で得られた復号子空間内位置情報と、ヘッダ情報に含まれている子空間情報とに基づいて上述した式（７）および式（８）の計算を行うことで逆スケーリング変換を行う。これにより、復号子空間内位置情報が復号親空間内位置情報に変換される。

さらに絶対座標位置情報デコーダ１３１は、得られた復号親空間内位置情報に対して、ヘッダ情報内に含まれている絶対距離absoluteDistanceを乗算することで、親空間内におけるオブジェクトの位置を示す位置情報を求める。そして、オブジェクトの位置を示す位置情報が求められると、位置情報取得処理は終了する。

絶対座標位置情報デコーダ１３１は、以上のステップＳ１３５およびステップＳ１３６の処理をオブジェクトごとに復号の処理として行う。

以上のようにしてクライアント１１４は、適切な量子化精度の量子化位置情報を初回量子化位置情報として取得し、復号する。また、サーバ１１２は、クライアント１１４の要求に応じて初回量子化位置情報を生成し、クライアント１１４に送信する。

このようにすることで、親空間内位置情報がそのまま符号化（量子化）される場合と比較して、オブジェクトの位置を示す情報の符号量を削減することができる。

〈追加ビット情報取得処理および追加ビット情報送信処理の説明〉
ところで、図２２を参照して説明した位置情報取得処理が行われると、各オブジェクトについて親空間内におけるオブジェクトの位置を示す位置情報（以下、オブジェクト位置情報とも称する）が得られることになる。

例えば初回量子化位置情報として最高精度量子化位置情報を取得した場合には、最も高い精度のオブジェクト位置情報が得られるが、そうではない場合にはオブジェクト位置情報の精度が十分でないこともある。

さらに、比較的低い量子化精度の初回量子化位置情報を取得したが、伝送帯域に余裕が生じたり、コンテンツの再生時刻までに余裕が生じたりして、より高い量子化精度の量子化位置情報を得るための追加ビット情報を取得したいこともある。

そこで、クライアント１１４は、オブジェクト位置情報が得られると、必要に応じてサーバ１１２から追加ビット情報を取得する。以下、そのような場合にクライアント１１４およびサーバ１１２により行われる処理について説明する。

すなわち、以下、図２３のフローチャートを参照して、クライアント１１４による追加ビット情報取得処理、およびサーバ１１２による追加ビット情報送信処理について説明する。なお、これらの処理は初回量子化位置情報として最高精度量子化位置情報が取得された場合には行われない。

クライアント１１４において追加ビット情報取得処理が開始されると、ステップＳ１９１において絶対座標位置情報デコーダ１３１は、各オブジェクトについて、受聴者U12からオブジェクトまでの距離を算出する。

具体的には、受聴者位置取得装置１１３から供給された受聴者位置情報と、図２２のステップＳ１３６の処理で得られたオブジェクト位置情報とに基づいて、親空間内における受聴者U12からオブジェクトまでのユークリッド距離が算出される。

ステップＳ１９２において、絶対座標位置情報デコーダ１３１は、追加ビット情報を取得するオブジェクトを特定する。

例えば親空間内のオブジェクトの量子化位置情報として、初回量子化位置情報、つまり復号親空間内位置情報が十分な精度のものであるか否かは、受聴者U12から、オブジェクト位置情報により示される位置までの距離によって特定可能である。

そこで、絶対座標位置情報デコーダ１３１は、受聴者U12からオブジェクトまでの距離と知覚限界角度とから量子ステップ幅の許容誤差を求め、その許容誤差と、初回量子化位置情報の分割インデックスにより求まる量子化ステップ幅とを比較する。そして絶対座標位置情報デコーダ１３１は、その比較結果に基づいて初回量子化位置情報の量子化精度が十分でないオブジェクト、つまり追加ビット情報を取得するオブジェクトを特定する。

また、例えば絶対座標位置情報デコーダ１３１は、サーバ１１２との間の伝送路の帯域状況、現時点からコンテンツの再生時刻までの時間、初回量子化位置情報の量子化精度などに基づいて、追加ビット情報を取得するオブジェクトを特定する。

さらに絶対座標位置情報デコーダ１３１は、追加ビット情報を取得するオブジェクトについて、要求する追加ビット情報のビット数、つまり要求する量子化精度を決定する。

なお、追加ビット情報を取得するか否かや、要求する追加ビット情報のビット数は、各オブジェクトについてXYZ座標系の各軸方向ごとに定めることが可能である。

ステップＳ１９３において絶対座標位置情報デコーダ１３１は、ステップＳ１９２の特定結果に基づいて要求モードを選択する。

ここでは、例えば伝送帯域の状況や、追加ビット情報を取得するオブジェクトの個数、追加ビット情報を取得する複数のオブジェクトの位置関係などに基づいて、適切な要求モードが選択される。

ステップＳ１９４において絶対座標位置情報デコーダ１３１は、ステップＳ１９２の特定結果と、ステップＳ１９３の要求モードの選択結果とに基づいて追加ビット情報送信要求を生成する。これにより、例えば図１５に示した追加ビット情報送信要求が生成される。

通信制御部２５１は、このようにして生成された追加ビット情報送信要求を通信部２４１に供給し、サーバ１１２へと送信させる。

ステップＳ１９５において通信部２４１は、通信制御部２５１の制御に従って、制御部２４２から供給された追加ビット情報送信要求をサーバ１１２に送信する。

追加ビット情報送信要求が送信されると、サーバ１１２では、追加ビット情報送信処理が開始される。

すなわち、ステップＳ２２１において通信部２０１は、クライアント１１４から送信されてきた追加ビット情報送信要求を通信制御部２１１の制御に従って受信し、制御部２０２に供給する。

ステップＳ２２２において、送信情報生成部２１２は、通信部２０１から供給された追加ビット情報送信要求に応じて、送信が要求されたオブジェクトの追加ビット情報を生成する。

例えば送信情報生成部２１２は、記録部１２１に記録されている符号化データファイルの最高精度量子化位置情報における初回量子化位置情報の量子化精度（分割インデックス）により定まる位置から、追加ビット情報送信要求により指定された追加ビット数分のビットを抽出することで追加ビット情報を生成する。このような追加ビット情報の生成はビットシフトにより実現することができる。

送信情報生成部２１２は、必要なオブジェクトについて追加ビット情報を生成すると、それらの追加ビット情報を図１６に示したフォーマットで追加ビットストリームに格納し、通信制御部２１１は生成された追加ビットストリームを通信部２０１に供給する。

ステップＳ２２３において通信部２０１は、通信制御部２１１の制御に従って、通信制御部２１１から供給された追加ビット情報が含まれる追加ビットストリームをクライアント１１４に送信し、追加ビット情報送信処理は終了する。

また、追加ビットストリームが送信されると、クライアント１１４ではステップＳ１９６の処理が行われる。

ステップＳ１９６において、通信部２４１は通信制御部２５１の制御に従って、サーバ１１２から送信されてきた追加ビットストリームを受信して制御部２４２に供給する。すなわち、通信制御部２５１は、追加ビット情報が含まれる追加ビットストリームを取得する。

ステップＳ１９７において絶対座標位置情報デコーダ１３１は、追加ビット情報の送信を要求したオブジェクトについて、初回量子化位置情報の下位ビット側に追加ビット情報を付加することで量子化位置情報を生成する。

ステップＳ１９８において絶対座標位置情報デコーダ１３１は、ステップＳ１９７の処理で得られた量子化位置情報を逆量子化する。

そして、ステップＳ１９９において絶対座標位置情報デコーダ１３１は、ステップＳ１９８の逆量子化により得られた子空間内位置情報を親空間内位置情報に変換する。

なお、ステップＳ１９８およびステップＳ１９９では、図２２のステップＳ１３５およびステップＳ１３６と同様の処理が行われる。

また、ステップＳ１９９では、絶対座標位置情報デコーダ１３１は、得られた復号親空間内位置情報に対して絶対距離absoluteDistanceを乗算することで、オブジェクト位置情報を求める。

以上のステップＳ１９７乃至ステップＳ１９９の処理は、追加ビット情報を取得したオブジェクトについてのみ行われる。

また、このようにして得られたオブジェクト位置情報について、十分な量子化精度のオブジェクト位置情報（親空間内位置情報）が得られるまで、上述したステップＳ１９１乃至ステップＳ１９９の処理が繰り返し行われるようにしてもよい。

ステップＳ２００において座標変換部１３２は、オブジェクトごとに、オブジェクト位置情報と、受聴者位置取得装置１１３から供給された受聴者位置情報とに基づいて、親空間内における受聴者U12から見たオブジェクトの位置を示す極座標位置情報を算出する。

そして、座標変換部１３２は、得られた極座標位置情報を出力部２４３に供給し、出力部２４３は、それらの極座標位置情報をMPEG-Hレンダラ１１５に出力する。出力部２４３が全オブジェクトの極座標位置情報をMPEG-Hレンダラ１１５に出力すると、追加ビット情報取得処理は終了する。

追加ビット情報取得処理が終了するとMPEG-Hレンダラ１１５ではレンダリングが行われる。すなわち、MPEG-Hレンダラ１１５は、サーバ１１２等から取得した各オブジェクトのオーディオデータと、出力部２４３から供給された極座標位置情報とに基づいてレンダリングを行い、親空間内の各位置にオブジェクトの音像が定位する再生オーディオデータを生成し、スピーカ等の再生系へと出力する。

以上のようにしてクライアント１１４は、必要に応じて追加ビット情報を取得し、最終的なオブジェクト位置情報を求める。また、サーバ１１２は、クライアント１１４の要求に応じて追加ビット情報を生成し、送信する。

このようにすることで、クライアント１１４では、最初から最高精度量子化位置情報をサーバ１１２から取得するよりも少ない情報伝送量で、十分な精度の親空間内位置情報を得ることができる。

しかも、必要となる量子化精度を求める処理や極座標位置情報を算出する処理は、全てクライアント１１４で行われるので、サーバ１１２や絶対座標位置情報エンコーダ１１１といったコンテンツ配信側の処理負荷を低減させることができる。

〈第２の実施の形態の変形例１〉
〈子空間の配置について〉
ところで、以上においては親空間内に１または複数の子空間を形成することで、効率的に親空間内位置情報を符号化する例について説明した。

しかし、例えば図２４に示すように、もともとは異なる２つの親空間のそれぞれに含まれている子空間のそれぞれを、仮想的な１つの親空間内に配置するようにしてもよい。

図２４に示す例では、子空間CA31と子空間CA32は、もともと互いに異なる親空間内に含まれるものであったが、ここでは仮想的な１つの親空間内にそれらの子空間CA31と子空間CA32が配置されている。

このようにすることで、例えば受聴者U12が自身の好みに応じて子空間CA31と子空間CA32のうちの何れか一方のみを選択することもできる。この場合、サーバ１１２は受聴者U12の選択に応じて、子空間CA31と子空間CA32のうちの受聴者U12に選択された方の子空間内にあるオブジェクトのオーディオデータと、それらのオブジェクトの量子化位置情報とをクライアント１１４に伝送する。

これにより、クライアント１１４側では、受聴者U12により選択された子空間についてのみオーディオデータの再生を行うことができる。

なお、このような例において、例えば子空間CA31と子空間CA32とが互いに異なる残響特性を有する空間とされてもよい。すなわち、子空間CA31と子空間CA32とに対して互いに異なる残響特性を付与するようにしてもよい。また、子空間CA31内と子空間CA32内とで全く同じオブジェクトが同じ位置関係で存在しているようにしてもよい。

そうすれば、受聴者U12は子空間を選択するだけで、異なる残響特性が付加されたオーディオデータを再生することができるので、同じオブジェクトの配置でも異なる空間にいるかのような体験をすることができる。また、受聴者U12は、子空間CA31と子空間CA32といった複数の全く異なる空間を往来しているかのような体験ができる。さらに、１つの親空間内に複数の子空間を形成する場合、楽器のオブジェクトや歓声のオブジェクトといった各オブジェクトの属性ごとに子空間を形成するようにしてもよい。この場合、互いに異なる子空間のそれぞれに含まれているオブジェクトのそれぞれは互いに異なる属性を有することになる。

その他、例えば図２５に示すように複数の子空間が互いに重なるようになっていてもよい。この例では、子空間CA41と子空間CA42とが１つの親空間内に形成されているが、子空間CA42全体が子空間CA41内に含まれている。

つまり、子空間CA42内に存在するオブジェクトは、その子空間CA42に属すだけでなく同時に子空間CA41にも属していることになる。

このような場合においても受聴者U12が子空間CA41と子空間CA42のうちの何れか一方を選択できるようにし、その選択された子空間内のオブジェクトのオーディオデータが再生されるようにすることができる。

そのような場合、例えば親空間に関するコンテンツを再生するときに、どの子空間を選択するかによって再生されるオブジェクトが変化するようにすることができる。

例えばコンサートのコンテンツを再生するものとし、子空間CA42内にのみ存在するオブジェクトは楽器のオブジェクトであり、子空間CA41内に存在するが、子空間CA42内には存在しないオブジェクトは歓声のオブジェクトであるとする。

この場合、受聴者U12が子空間CA41を選択すれば、楽器と歓声の両方の音が再生され、受聴者U12が子空間CA42を選択すれば、楽器の音のみが再生されるようになる。すなわち、楽器だけの空間と、楽器だけでなく歓声まで含まれた空間とを自在に切り替えることができる。

図２５に示した例のように１つのオブジェクトが複数の子空間に属すことができる場合、上述したヘッダ情報は、例えば図２６に示すようになる。

図２６に示す例では、ヘッダ情報には図１１に示した例の場合に加えて、新たに文字「numOfAttChildArea」により示されるi番目のオブジェクトが属する子空間の数を示す情報がオブジェクトごとに格納されている。そして、オブジェクトが属する子空間の数を示す情報「numOfAttChildArea」に続いて、その情報により示される数だけ、オブジェクト所属情報「ChildAreaIndexForObj[i]」が格納されている。

なお、複数の子空間に重複して属すオブジェクトの子空間内位置情報の量子化は、例えばChildAreaIndexForObj[0]で指定された子空間など、そのオブジェクトが属す子空間のうちの何れかの子空間について行われるようにすればよい。また、同じオブジェクトが複数の子空間に属す場合には、そのオブジェクトについて、どの子空間の子空間内位置情報が量子化されるかを予め定めておけばよい。

すなわち、オブジェクトが属す複数の子空間のうちの１つの子空間についての子空間内位置情報のみが量子化されて伝送され、残りの子空間についての量子化位置情報は伝送されない。クライアント１１４側では、あるオブジェクトの１つの子空間についての子空間内位置情報から、同じオブジェクトの他の子空間についての子空間内位置情報を求めるようにすればよい。

また、図２６に示すヘッダ情報内の子空間情報「ChildAreaInfo()」部分のフォーマットは、例えば図２７に示すようになる。なお、図２７に示す子空間情報のフォーマットは、図１２に示したものと同じであるので、その説明は省略する。

〈第２の実施の形態の変形例２〉
〈スキップフレームについて〉
また、自由視点オーディオでは、サーバ１１２とクライアント１１４との間で相互に通信が行われ、これにより量子化位置情報等の情報がやり取りされる。

しかし、サーバ１１２とクライアント１１４との間のネットワーク、つまり伝送路の輻輳状況によっては遅延が発生し、オーディオデータの再生時刻までに量子化位置情報などの再生に必要な情報をクライアント１１４が取得できない可能性もある。

そこで、例えば図２８に示すように伝送遅延が大きくなった場合には、クライアント１１４からサーバ１１２に対してスキップするフレーム数を伝達するようにしてもよい。

この場合、サーバ１１２はクライアント１１４により指定されたスキップフレーム数分、時間的に先のオブジェクトの量子化位置情報と、現在の再生時刻からスキップフレームの時刻までの補間情報を伝送する。

例えば図２８の矢印Q61に示すように、フレーム１においてはXYZ座標系における位置（X1,Y1,Z1）にあったオブジェクトが、７フレーム後のフレーム８ではXYZ座標系における位置（X2,Y2,Z2）に移動しているようなコンテンツを再生するものとする。

このとき、矢印Q62にしめすようにフレーム１およびフレーム２までは量子化位置情報を遅延なく送受信できたが、この時点においてクライアント１１４によって、伝送路の帯域が狭く遅延が発生する可能性が高いと判定されたとする。

すると、クライアント１１４は、サーバ１１２に対して、フレーム３の初回量子化位置情報の送信を要求するのではなく、代わりにフレーム８を指定する要求スキップフレーム数と補間処理に用いる補間情報の送信を要求する。

ここで要求スキップフレーム数は、量子化位置情報の送信をスキップするフレームの数を示す情報である。ここでは、例えば要求スキップフレーム数「５」がサーバ１１２に対して送信されるので、サーバ１１２は送信が完了したフレーム２の後の５フレーム分をスキップし、その次のフレーム８について量子化位置情報と補間情報を送信する。

これにより、クライアント１１４側ではフレーム８の量子化位置情報に対する復号処理により親空間内位置情報を得ることができる。また、クライアント１１４ではフレーム２の親空間内位置情報とフレーム８の親空間内位置情報、および補間情報に基づいて、フレーム３乃至フレーム７における親空間内位置情報を補間処理により求めることができる。

このような補間処理を行うことで、位置（X1,Y1,Z1）から位置（X2,Y2,Z2）へと移動するオブジェクトの任意のタイミング（フレーム）における位置を求めることができる。

このようにクライアント１１４がサーバ１１２に対して要求スキップフレーム数を送信する場合、クライアント１１４により送信される初回量子化位置情報送信要求は、例えば図２９に示すようになる。

図２９に示す例では、初回量子化位置情報送信要求には、図１３に示したi番目のオブジェクトの各軸方向の分割インデックス「exp_index_initial_x[i]」、「exp_index_initial_y[i]」、および「exp_index_initial_z[i]」に加えて、さらに文字「SkipFrameRequest」により示される要求スキップフレーム数が含まれている。

また、図２９に示した初回量子化位置情報送信要求を受信したサーバ１１２は、例えば図３０に示すビットストリームフォーマットで初回量子化位置情報を送信する。

図３０に示す例では、ビットストリームには図１４に示した初回量子化位置情報「Xpos_initial[i]」、「Ypos_initial[i]」、および「Zpos_initial[i]」に加えて、さらに文字「InterpolMode[i]」により示される補間情報が含まれている。

特に、ここでは補間情報InterpolMode[i]は、i番目のオブジェクトについて、１次補間を行うか、または２次補間を行うかを示す情報となっている。但し、クライアント１１４から図２９ではなく図１３に示した初回量子化位置情報送信要求が受信された場合には、補間情報InterpolMode[i]はビットストリームに格納されない。

例えばオブジェクトが等速度運動に相当する動きをしている場合には１次補間が行われるようにされ、オブジェクトが等加速度運動に相当する動きをしている場合には２次補間が行われるようにすればよい。

なお、ここでは１次補間と２次補間の何れかが選択的に行われる例について説明するが、それ以外の補間手法が用いられても勿論よい。また、補間情報として補間処理に用いる係数が格納されるようにしてもよいし、補間処理に用いる係数自体はクライアント１１４が予め保持しているようにしてもよい。

さらに、図３０に示す例でビットストリームに格納されている初回量子化位置情報は、要求スキップフレーム数分だけスキップした先のフレームのものとなっている。

〈位置情報取得処理および位置情報送信処理の説明〉
ここで、クライアント１１４が伝送路での遅延等により図２９に示した初回量子化位置情報送信要求を送信する場合に行われる処理について説明する。

すなわち、以下、図３１のフローチャートを参照して、クライアント１１４による位置情報取得処理、およびサーバ１１２による位置情報送信処理について説明する。

なお、制御部２４２は、例えばサーバ１１２とクライアント１１４との間の伝送路の帯域状況、つまりネットワークのトラフィックや、コンテンツの再生時のタイムスタンプ、つまりコンテンツの再生状況に基づいて、量子化位置情報についてのフレームのスキップを行うかや、何フレーム分スキップするかを決定する。

クライアント１１４により位置情報取得処理が開始されると、ステップＳ２５１において、通信部２４１は、通信制御部２５１の制御に従って、制御部２４２から供給された初回量子化位置情報送信要求をサーバ１１２に送信する。

すなわち、制御部２４２は、ネットワークのトラフィックやコンテンツの再生状況等に基づいて、図２９に示した初回量子化位置情報送信要求を生成し、通信部２４１に供給する。この初回量子化位置情報送信要求には、要求スキップフレーム数が含まれている。

すると、サーバ１１２では、ステップＳ２９１において通信部２０１は、通信制御部２１１の制御に従って、クライアント１１４から送信されてきた初回量子化位置情報送信要求を受信して制御部２０２に供給する。

ステップＳ２９２において、送信情報生成部２１２は、通信部２０１から供給された初回量子化位置情報送信要求に応じて、記録部１２１に記録されている符号化データファイルを参照して、初回量子化位置情報を生成する。

この場合、例えば図３０に示すビットストリームフォーマットで、スキップ後の最初のフレームの初回量子化位置情報と補間情報が含まれるビットストリームが生成される。通信制御部２１１は、このようにして生成されたビットストリームを通信部２０１に供給する。このとき、送信情報生成部２１２は、スキップ前後のフレームやスキップされるフレームにおける量子化位置情報、つまりオブジェクトの位置からオブジェクトの動きを特定し、その特定結果に応じた補間情報がビットストリームに含まれるようにする。

ステップＳ２９３において、通信部２０１は、通信制御部２１１から供給されたビットストリーム、すなわち各オブジェクトの初回量子化位置情報を通信制御部２１１の制御に従ってクライアント１１４に送信し、位置情報送信処理は終了する。

サーバ１１２により初回量子化位置情報が送信されると、ステップＳ２５２において、通信部２４１は、サーバ１１２から送信されてきた初回量子化位置情報を通信制御部２５１の制御に従って受信し、制御部２４２に供給する。

初回量子化位置情報が取得されると、その後、ステップＳ２５３およびステップＳ２５４の処理が行われるが、これらの処理は図２２のステップＳ１３５およびステップＳ１３６の処理と同様であるので、その説明は省略する。但し、ここではスキップ後の最初のフレームについて処理が行われ、そのフレームの復号親空間内位置情報が求められる。

ステップＳ２５５において、絶対座標位置情報デコーダ１３１は、ステップＳ２５４において得られたスキップ後のフレームの復号親空間内位置情報と、その直前に得られたスキップ前のフレームの復号親空間内位置情報とに基づいて、ステップＳ２５２で初回量子化位置情報とともに受信した補間情報により示される補間処理を行う。

すなわち、例えば絶対座標位置情報デコーダ１３１は、補間情報により示される処理、つまり１次補間または２次補間を行うことで、スキップされた各フレームの復号親空間内位置情報を生成する。

さらに絶対座標位置情報デコーダ１３１は、以上の処理で得られた、スキップされたフレームと、スキップ後の最初のフレームについて、各フレームの復号親空間内位置情報に絶対距離absoluteDistanceを乗算することで、各フレームにおけるオブジェクト位置情報を求める。このようにしてオブジェクト位置情報が求められると、位置情報取得処理は終了する。

以上のようにしてクライアント１１４は、いくつかのフレームをスキップするときには、要求スキップフレーム数が含まれる初回量子化位置情報送信要求を送信し、スキップ後のフレームの親空間内位置情報を求めるとともに、補間処理によりスキップしたフレームの親空間内位置情報を求める。また、サーバ１１２は、要求スキップフレーム数に応じて初回量子化位置情報と補間情報をクライアント１１４に送信する。

このようにすることで、伝送路で遅延が生じる場合であっても、コンテンツの再生に遅延が生じてしまうことを抑制することができる。

以上のように本技術によれば、親空間内でオブジェクトの存在位置に偏りがある場合には子空間を用いてオブジェクトの位置を示す情報を伝送することで、少ない伝送量で必要精度を維持したまま、オブジェクトの位置を示す情報を伝送することができる。

また、第２の実施の形態の変形例１のように、２以上の全く異なる空間をそれぞれ子空間として扱い、１つの親空間内でそれらの子空間を管理することにより、受聴者は必要な子空間のみを復号することで全く異なる複数の空間の往来体験が可能となる。

さらに第２の実施の形態の変形例２のように、伝送路が混み合って再生時刻までに必要なビットストリームが届かない場合でも、先読みと補間によりスムーズにオブジェクトの移動再生が可能となる。

〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

（１）
親空間内に含まれる子空間の前記親空間内における位置と大きさに関する空間情報と、前記子空間に含まれるオブジェクトの前記子空間内における位置を示す子空間内位置情報とを取得する取得部と、
前記空間情報および前記子空間内位置情報に基づいて、前記親空間内における前記オブジェクトの位置を示す親空間内位置情報を算出する算出部と
を備える情報処理装置。
（２）
前記親空間は絶対座標により表される
（１）に記載の情報処理装置。
（３）
前記空間情報は、座標変換のための変換係数である
（１）または（２）に記載の情報処理装置。
（４）
前記変換係数は１次関数のパラメータである
（３）に記載の情報処理装置。
（５）
前記空間情報は、前記親空間内における前記子空間の基準となる頂点の位置を示す情報、および前記親空間内における前記子空間の前記頂点に対する対角頂点の位置を示す情報である
（１）または（２）に記載の情報処理装置。
（６）
前記子空間は絶対座標により表される
（１）乃至（５）の何れか一項に記載の情報処理装置。
（７）
前記親空間内には複数の前記子空間が含まれている
（１）乃至（６）の何れか一項に記載の情報処理装置。
（８）
前記複数の前記子空間のそれぞれに含まれている前記オブジェクトのそれぞれは、互いに属性が異なる
（７）に記載の情報処理装置。
（９）
複数の前記子空間が互いに重なっている
（７）に記載の情報処理装置。
（１０）
前記複数の前記子空間は互いに異なる残響特性を有している
（７）に記載の情報処理装置。
（１１）
前記子空間には複数の前記オブジェクトが含まれている
（１）乃至（１０）の何れか一項に記載の情報処理装置。
（１２）
１つの前記オブジェクトが複数の前記子空間内に含まれている
（１）乃至（１１）の何れか一項に記載の情報処理装置。
（１３）
前記取得部は、取得した前記子空間内位置情報よりも精度が高い前記子空間内位置情報を得るための追加位置情報をさらに取得し、
前記算出部は、取得した前記子空間内位置情報および前記追加位置情報に基づいて得られる、より精度が高い前記子空間内位置情報と、前記空間情報とに基づいて親空間内位置情報を算出する
（１）乃至（１２）の何れか一項に記載の情報処理装置。
（１４）
前記オブジェクトはオーディオオブジェクトである
（１）乃至（１３）の何れか一項に記載の情報処理装置。
（１５）
情報処理装置が、
親空間内に含まれる子空間の前記親空間内における位置と大きさに関する空間情報と、前記子空間に含まれるオブジェクトの前記子空間内における位置を示す子空間内位置情報とを取得し、
前記空間情報および前記子空間内位置情報に基づいて、前記親空間内における前記オブジェクトの位置を示す親空間内位置情報を算出する
情報処理方法。
（１６）
親空間内に含まれる子空間の前記親空間内における位置と大きさに関する空間情報と、前記子空間に含まれるオブジェクトの前記子空間内における位置を示す子空間内位置情報とを取得し、
前記空間情報および前記子空間内位置情報に基づいて、前記親空間内における前記オブジェクトの位置を示す親空間内位置情報を算出する
ステップを含む処理をコンピュータに実行させるプログラム。

１１ エンコーダ， ２１ 取得部， ２２ 符号化部， ２３ 通信部， ３１ 子空間決定部， ３２ 変換部， ３３ 量子化部， ６１ デコーダ， ７１ 取得部， ７２ 復号部， ７３ 出力部， ８１ 逆量子化部， ８２ 変換部

Claims (15)

1. 親空間内に含まれる子空間の前記親空間内における位置と大きさに関する空間情報と、前記子空間に含まれるオーディオオブジェクトの前記子空間内における位置を示す子空間内位置情報とを取得する取得部と、
   前記空間情報および前記子空間内位置情報に基づいて、前記親空間内における前記オーディオオブジェクトの位置を示す親空間内位置情報を算出する算出部と
   を備える情報処理装置。
2. 前記親空間は絶対座標により表される
   請求項１に記載の情報処理装置。
3. 前記空間情報は、座標変換のための変換係数である
   請求項１に記載の情報処理装置。
4. 前記変換係数は１次関数のパラメータである
   請求項３に記載の情報処理装置。
5. 前記空間情報は、前記親空間内における前記子空間の基準となる頂点の位置を示す情報、および前記親空間内における前記子空間の前記頂点に対する対角頂点の位置を示す情報である
   請求項１に記載の情報処理装置。
6. 前記子空間は絶対座標により表される
   請求項１に記載の情報処理装置。
7. 前記親空間内には複数の前記子空間が含まれている
   請求項１に記載の情報処理装置。
8. 前記複数の前記子空間のそれぞれに含まれている前記オーディオオブジェクトのそれぞれは、互いに属性が異なる
   請求項７に記載の情報処理装置。
9. 複数の前記子空間が互いに重なっている
   請求項７に記載の情報処理装置。
10. 前記複数の前記子空間は互いに異なる残響特性を有している
    請求項７に記載の情報処理装置。
11. 前記子空間には複数の前記オーディオオブジェクトが含まれている
    請求項１に記載の情報処理装置。
12. １つの前記オーディオオブジェクトが複数の前記子空間内に含まれている
    請求項１に記載の情報処理装置。
13. 前記取得部は、取得した前記子空間内位置情報よりも精度が高い前記子空間内位置情報を得るための追加位置情報をさらに取得し、
    前記算出部は、取得した前記子空間内位置情報および前記追加位置情報に基づいて得られる、より精度が高い前記子空間内位置情報と、前記空間情報とに基づいて親空間内位置情報を算出する
    請求項１に記載の情報処理装置。
14. 情報処理装置が、
    親空間内に含まれる子空間の前記親空間内における位置と大きさに関する空間情報と、前記子空間に含まれるオーディオオブジェクトの前記子空間内における位置を示す子空間内位置情報とを取得し、
    前記空間情報および前記子空間内位置情報に基づいて、前記親空間内における前記オーディオオブジェクトの位置を示す親空間内位置情報を算出する
    情報処理方法。
15. 親空間内に含まれる子空間の前記親空間内における位置と大きさに関する空間情報と、前記子空間に含まれるオーディオオブジェクトの前記子空間内における位置を示す子空間内位置情報とを取得し、
    前記空間情報および前記子空間内位置情報に基づいて、前記親空間内における前記オーディオオブジェクトの位置を示す親空間内位置情報を算出する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images