JP7226436B2 - 情報処理装置および方法、並びにプログラム - Google Patents

情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP7226436B2
JP7226436B2 JP2020513201A JP2020513201A JP7226436B2 JP 7226436 B2 JP7226436 B2 JP 7226436B2 JP 2020513201 A JP2020513201 A JP 2020513201A JP 2020513201 A JP2020513201 A JP 2020513201A JP 7226436 B2 JP7226436 B2 JP 7226436B2
Authority
JP
Japan
Prior art keywords
information
position information
precision
index
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020513201A
Other languages
English (en)
Other versions
JPWO2019198540A1 (ja
Inventor
光行 畠中
徹 知念
実 辻
優樹 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019198540A1 publication Critical patent/JPWO2019198540A1/ja
Priority to JP2023011572A priority Critical patent/JP7485109B2/ja
Application granted granted Critical
Publication of JP7226436B2 publication Critical patent/JP7226436B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Stereophonic System (AREA)
  • Information Transfer Between Computers (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stored Programmes (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本技術は、情報処理装置および方法、並びにプログラムに関し、特に、情報の伝送量を削減しつつ配信側の処理負荷を低減させることができるようにした情報処理装置および方法、並びにプログラムに関する。
従来の固定視点向け3D Audioとして規格化されたMPEG（Moving Picture Experts Group）-H符号化規格は、受聴者の位置を原点とし、その周りの空間内をオーディオオブジェクトが移動するという考え方に基づいている（例えば、非特許文献１参照）。
そのため、固定視点では原点にいる受聴者から見た各々のオーディオオブジェクトの位置情報は、受聴者から各オーディオオブジェクトまでの水平方向の角度、高さ方向の角度、および距離を用いた極座標により記述されている。
このようなMPEG-H符号化規格を利用すれば、固定視点のコンテンツにおいて、空間内の各オーディオオブジェクトの位置に、それらのオーディオオブジェクトの音像を定位させることができ、臨場感の高いオーディオ再生を実現することが可能である。
ISO/IEC 23008-3 Information technology － High efficiency coding and media delivery in heterogeneous environments － Part 3: 3D audio
一方で、空間内の任意の位置を受聴者の位置とすることができる自由視点のコンテンツも知られている。自由視点では、空間内においてオーディオオブジェクトが移動することに加え、受聴者も移動可能である。つまり、受聴者が移動可能であるという点において、自由視点は固定視点と異なっている。
このような自由視点においても、固定視点における場合と同様に、受聴者から見たオーディオオブジェクトの位置を示す極座標の位置情報を得ることができれば、MPEG-Hで規格化された極座標系のレンダラによりオーディオ再生を実現することが可能である。すなわち、固定視点における場合と同様のレンダリング処理により自由視点のオーディオ再生を実現することができる。
この場合、例えば各オーディオオブジェクトのオーディオデータと、それらのオーディオオブジェクトの位置を示す位置情報とがサーバから再生側に提供される。そして、再生側において空間内のオーディオオブジェクトの位置に音像を定位させるオーディオ再生のためのレンダリングが行われる。
ところが、MPEG-Hのレンダラにより自由視点のオーディオ再生を実現しようとすると、オーディオオブジェクトや受聴者の位置が変化するたびに、受聴者から見たオーディオオブジェクトの位置の更新やオーディオオブジェクトの位置に関する情報の伝送が必要となる。したがって、情報の伝送量やサーバ等のコンテンツの配信側での処理負荷が増加してしまうおそれがある。さらにサーバに接続する受聴者の数が増えた場合には、その数の倍数分だけ処理負荷が増大することになり、その数が数千、数万となると過大な負荷となってしまう。
本技術は、このような状況に鑑みてなされたものであり、情報の伝送量を削減しつつ配信側の処理負荷を低減させることができるようにするものである。
本技術の第１の側面の情報処理装置は、ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を取得し、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を取得する取得部と、前記低精度位置情報および前記追加情報に基づいて前記位置情報を求める位置情報算出部とを備える。
本技術の第１の側面の情報処理方法またはプログラムは、ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を取得し、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を取得し、前記低精度位置情報および前記追加情報に基づいて前記位置情報を求めるステップを含む。
本技術の第１の側面においては、ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報が取得され、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報が取得され、前記低精度位置情報および前記追加情報に基づいて前記位置情報が求められる。
本技術の第２の側面の情報処理装置は、ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を送信し、前記低精度位置情報の送信先からの要求に応じて、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を送信する通信部を備える。
本技術の第２の側面の情報処理方法またはプログラムは、ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を送信し、前記低精度位置情報の送信先からの要求に応じて、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を送信するステップを含む。
本技術の第２の側面においては、ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報が送信され、前記低精度位置情報の送信先からの要求に応じて、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報が送信される。
本技術の第１の側面および第２の側面によれば、情報の伝送量を削減しつつ配信側の処理負荷を低減させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
コンテンツ再生システムの構成例を示す図である。 コンテンツ再生システムの処理シーケンスについて説明する図である。 コンテンツ再生システムの構成例を示す図である。 サーバの構成例を示す図である。 クライアントの構成例を示す図である。 知覚限界角度について説明する図である。 符号化処理およびファイル保存処理を説明するフローチャートである。 最高精度位置符号化データファイルのシンタックス例を示す図である。 位置情報取得処理および位置情報送信処理を説明するフローチャートである。 ヘッダ情報のシンタックス例を示す図である。 低精度量子化位置情報が含まれるビットストリームのシンタックス例を示す図である。 正規化位置情報の符号化例について説明する図である。 追加ビット情報取得処理および追加ビット情報送信処理を説明するフローチャートである。 追加ビット情報の送信要求のシンタックス例を示す図である。 差分データのシンタックス例を示す図である。 コンピュータの構成例を示す図である。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
〈コンテンツ再生システムの構成例〉
本技術は、受聴者からオブジェクトまでの距離に応じて、オブジェクトの位置を示す位置情報の量子化精度を切り替えることで、情報の伝送量を削減しつつサーバ等のコンテンツ配信側の処理負荷を低減させることができるようにするものである。
なお、以下では、コンテンツの再生側において、受聴者から見たオーディオオブジェクトの位置を示す情報に基づいてオーディオオブジェクトのオーディオデータのレンダリングを行う場合、具体的にはMPEG-Hのレンダラにより自由視点のオーディオ再生を実現する場合を例として説明する。しかし、その他、受聴者から見たオブジェクトの位置を示す情報に基づいて、オブジェクトを被写体として含むコンテンツ映像を再生する場合などにおいても本技術を適用することが可能である。
なお、以下では、オーディオオブジェクトを単にオブジェクトと称することとする。
例えばMPEG-Hのレンダラにより自由視点のオーディオ再生を行う場合、図１に示すコンテンツ再生システムによりオーディオ再生を実現することが考えられる。
図１に示すコンテンツ再生システムは受聴者位置取得装置１１、極座標位置情報エンコーダ１２、サーバ１３、クライアント１４、およびMPEG-Hレンダラ１５を有している。
このコンテンツ再生システムでは、コンテンツの制作者等であるサーバ側のユーザU11が、空間内の各オブジェクトについて、それらのオブジェクトの空間内の位置を示すオブジェクト位置情報を極座標位置情報エンコーダ１２に入力する。なお、オブジェクト位置情報は、絶対座標とされてもよいし極座標とされてもよい。
また、クライアント１４側には、再生されたコンテンツを視聴するユーザ、すなわちコンテンツの音声の受聴者U12がおり、その受聴者U12の空間内における位置を示す受聴者位置情報が受聴者位置取得装置１１により取得される。
例えば受聴者位置取得装置１１は、受聴者U12の空間内の位置を測定するGPS（Global Positioning System）やジャイロセンサなどの測距デバイス、バーチャル空間内の受聴者U12の仮想的な位置情報を取得する入力装置等からなり、受聴者U12の位置を示す受聴者位置情報を出力する。
ここで、受聴者位置情報は、空間内における受聴者U12の絶対的な位置を示す、３次元直交座標系、すなわちｘｙｚ座標系の座標（ｘ座標、ｙ座標、およびｚ座標）により表される絶対座標情報とされる。以下、ｘｙｚ座標系の座標により表される、空間内の絶対的な位置を示す情報を絶対座標とも称することとする。
受聴者位置取得装置１１により出力された受聴者位置情報は、クライアント１４およびサーバ１３を介して極座標位置情報エンコーダ１２により受信される。
極座標位置情報エンコーダ１２は、受聴者位置取得装置１１から受信した受聴者位置情報と、ユーザU11により入力されたオブジェクト位置情報とに基づいて、空間内における受聴者U12から見たオブジェクトの位置を示す極座標を極座標位置情報として生成する。
そして、極座標位置情報エンコーダ１２は、各オブジェクトについて得られた極座標位置情報を符号化（エンコード）し、符号化された極座標位置情報を、サーバ１３を介してクライアント１４に送信する。
クライアント１４では、そのクライアント１４に設けられた極座標位置情報デコーダ２１により、極座標位置情報エンコーダ１２から受信した極座標位置情報を復号（デコード）し、その結果得られた極座標位置情報をMPEG-Hレンダラ１５へと供給する。
MPEG-Hレンダラ１５は、クライアント１４から各オブジェクトの極座標位置情報の供給を受けるとともに、サーバ１３から各オブジェクトのオーディオデータの供給も受ける。このMPEG-Hレンダラ１５は、MPEG-Hで規格化された極座標系のレンダラである。
MPEG-Hレンダラ１５は、各オブジェクトのオーディオデータおよび極座標位置情報に基づいてレンダリングを行い、空間内の各位置にオブジェクトの音像が定位する再生オーディオデータを生成し、スピーカ等の再生系へと出力する。
例えば空間内にオブジェクトがN個ある場合、コンテンツ再生システムでの処理シーケンスは図２に示すようになる。
図２に示す例では、まずクライアント１４は矢印A11に示すように、サーバ１３に対して空間内にあるオブジェクトの個数、すなわちオブジェクト数の通知を要求する。
するとサーバ１３は、クライアント１４の要求に応じて、矢印A12に示すようにクライアント１４に対してオブジェクト数を通知する。
また、クライアント１４は、受聴者位置取得装置１１から受聴者位置情報を取得すると、その受聴者位置情報を矢印A13に示すように、サーバ１３を介して極座標位置情報エンコーダ１２へと送信する。
極座標位置情報エンコーダ１２は、受聴者位置情報を受信すると、その受聴者位置情報と、０番目のオブジェクトのオブジェクト位置情報とに基づいて、受聴者U12から見た０番目のオブジェクトの位置を算出し、その算出結果を示す極座標位置情報を符号化する。すなわち、極座標位置情報が伝送可能なフォーマットに符号化され符号化データとされる。
そして極座標位置情報エンコーダ１２は、矢印A14に示すように、０番目のオブジェクトについて得られた、符号化された極座標位置情報、すなわち極座標位置情報の符号化データを、サーバ１３を介してクライアント１４へと送信する。
クライアント１４側では、極座標位置情報デコーダ２１によって、受信された０番目のオブジェクトの極座標位置情報の符号化データが復号される。
同様に、極座標位置情報エンコーダ１２は、１番目のオブジェクトについて、極座標位置情報の符号化データを生成し、矢印A15に示すように、１番目のオブジェクトの極座標位置情報の符号化データを、サーバ１３を介してクライアント１４へと送信する。また、クライアント１４側では、極座標位置情報デコーダ２１が、受信された１番目のオブジェクトの極座標位置情報の符号化データを復号する。
そして、以降においてもN-1番目のオブジェクトまで、極座標位置情報の符号化データの生成および送信と、極座標位置情報の符号化データの復号が順番に行われる。
以上の処理により、０番目からN-1番目までのN個のオブジェクトについて極座標位置情報が得られると、その後、MPEG-Hレンダラ１５により各オブジェクトの極座標位置情報とオブジェクトデータに基づいて、レンダリングが行われる。
レンダリング処理により得られた再生オーディオデータに基づいて音を再生すれば、受聴者U12から見て正しい位置にオブジェクトの音像を定位させることができる。
例えば自由視点のコンテンツを再生する場合、MPEG-Hレンダラ１５によりレンダリングを行うには、そのMPEG-Hレンダラ１５の入力として、受聴者U12から見たオブジェクトの位置を示す極座標表現の極座標位置情報が必要となる。
図１に示したコンテンツ再生システムでは、固定視点向けのMPEG-Hレンダラ１５をそのまま自由視点でも使用することができる。また、極座標位置情報エンコーダ１２によりリアルタイムで極座標位置情報が生成されて送信されるため、極座標位置情報をサーバ１３上に保持しておく必要がないという利点がある。
しかし、自由視点では、空間内でオブジェクトが移動することに加え、受聴者U12も空間内を移動するので、オブジェクトと受聴者U12のどちらかが移動するたびに、極座標位置情報の更新と伝送が必要となる。
特に、図１に示したコンテンツ再生システムでは、受聴者U12が複数いる場合、すなわち複数のクライアント１４がサーバ１３に接続されている場合には、全ての受聴者U12について、全オブジェクトの極座標位置情報の更新（符号化）を実時間処理することになる。そうすると、コンテンツの配信側である極座標位置情報エンコーダ１２の処理負荷が高くなってしまい、場合によってはクライアント１４に対して、再生時刻までに必要なオブジェクトの極座標位置情報を供給することができなくなってしまう。
これに対して、サーバ１３からクライアント１４に対して、絶対座標により表現されたオブジェクトの空間内の位置を示すオブジェクト位置情報を供給し、クライアント１４側において極座標位置情報を算出することも考えられる。
しかし、本来、絶対座標は受聴者U12の位置に依存しないものであるので、高い精度で表現しなければならず、オブジェクト位置情報をクライアント１４に送信することは伝送量の観点から好ましいとはいえない。すなわち、極座標である極座標位置情報を伝送する場合と比較して、絶対座標であるオブジェクト位置情報を伝送する場合には、情報（オブジェクト位置情報）の伝送量が多くなってしまう。
そこで本技術では、一旦、クライアント側に情報量の少ない低精度のオブジェクトの位置を示す情報を送信しておき、オブジェクトの位置を示す十分な精度の情報が得られるように、低精度の情報とより高い精度の情報との差分の情報を、必要に応じて追加で送信するようにした。これにより、情報の伝送量を削減することができるだけでなく、極座標位置情報エンコーダやサーバといったコンテンツの配信側の処理負荷も低減させることができる。
このような本技術を適用したコンテンツ再生システムは、例えば図３に示すように構成される。なお、図３において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図３に示すコンテンツ再生システムは絶対座標位置情報エンコーダ５１、サーバ５２、受聴者位置取得装置５３、クライアント５４、およびMPEG-Hレンダラ５５を有している。このコンテンツ再生システムでは、クライアント５４において、受聴者U12から見たオブジェクトの位置を示す極座標表現の極座標位置情報が算出される。
すなわち、コンテンツの配信側ではユーザU11が空間内における各オブジェクトの位置を示す正規化位置情報などを絶対座標位置情報エンコーダ５１に入力する。
この正規化位置情報は、３次元直交座標系、すなわちｘｙｚ座標系の座標により表される、空間内のオブジェクトの絶対的な位置を示す正規化された絶対座標情報である。
絶対座標位置情報エンコーダ５１は、ユーザU11により入力された正規化位置情報等を符号化し、その結果得られた最高精度位置符号化データファイルをサーバ５２へと送信する。また、サーバ５２は記録部６１を有する情報処理装置であり、絶対座標位置情報エンコーダ５１から受信した最高精度位置符号化データファイルを記録部６１に記録する。
ここで、最高精度位置符号化データファイルには、各オブジェクトについて、正規化位置情報を最も高い精度で量子化して得られた、すなわち小さい量子化ステップ幅で量子化して得られた最高精度量子化位置情報が含まれている。
以下、正規化位置情報から最高精度量子化位置情報を得るときの量子化精度を、最高精度とも称し、最高精度量子化位置情報により示される位置を最高精度絶対位置とも称することとする。
詳細は後述するが最高精度量子化位置情報の一部を抽出することで、最高精度よりも低い量子化精度で正規化位置情報を量子化して得られる量子化位置情報を得ることができる。
以下では、最高精度よりも低い量子化精度で正規化位置情報を量子化して得られる量子化位置情報を低精度量子化位置情報とも称することとし、特に低精度量子化位置情報のうち、最も低い量子化精度の低精度量子化位置情報を最低精度量子化位置情報とも称することとする。また、以下では、低精度量子化位置情報により示される位置を低精度絶対位置とも称し、最低精度量子化位置情報により示される位置を最低精度絶対位置とも称することとする。
さらに、以下では最高精度絶対位置や低精度絶対位置を特に区別する必要のない場合には、単にオブジェクトの絶対位置とも称し、最高精度量子化位置情報や低精度量子化位置情報を特に区別する必要のない場合には、単にオブジェクトの量子化位置情報とも称する。
低精度量子化位置情報は、最高精度量子化位置情報よりも低い精度でオブジェクトの位置を表す絶対座標の情報であるが、最高精度量子化位置情報よりも情報量、すなわちビット数が少ないため、情報の伝送量の削減を図ることができる。
また、クライアント５４側では、図１に示した受聴者位置取得装置１１に対応する受聴者位置取得装置５３により、受聴者U12の位置を示す受聴者位置情報が取得され、クライアント５４に供給される。この受聴者位置取得装置５３は、例えばGPSやジャイロセンサなどの測距デバイス、バーチャル空間内の受聴者U12の仮想的な位置情報を取得する入力装置等から構成される。
クライアント５４は、絶対座標位置情報デコーダ７１および座標変換部７２を有する情報処理装置であり、サーバ５２から最低精度量子化位置情報を取得する。なお、以下ではクライアント５４がサーバ５２から最低精度量子化位置情報を取得する場合を例として説明を行う。しかし、最低精度量子化位置情報に限らず、最高精度よりも低い量子化精度であれば、どのような量子化精度の低精度量子化位置情報が取得されてもよい。
絶対座標位置情報デコーダ７１は、サーバ５２から取得された最低精度量子化位置情報を復号するとともに、受聴者位置情報に基づいて、最低精度量子化位置情報により示されるオブジェクトの位置が十分な精度のものであるかを判定する。
このとき、十分な精度のものでないと判定されたオブジェクトについて、クライアント５４は、十分な精度の量子化位置情報を得るための追加ビット情報をサーバ５２から取得する。追加ビット情報は、十分な精度の量子化位置情報と最低精度量子化位置情報との差分情報であり、追加ビット情報を最低精度量子化位置情報に付加することで、十分な精度の量子化位置情報を得ることができる。なお、場合によっては、十分な精度の量子化位置情報が最高精度量子化位置情報となることもある。
各オブジェクトについて十分な精度の量子化位置情報が得られると、座標変換部７２は、それらの量子化位置情報を、空間内における受聴者U12から見た各オブジェクトの相対的な位置を示す極座標に変換し、極座標位置情報とする。
座標変換部７２は、各オブジェクトの極座標位置情報をMPEG-Hレンダラ５５に供給し、MPEG-Hレンダラ５５は、供給された極座標位置情報と、サーバ５２から取得した各オブジェクトのオーディオデータとに基づいてレンダリングを行う。
そして、MPEG-Hレンダラ５５は、レンダリングにより得られた、空間内の各位置にオブジェクトの音像が定位する再生オーディオデータをスピーカ等の再生系へと出力し、音声を再生させる。なお、MPEG-Hレンダラ５５は、図１のMPEG-Hレンダラ１５と同様に、MPEG-Hで規格化された極座標系のレンダラである。
以上のようなコンテンツ再生システムでは、サーバ５２とクライアント５４との間で授受されるオブジェクトの位置を示す情報が、絶対座標である最低精度量子化位置情報とされている。したがって、空間内における受聴者U12の位置を考慮する必要はなく、移動するオブジェクトについてのみ最低精度量子化位置情報を符号化してクライアント５４に伝送すればよいという利点がある。
〈サーバの構成例〉
次に、図３に示したサーバ５２およびクライアント５４のより詳細な構成例について説明する。まず、サーバ５２の構成例について説明する。
サーバ５２は、例えば図４に示すように構成される。なお、図４において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図４に示すサーバ５２は、通信部１０１、制御部１０２、および記録部６１を有している。
通信部１０１は、制御部１０２から供給された各種の情報をクライアント５４に送信したり、絶対座標位置情報エンコーダ５１やクライアント５４から送信されてきた各種の情報を受信して制御部１０２に供給したりする。
制御部１０２は、サーバ５２全体の動作を制御する。制御部１０２は通信制御部１１１および送信情報生成部１１２を有している。
通信制御部１１１は、通信部１０１を制御することで、通信部１０１による絶対座標位置情報エンコーダ５１やクライアント５４との通信を制御する。送信情報生成部１１２は、必要に応じて記録部６１に記録されている最高精度位置符号化データファイル等の情報を用いて、クライアント５４に送信する各種の情報を生成する。
〈クライアントの構成例〉
また、クライアント５４は、例えば図５に示すように構成される。なお、図５において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図５に示すクライアント５４は、通信部１４１、制御部１４２、および出力部１４３を有している。
通信部１４１は、制御部１４２から供給された各種の情報をサーバ５２に送信したり、サーバ５２から送信されてきた各種の情報を受信して制御部１４２に供給したりする。
制御部１４２は、クライアント５４全体の動作を制御する。制御部１４２は通信制御部１５１、絶対座標位置情報デコーダ７１、および座標変換部７２を有している。
通信制御部１５１は、通信部１４１を制御することで、通信部１４１によるサーバ５２との通信を制御する。例えば通信制御部１５１は、通信部１４１を制御して、サーバ５２から最低精度量子化位置情報や追加ビット情報を取得する取得部として機能する。
絶対座標位置情報デコーダ７１は、最低精度量子化位置情報や追加ビット情報に基づいてオブジェクトの絶対的な位置を示す情報を算出することで、符号化された正規化位置情報の復号（デコード）を行う位置情報算出部として機能する。
出力部１４３は、座標変換部７２による座標変換により得られた各オブジェクトの極座標位置情報をMPEG-Hレンダラ５５に出力する。
〈正規化位置情報の符号化について〉
続いて、各オブジェクトの正規化位置情報の符号化（量子化）について説明する。
例えばコンテンツの対象となる空間、すなわちユーザである受聴者U12とオブジェクトが存在する空間が立方体形状の空間であるとし、ある時刻では図６に示すように空間内の中心の位置に受聴者U12がいたとする。なお、図６において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図６は、外側の四角形内部の領域R11が、受聴者U12やオブジェクトの存在する３次元空間をｘｙｚ座標系のｚ軸の正の方向から負の方向へ俯瞰した図となっており、その３次元空間の中心位置がｘｙｚ座標系の原点Oとなっている。また、ここでは原点Oの位置に受聴者U12がいる状態となっている。
また、領域R11により表される空間である立方体の一辺の半分の長さ、すなわち原点Oから立方体の端までの実際の長さを絶対距離absoluteDistanceとするものとする。ここで、絶対距離absoluteDistanceの長さの単位は、例えばメートル(m)などとされ、以下では、絶対距離absoluteDistanceを示す情報を絶対距離情報absoluteDistanceとも記すこととする。
人間の聴覚では水平方向については、正面のオブジェクトに対して左右の一定範囲内の角度であれば正面角度と同じ角度と認識されるという知見があり、この角度は知覚限界角度θと呼ばれている。なお、ここでは知覚限界角度θは例えば1.5度であるとする。
したがって、例えば直線L11と直線L12とのなす角度が知覚限界角度θであるとすると、点PT11と点PT12との間の任意の位置に音像を定位させた場合には、その音像位置がどこであっても原点Oにいる受聴者U12には同じ方向から音が聞こえているように知覚される。そのため、この場合には、点PT11と点PT12との間にあるオブジェクトについては、そのオブジェクトの正規化位置情報を、点PT11から点PT12までの距離を量子化ステップ幅として量子化し、そのときの量子化代表値を位置PtQを示す値とすれば、音像位置のずれを感じさせることなく量子化位置情報のビット数を削減することができる。
また、音の到来方向に対する受聴者U12の水平方向の許容誤差は角度情報である知覚限界角度θであることから、同じ左右0.75度以内でも受聴者U12とオブジェクトの距離が近い場合よりも遠い場合の方が、許容誤差の絶対幅は大きくなる。
本技術では人間の知覚限界角度θを利用することで、受聴者U12からオブジェクトまでの距離に応じて量子化位置情報の量子化精度、つまり量子化ステップ幅を変えることで本来の音像方向との知覚差を感じさせないまま情報の伝送量を抑えることができるようにした。
具体的には、絶対座標位置情報エンコーダ５１には、ユーザU11によりオブジェクト数nObj、絶対距離情報absoluteDistance、最小距離情報、各オブジェクトの正規化位置情報、および知覚限界角度θが入力される。
ここで、オブジェクト数nObjは、空間内に存在するオブジェクトの個数である。なお、以下では、コンテンツの対象となる空間が立方体形状であり、その立方体の中心位置がｘｙｚ座標系の原点Oであるものとする。
最小距離情報は、受聴者U12からオブジェクトまでの距離としてとり得る最小距離MinDistを示す情報である。
最小距離MinDistの単位は、例えば絶対距離absoluteDistanceと同じメートル(m)などとされる。このような最小距離MinDistは、例えば受聴者U12の頭部の大きさが考慮されて、受聴者U12とオブジェクトとが重ならないように定められる。なお、最小距離MinDist＝０として受聴者U12の位置にオブジェクトの音像を定位させることも勿論可能である。以下では、最小距離MinDistを示す最小距離情報を、最小距離情報MinDistとも記すこととする。
また、オブジェクトの正規化位置情報は、ｘｙｚ座標系におけるオブジェクトの絶対的な位置を示すｘ座標、ｙ座標、およびｚ座標であるPx(i)、Py(i)、およびPz(i)からなる情報であり、各座標におけるi（但し、0≦i＜nObj）はオブジェクトを識別するインデックスである。
さらに、例えば知覚限界角度θは予め定められた角度、すなわち1.5度とされ、この知覚限界角度θはクライアント５４側においても既知であるものとする。
ユーザU11により各情報が入力されると、絶対座標位置情報エンコーダ５１は入力された各情報を必要に応じて符号化し、出力符号化情報として最高精度位置符号化データファイルを生成する。最高精度位置符号化データファイルには、例えばオブジェクト数nObj、絶対距離情報absoluteDistance、最高精度量子化位置情報、およびべき指数部インデックスexp_index_highが含まれている。
ここでは、例えばオブジェクト数nObjおよび絶対距離情報absoluteDistanceは非圧縮値とされる。また、最高精度量子化位置情報は、ｘｙｚ座標系における最高精度絶対位置を示すｘ座標、ｙ座標、およびｚ座標の各座標の仮数部であるQpx_high(i)、Qpy_high(i)、およびQpz_high(i)と、それらの各座標の正負の符号を示す符号ビット情報であるsign_x(i)、sign_y(i)、およびsign_z(i)とからなる情報である。
なお、これらの最高精度絶対位置の仮数部および符号ビット情報におけるi（但し、0≦i＜nObj）はオブジェクトを識別するインデックスである。また、各符号ビット情報は非圧縮値とされ、符号ビット情報の値が０であれば座標が正の値であることを示しており、符号ビット情報の値が１であれば座標が負の値であることを示している。
べき指数部インデックスexp_index_highは、最小距離MinDistである場合、すなわち最も高い量子化精度とした場合における1/2べき指数値インデックス、つまり1/2べき指数部のインデックスである。例えば、べき指数部インデックスexp_index_highは圧縮値とされる。
具体的には、最小距離MinDistでのべき指数部インデックスexp_index_highは、最小距離MinDistに基づいて次式（１）を計算することにより求まるものである。
Figure 0007226436000001
なお、式（１）においてINT（）は引数の整数部を出力するINT関数を示している。
また、i番目のオブジェクトの最高精度量子化位置情報の仮数部Qpx_high(i)、Qpy_high(i)、およびQpz_high(i)は、正規化位置情報のｘ座標Px(i)、ｙ座標Py(i)、およびｚ座標Pz(i)と、べき指数部インデックスexp_index_highと、知覚限界角度θとに基づいて次式（２）を計算することで得ることができる。
Figure 0007226436000002
式（２）においてstep_highは、べき指数部インデックスexp_index_highに対応する量子化ステップ幅を示しており、次式（３）により求まるものである。式（３）ではsqrt()は平方根を表している。
Figure 0007226436000003
なお、べき指数部インデックスexp_index_highの値を１ずつ小さくしていけば、各量子化精度に対応する低精度量子化位置情報のべき指数部インデックスexp_indexの値となり、べき指数部インデックスexp_indexの値が小さくなるほど量子化精度が低くなる。したがって、最低精度量子化位置情報のべき指数部インデックスexp_indexの値は０となる。
以下では、特に量子化精度を区別しない場合には、べき指数部インデックスexp_index_highも含めて、所定の量子化精度の1/2べき指数部のインデックスを、単にべき指数部インデックスexp_indexとも称することとする。
このように本技術では、最高精度の量子化ステップ幅が1/2のべき乗値、より詳細には1/2のべき乗値に、知覚限界角度θにより定まる定数である2tan(θ/2)/sqrt(3)を乗算したものとされている。このときの1/2のべき乗値の指数がべき指数部インデックスexp_index_highである。こうすることで、最高精度量子化位置情報の仮数部の一部を抽出するだけで、簡単に低精度量子化位置情報の仮数部を得ることができるようになっている。
また、絶対座標位置情報エンコーダ５１では、正規化位置情報の符号ビットの符号化は、以下のようにして行われる。
すなわち、ｘ座標Px(i)の値が０以上であればｘ座標の符号ビット情報sign_x(i)の値は０とされ、ｘ座標Px(i)の値が０未満であればｘ座標の符号ビット情報sign_x(i)の値は１とされる。
同様にして、ｙ座標Py(i)の値が０以上であればｙ座標の符号ビット情報sign_y(i)の値は０とされ、ｙ座標Py(i)の値が０未満であればｙ座標の符号ビット情報sign_y(i)の値は１とされる。また、ｚ座標Pz(i)の値が０以上であればｚ座標の符号ビット情報sign_z(i)の値は０とされ、ｚ座標Pz(i)の値が０未満であればｚ座標の符号ビット情報sign_z(i)の値は１とされる。
一方で、クライアント５４側では、最高精度量子化位置情報や低精度量子化位置情報の復号が以下のようにして行われる。
すなわち、復号時には予め既知である知覚限界角度θと、サーバ５２から受信した絶対距離情報absoluteDistanceと、最終的に確定したべき指数部インデックスexp_index_selとに基づいて次式（４）の計算が行われ、量子化ステップ幅step_decが求められる。
Figure 0007226436000004
べき指数部インデックスexp_index_selは、べき指数部インデックスexp_indexに対応するものである。
例えば復号しようとする量子化位置情報が最高精度量子化位置情報であれば、べき指数部インデックスexp_index_selの値は、べき指数部インデックスexp_index_highと同じ値とされる。また、復号しようとする量子化位置情報が最低精度量子化位置情報であれば、べき指数部インデックスexp_index_selの値は０とされる。
さらに、符号ビット情報sign_x(i)、sign_y(i)、およびsign_z(i)の復号も行われる。
具体的には、符号ビット情報sign_x(i)の値が０であれば、復号により得られた正規化位置情報のｘ座標の符号を示す符号ビット情報sign_x_val(i)の値が１とされ、符号ビット情報sign_x(i)の値が１であれば、復号により得られた正規化位置情報のｘ座標の符号を示す符号ビット情報sign_x_val(i)の値が－１とされる。
同様に、符号ビット情報sign_y(i)の値が０であれば、復号により得られた正規化位置情報のｙ座標の符号を示す符号ビット情報sign_y_val(i)の値が１とされ、符号ビット情報sign_y(i)の値が１であれば、復号により得られた正規化位置情報のｙ座標の符号を示す符号ビット情報sign_y_val(i)の値が－１とされる。
符号ビット情報sign_z(i)の値が０であれば、復号により得られた正規化位置情報のｚ座標の符号を示す符号ビット情報sign_z_val(i)の値が１とされ、符号ビット情報sign_z(i)の値が１であれば、復号により得られた正規化位置情報のｚ座標の符号を示す符号ビット情報sign_z_val(i)の値が－１とされる。
量子化ステップ幅step_decと、復号後の符号ビット情報sign_x_val(i)、sign_y_val(i)、およびsign_z_val(i)とが得られると、それらの情報と、サーバ５２から受信した絶対距離情報absoluteDistanceと、最終的に確定した量子化位置情報の仮数部とに基づいて、次式（５）が計算され、最終的な復号正規化位置情報が求められる。復号正規化位置情報は、符号化された正規化位置情報を復号することで得られる絶対座標情報である。
Figure 0007226436000005
なお、式（５）においてDpx(i)、Dpy(i)、およびDpz(i)は、符号化されたi番目のオブジェクトの正規化位置情報のｘ座標Px(i)、ｙ座標Py(i)、およびｚ座標Pz(i)を、復号することにより得られるｘ座標、ｙ座標、およびｚ座標である。また、ｘ座標Dpx(i)、ｙ座標Dpy(i)、およびｚ座標Dpz(i)からなる位置情報が、復号により得られたｘｙｚ座標系におけるオブジェクトの絶対的な位置を示す復号正規化位置情報とされる。
さらに、式（５）においてQpx_sel(i)、Qpy_sel(i)、およびQpz_sel(i)は、最終的に確定したi番目のオブジェクトの量子化位置情報のｘ座標、ｙ座標、およびｚ座標の仮数部である。例えば最終的に確定したオブジェクトの量子化位置情報が最高精度量子化位置情報である場合には、仮数部Qpx_sel(i)、Qpy_sel(i)、およびQpz_sel(i)は、それぞれ仮数部Qpx_high(i)、Qpy_high(i)、およびQpz_high(i)となる。
〈符号化処理およびファイル保存処理の説明〉
次に、コンテンツ再生システムにおいて行われる具体的な処理について説明する。
まず、図７のフローチャートを参照して、絶対座標位置情報エンコーダ５１による符号化処理、およびサーバ５２によるファイル保存処理について説明する。
符号化処理が開始されると、絶対座標位置情報エンコーダ５１はステップＳ１１において、ユーザU11により入力されたオブジェクト数nObj、絶対距離情報absoluteDistance、最小距離情報MinDist、各オブジェクトの正規化位置情報、および知覚限界角度θを取得する。
ステップＳ１２において絶対座標位置情報エンコーダ５１は式（１）を計算し、受聴者U12からオブジェクトまでの距離が最小距離MinDistとなるときのべき指数部インデックスexp_index_highを算出する。
ステップＳ１３において絶対座標位置情報エンコーダ５１は、各オブジェクトについて、正規化位置情報、べき指数部インデックスexp_index_high、絶対距離情報absoluteDistance、および知覚限界角度θに基づいて式（２）を計算し、最高精度量子化位置情報の仮数部Qpx_high(i)、Qpy_high(i)、およびQpz_high(i)を算出する。
ステップＳ１４において絶対座標位置情報エンコーダ５１は、各オブジェクトの正規化位置情報の符号ビットを符号化し、符号ビット情報sign_x(i)、sign_y(i)、およびsign_z(i)を求める。
以上の処理で最高精度量子化位置情報の仮数部と符号ビット情報を求めることにより、オブジェクトの正規化位置情報が最高精度で符号化（量子化）されたことになる。
ステップＳ１５において絶対座標位置情報エンコーダ５１は、各オブジェクトの最高精度量子化位置情報が含まれる最高精度位置符号化データファイルを生成する。
これにより、例えば図８に示すフォーマットの最高精度位置符号化データファイルが生成される。すなわち、図８は、最高精度位置符号化データファイルのシンタックスの一例を示す図である。
この例では、最高精度位置符号化データファイルの先頭には絶対距離情報absoluteDistanceが配置され、その後にべき指数部インデックスexp_index_highが配置されている。また、べき指数部インデックスexp_index_highに続いて、文字「Num_of_Object」により示されるオブジェクト数nObjを示す情報が配置されている。
さらに、オブジェクト数nObjを示す情報の後には、そのオブジェクト数nObjの分だけ、各オブジェクトの最高精度量子化位置情報の符号ビット情報sign_x(i)、sign_y(i)、およびsign_z(i)と、仮数部Qpx_high(i)、Qpy_high(i)、およびQpz_high(i)とが配置されている。
なお、図８の例において、最高精度量子化位置情報の仮数部のビット数を示すceil()は、引数以上の最小の整数値を出力する天井関数を示している。
このようにして絶対距離情報absoluteDistance、べき指数部インデックスexp_index_high、オブジェクト数nObj、各オブジェクトの最高精度量子化位置情報の符号ビット情報、および各オブジェクトの最高精度量子化位置情報の仮数部が含まれる最高精度位置符号化データファイルが得られると、その後、処理は図７のステップＳ１６へと進む。
ステップＳ１６において、絶対座標位置情報エンコーダ５１は、生成した最高精度位置符号化データファイルを、無線または有線の通信等によりサーバ５２に送信し、符号化処理は終了する。
なお、後述するように最高精度位置符号化データファイルがサーバ５２で正しく保存されると、その旨の保存完了通知がサーバ５２から送信されてくるので、絶対座標位置情報エンコーダ５１は送信されてきた保存完了通知を受信して、適宜、表示させる。
また、最高精度位置符号化データファイルが送信されると、サーバ５２では、ファイル保存処理が開始される。
すなわち、ステップＳ３１においてサーバ５２の通信部１０１は、絶対座標位置情報エンコーダ５１から送信されてきた最高精度位置符号化データファイルを通信制御部１１１の制御に従って受信し、制御部１０２に供給する。
ステップＳ３２において制御部１０２は、通信部１０１から供給された最高精度位置符号化データファイルを記録部６１に供給し、保存させる。これにより、記録部６１に最高精度位置符号化データファイルが保存（記録）された状態となる。
その後、通信制御部１１１は、通信部１０１を制御して、最高精度位置符号化データファイルを正しく保存できた旨の保存完了通知を絶対座標位置情報エンコーダ５１に送信し、ファイル保存処理は終了する。
以上のようにして絶対座標位置情報エンコーダ５１は、最も高い精度でオブジェクトの正規化位置情報を符号化し、その結果得られた最高精度量子化位置情報を含む最高精度位置符号化データファイルをサーバ５２に送信する。また、サーバ５２は、絶対座標位置情報エンコーダ５１から受信した最高精度位置符号化データファイルを保存する。
このようにすることで、サーバ５２は、クライアント５４の要求に応じて最高精度量子化位置情報から任意の量子化精度の量子化位置情報を生成し、クライアント５４に伝送することが可能となる。
これにより、クライアント５４において各オブジェクトの極座標位置情報を求めるようにしてサーバ５２や絶対座標位置情報エンコーダ５１といったコンテンツの配信側の処理負荷を低減させるとともに、最高精度量子化位置情報をそのままクライアント５４に伝送する場合と比較して情報の伝送量を削減することができる。
〈位置情報取得処理および位置情報送信処理の説明〉
サーバ５２に最高精度位置符号化データファイルが保存されると、クライアント５４はサーバ５２からコンテンツについての各オブジェクトの量子化位置情報の供給を受けることができるようになる。以下、クライアント５４がサーバ５２から量子化位置情報を取得するときに行われる処理について説明する。すなわち、以下、図９のフローチャートを参照して、クライアント５４による位置情報取得処理、およびサーバ５２による位置情報送信処理について説明する。
クライアント５４により位置情報取得処理が開始されると、ステップＳ６１において、通信部１４１は、通信制御部１５１の制御に従ってオブジェクト数送信要求を、無線または有線の通信等によりサーバ５２に送信する。
ここで、オブジェクト数送信要求は、コンテンツを構成するオブジェクトの数、すなわち空間内に存在するオブジェクトの数を示すオブジェクト数通知情報の送信を要求する旨の情報である。
オブジェクト数送信要求が送信されると、サーバ５２では位置情報送信処理が開始される。すなわち、ステップＳ８１において通信部１０１は、クライアント５４から送信されてきたオブジェクト数送信要求を通信制御部１１１の制御に従って受信し、制御部１０２に供給する。
すると、送信情報生成部１１２は、記録部６１に記録されている最高精度位置符号化データファイルを参照して、オブジェクト数nObjを示すオブジェクト数通知情報を生成し、通信制御部１１１は、生成されたオブジェクト数通知情報を通信部１０１に供給する。
ステップＳ８２において通信部１０１は、通信制御部１１１の制御に従って、通信制御部１１１から供給されたオブジェクト数通知情報をクライアント５４に送信する。
これに対して、クライアント５４では、ステップＳ６２において通信部１４１は、サーバ５２から送信されてきたオブジェクト数通知情報を通信制御部１５１の制御に従って受信し、制御部１４２に供給する。
これによりクライアント５４では、コンテンツにおけるオブジェクト数nObjを把握することができ、そのオブジェクト数nObjに応じて、これから行われる処理の準備等を行うことができる。
なお、オブジェクト数通知情報は、例えば図１０に示すフォーマット（シンタックス）のヘッダ情報を含むフレームなどとすることができる。
図１０の例では、ヘッダ情報には、絶対距離情報absoluteDistanceと、文字「Num_of_Object」により示されるオブジェクト数nObjを示す情報とが含まれている。なお、図１０に示すヘッダ情報は、サーバ５２からクライアント５４へと送信される信号全てに付加されてもよいし、初期化時などの適切なタイミングでクライアント５４に送信されてもよいし、定期的にクライアント５４に送信されてもよい。
オブジェクト数nObjが特定されると、通信制御部１５１は、サーバ５２に対して最低精度量子化位置情報の送信を要求する送信要求を生成し、通信部１４１に供給する。
なお、ここではクライアント５４によりサーバ５２から最初に取得される低精度量子化位置情報が最低精度量子化位置情報である例について説明するが、最高精度よりも低い量子化精度であれば、どのような量子化精度の低精度量子化位置情報であってもよい。
ステップＳ６３において、通信部１４１は、通信制御部１５１の制御に従って、通信制御部１５１から供給された最低精度量子化位置情報の送信要求をサーバ５２に送信する。
すると、サーバ５２では、ステップＳ８３において通信部１０１は、通信制御部１１１の制御に従って、クライアント５４から送信されてきた最低精度量子化位置情報の送信要求を受信して制御部１０２に供給する。
ステップＳ８４において、送信情報生成部１１２は、通信部１０１から供給された送信要求に応じて、記録部６１に記録されている最高精度位置符号化データファイルを参照して、最低精度量子化位置情報の仮数部を生成する。
具体的には、例えば送信情報生成部１１２は、各オブジェクトについて、最高精度位置符号化データファイルに含まれる最高精度量子化位置情報の仮数部Qpx_high(i)、Qpy_high(i)、およびQpz_high(i)を抽出する。
そして、送信情報生成部１１２は、べき指数部インデックスexp_index_highと、最も量子化精度が低い最低精度のべき指数部インデックスexp_index＝０の差の分だけ、仮数部Qpx_high(i)、Qpy_high(i)、およびQpz_high(i)をシフトさせ、最低精度絶対位置を示すｘ座標、ｙ座標、およびｚ座標の各座標の仮数部であるQpx_low(i)、Qpy_low(i)、およびQpz_low(i)とする。
換言すれば、最高精度量子化位置情報の仮数部のMSB（Most Significant Bit）側（最上位ビット側）から、最低精度のべき指数部インデックスexp_indexに応じたビット数分の情報を抽出することで、最低精度量子化位置情報の仮数部を得ることができる。
例えば、べき指数部インデックスexp_index_highの値が９であったとすると、仮数部Qpx_high(i)における下位９ビット分の情報を、仮数部Qpx_high(i)に対するシフト処理により除去して得られた情報が最低精度絶対位置のｘ座標の仮数部Qpx_low(i)とされる。
また、送信情報生成部１１２は、最高精度位置符号化データファイルに含まれている最高精度量子化位置情報の符号ビット情報sign_x(i)、sign_y(i)、およびsign_z(i)を、そのまま最低精度量子化位置情報の符号ビット情報とする。これは、量子化精度によらず、符号ビットは同じであるからである。
ステップＳ８５において、送信情報生成部１１２は、ステップＳ８４の処理で得られた仮数部Qpx_low(i)、Qpy_low(i)、およびQpz_low(i)と、符号ビット情報sign_x(i)、sign_y(i)、およびsign_z(i)とが含まれる最低精度量子化位置情報を生成する。
これにより、例えば図１１に示す最低精度量子化位置情報が得られる。より詳細には、図１１は、各オブジェクトの最低精度量子化位置情報が含まれるビットストリームのシンタックス例を示している。
この例では、オブジェクト数nObj分の各オブジェクトについて、最低精度量子化位置情報の符号ビット情報sign_x(i)、sign_y(i)、およびsign_z(i)と、最低精度量子化位置情報の各座標の仮数部Qpx_low(i)、Qpy_low(i)、およびQpz_low(i)とがビットストリームに格納されている。
このようにして最低精度量子化位置情報が得られると、通信制御部１１１は、各オブジェクトの最低精度量子化位置情報を通信部１０１に供給する。
ステップＳ８６において、通信部１０１は、通信制御部１１１から供給された各オブジェクトの最低精度量子化位置情報を通信制御部１１１の制御に従ってクライアント５４に送信し、位置情報送信処理は終了する。
ここで、ある１つのオブジェクトの正規化位置情報の１つの軸の座標を符号化した場合の具体的な例を図１２に示す。
図１２では、知覚限界角度θは1.5度とされており、知覚限界角度θにより定まる許容誤差角度は0.75度となる。また、絶対距離absoluteDistanceは30mであり、正規化位置情報の座標は0.1となっている。
図１２の例では、この座標値0.1の各量子化精度に対応する仮数部の２進数の値等、すなわちバイナリ値等が示されている。
すなわち、「１／２のべき指数」は、べき指数部インデックスexp_indexを示しており、べき指数部インデックスexp_indexの値が大きいほど量子化精度が高くなる。
特にここでは、最も量子化精度が高いべき指数部インデックスexp_index_highの値は「９」となっており、最も量子化精度が低い最低量子化精度のべき指数部インデックスexp_indexの値は「０」となっている。
また、「受聴者からオブジェクトまでの距離」は、べき指数部インデックスexp_indexに対応する量子化精度の量子化ステップ幅だけ離れた２つの位置が、受聴者U12から見て知覚限界角度θだけ離れた位置となるときの受聴者U12からオブジェクトまでの距離を示している。
「量子化ステップ幅」は、べき指数部インデックスexp_indexに対応する量子化ステップ幅を示している。
「実数量子化値」は、べき指数部インデックスexp_indexに対応する量子化ステップ幅により正規化位置情報の座標値「0.1」を量子化したときの実数値である。
また、「量子化ビット数」は、量子化された正規化位置情報の仮数部のビット数を示しており、「２進バイナリ」は量子化された正規化位置情報の仮数部のバイナリ値（２進バイナリ値）を示しており、「整数化量子化値」は仮数部の値（整数値）を示している。つまり、「整数化量子化値」により示される値が量子化された正規化位置情報の仮数部の値であり、その値のバイナリ値が「２進バイナリ」により示される値である。
特に、ここでは、べき指数部インデックスexp_indexの値が９であるものについては、「実数量子化値」により示される値を整数化したものが、量子化された正規化位置情報の仮数部の整数化量子化値とされている。
これに対して、べき指数部インデックスexp_indexの値が８乃至０であるものについては、それらの仮数部は、べき指数部インデックスexp_indexの値が９である仮数部のバイナリ値の一部を抽出して得られたものとなっている。
例えばべき指数部インデックスexp_indexの値が９である仮数部のバイナリ値の上位７ビットを抽出して得られる値が、べき指数部インデックスexp_indexの値が０である仮数部のバイナリ値となっている。
なお、ここでは図を見やすくするため、仮数部のバイナリ値の部分では、MSB側にある「0000」が省略されている。
さらに、「デコード後のPosition」は、量子化された正規化位置情報の仮数部、すなわち「２進バイナリ」により示される値に基づいて復号を行って得られる正規化位置情報の座標値を示している。
この例では、量子化（符号化）される正規化位置情報の座標値は「0.1」であるから、復号後の正規化位置情報の座標値は「0.1」となることが理想的である。しかし、ここではべき指数部インデックスexp_indexが小さくなるほど量子化精度が低くなるので、復号後の座標値も量子化精度が低くなるほど誤差が大きくなっている。
正規化位置情報の符号化（量子化）時には、べき指数部インデックスexp_indexに対して量子化ビット数が定まり、その量子化ビット数の仮数部、すなわち座標値の量子化値の２進バイナリ値が得られる。
各べき指数部インデックスexp_indexにおける仮数部を比較すると、べき指数部インデックスexp_indexの値が大きくなるほど量子化ビット数は増加し、仮数部はLSB（Least Significant Bit）方向、すなわち最下位ビット方向に値が付加されていくことが分かる。
このことは、べき指数部インデックスexp_indexが大きくなるほど仮数部の量子化精度が高くなることを意味している。そして、高い量子化精度の情報、すなわち最高精度量子化位置情報の仮数部だけを保持しておけば、仮数部のLSB側の情報を除去するだけで、新たに量子化の計算を行わなくても低精度量子化位置情報の仮数部を得ることができる。
ここで、べき指数部インデックスexp_indexに対応する量子化ステップ幅stepは、次式（６）に示すものとなる。
Figure 0007226436000006
また、べき指数部インデックスexp_indexに対応する仮数部の量子化ビット数は、量子化ステップ幅stepを用いて、ceil(log2(1/step+1))を計算することで得ることができる。なお、ceil()は天井関数である。
したがって、例えばべき指数部インデックスexp_indexの値が「０」である場合には、量子化ビット数は７ビットとなる。
いま、例えばべき指数部インデックスexp_index_highの値が「９」であるとする。この場合、最高精度のべき指数部インデックスexp_index_high＝９と、最低精度のべき指数部インデックスexp_index＝０の差は９となる。
したがって、最低精度量子化位置情報の座標の仮数部は、べき指数部インデックスの差である９ビット分だけ、最高精度量子化位置情報の座標の仮数部「0000110100111011」の下位ビットを除去して得られる７ビットの値「0000110」となる。
換言すれば、最低精度のべき指数部インデックスexp_indexが０である場合には、量子化ビット数が７となるので、最高精度量子化位置情報の座標の仮数部の上位７ビット分を抽出すれば、最低精度量子化位置情報の座標の仮数部が得られることになる。
図９のフローチャートの説明に戻り、サーバ５２により最低精度量子化位置情報が送信されると、クライアント５４では、ステップＳ６４の処理が行われる。
ステップＳ６４において、通信部１４１は、サーバ５２から送信されてきた最低精度量子化位置情報を通信制御部１５１の制御に従って受信し、制御部１４２に供給する。すなわち、通信制御部１５１は最低精度量子化位置情報を取得する。
最低精度量子化位置情報が受信されると、絶対座標位置情報デコーダ７１は、オブジェクト数nObj分の各オブジェクトを１つずつ処理対象のオブジェクトとして選択していき、それらのオブジェクトの最低精度絶対位置を算出する。
すなわち、ステップＳ６５において絶対座標位置情報デコーダ７１は、既知である知覚限界角度θと、サーバ５２から受信したフレーム等のヘッダ情報に含まれている絶対距離情報absoluteDistanceとに基づいて式（４）と同様の計算を行い、量子化ステップ幅を算出する。ここでは、最低精度のべき指数部インデックスexp_indexの値は０であるから、式（４）において、べき指数部インデックスexp_index_selの値に代えて０を代入することで量子化ステップ幅が算出される。
ステップＳ６６において絶対座標位置情報デコーダ７１は、処理対象のオブジェクトについて、ステップＳ６４で受信された最低精度量子化位置情報の符号ビット情報sign_x(i)、sign_y(i)、およびsign_z(i)を復号する。これにより、復号後の符号ビット情報sign_x_val(i)、sign_y_val(i)、およびsign_z_val(i)が得られる。
ステップＳ６７において絶対座標位置情報デコーダ７１は、処理対象のオブジェクトについて、ステップＳ６５で得られた量子化ステップ幅と、ステップＳ６６で得られた符号ビット情報sign_x_val(i)、sign_y_val(i)、およびsign_z_val(i)と、ステップＳ６４で受信された最低精度量子化位置情報の仮数部Qpx_low(i)、Qpy_low(i)、およびQpz_low(i)とに基づいて最低精度絶対位置を算出する。
すなわち、絶対座標位置情報デコーダ７１は、上述した式（５）と同様の計算を行って、復号された最低精度絶対位置を示すｘ座標Dtx(i)、ｙ座標Dty(i)、およびｚ座標Dtz(i)からなる復号最低精度正規化位置情報を求める。
具体的には、式（５）において、量子化ステップ幅step_decに代えてステップＳ６５で得られた量子化ステップ幅が代入され、Qpx_sel(i)、Qpy_sel(i)、およびQpz_sel(i)に代えて仮数部Qpx_low(i)、Qpy_low(i)、およびQpz_low(i)が代入される。また、絶対距離情報absoluteDistanceはサーバ５２から受信したものが用いられる。これにより、ｘ座標Dpx(i)、ｙ座標Dpy(i)、およびｚ座標Dpz(i)に対応するｘ座標Dtx(i)、ｙ座標Dty(i)、およびｚ座標Dtz(i)が得られる。
このようにして得られたｘ座標Dtx(i)、ｙ座標Dty(i)、およびｚ座標Dtz(i)からなる復号最低精度正規化位置情報は、仮の復号正規化位置情報である。以上のステップＳ６５乃至ステップＳ６７の処理が最低精度量子化位置情報を復号する処理となる。
ステップＳ６８において絶対座標位置情報デコーダ７１は、全てのオブジェクトを処理対象のオブジェクトとして処理したか否かを判定する。
ステップＳ６８において、まだ全てのオブジェクトを処理していないと判定された場合、処理はステップＳ６６に戻り、上述した処理が繰り返し行われる。この場合、まだ処理対象とされていないオブジェクトが次の処理対象のオブジェクトとして選択され、復号最低精度正規化位置情報が求められる。
これに対して、ステップＳ６８において全てのオブジェクトを処理したと判定された場合、位置情報取得処理は終了する。
以上のようにしてクライアント５４は、サーバ５２から最低精度量子化位置情報を受信して復号処理を行い、復号最低精度正規化位置情報を得る。また、サーバ５２は、クライアント５４の要求に応じて最低精度量子化位置情報を生成し、クライアント５４に送信する。
このようにすることで、最高精度量子化位置情報を授受する場合よりも、サーバ５２とクライアント５４の間で授受される情報の伝送量を削減することができる。
なお、ここでは最高精度量子化位置情報のみが予めサーバ５２に記録され、その最高精度量子化位置情報に基づいてクライアント５４へと伝送（送信）される最低精度量子化位置情報が生成される例について説明した。しかし、各量子化精度の量子化位置情報が予めサーバ５２で保持されるようにし、要求された量子化精度の量子化位置情報が読み出されてクライアント５４に送信されるようにしてもよい。
〈追加ビット情報取得処理および追加ビット情報送信処理の説明〉
ところで、図９を参照して説明した位置情報取得処理が行われると、各オブジェクトについて復号最低精度正規化位置情報が得られることになる。
空間内のオブジェクトの絶対的な位置を示す量子化位置情報として、最低精度量子化位置情報、つまり復号最低精度正規化位置情報が十分な精度のものであるか否かは、受聴者U12から、正規化位置情報により示される位置までの距離によって特定可能である。
ここで、十分な精度の量子化位置情報とは、受聴者U12から見た正規化位置情報により示される位置の方向と、受聴者U12から見た量子化位置情報により示される位置の方向とのなす角度がθ／２以下となることである。換言すれば、受聴者U12から見て、量子化位置情報により示される位置が、正規化位置情報により示される位置を中心とする知覚限界角度θの範囲内に位置していることである。
復号最低精度正規化位置情報は、正確ではないものの空間内における大よそのオブジェクトの位置を示しているので、復号最低精度正規化位置情報を用いれば、空間内における受聴者U12からオブジェクトまでの大よその距離を得ることができる。
したがって、クライアント５４は、GPS等により計測された高精度な受聴者位置情報と、復号最低精度正規化位置情報とに基づいて、各オブジェクトについて最低精度量子化位置情報が十分な量子化精度のものであるか否か、および十分な量子化精度の量子化位置情報を特定することができる。
クライアント５４は、最低精度量子化位置情報が十分な量子化精度のものでない場合には、追加ビット情報をサーバ５２から取得して、十分な精度の復号正規化位置情報を得る。以下、そのような場合にクライアント５４およびサーバ５２により行われる処理について説明する。すなわち、以下、図１３のフローチャートを参照して、クライアント５４による追加ビット情報取得処理、およびサーバ５２による追加ビット情報送信処理について説明する。
クライアント５４において追加ビット情報取得処理が開始されると、ステップＳ１２１において絶対座標位置情報デコーダ７１は、各オブジェクトについて、受聴者U12からオブジェクトまでの距離ObjectDistanceを算出する。
具体的には、受聴者位置取得装置５３から供給された受聴者位置情報と、復号最低精度正規化位置情報とに基づいて、空間内における受聴者U12からオブジェクトまでのユークリッド距離が距離ObjectDistanceとして算出される。
ステップＳ１２２において、絶対座標位置情報デコーダ７１は、べき指数部インデックスexp_indexの値を０からより大きい値へと変化させながら、べき指数部インデックスexp_indexに対して定まる距離distanceと、距離ObjectDistanceとを比較する。
すなわち、例えば絶対座標位置情報デコーダ７１は、べき指数部インデックスexp_index、および絶対距離情報absoluteDistanceに基づいて次式（７）を計算することにより、べき指数部インデックスexp_indexに対応する距離distanceを算出する。
Figure 0007226436000007
そして、絶対座標位置情報デコーダ７１は、求めた距離distanceと距離ObjectDistanceとを比較し、距離distanceが距離ObjectDistance以下となるか否かを判定する。
絶対座標位置情報デコーダ７１は、距離distanceが距離ObjectDistance以下となるまで、べき指数部インデックスexp_indexの値を１ずつ増加させながら、距離distanceが距離ObjectDistance以下となる最も小さいべき指数部インデックスexp_indexを特定する。
なお、以下、距離distanceが距離ObjectDistance以下となる最も小さいべき指数部インデックスexp_indexをべき指数部インデックスexp_index_coverとも称する。
べき指数部インデックスexp_index_coverは、上述した十分な精度の量子化位置情報のべき指数部インデックスexp_indexのうちの最も値が小さいものである。
各オブジェクトについて、べき指数部インデックスexp_index_coverが特定されると、処理はステップＳ１２３へと進む。
ステップＳ１２３において、絶対座標位置情報デコーダ７１は、各オブジェクトについてべき指数部インデックスexp_index_coverと、最低精度量子化位置情報のべき指数部インデックスexp_indexとを比較し、不十分な量子化精度のオブジェクトの洗い出しを行う。
ここで、べき指数部インデックスexp_index_coverは、最低限必要な量子化精度のべき指数部インデックスexp_indexである。したがって、最低精度量子化位置情報のべき指数部インデックスexp_indexがべき指数部インデックスexp_index_cover未満となるオブジェクトは、量子化精度が不十分なものであるとされる。
特に、ここでは最低精度量子化位置情報のべき指数部インデックスexp_indexの値は０であるから、べき指数部インデックスexp_index_coverの値が１以上であるオブジェクトは、量子化精度が不十分であり、追加ビット情報が必要なオブジェクトであるとされる。
このような洗い出しの処理により、量子化精度が不十分であり追加ビット情報が必要となるオブジェクトが特定されるとともに、そのようなオブジェクトについて、予め定められた複数の量子化精度のなかから、必要な量子化精度が決定（特定）されたことになる。ここでいう必要な量子化精度とは、べき指数部インデックスexp_index_coverに対応する量子化精度（量子化ステップ幅）である。
ステップＳ１２４において絶対座標位置情報デコーダ７１は、べき指数部インデックスexp_indexがべき指数部インデックスexp_index_cover以上となる最低精度量子化位置情報について得られた復号最低精度正規化位置情報を、最終的な復号正規化位置情報とする。
すなわち、べき指数部インデックスexp_indexがべき指数部インデックスexp_index_cover以上となるオブジェクトについては、十分な量子化精度の復号最低精度正規化位置情報が得られたことになる。そのため、復号最低精度正規化位置情報のｘ座標Dtx(i)、ｙ座標Dty(i)、およびｚ座標Dtz(i)が、そのまま復号正規化位置情報のｘ座標Dpx(i)、ｙ座標Dpy(i)、およびｚ座標Dpz(i)とされる。
ステップＳ１２５において通信部１４１は、べき指数部インデックスexp_indexがべき指数部インデックスexp_index_cover未満となるオブジェクト、つまり追加ビット情報が必要であると特定されたオブジェクトについて、追加ビット情報の送信要求を送信する。
例えば絶対座標位置情報デコーダ７１は、追加ビット情報の送信を要求するオブジェクトの数、オブジェクトのインデックスresend_object_index(j)、およびべき指数部インデックスresend_exp_index(j)を含む、追加ビット情報の送信要求を生成する。
ここで、オブジェクトのインデックスresend_object_index(j)は、追加ビット情報の送信を要求するオブジェクト、つまりべき指数部インデックスexp_indexがべき指数部インデックスexp_index_cover未満となるオブジェクトを識別するインデックスiである。
べき指数部インデックスresend_exp_index(j)は、インデックスresend_object_index(j)により示されるオブジェクトについて、最終的に必要となる量子化精度のべき指数部インデックスexp_indexである。この場合、べき指数部インデックスexp_index_coverの値がそのままべき指数部インデックスresend_exp_index(j)の値として用いられる。
これにより、例えば図１４に示すフォーマット（シンタックス）の送信要求が得られる。
この例では、送信要求の先頭に文字「num_of_resend_objects」により示される追加ビット情報の送信を要求するオブジェクトの数を示す情報が配置されている。
そして、その後にnum_of_resend_objectsに示される数だけ、オブジェクトのインデックスresend_object_index(j)、およびべき指数部インデックスresend_exp_index(j)が配置されている。
図１３の説明に戻り、通信制御部１５１は、このようにして生成された追加ビット情報の送信要求を通信部１４１に供給し、サーバ５２へと送信させる。
追加ビット情報の送信要求が送信されると、サーバ５２では、追加ビット情報送信処理が開始される。
すなわち、ステップＳ１６１において通信部１０１は、クライアント５４から送信されてきた追加ビット情報の送信要求を通信制御部１１１の制御に従って受信し、制御部１０２に供給する。
ステップＳ１６２において、送信情報生成部１１２は、通信部１０１から供給された送信要求に応じて、すなわち最低精度量子化位置情報の送信先であるクライアント５４からの要求に応じて、送信が要求されたオブジェクトの追加ビット情報を生成する。
具体的には、例えば送信情報生成部１１２は、インデックスresend_object_index(j)により示されるオブジェクトについて、最高精度位置符号化データファイルに含まれる最高精度量子化位置情報の仮数部Qpx_high(i)、Qpy_high(i)、およびQpz_high(i)を抽出する。
そして送信情報生成部１１２は、べき指数部インデックスexp_index_highと、べき指数部インデックスresend_exp_index(j)との差の分だけ仮数部Qpx_high(i)、Qpy_high(i)、およびQpz_high(i)をシフトさせる。
これにより、仮数部Qpx_high(i)、Qpy_high(i)、およびQpz_high(i)における下位ビット側のべき指数部インデックスexp_index_highと、べき指数部インデックスresend_exp_index(j)との差の分のビットが除去され、べき指数部インデックスresend_exp_index(j)の量子化位置情報の仮数部が得られることになる。
送信情報生成部１１２は、得られたべき指数部インデックスresend_exp_index(j)の量子化位置情報の仮数部から、上位ビット側における最低精度量子化位置情報の仮数部のビット数分のビットを除去して追加ビット情報とする。
この追加ビット情報は、べき指数部インデックスresend_exp_index(j)の量子化位置情報と、最低精度量子化位置情報とのｘ座標、ｙ座標、およびｚ座標の各座標の仮数部の差分情報である追加ビット情報Qpx_diff(j)、Qpy_diff(j)、およびQpz_diff(j)からなる。
例えば追加ビット情報Qpx_diff(j)は、べき指数部インデックスresend_exp_index(j)の量子化位置情報のｘ座標の仮数部と、最低精度量子化位置情報のｘ座標の仮数部Qpx_low(i)との差分である。
例えば図１２に示した例において、べき指数部インデックスresend_exp_index(j)の値が７であったとする。
この場合、最高精度量子化位置情報のべき指数部インデックスexp_index_highは９であるから、その９と、べき指数部インデックスresend_exp_index(j)＝７との差分は２となる。
また、最高精度量子化位置情報の仮数部である「0000110100111011」から下位２ビット分を除去することで、べき指数部インデックスresend_exp_index(j)＝７の低精度量子化位置情報の仮数部「00001101001110」が得られる。
さらに、最低精度量子化位置情報の仮数部のビット数は７ビットであるから、仮数部「00001101001110」から上位７ビットを除去すると、追加ビット情報「1001110」が得られることになる。クライアント５４側では、このようにして得られた追加ビット情報「1001110」を、最低精度量子化位置情報の仮数部「0000110」の下位ビット側に付加することで、最終的に必要とされているべき指数部インデックスresend_exp_index(j)＝７である低精度量子化位置情報の仮数部「00001101001110」が得られることになる。
以上の処理により、各インデックスresend_object_index(j)により示されるオブジェクトについて追加ビット情報が得られると、送信情報生成部１１２は、それらの追加ビット情報が含まれる差分データを生成する。
これにより、例えば図１５に示されるフォーマット（シンタックス）の差分データが得られる。この例では、差分データには、上述したnum_of_resend_objectsに示される数だけ、オブジェクトの追加ビット情報Qpx_diff(j)、Qpy_diff(j)、およびQpz_diff(j)が含まれている。
なお、図１５において、各追加ビット情報のビット数は、resend_exp_index(j)分のビット数となっている。
図１３の説明に戻り、通信制御部１１１は、追加ビット情報が含まれる差分データを通信部１０１に供給し、クライアント５４への送信を制御する。
ステップＳ１６３において、通信部１０１は、通信制御部１１１の制御に従って、通信制御部１１１から供給された追加ビット情報が含まれる差分データをクライアント５４に送信し、追加ビット情報送信処理は終了する。
また、差分データが送信されると、クライアント５４ではステップＳ１２６の処理が行われる。
ステップＳ１２６において、通信部１４１は通信制御部１５１の制御に従って、サーバ５２から送信されてきた差分データを受信して制御部１４２に供給する。すなわち、通信制御部１５１は、追加ビット情報が含まれる差分データを取得する。
ステップＳ１２７において、絶対座標位置情報デコーダ７１は各インデックスresend_object_index(j)により示されるオブジェクトについて、べき指数部インデックスresend_exp_index(j)の値を、べき指数部インデックスexp_index_selとして式（４）の計算を行い、量子化ステップ幅step_decを算出する。
ステップＳ１２７では、ステップＳ１２３で量子化精度が不十分であるとされたオブジェクトごと、つまりインデックスresend_object_index(j)により示されるオブジェクトごとに量子化ステップ幅step_decが算出される。
ステップＳ１２８において、絶対座標位置情報デコーダ７１は各インデックスresend_object_index(j)により示されるオブジェクトについて、通信部１４１から供給された差分データに基づいて、べき指数部インデックスresend_exp_index(j)の量子化位置情報の仮数部を生成する。
すなわち、絶対座標位置情報デコーダ７１は、最低精度量子化位置情報の仮数部Qpx_low(i)、Qpy_low(i)、およびQpz_low(i)の下位ビット側に、差分データに含まれている追加ビット情報Qpx_diff(j)、Qpy_diff(j)、およびQpz_diff(j)を付加する。
これにより、べき指数部インデックスresend_exp_index(j)の量子化位置情報の各座標の仮数部が得られ、それらの仮数部が最終的に確定した仮数部Qpx_sel(i)、Qpy_sel(i)、およびQpz_sel(i)とされる。
ステップＳ１２９において、絶対座標位置情報デコーダ７１は各インデックスresend_object_index(j)により示されるオブジェクトについて、オブジェクトの復号正規化位置情報を算出する。
具体的には、ステップＳ１２７で得られた量子化ステップ幅step_dec、絶対距離情報absoluteDistance、図９のステップＳ６６で得られた復号後の符号ビット情報、およびステップＳ１２８で得られた最終的に確定した仮数部に基づいて式（５）が計算され、復号正規化位置情報が算出される。
以上のステップＳ１２７乃至ステップＳ１２９の処理は、最低精度量子化位置情報と追加ビット情報とから得られる量子化位置情報を復号する処理となる。また、以上の処理により、オブジェクト数nObj分の全てのオブジェクトについて、復号正規化位置情報が得られたことになる。
ステップＳ１３０において、座標変換部７２はオブジェクトごとに、復号正規化位置情報と、受聴者位置取得装置５３から供給された受聴者位置情報とに基づいて、空間内における受聴者U12から見たオブジェクトの位置を示す極座標位置情報を算出する。
そして、座標変換部７２は、得られた極座標位置情報を出力部１４３に供給し、出力部１４３は、それらの極座標位置情報をMPEG-Hレンダラ５５に出力する。出力部１４３が全オブジェクトの極座標位置情報をMPEG-Hレンダラ５５に出力すると、追加ビット情報取得処理は終了する。
追加ビット情報取得処理が終了するとMPEG-Hレンダラ５５ではレンダリングが行われる。すなわち、MPEG-Hレンダラ５５は、サーバ５２等から取得した各オブジェクトのオーディオデータと、出力部１４３から供給された極座標位置情報とに基づいてレンダリングを行い、空間内の各位置にオブジェクトの音像が定位する再生オーディオデータを生成し、スピーカ等の再生系へと出力する。
以上のようにしてクライアント５４は、量子化精度が不十分なオブジェクトについては、サーバ５２から追加ビット情報を取得（受信）して、十分な精度の復号正規化位置情報を算出する。また、サーバ５２は、クライアント５４の要求に応じて追加ビット情報を生成し、クライアント５４へと送信する。
このようにすることで、クライアント５４では、最初から最高精度量子化位置情報をサーバ５２から取得するよりも少ない情報伝送量で、十分な精度の復号正規化位置情報を得ることができる。
しかも、必要となる量子化精度を求める処理や極座標位置情報を算出する処理は、全てクライアント５４で行われるので、サーバ５２や絶対座標位置情報エンコーダ５１といったコンテンツ配信側の処理負荷を低減させることができる。特に、この処理負荷の低減効果は、サーバ５２に接続されるクライアント５４の数が多くなるほど大きくなる。
なお、クライアント５４では、コンテンツの再生時には空間内におけるオブジェクトや受聴者U12の位置が変化するたびに極座標位置情報が変化する。
そのため、クライアント５４は、例えば受聴者U12の受聴者位置情報が変化すると、極座標位置情報を更新することになる。
しかし、空間内においてオブジェクトは移動しておらず、かつ受聴者U12がオブジェクトから遠ざかる方向に移動した場合には、そのオブジェクトについては特に復号正規化位置情報の更新は必要ない。これは、オブジェクトは動いていないことに加えて、オブジェクトと受聴者U12の距離がより離れたときには必要となる精度がより低くなるからである。すなわち、既に十分な精度の復号正規化位置情報があるからである。
そのような場合、例えばクライアント５４の通信制御部１５１は通信部１４１を制御して、動きのあったオブジェクトと、受聴者U12からの距離が短くなったオブジェクトについてのみ、それらのオブジェクトのインデックスiを含む、最低精度量子化位置情報の送信要求をサーバ５２に送信させる。そして、通信部１４１は、図９のステップＳ６４において、それらのオブジェクトのインデックスiのオブジェクトの最低精度量子化位置情報のみをサーバ５２から受信して、クライアント５４でそれ以降の処理が行われ、極座標位置情報が更新される。
その他、動きのないオブジェクトで、受聴者U12からの距離が短くなったオブジェクトについては、これまでの処理で得られていた復号正規化位置情報と、新たな受聴者U12の受聴者位置情報とから、必要となる量子化精度を特定可能である。
したがって、この場合、動きがなく、かつ受聴者U12からの距離が短くなったオブジェクトについて、クライアント５４が図１３の追加ビット情報取得処理を行うようにすれば、新たに最低精度量子化位置情報を取得することなく、十分な精度の復号正規化位置情報を得ることができる。
以上のように、本技術によれば、自由視点の3D Audioにおいて発生するコンテンツ配信側の一方的な処理負荷を回避し、オブジェクトの位置を示す情報を伝送することができる。また、受聴者U12からオブジェクトまでの距離と、人間の知覚限界角度θとに応じて適切な量子化精度を特定するようにしたので、本来の音像方向との差が知覚限界以下となる量子化位置情報を伝送量を抑えながら伝送することが可能となる。
〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、本技術は、以下の構成とすることも可能である。
（１）
ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を取得し、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を取得する取得部と、
前記低精度位置情報および前記追加情報に基づいて前記位置情報を求める位置情報算出部と
を備える情報処理装置。
（２）
前記位置情報算出部は、前記ユーザの位置を示すユーザ位置情報と、前記低精度位置情報とに基づいて、前記追加情報が必要な前記オブジェクトを特定し、
前記取得部は、１または複数の前記オブジェクトのうち、前記位置情報算出部により特定された前記オブジェクトについて前記追加情報を取得する
（１）に記載の情報処理装置。
（３）
前記位置情報算出部は、前記追加情報が必要な前記オブジェクトごとに、前記ユーザ位置情報と前記低精度位置情報とに基づいて、複数の精度のなかから前記位置情報の前記第２の精度を決定する
（２）に記載の情報処理装置。
（４）
前記低精度位置情報および前記位置情報は、前記空間内における前記オブジェクトの位置の絶対座標を示す情報であり、
前記ユーザ位置情報は、前記空間内における前記ユーザの位置の絶対座標を示す情報である
（２）または（３）に記載の情報処理装置。
（５）
前記位置情報および前記ユーザ位置情報に基づいて、前記位置情報を前記ユーザから見た前記オブジェクトの相対的な位置を示す極座標情報に変換する変換部をさらに備える
（４）に記載の情報処理装置。
（６）
前記追加情報は、前記位置情報と前記低精度位置情報との差分の情報である
（１）乃至（５）の何れか一項に記載の情報処理装置。
（７）
前記オブジェクトはオーディオオブジェクトである
（１）乃至（６）の何れか一項に記載の情報処理装置。
（８）
情報処理装置が、
ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を取得し、
前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を取得し、
前記低精度位置情報および前記追加情報に基づいて前記位置情報を求める
情報処理方法。
（９）
ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を取得し、
前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を取得し、
前記低精度位置情報および前記追加情報に基づいて前記位置情報を求める
ステップを含む処理をコンピュータに実行させるプログラム。
（１０）
ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を送信し、前記低精度位置情報の送信先からの要求に応じて、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を送信する通信部を備える
情報処理装置。
（１１）
前記低精度位置情報および前記位置情報は、前記空間内における前記オブジェクトの位置の絶対座標を示す情報である
（１０）に記載の情報処理装置。
（１２）
前記追加情報は、前記位置情報と前記低精度位置情報との差分の情報である
（１０）または（１１）に記載の情報処理装置。
（１３）
前記オブジェクトの位置を示す情報を最も高い精度の量子化ステップ幅で量子化して得られた最高精度位置情報を記録する記録部と、
前記最高精度位置情報の一部を抽出することで前記低精度位置情報または前記追加情報を生成する送信情報生成部と
をさらに備える（１２）に記載の情報処理装置。
（１４）
前記量子化ステップ幅は、１／２のべき乗値に定数を乗算して得られる値とされる
（１３）に記載の情報処理装置。
（１５）
前記オブジェクトはオーディオオブジェクトである
（１０）乃至（１４）の何れか一項に記載の情報処理装置。
（１６）
情報処理装置が、
ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を送信し、
前記低精度位置情報の送信先からの要求に応じて、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を送信する
情報処理方法。
（１７）
ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を送信し、
前記低精度位置情報の送信先からの要求に応じて、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を送信する
ステップを含む処理をコンピュータに実行させるプログラム。
５２ サーバ， ５４ クライアント， ６１ 記録部， ７１ 絶対座標位置情報デコーダ， ７２ 座標変換部， １０１ 通信部， １０２ 制御部， １４１ 通信部， １４２ 制御部

Claims (17)

  1. ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を取得し、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を取得する取得部と、
    前記低精度位置情報および前記追加情報に基づいて前記位置情報を求める位置情報算出部と
    を備える情報処理装置。
  2. 前記位置情報算出部は、前記ユーザの位置を示すユーザ位置情報と、前記低精度位置情報とに基づいて、前記追加情報が必要な前記オブジェクトを特定し、
    前記取得部は、１または複数の前記オブジェクトのうち、前記位置情報算出部により特定された前記オブジェクトについて前記追加情報を取得する
    請求項１に記載の情報処理装置。
  3. 前記位置情報算出部は、前記追加情報が必要な前記オブジェクトごとに、前記ユーザ位置情報と前記低精度位置情報とに基づいて、複数の精度のなかから前記位置情報の前記第２の精度を決定する
    請求項２に記載の情報処理装置。
  4. 前記低精度位置情報および前記位置情報は、前記空間内における前記オブジェクトの位置の絶対座標を示す情報であり、
    前記ユーザ位置情報は、前記空間内における前記ユーザの位置の絶対座標を示す情報である
    請求項２に記載の情報処理装置。
  5. 前記位置情報および前記ユーザ位置情報に基づいて、前記位置情報を前記ユーザから見た前記オブジェクトの相対的な位置を示す極座標情報に変換する変換部をさらに備える
    請求項４に記載の情報処理装置。
  6. 前記追加情報は、前記位置情報と前記低精度位置情報との差分の情報である
    請求項１に記載の情報処理装置。
  7. 前記オブジェクトはオーディオオブジェクトである
    請求項１に記載の情報処理装置。
  8. 情報処理装置が、
    ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を取得し、
    前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を取得し、
    前記低精度位置情報および前記追加情報に基づいて前記位置情報を求める
    情報処理方法。
  9. ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を取得し、
    前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を取得し、
    前記低精度位置情報および前記追加情報に基づいて前記位置情報を求める
    ステップを含む処理をコンピュータに実行させるプログラム。
  10. ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を送信し、前記低精度位置情報の送信先からの要求に応じて、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を送信する通信部を備える
    情報処理装置。
  11. 前記低精度位置情報および前記位置情報は、前記空間内における前記オブジェクトの位置の絶対座標を示す情報である
    請求項１０に記載の情報処理装置。
  12. 前記追加情報は、前記位置情報と前記低精度位置情報との差分の情報である
    請求項１０に記載の情報処理装置。
  13. 前記オブジェクトの位置を示す情報を最も高い精度の量子化ステップ幅で量子化して得られた最高精度位置情報を記録する記録部と、
    前記最高精度位置情報の一部を抽出することで前記低精度位置情報または前記追加情報を生成する送信情報生成部と
    をさらに備える請求項１２に記載の情報処理装置。
  14. 前記量子化ステップ幅は、１／２のべき乗値に定数を乗算して得られる値とされる
    請求項１３に記載の情報処理装置。
  15. 前記オブジェクトはオーディオオブジェクトである
    請求項１０に記載の情報処理装置。
  16. 情報処理装置が、
    ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を送信し、
    前記低精度位置情報の送信先からの要求に応じて、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を送信する
    情報処理方法。
  17. ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を送信し、
    前記低精度位置情報の送信先からの要求に応じて、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を送信する
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2020513201A 2018-04-12 2019-03-29 情報処理装置および方法、並びにプログラム Active JP7226436B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023011572A JP7485109B2 (ja) 2018-04-12 2023-01-30 情報処理装置および方法、並びにプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018076746 2018-04-12
JP2018076746 2018-04-12
PCT/JP2019/013932 WO2019198540A1 (ja) 2018-04-12 2019-03-29 情報処理装置および方法、並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023011572A Division JP7485109B2 (ja) 2018-04-12 2023-01-30 情報処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2019198540A1 JPWO2019198540A1 (ja) 2021-04-22
JP7226436B2 true JP7226436B2 (ja) 2023-02-21

Family

ID=68162934

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020513201A Active JP7226436B2 (ja) 2018-04-12 2019-03-29 情報処理装置および方法、並びにプログラム
JP2023011572A Active JP7485109B2 (ja) 2018-04-12 2023-01-30 情報処理装置および方法、並びにプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023011572A Active JP7485109B2 (ja) 2018-04-12 2023-01-30 情報処理装置および方法、並びにプログラム

Country Status (7)

Country Link
US (1) US12081962B2 (ja)
EP (2) EP4246443A3 (ja)
JP (2) JP7226436B2 (ja)
KR (1) KR102653185B1 (ja)
CN (1) CN111937070B (ja)
BR (1) BR112020020404A2 (ja)
WO (1) WO2019198540A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116312572A (zh) * 2019-01-31 2023-06-23 华为技术有限公司 一种音频信号处理方法及装置
US11366879B2 (en) * 2019-07-08 2022-06-21 Microsoft Technology Licensing, Llc Server-side audio rendering licensing
CN114787918A (zh) * 2019-12-17 2022-07-22 索尼集团公司 信号处理装置、方法和程序
EP4090051A4 (en) 2020-01-09 2023-08-30 Sony Group Corporation INFORMATION PROCESSING DEVICE AND METHOD AND PROGRAM
AU2021357463A1 (en) 2020-10-06 2023-03-16 Sony Group Corporation Information processing device, method, and program
JPWO2022234698A1 (ja) 2021-05-07 2022-11-10
TW202325370A (zh) 2021-11-12 2023-07-01 日商索尼集團公司 資訊處理裝置及方法、以及程式
JP2024136723A (ja) * 2023-03-24 2024-10-04 日立Astemo株式会社 物体検出システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014192602A1 (ja) 2013-05-31 2014-12-04 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5205761B2 (ja) 2007-01-10 2013-06-05 富士通モバイルコミュニケーションズ株式会社 情報処理装置
JP5668512B2 (ja) 2011-02-15 2015-02-12 ソニー株式会社 情報処理装置、及び、情報処理方法
CN102737635B (zh) 2011-04-08 2014-04-30 华为终端有限公司 一种音频编码方法以及音频编码设备
JP5948901B2 (ja) 2012-01-26 2016-07-06 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
CN108806706B (zh) * 2013-01-15 2022-11-15 韩国电子通信研究院 处理信道信号的编码/解码装置及方法
KR102148217B1 (ko) * 2013-04-27 2020-08-26 인텔렉추얼디스커버리 주식회사 위치기반 오디오 신호처리 방법
TWI634798B (zh) 2013-05-31 2018-09-01 新力股份有限公司 Audio signal output device and method, encoding device and method, decoding device and method, and program
US20170243403A1 (en) * 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
KR102633077B1 (ko) * 2015-06-24 2024-02-05 소니그룹주식회사 음성 처리 장치 및 방법, 그리고 기록 매체
WO2017218973A1 (en) * 2016-06-17 2017-12-21 Edward Stein Distance panning using near / far-field rendering
US10339129B2 (en) 2016-07-20 2019-07-02 Facebook, Inc. Accuracy of low confidence matches of user identifying information of an online system
WO2018029341A1 (en) 2016-08-12 2018-02-15 Bang & Olufsen A/S Acoustic environment mapping
US10492016B2 (en) * 2016-09-29 2019-11-26 Lg Electronics Inc. Method for outputting audio signal using user position information in audio decoder and apparatus for outputting audio signal using same
EP3301951A1 (en) 2016-09-30 2018-04-04 Koninklijke KPN N.V. Audio object processing based on spatial listener information
US10952008B2 (en) * 2017-01-05 2021-03-16 Noveto Systems Ltd. Audio communication system and method
US20200120438A1 (en) * 2018-10-10 2020-04-16 Qualcomm Incorporated Recursively defined audio metadata

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014192602A1 (ja) 2013-05-31 2014-12-04 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム

Also Published As

Publication number Publication date
JPWO2019198540A1 (ja) 2021-04-22
EP3779976A4 (en) 2021-09-08
BR112020020404A2 (pt) 2021-01-12
EP4246443A2 (en) 2023-09-20
KR20200141989A (ko) 2020-12-21
CN111937070A (zh) 2020-11-13
WO2019198540A1 (ja) 2019-10-17
KR102653185B1 (ko) 2024-04-02
EP3779976B1 (en) 2023-07-05
JP7485109B2 (ja) 2024-05-16
US20210176582A1 (en) 2021-06-10
EP4246443A3 (en) 2023-11-22
JP2023033653A (ja) 2023-03-10
US12081962B2 (en) 2024-09-03
CN111937070B (zh) 2024-09-27
EP3779976A1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
JP7226436B2 (ja) 情報処理装置および方法、並びにプログラム
US10924876B2 (en) Interpolating audio streams
US11429340B2 (en) Audio capture and rendering for extended reality experiences
US11317236B2 (en) Soundfield adaptation for virtual reality audio
US11089428B2 (en) Selecting audio streams based on motion
US20240013795A1 (en) Information processing device and method, and program
EP3695624B1 (en) Rendering for computer-mediated reality systems
US11843932B2 (en) Six degrees of freedom and three degrees of freedom backward compatibility
KR20220043159A (ko) 공간 오디오 방향 파라미터의 양자화
JP2022137213A (ja) 信号処理装置および方法、並びにプログラム
US20180220255A1 (en) Game streaming with spatial audio
EP4167600A2 (en) A method and apparatus for low complexity low bitrate 6dof hoa rendering
US20220377488A1 (en) Information processing apparatus and information processing method, and program
CN113170270A (zh) 空间音频增强和再现
WO2024214318A1 (ja) 情報処理装置および方法、並びにプログラム
US11601776B2 (en) Smart hybrid rendering for augmented reality/virtual reality audio
US20240129681A1 (en) Scaling audio sources in extended reality systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230123

R151 Written notification of patent or utility model registration

Ref document number: 7226436

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151