WO2014192602A1 - 符号化装置および方法、復号装置および方法、並びにプログラム - Google Patents

符号化装置および方法、復号装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2014192602A1
WO2014192602A1 PCT/JP2014/063409 JP2014063409W WO2014192602A1 WO 2014192602 A1 WO2014192602 A1 WO 2014192602A1 JP 2014063409 W JP2014063409 W JP 2014063409W WO 2014192602 A1 WO2014192602 A1 WO 2014192602A1
Authority
WO
WIPO (PCT)
Prior art keywords
encoding
position information
mode
information
encoding mode
Prior art date
Application number
PCT/JP2014/063409
Other languages
English (en)
French (fr)
Inventor
潤宇 史
優樹 山本
徹 知念
光行 畠中
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/893,909 priority Critical patent/US9805729B2/en
Priority to JP2015519803A priority patent/JP6380389B2/ja
Priority to EP14803533.0A priority patent/EP3007168A4/en
Priority to CN201480029798.0A priority patent/CN105229734B/zh
Publication of WO2014192602A1 publication Critical patent/WO2014192602A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Abstract

　本技術は、より高品質な音声を得ることができるようにする符号化装置および方法、復号装置および方法、並びにプログラムに関する。 符号化部は、現フレームのオブジェクトの位置情報およびゲインを、複数の符号化モードで符号化する。圧縮部は、各位置情報およびゲインの符号化モードの組み合わせごとに、符号化モードを示す符号化モード情報と、符号化された位置情報およびゲインである符号化データとからなる符号化メタデータを生成するとともに、符号化メタデータに含まれる符号化モード情報の圧縮を行なう。決定部は、各組み合わせについて生成された符号化メタデータのなかから、最もデータ量が少ない符号化メタデータを選択することで、各位置情報およびゲインの符号化モードを決定する。本技術は、エンコーダおよびデコーダに適用することができる。

Description

符号化装置および方法、復号装置および方法、並びにプログラム
　本技術は符号化装置および方法、復号装置および方法、並びにプログラムに関し、特に、より高品質な音声を得ることができるようにした符号化装置および方法、復号装置および方法、並びにプログラムに関する。
　従来、複数のスピーカを用いて音像の定位を制御する技術として、VBAP（Vector Base Amplitude Pannning）が知られている（例えば、非特許文献１参照）。
　VBAPでは、目標となる音像の定位位置が、その定位位置の周囲にある２つまたは３つのスピーカの方向を向くベクトルの線形和で表現される。そして、その線形和において各ベクトルに乗算されている係数が、各スピーカから出力される音声のゲインとして用いられてゲイン調整が行なわれ、目標となる位置に音像が定位するようになされる。
Ville Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", Journal of AES, vol.45, no.6, pp.456-466, 1997
　ところで、マルチチャンネルのオーディオ再生においては、音源のオーディオデータとともに、音源の位置情報を取得することができれば、各音源の音像定位位置を正しく定義することができるので、より臨場感のあるオーディオ再生を実現することができる。
　ところが、再生装置に対して音源のオーディオデータと、その音源の位置情報等のメタデータとを転送しようとする場合、データ転送のビットレートが定められているときには、メタデータのデータ量が多いとオーディオデータのデータ量を削減しなければならない。そうすると、オーディオデータの音声の品質が低下してしまうことになる。
　本技術は、このような状況に鑑みてなされたものであり、より高品質な音声を得ることができるようにするものである。
　本技術の第１の側面の符号化装置は、所定の時刻における音源の位置情報を、前記所定の時刻よりも前の時刻における前記音源の前記位置情報に基づいて、所定の符号化モードにより符号化する符号化部と、複数の前記符号化モードのうちの１つを前記位置情報の前記符号化モードとして決定する決定部と、前記決定部により決定された前記符号化モードを示す符号化モード情報と、前記決定部により決定された前記符号化モードにより符号化された前記位置情報とを出力する出力部とを備える。
　前記符号化モードを、前記位置情報をそのまま前記符号化された前記位置情報とするＲＡＷモード、前記音源が静止しているとして前記位置情報を符号化する静止モード、前記音源が等速度で移動しているとして前記位置情報を符号化する等速度モード、前記音源が等加速度で移動しているとして前記位置情報を符号化する等加速度モード、または前記位置情報の残差に基づいて前記位置情報を符号化する残差モードとすることができる。
　前記位置情報を前記音源の位置を表す水平方向角度、垂直方向角度、または距離とすることができる。
　前記残差モードにより符号化された前記位置情報を、前記位置情報としての角度の差分を示す情報とすることができる。
　前記出力部には、複数の前記音源について、前記所定の時刻における全ての前記音源の前記位置情報の前記符号化モードが、前記所定の時刻の直前の時刻における前記符号化モードと同じである場合、前記符号化モード情報を出力させないようにすることができる。
　前記出力部には、前記所定の時刻において、複数の前記音源のうちの一部の前記音源の前記位置情報の前記符号化モードが、前記所定の時刻の直前の時刻における前記符号化モードと異なる場合、全ての前記符号化モード情報のうち、前記直前の時刻とは前記符号化モードが異なる前記音源の前記位置情報の前記符号化モード情報のみを出力させることができる。
　符号化装置には、前記位置情報を所定の量子化幅で量子化する量子化部と、前記音源のオーディオデータの特徴量に基づいて、前記量子化幅を決定する圧縮率決定部とをさらに設け、前記符号化部には、量子化された前記位置情報を符号化させることができる。
　符号化装置には、過去に出力した前記符号化モード情報および前記符号化された前記位置情報のデータ量に基づいて、前記位置情報を符号化する前記符号化モードの入れ替えを行なう切替部をさらに設けることができる。
　前記符号化部には、前記音源のゲインをさらに符号化させ、前記出力部には、前記ゲインの前記符号化モード情報と、符号化された前記ゲインとをさらに出力させることができる。
　本技術の第１の側面の符号化方法またはプログラムは、所定の時刻における音源の位置情報を、前記所定の時刻よりも前の時刻における前記音源の前記位置情報に基づいて、所定の符号化モードにより符号化し、複数の前記符号化モードのうちの１つを前記位置情報の前記符号化モードとして決定し、決定された前記符号化モードを示す符号化モード情報と、決定された前記符号化モードにより符号化された前記位置情報とを出力するステップを含む。
　本技術の第１の側面においては、所定の時刻における音源の位置情報が、前記所定の時刻よりも前の時刻における前記音源の前記位置情報に基づいて、所定の符号化モードにより符号化され、複数の前記符号化モードのうちの１つが前記位置情報の前記符号化モードとして決定され、決定された前記符号化モードを示す符号化モード情報と、決定された前記符号化モードにより符号化された前記位置情報とが出力される。
　本技術の第２の側面の復号装置は、所定の時刻における音源の符号化された位置情報と、複数の符号化モードのうちの前記位置情報を符号化した符号化モードを示す符号化モード情報とを取得する取得部と、前記所定の時刻よりも前の時刻における前記音源の前記位置情報に基づいて、前記符号化モード情報により示される前記符号化モードに対応する方式で、前記所定の時刻における前記符号化された前記位置情報を復号する復号部とを備える。
　前記符号化モードを、前記位置情報をそのまま前記符号化された前記位置情報とするＲＡＷモード、前記音源が静止しているとして前記位置情報を符号化する静止モード、前記音源が等速度で移動しているとして前記位置情報を符号化する等速度モード、前記音源が等加速度で移動しているとして前記位置情報を符号化する等加速度モード、または前記位置情報の残差に基づいて前記位置情報を符号化する残差モードとすることができる。
　前記位置情報を前記音源の位置を表す水平方向角度、垂直方向角度、または距離とすることができる。
　前記残差モードにより符号化された前記位置情報を、前記位置情報としての角度の差分を示す情報とすることができる。
　前記取得部には、複数の前記音源について、前記所定の時刻における全ての前記音源の前記位置情報の前記符号化モードが、前記所定の時刻の直前の時刻における前記符号化モードと同じである場合、前記符号化された前記位置情報のみを取得させることができる。
　前記取得部には、前記所定の時刻において、複数の前記音源のうちの一部の前記音源の前記位置情報の前記符号化モードが、前記所定の時刻の直前の時刻における前記符号化モードと異なる場合、前記符号化された前記位置情報と、前記直前の時刻とは前記符号化モードが異なる前記音源の前記位置情報の前記符号化モード情報とを取得させることができる。
　前記取得部には、前記音源のオーディオデータの特徴量に基づいて決定された、前記位置情報の符号化時に前記位置情報を量子化した量子化幅を示す情報をさらに取得させることができる。
　本技術の第２の側面の復号方法またはプログラムは、所定の時刻における音源の符号化された位置情報と、複数の符号化モードのうちの前記位置情報を符号化した符号化モードを示す符号化モード情報とを取得し、前記所定の時刻よりも前の時刻における前記音源の前記位置情報に基づいて、前記符号化モード情報により示される前記符号化モードに対応する方式で、前記所定の時刻における前記符号化された前記位置情報を復号するステップを含む。
　本技術の第２の側面においては、所定の時刻における音源の符号化された位置情報と、複数の符号化モードのうちの前記位置情報を符号化した符号化モードを示す符号化モード情報とが取得され、前記所定の時刻よりも前の時刻における前記音源の前記位置情報に基づいて、前記符号化モード情報により示される前記符号化モードに対応する方式で、前記所定の時刻における前記符号化された前記位置情報が復号される。
　本技術の第１の側面および第２の側面によれば、より高品質な音声を得ることができる。
オーディオシステムの構成例を示す図である。 オブジェクトのメタデータについて説明する図である。 符号化されたメタデータについて説明する図である。 メタデータエンコーダの構成例を示す図である。 符号化処理を説明するフローチャートである。 運動パターン予測モードによる符号化処理を説明するフローチャートである。 残差モードによる符号化処理を説明するフローチャートである。 符号化モード情報圧縮処理を説明するフローチャートである。 入れ替え処理を説明するフローチャートである。 メタデータデコーダの構成例を示す図である。 復号処理を説明するフローチャートである。 メタデータエンコーダの構成例を示す図である。 符号化処理を説明するフローチャートである。 コンピュータの構成例を示す図である。
　以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
〈オーディオシステムの構成例〉
　本技術は、音源の位置を示す情報など、音源に関する情報であるメタデータのデータ量を圧縮するための符号化および復号に関するものである。図１は、本技術を適用したオーディオシステムの一実施の形態の構成例を示す図である。
　このオーディオシステムは、マイクロホン１１－１乃至マイクロホン１１－Ｎ、空間位置情報出力装置１２、エンコーダ１３、デコーダ１４、再生装置１５、およびスピーカ１６－１乃至スピーカ１６－Ｊから構成される。
　マイクロホン１１－１乃至マイクロホン１１－Ｎは、例えば音源となるオブジェクトに取り付けられ、周囲の音声を収音して得られたオーディオデータをエンコーダ１３に供給する。ここで、音源となるオブジェクトは、例えば時刻によって静止していたり動いていたりする移動物体などとされる。
　なお、以下、マイクロホン１１－１乃至マイクロホン１１－Ｎを特に区別する必要のない場合、単にマイクロホン１１とも称することとする。図１の例では、各マイクロホン１１が互いに異なるＮ個のオブジェクトに取り付けられている。
　空間位置情報出力装置１２は、マイクロホン１１が取り付けられているオブジェクトの各時刻における空間内の位置を示す情報等をオーディオデータのメタデータとしてエンコーダ１３に供給する。
　エンコーダ１３は、マイクロホン１１から供給されたオーディオデータと、空間位置情報出力装置１２から供給されたメタデータとを符号化してデコーダ１４に出力する。エンコーダ１３は、オーディオデータエンコーダ２１およびメタデータエンコーダ２２を備えている。
　オーディオデータエンコーダ２１は、マイクロホン１１から供給されたオーディオデータを符号化してデコーダ１４に出力する。すなわち、符号化されたオーディオデータが多重化されてビットストリームとされ、デコーダ１４に転送される。
　また、メタデータエンコーダ２２は、空間位置情報出力装置１２から供給されたメタデータを符号化してデコーダ１４に供給する。すなわち、符号化されたメタデータがビットストリームに記述されてデコーダ１４に転送される。
　デコーダ１４は、エンコーダ１３から供給されたオーディオデータとメタデータを復号して再生装置１５に供給する。デコーダ１４は、オーディオデータデコーダ３１およびメタデータデコーダ３２を備えている。
　オーディオデータデコーダ３１は、オーディオデータエンコーダ２１から供給された、符号化されたオーディオデータを復号し、その結果得られたオーディオデータを再生装置１５に供給する。また、メタデータデコーダ３２は、メタデータエンコーダ２２から供給された、符号化されたメタデータを復号し、その結果得られたメタデータを再生装置１５に供給する。
　再生装置１５は、メタデータデコーダ３２から供給されたメタデータに基づいて、オーディオデータデコーダ３１から供給されたオーディオデータのゲイン等を調整し、適宜、調整が行なわれたオーディオデータをスピーカ１６－１乃至スピーカ１６－Ｊに供給する。スピーカ１６－１乃至スピーカ１６－Ｊは、再生装置１５から供給されたオーディオデータに基づいて音声を再生する。これにより、各オブジェクトに対応する空間上の位置に音像を定位させることができ、臨場感のあるオーディオ再生を実現することができるようになる。
　なお、以下、スピーカ１６－１乃至スピーカ１６－Ｊを特に区別する必要のない場合、単にスピーカ１６とも称することとする。
　ところで、エンコーダ１３とデコーダ１４との間で授受されるオーディオデータとメタデータの転送時における合計ビットレートが予め定められている場合、メタデータのデータ量が大きいと、その分だけオーディオデータのデータ量を削減しなければならなくなる。そうすると、オーディオデータの音質が劣化してしまうことになる。
　そこで、本技術では、メタデータの符号化効率を向上させてデータ量を圧縮することで、より高品質なオーディオデータを得ることができるようにする。
〈メタデータについて〉
　まずメタデータについて説明する。
　空間位置情報出力装置１２からメタデータエンコーダ２２に供給されるメタデータは、Ｎ個の各オブジェクト（音源）の位置を特定するためのデータを含む、オブジェクトに関するデータである。例えばメタデータには、オブジェクトごとに以下の（Ｄ１）乃至（Ｄ５）に示す５つの情報が含まれている。
　（Ｄ１）オブジェクトを示すインデックス
　（Ｄ２）オブジェクトの水平方向角度θ
　（Ｄ３）オブジェクトの垂直方向角度γ
　（Ｄ４）オブジェクトから視聴者までの距離ｒ
　（Ｄ５）オブジェクトの音声のゲインｇ
　このようなメタデータは、所定間隔の時刻ごと、具体的にはオブジェクトのオーディオデータのフレームごとにメタデータエンコーダ２２に供給される。
　例えば図２に示すように、スピーカ１６（不図示）から出力される音声を聴いている視聴者の位置を原点Ｏとし、図中、右上方向、左上方向、および上方向を互いに垂直なｘ軸、ｙ軸、およびｚ軸の方向とする３次元座標系を考える。このとき、１つのオブジェクトに対応する音源を仮想音源ＶＳ１１とすると、３次元座標系における仮想音源ＶＳ１１の位置に音像を定位させればよい。
　ここで、例えば仮想音源ＶＳ１１を示す情報が、メタデータに含まれるオブジェクトを示すインデックスとされ、そのインデックスはＮ個の離散値のうちの何れかの値とされる。
　また、例えば仮想音源ＶＳ１１と原点Ｏとを結ぶ直線を直線Ｌとすると、ｘｙ平面上において直線Ｌとｘ軸とがなす図中、水平方向の角度（方位角）が、メタデータに含まれている水平方向角度θとなり、水平方向角度θは-180°≦θ≦180°を満たす任意の値とされる。
　さらに、直線Ｌとｘｙ平面とがなす角度、つまり図中、垂直方向の角度（仰角）が、メタデータに含まれている垂直方向角度γとなり、垂直方向角度γは-90°≦γ≦90°を満たす任意の値とされる。また、直線Ｌの長さ、つまり原点Ｏから仮想音源ＶＳ１１までの距離が、メタデータに含まれる視聴者までの距離ｒとされ、距離ｒは０以上の値とされる。すなわち、距離ｒは、０≦ｒ≦∞を満たす値とされる。
　メタデータに含まれている各オブジェクトの水平方向角度θ、垂直方向角度γ、および距離ｒは、オブジェクトの位置を示す情報である。以下では、オブジェクトの水平方向角度θ、垂直方向角度γ、および距離ｒを特に区別する必要のない場合には、単にオブジェクトの位置情報とも称することとする。
　また、ゲインｇに基づいてオブジェクトのオーディオデータのゲイン調整を行えば、所望の音量で音声を出力させることができる。
〈メタデータの符号化について〉
　次に、上述したメタデータの符号化について説明する。
　メタデータの符号化時には、以下に示す（Ｅ１）および（Ｅ２）の２段階の処理でオブジェクトの位置情報およびゲインの符号化が行なわれる。ここで、（Ｅ１）に示す処理が１段階目の符号化処理であり、（Ｅ２）に示す処理が２段階目の符号化処理である。
　（Ｅ１）各オブジェクトの位置情報およびゲインを量子化する
　（Ｅ２）量子化された位置情報およびゲインを、さらに符号化モードに応じて圧縮する
　なお、符号化モードには、以下に示す（Ｆ１）乃至（Ｆ３）の３種類のモードがある。
　（Ｆ１）ＲＡＷモード
　（Ｆ２）運動パターン予測モード
　（Ｆ３）残差モード
　（Ｆ１）に示すＲＡＷモードは、（Ｅ１）に示す１段階目の符号化処理で得られた符号を、符号化された位置情報またはゲインとして、そのままビットストリームに記述するモードである。
　また、（Ｆ２）に示される運動パターン予測モードは、メタデータに含まれるオブジェクトの位置情報またはゲインを、そのオブジェクトの過去の位置情報またはゲインから予測可能である場合に、予測可能な運動パターンをビットストリームに記述するモードである。
　（Ｆ３）に示される残差モードは、位置情報またはゲインの残差に基づいて符号化を行なうモード、すなわちオブジェクトの位置情報またはゲインの差分（変位）を、符号化された位置情報またはゲインとしてビットストリームに記述するモードである。
　最終的に得られる符号化されたメタデータには、上述した（Ｆ１）乃至（Ｆ３）に示した３種類の符号化モードのうちの何れかの符号化モードで符号化された位置情報またはゲインが含まれることになる。
　符号化モードは、オーディオデータの各フレームについて、各オブジェクトの位置情報やゲインごとに定められるが、各位置情報やゲインの符号化モードは、最終的に得られるメタデータのデータ量（ビット数）が最小となるように定められる。
　なお、以下、符号化されたメタデータ、つまりメタデータエンコーダ２２から出力されるメタデータを、特に符号化メタデータとも称することとする。
〈１段階目の符号化処理について〉
　続いて、メタデータの符号化時における１段階目の処理と２段階目の処理について、より詳細に説明する。
　まず、符号化時における１段階目の処理について説明する。
　例えば、１段階目の符号化処理では、オブジェクトの位置情報としての水平方向角度θ、垂直方向角度γ、および距離ｒと、ゲインｇとがそれぞれ量子化される。
　具体的には、例えば水平方向角度θおよび垂直方向角度γのそれぞれに対して、次式（１）の計算が行なわれて、Ｒ度刻みで等間隔に量子化（符号化）が行なわれる。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、Codearcは、水平方向角度θまたは垂直方向角度γに対する量子化により得られる符号を示しており、Arcrawは水平方向角度θまたは垂直方向角度γの量子化前の角度、つまりθまたはγの値を示している。また、式（１）において、round()は、例えば四捨五入の丸め関数を示しており、Ｒは量子化の間隔を示す量子化幅、つまり量子化のステップサイズを示している。
　また、位置情報の復号時に行なわれる符号Codearcに対する逆量子化（復号処理）では、水平方向角度θまたは垂直方向角度γの符号Codearcについて次式（２）の計算が行なわれる。
Figure JPOXMLDOC01-appb-M000002
　式（２）において、Arcdecodedは、符号Codearcに対する逆量子化により得られる角度、つまり復号により得られた水平方向角度θまたは垂直方向角度γを示している。
　具体例として、例えばステップサイズＲ＝１度である場合に、水平方向角度θ＝-15.35°を量子化するとする。このとき、水平方向角度θ＝-15.35°を式（１）に代入すると、Codearc＝round(-15.35/1)＝-15となる。逆に、量子化により得られたCodearc＝-15を式（２）に代入することで逆量子化を行なうと、Arcdecoded＝-15×1＝-15°となる。つまり、逆量子化により得られる水平方向角度θは-15度となる。
　また、例えばステップサイズＲ＝３度である場合に、垂直方向角度γ＝22.73°を量子化するとする。このとき、垂直方向角度γ＝22.73°を式（１）に代入すると、Codearc＝round(22.73/3)＝8となる。逆に、量子化により得られたCodearc＝8を式（２）に代入することで逆量子化を行なうと、Arcdecoded＝8×3＝24°となる。つまり、逆量子化により得られる垂直方向角度γは24度となる。
〈２段階目の符号化処理について〉
　次に、２段階目の符号化処理について説明する。
　上述したように、２段階目の符号化処理では、符号化モードとしてＲＡＷモード、運動パターン予測モード、および残差モードの３種類のモードがある。
　ＲＡＷモードでは、１段階目の符号化処理で得られた符号が、そのまま符号化された位置情報またはゲインとしてビットストリームに記述される。また、この場合、符号化モードとしてのＲＡＷモードを示す符号化モード情報もビットストリームに記述される。例えば符号化モード情報として、ＲＡＷモードを示す識別番号が記述される。
　また、運動パターン予測モードでは、オブジェクトの過去のフレームの位置情報やゲインから、予め決めた予測係数によって、オブジェクトの現在のフレームの位置情報やゲインが予測可能であれば、その予測係数に対応する運動パターン予測モードの識別番号がビットストリームに記述される。つまり、運動パターン予測モードの識別番号が符号化モード情報として記述される。
　ここで、符号化モードとしての運動パターン予測モードには、複数のモードが定められている。例えば運動パターン予測モードの一例として静止モード、等速度モード、等加速度モード、Ｐ２０正弦モード、２トーン正弦モードなどが予め定められている。以下では、これらの静止モード等を特に区別する必要がない場合、単に運動パターン予測モードと称することとする。
　例えば、処理対象となっている現フレームがｎ番目のフレーム（以下、フレームｎとも称する）であり、フレームｎについて得られた符号Codearcを符号Codearc(n)で表すとする。
　また、フレームｎよりも時間的にｋフレーム前（但し、１≦ｋ≦Ｋ）のフレームをフレーム（ｎ－ｋ）として、そのフレーム（ｎ－ｋ）について得られた符号Codearcを符号Codearc(n-k)で表すとする。
　さらに、符号化モード情報としての識別番号のうちの、静止モード等の各運動パターン予測モードの識別番号ｉごとに、Ｋ個のフレーム（ｎ－ｋ）の各予測係数ａｉｋが予め定められているとする。
　このとき、静止モード等の運動パターン予測モードごとに予め定められた予測係数ａｉｋを用いて次式（３）により符号Codearc(n)を表すことができる場合、その運動パターン予測モードの識別番号ｉが符号化モード情報としてビットストリームに記述される。この場合、メタデータの復号側において、運動パターン予測モードの識別番号ｉに対して定められた予測係数を得ることができれば、予測係数を用いた予測により位置情報を得ることができるので、ビットストリームには、符号化された位置情報は記述されない。
Figure JPOXMLDOC01-appb-M000003
　式（３）では、予測係数ａｉｋが乗算された過去のフレームの符号Codearc(n-k)の和が、現フレームの符号Codearc(n)とされている。
　具体的に、例えば識別番号ｉの予測係数ａｉｋとしてａｉ１＝２、ａｉ２＝－１、およびａｉｋ＝０（但しｋ≠１，２）が定められており、これらの予測係数を用いて式（３）により符号Codearc(n)が予測できたとする。すなわち、次式（４）が成立したとする。
Figure JPOXMLDOC01-appb-M000004
　この場合には、符号化モード（運動パターン予測モード）を示す識別番号ｉが符号化モード情報としてビットストリームに記述される。
　式（４）の例では現フレームを含む、連続する３つのフレームについて、隣接フレームの角度（位置情報）の差分が同じとなる。すなわち、フレーム（ｎ）およびフレーム（ｎ－１）の位置情報の差分と、フレーム（ｎ－１）およびフレーム（ｎ－２）の位置情報の差分とが等しくなる。隣接する位置情報の差分は、オブジェクトの速度を表しているから、式（４）が成立する場合には、オブジェクトは等角速度で移動していることになる。
　このように、式（４）により現フレームの位置情報を予測する運動パターン予測モードを等速度モードと称することとする。例えば、符号化モード（運動パターン予測モード）としての等速度モードを示す識別番号ｉが「２」である場合には、等速度モードの予測係数ａ２ｋは、ａ２１＝２、ａ２２＝－１、およびａ２ｋ＝０（但しｋ≠１，２）となる。
　同様に、オブジェクトが静止しているとして、過去のフレームの位置情報またはゲインをそのまま現フレームの位置情報またはゲインとする運動パターン予測モードを静止モードとする。例えば、符号化モード（運動パターン予測モード）としての静止モードを示す識別番号ｉが「１」である場合には、静止モードの予測係数ａ１ｋは、ａ１１＝１、およびａ１ｋ＝０（但しｋ≠１）となる。
　さらに、オブジェクトが等加速度で移動しているとして、過去フレームの位置情報またはゲインから現フレームの位置情報またはゲインを表現する運動パターン予測モードを等加速度モードとする。例えば、符号化モードとしての等加速度モードを示す識別番号ｉが「３」である場合には、等加速度モードの予測係数ａ３ｋは、ａ３１＝３、ａ３２＝－３、ａ３３＝１、およびａ３ｋ＝０（但しｋ≠１，２，３）となる。このように予測係数が定められるのは、隣接フレーム間の位置情報の差分が速度を表しており、その速度の差が加速度となるからである。
　また、オブジェクトの水平方向角度θの運動が次式（５）に示す周期２０フレームの正弦運動であれば、予測係数ａｉｋとしてａｉ１＝1.8926、ａｉ２＝-0.99、およびａｉｋ＝０（但しｋ≠１，２）を用いれば式（３）によりオブジェクトの位置情報を予測できる。なお、式（５）において、Arc(n)は水平方向角度を示している。
Figure JPOXMLDOC01-appb-M000005
　このような予測係数ａｉｋを用いて式（５）に示す正弦運動をしているオブジェクトの位置情報を予測する運動パターン予測モードを、Ｐ２０正弦モードとする。
　さらに、オブジェクトの垂直方向角度γの運動が次式（６）に示す周期２０フレームの正弦運動と周期１０フレームの正弦運動の和であるとする。そのような場合、予測係数ａｉｋとしてａｉ１＝2.324、ａｉ２＝-2.0712、ａｉ３＝0.665、およびａｉｋ＝０（但しｋ≠１，２，３）を用いれば式（３）によりオブジェクトの位置情報を予測できる。なお、式（６）において、Arc(n)は垂直方向角度を示している。
Figure JPOXMLDOC01-appb-M000006
　このような予測係数ａｉｋを用いて式（６）に示す運動をしているオブジェクトの位置情報を予測する運動パターン予測モードを、２トーン正弦モードとする。
　なお、以上では運動パターン予測モードに分類される符号化モードとして、静止モード、等速度モード、等加速度モード、Ｐ２０正弦モード、および２トーン正弦モードの５種類のモードを例として説明したが、その他、どのような運動パターン予測モードがあってもよい。また、運動パターン予測モードとして分類される符号化モードの数はいくつであってもよい。
　さらに、ここでは水平方向角度θおよび垂直方向角度γについて具体的な例を説明したが、距離ｒやゲインｇについても上述した式（３）と同様の式によって、現フレームの距離やゲインを表すことができる。
　運動パターン予測モードによる位置情報やゲインの符号化では、例えば予め用意されたＸ種類の運動パターン予測モードのうちの３種類が選択され、選択された運動パターン予測モード（以下、選択運動パターン予測モードとも称する）のみにより、位置情報やゲインの予測が行われる。そして、オーディオデータのフレームごとに、過去の所定数のフレームで得られた符号化後のメタデータが用いられて、メタデータのデータ量を削減するのに適切な３種類の運動パターン予測モードが選択され、新たな選択運動パターン予測モードとされる。すなわち、フレームごとに必要に応じて運動パターン予測モードの入れ替えが行われる。
　なお、ここでは選択運動パターン予測モードが３つであると説明したが、選択運動パターン予測モードの数はいくつであってもよいし、入れ替えが行われる運動パターン予測モードもいくつであってもよい。また、複数フレームごとに運動パターン予測モードの入れ替えが行われてもよい。
　残差モードでは、現フレームの直前のフレームが何れの符号化モードにより符号化されたかによって、異なる処理が行なわれる。
　例えば、直前の符号化モードが運動パターン予測モードである場合、その運動パターン予測モードに従って現フレームの量子化された位置情報またはゲインが予測される。つまり、静止モード等の運動パターン予測モードに対して定められた予測係数が用いられて、式（３）等の計算が行なわれ、現フレームの量子化された位置情報またはゲインの予測値が求められる。ここで、量子化された位置情報またはゲインとは、上述した１段階目の符号化処理により得られた、符号化（量子化）された位置情報またはゲインである。
　そして、得られた現フレームの予測値と、現フレームの実際の量子化された位置情報またはゲイン（実測値）との差分が２進数で表すとＭビット以下の値、つまりＭビット以内で記述できる値であれば、その差分の値が、符号化された位置情報またはゲインとしてＭビットでビットストリームに記述される。また、残差モードを示す符号化モード情報もビットストリームに記述される。
　なお、ビット数Ｍは予め定められた値であり、例えばビット数ＭはステップサイズＲに基づいて定められる。
　また、直前の符号化モードがＲＡＷモードである場合には、現フレームの量子化された位置情報またはゲインと、直前のフレームの量子化された位置情報またはゲインとの差分がＭビット以内で記述できる値であれば、その差分の値が、符号化された位置情報またはゲインとしてＭビットでビットストリームに記述される。このとき、残差モードを示す符号化モード情報もビットストリームに記述される。
　なお、現フレームの直前のフレームで残差モードにより符号化が行なわれた場合には、過去に遡って最初に残差モードではない符号化モードで符号化が行なわれたフレームの符号化モードが、直前のフレームの符号化モードとされる。
　また、ここでは位置情報としての距離ｒについては残差モードによる符号化は行なわれない場合について説明するが、距離ｒについても残差モードによる符号化が行なわれるようにしてもよい。
〈符号化モード情報のビット圧縮について〉
　以上においては、符号化モードによる符号化によって得られた位置情報やゲイン、差分（残差）などのデータが符号化された位置情報またはゲインとされ、符号化された位置情報やゲインと符号化モード情報とがビットストリームに記述されると説明した。
　しかし、同じ符号化モードが頻繁に選択されたり、現フレームと直前のフレームとで位置情報またはゲインを符号化する符号化モードが同じであったりすることも多いため、本技術ではさらに符号化モード情報のビット圧縮が行なわれる。
　まず、本技術では、事前準備として行なわれる符号化モードの識別番号の付与において符号化モード情報のビット圧縮が行なわれる。
　すなわち、各符号化モードの再現確率が統計学習により推定され、その結果に基づいて各符号化モードの識別番号のビット数がハフマン符号化方式により定められる。これにより、再現確率の高い符号化モードの識別番号（符号化モード情報）のビット数を小さくして、符号化モード情報を固定ビット長とする場合と比べて、符号化メタデータのデータ量を少なくすることができる。
　具体的には、例えばＲＡＷモードの識別番号が「0」とされ、残差モードの識別番号が「10」とされ、静止モードの識別番号が「110」とされ、等速度モードの識別番号が「1110」とされ、等加速度モードの識別番号が「1111」などとされる。
　また、本技術では、必要に応じて符号化メタデータに、直前のフレームの場合と同じである符号化モード情報が含まれないようにすることで、符号化モード情報のビット圧縮が行なわれる。
　具体的には、以上において説明した２段階目の符号化で得られた現フレームの全オブジェクトの各情報の符号化モードが、直前のフレームの各情報の符号化モードと同じである場合、現フレームの符号化モード情報はデコーダ１４に送信されない。つまり、現フレームと直前のフレームとで符号化モードに全く変更がない場合には、符号化メタデータには、符号化モード情報が含まれないようにされる。
　また、現フレームと直前のフレームとで、１つでも符号化モードに変更がある情報がある場合には、以下に示す（Ｇ１）と（Ｇ２）の方式のうち、符号化メタデータのデータ量（ビット数）が少なくなる方式により符号化モード情報の記述が行なわれる。
　（Ｇ１）全ての位置情報およびゲインの符号化モード情報を記述する
　（Ｇ２）符号化モードに変更があった位置情報またはゲインのみ符号化モード情報を記述する
　なお、（Ｇ２）の方式で符号化モード情報が記述される場合には、符号化モードに変更があった位置情報またはゲインを示す要素情報、その位置情報またはゲインのオブジェクトを示すインデックス、および変更があった位置情報とゲインの数を示すモード変更数情報がさらにビットストリームに記述されることになる。
　以上で説明した処理により、符号化モードの変更の有無に応じて、図３に示す各情報のうちのいくつかからなる情報が、符号化メタデータとしてビットストリームに記述され、メタデータエンコーダ２２からメタデータデコーダ３２へと出力されることになる。
　図３の例では、符号化メタデータの先頭にはモード変更フラグが配置され、続いてモードリストモードフラグが配置され、さらにその後にモード変更数情報、および予測係数切替フラグが配置される。
　モード変更フラグは、現フレームの全オブジェクトの各位置情報およびゲインの符号化モードが、直前のフレームの各位置情報およびゲインの符号化モードと同じであるか否か、つまり符号化モードに変更があったか否かを示す情報である。
　モードリストモードフラグは、上述した（Ｇ１）または（Ｇ２）の何れの方式により符号化モード情報が記述されているかを示す情報であり、モード変更フラグとして、符号化モードに変更があった旨の値が記述される場合にのみ記述される。
　モード変更数情報は、符号化モードに変更があった位置情報およびゲインの数、つまり（Ｇ２）の方式により符号化モード情報が記述される場合に記述される符号化モード情報の数を示す情報である。したがって、このモード変更数情報は、（Ｇ２）の方式により符号化モード情報が記述される場合にのみ、符号化メタデータに記述される。
　予測係数切替フラグは、現フレームにおいて運動パターン予測モードの入れ替えが行われたか否かを示す情報である。予測係数切替フラグにより、入れ替えが行われたことが示されている場合には、例えば予測係数切替フラグの後などの適切な位置に、新たな選択運動パターン予測モードの予測係数が配置される。
　また、符号化メタデータでは、予測係数切替フラグに続いてオブジェクトのインデックスが配置される。このインデックスは、メタデータとして空間位置情報出力装置１２から供給されたインデックスである。
　オブジェクトのインデックスの後には、各位置情報およびゲインについて、それらの位置情報またはゲインの種別を示す要素情報と、位置情報またはゲインの符号化モードを示す符号化モード情報とが順番に配置される。
　ここでは、要素情報により示される位置情報またはゲインは、オブジェクトの水平方向角度θ、垂直方向角度γ、オブジェクトから視聴者までの距離ｒ、またはゲインｇの何れかとされる。したがって、オブジェクトのインデックスの後には、要素情報と符号化モード情報のセットが最大で４つ配置されることになる。
　例えば、３つの位置情報と１つのゲインについて、要素情報と符号化モード情報のセットが並べられる順番は予め定められている。
　また、符号化メタデータでは、オブジェクトのインデックスと、そのオブジェクトの要素情報および符号化モード情報とが、オブジェクトごとに順番に並べられる。
　図１の例では、オブジェクトがＮ個あるので、最大でＮ個のオブジェクトについて、オブジェクトのインデックス、要素情報、および符号化モード情報が、オブジェクトのインデックスの値の順に並べられることになる。
　さらに、符号化メタデータでは、オブジェクトのインデックス、要素情報、および符号化モード情報の後に、符号化された位置情報またはゲインが符号化データとして配置されている。この符号化データは、符号化モード情報に示される符号化モードに対応する方式で位置情報またはゲインを復号するときに必要となる、位置情報またはゲインを得るためのデータである。
　具体的には、図３に示す符号化データとして、式（１）に示した符号CodearcなどのＲＡＷモードによる符号化で得られた、量子化された位置情報やゲイン、残差モードによる符号化で得られた、量子化された位置情報やゲインの差分が配置される。なお、各オブジェクトの位置情報およびゲインの符号化データが並べられる順番は、それらの位置情報およびゲインの符号化モード情報が並べられる順番などとされる。
　メタデータの符号化時には、上述した１段階目および２段階目の符号化処理が行なわれると、各位置情報およびゲインの符号化モード情報と符号化データが得られることになる。
　メタデータエンコーダ２２では、符号化モード情報と符号化データが得られると、現フレームと直前のフレームとの間で符号化モードの変更があったかが特定される。
　そして、全オブジェクトの各位置情報およびゲインの符号化モードに変更がない場合には、モード変更フラグ、予測係数切替フラグ、および符号化データが符号化メタデータとしてビットストリームに記述される。また、ビットストリームには、必要に応じて予測係数も記述される。つまり、この場合、モードリストモードフラグ、モード変更数情報、オブジェクトのインデックス、要素情報、および符号化モード情報はメタデータデコーダ３２には送信されない。
　また、符号化モードに変更があり、（Ｇ１）の方式により符号化モード情報が記述される場合、モード変更フラグ、モードリストモードフラグ、予測係数切替フラグ、符号化モード情報、および符号化データが符号化メタデータとしてビットストリームに記述される。そして、必要に応じて予測係数もビットストリームに記述される。
　したがって、この場合には、モード変更数情報、オブジェクトのインデックス、および要素情報はメタデータデコーダ３２には送信されない。この例では、全ての符号化モード情報が予め定められた順番で並べられて送信されるので、オブジェクトのインデックスや要素情報がなくても各符号化モード情報がどのオブジェクトのどの位置情報やゲインの符号化モードを示す情報であるかを特定することが可能である。
　さらに、符号化モードに変更があり、（Ｇ２）の方式により符号化モード情報が記述される場合、モード変更フラグ、モードリストモードフラグ、モード変更数情報、予測係数切替フラグ、オブジェクトのインデックス、要素情報、符号化モード情報、および符号化データが符号化メタデータとしてビットストリームに記述される。また、必要に応じて予測係数もビットストリームに記述される。
　但し、この場合、全てのオブジェクトのインデックス、要素情報、および符号化モード情報がビットストリームに記述されるのではない。すなわち、符号化モードが変更された位置情報またはゲインについての要素情報および符号化モード情報と、その位置情報またはゲインのオブジェクトのインデックスとがビットストリームに記述され、符号化モードに変更がなかったものについては記述されない。
　このように（Ｇ２）の方式により符号化モード情報が記述される場合には、符号化モードの変化の有無によって、符号化メタデータに含まれる符号化モード情報の数が変化する。そこで、復号側において符号化メタデータから正しく符号化データを読み出すことができるように、符号化メタデータにはモード変更数情報が記述されている。
〈メタデータエンコーダの構成例〉
　次に、メタデータを符号化する符号化装置であるメタデータエンコーダ２２の具体的な実施の形態について説明する。
　図４は、図１に示したメタデータエンコーダ２２の構成例を示す図である。
　図４に示すメタデータエンコーダ２２は、取得部７１、符号化部７２、圧縮部７３、決定部７４、出力部７５、記録部７６、および切替部７７から構成される。
　取得部７１は、空間位置情報出力装置１２からオブジェクトのメタデータを取得して、符号化部７２および記録部７６に供給する。例えばメタデータとして、Ｎ個のオブジェクトのインデックス、水平方向角度θ、垂直方向角度γ、距離ｒ、およびゲインｇが取得される。
　符号化部７２は、取得部７１により取得されたメタデータを符号化して圧縮部７３に供給する。符号化部７２は、量子化部８１、ＲＡＷ符号化部８２、予測符号化部８３、および残差符号化部８４を備えている。
　量子化部８１は、上述した１段階目の符号化処理として、各オブジェクトの位置情報およびゲインを量子化し、量子化された位置情報およびゲインを記録部７６に供給して記録させる。
　ＲＡＷ符号化部８２、予測符号化部８３、および残差符号化部８４は、上述した２段階目の符号化処理として、各符号化モードでオブジェクトの位置情報およびゲインを符号化する。
　すなわち、ＲＡＷ符号化部８２はＲＡＷ符号化モードにより位置情報およびゲインを符号化し、予測符号化部８３は運動パターン予測モードにより位置情報およびゲインを符号化し、残差符号化部８４は残差モードにより位置情報およびゲインを符号化する。符号化時においては、予測符号化部８３および残差符号化部８４は、必要に応じて記録部７６に記録されている過去のフレームの情報を参照しながら符号化を行なう。
　位置情報およびゲインの符号化の結果、符号化部７２から圧縮部７３には、各オブジェクトのインデックス、符号化モード情報、並びに符号化された位置情報およびゲインが供給される。
　圧縮部７３は、記録部７６に記録されている情報を参照しながら、符号化部７２から供給された符号化モード情報の圧縮を行なう。
　すなわち、圧縮部７３は、各オブジェクトについて位置情報およびゲインごとに任意の符号化モードを選択し、選択した符号化モードの組み合わせで各位置情報およびゲインを符号化したときに得られる符号化メタデータを生成する。圧縮部７３は、互いに異なる符号化モードの組み合わせごとに生成した符号化メタデータについて、符号化モード情報の圧縮を行い、決定部７４に供給する。
　決定部７４は、圧縮部７３から供給された各位置情報およびゲインの符号化モードの組み合わせごとに得られた符号化メタデータのなかから、最もデータ量の少ない符号化メタデータを選択することで、各位置情報およびゲインの符号化モードを決定する。
　また、決定部７４は、決定した符号化モードを示す符号化モード情報を記録部７６に供給するとともに、選択した符号化メタデータを、最終的な符号化メタデータとしてビットストリームに記述して出力部７５に供給する。
　出力部７５は、決定部７４から供給されたビットストリームをメタデータデコーダ３２に出力する。記録部７６は、取得部７１や符号化部７２、決定部７４から供給された情報を記録することで、全オブジェクトの過去のフレームの量子化された各位置情報およびゲインや、それらの位置情報およびゲインの符号化モード情報を保持するとともに、それらの情報を符号化部７２や圧縮部７３に供給する。また、記録部７６は、各運動パターン予測モードを示す符号化モード情報と、それらの運動パターン予測モードの予測係数とを対応付て記録している。
　さらに、符号化部７２、圧縮部７３、および決定部７４では、選択運動パターン予測モードの入れ替えのために、いくつかの運動パターン予測モードの組み合わせを新たな選択運動パターン予測モードの候補としてメタデータを符号化する処理が行われる。決定部７４は、各組み合わせについて得られた、所定フレーム数分の符号化メタデータのデータ量と、実際に出力された現フレームを含む所定フレーム数分の符号化メタデータのデータ量とを切替部７７に供給する。
　切替部７７は、決定部７４から供給されたデータ量に基づいて、新たな選択運動パターン予測モードを決定し、その決定結果を符号化部７２および圧縮部７３に供給する。
〈符号化処理の説明〉
　続いて、図４のメタデータエンコーダ２２の動作について説明する。
　なお、以下では、上述した式（１）および式（２）で用いられる量子化の刻み幅、つまりステップサイズＲは１度であるとする。したがって、この場合、量子化後の水平方向角度θの範囲は３６１個の離散値で表現され、量子化後の水平方向角度θの値は９ビットの値となる。同様に、量子化後の垂直方向角度γの範囲は１８１個の離散値で表現され、量子化後の垂直方向角度γの値は８ビットの値となる。
　また、距離ｒは、量子化後の値が４ビットの仮数と４ビットの指数の浮動小数点数が用いられて、合計８ビットで表現されるように量子化が行なわれるものとする。さらに、ゲインｇは、例えば-128dB乃至＋127.5dBの範囲の値とされ、１段階目の符号化では、0.5dB刻み、つまりステップサイズが「0.5」で、９ビットの値に量子化されるものとする。
　また、残差モードによる符号化において、差分と比較する閾値として用いられるビット数Ｍは、１ビットであるものとする。
　メタデータエンコーダ２２にメタデータが供給され、メタデータの符号化が指示されると、メタデータエンコーダ２２は、メタデータを符号化して出力する符号化処理を開始する。以下、図５のフローチャートを参照して、メタデータエンコーダ２２による符号化処理について説明する。なお、この符号化処理はオーディオデータのフレームごとに行われる。
　ステップＳ１１において、取得部７１は、空間位置情報出力装置１２から出力されたメタデータを取得して符号化部７２および記録部７６に供給する。また、記録部７６は、取得部７１から供給されたメタデータを記録する。例えばメタデータには、Ｎ個の各オブジェクトのインデックス、位置情報、およびゲインが含まれている。
　ステップＳ１２において、符号化部７２は、Ｎ個のオブジェクトのなかの１つを処理対象のオブジェクトとして選択する。
　ステップＳ１３において、量子化部８１は、取得部７１から供給された処理対象のオブジェクトの位置情報およびゲインを量子化する。また、量子化部８１は、量子化された位置情報およびゲインを記録部７６に供給し、記録させる。
　例えば、位置情報としての水平方向角度θや垂直方向角度γが、上述した式（１）によりＲ＝１度刻みで量子化される。また、距離ｒやゲインｇも同様に量子化される。
　ステップＳ１４において、ＲＡＷ符号化部８２は、処理対象のオブジェクトの量子化された位置情報およびゲインを、ＲＡＷ符号化モードにより符号化する。すなわち、量子化された位置情報およびゲインが、そのままＲＡＷ符号化モードで符号化された位置情報およびゲインとされる。
　ステップＳ１５において、予測符号化部８３は、運動パターン予測モードによる符号化処理を行って、処理対象のオブジェクトの量子化された位置情報およびゲインを、運動パターン予測モードにより符号化する。なお、運動パターン予測モードによる符号化処理の詳細は後述するが、運動パターン予測モードによる符号化処理では、各選択運動パターン予測モードについて、予測係数を用いた予測が行われる。
　ステップＳ１６において、残差符号化部８４は、残差モードによる符号化処理を行って、処理対象のオブジェクトの量子化された位置情報およびゲインを、残差モードにより符号化する。なお、残差モードによる符号化処理の詳細は後述する。
　ステップＳ１７において、符号化部７２は、全てのオブジェクトについて処理を行なったか否かを判定する。
　ステップＳ１７において、まだ全てのオブジェクトについて処理が行なわれていないと判定された場合、処理はステップＳ１２に戻り、上述した処理が繰り返される。すなわち、新たなオブジェクトが処理対象のオブジェクトとして選択されて、そのオブジェクトの位置情報およびゲインに対して各符号化モードでの符号化が行なわれる。
　これに対してステップＳ１７において、全てのオブジェクトについて処理を行なったと判定された場合、処理はステップＳ１８に進む。このとき、符号化部７２は、各符号化モードでの符号化により得られた位置情報およびゲイン（符号化データ）、各位置情報およびゲインの符号化モードを示す符号化モード情報、およびオブジェクトのインデックスを圧縮部７３に供給する。
　ステップＳ１８において、圧縮部７３は、符号化モード情報圧縮処理を行う。なお、符号化モード情報圧縮処理の詳細は後述するが、符号化モード情報圧縮処理では、符号化部７２から供給されたオブジェクトのインデックス、符号化データ、および符号化モード情報に基づいて、符号化モードの組み合わせごとに符号化メタデータが生成される。
　すなわち、圧縮部７３は１つのオブジェクトについて、そのオブジェクトの位置情報およびゲインごとに、任意の符号化モードを選択する。同様に圧縮部７３は、他の全てのオブジェクトについても、各オブジェクトの位置情報およびゲインごとに任意の符号化モードを選択し、選択したそれらの符号化モードの組み合わせを、１つの組み合わせとする。
　そして、圧縮部７３は、符号化モードの組み合わせとして取り得る全ての組み合わせについて、符号化モード情報の圧縮を行いながら、組み合わせで示される符号化モードで位置情報やゲインが符号化されて得られる符号化メタデータを生成する。
　ステップＳ１９において、圧縮部７３は、現フレームにおいて選択運動パターン予測モードの入れ替えがあったか否かを判定する。例えば、切替部７７から新たな選択運動パターン予測モードを示す情報が供給された場合、選択運動パターン予測モードの入れ替えがあったと判定される。
　ステップＳ１９において、選択運動パターン予測モードの入れ替えがあったと判定された場合、ステップＳ２０において、圧縮部７３は各組み合わせの符号化メタデータに予測係数切替フラグおよび予測係数を挿入する。
　すなわち、圧縮部７３は、切替部７７から供給された情報により示される選択運動パターン予測モードの予測係数を記録部７６から読み出して、読み出した予測係数と、入れ替えがある旨の予測係数切替フラグとを各組み合わせの符号化メタデータに挿入する。
　ステップＳ２０の処理が行われると、圧縮部７３は、予測係数と予測係数切替フラグとが挿入された各組み合わせの符号化メタデータを決定部７４に供給し、処理はステップＳ２１に進む。
　これに対してステップＳ１９において、選択運動パターン予測モードの入れ替えがなかったと判定された場合、圧縮部７３は、入れ替えがない旨の予測係数切替フラグを各組み合わせの符号化メタデータに挿入して決定部７４に供給し、処理はステップＳ２１に進む。
　ステップＳ２０の処理が行われたか、またはステップＳ１９において入れ替えがなかったと判定された場合、ステップＳ２１において、決定部７４は圧縮部７３から供給された各組み合わせの符号化メタデータに基づいて、各位置情報およびゲインの符号化モードを決定する。
　すなわち、決定部７４は、各組み合わせの符号化メタデータのうち、最もデータ量（総ビット数）が少ない符号化メタデータを最終的な符号化メタデータとして決定し、決定された符号化メタデータをビットストリームに書き込んで出力部７５に供給する。これにより、各オブジェクトの位置情報およびゲインについて符号化モードが定まる。したがって、最もデータ量の少ない符号化メタデータを選択することにより、各位置情報およびゲインの符号化モードが決定されるということができる。
　決定部７４は、決定された各位置情報およびゲインの符号化モードを示す符号化モード情報を記録部７６に供給して記録させるとともに、現フレームの符号化メタデータのデータ量を切替部７７に供給する。
　ステップＳ２２において、出力部７５は、決定部７４から供給されたビットストリームをメタデータデコーダ３２に送信し、符号化処理は終了する。
　以上のようにしてメタデータエンコーダ２２は、メタデータを構成する位置情報やゲインなどの各要素を適切な符号化モードにより符号化し、符号化メタデータとする。
　このように、要素ごとに適切な符号化モードを決定して符号化を行うことにより、符号化効率を向上させて符号化メタデータのデータ量を削減することができる。その結果、オーディオデータの復号時に、より高品質な音声を得ることができ、臨場感のあるオーディオ再生を実現することができるようになる。また、符号化メタデータの生成時に符号化モード情報の圧縮を行うことにより、符号化メタデータのデータ量をさらに削減することができるようになる。
〈運動パターン予測モードによる符号化処理の説明〉
　次に、図６のフローチャートを参照して、図５のステップＳ１５の処理に対応する運動パターン予測モードによる符号化処理について説明する。
　なお、この処理は、処理対象とされているオブジェクトの位置情報およびゲインごとに行われる。つまり、オブジェクトの水平方向角度θ、垂直方向角度γ、距離ｒ、およびゲインｇのそれぞれが処理対象とされて、それらの処理対象ごとに運動パターン予測モードによる符号化処理が行われる。
　ステップＳ５１において、予測符号化部８３は、現時点において選択運動パターン予測モードとして選択されている各運動パターン予測モードについて、オブジェクトの位置情報またはゲインの予測を行なう。
　例えば、位置情報としての水平方向角度θについて符号化が行われるものとし、選択運動パターン予測モードとして静止モード、等速度モード、および等加速度モードが選択されているとする。
　そのような場合、まず予測符号化部８３は、記録部７６から過去のフレームの量子化された水平方向角度θと、選択運動パターン予測モードの予測係数とを読み出す。そして、予測符号化部８３は、読み出した水平方向角度θと予測係数を用いて、静止モード、等速度モード、または等加速度モードの何れかの選択運動パターン予測モードで、水平方向角度θが予測可能かを特定する。すなわち、上述した式（３）が成立するかを特定する。
　式（３）の演算時には、予測符号化部８３は、図５のステップＳ１３の処理で量子化された現フレームの水平方向角度θと、過去のフレームの量子化された水平方向角度θとを式（３）に代入する。
　ステップＳ５２において、予測符号化部８３は、選択運動パターン予測モードのうち、処理対象となっている位置情報またはゲインを予測可能であった選択運動パターン予測モードがあるか否かを判定する。
　例えばステップＳ５１の処理で、選択運動パターン予測モードとしての静止モードの予測係数を用いたときに式（３）が成立すると特定された場合には、静止モードでの予測が可能であった、つまり予測可能であった選択運動パターン予測モードがあると判定される。
　ステップＳ５２において、予測可能であった選択運動パターン予測モードがあると判定された場合、処理はステップＳ５３に進む。
　ステップＳ５３において、予測符号化部８３は、予測可能であるとされた選択運動パターン予測モードを、処理対象の位置情報またはゲインの符号化モードとし、運動パターン予測モードによる符号化処理は終了する。そして、その後、処理は図５のステップＳ１６へと進む。
　これに対して、ステップＳ５２において、予測可能であった選択運動パターン予測モードがないと判定された場合、処理対象の位置情報またはゲインは、運動パターン予測モードでは符号化できないとされ、運動パターン予測モードによる符号化処理は終了する。そして、その後、処理は図５のステップＳ１６へと進む。
　この場合、符号化メタデータを生成するための符号化モードの組み合わせを定めるときには、処理対象となっている位置情報またはゲインについては、符号化モードとして運動パターン予測モードは取り得ないことになる。
　以上のように予測符号化部８３は、過去のフレームの情報を用いて現フレームの量子化された位置情報またはゲインの予測を行い、予測が可能である場合には、予測可能であるとされた運動パターン予測モードの符号化モード情報のみが符号化メタデータに含まれるようにする。これにより、符号化メタデータのデータ量を削減することができる。
〈残差モードによる符号化処理の説明〉
　続いて、図７のフローチャートを参照して、図５のステップＳ１６の処理に対応する残差モードによる符号化処理について説明する。なお、この処理では、処理対象とされているオブジェクトの水平方向角度θ、垂直方向角度γ、およびゲインｇのそれぞれが処理対象とされ、それらの処理対象ごとに処理が行なわれる。
　ステップＳ８１において、残差符号化部８４は、記録部７６に記録されている過去のフレームの符号化モード情報を参照して、直前のフレームの符号化モードを特定する。
　具体的には残差符号化部８４は、現フレームに最も時間的に近い過去のフレームであって、処理対象の位置情報またはゲインの符号化モードが残差モードではないモード、つまり運動パターン予測モードまたはＲＡＷモードであるフレームを特定する。そして、残差符号化部８４は、特定したフレームにおける処理対象の位置情報またはゲインの符号化モードを、直前のフレームの符号化モードとする。
　ステップＳ８２において、残差符号化部８４は、ステップＳ８１の処理で特定した直前のフレームの符号化モードがＲＡＷモードであるか否かを判定する。
　ステップＳ８２において、ＲＡＷモードであると判定された場合、ステップＳ８３において残差符号化部８４は、現フレームと、直前のフレームとの差分（残差）を求める。
　すなわち、残差符号化部８４は記録部７６に記録されている、直前のフレーム、つまり現フレームの１つ前のフレームにおける処理対象の量子化された位置情報またはゲインの値と、現フレームの量子化された位置情報またはゲインの値との差分を求める。
　このとき、差分が求められる現フレームと直前のフレームの位置情報またはゲインの値は、量子化部８１により量子化された位置情報またはゲインの値、つまり量子化後の値である。差分が求められると、その後、処理はステップＳ８６へと進む。
　一方、ステップＳ８２においてＲＡＷモードではない、つまり運動パターン予測モードであると判定された場合、ステップＳ８４において残差符号化部８４は、ステップＳ８１で特定された符号化モードに従って、現フレームの量子化された位置情報またはゲインの予測値を求める。
　例えば、位置情報としての水平方向角度θが処理対象となっており、ステップＳ８１で特定された直前のフレームの符号化モードが静止モードであるとする。そのような場合、残差符号化部８４は、記録部７６に記録されている量子化された水平方向角度θと静止モードの予測係数を用いて、現フレームの量子化された水平方向角度θを予測する。
　すなわち、式（３）が計算されて現フレームの量子化された水平方向角度θの予測値が求められる。
　ステップＳ８５において、残差符号化部８４は、現フレームの量子化された位置情報またはゲインの予測値と実測値との差分を求める。すなわち、ステップＳ８４の処理で求めた予測値と、図５のステップＳ１３の処理で得られた、現フレームの処理対象の量子化された位置情報またはゲインの値との差分が求められる。
　差分が求められると、その後、処理はステップＳ８６へと進む。
　ステップＳ８３またはステップＳ８５の処理が行われると、ステップＳ８６において、残差符号化部８４は、求めた差分が２進数で表すとＭビット以内で記述可能であるか否かを判定する。上述したように、ここではＭ＝１ビットとされ、差分が１ビットで記述可能な値であるか否かが判定される。
　ステップＳ８６において、差分がＭビット以内で記述可能であると判定された場合、ステップＳ８７において、残差符号化部８４は求めた差分を示す情報を、残差モードにより符号化された位置情報またはゲイン、つまり図３に示した符号化データとする。
　例えば、位置情報としての水平方向角度θまたは垂直方向角度γが処理対象となっている場合、残差符号化部８４はステップＳ８３またはステップＳ８５で求めた差分の符号が正であるかまたは負であるかを示すフラグを符号化された位置情報とする。これは、ステップＳ８６の処理で用いられるビット数Ｍが１ビットであるので、復号側では差分の符号が分かれば差分の値を特定することができるからである。
　ステップＳ８７の処理が行われると残差モードによる符号化処理は終了し、その後、処理は図５のステップＳ１７へと進む。
　これに対して、ステップＳ８６において、差分がＭビット以内で記述可能でないと判定された場合、処理対象の位置情報またはゲインは残差モードでは符号化できないとされ、残差モードによる符号化処理は終了する。そして、その後、処理は図５のステップＳ１７へと進む。
　この場合、符号化メタデータを生成するための符号化モードの組み合わせを定めるときには、処理対象となっている位置情報またはゲインについては、符号化モードとして残差モードは取り得ないことになる。
　以上のように残差符号化部８４は、過去のフレームの符号化モードに応じて現フレームの量子化された位置情報またはゲインの差分（残差）を求め、その差分がＭビットで記述できる場合には、その差分を示す情報を符号化された位置情報またはゲインとする。このように、差分を示す情報を符号化された位置情報またはゲインとすることで、位置情報やゲインをそのまま記述する場合と比べて、符号化メタデータのデータ量を削減することができる。
〈符号化モード情報圧縮処理の説明〉
　さらに、図８のフローチャートを参照して、図５のステップＳ１８の処理に対応する符号化モード情報圧縮処理について説明する。
　なお、この処理が開始される時点では、現フレームの全オブジェクトの各位置情報およびゲインについて、各符号化モードによる符号化が行われた状態となっている。
　ステップＳ１０１において、圧縮部７３は、符号化部７２から供給された全オブジェクトの各位置情報およびゲインの符号化モード情報に基づいて、まだ処理対象として選択されていない符号化モードの組み合わせを１つ選択する。
　すなわち、圧縮部７３は各オブジェクトについて、位置情報およびゲインごとに符号化モードを選択し、選択したそれらの符号化モードの組み合わせを、新たな処理対象の組み合わせとする。
　ステップＳ１０２において、圧縮部７３は処理対象の組み合わせについて、各オブジェクトの位置情報およびゲインの符号化モードに変更があるか否かを判定する。
　具体的には、圧縮部７３は全オブジェクトの各位置情報およびゲインの処理対象の組み合わせとした符号化モードと、記録部７６に記録されている符号化モード情報により示される、直前のフレームの全オブジェクトの各位置情報およびゲインの符号化モードとを比較する。そして、圧縮部７３は１つの位置情報またはゲインでも現フレームと直前のフレームとで符号化モードが異なる場合、符号化モードに変更があると判定する。
　ステップＳ１０２において変更があると判定された場合、ステップＳ１０３において圧縮部７３は、全オブジェクトの位置情報およびゲインの符号化モード情報が記述されたものを符号化メタデータの候補として生成する。
　すなわち、圧縮部７３はモード変更フラグ、モードリストモードフラグ、全位置情報およびゲインの処理対象となっている組み合わせの符号化モードを示す符号化モード情報、並びに符号化データからなる１つのデータを符号化メタデータの候補として生成する。
　ここで、モード変更フラグは符号化モードに変更があった旨の値とされ、モードリストモードフラグは、全位置情報およびゲインの符号化モード情報が記述されている旨の値とされる。また、符号化メタデータの候補に含まれる符号化データは、符号化部７２から供給された符号化データのうちの、各位置情報およびゲインの処理対象の組み合わせとされている符号化モードに対応するデータである。
　なお、ステップＳ１０３で得られる符号化メタデータには、まだ予測係数切替フラグと予測係数が挿入されていない。
　ステップＳ１０４において、圧縮部７３は、各オブジェクトの位置情報およびゲインのうち、符号化モードに変更があった位置情報またはゲインのみ符号化モード情報が記述されたものを符号化メタデータの候補として生成する。
　すなわち、圧縮部７３はモード変更フラグ、モードリストモードフラグ、モード変更数情報、オブジェクトのインデックス、要素情報、符号化モード情報、および符号化データからなる１つのデータを符号化メタデータの候補として生成する。
　ここで、モード変更フラグは符号化モードに変更があった旨の値とされ、モードリストモードフラグは、符号化モードに変更があった位置情報またはゲインのみ符号化モード情報が記述されている旨の値とされる。
　また、オブジェクトのインデックスは、符号化モードに変更があった位置情報またはゲインがあるオブジェクトを示すインデックスのみが記述され、要素情報および符号化モード情報も、符号化モードに変更があった位置情報またはゲインについてのみ記述される。さらに、符号化メタデータの候補に含まれる符号化データは、符号化部７２から供給された符号化データのうちの、各位置情報およびゲインの処理対象の組み合わせとされている符号化モードに対応するデータとされる。
　なお、ステップＳ１０４で得られる符号化メタデータにおいても、ステップＳ１０３における場合と同様に、符号化メタデータには、まだ予測係数切替フラグと予測係数が挿入されていない。
　ステップＳ１０５において圧縮部７３は、ステップＳ１０３で生成された符号化メタデータの候補のデータ量と、ステップＳ１０４で生成された符号化メタデータの候補のデータ量を比較して、よりデータ量が少ないものを選択する。そして、圧縮部７３は、選択した符号化メタデータの候補を、処理対象となっている符号化モードの組み合わせについての符号化メタデータとし、処理はステップＳ１０７に進む。
　また、ステップＳ１０２において符号化モードに変更がないと判定された場合、ステップＳ１０６において、圧縮部７３は、モード変更フラグと符号化データが記述されたものを符号化メタデータとして生成する。
　すなわち、圧縮部７３は符号化モードに変更がない旨のモード変更フラグ、および符号化データからなる１つのデータを、処理対象となっている符号化モードの組み合わせについての符号化メタデータとして生成する。
　ここで、符号化メタデータに含まれる符号化データは、符号化部７２から供給された符号化データのうちの、各位置情報およびゲインの処理対象の組み合わせとされている符号化モードに対応するデータである。なお、ステップＳ１０６で得られる符号化メタデータには、まだ予測係数切替フラグと予測係数が挿入されていない。
　ステップＳ１０６において符号化メタデータが生成されると、その後、処理はステップＳ１０７に進む。
　ステップＳ１０５またはステップＳ１０６において、処理対象の組み合わせについて符号化メタデータが得られると、ステップＳ１０７において圧縮部７３は、符号化モードの全ての組み合わせについて処理を行なったか否かを判定する。すなわち、組み合わせとして取り得る全ての符号化モードの組み合わせが処理対象とされて、符号化メタデータが生成されたか否かが判定される。
　ステップＳ１０７において、まだ全ての組み合わせについて処理を行なっていないと判定された場合、処理はステップＳ１０１に戻り、上述した処理が繰り返される。すなわち、新たな組み合わせが処理対象とされて、その組み合わせについて符号化メタデータが生成される。
　これに対して、ステップＳ１０７において全ての組み合わせについて処理を行なったと判定された場合、符号化モード情報圧縮処理は終了する。符号化モード情報圧縮処理が終了すると、その後、処理は図５のステップＳ１９へと進む。
　以上のようにして、圧縮部７３は、全ての符号化モードの組み合わせについて、符号化モードの変更の有無に応じて符号化メタデータを生成する。このように、符号化モードの変更の有無に応じて符号化メタデータを生成することで、必要な情報のみが含まれる符号化メタデータを得ることができ、符号化メタデータのデータ量を圧縮することができる。
　なお、この実施の形態では、符号化モードの組み合わせごとに符号化メタデータを生成し、その後、図５に示した符号化処理のステップＳ２１において、データ量が最小となる符号化メタデータを選択することで、各位置情報およびゲインの符号化モードを決定する例について説明した。しかし、各位置情報およびゲインの符号化モードが決定されてから、符号化モード情報の圧縮が行なわれるようにしてもよい。
　そのような場合には、まず各符号化モードでの位置情報およびゲインの符号化を行なった後に、位置情報およびゲインごとに最も符号化データのデータ量が少なくなる符号化モードが決定される。そして、決定された各位置情報およびゲインの符号化モードの組み合わせについて、図８のステップＳ１０２乃至ステップＳ１０６の処理が行なわれて、符号化メタデータが生成される。
〈入れ替え処理の説明〉
　ところで、メタデータエンコーダ２２において図５を参照して説明した符号化処理が繰り返し行なわれている間には、１フレーム分の符号化処理が行なわれた直後に、または符号化処理とほぼ同時に選択運動パターン予測モードを入れ替える入れ替え処理が行なわれる。
　以下、図９のフローチャートを参照して、メタデータエンコーダ２２により行なわれる入れ替え処理について説明する。
　ステップＳ１３１において、切替部７７は、運動パターン予測モードの組み合わせを選択し、その選択結果を符号化部７２に供給する。具体的には、切替部７７は全ての運動パターン予測モードのうちの任意の３つの運動パターン予測モードを、運動パターン予測モードの１つの組み合わせとして選択する。
　なお、切替部７７は現時点において選択運動パターン予測モードとされている３つの運動パターン予測モードを示す情報を保持しており、ステップＳ１３１では現時点における選択運動パターン予測モードの組み合わせは選択されないようになされる。
　ステップＳ１３２において、切替部７７は処理対象とするフレームを選択し、その選択結果を符号化部７２に供給する。
　例えば、オーディオデータの現フレームと、その現フレームよりも過去のフレームとからなる所定数の連続するフレームが、時間的に古い順に処理対象のフレームとして選択されていく。ここで、処理対象とされる連続するフレームの数は、例えば１０フレームなどとされる。
　ステップＳ１３２において処理対象のフレームが選択されると、その後、処理対象のフレームについて、ステップＳ１３３乃至ステップＳ１４０の処理が行なわれる。なお、これらのステップＳ１３３乃至ステップＳ１４０の処理は図５のステップＳ１２乃至ステップＳ１８、およびステップＳ２１の処理と同様であるので、その説明は省略する。
　但し、ステップＳ１３４では、記録部７６に記録されている過去のフレームの位置情報およびゲインに対して量子化が行なわれてもよいし、記録部７６に記録されている過去のフレームの量子化された位置情報およびゲインがそのまま用いられてもよい。
　また、ステップＳ１３６では、ステップＳ１３１において選択された運動パターン予測モードの組み合わせが、選択運動パターン予測モードであるものとして運動パターン予測モードによる符号化処理が行なわれる。したがって、どの位置情報およびゲインについても、処理対象となっている組み合わせの運動パターン予測モードが用いられて、位置情報やゲインの予測が行なわれる。
　さらに、ステップＳ１３７の処理で用いられる過去のフレームの符号化モードは、その過去のフレームについてステップＳ１４０の処理で得られた符号化モードとされる。また、ステップＳ１３９では、符号化メタデータに、選択運動パターン予測モードの入れ替えが行なわれなかった旨の予測係数切替フラグが含まれるように、符号化メタデータが生成される。
　以上の処理により、処理対象のフレームについて、ステップＳ１３１で選択した運動パターン予測モードの組み合わせが、選択運動パターン予測モードであったと仮定したときの符号化メタデータが得られる。
　ステップＳ１４１において、切替部７７は、全てのフレームについて処理を行なったか否かを判定する。例えば、現フレームを含む連続する所定数のフレーム全てが処理対象のフレームとして選択されて符号化メタデータが生成された場合、全てのフレームについて処理を行なったと判定される。
　ステップＳ１４１において、まだ全てのフレームについて処理を行なっていないと判定された場合、処理はステップＳ１３２に戻り、上述した処理が繰り返される。すなわち、新たなフレームが処理対象のフレームとされて、そのフレームについて符号化メタデータが生成される。
　これに対して、ステップＳ１４１において、全てのフレームについて処理を行なったと判定された場合、ステップＳ１４２において、切替部７７は、処理対象とした所定数のフレームの符号化メタデータの総ビット数をデータ量の合計として求める。
　すなわち、切替部７７は、決定部７４から処理対象とした所定数の各フレームの符号化メタデータを取得して、それらの符号化メタデータのデータ量の合計を求める。これにより、連続する所定数のフレームにおいて、ステップＳ１３１で選択した運動パターン予測モードの組み合わせを選択運動パターン予測モードとしたならば得られていた符号化メタデータのデータ量の合計が得られることになる。
　ステップＳ１４３において、切替部７７は、運動パターン予測モードの全ての組み合わせについて処理を行なったか否かを判定する。ステップＳ１４３において、まだ全ての組み合わせについて処理を行なっていないと判定された場合、処理はステップＳ１３１に戻り、上述した処理が繰り返し行なわれる。すなわち、新たな組み合わせについて、符号化メタデータのデータ量の合計が算出される。
　一方、ステップＳ１４３において、全ての組み合わせについて処理を行なったと判定された場合、ステップＳ１４４において、切替部７７は符号化メタデータのデータ量の合計を比較する。
　すなわち、切替部７７は、運動パターン予測モードの組み合わせのなかから、符号化メタデータのデータ量の合計（総ビット数）が最も少ない組み合わせを選択する。そして、切替部７７は、選択した組み合わせの符号化メタデータのデータ量の合計と、連続する所定数のフレームの実際の符号化メタデータのデータ量の合計とを比較する。
　なお、上述した図５のステップＳ２１では、実際に出力された符号化メタデータのデータ量が決定部７４から切替部７７に供給されるので、切替部７７は、各フレームの符号化メタデータのデータ量の和を求めることで、実際のデータ量の合計を得ることができる。
　ステップＳ１４５において、切替部７７は、ステップＳ１４４の処理による符号化メタデータのデータ量の合計の比較結果に基づいて、選択運動パターン予測モードの入れ替えを行なうか否かを判定する。
　例えば、仮にデータ量の合計が最も少なかった運動パターン予測モードの組み合わせが、過去所定数フレームにおいて選択運動パターン予測モードとされていたならば、所定のＡ％分のビット数以上、データ量を削減可能であった場合、入れ替えを行なうと判定される。
　すなわち、ステップＳ１４４の処理における比較の結果得られた、運動パターン予測モードの組み合わせの符号化メタデータのデータ量の合計と、実際の符号化メタデータのデータ量の合計との差分がＤＦビットであったとする。
　この場合、データ量の合計の差分のビット数ＤＦが、実際の符号化メタデータのデータ量の合計のＡ％分のビット数以上であるとき、選択運動パターン予測モードの入れ替えを行なうと判定される。
　ステップＳ１４５において、入れ替えを行なうと判定された場合、ステップＳ１４６において、切替部７７は、選択運動パターン予測モードの入れ替えを行い、入れ替え処理は終了する。
　具体的には、切替部７７は、ステップＳ１４４で実際の符号化メタデータのデータ量の合計との比較を行なった組み合わせ、つまり処理対象とされた組み合わせのうち、符号化メタデータのデータ量の合計が最も少なかった組み合わせの運動パターン予測モードを新たな選択運動パターン予測モードとする。そして、切替部７７は、新たな選択運動パターン予測モードを示す情報を符号化部７２および圧縮部７３に供給する。
　符号化部７２は、切替部７７から供給された情報により示される選択運動パターン予測モードを用いて、次フレームについて、図５を参照して説明した符号化処理を行なう。
　また、ステップＳ１４５において、入れ替えを行なわないと判定された場合、入れ替え処理は終了する。この場合、現時点における選択運動パターン予測モードが、次フレームの選択運動パターン予測モードとしてそのまま用いられる。
　以上のようにして、メタデータエンコーダ２２は、運動パターン予測モードの組み合わせについて、所定数フレーム分の符号化メタデータを生成し、その符号化メタデータと実際の符号化メタデータのデータ量を比較して、選択運動パターン予測モードの入れ替えを行なう。これにより、符号化メタデータのデータ量をさらに削減することができる。
〈メタデータデコーダの構成例〉
　続いて、メタデータエンコーダ２２から出力されたビットストリームを受信して、符号化メタデータを復号する復号装置であるメタデータデコーダ３２について説明する。
　図１に示したメタデータデコーダ３２は、例えば図１０に示すように構成される。
　メタデータデコーダ３２は、取得部１２１、抽出部１２２、復号部１２３、出力部１２４、および記録部１２５から構成される。
　取得部１２１は、メタデータエンコーダ２２からビットストリームを取得して抽出部１２２に供給する。抽出部１２２は、記録部１２５に供給されている情報を参照しながら、取得部１２１から供給されたビットストリームからオブジェクトのインデックス、符号化モード情報や符号化データ、予測係数などを抽出して復号部１２３に供給する。また、抽出部１２２は、現フレームの全オブジェクトの各位置情報およびゲインの符号化モードを示す符号化モード情報を記録部１２５に供給して記録させる。
　復号部１２３は、記録部１２５に記録されている情報を参照しながら、抽出部１２２から供給された符号化モード情報や符号化データ、予測係数に基づいて符号化メタデータの復号を行なう。復号部１２３は、ＲＡＷ復号部１４１、予測復号部１４２、残差復号部１４３、および逆量子化部１４４を備えている。
　ＲＡＷ復号部１４１は、符号化モードとしてのＲＡＷモードに対応する方式（以下、単にＲＡＷモードと称する）で位置情報およびゲインの復号を行なう。予測復号部１４２は、符号化モードとしての運動パターン予測モードに対応する方式（以下、単に運動パターン予測モードと称する）で位置情報およびゲインの復号を行なう。
　また、残差復号部１４３は、符号化モードとしての残差モードに対応する方式（以下、単に残差モードと称する）で位置情報およびゲインの復号を行なう。
　逆量子化部１４４は、ＲＡＷモード、運動パターン予測モード、または残差モードの何れかのモード（方式）により復号された位置情報およびゲインを逆量子化する。
　復号部１２３は、ＲＡＷモード等のモードにより復号された位置情報およびゲイン、つまり量子化された位置情報およびゲインを記録部１２５に供給して記録させる。また、復号部１２３は、復号（逆量子化）された位置情報およびゲインと、抽出部１２２から供給されたオブジェクトのインデックスとを復号されたメタデータとして出力部１２４に供給する。
　出力部１２４は、復号部１２３から供給されたメタデータを再生装置１５に出力する。記録部１２５は、各オブジェクトのインデックス、抽出部１２２から供給された符号化モード情報、並びに復号部１２３から供給された、量子化された位置情報およびゲインを記録する。
〈復号処理の説明〉
　次に、メタデータデコーダ３２の動作について説明する。
　メタデータデコーダ３２は、メタデータエンコーダ２２からビットストリームが送信されてくると、そのビットストリームを受信してメタデータを復号する復号処理を開始する。以下、図１１のフローチャートを参照して、メタデータデコーダ３２により行なわれる復号処理について説明する。なお、この復号処理は、オーディオデータのフレームごとに行なわれる。
　ステップＳ１７１において、取得部１２１は、メタデータエンコーダ２２から送信されてきたビットストリームを受信して抽出部１２２に供給する。
　ステップＳ１７２において、抽出部１２２は、取得部１２１から供給されたビットストリーム、すなわち符号化メタデータのモード変更フラグに基づいて、現フレームと直前のフレームとで符号化モードに変更があるか否かを判定する。
　ステップＳ１７２において、符号化モードに変更がないと判定された場合、処理はステップＳ１７３に進む。
　ステップＳ１７３において、抽出部１２２は、記録部１２５から全オブジェクトのインデックスと、現フレームの直前のフレームにおける全オブジェクトの各位置情報およびゲインの符号化モード情報を取得する。
　そして、抽出部１２２は、取得したオブジェクトのインデックスおよび符号化モード情報を復号部１２３に供給するとともに、取得部１２１から供給された符号化メタデータから符号化データを抽出して復号部１２３に供給する。
　ステップＳ１７３の処理が行なわれる場合、全オブジェクトの各位置情報およびゲインについて、現フレームと直前のフレームとで符号化モードが同じであり、符号化メタデータには符号化モード情報が記述されていない。そのため、記録部１２５から取得された直前のフレームの符号化モード情報が、現フレームの符号化モード情報としてそのまま用いられる。
　また、抽出部１２２は、現フレームにおけるオブジェクトの各位置情報およびゲインの符号化モードを示す符号化モード情報を記録部１２５に供給して記録させる。
　ステップＳ１７３の処理が行なわれると、その後、処理はステップＳ１７８に進む。
　また、ステップＳ１７２において、符号化モードに変更があると判定された場合、処理はステップＳ１７４に進む。
　ステップＳ１７４において、抽出部１２２は、取得部１２１から供給されたビットストリーム、つまり符号化メタデータに、全てのオブジェクトの位置情報およびゲインの符号化モード情報が記述されているか否かを判定する。例えば、符号化メタデータに含まれているモードリストモードフラグが、全位置情報およびゲインの符号化モード情報が記述されている旨の値である場合、記述されていると判定される。
　ステップＳ１７４において、全てのオブジェクトの位置情報およびゲインの符号化モード情報が記述されていると判定された場合、ステップＳ１７５の処理が行なわれる。
　ステップＳ１７５において、抽出部１２２は記録部１２５からオブジェクトのインデックスを読み出すとともに、取得部１２１から供給された符号化メタデータから全オブジェクトの各位置情報およびゲインの符号化モード情報を抽出する。
　そして、抽出部１２２は、全オブジェクトのインデックスと、それらのオブジェクトの各位置情報およびゲインの符号化モード情報とを復号部１２３に供給するとともに、取得部１２１から供給された符号化メタデータから符号化データを抽出して復号部１２３に供給する。また、抽出部１２２は、現フレームにおけるオブジェクトの各位置情報およびゲインの符号化モード情報を記録部１２５に供給して記録させる。
　ステップＳ１７５の処理が行なわれると、その後、処理はステップＳ１７８に進む。
　また、ステップＳ１７４において、全てのオブジェクトの位置情報およびゲインの符号化モード情報が記述されていないと判定された場合、ステップＳ１７６の処理が行なわれる。
　ステップＳ１７６において、抽出部１２２は、取得部１２１から供給されたビットストリーム、すなわち符号化メタデータに記述されているモード変更数情報に基づいて、符号化メタデータから、符号化モードに変更のあった符号化モード情報を抽出する。すなわち、符号化メタデータに含まれている符号化モード情報が全て読み出される。このとき、抽出部１２２は、符号化メタデータからオブジェクトのインデックスも抽出する。
　ステップＳ１７７において、抽出部１２２は、ステップＳ１７６の抽出結果に基づいて、符号化モードに変更がなかった位置情報およびゲインの符号化モード情報とオブジェクトのインデックスとを記録部１２５から取得する。すなわち、符号化モードに変更がなかった位置情報およびゲインの直前のフレームの符号化モード情報が、現フレームの符号化モード情報として読み出される。
　これにより、現フレームにおける全てのオブジェクトの各位置情報およびゲインの符号化モード情報が得られたことになる。
　抽出部１２２は、現フレームにおける全オブジェクトのインデックスと各位置情報およびゲインの符号化モード情報とを復号部１２３に供給するとともに、取得部１２１から供給された符号化メタデータから符号化データを抽出して復号部１２３に供給する。また、抽出部１２２は、現フレームにおけるオブジェクトの各位置情報およびゲインの符号化モード情報を記録部１２５に供給して記録させる。
　ステップＳ１７７の処理が行なわれると、その後、処理はステップＳ１７８に進む。
　ステップＳ１７３、ステップＳ１７５、またはステップＳ１７７の処理が行なわれると、ステップＳ１７８において、抽出部１２２は、取得部１２１から供給された符号化メタデータの予測係数切替フラグに基づいて、選択運動パターン予測モードの入れ替えがあったか否かを判定する。
　ステップＳ１７８において入れ替えがあったと判定された場合、抽出部１２２は、符号化メタデータから新たな選択運動パターン予測モードの予測係数を抽出して復号部１２３に供給する。予測係数が抽出されると、その後、処理はステップＳ１８０へと進む。
　これに対して、ステップＳ１７８において、選択運動パターン予測モードの入れ替えがなかったと判定された場合、処理はステップＳ１８０に進む。
　ステップＳ１７９の処理が行なわれたか、またはステップＳ１７８において入れ替えがなかったと判定された場合、ステップＳ１８０において、復号部１２３は、全てのオブジェクトのなかから１つのオブジェクトを処理対象のオブジェクトとして選択する。
　ステップＳ１８１において、復号部１２３は、処理対象のオブジェクトの位置情報またはゲインを選択する。すなわち、処理対象のオブジェクトについて、水平方向角度θ、垂直方向角度γ、距離ｒ、またはゲインｇのうちの何れか１つが処理対象として選択される。
　ステップＳ１８２において、復号部１２３は、抽出部１２２から供給された符号化モード情報に基づいて、処理対象の位置情報またはゲインの符号化モードがＲＡＷモードであるか否かを判定する。
　ステップＳ１８２においてＲＡＷモードであると判定された場合、ステップＳ１８３において、ＲＡＷ復号部１４１は、処理対象の位置情報またはゲインをＲＡＷモードで復号する。
　具体的には、ＲＡＷ復号部１４１は、抽出部１２２から供給された、処理対象の位置情報またはゲインの符号化データとしての符号を、そのままＲＡＷモードで復号された位置情報またはゲインとする。ここで、ＲＡＷモードで復号された位置情報またはゲインとは、図５のステップＳ１３で量子化されて得られた位置情報またはゲインである。
　ＲＡＷモードでの復号が行なわれると、ＲＡＷ復号部１４１は、得られた位置情報またはゲインを記録部１２５に供給して、現フレームの量子化された位置情報またはゲインとして記録させ、その後、処理はステップＳ１８７に進む。
　また、ステップＳ１８２においてＲＡＷモードでないと判定された場合、ステップＳ１８４において、復号部１２３は、抽出部１２２から供給された符号化モード情報に基づいて、処理対象の位置情報またはゲインの符号化モードが運動パターン予測モードであるか否かを判定する。
　ステップＳ１８４において、運動パターン予測モードであると判定された場合、ステップＳ１８５において、予測復号部１４２は、処理対象の位置情報またはゲインを運動パターン予測モードで復号する。
　具体的には、予測復号部１４２は、処理対象の位置情報またはゲインの符号化モード情報により示される運動パターン予測モードの予測係数を用いて、現フレームの量子化された位置情報またはゲインを算出する。
　量子化された位置情報またはゲインの算出には、上述した式（３）や、式（３）と同様の計算が行われる。例えば、処理対象の位置情報が水平方向角度θであり、その水平方向角度θの符号化モード情報により示される運動パターン予測モードが静止モードである場合には、静止モードの予測係数により式（３）の計算が行なわれる。そして、その結果得られた符号Codearc(n)が、量子化された現フレームの水平方向角度θとされる。
　なお、量子化された位置情報またはゲインの算出時に用いられる予測係数は、予め保持している予測係数、または選択運動パターン予測モードの入れ替えに応じて抽出部１２２から供給された予測係数が用いられる。また、予測復号部１４２は、量子化された位置情報またはゲインの算出時に用いる、過去のフレームの量子化された位置情報またはゲインを、記録部１２５から読み出して予測を行なう。
　ステップＳ１８５の処理が行なわれると、予測復号部１４２は、得られた位置情報またはゲインを記録部１２５に供給して、現フレームの量子化された位置情報またはゲインとして記録させ、その後、処理はステップＳ１８７に進む。
　また、ステップＳ１８４において、処理対象の位置情報またはゲインの符号化モードが運動パターン予測モードでないと判定された場合、すなわち残差モードである場合、ステップＳ１８６の処理が行なわれる。
　ステップＳ１８６において、残差復号部１４３は、処理対象の位置情報またはゲインを残差モードで復号する。
　具体的には、残差復号部１４３は、記録部１２５に記録されている符号化モード情報に基づいて、現フレームに最も時間的に近い過去のフレームであって、処理対象の位置情報またはゲインの符号化モードが残差モードではないフレームを特定する。したがって、特定されるフレームにおける処理対象の位置情報またはゲインの符号化モードは、運動パターン予測モードまたはＲＡＷモードの何れかとなる。
　特定されたフレームにおける処理対象の位置情報またはゲインの符号化モードが運動パターン予測モードである場合、残差復号部１４３は、その運動パターン予測モードの予測係数を用いて、現フレームの処理対象の量子化された位置情報またはゲインを予測する。この予測では、記録部１２５に記録されている、過去のフレームにおける量子化された位置情報またはゲインが用いられて、上述した式（３）や式（３）に対応する計算が行なわれる。
　そして、残差復号部１４３は、予測により得られた現フレームにおける処理対象の量子化された位置情報またはゲインに対して、抽出部１２２から供給された処理対象の位置情報またはゲインの符号化データとしての差分を示す情報により示される差分を加算する。これにより、処理対象の位置情報またはゲインについて、現フレームの量子化された位置情報またはゲインが得られる。
　一方、特定されたフレームにおける処理対象の位置情報またはゲインの符号化モードがＲＡＷモードである場合、残差復号部１４３は、現フレームの直前のフレームにおける、処理対象の位置情報またはゲインについての量子化された位置情報またはゲインを記録部１２５から取得する。そして、残差復号部１４３は、取得した、量子化された位置情報またはゲインに対して、抽出部１２２から供給された処理対象の位置情報またはゲインの符号化データとしての差分を示す情報により示される差分を加算する。これにより、処理対象の位置情報またはゲインについて、現フレームの量子化された位置情報またはゲインが得られる。
　ステップＳ１８６の処理が行なわれると、残差復号部１４３は、得られた位置情報またはゲインを記録部１２５に供給して、現フレームの量子化された位置情報またはゲインとして記録させ、その後、処理はステップＳ１８７に進む。
　以上の処理により、処理対象となっている位置情報またはゲインについて、図５のステップＳ１３の処理により得られる、量子化された位置情報またはゲインが得られたことになる。
　ステップＳ１８３、ステップＳ１８５、またはステップＳ１８６の処理が行なわれると、ステップＳ１８７において、逆量子化部１４４は、ステップＳ１８３、ステップＳ１８５、またはステップＳ１８６の処理により得られた位置情報またはゲインを逆量子化する。
　例えば、位置情報としての水平方向角度θが処理対象となっている場合には、逆量子化部１４４は、上述した式（２）を計算することで処理対象の水平方向角度θの逆量子化、すなわち復号を行なう。
　ステップＳ１８８において、復号部１２３は、ステップＳ１８０の処理で処理対象として選択したオブジェクトについて、全ての位置情報およびゲインを復号したか否かを判定する。
　ステップＳ１８８において、まだ全ての位置情報およびゲインを復号していないと判定された場合、処理はステップＳ１８１に戻り、上述した処理が繰り返される。
　これに対して、ステップＳ１８８において、全ての位置情報およびゲインを復号したと判定された場合、ステップＳ１８９において、復号部１２３は、全てのオブジェクトについて処理を行なったか否かを判定する。
　ステップＳ１８９において、まだ全てのオブジェクトについて処理を行なっていないと判定された場合、処理はステップＳ１８０に戻り、上述した処理が繰り返される。
　一方、ステップＳ１８９において、全てのオブジェクトについて処理を行なったと判定された場合、現フレームの全オブジェクトについて、復号された各位置情報およびゲインが得られたことになる。
　この場合、復号部１２３は、現フレームの全オブジェクトのインデックス、位置情報、およびゲインからなるデータを復号されたメタデータとして出力部１２４に供給し、処理はステップＳ１９０に進む。
　ステップＳ１９０において、出力部１２４は、復号部１２３から供給されたメタデータを再生装置１５に出力し、復号処理は終了する。
　以上のようにして、メタデータデコーダ３２は、受信した符号化メタデータに含まれている情報に基づいて、各位置情報およびゲインの符号化モードを特定し、その特定結果に応じて位置情報やゲインを復号する。
　このように、復号側において各位置情報とゲインの符号化モードを特定して、位置情報およびゲインを復号するようにすることで、メタデータエンコーダ２２とメタデータデコーダ３２間で授受する符号化メタデータのデータ量を削減することができる。その結果、オーディオデータの復号時に、より高品質な音声を得ることができ、臨場感のあるオーディオ再生を実現することができるようになる。
　また、復号側において、符号化メタデータに含まれているモード変更フラグやモードリストモードフラグに基づいて、各位置情報やゲインの符号化モードを特定するようにすることで、符号化メタデータのデータ量をさらに削減することができる。
〈第２の実施の形態〉
〈メタデータエンコーダの構成例〉
　なお、以上においては、量子化のステップサイズＲなどにより定まる量子化ビット数や、差分と比較する閾値として用いられるビット数Ｍを予め定めておく場合について説明した。しかし、これらのビット数はオブジェクトの位置やゲイン、オーディオデータの特徴、または符号化されたメタデータとオーディオデータの情報を含めたビットストリームのビットレートなどに応じて動的に変更されるようにしてもよい。
　例えば、オーディオデータからオブジェクトの位置情報およびゲインの重要度を算出し、その重要度に応じて、位置情報やゲインの圧縮率が動的に調整されるようにしてもよい。また、符号化されたメタデータとオーディオデータの情報を含めたビットストリームのビットレートの高さに応じて、位置情報やゲインの圧縮率が動的に調整されるようにしてもよい。
　具体的には例えば、オーディオデータに基づいて、上述した式（１）や式（２）で用いられるステップサイズＲが動的に定められる場合、メタデータエンコーダ２２は、図１２に示すように構成される。なお、図１２において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　図１２に示すメタデータエンコーダ２２は、図４に示したメタデータエンコーダ２２にさらに圧縮率決定部１８１が設けられている。
　圧縮率決定部１８１は、エンコーダ１３に供給されたＮ個の各オブジェクトのオーディオデータを取得し、取得したオーディオデータに基づいて、各オブジェクトのステップサイズＲを決定する。そして、圧縮率決定部１８１は決定したステップサイズＲを符号化部７２に供給する。
　また、符号化部７２の量子化部８１は、圧縮率決定部１８１から供給されたステップサイズＲに基づいて、各オブジェクトの位置情報の量子化を行なう。
〈符号化処理の説明〉
　次に、図１３のフローチャートを参照して、図１２に示したメタデータエンコーダ２２により行なわれる符号化処理について説明する。
　なお、ステップＳ２２１の処理は、図５のステップＳ１１の処理と同様であるので、その説明は省略する。
　ステップＳ２２２において、圧縮率決定部１８１は、エンコーダ１３から供給されたオーディオデータの特徴量に基づいて、オブジェクトごとに位置情報の圧縮率を決定する。
　具体的には、例えば圧縮率決定部１８１は、オブジェクトのオーディオデータの特徴量として、例えば、信号の大きさ（音量）が所定の第１の閾値以上である場合、そのオブジェクトのステップサイズＲを所定の第１の値とし、符号化部７２に供給する。
　また、圧縮率決定部１８１は、オブジェクトのオーディオデータの特徴量である信号の大きさ（音量）が第１の閾値より小さく、かつ所定の第２の閾値以上である場合、そのオブジェクトのステップサイズＲを第１の値よりも大きい所定の第２の値とし、符号化部７２に供給する。
　このように、オーディオデータの音声の音量が大きいときは、量子化リゾリューションを高くすることで、つまりステップサイズＲを小さくすることで、復号時により正確な位置情報を得ることができるようになる。
　また、圧縮率決定部１８１は、オブジェクトのオーディオデータの信号の大きさ、つまり音量が無音または殆ど聞こえないくらい小さい場合には、そのオブジェクトの位置情報およびゲインを符号化メタデータとして送信しないようにする。この場合、圧縮率決定部１８１は、位置情報およびゲインを送らない旨の情報を符号化部７２に供給する。
　ステップＳ２２２の処理が行なわれると、その後、ステップＳ２２３乃至ステップＳ２３３の処理が行なわれて、符号化処理は終了するが、これらの処理は図５のステップＳ１２乃至ステップＳ２２の処理と同様であるので、その説明は省略する。
　但し、ステップＳ２２４の処理では、量子化部８１は、圧縮率決定部１８１から供給されたステップサイズＲを用いて、オブジェクトの位置情報の量子化を行なう。また、圧縮率決定部１８１から位置情報およびゲインを送らない旨の情報が供給されたオブジェクトについては、ステップＳ２２３において処理対象として選択されず、そのオブジェクトの位置情報およびゲインは符号化されたメタデータとして送信されない。
　さらに、符号化メタデータには、圧縮部７３により各オブジェクトのステップサイズＲが記述されてメタデータデコーダ３２に送信される。圧縮部７３は、符号化部７２から、または圧縮率決定部１８１から各オブジェクトのステップサイズＲを取得する。
　以上のようにして、メタデータエンコーダ２２は、オーディオデータの特徴量に基づいて、ステップサイズＲを動的に変更する。
　このように、ステップサイズＲを動的に変更することにより、音量が大きく重要度が高いオブジェクトについては、ステップサイズＲを小さくすることで、復号時により正確な位置情報を得ることができるようになる。また、音量がほぼ無音であり、重要度が低いオブジェクトについては、位置情報およびゲインを送らないようにすることで、符号化メタデータのデータ量を効率的に削減することができる。
　ここでは、オーディオデータの特徴量として、信号の大きさ（音量）を用いた場合の処理を説明したが、オーディオデータの特徴量は、それ以外の特徴量であってもよい。例えば特徴量として、信号の基本周波数（音高）、信号の高周波数域のパワーと全体のパワーとの比、またはそれらの組み合わせなどを用いた場合でも、同様の処理を行なうことが可能である。
　さらに、図１２に示したメタデータエンコーダ２２により符号化メタデータが生成される場合においても、図１０に示したメタデータデコーダ３２により図１１を参照して説明した復号処理が行なわれる。
　但し、この場合、抽出部１２２は取得部１２１から供給された符号化メタデータから、各オブジェクトの量子化のステップサイズＲを抽出して復号部１２３に供給する。そして、復号部１２３の逆量子化部１４４は、ステップＳ１８７において、抽出部１２２から供給されたステップサイズＲを用いて逆量子化を行なう。
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、本技術は、以下の構成とすることも可能である。
［１］
　所定の時刻における音源の位置情報を、前記所定の時刻よりも前の時刻における前記音源の前記位置情報に基づいて、所定の符号化モードにより符号化する符号化部と、
　複数の前記符号化モードのうちの１つを前記位置情報の前記符号化モードとして決定する決定部と、
　前記決定部により決定された前記符号化モードを示す符号化モード情報と、前記決定部により決定された前記符号化モードにより符号化された前記位置情報とを出力する出力部と
　を備える符号化装置。
［２］
　前記符号化モードは、前記位置情報をそのまま前記符号化された前記位置情報とするＲＡＷモード、前記音源が静止しているとして前記位置情報を符号化する静止モード、前記音源が等速度で移動しているとして前記位置情報を符号化する等速度モード、前記音源が等加速度で移動しているとして前記位置情報を符号化する等加速度モード、または前記位置情報の残差に基づいて前記位置情報を符号化する残差モードである
　［１］に記載の符号化装置。
［３］
　前記位置情報は前記音源の位置を表す水平方向角度、垂直方向角度、または距離である
　［１］または［２］に記載の符号化装置。
［４］
　前記残差モードにより符号化された前記位置情報は、前記位置情報としての角度の差分を示す情報である
　［２］に記載の符号化装置。
［５］
　前記出力部は、複数の前記音源について、前記所定の時刻における全ての前記音源の前記位置情報の前記符号化モードが、前記所定の時刻の直前の時刻における前記符号化モードと同じである場合、前記符号化モード情報を出力しない
　［１］乃至［４］の何れかに記載の符号化装置。
［６］
　前記出力部は、前記所定の時刻において、複数の前記音源のうちの一部の前記音源の前記位置情報の前記符号化モードが、前記所定の時刻の直前の時刻における前記符号化モードと異なる場合、全ての前記符号化モード情報のうち、前記直前の時刻とは前記符号化モードが異なる前記音源の前記位置情報の前記符号化モード情報のみを出力する
　［１］乃至［５］の何れかに記載の符号化装置。
［７］
　前記位置情報を所定の量子化幅で量子化する量子化部と、
　前記音源のオーディオデータの特徴量に基づいて、前記量子化幅を決定する圧縮率決定部と
　をさらに備え、
　前記符号化部は、量子化された前記位置情報を符号化する
　［１］乃至［６］の何れかに記載の符号化装置。
［８］
　過去に出力した前記符号化モード情報および前記符号化された前記位置情報のデータ量に基づいて、前記位置情報を符号化する前記符号化モードの入れ替えを行なう切替部をさらに備える
　［１］乃至［７］の何れかに記載の符号化装置。
［９］
　前記符号化部は、前記音源のゲインをさらに符号化し、
　前記出力部は、前記ゲインの前記符号化モード情報と、符号化された前記ゲインとをさらに出力する
　［１］乃至［８］の何れかに記載の符号化装置。
［１０］
　所定の時刻における音源の位置情報を、前記所定の時刻よりも前の時刻における前記音源の前記位置情報に基づいて、所定の符号化モードにより符号化し、
　複数の前記符号化モードのうちの１つを前記位置情報の前記符号化モードとして決定し、
　決定された前記符号化モードを示す符号化モード情報と、決定された前記符号化モードにより符号化された前記位置情報とを出力する
　ステップを含む符号化方法。
［１１］
　所定の時刻における音源の位置情報を、前記所定の時刻よりも前の時刻における前記音源の前記位置情報に基づいて、所定の符号化モードにより符号化し、
　複数の前記符号化モードのうちの１つを前記位置情報の前記符号化モードとして決定し、
　決定された前記符号化モードを示す符号化モード情報と、決定された前記符号化モードにより符号化された前記位置情報とを出力する
　ステップを含む処理をコンピュータに実行させるプログラム。
［１２］
　所定の時刻における音源の符号化された位置情報と、複数の符号化モードのうちの前記位置情報を符号化した符号化モードを示す符号化モード情報とを取得する取得部と、
　前記所定の時刻よりも前の時刻における前記音源の前記位置情報に基づいて、前記符号化モード情報により示される前記符号化モードに対応する方式で、前記所定の時刻における前記符号化された前記位置情報を復号する復号部と
　を備える復号装置。
［１３］
　前記符号化モードは、前記位置情報をそのまま前記符号化された前記位置情報とするＲＡＷモード、前記音源が静止しているとして前記位置情報を符号化する静止モード、前記音源が等速度で移動しているとして前記位置情報を符号化する等速度モード、前記音源が等加速度で移動しているとして前記位置情報を符号化する等加速度モード、または前記位置情報の残差に基づいて前記位置情報を符号化する残差モードである
　［１２］に記載の復号装置。
［１４］
　前記位置情報は前記音源の位置を表す水平方向角度、垂直方向角度、または距離である
　［１２］または［１３］に記載の復号装置。
［１５］
　前記残差モードにより符号化された前記位置情報は、前記位置情報としての角度の差分を示す情報である
　［１３］に記載の復号装置。
［１６］
　前記取得部は、複数の前記音源について、前記所定の時刻における全ての前記音源の前記位置情報の前記符号化モードが、前記所定の時刻の直前の時刻における前記符号化モードと同じである場合、前記符号化された前記位置情報のみを取得する
　［１２］乃至［１５］の何れかに記載の復号装置。
［１７］
　前記取得部は、前記所定の時刻において、複数の前記音源のうちの一部の前記音源の前記位置情報の前記符号化モードが、前記所定の時刻の直前の時刻における前記符号化モードと異なる場合、前記符号化された前記位置情報と、前記直前の時刻とは前記符号化モードが異なる前記音源の前記位置情報の前記符号化モード情報とを取得する
　［１２］乃至［１６］の何れかに記載の復号装置。
［１８］
　前記取得部は、前記音源のオーディオデータの特徴量に基づいて決定された、前記位置情報の符号化時に前記位置情報を量子化した量子化幅を示す情報をさらに取得する
　［１２］乃至［１７］の何れかに記載の復号装置。
［１９］
　所定の時刻における音源の符号化された位置情報と、複数の符号化モードのうちの前記位置情報を符号化した符号化モードを示す符号化モード情報とを取得し、
　前記所定の時刻よりも前の時刻における前記音源の前記位置情報に基づいて、前記符号化モード情報により示される前記符号化モードに対応する方式で、前記所定の時刻における前記符号化された前記位置情報を復号する
　ステップを含む復号方法。
［２０］
　所定の時刻における音源の符号化された位置情報と、複数の符号化モードのうちの前記位置情報を符号化した符号化モードを示す符号化モード情報とを取得し、
　前記所定の時刻よりも前の時刻における前記音源の前記位置情報に基づいて、前記符号化モード情報により示される前記符号化モードに対応する方式で、前記所定の時刻における前記符号化された前記位置情報を復号する
　ステップを含む処理をコンピュータに実行させるプログラム。
　２２　メタデータエンコーダ，　３２　メタデータデコーダ，　７２　符号化部，　７３　圧縮部，　７４　決定部，　７５　出力部，　７７　切替部，　８１　量子化部，　８２　ＲＡＷ符号化部，　８３　予測符号化部，　８４　残差符号化部，　１２２　抽出部，　１２３　復号部，　１２４　出力部，　１４１　ＲＡＷ復号部，　１４２　予測復号部，　１４３　残差復号部，　１４４　逆量子化部，　１８１　圧縮率決定部

Claims (20)

  1. 　所定の時刻における音源の位置情報を、前記所定の時刻よりも前の時刻における前記音源の前記位置情報に基づいて、所定の符号化モードにより符号化する符号化部と、
    　複数の前記符号化モードのうちの１つを前記位置情報の前記符号化モードとして決定する決定部と、
    　前記決定部により決定された前記符号化モードを示す符号化モード情報と、前記決定部により決定された前記符号化モードにより符号化された前記位置情報とを出力する出力部と
    　を備える符号化装置。
  2. 　前記符号化モードは、前記位置情報をそのまま前記符号化された前記位置情報とするＲＡＷモード、前記音源が静止しているとして前記位置情報を符号化する静止モード、前記音源が等速度で移動しているとして前記位置情報を符号化する等速度モード、前記音源が等加速度で移動しているとして前記位置情報を符号化する等加速度モード、または前記位置情報の残差に基づいて前記位置情報を符号化する残差モードである
    　請求項１に記載の符号化装置。
  3. 　前記位置情報は前記音源の位置を表す水平方向角度、垂直方向角度、または距離である
    　請求項２に記載の符号化装置。
  4. 　前記残差モードにより符号化された前記位置情報は、前記位置情報としての角度の差分を示す情報である
    　請求項２に記載の符号化装置。
  5. 　前記出力部は、複数の前記音源について、前記所定の時刻における全ての前記音源の前記位置情報の前記符号化モードが、前記所定の時刻の直前の時刻における前記符号化モードと同じである場合、前記符号化モード情報を出力しない
    　請求項２に記載の符号化装置。
  6. 　前記出力部は、前記所定の時刻において、複数の前記音源のうちの一部の前記音源の前記位置情報の前記符号化モードが、前記所定の時刻の直前の時刻における前記符号化モードと異なる場合、全ての前記符号化モード情報のうち、前記直前の時刻とは前記符号化モードが異なる前記音源の前記位置情報の前記符号化モード情報のみを出力する
    　請求項２に記載の符号化装置。
  7. 　前記位置情報を所定の量子化幅で量子化する量子化部と、
    　前記音源のオーディオデータの特徴量に基づいて、前記量子化幅を決定する圧縮率決定部と
    　をさらに備え、
    　前記符号化部は、量子化された前記位置情報を符号化する
    　請求項２に記載の符号化装置。
  8. 　過去に出力した前記符号化モード情報および前記符号化された前記位置情報のデータ量に基づいて、前記位置情報を符号化する前記符号化モードの入れ替えを行なう切替部をさらに備える
    　請求項２に記載の符号化装置。
  9. 　前記符号化部は、前記音源のゲインをさらに符号化し、
    　前記出力部は、前記ゲインの前記符号化モード情報と、符号化された前記ゲインとをさらに出力する
    　請求項２に記載の符号化装置。
  10. 　所定の時刻における音源の位置情報を、前記所定の時刻よりも前の時刻における前記音源の前記位置情報に基づいて、所定の符号化モードにより符号化し、
    　複数の前記符号化モードのうちの１つを前記位置情報の前記符号化モードとして決定し、
    　決定された前記符号化モードを示す符号化モード情報と、決定された前記符号化モードにより符号化された前記位置情報とを出力する
    　ステップを含む符号化方法。
  11. 　所定の時刻における音源の位置情報を、前記所定の時刻よりも前の時刻における前記音源の前記位置情報に基づいて、所定の符号化モードにより符号化し、
    　複数の前記符号化モードのうちの１つを前記位置情報の前記符号化モードとして決定し、
    　決定された前記符号化モードを示す符号化モード情報と、決定された前記符号化モードにより符号化された前記位置情報とを出力する
    　ステップを含む処理をコンピュータに実行させるプログラム。
  12. 　所定の時刻における音源の符号化された位置情報と、複数の符号化モードのうちの前記位置情報を符号化した符号化モードを示す符号化モード情報とを取得する取得部と、
    　前記所定の時刻よりも前の時刻における前記音源の前記位置情報に基づいて、前記符号化モード情報により示される前記符号化モードに対応する方式で、前記所定の時刻における前記符号化された前記位置情報を復号する復号部と
    　を備える復号装置。
  13. 　前記符号化モードは、前記位置情報をそのまま前記符号化された前記位置情報とするＲＡＷモード、前記音源が静止しているとして前記位置情報を符号化する静止モード、前記音源が等速度で移動しているとして前記位置情報を符号化する等速度モード、前記音源が等加速度で移動しているとして前記位置情報を符号化する等加速度モード、または前記位置情報の残差に基づいて前記位置情報を符号化する残差モードである
    　請求項１２に記載の復号装置。
  14. 　前記位置情報は前記音源の位置を表す水平方向角度、垂直方向角度、または距離である
    　請求項１３に記載の復号装置。
  15. 　前記残差モードにより符号化された前記位置情報は、前記位置情報としての角度の差分を示す情報である
    　請求項１３に記載の復号装置。
  16. 　前記取得部は、複数の前記音源について、前記所定の時刻における全ての前記音源の前記位置情報の前記符号化モードが、前記所定の時刻の直前の時刻における前記符号化モードと同じである場合、前記符号化された前記位置情報のみを取得する
    　請求項１３に記載の復号装置。
  17. 　前記取得部は、前記所定の時刻において、複数の前記音源のうちの一部の前記音源の前記位置情報の前記符号化モードが、前記所定の時刻の直前の時刻における前記符号化モードと異なる場合、前記符号化された前記位置情報と、前記直前の時刻とは前記符号化モードが異なる前記音源の前記位置情報の前記符号化モード情報とを取得する
    　請求項１３に記載の復号装置。
  18. 　前記取得部は、前記音源のオーディオデータの特徴量に基づいて決定された、前記位置情報の符号化時に前記位置情報を量子化した量子化幅を示す情報をさらに取得する
    　請求項１３に記載の復号装置。
  19. 　所定の時刻における音源の符号化された位置情報と、複数の符号化モードのうちの前記位置情報を符号化した符号化モードを示す符号化モード情報とを取得し、
    　前記所定の時刻よりも前の時刻における前記音源の前記位置情報に基づいて、前記符号化モード情報により示される前記符号化モードに対応する方式で、前記所定の時刻における前記符号化された前記位置情報を復号する
    　ステップを含む復号方法。
  20. 　所定の時刻における音源の符号化された位置情報と、複数の符号化モードのうちの前記位置情報を符号化した符号化モードを示す符号化モード情報とを取得し、
    　前記所定の時刻よりも前の時刻における前記音源の前記位置情報に基づいて、前記符号化モード情報により示される前記符号化モードに対応する方式で、前記所定の時刻における前記符号化された前記位置情報を復号する
    　ステップを含む処理をコンピュータに実行させるプログラム。
PCT/JP2014/063409 2013-05-31 2014-05-21 符号化装置および方法、復号装置および方法、並びにプログラム WO2014192602A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/893,909 US9805729B2 (en) 2013-05-31 2014-05-21 Encoding device and method, decoding device and method, and program
JP2015519803A JP6380389B2 (ja) 2013-05-31 2014-05-21 符号化装置および方法、復号装置および方法、並びにプログラム
EP14803533.0A EP3007168A4 (en) 2013-05-31 2014-05-21 Encoding device and method, decoding device and method, and program
CN201480029798.0A CN105229734B (zh) 2013-05-31 2014-05-21 编码装置和方法、解码装置和方法以及计算机可读介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013115724 2013-05-31
JP2013-115724 2013-05-31

Publications (1)

Publication Number Publication Date
WO2014192602A1 true WO2014192602A1 (ja) 2014-12-04

Family

ID=51988635

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/063409 WO2014192602A1 (ja) 2013-05-31 2014-05-21 符号化装置および方法、復号装置および方法、並びにプログラム

Country Status (6)

Country Link
US (1) US9805729B2 (ja)
EP (1) EP3007168A4 (ja)
JP (1) JP6380389B2 (ja)
CN (1) CN105229734B (ja)
TW (1) TWI615834B (ja)
WO (1) WO2014192602A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019198540A1 (ja) * 2018-04-12 2019-10-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2021503628A (ja) * 2017-11-17 2021-02-12 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． 量子化とエントロピーコーディングとを使用して指向性オーディオコーディングパラメータを符号化または復号するための装置および方法
JP2021517668A (ja) * 2018-04-10 2021-07-26 ガウディオ・ラボ・インコーポレイテッド メタデータを利用するオーディオ信号処理方法及び装置
JP7485109B2 (ja) 2018-04-12 2024-05-16 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3657823A1 (en) * 2013-11-28 2020-05-27 Dolby Laboratories Licensing Corporation Position-based gain adjustment of object-based audio and ring-based channel audio
CN106774930A (zh) * 2016-12-30 2017-05-31 中兴通讯股份有限公司 一种数据处理方法、装置及采集设备
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
KR20200128023A (ko) * 2018-03-15 2020-11-11 소니 주식회사 화상 처리 장치 및 방법
GB2582916A (en) * 2019-04-05 2020-10-14 Nokia Technologies Oy Spatial audio representation and associated rendering
GB2585187A (en) * 2019-06-25 2021-01-06 Nokia Technologies Oy Determination of spatial audio parameter encoding and associated decoding
US20220383881A1 (en) * 2021-05-27 2022-12-01 Qualcomm Incorporated Audio encoding based on link data
CN117581566A (zh) * 2022-05-05 2024-02-20 北京小米移动软件有限公司 音频处理方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009522610A (ja) * 2006-01-09 2009-06-11 ノキア コーポレイション バイノーラルオーディオ信号の復号制御
JP2009526467A (ja) * 2006-02-09 2009-07-16 エルジー エレクトロニクス インコーポレイティド オブジェクトベースオーディオ信号の符号化及び復号化方法とその装置
JP2009543389A (ja) * 2006-07-08 2009-12-03 ノキア コーポレイション バイノーラル音響信号の動的な復号
JP2010515099A (ja) * 2006-12-27 2010-05-06 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 情報ビットストリーム変換を含む多様なチャネルで構成されたマルチオブジェクトオーディオ信号の符号化および復号化装置、並びに方法
JP2010521002A (ja) * 2006-09-29 2010-06-17 韓國電子通信研究院 多様なチャネルから構成されたマルチオブジェクトオーディオ信号の符号化および復号化装置、並びにその方法
WO2010109918A1 (ja) * 2009-03-26 2010-09-30 パナソニック株式会社 復号化装置、符号化復号化装置および復号化方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4308345B2 (ja) * 1998-08-21 2009-08-05 パナソニック株式会社 マルチモード音声符号化装置及び復号化装置
AU2547201A (en) * 2000-01-11 2001-07-24 Matsushita Electric Industrial Co., Ltd. Multi-mode voice encoding device and decoding device
CN1288625C (zh) * 2002-01-30 2006-12-06 松下电器产业株式会社 音频编码与解码设备及其方法
CN1677493A (zh) * 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
KR100647336B1 (ko) * 2005-11-08 2006-11-23 삼성전자주식회사 적응적 시간/주파수 기반 오디오 부호화/복호화 장치 및방법
KR20070077652A (ko) * 2006-01-24 2007-07-27 삼성전자주식회사 적응적 시간/주파수 기반 부호화 모드 결정 장치 및 이를위한 부호화 모드 결정 방법
CN101197134A (zh) * 2006-12-05 2008-06-11 华为技术有限公司 消除编码模式切换影响的方法和装置以及解码方法和装置
KR100964402B1 (ko) * 2006-12-14 2010-06-17 삼성전자주식회사 오디오 신호의 부호화 모드 결정 방법 및 장치와 이를 이용한 오디오 신호의 부호화/복호화 방법 및 장치
KR101439205B1 (ko) * 2007-12-21 2014-09-11 삼성전자주식회사 오디오 매트릭스 인코딩 및 디코딩 방법 및 장치
KR20090110242A (ko) * 2008-04-17 2009-10-21 삼성전자주식회사 오디오 신호를 처리하는 방법 및 장치
US9165558B2 (en) * 2011-03-09 2015-10-20 Dts Llc System for dynamically creating and rendering audio objects
TW202339510A (zh) * 2011-07-01 2023-10-01 美商杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
AU2012279349B2 (en) * 2011-07-01 2016-02-18 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009522610A (ja) * 2006-01-09 2009-06-11 ノキア コーポレイション バイノーラルオーディオ信号の復号制御
JP2009526467A (ja) * 2006-02-09 2009-07-16 エルジー エレクトロニクス インコーポレイティド オブジェクトベースオーディオ信号の符号化及び復号化方法とその装置
JP2009543389A (ja) * 2006-07-08 2009-12-03 ノキア コーポレイション バイノーラル音響信号の動的な復号
JP2010521002A (ja) * 2006-09-29 2010-06-17 韓國電子通信研究院 多様なチャネルから構成されたマルチオブジェクトオーディオ信号の符号化および復号化装置、並びにその方法
JP2010515099A (ja) * 2006-12-27 2010-05-06 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 情報ビットストリーム変換を含む多様なチャネルで構成されたマルチオブジェクトオーディオ信号の符号化および復号化装置、並びに方法
WO2010109918A1 (ja) * 2009-03-26 2010-09-30 パナソニック株式会社 復号化装置、符号化復号化装置および復号化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
See also references of EP3007168A4 *
VILLE PULKKI: "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", JOURNAL OF AES, vol. 45, no. 6, 1 June 1997 (1997-06-01), pages 456 - 466, XP000695381 *
VILLE PULKKI: "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", JOURNAL OF AES, vol. 45, no. 6, 1997, pages 456 - 466

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7175980B2 (ja) 2017-11-17 2022-11-21 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． 量子化とエントロピーコーディングとを使用して指向性オーディオコーディングパラメータを符号化または復号するための装置および方法
US11367454B2 (en) 2017-11-17 2022-06-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding directional audio coding parameters using quantization and entropy coding
JP2021503628A (ja) * 2017-11-17 2021-02-12 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． 量子化とエントロピーコーディングとを使用して指向性オーディオコーディングパラメータを符号化または復号するための装置および方法
JP2022058577A (ja) * 2017-11-17 2022-04-12 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． 量子化とエントロピーコーディングとを使用して指向性オーディオコーディングパラメータを符号化または復号するための装置および方法
JP7372360B2 (ja) 2017-11-17 2023-10-31 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． 量子化とエントロピーコーディングとを使用して指向性オーディオコーディングパラメータを符号化または復号するための装置および方法
US11783843B2 (en) 2017-11-17 2023-10-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding directional audio coding parameters using different time/frequency resolutions
JP7371968B2 (ja) 2018-04-10 2023-10-31 ガウディオ・ラボ・インコーポレイテッド メタデータを利用するオーディオ信号処理方法及び装置
US11950080B2 (en) 2018-04-10 2024-04-02 Gaudio Lab, Inc. Method and device for processing audio signal, using metadata
JP2021517668A (ja) * 2018-04-10 2021-07-26 ガウディオ・ラボ・インコーポレイテッド メタデータを利用するオーディオ信号処理方法及び装置
JP2022126849A (ja) * 2018-04-10 2022-08-30 ガウディオ・ラボ・インコーポレイテッド メタデータを利用するオーディオ信号処理方法及び装置
JP7102024B2 (ja) 2018-04-10 2022-07-19 ガウディオ・ラボ・インコーポレイテッド メタデータを利用するオーディオ信号処理装置
US11540075B2 (en) 2018-04-10 2022-12-27 Gaudio Lab, Inc. Method and device for processing audio signal, using metadata
WO2019198540A1 (ja) * 2018-04-12 2019-10-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP7226436B2 (ja) 2018-04-12 2023-02-21 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
JPWO2019198540A1 (ja) * 2018-04-12 2021-04-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP7485109B2 (ja) 2018-04-12 2024-05-16 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
TW201503113A (zh) 2015-01-16
TWI615834B (zh) 2018-02-21
US9805729B2 (en) 2017-10-31
JP6380389B2 (ja) 2018-08-29
EP3007168A4 (en) 2017-01-25
EP3007168A1 (en) 2016-04-13
US20160133261A1 (en) 2016-05-12
CN105229734A (zh) 2016-01-06
JPWO2014192602A1 (ja) 2017-02-23
CN105229734B (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
JP6380389B2 (ja) 符号化装置および方法、復号装置および方法、並びにプログラム
US11798568B2 (en) Methods, apparatus and systems for encoding and decoding of multi-channel ambisonics audio data
CN106415714B (zh) 译码环境高阶立体混响系数的独立帧
US9058803B2 (en) Multichannel audio stream compression
CN101223582B (zh) 一种音频编码方法、音频解码方法及音频编码器
KR101921403B1 (ko) 고차 앰비소닉 신호 압축
CN106133828B (zh) 编码装置和编码方法、解码装置和解码方法及存储介质
JP2009524108A (ja) 拡張帯域周波数コーディングによる複素変換チャネルコーディング
CN105580072A (zh) 用于声场的空间分量的压缩的量化步长
US20210176582A1 (en) Information processing apparatus and method, and program
WO2015146860A1 (ja) 音声復号装置、音声符号化装置、音声復号方法、音声符号化方法、音声復号プログラム、および音声符号化プログラム
CN106471578A (zh) 较高阶立体混响信号之间的交叉淡化
JP2022509440A (ja) 空間オーディオパラメータの符号化及び対応する復号の決定
TW201606751A (zh) 將高階保真立體音響信號表示之次頻帶內主導方向信號之方向編碼／解碼之方法及裝置
KR20200140874A (ko) 공간 오디오 파라미터의 양자화
CN113129913B (zh) 音频信号的编解码方法和编解码装置
US9781539B2 (en) Encoding device and method, decoding device and method, and program
CN111179951B (zh) 包括编码hoa表示的位流的解码方法和装置、以及介质
KR20220018588A (ko) DirAC 기반 공간 오디오 코딩을 위한 패킷 손실 은닉
Yang et al. Multi-stage encoding scheme for multiple audio objects using compressed sensing
US7747093B2 (en) Method and apparatus for predicting the size of a compressed signal
CN118038882A (en) Audio encoding method, device, computer readable medium and electronic equipment
CN113129910A (zh) 音频信号的编解码方法和编解码装置
CN118016077A (en) Decoding method and apparatus comprising a bitstream encoding an HOA representation, and medium

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480029798.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14803533

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015519803

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014803533

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14893909

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE