JP6728065B2 - 音場のベクトル量子化された空間成分を含むオーディオデータを復号する方法 - Google Patents
音場のベクトル量子化された空間成分を含むオーディオデータを復号する方法 Download PDFInfo
- Publication number
- JP6728065B2 JP6728065B2 JP2016567714A JP2016567714A JP6728065B2 JP 6728065 B2 JP6728065 B2 JP 6728065B2 JP 2016567714 A JP2016567714 A JP 2016567714A JP 2016567714 A JP2016567714 A JP 2016567714A JP 6728065 B2 JP6728065 B2 JP 6728065B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- unit
- audio
- codebooks
- syntax element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 138
- 239000013598 vector Substances 0.000 claims description 960
- 238000013139 quantization Methods 0.000 claims description 140
- 238000000354 decomposition reaction Methods 0.000 claims description 84
- 238000003860 storage Methods 0.000 claims description 23
- 238000009877 rendering Methods 0.000 claims description 12
- 230000007613 environmental effect Effects 0.000 description 77
- 239000011159 matrix material Substances 0.000 description 58
- 238000010586 diagram Methods 0.000 description 32
- 238000004458 analytical method Methods 0.000 description 26
- 230000005236 sound signal Effects 0.000 description 23
- 238000000605 extraction Methods 0.000 description 17
- 230000009467 reduction Effects 0.000 description 17
- 230000008520 organization Effects 0.000 description 16
- 230000015572 biosynthetic process Effects 0.000 description 12
- 238000003786 synthesis reaction Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000007704 transition Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 230000002441 reversible effect Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 239000007993 MOPS buffer Substances 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 108010074864 Factor XI Proteins 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009940 knitting Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000035939 shock Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
- G10L19/038—Vector quantisation, e.g. TwinVQ audio
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
- G10L2019/0013—Codebook search algorithms
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
[0001]本出願は、以下の米国仮出願、即ち、
２０１４年５月１６日に出願された「ＣＯＤＩＮＧ Ｖ−ＶＥＣＴＯＲＳ ＯＦ Ａ ＤＥＣＯＭＰＯＳＥＤ ＨＩＧＨＥＲ ＯＲＤＥＲ ＡＭＢＩＳＯＮＩＣＳ （ＨＯＡ） ＡＵＤＩＯ ＳＩＧＮＡＬ」と題する米国仮出願第６１／９９４，７９４号、
２０１４年５月２８日に出願された「ＣＯＤＩＮＧ Ｖ−ＶＥＣＴＯＲＳ ＯＦ Ａ ＤＥＣＯＭＰＯＳＥＤ ＨＩＧＨＥＲ ＯＲＤＥＲ ＡＭＢＩＳＯＮＩＣＳ （ＨＯＡ） ＡＵＤＩＯ ＳＩＧＮＡＬ」と題する米国仮出願第６２／００４，１２８号、
２０１４年７月１日に出願された「ＣＯＤＩＮＧ Ｖ−ＶＥＣＴＯＲＳ ＯＦ Ａ ＤＥＣＯＭＰＯＳＥＤ ＨＩＧＨＥＲ ＯＲＤＥＲ ＡＭＢＩＳＯＮＩＣＳ （ＨＯＡ） ＡＵＤＩＯ ＳＩＧＮＡＬ」と題する米国仮出願第６２／０１９，６６３号、
２０１４年７月２２日に出願された「ＣＯＤＩＮＧ Ｖ−ＶＥＣＴＯＲＳ ＯＦ Ａ ＤＥＣＯＭＰＯＳＥＤ ＨＩＧＨＥＲ ＯＲＤＥＲ ＡＭＢＩＳＯＮＩＣＳ （ＨＯＡ） ＡＵＤＩＯ ＳＩＧＮＡＬ」と題する米国仮出願第６２／０２７，７０２号、
２０１４年７月２３日に出願された「ＣＯＤＩＮＧ Ｖ−ＶＥＣＴＯＲＳ ＯＦ Ａ ＤＥＣＯＭＰＯＳＥＤ ＨＩＧＨＥＲ ＯＲＤＥＲ ＡＭＢＩＳＯＮＩＣＳ （ＨＯＡ） ＡＵＤＩＯ ＳＩＧＮＡＬ」と題する米国仮出願第６２／０２８，２８２号、
２０１４年８月１日に出願された「ＣＯＤＩＮＧ Ｖ−ＶＥＣＴＯＲＳ ＯＦ Ａ ＤＥＣＯＭＰＯＳＥＤ ＨＩＧＨＥＲ ＯＲＤＥＲ ＡＭＢＩＳＯＮＩＣＳ （ＨＯＡ） ＡＵＤＩＯ ＳＩＧＮＡＬ」と題する米国仮出願第６２／０３２，４４０号
の利益を主張し、上記に記載された米国仮出願の各々は、それらのそれぞれの全体が本明細書に記載されたかのように、参照により組み込まれる。
２０１４年５月１６日に出願された「ＣＯＤＩＮＧ Ｖ−ＶＥＣＴＯＲＳ ＯＦ Ａ ＤＥＣＯＭＰＯＳＥＤ ＨＩＧＨＥＲ ＯＲＤＥＲ ＡＭＢＩＳＯＮＩＣＳ （ＨＯＡ） ＡＵＤＩＯ ＳＩＧＮＡＬ」と題する米国仮出願第６１／９９４，７９４号、
２０１４年５月２８日に出願された「ＣＯＤＩＮＧ Ｖ−ＶＥＣＴＯＲＳ ＯＦ Ａ ＤＥＣＯＭＰＯＳＥＤ ＨＩＧＨＥＲ ＯＲＤＥＲ ＡＭＢＩＳＯＮＩＣＳ （ＨＯＡ） ＡＵＤＩＯ ＳＩＧＮＡＬ」と題する米国仮出願第６２／００４，１２８号、
２０１４年７月１日に出願された「ＣＯＤＩＮＧ Ｖ−ＶＥＣＴＯＲＳ ＯＦ Ａ ＤＥＣＯＭＰＯＳＥＤ ＨＩＧＨＥＲ ＯＲＤＥＲ ＡＭＢＩＳＯＮＩＣＳ （ＨＯＡ） ＡＵＤＩＯ ＳＩＧＮＡＬ」と題する米国仮出願第６２／０１９，６６３号、
２０１４年７月２２日に出願された「ＣＯＤＩＮＧ Ｖ−ＶＥＣＴＯＲＳ ＯＦ Ａ ＤＥＣＯＭＰＯＳＥＤ ＨＩＧＨＥＲ ＯＲＤＥＲ ＡＭＢＩＳＯＮＩＣＳ （ＨＯＡ） ＡＵＤＩＯ ＳＩＧＮＡＬ」と題する米国仮出願第６２／０２７，７０２号、
２０１４年７月２３日に出願された「ＣＯＤＩＮＧ Ｖ−ＶＥＣＴＯＲＳ ＯＦ Ａ ＤＥＣＯＭＰＯＳＥＤ ＨＩＧＨＥＲ ＯＲＤＥＲ ＡＭＢＩＳＯＮＩＣＳ （ＨＯＡ） ＡＵＤＩＯ ＳＩＧＮＡＬ」と題する米国仮出願第６２／０２８，２８２号、
２０１４年８月１日に出願された「ＣＯＤＩＮＧ Ｖ−ＶＥＣＴＯＲＳ ＯＦ Ａ ＤＥＣＯＭＰＯＳＥＤ ＨＩＧＨＥＲ ＯＲＤＥＲ ＡＭＢＩＳＯＮＩＣＳ （ＨＯＡ） ＡＵＤＩＯ ＳＩＧＮＡＬ」と題する米国仮出願第６２／０３２，４４０号
の利益を主張し、上記に記載された米国仮出願の各々は、それらのそれぞれの全体が本明細書に記載されたかのように、参照により組み込まれる。
[0002]本開示はオーディオデータに関し、より詳細には、高次アンビソニックオーディオデータのコード化に関する。
[0003]高次アンビソニックス（ＨＯＡ：higher-order ambisonics）信号（複数の球面調和係数（ＳＨＣ：spherical harmonic coefficient）又は他の階層的な要素によってしばしば表される）は、音場の３次元表現である。このＨＯＡ表現又はＳＨＣ表現は、ＳＨＣ信号からレンダリングされるマルチチャネルオーディオ信号を再生するために使用されるローカルスピーカ幾何学的配置に依存しない方法で音場を表し得る。ＳＨＣ信号は、５．１オーディオチャネルフォーマット又は７．１オーディオチャネルフォーマットなどのよく知られており、広く採用されているマルチチャネルフォーマットにレンダリングされ得るので、ＳＨＣ信号はまた、後方互換性を容易にし得る。従って、ＳＨＣ表現は、後方互換性にも対応する、音場のより良い表現を可能にし得る。
[0004]概して、コードベクトルのセットに基づいて分解された高次アンビソニックス（ＨＯＡ）オーディオ信号の（関連するオーディオオブジェクトの、幅、形状、方向及び位置などの空間情報を表し得る）ｖベクトルを効率的に表すための技法について説明する。本技法は、ｖベクトルをコードベクトルの重み付き和に分解することと、複数の重み及び対応するコードベクトルのサブセットを選択することと、重みの選択されたサブセットを量子化することと、コードベクトルの選択されたサブセットをインデックス付けすることとを伴い得る。本技法は、ＨＯＡオーディオ信号をコード化するためのビットレートの改善を提供し得る。
[0005]一態様では、複数の高次アンビソニック（ＨＯＡ）係数を取得する方法であって、本方法は、複数のＨＯＡ係数の分解バージョン中に含まれるベクトルを表す複数の重み値を示すデータをビットストリームから取得することを備える。重み値の各々は、コードベクトルのセットを含むベクトルを表すコードベクトルの重み付き和における複数の重みのうちのそれぞれ１つに対応する。重み値とコードベクトルとに基づいてベクトルを再構成することを更に備える本方法。
[0006]別の態様では、複数の高次アンビソニック（ＨＯＡ）係数を取得するように構成された機器であって、本機器は、複数のＨＯＡ係数の分解バージョン中に含まれるベクトルを表す複数の重み値を示すデータをビットストリームから取得するように構成された１つ又は複数のプロセッサを備える。重み値の各々は、ベクトルを表しコードベクトルのセットを含むコードベクトルの重み付き和における複数の重みのうちのそれぞれ１つに対応する。重み値とコードベクトルとに基づいてベクトルを再構成するように更に構成された１つ又は複数のプロセッサ。また、再構成されたベクトルを記憶するように構成されたメモリを備える本機器。
[0007]別の態様では、複数の高次アンビソニック（ＨＯＡ）係数を取得するように構成された機器であって、本機器は、複数のＨＯＡ係数の分解バージョン中に含まれるベクトルを表す複数の重み値を示すデータをビットストリームから取得するための手段と、重み値の各々が、コードベクトルのセットを含むベクトルを表すコードベクトルの重み付き和における複数の重みのうちのそれぞれ１つに対応する、重み値とコードベクトルとに基づいてベクトルを再構成するための手段とを備える。
[0008]別の態様では、非一時的コンピュータ可読記憶媒体は、実行されたとき、複数の高次アンビソニック（ＨＯＡ）係数の分解バージョン中に含まれるベクトルを表す複数の重み値を示すデータをビットストリームから取得することと、重み値の各々が、コードベクトルのセットを含むベクトルを表すコードベクトルの重み付き和における複数の重みのうちのそれぞれ１つに対応する、重み値とコードベクトルとに基づいてベクトルを再構成することとを１つ又は複数のプロセッサに行わせる命令をその上に記憶している。
[0009]別の態様では、方法は、コードベクトルのセットに基づいて、複数の高次アンビソニック（ＨＯＡ）係数の分解バージョン中に含まれるベクトルを表す１つ又は複数の重み値を決定することを備え、重み値の各々は、ベクトルを表すコードベクトルの重み付き和中に含まれる複数の重みのうちのそれぞれ１つに対応する。
[0010]別の態様では、機器は、コードベクトルのセットを記憶するように構成されたメモリと、コードベクトルのセットに基づいて、複数の高次アンビソニック（ＨＯＡ）係数の分解バージョン中に含まれるベクトルを表す１つ又は複数の重み値を決定するように構成された１つ又は複数のプロセッサとを備え、重み値の各々は、ベクトルを表すコードベクトルの重み付き和中に含まれる複数の重みのうちのそれぞれ１つに対応する。
[0011]別の態様では、装置は、ＨＯＡ係数の分解バージョンを生成するために複数の高次アンビソニック（ＨＯＡ）係数に関して分解を実施するための手段を備える。本装置は、コードベクトルのセットに基づいて、ＨＯＡ係数の分解バージョン中に含まれるベクトルを表す１つ又は複数の重み値を決定するための手段を更に備え、重み値の各々は、ベクトルを表すコードベクトルの重み付き和中に含まれる複数の重みのうちのそれぞれ１つに対応する。
[0012]別の態様では、非一時的コンピュータ可読記憶媒体は、実行されたとき、コードベクトルのセットに基づいて、複数の高次アンビソニック（ＨＯＡ）係数の分解バージョン中に含まれるベクトルを表す１つ又は複数の重み値を決定することを１つ又は複数のプロセッサに行わせる命令をその上に記憶しており、重み値の各々は、ベクトルを表すコードベクトルの重み付き和中に含まれる複数の重みのうちのそれぞれ１つに対応する。
[0013]別の態様では、複数の高次アンビソニック（ＨＯＡ）係数を示すオーディオデータを復号する方法であって、本方法は、複数のＨＯＡ係数の分解バージョンに関してベクトル逆量子化を実施すべきかスカラー逆量子化を実施すべきかを決定することを備える。
[0014]別の態様では、複数の高次アンビソニック（ＨＯＡ）係数を示すオーディオデータを復号するように構成された機器であって、本機器は、オーディオデータを記憶するように構成されたメモリと、複数のＨＯＡ係数の分解バージョンに関してベクトル逆量子化を実施すべきかスカラー逆量子化を実施すべきかを決定するように構成された１つ又は複数のプロセッサとを備える。
[0015]別の態様では、オーディオデータを符号化する方法であって、本方法は、複数の高次アンビソニック（ＨＯＡ）係数の分解バージョンに関してベクトル量子化を実施すべきかスカラー量子化を実施すべきかを決定することを備える。
[0016]別の態様では、オーディオデータを復号する方法であって、本方法は、音場のベクトル量子化空間成分に関してベクトル逆量子化を実施するときに使用すべき複数のコードブックのうちの１つを選択することを備え、ベクトル量子化空間成分は、複数の高次アンビソニック係数への分解の適用を通して取得される。
[0017]別の態様では、機器は、音場のベクトル量子化空間成分に関してベクトル逆量子化を実施するときに使用すべき複数のコードブックを記憶するように構成されたメモリと、ベクトル量子化空間成分が、複数の高次アンビソニック係数への分解の適用を通して取得される、複数のコードブックのうちの１つを選択するように構成された１つ又は複数のプロセッサとを備える。
[0018]別の態様では、機器音場のベクトル量子化空間成分に関してベクトル逆量子化を実施するときに使用すべき複数のコードブックを記憶するための手段と、ベクトル量子化空間成分が、複数の高次アンビソニック係数への分解の適用を通して取得される、複数のコードブックのうちの１つを選択するための手段とを備える。
[0019]別の態様では、非一時的コンピュータ可読記憶媒体は、実行されたとき、音場のベクトル量子化空間成分に関してベクトル逆量子化を実施するときに使用すべき複数のコードブックのうちの１つを選択することを１つ又は複数のプロセッサに行わせる命令をその上に記憶しており、ベクトル量子化空間成分は、複数の高次アンビソニック係数への分解の適用を通して取得される。
[0020]別の態様では、オーディオデータを符号化する方法であって、本方法は、音場の空間成分に関してベクトル量子化を実施するときに使用すべき複数のコードブックのうちの１つを選択することを備え、空間成分は、複数の高次アンビソニック係数への分解の適用を通して取得される。
[0021]別の態様では、機器は、音場の空間成分に関してベクトル量子化を実施するときに使用すべき複数のコードブックを記憶するように構成されたメモリを備え、空間成分は、複数の高次アンビソニック係数への分解の適用を通して取得される。機器はまた、複数のコードブックのうちの１つを選択するように構成された１つ又は複数のプロセッサを備える。
[0022]別の態様では、機器は、音場の空間成分に関してベクトル量子化を実施するときに使用すべき複数のコードブックを記憶するための手段と、空間成分が、複数の高次アンビソニック係数へのベクトルベースの合成の適用を通して取得される、複数のコードブックのうちの１つを選択するための手段とを備える。
[0023]別の態様では、非一時的コンピュータ可読記憶媒体は、実行されたとき、音場の空間成分に関してベクトル量子化を実施するときに使用すべき複数のコードブックのうちの１つを選択することを１つ又は複数のプロセッサに行わせる命令をその上に記憶しており、空間成分は、複数の高次アンビソニック係数へのベクトルベースの合成の適用を通して取得される。
[0024]本技法の１つ又は複数の態様の詳細は、添付の図面及び以下の説明に記載される。本技法の他の特徴、目的、及び利点は、説明及び図面から、ならびに特許請求の範囲から明らかになろう。
[0001]概して、コードベクトルのセットに基づいて分解された高次アンビソニックス（ＨＯＡ）オーディオ信号の（関連するオーディオオブジェクトの、幅、形状、方向及び位置などの空間情報を表し得る）ｖベクトルを効率的に表すための技法について説明する。本技法は、ｖベクトルをコードベクトルの重み付き和に分解することと、複数の重み及び対応するコードベクトルのサブセットを選択することと、重みの選択されたサブセットを量子化することと、コードベクトルの選択されたサブセットをインデックス付けすることとを伴い得る。本技法は、ＨＯＡオーディオ信号をコード化するためのビットレートの改善を提供し得る。
[0002]サラウンドサウンドの発展は、現今では娯楽のための多くの出力フォーマットを利用可能にしている。そのような消費者向けのサラウンドサウンドフォーマットの例は、幾つかの幾何学的座標にあるラウドスピーカへのフィードを暗黙的に指定するという点で、大半が「チャネル」ベースである。消費者向けのサラウンドサウンドフォーマットは、普及している５．１フォーマット（これは、次の６つのチャネル、即ち、フロントレフト（ＦＬ）と、フロントライト（ＦＲ）と、センタ又はフロントセンタと、バックレフト又はサラウンドレフトと、バックライト又はサラウンドライトと、低周波効果（ＬＦＥ）とを含む）、発展中の７．１フォーマット、７．１．４フォーマット及び２２．２フォーマット（例えば、超高精細度テレビジョン規格とともに使用するための）などのハイトスピーカを含む様々なフォーマットを含む。消費者向けではないフォーマットは、「サラウンドアレイ」としばしば呼ばれる（対称な、及び非対称な幾何学的配置の）任意の数のスピーカに及び得る。そのようなアレイの一例は、切頂２０面体の角の座標に配置された３２個のラウドスピーカを含む。
[0003]将来のＭＰＥＧエンコーダへの入力は、場合によっては、次の３つの可能なフォーマット、即ち、（ｉ）予め指定された位置においてラウドスピーカを通じて再生されることが意図される、（上記で説明した）従来のチャネルベースオーディオ、（ｉｉ）（情報の中でも）位置座標を含んでいる関連するメタデータをもつ単一オーディオオブジェクトのための離散的なパルス符号変調（ＰＣＭ）データを伴うオブジェクトベースオーディオ、並びに（ｉｉｉ）球面調和基底関数の係数（「球面調和係数」即ちＳＨＣ、「高次アンビソニックス」即ちＨＯＡ、及び「ＨＯＡ係数」とも呼ばれる）を使用して音場を表すことを伴うシーンベースオーディオのうちの１つである。将来のＭＰＥＧエンコーダは、２０１３年１月にスイスのジュネーブで発表された、ｈｔｔｐ：／／ｍｐｅｇ．ｃｈｉａｒｉｇｌｉｏｎｅ．ｏｒｇ／ｓｉｔｅｓ／ｄｅｆａｕｌｔ／ｆｉｌｅｓ／ｆｉｌｅｓ／ｓｔａｎｄａｒｄｓ／ｐａｒｔｓ／ｄｏｃｓ／ｗ１３４１１．ｚｉｐにおいて入手可能な、国際標準化機構／国際電気標準会議（ＩＳＯ）／（ＩＥＣ）ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ１３４１１による「Ｃａｌｌ ｆｏｒ Ｐｒｏｐｏｓａｌｓ ｆｏｒ ３Ｄ Ａｕｄｉｏ」と題する文書においてより詳細に説明され得る。
[0004]市場には様々な「サラウンドサウンド」チャネルベースフォーマットがある。これらのフォーマットは、例えば、５．１ホームシアタシステム（リビングルームに進出するという点でステレオ以上に最も成功した）からＮＨＫ（Ｎｉｐｐｏｎ Ｈｏｓｏ Ｋｙｏｋａｉ即ち日本放送協会）によって開発された２２．２システムに及ぶ。コンテンツ作成者（例えば、ハリウッドスタジオ）は、一度に映画のサウンドトラックを作成することを望み、各スピーカ構成のためにサウンドトラックをリミックスする努力を行うことを望まない。最近では、規格開発組織が、規格化されたビットストリームへの符号化と、スピーカの幾何学的配置（と数）及び（レンダラを伴う）再生の位置における音響条件に適応可能でありそれらにアグノスティックな後続の復号とを提供するための方法を考えている。
[0005]コンテンツ作成者にそのような柔軟性を提供するために、音場を表すための要素の階層セットが使用され得る。要素の階層セットは、モデル化された音場の完全な表現をより低次の要素の基本セットが提供するように要素が順序付けられる、要素のセットを指し得る。セットがより高次の要素を含むように拡張されると、表現はより詳細になり、分解能は向上する。
[0006]要素の階層セットの一例は、球面調和係数（ＳＨＣ）のセットである。次の式は、ＳＨＣを使用する音場の記述又は表現を示す。
[0008]図１は、０次（ｎ＝０）から４次（ｎ＝４）までの球面調和基底関数を示す図である。理解できるように、各次数について、説明を簡単にするために図示されているが図１の例では明示的に示されていない副次数ｍの拡張が存在する。
又は代替的に、それらは音場のチャネルベース又はオブジェクトベースの記述から導出され得る。ＳＨＣはシーンベースのオーディオを表し、ここで、ＳＨＣは、より効率的な送信又は記憶を促し得る符号化されたＳＨＣを取得するために、オーディオエンコーダに入力され得る。例えば、（１＋４）2個の（２５個の、従って４次の）係数を伴う４次表現が使用され得る。
[0010]上述したように、ＳＨＣは、マイクロフォンアレイを使用するマイクロフォン記録から導出され得る。ＳＨＣがマイクロフォンアレイからどのように導出され得るかの様々な例は、Ｐｏｌｅｔｔｉ，Ｍ、「Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｓｕｒｒｏｕｎｄ Ｓｏｕｎｄ Ｓｙｓｔｅｍｓ Ｂａｓｅｄ ｏｎ Ｓｐｈｅｒｉｃａｌ Ｈａｒｍｏｎｉｃｓ」、Ｊ．Ａｕｄｉｏ Ｅｎｇ． Ｓｏｃ．、Ｖｏｌ． ５３、Ｎｏ． １１、２００５年１１月、１００４〜１０２５ページに記載されている。
[0011]ＳＨＣがどのようにオブジェクトベースの記述から導出され得るかを示すために、
残りの図について、オブジェクトベース及びＳＨＣベースのオーディオコード化のコンテキストにおいて以下で説明する。
[0012]図２は、本開示で説明する技法の様々な態様を実施し得るシステム１０を示す図である。図２の例に示されているように、システム１０は、コンテンツ作成者機器１２と、コンテンツ消費者機器１４とを含む。コンテンツ作成者機器１２及びコンテンツ消費者機器１４のコンテキストで説明されているが、本技法は、オーディオデータを表すビットストリームを形成するために、（ＨＯＡ係数とも呼ばれ得る）ＳＨＣ又は音場の任意の他の階層的表現が符号化される任意のコンテキストで実装され得る。その上、コンテンツ作成者機器１２は、幾つか例を挙げると、ハンドセット（又はセルラーフォン）、タブレットコンピュータ、スマートフォン、又はデスクトップコンピュータを含む、本開示で説明する技法を実装することが可能な任意の形態のコンピューティング機器を表し得る。同様に、コンテンツ消費者機器１４は、幾つか例を挙げると、ハンドセット（又はセルラーフォン）、タブレットコンピュータ、スマートフォン、セットトップボックス、又はデスクトップコンピュータを含む、本開示で説明する技法を実装することが可能な任意の形態のコンピューティング機器を表し得る。
[0013]コンテンツ作成者機器１２は、コンテンツ消費者機器１４などのコンテンツ消費者機器のオペレータによる消費のためのマルチチャネルオーディオコンテンツを生成し得る、映画スタジオ又は他のエンティティによって操作され得る。幾つかの例では、コンテンツ作成者機器１２は、ＨＯＡ係数１１を圧縮することを望み得る個人ユーザによって操作され得る。多くの場合、コンテンツ作成者は、ビデオコンテンツとともにオーディオコンテンツを生成する。コンテンツ消費者機器１４は個人によって操作され得る。コンテンツ消費者機器１４は、マルチチャネルオーディオコンテンツとしての再生のためにＳＨＣをレンダリングすることが可能な任意の形態のオーディオ再生システムを指し得る、オーディオ再生システム１６を含み得る。
[0014]コンテンツ作成者機器１２はオーディオ編集システム１８を含む。コンテンツ作成者機器１２は、（ＨＯＡ係数として直接含む）様々なフォーマットのライブ記録７とオーディオオブジェクト９とを取得し、コンテンツ作成者機器１２は、オーディオ編集システム１８を使用してこれらを編集し得る。マイクロフォン５はライブ記録７を取込み得る。コンテンツ作成者は、編集プロセス中に、オーディオオブジェクト９からのＨＯＡ係数１１をレンダリングし、更なる編集を必要とする音場の様々な様相を識別しようとしてレンダリングされたスピーカフィードを聞き得る。コンテンツ作成者機器１２は、次いで、（潜在的に、上記で説明した方法でソースＨＯＡ係数がそれから導出され得るオーディオオブジェクト９のうちの様々なオブジェクトの操作を通じて間接的に）ＨＯＡ係数１１を編集し得る。コンテンツ作成者機器１２は、ＨＯＡ係数１１を生成するためにオーディオ編集システム１８を採用し得る。オーディオ編集システム１８は、オーディオデータを編集し、このオーディオデータを１つ又は複数のソース球面調和係数として出力することが可能な任意のシステムを表す。
[0015]編集プロセスが完了すると、コンテンツ作成者機器１２は、ＨＯＡ係数１１に基づいてビットストリーム２１を生成し得る。即ち、コンテンツ作成者機器１２は、ビットストリーム２１を生成するために、本開示で説明する技法の様々な態様に従って、ＨＯＡ係数１１を符号化又はさもなければ圧縮するように構成された機器を表す、オーディオ符号化機器２０を含む。オーディオ符号化機器２０は、一例として、ワイヤード又はワイヤレスチャネル、データ記憶機器などであり得る送信チャネルを介した送信のために、ビットストリーム２１を生成し得る。ビットストリーム２１は、ＨＯＡ係数１１の符号化バージョンを表し得、主要ビットストリームと、サイドチャネル情報と呼ばれることがある別のサイドビットストリームとを含み得る。
[0016]図２では、コンテンツ消費者機器１４に直接送信されるものとして示されているが、コンテンツ作成者機器１２は、コンテンツ作成者機器１２とコンテンツ消費者機器１４との間に配置された中間機器にビットストリーム２１を出力し得る。中間機器は、ビットストリームを要求し得るコンテンツ消費者機器１４に後で配信するために、ビットストリーム２１を記憶し得る。中間機器は、ファイルサーバ、ウェブサーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、モバイルフォン、スマートフォン又は後でのオーディオデコーダによる取出しのためにビットストリーム２１を記憶することが可能な任意の他の機器を備え得る。中間機器は、ビットストリーム２１を要求するコンテンツ消費者機器１４などの加入者にビットストリーム２１を（場合によっては対応するビデオデータビットストリームを送信するとともに）ストリーミングすることが可能なコンテンツ配信ネットワーク内に存在し得る。
[0017]代替的に、コンテンツ作成者機器１２は、コンパクトディスク、デジタルビデオディスク、高精細度ビデオディスク又は他の記憶媒体などの記憶媒体にビットストリーム２１を記憶し得、記憶媒体の大部分はコンピュータによって読み取り可能であり、従って、コンピュータ可読記憶媒体又は非一時的コンピュータ可読記憶媒体と呼ばれることがある。このコンテキストでは、送信チャネルは、これらの媒体に記憶されたコンテンツが送信されるチャネルを指すことがある（及び小売店と他の店舗ベースの配信機構とを含み得る）。従って、いずれにしても、本開示の技法は、この点に関して図２の例に限定されるべきではない。
[0018]図２の例に更に示されているように、コンテンツ消費者機器１４はオーディオ再生システム１６を含む。オーディオ再生システム１６は、マルチチャネルオーディオデータを再生することが可能な任意のオーディオ再生システムを表し得る。オーディオ再生システム１６は、幾つかの異なるレンダラ２２を含み得る。レンダラ２２はそれぞれ、異なる形態のレンダリングを提供し得、ここで、異なる形態のレンダリングは、ベクトルベース振幅パンニング（ＶＢＡＰ：vector-base amplitude panning）を実施する様々な方法のうちの１つ又は複数、及び／又は音場合成を実施する様々な方法のうちの１つ以上を含み得る。本明細書で使用する「Ａ及び／又はＢ」は、「Ａ又はＢ」、又は「ＡとＢ」の両方を意味する。
[0019]オーディオ再生システム１６は、オーディオ復号機器２４を更に含み得る。オーディオ復号機器２４は、ビットストリーム２１からＨＯＡ係数１１’を復号するように構成された機器を表し得、ここで、ＨＯＡ係数１１’は、ＨＯＡ係数１１と同様であり得るが、損失のある演算（例えば、量子化）及び／又は送信チャネルを介した送信に起因して異なり得る。オーディオ再生システム１６は、ＨＯＡ係数１１’を取得するためにビットストリーム２１を復号した後に、ラウドスピーカフィード２５を出力するためにＨＯＡ係数１１’をレンダリングし得る。ラウドスピーカフィード２５は、（説明を簡単にするために図２の例には示されていない）１つ又は複数のラウドスピーカを駆動し得る。
[0020]適切なレンダラを選択するために、又は幾つかの事例では、適切なレンダラを生成するために、オーディオ再生システム１６は、ラウドスピーカの数及び／又はラウドスピーカの空間的な幾何学的配置を示すラウドスピーカ情報１３を取得し得る。幾つかの事例では、オーディオ再生システム１６は、基準マイクロフォンを使用してラウドスピーカ情報１３を取得し、ラウドスピーカ情報１３を動的に決定するような方法でラウドスピーカを駆動し得る。他の事例では、又はラウドスピーカ情報１３の動的決定とともに、オーディオ再生システム１６は、オーディオ再生システム１６とインターフェースをとりラウドスピーカ情報１３を入力するようにユーザに促し得る。
[0021]オーディオ再生システム１６は、次いで、ラウドスピーカ情報１３に基づいてオーディオレンダラ２２のうちの１つを選択し得る。幾つかの事例では、オーディオ再生システム１６は、オーディオレンダラ２２のいずれもが、ラウドスピーカ情報１３において指定されたラウドスピーカ幾何学的配置に対して（ラウドスピーカ幾何学的配置に関する）何らかの閾値類似性測度内にないとき、ラウドスピーカ情報１３に基づいてオーディオレンダラ２２のうちの１つを生成し得る。オーディオ再生システム１６は、幾つかの事例では、オーディオレンダラ２２のうちの既存の１つを選択することを最初に試みることなく、ラウドスピーカ情報１３に基づいてオーディオレンダラ２２のうちの１つを生成し得る。１つ又は複数のスピーカ３は、次いで、レンダリングされたラウドスピーカフィード２５を再生し得る。
[0022]図３Ａは、本開示で説明する技法の様々な態様を実施し得る、図２の例に示されたオーディオ符号化機器２０の一例をより詳細に示すブロック図である。オーディオ符号化機器２０は、コンテンツ分析ユニット２６と、ベクトルベース分解ユニット２７と、方向ベース分解ユニット２８とを含む。以下で手短に説明するが、オーディオ符号化機器２０に関するより多くの情報、及びＨＯＡ係数を圧縮又はさもなければ符号化する様々な態様は、２０１４年５月２９に出願された「ＩＮＴＥＲＰＯＬＡＴＩＯＮ ＦＯＲ ＤＥＣＯＭＰＯＳＥＤ ＲＥＰＲＥＳＥＮＴＡＴＩＯＮＳ ＯＦ Ａ ＳＯＵＮＤ ＦＩＥＬＤ」と題する国際特許出願公開第ＷＯ２０１４／１９４０９９号において入手可能である。
[0023]コンテンツ分析ユニット２６は、ＨＯＡ係数１１がライブ記録から生成されたコンテンツを表すか、オーディオオブジェクトから生成されたコンテンツを表すかを識別するために、ＨＯＡ係数１１のコンテンツを分析するように構成されたユニットを表す。コンテンツ分析ユニット２６は、ＨＯＡ係数１１が実際の音場の記録から生成されたか人工的なオーディオオブジェクトから生成されたかを決定し得る。幾つかの事例では、フレーム化されたＨＯＡ係数１１が記録から生成されたとき、コンテンツ分析ユニット２６は、ＨＯＡ係数１１をベクトルベース分解ユニット２７に渡す。幾つかの事例では、フレーム化されたＨＯＡ係数１１が合成オーディオオブジェクトから生成されたとき、コンテンツ分析ユニット２６は、ＨＯＡ係数１１を方向ベース合成ユニット２８に渡す。方向ベース合成ユニット２８は、方向ベースビットストリーム２１を生成するためにＨＯＡ係数１１の方向ベース合成を実施するように構成されたユニットを表し得る。
[0024]図３Ａの例に示されているように、ベクトルベース分解ユニット２７は、線形可逆変換（ＬＩＴ）ユニット３０と、パラメータ計算ユニット３２と、並べ替えユニット３４と、フォアグラウンド選択ユニット３６と、エネルギー補償ユニット３８と、心理音響オーディオコーダユニット４０と、ビットストリーム生成ユニット４２と、音場分析ユニット４４と、係数低減ユニット４６と、バックグラウンド（ＢＧ）選択ユニット４８と、空間時間的補間ユニット５０と、Ｖベクトルコード化ユニット５２とを含み得る。
[0025]線形可逆変換（ＬＩＴ）ユニット３０は、ＨＯＡチャネルの形態でＨＯＡ係数１１を受信し、各チャネルは、球面基底関数の所与の次数、副次数に関連する係数（ＨＯＡ［ｋ］と示され得、ここで、ｋはサンプルの現在のフレーム又はブロックを示し得る）のブロック又はフレームを表す。ＨＯＡ係数１１の行列は、次元Ｄ：Ｍ×（Ｎ＋１）2を有し得る。
[0026]ＬＩＴユニット３０は、特異値分解と呼ばれる形態の分析を実施するように構成されたユニットを表し得る。ＳＶＤに関して説明するが、本開示で説明する技法は、線形的に無相関な、エネルギー圧縮された出力のセットを提供する任意の同様の変換又は分解に対して実施され得る。また、本開示における「セット」への言及は、概して、別段に特に明記されていない限り、非０のセットを指すものであり、所謂「空集合」を含む集合の古典的な数学的定義を指すことは意図されない。代替的な変換は、「ＰＣＡ」としばしば呼ばれる、主成分分析を備え得る。コンテキストに応じて、ＰＣＡは、幾つかの例を挙げれば、離散カルーネンレーベ変換、ホテリング変換、固有直交分解（ＰＯＤ）、及び固有値分解（ＥＶＤ）など、幾つかの異なる名前によって呼ばれることがある。オーディオデータを圧縮するという背後にある目標につながるそのような演算の特性は、マルチチャネルオーディオデータの「エネルギー圧縮」及び「無相関化」である。
[0027]いずれにしても、ＬＩＴユニット３０が、例として、特異値分解（やはり「ＳＶＤ」と呼ばれることがある）を実施すると仮定すると、ＬＩＴユニット３０は、ＨＯＡ係数１１を、変換されたＨＯＡ係数の２つ以上のセットに変換し得る。変換されたＨＯＡ係数の「セット」は、変換されたＨＯＡ係数のベクトルを含み得る。図３Ａの例では、ＬＩＴユニット３０は、所謂Ｖ行列と、Ｓ行列と、Ｕ行列とを生成するために、ＨＯＡ係数１１に関してＳＶＤを実施し得る。ＳＶＤは、線形代数学では、ｙ×ｚの実行列又は複素行列Ｘ（ここで、Ｘは、ＨＯＡ係数１１などのマルチチャネルオーディオデータを表し得る）の因数分解を以下の形式で表し得る。
Ｘ＝ＵＳＡ＊
Ｕはｙ×ｙの実ユニタリー行列又は複素ユニタリー行列を表し得、ここで、Ｕのｙ個の列は、マルチチャネルオーディオデータの左特異ベクトルとして知られる。Ｓは、対角線上に非負実数をもつｙ×ｚの矩形対角行列を表し得、ここで、Ｓの対角線値は、マルチチャネルオーディオデータの特異値として知られる。Ｖ＊（Ｖの共役転置を示し得る）は、ｚ×ｚの実ユニタリー行列又は複素ユニタリー行列を表し得、ここで、Ｖ＊のｚ個の列は、マルチチャネルオーディオデータの右特異ベクトルとして知られる。
Ｕはｙ×ｙの実ユニタリー行列又は複素ユニタリー行列を表し得、ここで、Ｕのｙ個の列は、マルチチャネルオーディオデータの左特異ベクトルとして知られる。Ｓは、対角線上に非負実数をもつｙ×ｚの矩形対角行列を表し得、ここで、Ｓの対角線値は、マルチチャネルオーディオデータの特異値として知られる。Ｖ＊（Ｖの共役転置を示し得る）は、ｚ×ｚの実ユニタリー行列又は複素ユニタリー行列を表し得、ここで、Ｖ＊のｚ個の列は、マルチチャネルオーディオデータの右特異ベクトルとして知られる。
[0028]幾つかの例では、上で参照されたＳＶＤ数式中のＶ＊行列は、複素数を備える行列にＳＶＤが適用され得ることを反映するために、Ｖ行列の共役転置行列として示される。実数のみを備える行列に適用されるとき、Ｖ行列の複素共役（即ち、言い換えれば、Ｖ＊行列）は、Ｖ行列の転置であると見なされ得る。以下では、説明を簡単にするために、ＨＯＡ係数１１が実数を備え、その結果、Ｖ＊行列ではなくＶ行列がＳＶＤによって出力されると仮定される。その上、本開示ではＶ行列として示されるが、Ｖ行列への言及は、適切な場合にはＶ行列の転置を指すものとして理解されるべきである。Ｖ行列であると仮定されているが、本技法は、同様の方式で、複素係数を有するＨＯＡ係数１１に適用され得、ここで、ＳＶＤの出力はＶ＊行列である。従って、本技法は、この点について、Ｖ行列を生成するためにＳＶＤの適用を提供することのみに限定されるべきではなく、Ｖ＊行列を生成するために複素成分を有するＨＯＡ係数１１へのＳＶＤの適用を含み得る。
[0029]このようにして、ＬＩＴユニット３０は、次元Ｄ：Ｍ×（Ｎ＋１）2を有する（ＳベクトルとＵベクトルとの組み合わされたバージョンを表し得る）ＵＳ［ｋ］ベクトル３３と、次元Ｄ：（Ｎ＋１）2×（Ｎ＋１）2を有するＶ［ｋ］ベクトル３５とを出力するために、ＨＯＡ係数１１に関してＳＶＤを実施し得る。ＵＳ［ｋ］行列中の個々のベクトル要素はＸps（ｋ）と呼ばれることもあり、一方、Ｖ［ｋ］行列の個々のベクトルはｖ（ｋ）と呼ばれることもある。
[0030]Ｕ行列、Ｓ行列及びＶ行列の分析は、それらの行列が、Ｘによって上で表された基礎をなす音場の空間的及び時間的特性を伝えるか又は表すということを明らかにし得る。（Ｍ個のサンプルの長さの）Ｕの中のＮ個のベクトルの各々は、（Ｍ個のサンプルによって表される時間期間の間は）時間の関数として、互いに直交しておりあらゆる空間特性（方向情報とも呼ばれ得る）とは切り離されている、正規化された分離されたオーディオ信号を表し得る。空間的形状及び位置（ｒ、θ、φ）を表す空間特性は、代わりに、（各々が（Ｎ＋１）2の長さの）Ｖ行列中の個々のｉ番目のベクトル、ｖ(i)（ｋ）によって表され得る。ｖ(i)（ｋ）ベクトルの各々の個々の要素は、関連するオーディオオブジェクトについての音場の（幅を含む）形状と位置とを記述するＨＯＡ係数を表し得る。Ｕ行列中のベクトルとＶ行列中のベクトルの両方が、それらの２乗平均平方根のエネルギーが１に等しくなるように正規化される。従って、Ｕの中のオーディオ信号のエネルギーは、Ｓの中の対角線上の要素によって表される。ＵとＳを乗算して（個々のベクトル要素ＸPS（ｋ）をもつ）ＵＳ［ｋ］を形成することで、エネルギーをもつオーディオ信号が表される。（Ｕにおける）オーディオ時間信号と、（Ｓにおける）それらのエネルギーと、（Ｖにおける）それらの空間的特性とを切り離すＳＶＤ分解の能力は、本開示で説明する技法の様々な態様を支援し得る。更に、基礎をなすＨＯＡ［ｋ］係数ＸをＵＳ［ｋ］とＶ［ｋ］とのベクトル乗算によって合成するモデルは、本明細書全体にわたって使用される「ベクトルベース分解」という用語を生じさせる。
[0031]ＨＯＡ係数１１に関して直接実施されるものとして説明するが、ＬＩＴユニット３０は、線形可逆変換をＨＯＡ係数１１の派生物に適用し得る。例えば、ＬＩＴユニット３０は、ＨＯＡ係数１１から導出された電力スペクトル密度行列に関してＳＶＤを適用し得る。ＨＯＡ係数自体ではなくＨＯＡ係数の電力スペクトル密度（ＰＳＤ）に関してＳＶＤを実施することによって、ＬＩＴユニット３０は、場合によっては、プロセッササイクルと記憶空間とのうちの１つ又は複数に関してＳＶＤを実施することの計算複雑さを低減しつつ、ＳＶＤがＨＯＡ係数に直接適用されたかのように同じソースオーディオ符号化効率を達成し得る。
[0032]パラメータ計算ユニット３２は、相関パラメータ（Ｒ）、方向特性パラメータ（θ、φ、ｒ）、及びエネルギー特性（ｅ）など、様々なパラメータを計算するように構成されたユニットを表す。現在のフレームのためのパラメータの各々は、Ｒ［ｋ］、θ［ｋ］、φ［ｋ］、ｒ［ｋ］及びｅ［ｋ］として示され得る。パラメータ計算ユニット３２は、パラメータを識別するために、ＵＳ［ｋ］ベクトル３３に関してエネルギー分析及び／又は相関（もしくは所謂相互相関）を実施し得る。パラメータ計算ユニット３２はまた、前のフレームのためのパラメータを決定し得、ここで、前のフレームパラメータは、ＵＳ［ｋ−１］ベクトル及びＶ［ｋ−１］ベクトルの、前のフレームに基づいて、Ｒ［ｋ−１］、θ［ｋ−１］、φ［ｋ−１］、ｒ［ｋ−１］及びｅ［ｋ−１］と示され得る。パラメータ計算ユニット３２は、現在のパラメータ３７と前のパラメータ３９とを並べ替えユニット３４に出力し得る。
[0033]パラメータ計算ユニット３２によって計算されるパラメータは、オーディオオブジェクトの自然な評価又は時間的な継続性を表すようにオーディオオブジェクトを並べ替えるために、並べ替えユニット３４によって使用され得る。並べ替えユニット３４は、第１のＵＳ［ｋ］ベクトル３３からのパラメータ３７の各々を、第２のＵＳ［ｋ−１］ベクトル３３のためのパラメータ３９の各々に対して順番ごとに比較し得る。
[0034]音場分析ユニット４４は、ターゲットビットレート４１を潜在的に達成するために、ＨＯＡ係数１１に関して音場分析を実施するように構成されたユニットを表し得る。音場分析ユニット４４は、その分析及び／又は受信されたターゲットビットレート４１に基づいて、心理音響コーダのインスタンス化の総数（環境又はバックグラウンドチャネルの総数（ＢＧTOT）と、フォアグラウンドチャネル、又は言い換えれば支配チャネルの数との関数であり得ることを決定し得る。心理音響コーダのインスタンス化の総数は、ｎｕｍＨＯＡＴｒａｎｓｐｏｒｔＣｈａｎｎｅｌｓとして示され得る。
[0035]音場分析ユニット４４はまた、やはりターゲットビットレート４１を潜在的に達成するために、フォアグラウンドチャネルの総数（ｎＦＧ）４５と、バックグラウンド（又は言い換えれば環境的な）音場の最小次数（ＮBG、又は代替的にＭｉｎＡｍｂＨＯＡｏｒｄｅｒ）と、バックグラウンド音場の最小次数を表す実際のチャネルの対応する数（ｎＢＧａ＝（ＭｉｎＡｍｂＨＯＡｏｒｄｅｒ＋１）2）と、送るべき追加のＢＧ ＨＯＡチャネルのインデックス（ｉ）（図３Ａの例ではバックグラウンドチャネル情報４３として総称的に示され得る）とを決定し得る。バックグラウンドチャネル情報４２は環境チャネル情報４３と呼ばれることもある。ｎｕｍＨＯＡＴｒａｎｓｐｏｒｔＣｈａｎｎｅｌｓ−ｎＢＧａにないチャネルの各々は、「追加のバックグラウンド／環境チャネル」、「アクティブなベクトルベースの支配的チャネル」、「アクティブな方向ベースの支配的信号」又は「完全に非アクティブ」のいずれかであり得る。一態様では、チャネルタイプは、２ビットによって（「ＣｈａｎｎｅｌＴｙｐｅ」として）示されたシンタックス要素であり得る（例えば、００：方向ベースの信号、０１：ベクトルベースの支配的信号、１０：追加の環境信号、１１：非アクティブな信号）。バックグラウンド信号又は環境信号の総数、ｎＢＧａは、（ＭｉｎＡｍｂＨＯＡｏｒｄｅｒ＋１）2＋（上記の例における）インデックス１０がそのフレームのためのビットストリームにおいてチャネルタイプとして現れる回数によって与えられ得る。
[0036]音場分析ユニット４４は、ターゲットビットレート４１に基づいて、バックグラウンド（又は言い換えれば環境）チャネルの数と、フォアグラウンド（又は言い換えれば支配的）チャネルの数とを選択し、ターゲットビットレート４１が比較的高いとき（例えば、ターゲットビットレート４１が５１２Ｋｂｐｓ以上であるとき）はより多くのバックグラウンドチャネル及び／又はフォアグラウンドチャネルを選択し得る。一態様では、ビットストリームのヘッダセクションにおいて、ｎｕｍＨＯＡＴｒａｎｓｐｏｒｔＣｈａｎｎｅｌｓは８に設定され得るが、一方で、ＭｉｎＡｍｂＨＯＡｏｒｄｅｒは１に設定され得る。このシナリオでは、各フレームにおいて、音場のバックグラウンド部分又は環境部分を表すために４つのチャネルが確保され得るが、一方で、他の４つのチャネルは、フレームごとに、チャネルのタイプに応じて変化することができ、例えば、追加のバックグラウンド／環境チャネル又はフォアグラウンド／支配的チャネルのいずれかとして使用され得る。フォアグラウンド／支配的信号は、上記で説明したように、ベクトルベースの信号又は方向ベースの信号のいずれか１つであり得る。
[0037]幾つかの事例では、フレームのためのベクトルベースの支配的信号の総数は、そのフレームのビットストリームにおいてＣｈａｎｎｅｌＴｙｐｅインデックスが０１である回数によって与えられ得る。上記の態様では、（例えば、１０のＣｈａｎｎｅｌＴｙｐｅに対応する）追加のバックグラウンド／環境チャネルごとに、（最初の４つ以外の）可能なＨＯＡ係数のうちのどれがそのチャネルにおいて表され得るかの対応する情報。その情報は、４次ＨＯＡコンテンツについては、ＨＯＡ係数５〜２５を示すためのインデックスであり得る。最初の４つの環境ＨＯＡ係数１〜４は、ｍｉｎＡｍｂＨＯＡｏｒｄｅｒが１に設定されるときは常に送られ得、従って、オーディオ符号化機器は、５〜２５のインデックスを有する追加の環境ＨＯＡ係数のうちの１つを示すことのみが必要であり得る。その情報は従って、「ＣｏｄｅｄＡｍｂＣｏｅｆｆＩｄｘ」として示され得る、（４次コンテンツのための）５ビットのシンタックス要素を使用して送られ得る。いずれの場合も、音場分析ユニット４４は、バックグラウンドチャネル情報４３とＨＯＡ係数１１とをバックグラウンド（ＢＧ）選択ユニット３６に、バックグラウンドチャネル情報４３を係数低減ユニット４６及びビットストリーム生成ユニット４２に、ならびにｎＦＧ４５をフォアグラウンド選択ユニット３６に出力する。
[0038]バックグラウンド選択ユニット４８は、バックグラウンドチャネル情報（例えば、バックグラウンド音場（ＮBG）と、送信すべき追加のＢＧ ＨＯＡチャネルの数（ｎＢＧａ）及びインデックス（ｉ））に基づいてバックグラウンド又は環境ＨＯＡ係数４７を決定するように構成されたユニットを表し得る。例えば、ＮBGが１に等しいとき、バックグラウンド選択ユニット４８は、１以下の次数を有するオーディオフレームの各サンプルのＨＯＡ係数１１を選択し得る。バックグラウンド選択ユニット４８は次いで、この例では、インデックス（ｉ）のうちの１つによって識別されるインデックスを有するＨＯＡ係数１１を、追加のＢＧ ＨＯＡ係数として選択し得、ここで、ｎＢＧａは、図４Ａ及び図４Ｂの例に示されているオーディオ復号機器２４などのオーディオ復号機器がビットストリーム２１からバックグラウンドＨＯＡ係数４７を構文解析(parse)することを可能にするために、ビットストリーム２１において指定されるために、ビットストリーム生成ユニット４２に提供される。バックグラウンド選択ユニット４８は次いで、環境ＨＯＡ係数４７をエネルギー補償ユニット３８に出力し得る。環境ＨＯＡ係数４７は、次元Ｄ：Ｍ×［（ＮBG＋１）2＋ｎＢＧａ］を有し得る。環境ＨＯＡ係数４７はまた、「環境ＨＯＡ係数４７」と呼ばれることもあり、ここで、環境ＨＯＡ係数４７の各々は、心理音響オーディオコーダユニット４０によって符号化されるべき別個の環境ＨＯＡチャネル４７に対応する。
[0039]フォアグラウンド選択ユニット３６は、（フォアグラウンドベクトルを識別する１つ又は複数のインデックスを表し得る）ｎＦＧ４５に基づいて、音場のフォアグラウンド成分又は明確な成分を表す、並べ替えられたＵＳ［ｋ］行列３３’と、並べ替えられたＶ［ｋ］行列３５’とを選択するように構成されたユニットを表し得る。
[0040]エネルギー補償ユニット３８は、バックグラウンド選択ユニット４８によるＨＯＡチャネルの様々なチャネルの除去によるエネルギー損失を補償するために、環境ＨＯＡ係数４７に関してエネルギー補償を実施するように構成されたユニットを表し得る。エネルギー補償ユニット３８は、並べ替えられたＵＳ［ｋ］行列３３’、並べ替えられたＶ［ｋ］行列３５’、ｎＦＧ信号４９、フォアグラウンドＶ［ｋ］ベクトル５１k及び環境ＨＯＡ係数４７のうちの１つ又は複数に関してエネルギー分析を実施し、次いで、エネルギー補償された環境ＨＯＡ係数４７’を生成するためにそのエネルギー分析に基づいてエネルギー補償を実施し得る。エネルギー補償ユニット３８は、エネルギー補償された環境ＨＯＡ係数４７’を心理音響オーディオコーダユニット４０に出力し得る。
[0041]空間時間的補間ユニット５０は、ｋ番目のフレームのためのフォアグラウンドＶ［ｋ］ベクトル５１kと、前のフレームのための（従ってｋ−１という表記である）フォアグラウンドＶ［ｋ−１］ベクトル５１k-1とを受信し、補間されたフォアグラウンドＶ［ｋ］ベクトルを生成するために空間時間的補間を実施するように構成されたユニットを表し得る。空間時間的補間ユニット５０は、並べ替えられたフォアグラウンドＨＯＡ係数を復元するために、ｎＦＧ信号４９をフォアグラウンドＶ［ｋ］ベクトル５１kと再び組み合わせ得る。空間時間的補間ユニット５０は、次いで、補間されたｎＦＧ信号４９’を生成するために、補間されたＶ［ｋ］ベクトルによって、並べ替えられたフォアグラウンドＨＯＡ係数を分割し得る。空間時間的補間ユニット５０はまた、オーディオ復号機器２４などのオーディオ復号機器が補間されたフォアグラウンドＶ［ｋ］ベクトルを生成しそれによってフォアグラウンドＶ［ｋ］ベクトル５１kを復元し得るように、補間されたフォアグラウンドＶ［ｋ］ベクトルを生成するために使用されたフォアグラウンドＶ［ｋ］ベクトル５１kを出力し得る。補間されたフォアグラウンドＶ［ｋ］ベクトルを生成するために使用されたフォアグラウンドＶ［ｋ］ベクトル５１kは、残りのフォアグラウンドＶ［ｋ］ベクトル５３として示される。同じＶ［ｋ］及びＶ［ｋ−１］がエンコーダ及びデコーダにおいて（補間されたベクトルＶ［ｋ］を作成するために）使用されることを保証するために、ベクトルの量子化／逆量子化されたバージョンがエンコーダ及びデコーダにおいて使用され得る。空間時間的補間ユニット５０は、補間されたｎＦＧ信号４９’を心理音響オーディオコーダユニット４６に、及び補間されたフォアグラウンドＶ［ｋ］ベクトル５１kを係数低減ユニット４６に出力し得る。
[0042]係数低減ユニット４６は、低減されたフォアグラウンドＶ［ｋ］ベクトル５５をＶベクトルコード化ユニット５２に出力するために、バックグラウンドチャネル情報４３に基づいて残りのフォアグラウンドＶ［ｋ］ベクトル５３に関して係数低減を実施するように構成されたユニットを表し得る。低減されたフォアグラウンドＶ［ｋ］ベクトル５５は、次元Ｄ：［（Ｎ＋１）2−（ＮBG＋１）2−ＢＧTOT］×ｎＦＧを有し得る。係数低減ユニット４６は、この点において、残りのフォアグラウンドＶ［ｋ］ベクトル５３における係数の数を低減するように構成されたユニットを表し得る。言い換えれば、係数低減ユニット４６は、方向情報をほとんど又はまったく有しない（残りのフォアグラウンドＶ［ｋ］ベクトル５３を形成する）フォアグラウンドＶ［ｋ］ベクトルにおける係数を除去するように構成されたユニットを表し得る。幾つかの例では、（ＮBGと示され得る）１次及び０次の基底関数に対応する、明確な、又は言い換えればフォアグラウンドＶ［ｋ］ベクトルの係数は、方向情報をほとんど提供せず、従って、（「係数低減」と呼ばれ得るプロセスを通じて）フォアグラウンドＶベクトルから除去され得る。この例では、対応する係数ＮBGを識別するだけではなく、（変数ＴｏｔａｌＯｆＡｄｄＡｍｂＨＯＡＣｈａｎによって示され得る）追加のＨＯＡチャネルを［（ＮBG＋１）2＋１，（Ｎ＋１）2］のセットから識別するために、より大きい柔軟性が与えられ得る。
[0043]Ｖベクトルコード化ユニット５２は、コード化されたフォアグラウンドＶ［ｋ］ベクトル５７を生成するために低減されたフォアグラウンドＶ［ｋ］ベクトル５５を圧縮するための任意の形態の量子化を実施し、コード化されたフォアグラウンドＶ［ｋ］ベクトル５７をビットストリーム生成ユニット４２に出力するように構成されたユニットを表し得る。動作中、Ｖベクトルコード化ユニット５２は、音場の空間成分、即ちこの例では低減されたフォアグラウンドＶ［ｋ］ベクトル５５のうちの１つ又は複数を圧縮するように構成されたユニットを表し得る。Ｖベクトルコード化ユニット５２は、「ＮｂｉｔｓＱ」と示される量子化モードシンタックス要素によって示される、以下の１２個の量子化モードのいずれか１つを実施し得る。
ＮｂｉｔｓＱ値 量子化モードのタイプ
０〜３：予約済み
４： ベクトル量子化
５： ハフマンコード化なしのスカラー量子化
６： ハフマンコード化ありの６ビットスカラー量子化
７： ハフマンコード化ありの７ビットスカラー量子化
８： ハフマンコード化ありの８ビットスカラー量子化
．．． ．．．
１６： ハフマンコード化ありの１６ビットスカラー量子化
Ｖベクトルコード化ユニット５２はまた、上記のタイプの量子化モードのいずれかの予測バージョンを実施し得、前のフレームのＶベクトルの（又はベクトル量子化が実施されるときの重み）の要素と、現在のフレームのＶベクトルの要素（又はベクトル量子化が実施されるときの重み）との間の差分が決定されル場所が決定される。Ｖベクトルコード化ユニット５２は、次いで、現在のフレーム自体のＶベクトルの要素の値ではなく、現在のフレームの要素又は重みと、前のフレームの要素又は重みとの間の差分を量子化し得る。
ＮｂｉｔｓＱ値 量子化モードのタイプ
０〜３：予約済み
４： ベクトル量子化
５： ハフマンコード化なしのスカラー量子化
６： ハフマンコード化ありの６ビットスカラー量子化
７： ハフマンコード化ありの７ビットスカラー量子化
８： ハフマンコード化ありの８ビットスカラー量子化
．．． ．．．
１６： ハフマンコード化ありの１６ビットスカラー量子化
Ｖベクトルコード化ユニット５２はまた、上記のタイプの量子化モードのいずれかの予測バージョンを実施し得、前のフレームのＶベクトルの（又はベクトル量子化が実施されるときの重み）の要素と、現在のフレームのＶベクトルの要素（又はベクトル量子化が実施されるときの重み）との間の差分が決定されル場所が決定される。Ｖベクトルコード化ユニット５２は、次いで、現在のフレーム自体のＶベクトルの要素の値ではなく、現在のフレームの要素又は重みと、前のフレームの要素又は重みとの間の差分を量子化し得る。
[0044]Ｖベクトルコード化ユニット５２は、低減されたフォアグラウンドＶ［ｋ］ベクトル５５の複数のコード化バージョンを取得するために、低減されたフォアグラウンドＶ［ｋ］ベクトル５５の各々に関して複数の形態の量子化を実施し得る。Ｖベクトルコード化ユニット５２は、低減されたフォアグラウンドＶ［ｋ］ベクトル５５のコード化バージョンのうちの１つを、コード化されたフォアグラウンドＶ［ｋ］ベクトル５７として選択し得る。Ｖベクトルコード化ユニット５２は、言い換えれば、本開示で説明する基準の任意の組合せに基づいて、出力切替えされ量子化されたＶベクトルとして使用するために、予測されないベクトル量子化されたＶベクトル、予測されベクトル量子化されたＶベクトル、ハフマンコード化されないスカラー量子化されたＶベクトル、及びハフマンコード化されスカラー量子化されたＶベクトルのうちの１つを選択し得る。
[0045]幾つかの例では、Ｖベクトルコード化ユニット５２は、ベクトル量子化モードと１つ又は複数のスカラー量子化モードとを含む、量子化モードのセットから量子化モードを選択し、選択されたモードに基づいて（又はそれに従って）入力Ｖベクトルを量子化し得る。Ｖベクトルコード化ユニット５２は、次いで、（例えば、重み値又はそれを示すビットに関して）予測されないベクトル量子化されたＶベクトル、（例えば、誤差値又はそれを示すビットに関して）予測されベクトル量子化されたＶベクトル、ハフマンコード化されないスカラー量子化されたＶベクトル、及びハフマンコード化されスカラー量子化されたＶベクトルのうちの選択されたものを、コード化されたフォアグラウンドＶ［ｋ］ベクトル５７としてビットストリーム生成ユニット５２に与え得る。Ｖベクトルコード化ユニット５２はまた、量子化モードを示すシンタックス要素（例えば、ＮｂｉｔｓＱシンタックス要素）と、Ｖベクトルを逆量子化又はさもなければ再構成するために使用される任意の他のシンタックス要素とを与え得る。
[0046]ベクトル量子化に関して、ｖベクトルコード化ユニット５２は、コード化されたＶ［ｋ］ベクトルを生成するために、コードベクトル６３に基づいて、低減されたフォアグラウンドＶ［ｋ］ベクトル５５をコード化し得る。図３Ａに示されているように、ｖベクトルコード化ユニット５２は、幾つかの例では、コード化された重み５７及びインデックス７３を出力し得る。コード化された重み５７及びインデックス７３は、そのような例では、コード化されたＶ［ｋ］ベクトルを一緒に表し得る。インデックス７３は、コード化ベクトルの重み付き和におけるどのコードベクトルが、コード化された重み５７における重みの各々に対応するかを表し得る。
[0047]低減されたフォアグラウンドＶ［ｋ］ベクトル５５をコード化するために、ｖベクトルコード化ユニット５２は、幾つかの例では、コードベクトル６３に基づいて、低減されたフォアグラウンドＶ［ｋ］ベクトル５５の各々をコードベクトルの重み付き和に分解し得る。コードベクトルの重み付き和は、複数の重みと複数のコードベクトルとを含み得、重みの各々の積の和を表し得、コードベクトルのうちのそれぞれ１つで乗算され得る。コードベクトルの重み付き和中に含まれる複数のコードベクトルは、ｖベクトルコード化ユニット５２によって受信されるコードベクトル６３に対応し得る。低減されたフォアグラウンドＶ［ｋ］ベクトル５５のうちの１つをコードベクトルの重み付き和に分解することは、コードベクトルの重み付き和中に含まれる重みのうちの１つ又は複数のための重み値を決定することを伴い得る。
[0048]コードベクトルの重み付き和中に含まれる重みに対応する重み値を決定した後に、ｖベクトルコード化ユニット５２は、コード化された重み５７を生成するために、重み値のうちの１つ又は複数をコード化し得る。幾つかの例では、重み値をコード化することは、重み値を量子化することを含み得る。更なる例では、重み値をコード化することは、重み値を量子化することと、量子化された重み値に関してハフマンコード化を実施することとを含み得る。追加の例では、重み値をコード化することは、いずれかのコード化技法を使用して、重み値、重み値を示すデータ、量子化された重み値、量子化された重み値を示すデータのうちの１つ又は複数をコード化することを含み得る。
[0049]幾つかの例では、コードベクトル６３は正規直交ベクトルのセットであり得る。更なる例では、コードベクトル６３は擬正規直交ベクトルのセットであり得る。追加の例では、コードベクトル６３は、以下、即ち、方向ベクトルのセットと、直交方向ベクトルのセットと、正規直交方向ベクトルのセットと、偽正規直交方向ベクトルのセットと、擬直交方向ベクトルのセットと、方向基底ベクトルのセットと、直交ベクトルのセットと、擬直交ベクトルのセットと、球面調和基底ベクトルのセットと、正規化ベクトルのセットと、基底ベクトルのセットとのうちの１つ又は複数であり得る。コードベクトル６３が方向ベクトルを含む例では、方向ベクトルの各々は、２Ｄ又は３Ｄ空間における方向又は方向性放射パターンに対応する方向性を有し得る。
[0050]幾つかの例では、コードベクトル６３は、コードベクトル６３の予め定義された及び／又は所定のセットであり得る。追加の例では、コードベクトルは、基礎をなすＨＯＡ音場係数に依存せず、及び／又は基礎をなすＨＯＡ音場係数に基づいて生成されないことがある。更なる例では、ＨＯＡ係数の異なるフレームをコード化するとき、コードベクトル６３は同じであり得る。追加の例では、ＨＯＡ係数の異なるフレームをコード化するとき、コードベクトル６３は異なり得る。追加の例では、コードベクトル６３は、代替的にコードブックベクトル及び／又は候補コードベクトルと呼ばれることがある。
[0051]幾つかの例では、低減されたフォアグラウンドＶ［ｋ］ベクトル５５のうちの１つに対応する重み値を決定するために、ｖベクトルコード化ユニット５２は、コードベクトルの重み付き和における重み値の各々について、それぞれの重み値を決定するために、低減されたフォアグラウンドＶ［ｋ］ベクトルにコードベクトル６３のうちのそれぞれ１つを乗算し得る。場合によっては、低減されたフォアグラウンドＶ［ｋ］ベクトルにコードベクトルを乗算するために、Ｖベクトルコード化ユニット５２は、それぞれの重み値を決定するために、低減されたフォアグラウンドＶ［ｋ］ベクトルにコードベクトル６３のうちのそれぞれ１つの転置を乗算し得る。
[0052]重みを量子化するために、ｖベクトルコード化ユニット５２はどのようなタイプの量子化でも実施し得る。例えば、Ｖベクトルコード化ユニット５２は、重み値に関してスカラー量子化、ベクトル量子化又は行列量子化を実施し得る。
[0053]幾つかの例では、コード化された重み５７を生成するために重み値の全てをコード化する代わりに、ｖベクトルコード化ユニット５２は、コード化された重み５７を生成するために、コードベクトルの重み付き和中に含まれる重み値のサブセットをコード化し得る。例えば、ｖベクトルコード化ユニット５２は、コードベクトルの重み付き和中に含まれる重み値のセットを量子化し得る。コードベクトルの重み付き和中に含まれる重み値のサブセットは、コードベクトルの重み付き和中に含まれる重み値の全セット中の重み値の数よりも小さい幾つかの重み値を有する重み値のセットを指し得る。
[0054]幾つかの例では、ｖベクトルコード化ユニット５２は、様々な基準に基づいてコード化及び／又は量子化するためにコードベクトルの重み付き和中に含まれる重み値のサブセットを選択し得る。一例では、整数Ｎは、コードベクトルの重み付き和中に含まれる重み値の総数を表し得、ｖベクトルコード化ユニット５２は、重み値のサブセットを形成するためにＮ個の重み値のセットからＭ個の最も大きい重み値（即ち、最大重み値）を選択し得、ここで、ＭはＮよりも小さい整数である。このようにして、分解されたｖベクトルに比較的大きい量を寄与するコードベクトルの寄与は維持され得るが、分解されたｖベクトルに比較的小さい量を寄与するコードベクトルの寄与は、コード化効率を高めるために廃棄され得る。コード化及び／又は量子化のための重み値のサブセットを選択するために他の基準も使用され得る。
[0055]幾つかの例では、Ｍ個の最も大きい重み値は、最大値を有するＮ個の重み値のセットからのＭ個の重み値であり得る。更なる例では、Ｍ個の最も大きい重み値は、最大絶対値を有するＮ個の重み値のセットからのＭ個の重み値であり得る。
[00562]ｖベクトルコード化ユニット５２が重み値のサブセットをコード化及び／又は量子化する例では、コード化された重み５７は、重み値を示す量子化データに加えて、重み値のうちのどれが量子化及び／又はコード化のために選択されたかを示すデータを含み得る。幾つかの例では、重み値のうちのどれが量子化及び／又はコード化のために選択されたかを示すデータは、コードベクトルの重み付き和におけるコードベクトルに対応するインデックスのセットからの１つ又は複数のインデックスを含み得る。そのような例では、コード化及び／又は量子化のために選択された重みの各々について、コードベクトルの重み付き和における重み値に対応するコードベクトルのインデックス値がビットストリーム中に含まれ得る。
[0057]幾つかの例では、低減されたフォアグラウンドＶ［ｋ］ベクトル５５の各々は、次の式に基づいて表され得る。
ここで、Ωjは、コードベクトルのセット（｛Ωj｝）におけるｊ番目のコードベクトルを表し、ωjは、重みのセット（｛ωj｝）におけるｊ番目の重みを表し、ＶFGは、ｖベクトルコード化ユニット５２によって表され、分解及び／又はコード化されているｖベクトルに対応する。式（１）の右辺は、重みのセット（｛ωj｝）とコードベクトルのセット（｛Ωj｝）とを含むコードベクトルの重み付き和を表し得る。
[0058]幾つかの例では、ｖベクトルコード化ユニット５２は、次の式
[0059]コードベクトルのセット（｛Ωj｝）が正規直交である例では、次の式が適用され得る。
そのような例では、式（２）の右辺は次のように簡略化し得る。
ここで、ωkは、コードベクトルの重み付き和におけるｋ番目の重みに対応する。
[0060]式（１）において使用されたコードベクトルの例示的な重み付き和では、ｖベクトルコード化ユニット５２は、式（２）を使用して、コードベクトルの重み付き和における重みの各々のための重み値を計算し得、得られる重みは次のように表され得る。
ｖベクトルコード化ユニット５２が５個の最大重み値（即ち、最大値又は絶対ブラウ（vlaue）をもつ重み）を選択する一例を検討する。量子化されるべき重み値のサブセットは次のように表され得る。
重み値のサブセットは、それらの対応するコードベクトルとともに、次の式に示されているように、ｖベクトルを推定するコードベクトルの重み付き和を形成するために使用され得る。
[0061]ｖベクトルコード化ユニット５２は、
のように表され得る量子化された重み値を生成するために重み値のサブセットを量子化し得る。量子化された重み値は、それらの対応するコードベクトルとともに、次の式において示されるように、推定されたｖベクトルの量子化されたバージョンを表すコードベクトルの重み付き和を形成するために使用され得る。
[062]（上記で説明されたものと大体は同等である）上記の代替的な言い換えは、次のようになり得る。Ｖベクトルは、コードベクトルの予め定義されたセットに基づいてコード化され得る。Ｖベクトルをコード化するために、各Ｖベクトルは、コードベクトルの重み付き和に分解される。コードベクトルの重み付き和は、予め定義されたコードベクトルと関連する重みとのｋ個のペアからなる。
但し、Ωjは、予め定義されたコードベクトルのセット（｛Ωj｝）におけるｊ番目のコードベクトルを表し、ωjは、予め定義された重みのセット（｛ωj｝）におけるｊ番目の実数値の重みを表し、ｋは、最大７であり得る加数のインデックスに対応し、Ｖは、コード化されているＶベクトルに対応する。ｋの選定はエンコーダに依存する。エンコーダが２つ以上のコードベクトルの重み付き和を選定した場合、エンコーダがその選定できる予め定義されたコードベクトルの総数は、（Ｎ＋１）2であり、ここで、予め定義されたコードベクトルは、幾つかの例では、表Ｆ．２〜Ｆ．１１からＨＯＡ拡張係数として導出される。Ｆとそれに続く期間及び番号とによって示される表への参照は、「Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ−Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｃｏｄｉｎｇ ａｎｄ ｍｅｄｉａ ｄｅｌｉｖｅｒｙ ｉｎ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｅｎｖｉｒｏｎｍｅｎｔｓ−Ｐａｒｔ ３：３Ｄ Ａｕｄｉｏ」と題する、ＭＰＥＧ−Ｈ ３Ｄオーディオ規格のアネックスＦ、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ ２９、２０１５−０２−２０（２０１５年２月２０日）付け、ＩＳＯ／ＩＥＣ ２３００８−３：２０１５（Ｅ）、ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１（ファイル名：ＩＳＯ＿ＩＥＣ＿２３００８−３（Ｅ）−Ｗｏｒｄ＿ｄｏｃｕｍｅｎｔ＿ｖ３３．ｄｏｃ）において指定された表を指す。
[0064]重みωの数の符号は、
として別個にコード化される。
[0066]この点において、本技法は、オーディオ符号化機器２０が、音場の空間成分に関してベクトル量子化を実施するときに使用すべき複数のコードブックのうちの１つを選択することを可能にし得、空間成分は、複数の高次アンビソニック係数へのベクトルベースの合成の適用を通して取得される。
[0067その上、本技法は、オーディオ符号化機器２０が、音場の空間成分に関してベクトル量子化を実施するときに使用されるべき複数のペアになったコードブックの間で選択することを可能にし得、空間成分は、複数の高次アンビソニック係数へのベクトルベースの合成の適用を通して取得される。
[0068]幾つかの例では、Ｖベクトルコード化ユニット５２は、コードベクトルのセットに基づいて、複数の高次アンビソニック（ＨＯＡ）係数の分解バージョン中に含まれるベクトルを表す１つ又は複数の重み値を決定し得る。重み値の各々は、ベクトルを表すコードベクトルの重み付き和中に含まれる複数の重みのうちのそれぞれ１つに対応し得る。
[0069]そのような例では、Ｖベクトルコード化ユニット５２は、幾つかの例では、重み値を示すデータを量子化し得る。そのような例では、重み値を示すデータを量子化するために、Ｖベクトルコード化ユニット５２は、幾つかの例では、量子化すべき重み値のサブセットを選択し、重み値の選択されたサブセットを示すデータを量子化し得る。そのような例では、Ｖベクトルコード化ユニット５２は、幾つかの例では、重み値の選択されたサブセット中に含まれない重み値を示すデータを量子化しないことがある。
[0070]幾つかの例では、Ｖベクトルコード化ユニット５２は、Ｎ個の重み値のセットを決定し得る。そのような例では、Ｖベクトルコード化ユニット５２は、重み値のサブセットを形成するためにＮ個の重み値のセットからＭ個の最も大きい重み値を選択し得、但し、ＭはＮをよりも小さい。
[0071]重み値を示すデータを量子化するために、Ｖベクトルコード化ユニット５２は、重み値を示すデータに関して、スカラー量子化と、ベクトル量子化と、行列量子化とのうちの少なくとも１つを実施し得る。上述の量子化技法の追加又は代替として他の量子化技法も実施され得る。
[0072]重み値を決定するために、Ｖベクトルコード化ユニット５２は、重み値の各々について、コードベクトル６３のうちのそれぞれ１つに基づいてそれぞれの重み値を決定し得る。例えば、Ｖベクトルコード化ユニット５２は、それぞれの重み値を決定するために、ベクトルにコードベクトル６３のうちのそれぞれ１つを乗算し得る。場合によっては、Ｖベクトルコード化ユニット５２は、それぞれの重み値を決定するために、ベクトルにコードベクトル６３のうちのそれぞれ１つの転置を乗算することを伴い得る。
[0073]幾つかの例では、ＨＯＡ係数の分解バージョンは、ＨＯＡ係数の特異値分解バージョンであり得る。更なる例では、ＨＯＡ係数の分解バージョンは、ＨＯＡ係数の主成分分析された（ＰＣＡ：principal component analyzed）バージョンと、ＨＯＡ係数のカルーネンレーベ変換されたバージョンと、ＨＯＡ係数のホテリング変換されたバージョンと、ＨＯＡ係数の固有直交分解された（ＰＯＤ：proper orthogonal decomposed）バージョンと、ＨＯＡ係数の固有値分解された（ＥＶＤ：eigenvalue decomposed）バージョンとのうちの少なくとも１つであり得る。
[0074]更なる例では、コードベクトル６３のセットは、方向ベクトルのセットと、直交方向ベクトルのセットと、正規直交方向ベクトルのセットと、偽正規直交方向ベクトルのセットと、擬直交方向ベクトルのセットと、方向基底ベクトルのセットと、直交ベクトルのセットと、正規直交ベクトルのセットと、擬正規直交ベクトルのセットと、擬直交ベクトルのセットと、球面調和基底ベクトルのセットと、正規化ベクトルのセットと、基底ベクトルのセットとのうちの少なくとも１つを含み得る。
[0075]幾つかの例では、Ｖベクトルコード化ユニット５２は、Ｖベクトル（例えば、低減されたフォアグラウンドＶ［ｋ］ベクトル）を表すために使用される重みを決定するために分解コードブックを使用し得る。例えば、Ｖベクトルコード化ユニット５２は、候補分解コードブックのセットから分解コードブックを選択し、選択された分解コードブックに基づいてＶベクトルを表す重みを決定し得る。
[0076]幾つかの例では、候補分解コードブックの各々は、Ｖベクトルを分解するために及び／又はＶベクトルに対応する重みを決定するために使用され得るコードベクトル６３のセットに対応し得る。言い換えれば、各異なる分解コードブックは、Ｖベクトルを分解するために使用され得るコードベクトル６３の異なるセットに対応する。分解コードブック中の各エントリは、コードベクトルのセット中のベクトルのうちの１つに対応する。
[0077]分解コードブック中のコードベクトルのセットは、Ｖベクトルを分解するために使用されるコードベクトルの重み付き和中に含まれる全てのコードベクトルに対応し得る。例えば、コードベクトルのセットは、式（１）の右辺に示されたコードベクトルの重み付き和中に含まれるコードベクトル６３のセット（｛Ωj｝）に対応し得る。この例では、コードベクトル６３（即ち、Ωj）の各々は、分解コードブック中のエントリに対応し得る。
[0078]異なる分解コードブックは、幾つかの例では同じ数のコードベクトル６３を有し得る。更なる例では、異なる分解コードブックは、異なる数のコードベクトル６３を有し得る。
[0079]例えば、候補分解コードブックのうちの少なくとも２つは、異なる数のエントリ（即ち、この例ではコードベクトル６３）を有し得る。別の例として、候補分解コードブックの全ては、異なる数のエントリ６３を有し得る。更なる例として、候補分解コードブックのうちの少なくとも２つは、同じ数のエントリ６３を有し得る。追加の例として、候補分解コードブックの全ては、同じ数のエントリ６３を有し得る。
[0080]Ｖベクトルコード化ユニット５２は、１つ又は複数の様々な基準に基づいて候補分解コードブックのセットから分解コードブックを選択し得る。例えば、Ｖベクトルコード化ユニット５２は、各分解コードブックに対応する重みに基づいて分解コードブックを選択し得る。例えば、Ｖベクトルコード化ユニット５２は、（例えば閾値誤差によって定義される）何らかのマージンの精度内でＶベクトルを表すために幾つの重みが必要とされるかを決定するために、（Ｖベクトルを表す対応する重み付き和から）各分解コードブックに対応する重みの分析を実施し得る。Ｖベクトルコード化ユニット５２は、最小数の重みを必要とする分解コードブックを選択し得る。追加の例では、Ｖベクトルコード化ユニット５２は、基礎をなす音場の特性（例えば、人工的に作成される、自然に記録される、高度に拡散するなど）に基づいて分解コードブックを選択し得る。
[0081]選択されたコードブックに基づいて重み（即ち、重み値）を決定するために、Ｖベクトルコード化ユニット５２は、重みの各々について、（例えば「ＷｅｉｇｈｔＩｄｘ」シンタックス要素によって識別される）それぞれの重みに対応するコードブックエントリ（即ち、コードベクトル）を選択し、選択されたコードブックエントリに基づいてそれぞれの重みの重み値を決定し得る。選択されたコードブックエントリに基づいて重み値を決定するために、Ｖベクトルコード化ユニット５２は、幾つかの例では、重み値を生成するために、選択されたコードブックエントリによって指定されたコードベクトル６３をＶベクトルに乗算し得る。例えば、Ｖベクトルコード化ユニット５２は、スカラー重み値を生成するために、選択されたコードブックエントリによって指定されたコードベクトル６３の転置をＶベクトルに乗算し得る。別の例として、重み値を決定するために式（２）が使用され得る。
[0082]幾つかの例では、分解コードブックの各々は、複数の量子化コードブックのうちのそれぞれ１つに対応し得る。そのような例では、Ｖベクトルコード化ユニット５２が分解コードブックを選択するとき、Ｖベクトルコード化ユニット５２は、分解コードブックに対応する量子化コードブックをも選択し得る。
[0083]Ｖベクトルコード化ユニット５２は、低減されたフォアグラウンドＶ［ｋ］ベクトル５５のうちの１つ又は複数をコード化するためにどの分解コードブックが選択されたかを示すデータ（例えば、ＣｏｄｅｂｋＩｄｘシンタックス要素）をビットストリーム生成ユニット４２に提供し得、従って、ビットストリーム生成ユニット４２は、得られたビットストリーム中にそのようなデータを含め得る。幾つかの例では、Ｖベクトルコード化ユニット５２は、コード化されるべきＨＯＡ係数の各フレームのために使用すべき分解コードブックを選択し得る。そのような例では、Ｖベクトルコード化ユニット５２は、各フレームをコード化するためにどの分解コードブックが選択されたかを示すデータ（例えば、ＣｏｄｅｂｋＩｄｘシンタックス要素）をビットストリーム生成ユニット４２に提供し得る。幾つかの例では、どの分解コードブックが選択されたかを示すデータは、選択されたコードブックに対応するコードブックインデックス及び／又は識別値であり得る。
[0084]幾つかの例では、Ｖベクトルコード化ユニット５２は、Ｖベクトル（例えば、低減されたフォアグラウンドＶ［ｋ］ベクトル）を推定するために幾つの重みが使用されるべきであるかを示す数を選択し得る。Ｖベクトルを推定するために幾つの重みが使用されるべきであるかを示す数はまた、Ｖベクトルコード化ユニット５２及び／又はオーディオ符号化機器２０によって量子化及び／又はコード化されるべき重みの数を示し得る。Ｖベクトルを推定するために幾つの重みが使用されるべきであるかを示す数はまた、量子化及び／又はコード化されるべき重みの数と呼ばれることがある。これらの重みが対応するコードベクトル６３の数として代替的に幾つの重みが表され得るかを示すこの数。従って、この数は、ベクトル量子化されたＶベクトルを逆量子化するために使用されるコードベクトル６３の数としても示され得、ＮｕｍＶｅｃＩｎｄｉｃｅｓシンタックス要素によって示され得る。
[0085]幾つかの例では、Ｖベクトルコード化ユニット５２は、特定のＶベクトルのために決定された重み値に基づいて、その特定のＶベクトルのために量子化及び／又はコード化されるべき重みの数を選択し得る。追加の例では、Ｖベクトルコード化ユニット５２は、重みの１つ又は複数の特定の数を使用してＶベクトルを推定することに関連する誤差に基づいて、特定のＶベクトルのために量子化及び／又はコード化されるべき重みの数を選択し得る。
[0086]例えば、Ｖベクトルコード化ユニット５２は、Ｖベクトルを推定することに関連する誤差の最大誤差閾値を決定し得、誤差を、幾つかの数の重みで推定される推定Ｖベクトルと、最大誤差閾値以下のＶベクトルとの間にするために幾つの重みが必要とされるかを決定し得る。コードブックからのコードベクトルの全てよりも少ないものが重み付き和において使用される場合、推定ベクトルはコードベクトルの重み付き和に対応し得る。
[0087]幾つかの例では、Ｖベクトルコード化ユニット５２は、次の式に基づいて、誤差を閾値未満にするために幾つの重みが必要とされるかを決定し得る。
ここで、Ωiはｉ番目のコードベクトルを表し、ωiはｉ番目の重みを表し、ＶFGは、Ｖベクトルコード化ユニット５２によって分解、量子化及び／又はコード化されているＶベクトルに対応し、｜ｘ｜αは値ｘのノルムであり、但し、αは、どのタイプのノルムが使用されるかを示す値である。例えば、α＝１はＬ１ノルムを表し、α＝２はＬ２ノルムを表す。図２０は、本開示で説明する技法の様々な態様による、Ｘ＊数のコードベクトルを選択するために使用される閾値誤差を示す例示的なグラフ７００を示す図である。グラフ７００は、コードベクトルの数が増加するにつれて誤差がどのように減少するかを示すライン７０２を含む。
[0088]上記の例では、インデックスｉは、幾つかの例では、より大きい大きさ（例えば、より大きい絶対値）の重みが順序付きシーケンスにおいてより低い大きさ（例えば、より低い絶対値）の重みより前に発生するような順序シーケンスで重みをインデックス付けし得る。言い換えれば、ω1は最も大きい重み値を表し得、ω2は次に最も大きい重み値を表し得、以下同様である。同様に、ωxは最も低い重み値を表し得る。
[0089]Ｖベクトルコード化ユニット５２は、低減されたフォアグラウンドＶ［ｋ］ベクトル５５のうちの１つ又は複数をコード化するために幾つの重みが選択されたかを示すデータをビットストリーム生成ユニット４２に提供し得、従って、ビットストリーム生成ユニット４２は、得られたビットストリーム中にそのようなデータを含め得る。幾つかの例では、Ｖベクトルコード化ユニット５２は、コード化されるべきＨＯＡ係数の各フレームについてＶベクトルをコード化するために使用すべき重みの数を選択し得る。そのような例では、Ｖベクトルコード化ユニット５２は、ビットストリーム生成ユニット４２に対して選択された各フレームをコード化するために幾つの重みが選択されたかを示すデータをビットストリーム生成ユニット４２に提供し得る。幾つかの例では、幾つの重みが選択されたかを示すデータは、コード化及び／又は量子化のために幾つの重みが選択されたかを示す数であり得る。
[0090]幾つかの例では、Ｖベクトルコード化ユニット５２は、Ｖベクトル（例えば、低減されたフォアグラウンドＶ［ｋ］ベクトル）を表す及び／又は推定するために使用される重みのセットを量子化するために量子化コードブックを使用し得る。例えば、Ｖベクトルコード化ユニット５２は、候補量子化コードブックのセットから量子化コードブックを選択し、選択された量子化コードブックに基づいてＶベクトルを量子化し得る。
[0091]幾つかの例では、候補量子化コードブックの各々は、重みのセットを量子化するために使用され得る候補量子化ベクトルのセットに対応し得る。重みのセットは、これらの量子化コードブックを使用して量子化されるべきである重みのベクトルを形成し得る。言い換えれば、各異なる量子化コードブックは、Ｖベクトルを量子化するために単一の量子化ベクトルがａそれから選択され得る、量子化ベクトルの異なるセットに対応する。
[0092]コードブック中の各エントリは候補量子化ベクトルに対応し得る。候補量子化ベクトルの各々中の成分の数は、幾つかの例では、量子化されるべき重みの数に等しくなり得る。
[0093]幾つかの例では、異なる量子化コードブックは、同じ数の候補量子化ベクトルを有し得る。更なる例では、異なる量子化コードブックは、異なる数の候補量子化ベクトルを有し得る。
[0094]例えば、候補量子化コードブックのうちの少なくとも２つは、異なる数の候補量子化ベクトルを有し得る。別の例として、候補量子化コードブックの全ては、異なる数の候補量子化ベクトルを有し得る。更なる例として、候補量子化コードブックのうちの少なくとも２つは、同じ数の候補量子化ベクトルを有し得る。追加の例として、候補量子化コードブックの全ては、同じ数の候補量子化ベクトルを有し得る。
[0095]Ｖベクトルコード化ユニット５２は、１つ又は複数の様々な基準に基づいて候補量子化コードブックのセットから量子化コードブックを選択し得る。例えば、Ｖベクトルコード化ユニット５２は、Ｖベクトルの重みを決定するために使用された分解コードブックに基づいてＶベクトルのための量子化コードブックを選択し得る。別の例として、Ｖベクトルコード化ユニット５２は、量子化されるべき重み値の確率分布に基づいてＶベクトルのための量子化コードブックを選択し得る。他の例では、Ｖベクトルコード化ユニット５２は、Ｖベクトルの重みを決定するために使用された分解コードブックの選択、及び（例えば、式１４通りに）何らかの誤差閾値内でＶベクトルを表すのに必要であると見なされた重みの数の組合せに基づいて、Ｖベクトルのための量子化コードブックを選択し得る。
[0096]選択された量子化コードブックに基づいて重みを量子化するために、Ｖベクトルコード化ユニット５２は、幾つかの例では、選択された量子化コードブックに基づいてＶベクトルを量子化するために使用すべき量子化ベクトルを決定し得る。例えば、Ｖベクトルコード化ユニット５２は、Ｖベクトルを量子化するために使用すべき量子化ベクトルを決定するためにベクトル量子化（ＶＱ）を実施し得る。
[0097]追加の例では、選択された量子化コードブックに基づいて重みを量子化するために、Ｖベクトルコード化ユニット５２は、各Ｖベクトルについて、Ｖベクトルを表すために量子化ベクトルのうちの１つ又は複数を使用することに関連する量子化誤差に基づいて、選択された量子化コードブックから量子化ベクトルを選択し得る。例えば、Ｖベクトルコード化ユニット５２は、量子化誤差を最小化する（例えば、最小２乗誤差を最小化する）、選択された量子化コードブックからの候補量子化ベクトルを選択し得る。
[0098]幾つかの例では、量子化コードブックの各々は、複数の分解コードブックのうちのそれぞれ１つに対応し得る。そのような例では、Ｖベクトルコード化ユニット５２はまた、Ｖベクトルの重みを決定するために使用された分解コードブックに基づいて、Ｖベクトルに関連する重みのセットを量子化するための量子化コードブックを選択し得る。例えば、Ｖベクトルコード化ユニット５２は、Ｖベクトルの重みを決定するために使用された分解コードブックに対応する量子化コードブックを選択し得る。
[0099]Ｖベクトルコード化ユニット５２は、低減されたフォアグラウンドＶ［ｋ］ベクトル５５のうちの１つ又は複数に対応する重みを量子化するためにどの量子化コードブックが選択されたかを示すデータをビットストリーム生成ユニット４２に提供し得、従って、ビットストリーム生成ユニット４２は、得られたビットストリーム中にそのようなデータを含め得る。幾つかの例では、Ｖベクトルコード化ユニット５２は、コード化されるべきＨＯＡ係数の各フレームのために使用すべき量子化コードブックを選択し得る。そのような例では、Ｖベクトルコード化ユニット５２は、各フレームにおいて重みを量子化するためにどの量子化コードブックが選択されたかを示すデータをビットストリーム生成ユニット４２に提供し得る。幾つかの例では、どの量子化コードブックが選択されたかを示すデータは、選択されたコードブックに対応するコードブックインデックス及び／又は識別値であり得る。
[0100]オーディオ符号化機器２０内に含まれる心理音響オーディオコーダユニット４０は、心理音響オーディオコーダの複数のインスタンスを表し得、これらの各々は、エネルギー補償された環境ＨＯＡ係数４７’と補間されたｎＦＧ信号４９’との各々の様々なオーディオオブジェクト又はＨＯＡチャネルを符号化して、符号化された環境ＨＯＡ係数５９と符号化されたｎＦＧ信号６１とを生成するために使用される。心理音響オーディオコーダユニット４０は、符号化された環境ＨＯＡ係数５９と、符号化されたｎＦＧ信号６１とをビットストリーム生成ユニット４２に出力し得る。
[0101]オーディオ符号化機器２０内に含まれるビットストリーム生成ユニット４２は、（復号機器によって知られているフォーマットを指し得る）既知のフォーマットに適合するようにデータをフォーマットし、それによってベクトルベースのビットストリーム２１を生成するユニットを表す。ビットストリーム２１は、言い換えれば、上記で説明した方法で符号化されている、符号化されたオーディオデータを表し得る。ビットストリーム生成ユニット４２は、幾つかの例ではマルチプレクサを表し得、マルチプレクサは、コード化されたフォアグラウンドＶ［ｋ］ベクトル５７と、符号化された環境ＨＯＡ係数５９と、符号化されたｎＦＧ信号６１と、バックグラウンドチャネル情報４３とを受信し得る。ビットストリーム生成ユニット４２は、次いで、コード化されたフォアグラウンドＶ［ｋ］ベクトル５７と、符号化された環境ＨＯＡ係数５９と、符号化されたｎＦＧ信号６１と、バックグラウンドチャネル情報４３とに基づいてビットストリーム２１を生成し得る。このようにして、それにより、ビットストリーム生成ユニット４２は、ビットストリーム２１を取得するために、ビットストリーム２１中でベクトル５７を指定し得る。ビットストリーム２１は、主要又はメインビットストリームと、１つ又は複数のサイドチャネルビットストリームとを含み得る。
[0102]図３Ａの例には示されないが、オーディオ符号化機器２０はまた、現在のフレームが方向ベースの合成を使用して符号化されることになるかベクトルベースの合成を使用して符号化されることになるかに基づいて、オーディオ符号化機器２０から出力されるビットストリームを（例えば、方向ベースのビットストリーム２１とベクトルベースのビットストリーム２１との間で）切り替える、ビットストリーム出力ユニットを含み得る。ビットストリーム出力ユニットは、（ＨＯＡ係数１１が合成オーディオオブジェクトから生成されたことを検出した結果として）方向ベースの合成が実施されたか、又は（ＨＯＡ係数が記録されたことを検出した結果として）ベクトルベースの合成が実施されたかを示す、コンテンツ分析ユニット２６によって出力されるシンタックス要素に基づいて、切替えを実施し得る。ビットストリーム出力ユニットは、ビットストリーム２１のうちのそれぞれ１つとともに現在のフレームのために使用される切替え又は現在の符号化を示すために、正しいヘッダシンタックスを指定し得る。
[0103]その上、上述したように、音場分析ユニット４４は、フレームごとに変化し得る、ＢＧTOT環境ＨＯＡ係数４７を識別し得る（が、時々、ＢＧTOTは、２つ以上の（時間的に）隣接するフレームにわたって一定又は同じままであり得る）。ＢＧTOTにおける変化は、低減されたフォアグラウンドＶ［ｋ］ベクトル５５において表される係数への変化を生じ得る。ＢＧTOTにおける変化は、フレームごとに変化する（「環境ＨＯＡ係数」と呼ばれることもある）バックグラウンドＨＯＡ係数を生じ得る（が、この場合も時々、ＢＧTOTは、２つ以上の（時間的に）隣接するフレームにわたって一定又は同じままであり得る）。この変化は、追加の環境ＨＯＡ係数の追加又は除去と、対応する、低減されたフォアグラウンドＶ［ｋ］ベクトル５５からの係数の除去又は低減されたフォアグラウンドＶ［ｋ］ベクトル５５に対する係数の追加とによって表される、音場の態様のためのエネルギーの変化を生じることが多い。
[0104]その結果、音場分析ユニット４４は、いつ環境ＨＯＡ係数がフレームごとに変化するかを更に決定し、音場の環境成分を表すために使用されることに関して、環境ＨＯＡ係数への変化を示すフラグ又は他のシンタックス要素を生成し得る（ここで、この変化は、環境ＨＯＡ係数の「遷移」又は環境ＨＯＡ係数の「遷移」と呼ばれることもある）。特に、係数低減ユニット４６は、（ＡｍｂＣｏｅｆｆＴｒａｎｓｉｔｉｏｎフラグ又はＡｍｂＣｏｅｆｆＩｄｘＴｒａｎｓｉｔｉｏｎフラグとして示され得る）フラグを生成し、そのフラグが（場合によってはサイドチャネル情報の一部として）ビットストリーム２１中に含まれ得るように、そのフラグをビットストリーム生成ユニット４２に与え得る。
[0105]係数低減ユニット４６はまた、環境係数遷移フラグを指定することに加えて、低減されたフォアグラウンドＶ［ｋ］ベクトル５５が生成される方法を修正し得る。一例では、環境ＨＯＡ環境係数のうちの１つが現在のフレームの間に遷移中であると決定すると、係数低減ユニット４６は、遷移中の環境ＨＯＡ係数に対応する低減されたフォアグラウンドＶ［ｋ］ベクトル５５のＶベクトルの各々について、（「ベクトル要素」又は「要素」と呼ばれることもある）ベクトル係数を指定し得る。この場合も、遷移中の環境ＨＯＡ係数は、ＢＧTOTからバックグラウンド係数の総数を追加又は除去し得る。従って、バックグラウンド係数の総数において生じた変化は、環境ＨＯＡ係数がビットストリーム中に含まれるか含まれないか、及び、Ｖベクトルの対応する要素が、上記で説明した第２の構成モード及び第３の構成モードにおいてビットストリーム中で指定されたＶベクトルのために含まれるかどうかに影響を及ぼす。係数低減ユニット４６が、エネルギーの変化を克服するために、低減されたフォアグラウンドＶ［ｋ］ベクトル５５を指定し得る方法に関するより多くの情報は、２０１５年１月１２日に出願された「ＴＲＡＮＳＩＴＩＯＮＩＮＧ ＯＦ ＡＭＢＩＥＮＴ ＨＩＧＨＥＲ＿ＯＲＤＥＲ ＡＭＢＩＳＯＮＩＣ ＣＯＥＦＦＩＣＩＥＮＴＳ」と題する米国出願第１４／５９４，５３３号において提供されている。
[0106]図３Ｂは、本開示で説明する技法の様々な態様を実施し得る、図３の例に示されたオーディオ符号化機器４２０の別の例をより詳細に示すブロック図である。図３Ｂに示されたオーディオ符号化機器４２０は、オーディオ符号化機器４２０中のｖベクトルコード化ユニット５２が並べ替えユニット３４に重み値情報７１をも提供することを除いて、オーディオ符号化機器２０と同様である。
[0107]幾つかの例では、重み値情報７１は、ｖベクトルコード化ユニット５２によって計算された重み値のうちの１つ又は複数を含み得る。更なる例では、重み値情報７１は、ｖベクトルコード化ユニット５２による量子化及び／又はコード化のためにどの重みが選択されたかを示す情報を含み得る。追加の例では、重み値情報７１は、ｖベクトルコード化ユニット５２による量子化及び／又はコード化のためにどの重みが選択されなかったかを示す情報を含み得る。重み値情報７１は、上述の情報項目の追加又は代替として、上述の情報項目ならびに他の項目のいずれかの任意の組合せを含み得る。
[0108]幾つかの例では、並べ替えユニット３４は、重み値情報７１に基づいて（例えば、重み値に基づいて）ベクトルを並べ替え得る。ｖベクトルコード化ユニット５２が量子化及び／又はコード化すべき重み値のサブセットを選択する例では、並べ替えユニット３４は、幾つかの例では、（重み値情報７１によって示され得る）量子化又はコード化のために重み値のうちのどれが選択されたかに基づいてベクトルを並べ替え得る。
[0109]図４Ａは、図２のオーディオ復号機器２４をより詳細に示すブロック図である。図４Ａの例に示されているように、オーディオ復号機器２４は、抽出ユニット７２と、方向ベース再構成ユニット９０と、ベクトルベース再構成ユニット９２とを含み得る。以下で説明するが、オーディオ復号機器２４に関するより多くの情報、及びＨＯＡ係数を解凍又はさもなければ復号する様々な態様は、２０１４年５月２９日に出願された「ＩＮＴＥＲＰＯＬＡＴＩＯＮ ＦＯＲ ＤＥＣＯＭＰＯＳＥＤ ＲＥＰＲＥＳＥＮＴＡＴＩＯＮＳ ＯＦ Ａ ＳＯＵＮＤ ＦＩＥＬＤ」と題する国際特許出願公開第ＷＯ２０１４／１９４０９９号において入手可能である。
[0110]抽出ユニット７２は、ビットストリーム２１を受信し、ＨＯＡ係数１１の様々な符号化バージョン（例えば、方向ベースの符号化バージョン又はベクトルベースの符号化バージョン）を抽出するように構成されたユニットを表し得る。抽出ユニット７２は、ＨＯＡ係数１１が様々な方向ベースのバージョンを介して符号化されたか、ベクトルベースのバージョンを介して符号化されたかを示す、上述したシンタックス要素から決定し得る。方向ベース符号化が実施されたとき、抽出ユニット７２は、ＨＯＡ係数１１の方向ベースバージョンと、符号化バージョンに関連するシンタックス要素（図４Ａの例では方向ベース情報９１として示される）とを抽出し、方向ベース情報９１を方向ベース再構成ユニット９０に渡し得る。方向ベース再構成ユニット９０は、方向ベース情報９１に基づいてＨＯＡ係数１１’の形態でＨＯＡ係数を再構成するように構成されたユニットを表し得る。
[0111]ベクトルベース合成を使用してＨＯＡ係数１１が符号化されたことをシンタックス要素が示すとき、抽出ユニット７２は、（コード化された重み５７及び／又はインデックス７３を含み得る）コード化されたフォアグラウンドＶ［ｋ］ベクトルと、符号化された環境ＨＯＡ係数５９と、符号化されたｎＦＧ信号５９とを抽出し得る。抽出ユニット７２は、コード化された重み５７を量子化ユニット７４に渡し、符号化された環境ＨＯＡ係数５９を符号化されたｎＦＧ信号６１とともに心理音響復号ユニット８０に渡し得る。
[0112]コード化された重み５７と、符号化された環境ＨＯＡ係数５９と、符号化されたｎＦＧ信号５９とを抽出するために、抽出ユニット７２は、ＣｏｄｅｄＶＶｅｃＬｅｎｇｔｈと示されるシンタックス要素を含む、を含むＨＯＡＤｅｃｏｄｅｒＣｏｎｆｉｇコンテナを取得し得る。抽出ユニット７２は、ＨＯＡＤｅｃｏｄｅｒＣｏｎｆｉｇコンテナからＣｏｄｅｄＶＶｅｃＬｅｎｇｔｈを構文解析し得る。抽出ユニット７２は、ＣｏｄｅｄＶＶｅｃＬｅｎｇｔｈシンタックス要素に基づいて、上記で説明した構成モードのいずれか１つにおいて動作するように構成され得る。
[0113]幾つかの例では、抽出ユニット７２は、添付のセマンティクスに鑑みて理解されるＶＶｅｃｔｏｒＤａｔａのための以下のシンタックステーブルにおいて提示されるシンタックスとともに（ここで、シンタックステーブルの前のバージョンに対して、ｓｔｒｉｋｅｔｈｏｒｕｇｈは取消し線付きの主題の削除を示し、下線は下線付きの主題の追加を示す）、以下の擬似コードに提示されるスイッチ文に従って動作し得る。
ＶＶｅｃｔｏｒＤａｔａ（ＶｅｃＳｉｇＣｈａｎｎｅｌＩｄｓ（ｉ））
この構造は、ベクトルベースの信号合成のために使用される、コード化されたＶベクトルデータを含んでいる。
ＶＶｅｃ（ｋ）［ｉ］ これは、ｉ番目のチャネルのためのｋ番目のＨＯＡｆｒａｍｅ（）のためのＶベクトルである。
ＶＶｅｃＬｅｎｇｔｈ この変数は、読み出すべきベクトル要素の数を示す。
ＶＶｅｃＣｏｅｆｆＩｄ このベクトルは、送信されるＶベクトル係数のインデックスを含んでいる。
ＶｅｃＶａｌ ０と２５５との間の整数値。
ａＶａｌ ＶＶｅｃｔｏｒＤａｔａの復号中に使用される一時的な変数。
ｈｕｆｆＶａｌ ハフマン復号されるべきハフマンコードワード。
ｓｇｎＶａｌ これは、復号中に使用されるコード化された符号値である。
ｉｎｔＡｄｄＶａｌ これは、復号中に使用される追加の整数値である。
ＮｕｍＶｅｃＩｎｄｉｃｅｓ ベクトル量子化されたＶベクトルを逆量子化するために使用されるベクトルの数。
ＷｅｉｇｈｔＩｄｘ ベクトル量子化されたＶベクトルを逆量子化するために使用されるＷｅｉｇｈｔＶａｌＣｄｂｋにおけるインデックス。
ｎｂｉｔｓＷ ベクトル量子化されたＶベクトルを復号するためにＷｅｉｇｈｔＩｄｘを読み取るためのフィールドサイズ。
ＷｅｉｇｈｔＶａｌＣｄｂｋ 正の実数値の重み付け係数のベクトルを含んでいるコードブック。ＮｕｍＶｅｃＩｎｄｉｃｅｓが１に設定された場合、１６個のエントリをもつＷｅｉｇｈｔＶａｌＣｄｂｋが使用され、そうでない場合、２５６個のエントリをもつＷｅｉｇｈｔＶａｌＣｄｂｋが使用される。
ＶｖｅｃＩｄｘ ベクトル量子化されたＶベクトルを逆量子化するために使用される、ＶｅｃＤｉｃｔのためのインデックス。
ｎｂｉｔｓＩｄｘ ベクトル量子化されたＶベクトルを復号するために個々のＶｖｅｃＩｄｘを読み取るためのフィールドサイズ。
ＷｅｉｇｈｔＶａｌ ベクトル量子化されたＶベクトルを復号するための実数値の重み付け係数。
この構造は、ベクトルベースの信号合成のために使用される、コード化されたＶベクトルデータを含んでいる。
ＶＶｅｃ（ｋ）［ｉ］ これは、ｉ番目のチャネルのためのｋ番目のＨＯＡｆｒａｍｅ（）のためのＶベクトルである。
ＶＶｅｃＬｅｎｇｔｈ この変数は、読み出すべきベクトル要素の数を示す。
ＶＶｅｃＣｏｅｆｆＩｄ このベクトルは、送信されるＶベクトル係数のインデックスを含んでいる。
ＶｅｃＶａｌ ０と２５５との間の整数値。
ａＶａｌ ＶＶｅｃｔｏｒＤａｔａの復号中に使用される一時的な変数。
ｈｕｆｆＶａｌ ハフマン復号されるべきハフマンコードワード。
ｓｇｎＶａｌ これは、復号中に使用されるコード化された符号値である。
ｉｎｔＡｄｄＶａｌ これは、復号中に使用される追加の整数値である。
ＮｕｍＶｅｃＩｎｄｉｃｅｓ ベクトル量子化されたＶベクトルを逆量子化するために使用されるベクトルの数。
ＷｅｉｇｈｔＩｄｘ ベクトル量子化されたＶベクトルを逆量子化するために使用されるＷｅｉｇｈｔＶａｌＣｄｂｋにおけるインデックス。
ｎｂｉｔｓＷ ベクトル量子化されたＶベクトルを復号するためにＷｅｉｇｈｔＩｄｘを読み取るためのフィールドサイズ。
ＷｅｉｇｈｔＶａｌＣｄｂｋ 正の実数値の重み付け係数のベクトルを含んでいるコードブック。ＮｕｍＶｅｃＩｎｄｉｃｅｓが１に設定された場合、１６個のエントリをもつＷｅｉｇｈｔＶａｌＣｄｂｋが使用され、そうでない場合、２５６個のエントリをもつＷｅｉｇｈｔＶａｌＣｄｂｋが使用される。
ＶｖｅｃＩｄｘ ベクトル量子化されたＶベクトルを逆量子化するために使用される、ＶｅｃＤｉｃｔのためのインデックス。
ｎｂｉｔｓＩｄｘ ベクトル量子化されたＶベクトルを復号するために個々のＶｖｅｃＩｄｘを読み取るためのフィールドサイズ。
ＷｅｉｇｈｔＶａｌ ベクトル量子化されたＶベクトルを復号するための実数値の重み付け係数。
[0114]前述のシンタックステーブルにおいて、４つのケース（ケース０〜３）を伴う第１のスイッチ文は、係数の数（ＶＶｅｃＬｅｎｇｔｈ）及びインデックス（ＶＶｅｃＣｏｅｆｆＩｄ）に関してＶT DISTベクトル長を決定するための方法を提供する。第１のケースであるケース０は、ＶT DISTベクトルの係数の全て（ＮｕｍＯｆＨｏａＣｏｅｆｆｓ）が指定されることを示す。第２のケースであるケース１は、ＶT DISTベクトルの係数のうちでＭｉｎＮｕｍＯｆＣｏｅｆｆｓＦｏｒＡｍｂＨＯＡより大きい数に対応するもののみが指定されることを示し、これは上で（ＮDIST＋１）2−（ＮBG＋１）2と呼ばれるものを示し得る。更に、ＣｏｎｔＡｄｄＡｍｂＨｏａＣｈａｎにおいて識別されるＮｕｍＯｆＣｏｎｔＡｄｄＡｍｂＨｏａＣｈａｎ係数が差し引かれる。リストＣｏｎｔＡｄｄＡｍｂＨｏａＣｈａｎは、次数ＭｉｎＡｍｂＨｏａＯｒｄｅｒを超える次数に対応する追加のチャネル（ここで「チャネル」はある次数と副次数の組合せに対応する特定の係数を指す）を指定する。第３のケースであるケース２は、ＶT DISTベクトルの係数のうちでＭｉｎＮｕｍＯｆＣｏｅｆｆｓＦｏｒＡｍｂＨＯＡより大きい数に対応するものが指定されることを示し、これは上で（ＮDIST＋１）2−（ＮBG＋１）2と呼ばれるものを示し得る。ＶＶｅｃＬｅｎｇｔｈとＶＶｅｃＣｏｅｆｆＩｄリストの両方が、ＨＯＡＦｒａｍｅ内の全てのＶＶｅｃｔｏｒに対して有効である。
[0115]このスイッチ文の後に、ベクトル量子化を実施すべきか一様なスカラー逆量子化を実施すべきかの決定がＮｂｉｔｓＱ（又は、上記に示されたように、ｎｂｉｔｓ）によって制御され得る。以前は、（例えば、ＮｂｉｔｓＱが４に等しいとき）Ｖｖｅｃｔｏｒを量子化するためにスカラー量子化のみが提案された。ＮＢｉｔｓＱが５に等しいとき、スカラー量子化は依然として行われるが、一例として、ＮｂｉｔｓＱが４に等しいとき、本開示で説明する技法に従ってベクトル量子化が実施され得る。
[0116]言い換えれば、強い方向性を有するＨＯＡ信号は、フォアグラウンドオーディオ信号及び対応する空間情報、即ち、本開示の例ではＶベクトルによって表される。本開示で説明するＶベクトルコード化技法では、各Ｖベクトルは、次の式によって与えられる予め定義された方向ベクトルの重み付き和によって表される。
ここで、ωi及びΩiは、それぞれ、ｉ番目の重み付け値及び対応する方向ベクトルである。
[0117]Ｖベクトルコード化の一例が図１６に示されている。図１６（ａ）に示されているように、元のＶベクトルは、幾つかの方向ベクトルの混合によって表され得る。元のＶベクトルは、次いで、図１６（ｂ）に示されているように重み付き和によって推定され得、ここで、重みベクトルは図１６（ｅ）に示されている。図１６（ｃ）及び図１６（ｆ）は、ＩS（ＩS≦Ｉ）個の最も高い重み付け値のみが選択される場合を示している。次いで、選択された重み付け値のためのベクトル量子化（ＶＱ）が実施され得、結果が図１６（ｄ）及び図１６（ｇ）に示されている。
[0118]このｖベクトルコード化方式の計算複雑さは次のように決定され得る。
0.06 MOPS (HOA order = 6) / 0.05 MOPS (HOA order = 5)及び
0.03 MOPS (HOA order = 4) / 0.02 MOPS (HOA order = 3).
ＲＯＭ複雑さは、（ＨＯＡ次数３、４、５及び６のために）１６．２９キロバイトとして決定され得、ｗｈｉｅｌ、アルゴリズム遅延は０個のサンプルであると決定される。
0.06 MOPS (HOA order = 6) / 0.05 MOPS (HOA order = 5)及び
0.03 MOPS (HOA order = 4) / 0.02 MOPS (HOA order = 3).
ＲＯＭ複雑さは、（ＨＯＡ次数３、４、５及び６のために）１６．２９キロバイトとして決定され得、ｗｈｉｅｌ、アルゴリズム遅延は０個のサンプルであると決定される。
[0119]上記で言及した３Ｄオーディオコード化規格の現在のバージョンへの必要とされる修正は、下線の使用によって上記で示されたＶＶｅｃｔｏｒＤａｔａシンタックステーブル内に示され得る。即ち、上記で言及したＭＰＥＧ−Ｈ ３Ｄオーディオ提案規格のＣＤでは、Ｖベクトルコード化は、スカラー量子化（ＳＱ）とともに、又はＳＱとそれに続くハフマンコード化とともに実施された。提案されるベクトル量子化（ＶＱ）方法の所要ビットは従来のＳＱコード化方法よりも低くなり得る。１２個の参照テスト項目について、平均の所要ビットは次の通りである。
ＳＱ＋ハフマン：１６．２５ｋｂｐｓ
提案されるＶＱ：５．２５ｋｂｐｓ
節約されたビットは、知覚的オーディオコード化のための使用のために再利用され得る。
提案されるＶＱ：５．２５ｋｂｐｓ
節約されたビットは、知覚的オーディオコード化のための使用のために再利用され得る。
[0120]ｖベクトル再構成ユニット７４は、言い換えれば、Ｖベクトルを再構成するために次の擬似コードに従って動作し得る。
[0121]上記の疑似コードによれば（取消し線は取消し線付きの主題の削除を示す）、ｖベクトル再構成ユニット７４は、ＣｏｄｅｄＶＶｅｃＬｅｎｇｔｈの値に基づいてスイッチ文の擬似コードに従ってＶＶｅｃＬｅｎｇｔｈを決定し得る。このＶＶｅｃＬｅｎｇｔｈに基づいて、ｖベクトル再構成ユニット７４は、ＮｂｉｔｓＱ値を考慮する後続のｉｆ／ｅｌｓｅｉｆ文を通して反復し得る。ｋ番目のフレームのｉ番目のＮｂｉｔｓＱ値が４に等しいとき、ｖベクトル再構成ユニット７４は、ベクトル逆量子化が実施されるべきであると決定する。
[0122]ｃｄｂＬｅｎシンタックス要素は、ＮｕｍＶｖｅｃＩｎｄｉｃｉｅｓ及びＨＯＡ次数に基づいて導出される、コードベクトルの辞書又はコードブックにおけるエントリの数を示す（ここで、この辞書は、上記のプスエドコードにおいて「ＶｅｃＤｉｃｔ」と示され、ベクトル量子化されたＶベクトルを復号するために使用される、ＨＯＡ拡張係数のベクトルを含んでいるｃｄｂＬｅｎ個のコードブックエントリをもつコードブックを表す）。ＮｕｍＶｖｅｃＩｎｄｉｃｉｅｓの値が１に等しいとき、上記の表Ｆ．１１において示された８×１個の重み付け値のコードブックとのコンジャンクションにおいて、上記の表Ｆ．８から抽出されたベクトルコードブックＨＯＡ拡張係数。ＮｕｍＶｖｅｃＩｎｄｉｃｉｅｓの値が１よりも大きいとき、Ｏベクトルをもつベクトルコードブックが、上記の表Ｆ．１２に示された２５６×８個の重み付け値と組み合わせて使用される。
[0123]上記ではサイズ２５６×８のコードブックを使用するものとして説明したが、異なる数の値を有する異なるコードブックが使用され得る。即ち、ｖａｌ０〜ｖａｌ７の代わりに、２５６個の行をもつコードブックが使用され得、各行は異なるインデックス値（インデックス０〜インデックス２５５）によってインデックス付けされ、ｖａｌ０〜ｖａｌ９（合計１０個の値の場合）又はｖａｌ０〜ｖａｌ１５（合計１６個の値の場合）などの異なる数の値を有する。図１９Ａ及び図１９Ｂは、それぞれ、本開示で説明する技法の様々な態様に従って使用され得る１０個の値及び１６個の値を各行が有する、２５６個の行をもつコードブックを示す図である。
[0124]ｖベクトル再構成ユニット７４は、重み値コードブック（「ＷｅｉｇｈｔＶａｌＣｄｂｋ」と示され、これは、（上記のＶＶｅｃｔｏｒＤａｔａ（ｉ）シンタックステーブルにおいて「ＣｏｄｅｂｋＩｄｘ」と示される）コードブックインデックスと（上記のＶＶｅｃｔｏｒＤａｔａ（ｉ）シンタックステーブルにおいて「ＷｅｉｇｈｔＩｄｘ」と示される）重みインデックスとのうちの１つ又は複数に基づいてインデックス付けされた多次元テーブルを表し得る）に基づいて、Ｖベクトルを再構成するために使用される各対応するコードベクトルのための重み値を導出し得る。このＣｏｄｅｂｋＩｄｘシンタックス要素は、以下のＣｈａｎｎｅｌＳｉｄｅＩｎｆｏＤａｔａ（ｉ）シンタックステーブルにおいて示されるように、サイドチャネル情報の一部分において定義され得る。
[0125]上記の表における下線は、ＣｏｄｅｂｋＩｄｘの追加に対応するための既存のシンタックステーブルへの変更を示す。上記の表のためのセマンティクスは次の通りである。
このペイロードは、ｉ番目のチャネルのためのサイド情報を保持する。ペイロードのサイズ及びデータはチャネルのタイプに依存する。
ＣｈａｎｎｅｌＴｙｐｅ［ｉ］ この要素は、表９５において定義されているｉ番目のチャネルのタイプを記憶する。
ＡｃｔｉｖｅＤｉｒｓＩｄｓ［ｉ］ この要素は、アネックスＦ．７からの９００個の予め定義された一様に分布した点のインデックスを使用して、アクティブな方向信号の方向を示す。コードワード０は、方向信号の終了を信号伝達するために使用される。
ＰＦｌａｇ［ｉ］ ｉ番目のチャネルのベクトルベース信号に関連するスカラー量子化されたＶベクトルのハフマン復号のために使用される予測フラグ。
ＣｂＦｌａｇ［ｉ］ ｉ番目のチャネルのベクトルベース信号に関連するスカラー量子化されたＶベクトルのハフマン復号のために使用されるコードブックフラグ。
ＣｏｄｅｂｋＩｄｘ［ｉ］ ｉ番目のチャネルのベクトルベース信号に関連するベクトル量子化されたＶベクトルを逆量子化するために使用される特定のコードブックを信号伝達する。
ＮｂｉｔｓＱ［ｉ］ このインデックスは、ｉ番目のチャネルのベクトルベース信号に関連するデータのハフマン復号のために使用されるハフマンテーブルを決定する。コードワード５は、一様８ビット逆量子化器の使用を決定する。２つのＭＳＢ００は、前のフレーム（ｋ−１）のＮｂｉｔｓＱ［ｉ］データと、ＰＦｌａｇ［ｉ］データと、ＣｂＦｌａｇ［ｉ］データとを再使用することを決定する。
ｂＡ、ｂＢ ＮｂｉｔｓＱ［ｉ］フィールドのｍｓｂ（ｂＡ）及び第２のｍｓｂ（ｂＢ）。
ｕｉｎｔＣ ＮｂｉｔｓＱ［ｉ］フィールドの残りの２ビットのコードワード。
ＡｄｄＡｍｂＨｏａＩｎｆｏＣｈａｎｎｅｌ（ｉ） このペイロードは、追加の環境ＨＯＡ係数のための情報を保持する。
このペイロードは、ｉ番目のチャネルのためのサイド情報を保持する。ペイロードのサイズ及びデータはチャネルのタイプに依存する。
ＣｈａｎｎｅｌＴｙｐｅ［ｉ］ この要素は、表９５において定義されているｉ番目のチャネルのタイプを記憶する。
ＡｃｔｉｖｅＤｉｒｓＩｄｓ［ｉ］ この要素は、アネックスＦ．７からの９００個の予め定義された一様に分布した点のインデックスを使用して、アクティブな方向信号の方向を示す。コードワード０は、方向信号の終了を信号伝達するために使用される。
ＰＦｌａｇ［ｉ］ ｉ番目のチャネルのベクトルベース信号に関連するスカラー量子化されたＶベクトルのハフマン復号のために使用される予測フラグ。
ＣｂＦｌａｇ［ｉ］ ｉ番目のチャネルのベクトルベース信号に関連するスカラー量子化されたＶベクトルのハフマン復号のために使用されるコードブックフラグ。
ＣｏｄｅｂｋＩｄｘ［ｉ］ ｉ番目のチャネルのベクトルベース信号に関連するベクトル量子化されたＶベクトルを逆量子化するために使用される特定のコードブックを信号伝達する。
ＮｂｉｔｓＱ［ｉ］ このインデックスは、ｉ番目のチャネルのベクトルベース信号に関連するデータのハフマン復号のために使用されるハフマンテーブルを決定する。コードワード５は、一様８ビット逆量子化器の使用を決定する。２つのＭＳＢ００は、前のフレーム（ｋ−１）のＮｂｉｔｓＱ［ｉ］データと、ＰＦｌａｇ［ｉ］データと、ＣｂＦｌａｇ［ｉ］データとを再使用することを決定する。
ｂＡ、ｂＢ ＮｂｉｔｓＱ［ｉ］フィールドのｍｓｂ（ｂＡ）及び第２のｍｓｂ（ｂＢ）。
ｕｉｎｔＣ ＮｂｉｔｓＱ［ｉ］フィールドの残りの２ビットのコードワード。
ＡｄｄＡｍｂＨｏａＩｎｆｏＣｈａｎｎｅｌ（ｉ） このペイロードは、追加の環境ＨＯＡ係数のための情報を保持する。
[0126]ＶＶｅｃｔｏｒＤａｔａシンタックステーブルセマンティクスによれば、ｎｂｉｔｓＷシンタックス要素は、ベクトル量子化されたＶベクトルを復号するためにＷｅｉｇｈｔＩｄｘを読み取るためのフィールドサイズを表し、一方、ＷｅｉｇｈｔＶａｌＣｄｂｋシンタックス要素は、正の実数値の重み付け係数のベクトルを含んでいるコードブックを表す。ＮｕｍＶｅｃＩｎｄｉｃｅｓが１に設定された場合、８個のエントリをもつＷｅｉｇｈｔＶａｌＣｄｂｋが使用され、そうでない場合、２５６個のエントリをもつＷｅｉｇｈｔＶａｌＣｄｂｋが使用される。ＶＶｅｃｔｏｒＤａｔａシンタックステーブルに従って、ＣｏｄｅｂｋＩｄｘが０に等しいとき、ｖベクトル再構成ユニット７４は、ｎｂｉｔｓＷが３に等しく、ＷｅｉｇｈｔＩｄｘが０〜７の範囲内の値を有することができると決定する。この事例では、コードベクトル辞書ＶｅｃＤｉｃｔは、比較的大きい数のエントリ（例えば、９００個）を有し、わずか８つのエントリを有する重みコードブックとペアになっている。ＣｏｄｅｂｋＩｄｘが０に等しくないとき、ｖベクトル再構成ユニット７４は、ｎｂｉｔｓＷが８に等しく、ＷｅｉｇｈｔＩｄｘが０〜２５５の範囲内の値を有することができると決定する。この事例では、ＶｅｃＤｉｃｔは比較的より小さい数のエントリ（例えば、２５個又は３２個のエンタイア（entire））を有し、許容できる誤差を保証するために重みコードブックにおいて比較的より大きい数の重みが必要とされる（例えば、２５６個）。このようにして、本技法は、（使用されたペアになったＶｅｃＤｉｃｔと、重みコードブックとを参照する）ペアになったコードブックを提供し得る。次いで、（上記のＶＶｅｃｔｏｒＤａｔａシンタックステーブルにおいて「ＷｅｉｇｈｔＶａｌ」と示される）重み値が次のように計算され得る。
このＷｅｉｇｈｔＶａｌは、次いで、ｖベクトルを逆ベクトル量子化するために、上記のプスエドコードに従って対応するコードベクトルに適用され得る。
[0127]この点において、本技法は、オーディオ復号機器、例えば、オーディオ復号機器２４が、音場のベクトル量子化された空間成分に関してベクトル逆量子化を実施するときに使用すべき複数のコードブックのうちの１つを選択することを可能にし得、ベクトル量子化された空間成分は、複数の高次アンビソニック係数へのベクトルベースの合成の適用を通して取得される。
[0128]その上、本技法は、オーディオ復号機器２４が、音場のベクトル量子化された空間成分に関してベクトル逆量子化を実施するときに使用されるべき複数のペアになったコードブックの間で選択することを可能にし得、ベクトル量子化された空間成分は、複数の高次アンビソニック係数へのベクトルベースの合成の適用を通して取得される。
[0129]ＮｂｉｔｓＱが５に等しいとき、一様な８ビットスカラー逆量子化が実施される。対照的に、６以上のＮｂｉｔｓＱの値は、ハフマン復号の適用をもたらし得る。上記で言及したｃｉｄ値は、ＮｂｉｔｓＱ値の２つの最下位ビットに等しくなり得る。上記で説明した予測モードは、上記のシンタックステーブルではＰＦｌａｇとして示されるが、ＨＴ情報ビットは、上記のシンタックステーブルではＣｂＦｌａｇとして示される。残りのシンタックスは、上記で説明したのと実質的に同様の方法で復号がどのように行われるかを指定する。
[0130]ベクトルベース再構築ユニット９２は、ＨＯＡ係数１１’を再構築するために、ベクトルベース合成ユニット２７に関して上記で説明したものとは逆の演算を実施するように構成されたユニットを表す。ベクトルベース再構築ユニット９２は、ｖベクトル再構成ユニット７４と、空間時間的補間ユニット７６と、フォアグラウンド編成ユニット７８と、心理音響復号ユニット８０と、ＨＯＡ係数編成ユニット８２と、並べ替えユニット８４とを含み得る。
[0131]ｖベクトル再構成ユニット７４は、コード化された重み５７を受信し、低減されたフォアグラウンドＶ［ｋ］ベクトル５５kを生成し得る。ｖベクトル再構成ユニット７４は、低減されたフォアグラウンドＶ［ｋ］ベクトル５５kを並べ替えユニット８４に転送し得る。
[0132]例えば、ｖベクトル再構成ユニット７４は、抽出ユニット７２を介してビットストリーム２１からコード化された重み５７を取得し、コード化された重み５７と１つ又は複数のコードベクトルとに基づいて、低減されたフォアグラウンドＶ［ｋ］ベクトル５５kを再構成し得る。幾つかの例では、コード化された重み５７は、低減されたフォアグラウンドＶ［ｋ］ベクトル５５kを表すために使用されるコードベクトルのセット中の全てのコードベクトルに対応する重み値を含み得る。そのような例では、ｖベクトル再構成ユニット７４は、コードベクトルの全セットに基づいて、低減されたフォアグラウンドＶ［ｋ］ベクトル５５kを再構成し得る。
[0133]コード化された重み５７は、低減されたフォアグラウンドＶ［ｋ］ベクトル５５kを表すために使用されるコードベクトルのセットのサブセットに対応する重み値を含み得る。そのような例では、コード化された重み５７は、低減されたフォアグラウンドＶ［ｋ］ベクトル５５kを再構成するために複数のコードベクトルのうちのどれを使用すべきかを示すデータを更に含み得、ｖベクトル再構成ユニット７４は、低減されたフォアグラウンドＶ［ｋ］ベクトル５５kを再構成するためにそのようなデータによって示されるコードベクトルのサブセットを使用し得る。幾つかの例では、低減されたフォアグラウンドＶ［ｋ］ベクトル５５kを再構成するために複数のコードベクトルのうちのどれを使用すべきかを示すデータはインデックス５７に対応し得る。
[0134]幾つかの例では、ｖベクトル再構成ユニット７４は、複数のＨＯＡ係数の分解バージョン中に含まれるベクトルを表す複数の重み値を示すデータをビットストリームから取得し得、重み値とコードベクトルとに基づいてベクトルを再構成し得る。重み値の各々は、ベクトルを表すコードベクトルの重み付き和における複数の重みのうちのそれぞれ１つに対応し得る。
[0135]幾つかの例では、ベクトルを再構成するために、ｖベクトル再構成ユニット７４は、コードベクトルが重み値によって重み付けされるコードベクトルの重み付き和を決定し得る。更なる例では、ベクトルを再構成するために、ｖベクトル再構成ユニット７４は、重み値の各々について、重み値にコードベクトルのうちのそれぞれ１つを乗算して、複数の重み付けされたコードベクトル中に含まれるそれぞれの重み付けされたコードベクトルを生成し、複数の重み付けされたコードベクトルを合計してベクトルを決定し得る。
[0136]幾つかの例では、ｖベクトル再構成ユニット７４は、ベクトルを再構成するために複数のコードベクトルのうちのどれを使用すべきかを示すデータをビットストリームから取得し、重み値（例えば、ＣｏｄｅｂｋＩｄｘとＷｅｉｇｈｔＩｄｘシンタックス要素とに基づいてＷｅｉｇｈｔＶａｌＣｄｂｋから導出されるＷｅｉｇｈｔＶａｌ要素）と、コードベクトルと、ベクトルを再構成するために（例えばＮｕｍＶｅｃＩｎｄｉｃｅｓに加えてＶＶｅｃＩｄｘシンタックス要素によって識別される）複数のコードベクトルのうちのどれを使用すべきかを示すデータとに基づいてベクトルを再構成し得る。そのような例では、ベクトルを再構成するために、ｖベクトル再構成ユニット７４は、幾つかの例では、ベクトルを再構成するために複数のコードベクトルのうちのどれを使用すべきかを示すデータに基づいてコードベクトルのサブセットを選択し、重み値とコードベクトルの選択されたサブセットとに基づいてベクトルを再構成し得る。
[0137]そのような例では、重み値とコードベクトルの選択されたサブセットとに基づいてベクトルを再構成するために、ｖベクトル再構成ユニット７４は、重み値の各々について、コードベクトルのサブセット中のコードベクトルのうちのそれぞれ１つを重み値に乗算してそれぞれの重み付けされたコードベクトルを生成し、複数の重み付けされたコードベクトルを合計してベクトルを決定し得る。
[0138]心理音響復号ユニット８０は、符号化された環境ＨＯＡ係数５９と符号化されたｎＦＧ信号６１とを復号し、それによってエネルギー補償された環境ＨＯＡ係数４７’と補間されたｎＦＧ信号４９’（補間されたｎＦＧオーディオオブジェクト４９’とも呼ばれることがある）とを生成するために、図４Ａの例に示される心理音響オーディオコード化ユニット４０とは逆の方法で動作し得る。互いに別個であるものとして示されているが、符号化された環境ＨＯＡ係数５９及び符号化されたｎＦＧ信号６１は互いに別個でないことがあり、代わりに、図４Ｂに関して以下で説明するように、符号化チャネルとして指定され得る。心理音響復号ユニット８０は、符号化された環境ＨＯＡ係数５９及び符号化されたｎＦＧ信号６１が符号化チャネルとして一緒に指定されたとき、符号化チャネルを復号して復号チャネルを取得し、次いで、復号チャネルに関してある形態のチャネル再割当てを実施して、エネルギー補償された環境ＨＯＡ係数４７’及び補間されたｎＦＧ信号４９’を取得し得る。
[0139]言い換えれば、心理音響復号ユニット８０は、フレームＸps（ｋ）として示され得る、全ての支配的音信号の補間されたｎＦＧ信号４９’と、フレームＣI,AMB（ｋ）として示され得る、環境ＨＯＡ成分の中間表現を表すエネルギー補償された環境ＨＯＡ係数４７’とを取得し得る。心理音響復号ユニット８０は、ビットストリーム２１又は２９において指定されたシンタックス要素に基づいてこのチャネル再割当てを実施し得、これは、各トランスポートチャネルについて、環境ＨＯＡ成分の場合によっては含まれている係数シーケンスのインデックスと、アクティブなＶベクトルのセットを示す他のシンタックス要素とを指定する割当てベクトルを含み得る。いずれの場合も、心理音響復号ユニット８０は、エネルギー補償された環境ＨＯＡ係数４７’をＨＯＡ係数編成ユニット８２に渡し、ｎＦＧ信号４９’を並べ替え８４に渡し得る。
[0140]言い換えれば、心理音響復号ユニット８０は、フレームＸps（ｋ）として示され得る、全ての支配的音信号の補間されたｎＦＧ信号４９’と、フレームＣI,AMP（ｋ）として示され得る、環境ＨＯＡ成分の中間表現を表すエネルギー補償された環境ＨＯＡ係数４７’とを取得し得る。心理音響復号ユニット８０は、ビットストリーム２１又は２９において指定されたシンタックス要素に基づいてこのチャネル再割当てを実施し得、これは、各トランスポートチャネルについて、環境ＨＯＡ成分の場合によっては含まれている係数シーケンスのインデックスと、アクティブなＶベクトルのセットを示す他のシンタックス要素とを指定する割当てベクトルを含み得る。いずれの場合も、心理音響復号ユニット８０は、エネルギー補償された環境ＨＯＡ係数４７’をＨＯＡ係数編成ユニット８２に渡し、ｎＦＧ信号４９’を並べ替え８４に渡し得る。
[0141]上記のことを言い換えると、ＨＯＡ係数は、上記で説明した方法でベクトルベースの信号から再編成され得る。ＭVEC（ｋ）を生成するために、各Ｖベクトルに関して最初にスカラー逆量子化が実施され得、
Ｖベクトルは、上記で説明したように、（特異値分解、主成分分析、カルーネンレーベ変換、ホテリング変換、固有直交分解又は固有値分解などの）線形可逆変換を使用してＨＯＡ係数から分解されていることがある。分解はまた、特異値分解の場合、ＵＳ［ｋ］を形成するために組み合わされ得る、Ｓ［ｋ］ベクトルとＵ［ｋ］ベクトルとを出力する。ＵＳ［ｋ］行列中の個々のベクトル要素はＸPS（ｋ，１）として示され得る。
[0143]図４Ｂは、オーディオ復号機器２４の別の例をより詳細に示すブロック図である。オーディオ復号機器２４の図４Ｂに示された例はオーディオ復号機器２４’として示されている。オーディオ復号機器２４’は、オーディオ復号機器２４’の心理音響復号ユニット９０２が上記で説明したチャネル再割当てを実施しないことを除いて、図４Ａの例に示されたオーディオ復号機器２４と実質的に同様である。代わりに、オーディオ符号化機器２４’は、上記で説明したチャネル再割当てを実施する別個のチャネル再割当てユニット９０４を含む。図４Ｂの例では、心理音響復号ユニット９０２は、符号化チャネル９００を受信し、復号チャネル９０１を取得するために符号化チャネル９００に関して心理音響復号を実施する。心理音響復号ユニット９０２は、復号チャネル９０１をチャネル再割当てユニット９０４に出力し得る。チャネル再割当てユニット９０４は、次いで、エネルギー補償された環境ＨＯＡ係数４７’及び補間されたｎＦＧ信号４９’を取得するために、復号チャネル９０１に関して上記で説明したチャネル再割当てを実施し得る。
[0144]空間時間的補間ユニット７６は、空間時間的補間ユニット５０に関して上記で説明したのと同様の方法で動作し得る。空間時間的補間ユニット７６は、低減されたフォアグラウンドＶ［ｋ］ベクトル５５kを受信し、また、補間されたフォアグラウンドＶ［ｋ］ベクトル５５k’’を生成するために、フォアグラウンドＶ［ｋ］ベクトル５５k及び低減されたフォアグラウンドＶ［ｋ−１］ベクトル５５k-1に関して空間時間的補間を実施し得る。空間時間的補間ユニット７６は、補間されたフォアグラウンドＶ［ｋ］ベクトル５５k’’をフェードユニット７７０に転送し得る。
[0145]抽出ユニット７２はまた、いつ環境ＨＯＡ係数のうちの１つが遷移中であるかを示す信号７５７をフェードユニット７７０に出力し得、フェードユニット７７０は、次いで、ＳＣＨBG４７’（ここで、ＳＣＨBG４７’は「環境ＨＯＡチャネル４７’」又は「環境ＨＯＡ係数４７’」と呼ばれることもある）と、補間されたフォアグラウンドＶ［ｋ］ベクトル５５k’’の要素とのうちのいずれがフェードイン又はフェードアウトのいずれかを行われるべきであるかを決定し得る。幾つかの例では、フェードユニット７７０は、環境ＨＯＡ係数４７’と補間されたフォアグラウンドＶ［ｋ］ベクトル５５k’’の要素との各々に関して、反対に動作し得る。即ち、フェードユニット７７０は、環境ＨＯＡ係数４７’のうちの対応する１つに関して、フェードインもしくはフェードアウト、又はフェードインもしくはフェードアウトの両方を実施し得、一方で、補間されたフォアグラウンドＶ［ｋ］ベクトル５５k’’の要素のうちの対応する１つに関して、フェードインもしくはフェードアウト、又はフェードインとフェードアウトの両方を実施し得る。フェードユニット７７０は、調整された環境ＨＯＡ係数４７’’をＨＯＡ係数編成ユニット８２に出力し、調整されたフォアグラウンドＶ［ｋ］ベクトル５５k’’’をフォアグラウンド編成ユニット７８に出力し得る。この点において、フェードユニット７７０は、ＨＯＡ係数又はそれの派生物の様々な態様に関して、例えば、環境ＨＯＡ係数４７’と補間されたフォアグラウンドＶ［ｋ］ベクトル５５k’’の要素との形態で、フェード演算を実施するように構成されたユニットを表す。
[0146]フォアグラウンド編成ユニット７８は、フォアグラウンドＨＯＡ係数６５を生成するために、調整されたフォアグラウンドＶ［ｋ］ベクトル５５k’’’と補間されたｎＦＧ信号４９’とに関して行列乗算を実施するように構成されたユニットを表し得る。この点において、フォアグラウンド編成ユニット７８は、ＨＯＡ係数１１’のフォアグラウンド態様、又は言い換えれば、支配的態様を再構成するために、（補間されたｎＦＧ信号４９’を示すための別の方法である）オーディオオブジェクト４９’をベクトル５５ｋ’’’と組み合わせ得る。フォアグラウンド編成ユニット７８は、調整されたフォアグラウンドＶ［ｋ］ベクトル５５k’’’によって、補間されたｎＦＧ信号４９’の行列乗算を実施し得る。
[0147]ＨＯＡ係数編成ユニット８２は、ＨＯＡ係数１１’を取得するために、フォアグラウンドＨＯＡ係数６５を調整された環境ＨＯＡ係数４７’’に組み合わせるように構成されたユニットを表し得る。プライム表記法は、ＨＯＡ係数１１’がＨＯＡ係数１１と同様であるが同じではないことがあることを反映している。ＨＯＡ係数１１とＨＯＡ係数１１’との間の差分は、損失のある送信媒体を介した送信、量子化、又は他の損失のある演算が原因の損失に起因し得る。
[0148]図５は、本開示で説明するベクトルベースの合成技法の様々な態様を実施する際の、図３Ａの例に示されるオーディオ符号化機器２０などのオーディオ符号化機器の例示的な動作を示すフローチャートである。最初に、オーディオ符号化機器２０がＨＯＡ係数１１を受信する（１０６）。オーディオ符号化機器２０はＬＩＴユニット３０を呼び出し得、ＬＩＴユニット３０は、変換されたＨＯＡ係数（例えば、ＳＶＤの場合、変換されたＨＯＡ係数はＵＳ［ｋ］ベクトル３３とＶ［ｋ］ベクトル３５とを備え得る）を出力するためにＨＯＡ係数に関してＬＩＴを適用し得る（１０７）。
[0149]オーディオ符号化機器２０は、次に、上記で説明した方法で様々なパラメータを識別するために、ＵＳ［ｋ］ベクトル３３、ＵＳ［ｋ−１］ベクトル３３、Ｖ［ｋ］及び／又はＶ［ｋ−１］ベクトル３５の任意の組合せに関して上記で説明した分析を実施するために、パラメータ計算ユニット３２を呼び出し得る。即ち、パラメータ計算ユニット３２は、変換されたＨＯＡ係数３３／３５の分析に基づいて少なくとも１つのパラメータを決定し得る（１０８）。
[0150]オーディオ符号化機器２０は次いで並べ替えユニット３４を呼び出し得、並べ替えユニット３４は、上記で説明したように、並べ替えられた変換されたＨＯＡ係数３３’／３５’（又は言い換えれば、ＵＳ［ｋ］ベクトル３３’及びＶ［ｋ］ベクトル３５’）を生成するために、パラメータに基づいて変換されたＨＯＡ係数（これはやはり、ＳＶＤのコンテキストでは、ＵＳ［ｋ］ベクトル３３とＶ［ｋ］ベクトル３５とを指し得る）を並べ替え得る（１０９）。オーディオ符号化機器２０はまた、前述の演算又は後続の演算のいずれかの間に、音場分析ユニット４４を呼び出し得る。音場分析ユニット４４は、上記で説明したように、フォアグラウンドチャネルの総数（ｎＦＧ）４５と、バックグラウンド音場の次数（ＮBG）と、（図３Ａの例ではバックグラウンドチャネル情報４３としてまとめて示され得る）送るべき追加のＢＧ ＨＯＡチャネルの数（ｎＢＧａ）及びインデックス（ｉ）とを決定するために、ＨＯＡ係数１１及び／又は変換されたＨＯＡ係数３３／３５に関して音場分析を実施し得る（１０９）。
[0151]オーディオ符号化機器２０はまた、バックグラウンド選択ユニット４８を呼び出し得る。バックグラウンド選択ユニット４８は、バックグラウンドチャネル情報４３に基づいてバックグラウンド又は環境ＨＯＡ係数４７を決定し得る（１１０）。オーディオ符号化機器２０は更に、フォアグラウンド選択ユニット３６を呼び出し得、フォアグラウンド選択ユニット３６は、（フォアグラウンドベクトルを識別する１つ又は複数のインデックスを表し得る）ｎＦＧ４５に基づいて、音場のフォアグラウンド成分又は明確な成分を表す、並べ替えられたＵＳ［ｋ］ベクトル３３’と並べ替えられたＶ［ｋ］ベクトル３５’とを選択し得る（１１２）。
[0152]オーディオ符号化機器２０はエネルギー補償ユニット３８を呼び出し得る。エネルギー補償ユニット３８は、バックグラウンド選択ユニット４８によるＨＯＡ係数のうちの様々なものの除去によるエネルギー損失を補償するために、環境ＨＯＡ係数４７に関してエネルギー補償を実施し（１１４）、それによって、エネルギー補償された環境ＨＯＡ係数４７’を生成し得る。
[0153]オーディオ符号化機器２０はまた、空間時間的補間ユニット５０を呼び出し得る。空間時間的補間ユニット５０は、補間されたフォアグラウンド信号４９’（「補間されたｎＦＧ信号４９’」と呼ばれることもある）と、残りのフォアグラウンド方向情報５３（「Ｖ［ｋ］ベクトル５３」と呼ばれることもある）とを取得するために、並べ替えられた変換されたＨＯＡ係数３３’／３５’に関して空間時間的補間を実施し得る（１１６）。オーディオ符号化機器２０は、次いで、係数低減ユニット４６を呼び出し得る。係数低減ユニット４６は、低減されたフォアグラウンド方向情報５５（低減されたフォアグラウンドＶ［ｋ］ベクトル５５と呼ばれこともある）を取得するために、バックグラウンドチャネル情報４３に基づいて残りのフォアグラウンドＶ［ｋ］ベクトル５３に関して係数低減を実施し得る（１１８）。
[0154]オーディオ符号化機器２０は、次いで、上記で説明した方法で、低減されたフォアグラウンドＶ［ｋ］ベクトル５５を圧縮し、コード化されたフォアグラウンドＶ［ｋ］ベクトル５７を生成するために、Ｖベクトルコード化ユニット５２を呼び出し得る（１２０）。
[0155]オーディオ符号化機器２０はまた、心理音響オーディオコーダユニット４０を呼び出し得る。心理音響オーディオコーダユニット４０は、符号化された環境ＨＯＡ係数５９と符号化されたｎＦＧ信号６１とを生成するために、エネルギー補償された環境ＨＯＡ係数４７’と、補間されたｎＦＧ信号４９’との各ベクトルを心理音響コード化し得る。オーディオ符号化機器は、次いで、ビットストリーム生成ユニット４２を呼び出し得る。ビットストリーム生成ユニット４２は、コード化されたフォアグラウンド方向情報５７と、コード化された環境ＨＯＡ係数５９と、コード化されたｎＦＧ信号６１と、バックグラウンドチャネル情報４３とに基づいてビットストリーム２１を生成し得る。
[0156]図６は、本開示で説明する技法の様々な態様を実施する際の、図４Ａに示されるオーディオ復号機器２４などのオーディオ復号機器の例示的な動作を示すフローチャートである。最初に、オーディオ復号機器２４はビットストリーム２１を受信し得る（１３０）。ビットストリームを受信すると、オーディオ復号機器２４は抽出ユニット７２を呼び出し得る。説明の目的で、ベクトルベース再構成が実施されるべきであることをビットストリーム２１が示すと仮定すると、抽出機器７２は、上述した情報を取り出すためにビットストリームを構文解析し、その情報をベクトルベース再構成ユニット９２に渡し得る。
[0157]言い換えれば、抽出ユニット７２は、コード化されたフォアグラウンド方向情報５７（この場合も、コード化されたフォアグラウンドＶ［ｋ］ベクトル５７と呼ばれることもある）と、コード化された環境ＨＯＡ係数５９と、コード化されたフォアグラウンド信号（コード化されたフォアグラウンドｎＦＧ信号５９又はコード化されたフォアグラウンドオーディオオブジェクト５９と呼ばれることもある）とを、上記で説明した方法でビットストリーム２１から抽出し得る（１３２）。
[0158]オーディオ復号機器２４は更に、逆量子化ユニット７４を呼び出し得る。逆量子化ユニット７４は、低減されたフォアグラウンド指向性情報５５kを取得するために、コード化されたフォアグラウンド方向情報５７をエントロピー復号し、逆量子化し得る（１３６）。オーディオ復号機器２４はまた、心理音響復号ユニット８０を呼び出し得る。心理音響オーディオ復号ユニット８０は、エネルギー補償された環境ＨＯＡ係数４７’と補間されたフォアグラウンド信号４９’とを取得するために、符号化された環境ＨＯＡ係数５９と符号化されたフォアグラウンド信号６１とを復号し得る（１３８）。心理音響復号ユニット８０は、エネルギー補償された環境ＨＯＡ係数４７’をフェードユニット７７０に渡し、ｎＦＧ信号４９’をフォアグラウンド編成ユニット７８に渡し得る。
[0159]オーディオ復号機器２４は次に、空間時間的補間ユニット７６を呼び出し得る。空間時間的補間ユニット７６は、並べ替えられたフォアグラウンド方向情報５５k’を受信し、また、補間されたフォアグラウンド方向情報５５k’’を生成するために、低減されたフォアグラウンド方向情報５５k／５５k-1に関して空間時間的補間を実施し得る（１４０）。空間時間的補間ユニット７６は、補間されたフォアグラウンドＶ［ｋ］ベクトル５５k’’をフェードユニット７７０に転送し得る。
[0160]オーディオ復号機器２４はフェードユニット７７０を呼び出し得る。フェードユニット７７０は、エネルギー補償された環境ＨＯＡ係数４７’がいつ遷移中であるかを示すシンタックス要素（例えば、ＡｍｂＣｏｅｆｆＴｒａｎｓｉｔｉｏｎシンタックス要素）を（例えば、抽出ユニット７２から）受信又はさもなければ取得し得る。フェードユニット７７０は、遷移シンタックス要素と維持された遷移状態情報とに基づいて、エネルギー補償された環境ＨＯＡ係数４７’をフェードイン又はフェードアウトし、調整された環境ＨＯＡ係数４７’’をＨＯＡ係数編成ユニット８２に出力し得る。フェードユニット７７０はまた、シンタックス要素と維持された遷移状態情報とに基づいて、補間されたフォアグラウンドＶ［ｋ］ベクトル５５k’’の対応する１つ又は複数の要素をフェードアウト又はフェードインし、調整されたフォアグラウンドＶ［ｋ］ベクトル５５k’’’をフォアグラウンド編成ユニット７８に出力し得る（１４２）。
[0161]オーディオ復号機器２４はフォアグラウンド編成ユニット７８を呼び出し得る。フォアグラウンド編成ユニット７８は、フォアグラウンドＨＯＡ係数６５を取得するために、調整されたフォアグラウンド方向情報５５k’’’による行列乗算ｎＦＧ信号４９’を実施し得る（１４４）。オーディオ復号機器２４はまた、ＨＯＡ係数編成ユニット８２を呼び出し得る。ＨＯＡ係数編成ユニット８２は、ＨＯＡ係数１１’を取得するために、フォアグラウンドＨＯＡ係数６５を調整された環境ＨＯＡ係数４７’’に加算し得る（１４６）。
[0162]図７は、図３Ａのオーディオ符号化機器２０において使用され得る例示的なｖベクトルコード化ユニット５２をより詳細に示すブロック図である。ｖベクトルコード化ユニット５２は、分解ユニット５０２と量子化ユニット５０４とを含む。分解ユニット５０２は、コードベクトル６３に基づいて低減されたフォアグラウンドＶ［ｋ］ベクトル５５の各々をコードベクトルの重み付き和に分解し得る。分解ユニット５０２は、重み５０６を生成し、重み５０６を量子化ユニット５０４に提供し得る。量子化ユニット５０４は、重み５０６を量子化して、コード化された重み５７を生成し得る。
[0163]図８は、図３Ａのオーディオ符号化機器２０において使用され得る例示的なｖベクトルコード化ユニット５２をより詳細に示すブロック図である。ｖベクトルコード化ユニット５２は、分解ユニット５０２と、重み選択ユニット５１０と、量子化ユニット５０４とを含む。分解ユニット５０２は、コードベクトル６３に基づいて低減されたフォアグラウンドＶ［ｋ］ベクトル５５の各々をコードベクトルの重み付き和に分解し得る。分解ユニット５０２は、重み５１４を生成し、重み５１４を重み選択ユニット５１０に提供し得る。重み選択ユニット５１０は、重み５１４のサブセットを選択して重み５１６の選択されたサブセットを生成し、重み５１６の選択されたサブセットを量子化ユニット５０４に提供し得る。量子化ユニット５０４は、重み５１６の選択されたサブセットを量子化して、コード化された重み５７を生成し得る。
[0164]図９は、ｖベクトルから生成される音場を示す概念図である。図１０は、図９に関して上記で説明したｖベクトルの２５次モデルから生成される音場を示す概念図である。図１１は、図１０に示された２５次モデルのための各次数の重み付けを示す概念図である。図１２は、図９に関して上記で説明したｖベクトルの５次モデルを示す概念図である。図１３は、図１２に示された５次モデルのための各次数の重み付けを示す概念図である。
[0165]図１４は、特異値分解を実施するために使用される例示的な行列の例示的な次元を示す概念図である。図１４に示されているように、ＵFG行列はＵ行列中に含まれ、ＳFG行列はＳ行列中に含まれ、ＶFG T行列は、ＶT行列中に含まれる。
[0166]図１４の例示的な行列では、ＵFG行列は次元１２８０×２を有し、ここで、１２８０はサンプルの数に対応し、２は、フォアグラウンドコード化のために選択されたフォアグラウンドベクトルの数に対応する。Ｕ行列は１２８０×２５の次元を有し、ここで、１２８０はサンプルの数に対応し、２５はＨＯＡオーディオ信号中のチャネルの数に対応する。チャネルの数は（Ｎ＋１）2に等しくなり得、ここで、ＮはＨＯＡオーディオ信号の次数に等しい。
[0167]ＳFG行列は次元２×２を有し、ここで、各２は、フォアグラウンドコード化のために選択されたフォアグラウンドベクトルの数に対応する。Ｓ行列は２５×２５の次元を有し、ここで、各２５はＨＯＡオーディオ信号中のチャネルの数に対応する。
[0168]ＶFG T行列は次元２５×２を有し、ここで、２５はＨＯＡオーディオ信号中のチャネルの数に対応し、２は、フォアグラウンドコード化のために選択されたフォアグラウンドベクトルの数に対応する。ＶT行列は２５×２５の次元を有し、ここで、各２５はＨＯＡオーディオ信号中のチャネルの数に対応する。
[0169]図１４に示されているように、ＵFG行列、ＳFG行列、及びＶFG T行列は互いに乗算されてＨFG行列が生成され得る。ＨFG行列は１２８０×２５の次元を有し、ここで、１２８０はサンプルの数に対応し、２５はＨＯＡオーディオ信号中のチャネルの数に対応する。
[0170]図１５は、本開示のｖベクトルコード化技法を使用することによって取得され得る例示的な性能改善を示すチャートである。各行はテスト項目を表し、列は、左から右に、テスト項目番号と、テスト項目名と、テスト項目に関連するビット毎フレームと、本開示の例示的なｖベクトルコード化技法のうちの１つ又は複数を使用するビットレートと、他のｖベクトルコード化技法（例えば、ｖベクトルを分解することなしにｖベクトル成分をスカラー量子化すること）を使用して取得されるビットレートとを示す。図１５に示されているように、本開示の技法は、幾つかの例では、ｖベクトルを重みに分解し及び／又は量子化すべき重みのサブセットを選択しない他の技法に対してビットレートの著しい改善を提供し得る。
[0171]幾つかの例では、本開示の技法は、方向ベクトルのセットに基づいてＶベクトル量子化を実施し得る。Ｖベクトルは方向ベクトルの重み付き和によって表され得る。幾つかの例では、互いに正規直交である方向ベクトルの所与のセットについて、ｖベクトルコード化ユニット５２は、各方向ベクトルのための重み付け値を計算し得る。ｖベクトルコード化ユニット５２は、Ｎ個の最大重み付け値｛ｗ＿ｉ｝と、対応する方向ベクトル｛ｏ＿ｉ｝とを選択し得る。ｖベクトルコード化ユニット５２は、選択された重み付け値及び／又は方向ベクトルに対応するインデックス｛ｉ｝をデコーダに送信し得る。幾つかの例では、最大値を計算するとき、ｖベクトルコード化ユニット５２は、（符号情報を無視することによって）絶対値を使用し得る。ｖベクトルコード化ユニット５２は、Ｎ個の最大重み付け値｛ｗ＿ｉ｝を量子化して、量子化された重み付け値｛ｗ＾＿ｉ｝を生成し得る。ｖベクトルコード化ユニット５２は、｛ｗ＾＿ｉ｝のための量子化インデックスをデコーダに送信し得る。デコーダにおいて、量子化されたＶベクトルはｓｕｍ＿ｉ（ｗ＾＿ｉ＊ｏ＿ｉ）として合成され得る。
[0172]幾つかの例では、本開示の技法は性能の著しい改善を提供し得る。例えば、ハフマンコード化を伴うスカラー量子化を使用することと比較して、約８５％のビットレート低減が取得され得る。例えば、ハフマンコード化を伴うスカラー量子化は、幾つかの例では、１６．２６ｋｂｐｓ（キロビット／秒）のビットレートを必要とし得るが、本開示の技法は、幾つかの例では、２．７５ｋｂｓｐのビットレートでコード化することが可能であり得る。
[0173]ｖベクトルをコード化するためにコードブック（及びＸ個の対応する重み）からのＸ個のコードベクトルが使用される例を考察する。幾つかの例では、ビットストリーム生成ユニット４２は、各ｖベクトルが、（１）コードベクトルのコードブック（例えば、正規化方向ベクトルのコードブック）中の特定のベクトルをそれぞれ指しているＸ数のインデックス、（２）上記のインデックスとともに進むべき対応する（Ｘ）数の重み、（３）上記の（Ｘ）数の重みの各々のための符号ビット、という、パラメータの３つのカテゴリーによって表されるようにビットストリーム２１を生成し得る。場合によっては、Ｘ数の重みは、また別のベクトル量子化（ＶＱ）を使用して更に量子化され得る。
[0174]この例において重みを決定するために使用される分解コードブックは、候補コードブックのセットから選択され得る。例えば、コードブックは、８つの異なるコードブックのうちの１つであり得る。これらのコードブックの各々は異なる長さを有し得る。従って、例えば、本開示の技法は、６次ＨＯＡコンテンツの重みを決定するために使用されるサイズ４９のコードブックだけでなく、８つの異なるサイズのコードブックのいずれか１つをも使用するオプションを与え得る。
[0175]重みのＶＱのために使用される量子化コードブックはまた、幾つかの例では、重みを決定するために使用される可能な分解コードブックの数と同じ対応する数の可能なコードブックを有し得る。従って、幾つかの例では、重みを決定するための可変数の異なるコードブックと、重みを量子化するための可変数のコードブックとがあり得る。
[0176]幾つかの例では、ｖベクトルを推定するために使用される重みの数（即ち、量子化のために選択される重みの数）は可変であり得る。例えば、閾値誤差基準が設定され得、量子化のために選択される数（Ｘ）の重みは、誤差閾値に達することに依存し得、ここで、誤差閾値は式（１０）において上記で定義されている。
[0177]幾つかの例では、上述の概念のうちの１つ又は複数は、ビットストリーム中で信号伝達され得る。ｖベクトルをコード化するために使用される重みの最大数が１２８個の重みに設定され、重みを量子化するために８つの異なる量子化コードブックが使用される例を考察する。そのような例では、ビットストリーム生成ユニット４２は、ビットストリーム２１中のアクセスフレームユニットが、フレームごとに使用され得るインデックスの最大数を示すようにビットストリーム２１を生成し得る。この例では、インデックスの最大数は０〜１２８の数であり、従って、上述のデータはアクセスフレームユニット中で７ビットを消費し得る。
[0178]上記の例では、フレームごとに、ビットストリーム生成ユニット４２は、（１）（ｖベクトルごとに）ＶＱを行うために８つの異なるコードブックのうちのどの１つが使用されたかと、（２）各ｖベクトルをコード化するために使用されたインデックスの実際の数（Ｘ）とを示すデータを含むようにビットストリーム２１を生成し得る。ＶＱを行うために８つの異なるコードブックのうちのどの１つが使用されたかを示すデータは、この例では３ビットを消費し得る。各ｖベクトルをコード化するために使用されたインデックスの実際の数（Ｘ）を示すデータは、アクセスフレームユニットにおいて指定されたインデックスの最大数によって与えられ得る。これは、この例では０ビットから７ビットまで変動し得る。
[0179]幾つかの例では、ビットストリーム生成ユニット４２は、（１）どの方向ベクトルが（計算された重み付け値を与えて）選択され送信されるかを示すインデックスと、（２）各選択された方向ベクトルのための重み付け値とを含むようにビットストリーム２１を生成し得る。幾つかの例では、本開示は、正規化された球面調和コードベクトルのコードブック上での分解を使用するＶベクトルの量子化のための技法を提供し得る。
[0180]図１７は、図７及び図８の一方又は両方の例に示されたＶベクトルコード化ユニット５２によって使用され得る空間領域中に表された１６個の異なるコードベクトル６３Ａ〜６３Ｐを示す図である。コードベクトル６３Ａ〜６３Ｐは、上記で説明したコードベクトル６３のうちの１つ又は複数を表し得る。
[0181]図１８は、図７及び図８の一方又は両方の例に示されたＶベクトルコード化ユニット５２によって１６個の異なるコードベクトル６３Ａ〜６３Ｐが採用され得る異なる方法を示す図である。Ｖベクトルコード化ユニット５２は、空間領域にレンダリングされた後に示され、Ｖベクトル５５として示されている、低減されたフォアグラウンドＶ［ｋ］ベクトル５５のうちの１つを受信し得る。Ｖベクトルコード化ユニット５２は、Ｖベクトル５５の３つの異なるコード化バージョンを生成するために上記で説明したベクトル量子化を実施し得る。Ｖベクトル５５の３つの異なるコード化バージョンは、空間領域にレンダリングされた後に示され、コード化されたＶベクトル５７Ａ、コード化されたＶベクトル５７Ｂ、及びコード化されたＶベクトル５７Ｃとして示されている。Ｖベクトルコード化ユニット５２は、Ｖベクトル５５に対応するコード化されたフォアグラウンドＶ［ｋ］ベクトル５７のうちの１つとして、コード化されたＶベクトル５７Ａ〜５７Ｃのうちの１つを選択し得る。
[0182]Ｖベクトルコード化ユニット５２は、図１７の例においてより詳細に示されたコードベクトル６３Ａ〜６３Ｐ（「コードベクトル６３」）に基づいて、コード化されたＶベクトル５７Ａ〜５７Ｃの各々を生成し得る。Ｖベクトルコード化ユニット５２は、グラフ３００Ａに示されているようにコードベクトル６３のうちの１６個全てに基づいて、コード化されたＶベクトル５７Ａを生成し得、グラフ３００Ａにおいて、１６個全てのインデックスは１６個の重み付け値とともに指定される。Ｖベクトルコード化ユニット５２は、コードベクトル６３の非０サブセット（例えば、正方形ボックス中に囲まれ、グラフ３００Ｂに示されているように、他のインデックスが０の重み付けを有するとすればインデックス２、６及び７に関連するコードベクトル６３）に基づいて、コード化されたＶベクトル５７Ａを生成し得る。Ｖベクトルコード化ユニット５２は、元のＶベクトル５５が最初に量子化されることを除いて、コード化されたＶベクトル５７Ｂを生成するときに使用されたのと同じ３つのコードベクトル６３を使用して、コード化されたＶベクトル５７Ｃを生成し得る。
[0183]元のＶベクトル５５と比較して、コード化されたＶベクトル５７Ａ〜５７Ｃのレンダリングを検討すると、ベクトル量子化は、元のＶベクトル５５の実質的に同様の表現を提供し得ることが示される（これは、コード化されたＶベクトル５７Ａ〜５７Ｃの各々の間の誤差がおそらく小さいことを意味する）。また、コード化されたＶベクトル５７Ａ〜５７Ｃを互いに比較すると、小さい又はわずかな差異のみがあることが明らかになる。従って、最良のビット低減を提供するコード化されたＶベクトル５７Ａ〜５７Ｃのうちの１つは、Ｖベクトルコード化ユニット５２が選択し得るコード化されたＶベクトル５７Ａ〜５７Ｃのうちの１つである可能性がある。コード化されたＶベクトル５７Ｃが最も小さいビットレートを提供する可能性が最も高いとすれば（コード化されたＶベクトル５７Ｃが、コードベクトル６３のうちの３つのみをも使用しながら、Ｖベクトル５５の量子化バージョンを利用するとすれば）、Ｖベクトルコード化ユニット５２は、Ｖベクトル５５に対応するコード化されたフォアグラウンドＶ［ｋ］ベクトル５７の１つとして、コード化されたＶベクトル５７Ｃを選択し得る。
[0184]図２１は、本開示による例示的なベクトル量子化ユニット５２０を示すブロック図である。幾つかの例では、ベクトル量子化ユニット５２０は、図３Ａのオーディオ符号化機器２０中の又は図３Ｂのオーディオ符号化機器２０中のＶベクトルコード化ユニット５２の一例であり得る。ベクトル量子化ユニット５２０は、分解ユニット５２２と、重み選択及び順序付けユニット５２４と、ベクトル選択ユニット５２６とを含む。分解ユニット５２２は、コードベクトル６３に基づいて低減されたフォアグラウンドＶ［ｋ］ベクトル５５の各々をコードベクトルの重み付き和に分解し得る。分解ユニット５２２は、重み値５２８を生成し、重み値５２８を重み選択及び順序付けユニット５２４に提供し得る。
[0185]重み選択及び順序付けユニット５２４は、重み値の選択されたサブセットを生成するために重み値５２８のサブセットを選択し得る。例えば、重み選択及び順序付けユニット５２４は、重み値５２８のセットからＭ個の最大大きさ重み値を選択し得る。重み選択及び順序付けユニット５２４は、更に、重み値の大きさに基づいて重み値の選択されたサブセットを並べ替えて、重み値５３０の並べ替えられた選択されたサブセットを生成し、重み値５３０の並べ替えられた選択されたサブセットをベクトル選択ユニット５２６に提供し得る。
[0186]ベクトル選択ユニット５２６は、Ｍ個の重み値を表すために量子化コードブック５３２からＭ成分ベクトルを選択し得る。言い換えれば、ベクトル選択ユニット５２６は、Ｍ個の重み値をベクトル量子化し得る。幾つかの例では、Ｍは、単一のＶベクトルを表すために重み選択及び順序付けユニット５２４によって選択された重み値の数に対応し得る。ベクトル選択ユニット５２６は、Ｍ個の重み値を表すために選択されたＭ成分ベクトルを示すデータを生成し、このデータを、コード化された重み５７としてビットストリーム生成ユニット４２に提供し得る。幾つかの例では、量子化コードブック５３２は、インデックス付けされた複数のＭ成分ベクトルを含み得、Ｍ成分ベクトルを示すデータは、選択されたベクトルを指す量子化コードブック５３２へのインデックス値であり得る。そのような例では、デコーダは、インデックス値を復号するために、同様にインデックス付けされた量子化コードブックを含み得る。
[0181]図２２は、本開示で説明する技法の様々な態様を実施する際のベクトル量子化ユニットの例示的な動作を示すフローチャートである。図２１の例に関して上記で説明したように、ベクトル量子化ユニット５２０は、分解ユニット５２２と、重み選択及び順序付けユニット５２４と、ベクトル選択ユニット５２６とを含む。分解ユニット５２２は、コードベクトル６３に基づいて低減されたフォアグラウンドＶ［ｋ］ベクトル５５の各々をコードベクトルの重み付き和に分解し得る（７５０）。分解ユニット５２２は、重み値５２８を取得し、重み値５２８を重み選択及び順序付けユニット５２４に提供し得る（７５２）。
[0188]重み選択及び順序付けユニット５２４は、重み値の選択されたサブセットを生成するために重み値５２８のサブセットを選択し得る（７５４）。例えば、重み選択及び順序付けユニット５２４は、重み値５２８のセットからＭ個の最大大きさ重み値を選択し得る。重み選択及び順序付けユニット５２４は、更に、重み値の大きさに基づいて重み値の選択されたサブセットを並べ替えて、重み値５３０の並べ替えられた選択されたサブセットを生成し、重み値５３０の並べ替えられた選択されたサブセットをベクトル選択ユニット５２６に提供し得る（７５６）。
[0189]ベクトル選択ユニット５２６は、Ｍ個の重み値を表すために量子化コードブック５３２からＭ成分ベクトルを選択し得る。言い換えれば、ベクトル選択ユニット５２６は、Ｍ個の重み値をベクトル量子化し得る（７５８）。幾つかの例では、Ｍは、単一のＶベクトルを表すために重み選択及び順序付けユニット５２４によって選択された重み値の数に対応し得る。ベクトル選択ユニット５２６は、Ｍ個の重み値を表すために選択されたＭ成分ベクトルを示すデータを生成し、このデータを、コード化された重み５７としてビットストリーム生成ユニット４２に提供し得る。幾つかの例では、量子化コードブック５３２は、インデックス付けされた複数のＭ成分ベクトルを含み得、Ｍ成分ベクトルを示すデータは、選択されたベクトルを指す量子化コードブック５３２へのインデックス値であり得る。そのような例では、デコーダは、インデックス値を復号するために、同様にインデックス付けされた量子化コードブックを含み得る。
[0190]図２３は、本開示で説明する技法の様々な態様を実施する際のＶベクトル再構成ユニットの例示的な動作を示すフローチャートである。図４Ａ又は図４ＢのＶベクトル再構成ユニット７４は、例えば、ビットストリーム２１から構文解析された後に抽出ユニット７２から、最初に重み値を取得し得る（７６０）。Ｖベクトル再構成ユニット７４はまた、例えば、上記で説明した方法でビットストリーム２１中で信号伝達されたインデックスを使用してコードブックから、コードベクトルを取得し得る（７６２）。Ｖベクトル再構成ユニット７４は、次いで、上記で説明した様々な方法のうちの１つ又は複数で重み値とコードベクトルとに基づいて、（Ｖベクトルと呼ばれることもある）低減されたフォアグラウンドＶ［ｋ］ベクトル５５を再構成し得る（７６４）。
[0191]図２４は、本開示で説明する技法の様々な態様を実施する際の図３Ａ又は図３ＢのＶベクトルコード化ユニットの例示的な動作を示すフローチャートである。Ｖベクトルコード化ユニット５２は、（閾値ビットレートと呼ばれることもある）ターゲットビットレート４１を取得し得る（７７０）。ターゲットビットレート４１が２５６Ｋｂｐｓ（又は任意の他の指定、構成又は決定されたビットレート）よりも大きいとき（「ＮＯ」７７２）、Ｖベクトルコード化ユニット５２は、Ｖベクトル５５にスカラー量子化を適用することを決定し、次いで適用し得る（７７４）。ターゲットビットレート４１が２５６Ｋｂｐｓ以下であるとき（「ＹＥＳ」７７２）、Ｖベクトル再構成ユニット５２は、Ｖベクトル５５にベクトル量子化を適用することを決定し、次いで適用し得る（７７６）。Ｖベクトルコード化ユニット５２はまた、Ｖベクトル５５に関してスカラー量子化又はベクトル量子化が実施されたことをビットストリーム２１中で信号伝達し得る（７７８）。
[0192]図２５は、本開示で説明する技法の様々な態様を実施する際のＶベクトル再構成ユニットの例示的な動作を示すフローチャートである。図４Ａ又は図４ＢのＶベクトル再構成ユニット７４は、最初に、Ｖベクトル５５に関してスカラー量子化が実施されたかベクトル量子化が実施されたかの（シンタックス要素などの）指示を取得し得る（７８０）。スカラー量子化が実施されなかったことをシンタックス要素が示すとき（「ＮＯ」７８２）、Ｖベクトル再構成ユニット７４は、Ｖベクトル５５を再構成するためにベクトル逆量子化を実施し得る（７８４）。スカラー量子化が実施されたことをシンタックス要素が示すとき（「ＹＥＳ」７８２）、Ｖベクトル再構成ユニット７４は、Ｖベクトル５５を再構成するためにスカラー逆量子化を実施し得る（７８６）。
[0193]図２６は、本開示で説明する技法の様々な態様を実施する際の図３Ａ又は図３ＢのＶベクトルコード化ユニットの例示的な動作を示すフローチャートである。Ｖベクトルコード化ユニット５２は、Ｖベクトル５５をベクトル量子化するときに使用すべき（２つ以上を意味する）複数のコードブックのうちの１つを選択し得る（７９０）。Ｖベクトルコード化ユニット５２は、次いで、２つ以上のコードブックのうちの選択された１つを使用してＶベクトル５５に関して上記で説明した方法でベクトル量子化を実施し得る（７９２）。Ｖベクトルコード化ユニット５２は、次いで、ビットストリーム２１中でＶベクトル５５を量子化する際に２つ以上のコードブックのうちの１つが使用されたことを示すか又はさもなければ信号伝達し得る（７９４）。
[0194]図２７は、本開示で説明する技法の様々な態様を実施する際のＶベクトル再構成ユニットの例示的な動作を示すフローチャートである。図４Ａ又は図４ＢのＶベクトル再構成ユニット７４は、最初に、Ｖベクトル５５をベクトル量子化するときに使用された２つ以上のコードブックのうちの１つの（シンタックス要素などの）指示を取得し得る（８００）。Ｖベクトル再構成ユニット７４は、次いで、上記で説明した方法で２つ以上のコードブックのうちの選択された１つを使用してＶベクトル５５を再構成するためにベクトル逆量子化を実施し得る（８０２）。
[0195]本技法の様々な態様は、以下の条項に記載された機器を可能にし得る。
[0196]条項１。音場の空間成分に関してベクトル量子化を実施するときに使用すべき複数のコードブックを記憶するための手段と、空間成分が、複数の高次アンビソニック係数への分解の適用を通して取得される、複数のコードブックのうちの１つを選択するための手段とを備える機器。
[0197]条項２。ベクトル量子化された空間成分を含むビットストリーム中のシンタックス要素を指定するための手段を更に備え、シンタックス要素が、空間成分のベクトル量子化を実施するときに使用された重み値を有する複数のコードブックのうちの選択された１つへのインデックスを識別する、条項１の機器。
[0198]条項３。ベクトル量子化された空間成分を含むビットストリーム中のシンタックス要素を指定するための手段を更に備え、シンタックス要素が、空間成分のベクトル量子化を実施するときに使用されたコードベクトルを有するベクトル辞書へのインデックスを識別する、条項１の機器。
[0199]条項４。複数のコードブックのうちの１つを選択するための手段が、ベクトル量子化を実施するときに使用された幾つかのコードベクトルに基づいて複数のコードブックのうちの１つを選択するための手段を備える、条項１の方法。
[0200]本技法の様々な態様はまた、以下の条項に記載された機器を可能にし得る。
[0201]条項５。ＨＯＡ係数の分解バージョンを生成するために複数の高次アンビソニック（ＨＯＡ）係数に関して分解を実施するための手段と、コードベクトルのセットに基づいて、ＨＯＡ係数の分解バージョン中に含まれるベクトルを表す１つ又は複数の重み値を決定するための手段と、重み値の各々が、ベクトルを表すコードベクトルの重み付き和中に含まれる複数の重みのうちのそれぞれ１つに対応する、を備える装置。
[0202]条項６。候補分解コードブックのセットから分解コードブックを選択するための手段を更に備え、ここにおいて、コードベクトルのセットに基づいて１つ又は複数の重み値を決定するための手段が、選択された分解コードブックによって指定されるコードベクトルのセットに基づいて重み値を決定するための手段を備える、条項５の装置。
[0203]条項７。候補分解コードブックの各々が複数のコードベクトルを含み、候補分解コードブックのうちの少なくとも２つが異なる数のコードベクトルを有する、条項６の装置。
[0204]条項８。重みを決定するためにどのコードベクトルが使用されるかを示す１つ又は複数のインデックスを含むようにビットストリームを生成するための手段と、インデックスの各々に対応する重み付け値を更に含むようにビットストリームを生成するための手段とを更に備える、請求項５に記載の装置。
[0205]上記の技法のいずれも、任意の数の異なるコンテキスト及びオーディオエコシステムに関して実施され得る。幾つかの例示的なコンテキストについて以下で説明するが、本技法はそれらの例示的なコンテキストに限定されるべきではない。１つの例示的なオーディオエコシステムは、オーディオコンテンツと、映画スタジオと、音楽スタジオと、ゲーミングオーディオスタジオと、チャネルベースオーディオコンテンツと、コード化エンジンと、ゲームオーディオステムと、ゲームオーディオコード化／レンダリングエンジンと、配信システムとを含み得る。
[0206]映画スタジオ、音楽スタジオ、及びゲーミングオーディオスタジオは、オーディオコンテンツを受信し得る。幾つかの例では、オーディオコンテンツは、獲得物の出力を表し得る。映画スタジオは、デジタルオーディオワークステーション（ＤＡＷ）を使用することなどによって、（例えば、２．０、５．１、及び７．１の）チャネルベースオーディオコンテンツを出力し得る。音楽スタジオは、ＤＡＷを使用することなどによって、（例えば、２．０、及び５．１の）チャネルベースオーディオコンテンツを出力し得る。いずれの場合も、コード化エンジンは、配信システムによる出力のために、チャネルベースオーディオコンテンツベースの１つ又は複数のコーデック（例えば、ＡＡＣ、ＡＣ３、ドルビートゥルーＨＤ、ドルビーデジタルプラス、及びＤＴＳマスタオーディオ）を受信し符号化し得る。ゲーミングオーディオスタジオは、ＤＡＷを使用することなどによって、１つ又は複数のゲームオーディオステムを出力し得る。ゲームオーディオコード化／レンダリングエンジンは、配信システムによる出力のために、オーディオステムをチャネルベースオーディオコンテンツへとコード化及び又はレンダリングし得る。本技法が実施され得る別の例示的なコンテキストは、放送録音オーディオオブジェクトと、プロフェッショナルオーディオシステムと、消費者向けオン機器キャプチャと、ＨＯＡオーディオフォーマットと、オン機器レンダリングと、消費者向けオーディオと、ＴＶ、及びアクセサリと、カーオーディオシステムとを含み得る、オーディオエコシステムを備える。
[0207]放送録音オーディオオブジェクト、プロフェッショナルオーディオシステム、及び消費者向けオン機器キャプチャは全て、ＨＯＡオーディオフォーマットを使用してそれらの出力をコード化し得る。このようにして、オーディオコンテンツは、オン機器レンダリング、消費者向けオーディオ、ＴＶ及びアクセサリ並びにカーオーディオシステムを使用して再生され得る単一の表現へと、ＨＯＡオーディオフォーマットを使用してコード化され得る。言い換えれば、オーディオコンテンツの単一の表現は、オーディオ再生システム１６など、汎用的なオーディオ再生システムにおいて（即ち、５．１、７．１などの特定の構成を必要とすることとは対照的に）再生され得る。
[0208]本技法が実施され得るコンテキストの他の例には、獲得要素と再生要素とを含み得るオーディオエコシステムがある。獲得要素は、ワイヤード及び／又はワイヤレス獲得機器（例えば、Ｅｉｇｅｎマイクロフォン）、オン機器サラウンドサウンドキャプチャ並びにモバイル機器（例えば、スマートフォン及びタブレット）を含み得る。幾つかの例では、ワイヤード及び／又はワイヤレス獲得機器は、ワイヤード及び／又はワイヤレス通信チャネルを介してモバイル機器に結合され得る。
[0209]本開示の１つ又は複数の技法によれば、モバイル機器は、音場を獲得するために使用され得る。例えば、モバイル機器は、ワイヤード及び／又はワイヤレス獲得機器及び／又はオン機器サラウンドサウンド取込み（例えば、モバイル機器に統合された複数のマイクロフォン）を介して、音場を獲得し得る。モバイル機器は、次いで、再生要素のうちの１つ又は複数による再生のために、獲得された音場をＨＯＡ係数へとコード化し得る。例えば、モバイル機器のユーザは、ライブイベント（例えば、会合、会議、劇、コンサートなど）を記録し（その音場を獲得し）、記録をＨＯＡ係数へとコード化し得る。
[0210]モバイル機器はまた、ＨＯＡコード化された音場を再生するために、再生要素のうちの１つ又は複数を利用し得る。例えば、モバイル機器は、ＨＯＡコード化された音場を復号し、再生要素のうちの１つ又は複数に信号を出力し得、それにより、再生要素のうちの１つ又は複数は音場を再作成することになる。一例として、モバイル機器は、１つ又は複数のスピーカ（例えば、スピーカアレイ、サウンドバーなど）に信号を出力するためにワイヤレス及び／又はワイヤレス通信チャネルを利用し得る。別の例として、モバイル機器は、１つ又は複数のドッキングステーション及び／又は１つ又は複数のドッキングされたスピーカ（例えば、スマートカー及び／又はスマートホーム内のサウンドシステム）に信号を出力するために、ドッキングソリューションを利用し得る。別の例として、モバイル機器は、ヘッドフォンのセットに信号を出力するために、例えばリアルなバイノーラルサウンドを作成するために、ヘッドフォンレンダリングを利用し得る。
[0211]幾つかの例では、特定のモバイル機器は、３Ｄ音場を獲得することと、より後の時間に同じ３Ｄ音場を再生することの両方を行い得る。幾つかの例では、モバイル機器は、３Ｄ音場を獲得し、３Ｄ音場をＨＯＡへと符号化し、符号化された３Ｄ音場を再生のために１つ又は複数の他の機器（例えば、他のモバイル機器及び／又は他の非モバイル機器）に送信し得る。
[0212]本技法が実行され得るまた別のコンテキストは、オーディオコンテンツと、ゲームスタジオと、コード化されたオーディオコンテンツと、レンダリングエンジンと、配信システムとを含み得る、オーディオエコシステムを含む。幾つかの例では、ゲームスタジオは、ＨＯＡ信号の編集をサポートし得る１つ又は複数のＤＡＷを含み得る。例えば、１つ又は複数のＤＡＷは、１つ又は複数のゲームオーディオシステムとともに動作する（例えば、機能する）ように構成され得るＨＯＡプラグイン及び／又はツールを含み得る。幾つかの例では、ゲームスタジオは、ＨＯＡをサポートする新しいステムフォーマットを出力し得る。いずれの場合も、ゲームスタジオは、配信システムによる再生のために音場をレンダリングし得るレンダリングエンジンに、コード化されたオーディオコンテンツを出力し得る。
[0213]本技法はまた、例示的なオーディオ獲得機器に関して実施され得る。例えば、本技法は、３Ｄ音場を記録するようにまとめて構成された複数のマイクロフォンを含み得る、Ｅｉｇｅｎマイクロフォンに関して実施され得る。幾つかの例では、Ｅｉｇｅｎマイクロフォンの複数のマイクロフォンは、約４ｃｍの半径を伴う実質的に球状の球体の表面に配置され得る。幾つかの例では、オーディオ符号化機器２０は、マイクロフォンから直接ビットストリーム２１を出力するために、Ｅｉｇｅｎマイクロフォンに統合され得る。
[0214]別の例示的なオーディオ獲得コンテキストは、１つ又は複数のＥｉｇｅｎマイクロフォンなど、１つ又は複数のマイクロフォンから信号を受信するように構成され得る、製作トラックを含み得る。製作トラックはまた、図３Ａのオーディオエンコーダ２０などのオーディオエンコーダを含み得る。
[02151]モバイル機器はまた、幾つかの事例では、３Ｄ音場を記録するようにまとめて構成された複数のマイクロフォンを含み得る。言い換えれば、複数のマイクロフォンは、Ｘ、Ｙ、Ｚのダイバーシティを有し得る。幾つかの例では、モバイル機器は、モバイル機器の１つ又は複数の他のマイクロフォンに関してＸ、Ｙ、Ｚのダイバーシティを提供するように回転され得るマイクロフォンを含み得る。モバイル機器はまた、図３Ａのオーディオエンコーダ２０などのオーディオエンコーダを含み得る。
[0216]耐衝撃性の撮像装置は、３Ｄ音場を記録するように更に構成され得る。幾つかの例では、耐衝撃性の撮像装置は、ある活動に関与するユーザのヘルメットに取り付けられ得る。例えば、耐衝撃性の撮像装置は、急流下りをしているユーザのヘルメットに取り付けられ得る。このようにして、耐衝撃性の撮像装置は、ユーザの周り全ての活動（例えば、ユーザの後ろでくだける水、ユーザの前で話している別の乗員など）を表す３Ｄ音場を取込み得る。
[0217]本技法はまた、３Ｄ音場を記録するように構成され得る、アクセサリで増強されたモバイル機器に関して実施され得る。幾つかの例では、モバイル機器は、上記で説明したモバイル機器と同様であり得るが、１つ又は複数のアクセサリが追加されている。例えば、Ｅｉｇｅｎマイクロフォンが、アクセサリで増強されたモバイル機器を形成するために、上述したモバイル機器に取り付けられ得る。このようにして、アクセサリで増強されたモバイル機器は、アクセサリで増強されたモバイル機器と一体のサウンドキャプチャ構成要素をただ使用するよりも高品質なバージョンの３Ｄ音場を取込み得る。
[0218]本開示で説明する本技法の様々な態様を実施し得る例示的なオーディオ再生機器について、以下で更に説明する。本開示の１つ又は複数の技法によれば、スピーカ及び／又はサウンドバーは、あらゆる任意の構成で配置され得るが、一方で、依然として３Ｄ音場を再生する。その上、幾つかの例では、ヘッドフォン再生機器が、ワイヤード接続又はワイヤレス接続のいずれかを介してデコーダ２４に結合され得る。本開示の１つ又は複数の技法によれば、音場の単一の汎用的な表現が、スピーカ、サウンドバー及びヘッドフォン再生機器の任意の組合せで音場をレンダリングするために利用され得る。
[0219]また、幾つかの異なる例示的なオーディオ再生環境は、本開示で説明する技法の様々な態様を実施するために好適であり得る。例えば、５．１スピーカ再生環境、２．０（例えば、ステレオ）スピーカ再生環境、フルハイトフロントラウドスピーカを伴う９．１スピーカ再生環境、２２．２スピーカ再生環境、１６．０スピーカ再生環境、自動車スピーカ再生環境及びイヤバッド再生環境を伴うモバイル機器は、本開示で説明する技法の様々な態様を実施するために好適な環境であり得る。
[0220]本開示の１つ又は複数の技法によれば、音場の単一の汎用的な表現が、上記の再生環境のいずれかにおいて音場をレンダリングするために利用され得る。加えて、本開示の技法は、レンダードが、上記で説明したもの以外の再生環境での再生のために、汎用的な表現から音場をレンダリングすることを可能にする。例えば、設計上の考慮事項が、７．１スピーカ再生環境に従ったスピーカの適切な配置を妨げる場合（例えば、右側のサラウンドスピーカを配置することが可能ではない場合）、本開示の技法は、再生が６．１スピーカ再生環境で達成され得るように、レンダーが他の６つのスピーカで補償することを可能にする。
[0221]その上、ユーザは、ヘッドフォンを装着しながらスポーツの試合を見得る。本開示の１つ又は複数の技法によれば、スポーツの試合の３Ｄ音場が獲得され得（例えば、１つ又は複数のＥｉｇｅｎマイクロフォンが野球場の中及び／又は周りに配置され得）、３Ｄ音場に対応するＨＯＡ係数が取得されデコーダに送信され得、デコーダはＨＯＡ係数に基づいて３Ｄ音場を再構成して、再構成された３Ｄ音場をレンダラに出力し得、レンダラは、再生環境のタイプ（例えば、ヘッドフォン）についての指示を取得し、再構成された３Ｄ音場を、ヘッドフォンにスポーツの試合の３Ｄ音場の表現を出力させる信号へとレンダリングし得る。
[0222]上記で説明した様々な事例の各々において、オーディオ符号化機器２０は、ある方法を実施し、又はさもなければ、オーディオ符号化機器２０が実施するように構成された方法の各ステップを実施するための手段を備え得ることを理解されたい。幾つかの事例では、これらの手段は１つ又は複数のプロセッサを備え得る。幾つかの事例では、１つ又は複数のプロセッサは、非一時的コンピュータ可読記憶媒体に記憶される命令によって構成された専用プロセッサを表し得る。言い換えれば、符号化の例のセットの各々における本技法の様々な態様は、実行されると、１つ又は複数のプロセッサに、オーディオ符号化機器２０が実施するように構成されている方法を実施させる命令を記憶した、非一時的コンピュータ可読記憶媒体を提供し得る。
[0223]１つ又は複数の例において、説明した機能は、ハードウェア、ソフトウェア、ファームウェア又はそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つ又は複数の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、又はコンピュータ可読媒体を通じて送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。データ記憶媒体は、本開示で説明する技法の実装のために命令、コード及び／又はデータ構造を取り出すために、１つ又は複数のコンピュータあるいは１つ又は複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[0224]同様に、上記で説明した様々な事例の各々において、オーディオ復号機器２４は、ある方法を実施し、又はさもなければ、オーディオ復号機器２４が実施するように構成された方法の各ステップを実施するための手段を備え得ることを理解されたい。幾つかの事例では、この手段は１つ又は複数のプロセッサを備え得る。幾つかの事例では、１つ又は複数のプロセッサは、非一時的コンピュータ可読記憶媒体に記憶される命令によって構成された専用プロセッサを表し得る。言い換えれば、符号化の例のセットの各々における本技法の様々な態様は、実行されると、１つ又は複数のプロセッサに、オーディオ復号機器２４が実施するように構成されている方法を実施させる命令を記憶した、非一時的コンピュータ可読記憶媒体を提供し得る。
[0225]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭ又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置、フラッシュメモリ若しくは命令又はデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号又は他の一時的媒体を含むのではなく、代わりに、非一時的な有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）及びディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）及びＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ここで、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[0226]命令は、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）又は他の等価な集積回路又はディスクリート論理回路など、１つ以上のプロセッサによって実行され得る。従って、本明細書で使用する「プロセッサ」という用語は、上記の構造又は本明細書で説明した技法の実装に好適な任意の他の構造のいずれかを指し得る。更に、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成されるか、又は複合コーデックに組み込まれる、専用ハードウェア及び／又はソフトウェアモジュール内で提供され得る。また、本技法は、１つ又は複数の回路又は論理要素において十分に実装され得る。
[0227]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）又はＩＣのセット（例えば、チップセット）を含む、多種多様な機器又は装置で実装され得る。本開示では、開示する技法を実施するように構成された機器の機能的態様を強調するために様々な構成要素、モジュール又はユニットについて説明したが、それらの構成要素、モジュール又はユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェア及び／又はファームウェアとともに、上記で説明した１つ又は複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わされるか、又は相互動作ハードウェアユニットの集合によって与えられ得る。
[0228]本技法の様々な態様について説明した。本技法のこれら及び他の態様は以下の特許請求の範囲内に入る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ オーディオデータを復号する方法であって、前記方法が、
音場のベクトル量子化された空間成分に関してベクトル逆量子化を実施するときに使用すべき複数のコードブックのうちの１つを選択することを備え、前記ベクトル量子化された空間成分が、複数の高次アンビソニック係数への分解の適用を通して取得される、方法。
［Ｃ２］ 前記複数のコードブックの各々が、前記ベクトル逆量子化を実施するときに使用されるコードベクトルに関連付けられるべき重み値を指定する、Ｃ１に記載の方法。
［Ｃ３］ 前記複数のコードブックのうちの１つが、前記ベクトル逆量子化を実施するときに使用されるコードベクトルに関連付けられるべき８つの重み値を指定する、Ｃ１に記載の方法。
［Ｃ４］ 前記複数のコードブックのうちの１つが、前記ベクトル逆量子化を実施するときに使用されるコードベクトルに関連付けられるべき２５６個の重み値を指定する、Ｃ１に記載の方法。
［Ｃ５］ 前記ベクトル量子化された空間成分を含むビットストリームからのシンタックス要素を取得することをさらに備え、前記シンタックス要素が、前記複数のコードブックのうちの前記選択された１つを識別する、Ｃ１に記載の方法。
［Ｃ６］ 複数のコードブックのうちの１つを選択することが、前記ベクトル逆量子化を実施するときに使用された幾つかのコードベクトルに基づいて前記複数のコードブックのうちの前記１つを選択することを備える、Ｃ１に記載の方法。
［Ｃ７］ 複数のコードブックのうちの１つを選択することは、前記ベクトル逆量子化を実施するときにただ１つのコードベクトルが使用されるとき、８つの重み値を有する前記複数のコードブックのうちの前記１つを選択することを備える、Ｃ１に記載の方法。
［Ｃ８］ 複数のコードブックのうちの１つを選択することは、前記ベクトル逆量子化を実施するときに２つから８つのコードベクトルが使用されるとき、２５６個の重み値を有する前記複数のコードブックのうちの前記１つを選択することを備える、Ｃ１に記載の方法。
［Ｃ９］ 前記複数のコードブックは、２５６個の行を有し各行中に８つの重み値があるコードブックと、９００個の行を有し各行中に単一の重み値があるコードブックとを備える、Ｃ１に記載の方法。
［Ｃ１０］ 音場のベクトル量子化された空間成分に関してベクトル逆量子化を実施するときに使用すべき複数のコードブックを記憶するように構成されたメモリと、前記ベクトル量子化された空間成分が、複数の高次アンビソニック係数への分解の適用を通して取得される、
前記複数のコードブックのうちの１つを選択するように構成された１つ以上のプロセッサとを備える機器。
［Ｃ１１］ 前記１つ以上のプロセッサは、前記ベクトル量子化された空間成分を含むビットストリームからのシンタックス要素を決定することと、前記シンタックス要素が、前記複数のコードブックのうちの前記選択された１つを識別する、前記シンタックス要素によって識別される前記複数のコードブックのうちの前記選択された１つに基づいて前記ベクトル量子化された空間成分に関して前記ベクトル逆量子化を実施することとを行うようにさらに構成された、Ｃ１０に記載の機器。
［Ｃ１２］ 前記１つ以上のプロセッサが、前記ベクトル量子化された空間成分を含むビットストリームからのシンタックス要素を決定するようにさらに構成され、前記シンタックス要素が、前記ベクトル逆量子化を実施するときに使用された重み値を有する前記複数のコードブックのうちの前記選択された１つへのインデックスを識別する、Ｃ１０に記載の機器。
［Ｃ１３］ 前記１つ以上のプロセッサは、前記ベクトル量子化された空間成分を含むビットストリームからの第１のシンタックス要素と第２のシンタックス要素とを決定することと、ここにおいて、前記第１のシンタックス要素が、前記複数のコードブックのうちの前記選択された１つを識別し、前記第２のシンタックス要素が、前記ベクトル逆量子化を実施するときに使用された重み値を有する前記複数のコードブックのうちの前記選択された１つへのインデックスを識別する、前記第２のシンタックス要素によって識別される前記複数のコードブックのうちの前記選択された１つからの前記第１のシンタックス要素によって識別される前記重み値に基づいて、前記ベクトル量子化された空間成分に関して前記ベクトル逆量子化を実施することとを行うようにさらに構成された、Ｃ１０に記載の機器。
［Ｃ１４］ 前記１つ以上のプロセッサが、前記ベクトル量子化された空間成分を含むビットストリームからのシンタックス要素を決定するようにさらに構成され、前記シンタックス要素が、前記ベクトル逆量子化を実施するときに使用されたコードベクトルを有するベクトル辞書へのインデックスを識別する、Ｃ１０に記載の機器。
［Ｃ１５］ 前記１つ以上のプロセッサは、前記ベクトル量子化された空間成分を含むビットストリームからの第１のシンタックス要素と第２のシンタックス要素と第３のシンタックス要素とを決定することと、ここにおいて、前記第１のシンタックス要素が、前記複数のコードブックのうちの前記選択された１つを識別し、前記第２のシンタックス要素が、前記ベクトル逆量子化を実施するときに使用された重み値を有する前記複数のコードブックのうちの前記選択された１つへのインデックスを識別し、前記第３のシンタックス要素が、前記ベクトル逆量子化を実施するときに使用されたコードベクトルを有するベクトル辞書へのインデックスを識別する、前記第２のシンタックス要素によって識別される前記複数のコードブックのうちの前記選択された１つからの前記第１のシンタックス要素によって識別される前記重み値と、前記第３のシンタックス要素によって識別される前記コードベクトルとに基づいて、前記ベクトル量子化された空間成分に関して前記ベクトル逆量子化を実施することとを行うようにさらに構成された、Ｃ１０に記載の機器。
［Ｃ１６］ 前記１つ以上のプロセッサが、前記ベクトル逆量子化を実施するときに使用された幾つかのコードベクトルに基づいて前記複数のコードブックのうちの前記１つを選択するように構成された、Ｃ１０に記載の機器。
［Ｃ１７］ 前記１つ以上のプロセッサは、前記ベクトル逆量子化を実施するときにただ１つのコードベクトルが使用されるとき、８つの重み値を有する前記複数のコードブックのうちの前記１つを選択するように構成された、Ｃ１０に記載の機器。
［Ｃ１８］ 前記１つ以上のプロセッサは、前記ベクトル逆量子化を実施するときに２つから８つのコードベクトルが使用されるとき、２５４個の重み値を有する前記複数のコードブックのうちの前記１つを選択するように構成された、Ｃ１０に記載の機器。
［Ｃ１９］ 前記複数のコードブックは、２５２個の行を有し各行中に６つの重み値があるコードブックと、８９６個の行を有し各行中に単一の重み値があるコードブックとを備える、Ｃ１０に記載の機器。
［Ｃ２０］ 前記１つ以上のプロセッサは、音場の前記ａベクトル量子化された空間成分に基づいて前記高次アンビソニック係数を再構成し、前記高次アンビソニック係数をラウドスピーカフィードにレンダリングするようにさらに構成され、
前記機器が、前記高次アンビソニック係数によって表される前記音場を再生するために前記ラウドスピーカフィードによって駆動されるスピーカをさらに備える、Ｃ１０に記載の機器。
［Ｃ２１］ 音場のベクトル量子化された空間成分に関してベクトル逆量子化を実施するときに使用すべき複数のコードブックを記憶するための手段と、前記ベクトル量子化された空間成分が、複数の高次アンビソニック係数への分解の適用を通して取得される、
前記複数のコードブックのうちの１つを選択するための手段とを備える機器。
［Ｃ２２］ 前記ベクトル量子化された空間成分を含むビットストリームからのシンタックス要素を決定するための手段をさらに備え、前記シンタックス要素が、前記複数のコードブックのうちの前記選択された１つを識別する、Ｃ２１に記載の機器。
［Ｃ２３］ 前記ベクトル量子化された空間成分を含むビットストリームからのシンタックス要素を決定するための手段と、前記シンタックス要素が、前記複数のコードブックのうちの前記選択された１つを識別する、
前記シンタックス要素によって識別される前記複数のコードブックのうちの前記選択された１つに基づいて、前記ベクトル量子化された空間成分に関して前記ベクトル逆量子化を実施するための手段とをさらに備える、Ｃ２１に記載の機器。
［Ｃ２４］ 前記ベクトル量子化された空間成分を含むビットストリームからのシンタックス要素を決定するための手段をさらに備え、前記複数のコードブックのうちの前記選択された１つへのインデックスを前記識別することが、前記ベクトル逆量子化を実施するときに使用された重み値を有する、Ｃ２１に記載の機器。
［Ｃ２５］ 音場の空間成分に関してベクトル量子化を実施するときに使用すべき複数のコードブックを記憶するように構成されたメモリと、前記空間成分が、複数の高次アンビソニック係数への分解の適用を通して取得される、
前記複数のコードブックのうちの１つを選択するように構成された１つ以上のプロセッサとを備える機器。
［Ｃ２６］ 複数のコードブックのうちの１つを選択することは、前記ベクトル量子化を実施するときにただ１つのコードベクトルが使用されるとき、８つの重み値を有する前記複数のコードブックのうちの前記１つを選択することを備える、Ｃ２５に記載の機器。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ オーディオデータを復号する方法であって、前記方法が、
音場のベクトル量子化された空間成分に関してベクトル逆量子化を実施するときに使用すべき複数のコードブックのうちの１つを選択することを備え、前記ベクトル量子化された空間成分が、複数の高次アンビソニック係数への分解の適用を通して取得される、方法。
［Ｃ２］ 前記複数のコードブックの各々が、前記ベクトル逆量子化を実施するときに使用されるコードベクトルに関連付けられるべき重み値を指定する、Ｃ１に記載の方法。
［Ｃ３］ 前記複数のコードブックのうちの１つが、前記ベクトル逆量子化を実施するときに使用されるコードベクトルに関連付けられるべき８つの重み値を指定する、Ｃ１に記載の方法。
［Ｃ４］ 前記複数のコードブックのうちの１つが、前記ベクトル逆量子化を実施するときに使用されるコードベクトルに関連付けられるべき２５６個の重み値を指定する、Ｃ１に記載の方法。
［Ｃ５］ 前記ベクトル量子化された空間成分を含むビットストリームからのシンタックス要素を取得することをさらに備え、前記シンタックス要素が、前記複数のコードブックのうちの前記選択された１つを識別する、Ｃ１に記載の方法。
［Ｃ６］ 複数のコードブックのうちの１つを選択することが、前記ベクトル逆量子化を実施するときに使用された幾つかのコードベクトルに基づいて前記複数のコードブックのうちの前記１つを選択することを備える、Ｃ１に記載の方法。
［Ｃ７］ 複数のコードブックのうちの１つを選択することは、前記ベクトル逆量子化を実施するときにただ１つのコードベクトルが使用されるとき、８つの重み値を有する前記複数のコードブックのうちの前記１つを選択することを備える、Ｃ１に記載の方法。
［Ｃ８］ 複数のコードブックのうちの１つを選択することは、前記ベクトル逆量子化を実施するときに２つから８つのコードベクトルが使用されるとき、２５６個の重み値を有する前記複数のコードブックのうちの前記１つを選択することを備える、Ｃ１に記載の方法。
［Ｃ９］ 前記複数のコードブックは、２５６個の行を有し各行中に８つの重み値があるコードブックと、９００個の行を有し各行中に単一の重み値があるコードブックとを備える、Ｃ１に記載の方法。
［Ｃ１０］ 音場のベクトル量子化された空間成分に関してベクトル逆量子化を実施するときに使用すべき複数のコードブックを記憶するように構成されたメモリと、前記ベクトル量子化された空間成分が、複数の高次アンビソニック係数への分解の適用を通して取得される、
前記複数のコードブックのうちの１つを選択するように構成された１つ以上のプロセッサとを備える機器。
［Ｃ１１］ 前記１つ以上のプロセッサは、前記ベクトル量子化された空間成分を含むビットストリームからのシンタックス要素を決定することと、前記シンタックス要素が、前記複数のコードブックのうちの前記選択された１つを識別する、前記シンタックス要素によって識別される前記複数のコードブックのうちの前記選択された１つに基づいて前記ベクトル量子化された空間成分に関して前記ベクトル逆量子化を実施することとを行うようにさらに構成された、Ｃ１０に記載の機器。
［Ｃ１２］ 前記１つ以上のプロセッサが、前記ベクトル量子化された空間成分を含むビットストリームからのシンタックス要素を決定するようにさらに構成され、前記シンタックス要素が、前記ベクトル逆量子化を実施するときに使用された重み値を有する前記複数のコードブックのうちの前記選択された１つへのインデックスを識別する、Ｃ１０に記載の機器。
［Ｃ１３］ 前記１つ以上のプロセッサは、前記ベクトル量子化された空間成分を含むビットストリームからの第１のシンタックス要素と第２のシンタックス要素とを決定することと、ここにおいて、前記第１のシンタックス要素が、前記複数のコードブックのうちの前記選択された１つを識別し、前記第２のシンタックス要素が、前記ベクトル逆量子化を実施するときに使用された重み値を有する前記複数のコードブックのうちの前記選択された１つへのインデックスを識別する、前記第２のシンタックス要素によって識別される前記複数のコードブックのうちの前記選択された１つからの前記第１のシンタックス要素によって識別される前記重み値に基づいて、前記ベクトル量子化された空間成分に関して前記ベクトル逆量子化を実施することとを行うようにさらに構成された、Ｃ１０に記載の機器。
［Ｃ１４］ 前記１つ以上のプロセッサが、前記ベクトル量子化された空間成分を含むビットストリームからのシンタックス要素を決定するようにさらに構成され、前記シンタックス要素が、前記ベクトル逆量子化を実施するときに使用されたコードベクトルを有するベクトル辞書へのインデックスを識別する、Ｃ１０に記載の機器。
［Ｃ１５］ 前記１つ以上のプロセッサは、前記ベクトル量子化された空間成分を含むビットストリームからの第１のシンタックス要素と第２のシンタックス要素と第３のシンタックス要素とを決定することと、ここにおいて、前記第１のシンタックス要素が、前記複数のコードブックのうちの前記選択された１つを識別し、前記第２のシンタックス要素が、前記ベクトル逆量子化を実施するときに使用された重み値を有する前記複数のコードブックのうちの前記選択された１つへのインデックスを識別し、前記第３のシンタックス要素が、前記ベクトル逆量子化を実施するときに使用されたコードベクトルを有するベクトル辞書へのインデックスを識別する、前記第２のシンタックス要素によって識別される前記複数のコードブックのうちの前記選択された１つからの前記第１のシンタックス要素によって識別される前記重み値と、前記第３のシンタックス要素によって識別される前記コードベクトルとに基づいて、前記ベクトル量子化された空間成分に関して前記ベクトル逆量子化を実施することとを行うようにさらに構成された、Ｃ１０に記載の機器。
［Ｃ１６］ 前記１つ以上のプロセッサが、前記ベクトル逆量子化を実施するときに使用された幾つかのコードベクトルに基づいて前記複数のコードブックのうちの前記１つを選択するように構成された、Ｃ１０に記載の機器。
［Ｃ１７］ 前記１つ以上のプロセッサは、前記ベクトル逆量子化を実施するときにただ１つのコードベクトルが使用されるとき、８つの重み値を有する前記複数のコードブックのうちの前記１つを選択するように構成された、Ｃ１０に記載の機器。
［Ｃ１８］ 前記１つ以上のプロセッサは、前記ベクトル逆量子化を実施するときに２つから８つのコードベクトルが使用されるとき、２５４個の重み値を有する前記複数のコードブックのうちの前記１つを選択するように構成された、Ｃ１０に記載の機器。
［Ｃ１９］ 前記複数のコードブックは、２５２個の行を有し各行中に６つの重み値があるコードブックと、８９６個の行を有し各行中に単一の重み値があるコードブックとを備える、Ｃ１０に記載の機器。
［Ｃ２０］ 前記１つ以上のプロセッサは、音場の前記ａベクトル量子化された空間成分に基づいて前記高次アンビソニック係数を再構成し、前記高次アンビソニック係数をラウドスピーカフィードにレンダリングするようにさらに構成され、
前記機器が、前記高次アンビソニック係数によって表される前記音場を再生するために前記ラウドスピーカフィードによって駆動されるスピーカをさらに備える、Ｃ１０に記載の機器。
［Ｃ２１］ 音場のベクトル量子化された空間成分に関してベクトル逆量子化を実施するときに使用すべき複数のコードブックを記憶するための手段と、前記ベクトル量子化された空間成分が、複数の高次アンビソニック係数への分解の適用を通して取得される、
前記複数のコードブックのうちの１つを選択するための手段とを備える機器。
［Ｃ２２］ 前記ベクトル量子化された空間成分を含むビットストリームからのシンタックス要素を決定するための手段をさらに備え、前記シンタックス要素が、前記複数のコードブックのうちの前記選択された１つを識別する、Ｃ２１に記載の機器。
［Ｃ２３］ 前記ベクトル量子化された空間成分を含むビットストリームからのシンタックス要素を決定するための手段と、前記シンタックス要素が、前記複数のコードブックのうちの前記選択された１つを識別する、
前記シンタックス要素によって識別される前記複数のコードブックのうちの前記選択された１つに基づいて、前記ベクトル量子化された空間成分に関して前記ベクトル逆量子化を実施するための手段とをさらに備える、Ｃ２１に記載の機器。
［Ｃ２４］ 前記ベクトル量子化された空間成分を含むビットストリームからのシンタックス要素を決定するための手段をさらに備え、前記複数のコードブックのうちの前記選択された１つへのインデックスを前記識別することが、前記ベクトル逆量子化を実施するときに使用された重み値を有する、Ｃ２１に記載の機器。
［Ｃ２５］ 音場の空間成分に関してベクトル量子化を実施するときに使用すべき複数のコードブックを記憶するように構成されたメモリと、前記空間成分が、複数の高次アンビソニック係数への分解の適用を通して取得される、
前記複数のコードブックのうちの１つを選択するように構成された１つ以上のプロセッサとを備える機器。
［Ｃ２６］ 複数のコードブックのうちの１つを選択することは、前記ベクトル量子化を実施するときにただ１つのコードベクトルが使用されるとき、８つの重み値を有する前記複数のコードブックのうちの前記１つを選択することを備える、Ｃ２５に記載の機器。
Claims (13)
- 音場のベクトル量子化された空間成分に関してベクトル逆量子化を実施するときに使用する複数のコードブックを記憶するように構成されたメモリと、前記ベクトル量子化された空間成分が、球面調和領域において定義され、前記音場の複数の高次アンビソニック係数への分解の適用を通して取得され、ここにおいて、前記分解は、線形的に無相関な、エネルギー圧縮された前記複数の高次アンビソニック係数を提供する、
前記複数のコードブックのうちの１つを選択することと、
前記音場のベクトル逆量子化された空間成分を取得するために、前記複数のコードブックのうちの前記選択された１つを使用して、前記ベクトル量子化された空間成分に関してベクトル逆量子化を実施することと
を行うように構成された１つ以上のプロセッサと、
ここにおいて、前記１つ以上のプロセッサは、
前記ベクトル量子化された空間成分を含むビットストリームからの第１のシンタックス要素と第２のシンタックス要素とを決定することと、ここにおいて、前記第１のシンタックス要素が、前記複数のコードブックのうちの前記選択された１つを識別し、前記第２のシンタックス要素が、前記ベクトル逆量子化を実施するときに使用される重み値を有する前記複数のコードブックのうちの前記選択された１つへのインデックスを識別する、
前記第１のシンタックス要素によって識別される前記選択された１つのコードブックから前記第２のシンタックス要素によって識別される前記重み値に基づいて、前記ベクトル量子化された空間成分に関して前記ベクトル逆量子化を実施することと
を行うようにさらに構成される、
を備える機器。 - 前記１つ以上のプロセッサは、前記ベクトル量子化された空間成分を含むビットストリームからの第１のシンタックス要素と第２のシンタックス要素と第３のシンタックス要素とを決定することと、ここにおいて、前記第１のシンタックス要素が、前記複数のコードブックのうちの前記選択された１つを識別し、前記第２のシンタックス要素が、前記ベクトル逆量子化を実施するときに使用される重み値を有する前記複数のコードブックのうちの前記選択された１つへのインデックスを識別し、前記第３のシンタックス要素が、前記ベクトル逆量子化を実施するときに使用されるコードベクトルを有するベクトル辞書へのインデックスを識別する、前記第１のシンタックス要素によって識別される前記選択された１つのコードブックから前記第２のシンタックス要素によって識別される前記重み値と、前記第３のシンタックス要素によって識別される前記コードベクトルとに基づいて、前記ベクトル量子化された空間成分に関して前記ベクトル逆量子化を実施することとを行うようにさらに構成される、請求項１に記載の機器。
- 前記１つ以上のプロセッサが、前記ベクトル逆量子化を実施するときに使用される幾つかのコードベクトルに基づいて前記複数のコードブックのうちの前記１つを選択するように構成される、請求項１に記載の機器。
- 前記１つ以上のプロセッサは、前記ベクトル逆量子化を実施するときにただ１つのコードベクトルが使用されるとき、８つの重み値を有する前記複数のコードブックのうちの前記１つを選択するように構成される、請求項１に記載の機器。
- 前記１つ以上のプロセッサは、前記ベクトル逆量子化を実施するときに２つから８つのコードベクトルが使用されるとき、２５６個の重み値を有する前記複数のコードブックのうちの前記１つを選択するように構成される、請求項１に記載の機器。
- 前記複数のコードブックは、２５６行を有し、各行中に８つの重み値があるコードブックと、９００行を有し、各行中に単一の重み値があるコードブックとを備える、請求項１に記載の機器。
- 前記１つ以上のプロセッサは、１つ以上のラウドスピーカフィードをレンダリングするように構成される、請求項１に記載の機器。
- 高次アンビソニック係数によって表される前記音場を再生するためにラウドスピーカフィードによって駆動されるスピーカをさらに備える、請求項１に記載の機器。
- 前記１つ以上のプロセッサは、音場の前記ベクトル量子化された空間成分に基づいて前記高次アンビソニック係数を再構成し、前記高次アンビソニック係数をラウドスピーカフィードにレンダリングするようにさらに構成される、請求項８に記載の機器。
- 音場のベクトル量子化された空間成分を含むオーディオデータを復号する方法であって、前記方法は、
音場のベクトル量子化された空間成分に関してベクトル逆量子化を実施するときに使用する複数のコードブックのうちの１つを選択することと、前記ベクトル量子化された空間成分が、球面調和領域において定義され、複数の高次アンビソニック係数への分解の適用を通して取得され、ここにおいて、前記分解は、線形的に無相関な、エネルギー圧縮された前記複数の高次アンビソニック係数を提供する、
前記音場のベクトル逆量子化された空間成分を取得するために、前記複数のコードブックのうちの前記選択された１つを使用して、前記ベクトル量子化された空間成分に関してベクトル逆量子化を実施することと、
を備え、前記方法は、
前記ベクトル量子化された空間成分を含むビットストリームからの第１のシンタックス要素と第２のシンタックス要素とを決定することと、ここにおいて、前記第１のシンタックス要素が、前記複数のコードブックのうちの前記選択された１つを識別し、前記第２のシンタックス要素が、前記ベクトル逆量子化を実施するときに使用される重み値を有する前記複数のコードブックのうちの前記選択された１つへのインデックスを識別する、
前記第１のシンタックス要素によって識別される前記選択された１つのコードブックから前記第２のシンタックス要素によって識別される前記重み値に基づいて、前記ベクトル量子化された空間成分に関して前記ベクトル逆量子化を実施することと
をさらに備える、方法。 - 前記ベクトル逆量子化された空間成分に基づいて、１つ以上のラウドスピーカフィードをレンダリングすることをさらに備える、請求項１０に記載の方法。
- 前記ベクトル逆量子化された空間成分に基づいて、前記高次アンビソニック係数を再構成することをさらに備える、請求項１０に記載の方法。
- 請求項１０ないし１２のいずれか一項に記載の方法をコンピュータに実行させるためのコードを備えたコンピュータ可読記憶媒体。
Applications Claiming Priority (15)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201461994794P | 2014-05-16 | 2014-05-16 | |
| US61/994,794 | 2014-05-16 | ||
| US201462004128P | 2014-05-28 | 2014-05-28 | |
| US62/004,128 | 2014-05-28 | ||
| US201462019663P | 2014-07-01 | 2014-07-01 | |
| US62/019,663 | 2014-07-01 | ||
| US201462027702P | 2014-07-22 | 2014-07-22 | |
| US62/027,702 | 2014-07-22 | ||
| US201462028282P | 2014-07-23 | 2014-07-23 | |
| US62/028,282 | 2014-07-23 | ||
| US201462032440P | 2014-08-01 | 2014-08-01 | |
| US62/032,440 | 2014-08-01 | ||
| US14/712,849 US10770087B2 (en) | 2014-05-16 | 2015-05-14 | Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals |
| US14/712,849 | 2015-05-14 | ||
| PCT/US2015/031192 WO2015176003A1 (en) | 2014-05-16 | 2015-05-15 | Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017521693A JP2017521693A (ja) | 2017-08-03 |
| JP2017521693A5 JP2017521693A5 (ja) | 2018-06-07 |
| JP6728065B2 true JP6728065B2 (ja) | 2020-07-22 |
Family
ID=53274842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016567714A Active JP6728065B2 (ja) | 2014-05-16 | 2015-05-15 | 音場のベクトル量子化された空間成分を含むオーディオデータを復号する方法 |
Country Status (17)
| Country | Link |
|---|---|
| US (1) | US10770087B2 (ja) |
| EP (1) | EP3143616B1 (ja) |
| JP (1) | JP6728065B2 (ja) |
| KR (1) | KR102329373B1 (ja) |
| CN (1) | CN106463129B (ja) |
| AU (1) | AU2015258831B2 (ja) |
| BR (1) | BR112016026822B1 (ja) |
| CA (1) | CA2948563C (ja) |
| CL (1) | CL2016002896A1 (ja) |
| MX (1) | MX361040B (ja) |
| MY (1) | MY189359A (ja) |
| PH (1) | PH12016502273A1 (ja) |
| RU (1) | RU2688275C2 (ja) |
| SG (1) | SG11201608520RA (ja) |
| TW (1) | TWI676983B (ja) |
| WO (1) | WO2015176003A1 (ja) |
| ZA (1) | ZA201607881B (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9667959B2 (en) | 2013-03-29 | 2017-05-30 | Qualcomm Incorporated | RTP payload format designs |
| US9502044B2 (en) | 2013-05-29 | 2016-11-22 | Qualcomm Incorporated | Compression of decomposed representations of a sound field |
| US9466305B2 (en) | 2013-05-29 | 2016-10-11 | Qualcomm Incorporated | Performing positional analysis to code spherical harmonic coefficients |
| US9502045B2 (en) | 2014-01-30 | 2016-11-22 | Qualcomm Incorporated | Coding independent frames of ambient higher-order ambisonic coefficients |
| US9922656B2 (en) | 2014-01-30 | 2018-03-20 | Qualcomm Incorporated | Transitioning of ambient higher-order ambisonic coefficients |
| US9852737B2 (en) | 2014-05-16 | 2017-12-26 | Qualcomm Incorporated | Coding vectors decomposed from higher-order ambisonics audio signals |
| US9620137B2 (en) | 2014-05-16 | 2017-04-11 | Qualcomm Incorporated | Determining between scalar and vector quantization in higher order ambisonic coefficients |
| US9736606B2 (en) | 2014-08-01 | 2017-08-15 | Qualcomm Incorporated | Editing of higher-order ambisonic audio data |
| US9747910B2 (en) | 2014-09-26 | 2017-08-29 | Qualcomm Incorporated | Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework |
| EP3668101B1 (en) * | 2017-08-10 | 2024-03-20 | Saturn Licensing, LLC | Transmission device, transmission method, reception device, and reception method |
| GB2578625A (en) | 2018-11-01 | 2020-05-20 | Nokia Technologies Oy | Apparatus, methods and computer programs for encoding spatial metadata |
| FR3096550B1 (fr) * | 2019-06-24 | 2021-06-04 | Orange | Dispositif de captation sonore à réseau de microphones perfectionné |
| US20200402522A1 (en) * | 2019-06-24 | 2020-12-24 | Qualcomm Incorporated | Quantizing spatial components based on bit allocations determined for psychoacoustic audio coding |
Family Cites Families (175)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IT1159034B (it) | 1983-06-10 | 1987-02-25 | Cselt Centro Studi Lab Telecom | Sintetizzatore vocale |
| US4972344A (en) | 1986-05-30 | 1990-11-20 | Finial Technology, Inc. | Dual beam optical turntable |
| US5363050A (en) | 1990-08-31 | 1994-11-08 | Guo Wendy W | Quantitative dielectric imaging system |
| US5757927A (en) | 1992-03-02 | 1998-05-26 | Trifield Productions Ltd. | Surround sound apparatus |
| JP2626492B2 (ja) | 1993-09-13 | 1997-07-02 | 日本電気株式会社 | ベクトル量子化装置 |
| US5819215A (en) | 1995-10-13 | 1998-10-06 | Dobson; Kurt | Method and apparatus for wavelet based data compression having adaptive bit rate control for compression of digital audio or other sensory data |
| JP3707116B2 (ja) | 1995-10-26 | 2005-10-19 | ソニー株式会社 | 音声復号化方法及び装置 |
| JP3849210B2 (ja) | 1996-09-24 | 2006-11-22 | ヤマハ株式会社 | 音声符号化復号方式 |
| US5821887A (en) | 1996-11-12 | 1998-10-13 | Intel Corporation | Method and apparatus for decoding variable length codes |
| US6167375A (en) * | 1997-03-17 | 2000-12-26 | Kabushiki Kaisha Toshiba | Method for encoding and decoding a speech signal including background noise |
| US6072878A (en) | 1997-09-24 | 2000-06-06 | Sonic Solutions | Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics |
| US6263312B1 (en) | 1997-10-03 | 2001-07-17 | Alaris, Inc. | Audio compression and decompression employing subband decomposition of residual signal and distortion reduction |
| JP3211762B2 (ja) | 1997-12-12 | 2001-09-25 | 日本電気株式会社 | 音声及び音楽符号化方式 |
| AUPP272698A0 (en) | 1998-03-31 | 1998-04-23 | Lake Dsp Pty Limited | Soundfield playback from a single speaker system |
| AU4072400A (en) | 1999-04-05 | 2000-10-23 | Hughes Electronics Corporation | A voicing measure as an estimate of signal periodicity for frequency domain interpolative speech codec system |
| US6370502B1 (en) | 1999-05-27 | 2002-04-09 | America Online, Inc. | Method and system for reduction of quantization-induced block-discontinuities and general purpose audio codec |
| US6782360B1 (en) | 1999-09-22 | 2004-08-24 | Mindspeed Technologies, Inc. | Gain quantization for a CELP speech coder |
| US20020049586A1 (en) | 2000-09-11 | 2002-04-25 | Kousuke Nishio | Audio encoder, audio decoder, and broadcasting system |
| JP2002094989A (ja) | 2000-09-14 | 2002-03-29 | Pioneer Electronic Corp | ビデオ信号符号化装置及びビデオ信号符号化方法 |
| US7660424B2 (en) | 2001-02-07 | 2010-02-09 | Dolby Laboratories Licensing Corporation | Audio channel spatial translation |
| US20020169735A1 (en) | 2001-03-07 | 2002-11-14 | David Kil | Automatic mapping from data to preprocessing algorithms |
| GB2379147B (en) | 2001-04-18 | 2003-10-22 | Univ York | Sound processing |
| US20030147539A1 (en) | 2002-01-11 | 2003-08-07 | Mh Acoustics, Llc, A Delaware Corporation | Audio system based on at least second-order eigenbeams |
| US7031894B2 (en) | 2002-01-16 | 2006-04-18 | Timbre Technologies, Inc. | Generating a library of simulated-diffraction signals and hypothetical profiles of periodic gratings |
| US7262770B2 (en) | 2002-03-21 | 2007-08-28 | Microsoft Corporation | Graphics image rendering with radiance self-transfer for low-frequency lighting environments |
| US8160269B2 (en) | 2003-08-27 | 2012-04-17 | Sony Computer Entertainment Inc. | Methods and apparatuses for adjusting a listening area for capturing sounds |
| ATE543179T1 (de) | 2002-09-04 | 2012-02-15 | Microsoft Corp | Entropische kodierung mittels anpassung des kodierungsmodus zwischen niveau- und lauflängenniveau-modus |
| FR2844894B1 (fr) | 2002-09-23 | 2004-12-17 | Remy Henri Denis Bruno | Procede et systeme de traitement d'une representation d'un champ acoustique |
| US7330812B2 (en) | 2002-10-04 | 2008-02-12 | National Research Council Of Canada | Method and apparatus for transmitting an audio stream having additional payload in a hidden sub-channel |
| FR2847376B1 (fr) | 2002-11-19 | 2005-02-04 | France Telecom | Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede |
| US6961696B2 (en) | 2003-02-07 | 2005-11-01 | Motorola, Inc. | Class quantization for distributed speech recognition |
| FI115324B (fi) | 2003-03-14 | 2005-04-15 | Elekta Neuromag Oy | Menetelmä ja järjestelmä monikanavaisen mittaussignaalin käsittelemiseksi |
| US7558393B2 (en) | 2003-03-18 | 2009-07-07 | Miller Iii Robert E | System and method for compatible 2D/3D (full sphere with height) surround sound reproduction |
| US7920709B1 (en) | 2003-03-25 | 2011-04-05 | Robert Hickling | Vector sound-intensity probes operating in a half-space |
| US7447317B2 (en) | 2003-10-02 | 2008-11-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V | Compatible multi-channel coding/decoding by weighting the downmix channel |
| KR100556911B1 (ko) | 2003-12-05 | 2006-03-03 | 엘지전자 주식회사 | 무선 동영상 스트리밍 서비스를 위한 동영상 데이터의 구조 |
| KR100629997B1 (ko) | 2004-02-26 | 2006-09-27 | 엘지전자 주식회사 | 오디오 신호의 인코딩 방법 |
| US7283634B2 (en) | 2004-08-31 | 2007-10-16 | Dts, Inc. | Method of mixing audio channels using correlated outputs |
| US7630902B2 (en) | 2004-09-17 | 2009-12-08 | Digital Rise Technology Co., Ltd. | Apparatus and methods for digital audio coding using codebook application ranges |
| FR2880755A1 (fr) | 2005-01-10 | 2006-07-14 | France Telecom | Procede et dispositif d'individualisation de hrtfs par modelisation |
| KR100636229B1 (ko) | 2005-01-14 | 2006-10-19 | 학교법인 성균관대학 | 신축형 부호화를 위한 적응적 엔트로피 부호화 및 복호화방법과 그 장치 |
| US7271747B2 (en) | 2005-05-10 | 2007-09-18 | Rice University | Method and apparatus for distributed compressed sensing |
| ATE378793T1 (de) | 2005-06-23 | 2007-11-15 | Akg Acoustics Gmbh | Methode zur modellierung eines mikrofons |
| US8510105B2 (en) | 2005-10-21 | 2013-08-13 | Nokia Corporation | Compression and decompression of data vectors |
| WO2007048900A1 (fr) | 2005-10-27 | 2007-05-03 | France Telecom | Individualisation de hrtfs utilisant une modelisation par elements finis couplee a un modele correctif |
| CN101385077B (zh) | 2006-02-07 | 2012-04-11 | Lg电子株式会社 | 用于编码/解码信号的装置和方法 |
| ATE527833T1 (de) | 2006-05-04 | 2011-10-15 | Lg Electronics Inc | Verbesserung von stereo-audiosignalen mittels neuabmischung |
| US8379868B2 (en) | 2006-05-17 | 2013-02-19 | Creative Technology Ltd | Spatial audio coding based on universal spatial cues |
| US8345899B2 (en) | 2006-05-17 | 2013-01-01 | Creative Technology Ltd | Phase-amplitude matrixed surround decoder |
| US8712061B2 (en) | 2006-05-17 | 2014-04-29 | Creative Technology Ltd | Phase-amplitude 3-D stereo encoder and decoder |
| US20080004729A1 (en) | 2006-06-30 | 2008-01-03 | Nokia Corporation | Direct encoding into a directional audio coding format |
| US7877253B2 (en) | 2006-10-06 | 2011-01-25 | Qualcomm Incorporated | Systems, methods, and apparatus for frame erasure recovery |
| DE102006053919A1 (de) | 2006-10-11 | 2008-04-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen einer Anzahl von Lautsprechersignalen für ein Lautsprecher-Array, das einen Wiedergaberaum definiert |
| US7966175B2 (en) | 2006-10-18 | 2011-06-21 | Polycom, Inc. | Fast lattice vector quantization |
| CA2645863C (en) | 2006-11-24 | 2013-01-08 | Lg Electronics Inc. | Method for encoding and decoding object-based audio signal and apparatus thereof |
| US7663623B2 (en) | 2006-12-18 | 2010-02-16 | Microsoft Corporation | Spherical harmonics scaling |
| JP2008227946A (ja) | 2007-03-13 | 2008-09-25 | Toshiba Corp | 画像復号装置 |
| US8290167B2 (en) | 2007-03-21 | 2012-10-16 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Method and apparatus for conversion between multi-channel audio formats |
| US8908873B2 (en) | 2007-03-21 | 2014-12-09 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Method and apparatus for conversion between multi-channel audio formats |
| US9015051B2 (en) | 2007-03-21 | 2015-04-21 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Reconstruction of audio channels with direction parameters indicating direction of origin |
| WO2008127536A2 (en) | 2007-04-12 | 2008-10-23 | Thomson Licensing | Methods and apparatus for video usability information (vui) for scalable video coding (svc) |
| US8180062B2 (en) | 2007-05-30 | 2012-05-15 | Nokia Corporation | Spatial sound zooming |
| US7885819B2 (en) | 2007-06-29 | 2011-02-08 | Microsoft Corporation | Bitstream syntax for multi-process audio decoding |
| WO2009007639A1 (fr) | 2007-07-03 | 2009-01-15 | France Telecom | Quantification apres transformation lineaire combinant les signaux audio d'une scene sonore, codeur associe |
| ATE479182T1 (de) | 2007-07-30 | 2010-09-15 | Global Ip Solutions Gips Ab | Audiodekoder mit geringer verzögerung |
| US8463615B2 (en) | 2007-07-30 | 2013-06-11 | Google Inc. | Low-delay audio coder |
| CN101842833B (zh) | 2007-09-11 | 2012-07-18 | 沃伊斯亚吉公司 | 语音和音频编码中快速代数码本搜索的方法和设备 |
| CN101884065B (zh) | 2007-10-03 | 2013-07-10 | 创新科技有限公司 | 用于双耳再现和格式转换的空间音频分析和合成的方法 |
| WO2009067741A1 (en) | 2007-11-27 | 2009-06-04 | Acouity Pty Ltd | Bandwidth compression of parametric soundfield representations for transmission and storage |
| JP5419714B2 (ja) | 2008-01-16 | 2014-02-19 | パナソニック株式会社 | ベクトル量子化装置、ベクトル逆量子化装置、およびこれらの方法 |
| EP2094032A1 (en) | 2008-02-19 | 2009-08-26 | Deutsche Thomson OHG | Audio signal, method and apparatus for encoding or transmitting the same and method and apparatus for processing the same |
| EP2259253B1 (en) | 2008-03-03 | 2017-11-15 | LG Electronics Inc. | Method and apparatus for processing audio signal |
| RU2565008C2 (ru) | 2008-03-10 | 2015-10-10 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Устройство и метод для обработки аудио сигнала, содержащего переходный сигнал |
| US8219409B2 (en) | 2008-03-31 | 2012-07-10 | Ecole Polytechnique Federale De Lausanne | Audio wave field encoding |
| EP2283373B1 (en) | 2008-04-28 | 2021-03-10 | Cornell University | Accurate quantification of magnetic susceptibility in molecular mri |
| US8184298B2 (en) | 2008-05-21 | 2012-05-22 | The Board Of Trustees Of The University Of Illinois | Spatial light interference microscopy and fourier transform light scattering for cell and tissue characterization |
| EP2287836B1 (en) | 2008-05-30 | 2014-10-15 | Panasonic Intellectual Property Corporation of America | Encoder and encoding method |
| CN102089634B (zh) | 2008-07-08 | 2012-11-21 | 布鲁尔及凯尔声音及振动测量公司 | 重建声学场 |
| EP2144230A1 (en) | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme having cascaded switches |
| JP5697301B2 (ja) | 2008-10-01 | 2015-04-08 | 株式会社Ｎｔｔドコモ | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、及び動画像符号化・復号システム |
| GB0817950D0 (en) | 2008-10-01 | 2008-11-05 | Univ Southampton | Apparatus and method for sound reproduction |
| US8207890B2 (en) | 2008-10-08 | 2012-06-26 | Qualcomm Atheros, Inc. | Providing ephemeris data and clock corrections to a satellite navigation system receiver |
| US8391500B2 (en) | 2008-10-17 | 2013-03-05 | University Of Kentucky Research Foundation | Method and system for creating three-dimensional spatial audio |
| FR2938688A1 (fr) | 2008-11-18 | 2010-05-21 | France Telecom | Codage avec mise en forme du bruit dans un codeur hierarchique |
| EP2374124B1 (fr) | 2008-12-15 | 2013-05-29 | France Telecom | Codage perfectionne de signaux audionumériques multicanaux |
| EP2374123B1 (fr) | 2008-12-15 | 2019-04-10 | Orange | Codage perfectionne de signaux audionumeriques multicanaux |
| US8332229B2 (en) | 2008-12-30 | 2012-12-11 | Stmicroelectronics Asia Pacific Pte. Ltd. | Low complexity MPEG encoding for surround sound recordings |
| EP2205007B1 (en) | 2008-12-30 | 2019-01-09 | Dolby International AB | Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction |
| WO2010086342A1 (en) | 2009-01-28 | 2010-08-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder, method for encoding an input audio information, method for decoding an input audio information and computer program using improved coding tables |
| GB2476747B (en) | 2009-02-04 | 2011-12-21 | Richard Furse | Sound system |
| JP5163545B2 (ja) | 2009-03-05 | 2013-03-13 | 富士通株式会社 | オーディオ復号装置及びオーディオ復号方法 |
| EP2237270B1 (en) | 2009-03-30 | 2012-07-04 | Nuance Communications, Inc. | A method for determining a noise reference signal for noise compensation and/or noise reduction |
| GB0906269D0 (en) | 2009-04-09 | 2009-05-20 | Ntnu Technology Transfer As | Optimal modal beamformer for sensor arrays |
| CN102227696B (zh) | 2009-05-21 | 2014-09-24 | 松下电器产业株式会社 | 触感处理装置 |
| ES2690164T3 (es) | 2009-06-25 | 2018-11-19 | Dts Licensing Limited | Dispositivo y método para convertir una señal de audio espacial |
| WO2011041834A1 (en) | 2009-10-07 | 2011-04-14 | The University Of Sydney | Reconstruction of a recorded sound field |
| WO2011044898A1 (en) | 2009-10-15 | 2011-04-21 | Widex A/S | Hearing aid with audio codec and method |
| US9153242B2 (en) | 2009-11-13 | 2015-10-06 | Panasonic Intellectual Property Corporation Of America | Encoder apparatus, decoder apparatus, and related methods that use plural coding layers |
| EP2510515B1 (en) * | 2009-12-07 | 2014-03-19 | Dolby Laboratories Licensing Corporation | Decoding of multichannel audio encoded bit streams using adaptive hybrid transformation |
| CN102104452B (zh) | 2009-12-22 | 2013-09-11 | 华为技术有限公司 | 信道状态信息反馈方法、信道状态信息获得方法及设备 |
| TWI557723B (zh) | 2010-02-18 | 2016-11-11 | 杜比實驗室特許公司 | 解碼方法及系統 |
| WO2011104463A1 (fr) | 2010-02-26 | 2011-09-01 | France Telecom | Compression de flux audio multicanal |
| AU2011226143B9 (en) * | 2010-03-10 | 2015-03-19 | Dolby International Ab | Audio signal decoder, audio signal encoder, method for decoding an audio signal, method for encoding an audio signal and computer program using a pitch-dependent adaptation of a coding context |
| AU2011231565B2 (en) | 2010-03-26 | 2014-08-28 | Dolby International Ab | Method and device for decoding an audio soundfield representation for audio playback |
| EP2375410B1 (en) | 2010-03-29 | 2017-11-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | A spatial audio processor and a method for providing spatial parameters based on an acoustic input signal |
| JP5850216B2 (ja) | 2010-04-13 | 2016-02-03 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| TW201214415A (en) | 2010-05-28 | 2012-04-01 | Fraunhofer Ges Forschung | Low-delay unified speech and audio codec |
| US9053697B2 (en) | 2010-06-01 | 2015-06-09 | Qualcomm Incorporated | Systems, methods, devices, apparatus, and computer program products for audio equalization |
| US9357229B2 (en) | 2010-07-28 | 2016-05-31 | Qualcomm Incorporated | Coding motion vectors in video coding |
| US9208792B2 (en) | 2010-08-17 | 2015-12-08 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for noise injection |
| NZ587483A (en) | 2010-08-20 | 2012-12-21 | Ind Res Ltd | Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions |
| WO2012025580A1 (en) | 2010-08-27 | 2012-03-01 | Sonicemotion Ag | Method and device for enhanced sound field reproduction of spatially encoded audio input signals |
| CN101977349A (zh) | 2010-09-29 | 2011-02-16 | 华南理工大学 | Ambisonic声重发系统解码的优化改进方法 |
| US20120093323A1 (en) | 2010-10-14 | 2012-04-19 | Samsung Electronics Co., Ltd. | Audio system and method of down mixing audio signals using the same |
| US9084049B2 (en) | 2010-10-14 | 2015-07-14 | Dolby Laboratories Licensing Corporation | Automatic equalization using adaptive frequency-domain filtering and dynamic fast convolution |
| US9552840B2 (en) | 2010-10-25 | 2017-01-24 | Qualcomm Incorporated | Three-dimensional sound capturing and reproducing with multi-microphones |
| EP2450880A1 (en) | 2010-11-05 | 2012-05-09 | Thomson Licensing | Data structure for Higher Order Ambisonics audio data |
| KR101401775B1 (ko) | 2010-11-10 | 2014-05-30 | 한국전자통신연구원 | 스피커 어레이 기반 음장 합성을 이용한 음장 재생 장치 및 방법 |
| US9448289B2 (en) | 2010-11-23 | 2016-09-20 | Cornell University | Background field removal method for MRI using projection onto dipole fields |
| TWI489450B (zh) | 2010-12-03 | 2015-06-21 | Fraunhofer Ges Forschung | 用以產生音訊輸出信號或資料串流之裝置及方法、和相關聯之系統、電腦可讀媒體與電腦程式 |
| EP2469741A1 (en) | 2010-12-21 | 2012-06-27 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
| US20120163622A1 (en) | 2010-12-28 | 2012-06-28 | Stmicroelectronics Asia Pacific Pte Ltd | Noise detection and reduction in audio devices |
| US8809663B2 (en) | 2011-01-06 | 2014-08-19 | Hank Risan | Synthetic simulation of a media recording |
| US9008176B2 (en) | 2011-01-22 | 2015-04-14 | Qualcomm Incorporated | Combined reference picture list construction for video coding |
| US20120189052A1 (en) | 2011-01-24 | 2012-07-26 | Qualcomm Incorporated | Signaling quantization parameter changes for coded units in high efficiency video coding (hevc) |
| US9026450B2 (en) | 2011-03-09 | 2015-05-05 | Dts Llc | System for dynamically creating and rendering audio objects |
| CA2833868C (en) | 2011-04-21 | 2019-08-20 | Samsung Electronics Co., Ltd. | Apparatus for quantizing linear predictive coding coefficients, sound encoding apparatus, apparatus for de-quantizing linear predictive coding coefficients, sound decoding apparatus, and electronic device therefor |
| EP2541547A1 (en) | 2011-06-30 | 2013-01-02 | Thomson Licensing | Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation |
| US8548803B2 (en) | 2011-08-08 | 2013-10-01 | The Intellisis Corporation | System and method of processing a sound signal including transforming the sound signal into a frequency-chirp domain |
| US9641951B2 (en) | 2011-08-10 | 2017-05-02 | The Johns Hopkins University | System and method for fast binaural rendering of complex acoustic scenes |
| EP2560161A1 (en) | 2011-08-17 | 2013-02-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Optimal mixing matrices and usage of decorrelators in spatial audio processing |
| EP2592846A1 (en) | 2011-11-11 | 2013-05-15 | Thomson Licensing | Method and apparatus for processing signals of a spherical microphone array on a rigid sphere used for generating an Ambisonics representation of the sound field |
| EP2592845A1 (en) | 2011-11-11 | 2013-05-15 | Thomson Licensing | Method and Apparatus for processing signals of a spherical microphone array on a rigid sphere used for generating an Ambisonics representation of the sound field |
| EP2600343A1 (en) | 2011-12-02 | 2013-06-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for merging geometry - based spatial audio coding streams |
| KR101590332B1 (ko) | 2012-01-09 | 2016-02-18 | 삼성전자주식회사 | 영상장치 및 그 제어방법 |
| EP2637427A1 (en) | 2012-03-06 | 2013-09-11 | Thomson Licensing | Method and apparatus for playback of a higher-order ambisonics audio signal |
| EP2645748A1 (en) | 2012-03-28 | 2013-10-02 | Thomson Licensing | Method and apparatus for decoding stereo loudspeaker signals from a higher-order Ambisonics audio signal |
| EP2665208A1 (en) | 2012-05-14 | 2013-11-20 | Thomson Licensing | Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation |
| US9190065B2 (en) | 2012-07-15 | 2015-11-17 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients |
| US9288603B2 (en) | 2012-07-15 | 2016-03-15 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding |
| US20140086416A1 (en) | 2012-07-15 | 2014-03-27 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients |
| US9473870B2 (en) | 2012-07-16 | 2016-10-18 | Qualcomm Incorporated | Loudspeaker position compensation with 3D-audio hierarchical coding |
| KR102201034B1 (ko) | 2012-07-16 | 2021-01-11 | 돌비 인터네셔널 에이비 | 오디오 재생을 위한 오디오 음장 표현을 렌더링하는 방법 및 장치 |
| EP2688066A1 (en) * | 2012-07-16 | 2014-01-22 | Thomson Licensing | Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction |
| KR102201713B1 (ko) | 2012-07-19 | 2021-01-12 | 돌비 인터네셔널 에이비 | 다채널 오디오 신호들의 렌더링을 향상시키기 위한 방법 및 디바이스 |
| US9479886B2 (en) | 2012-07-20 | 2016-10-25 | Qualcomm Incorporated | Scalable downmix design with feedback for object-based surround codec |
| US9761229B2 (en) | 2012-07-20 | 2017-09-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for audio object clustering |
| JP5967571B2 (ja) | 2012-07-26 | 2016-08-10 | 本田技研工業株式会社 | 音響信号処理装置、音響信号処理方法、及び音響信号処理プログラム |
| PL2915166T3 (pl) | 2012-10-30 | 2019-04-30 | Nokia Technologies Oy | Sposób i urządzenie do kwantyzacji odpornego wektora |
| US9336771B2 (en) | 2012-11-01 | 2016-05-10 | Google Inc. | Speech recognition using non-parametric models |
| EP2743922A1 (en) * | 2012-12-12 | 2014-06-18 | Thomson Licensing | Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field |
| US9913064B2 (en) | 2013-02-07 | 2018-03-06 | Qualcomm Incorporated | Mapping virtual speakers to physical speakers |
| US9883310B2 (en) | 2013-02-08 | 2018-01-30 | Qualcomm Incorporated | Obtaining symmetry information for higher order ambisonic audio renderers |
| EP2765791A1 (en) | 2013-02-08 | 2014-08-13 | Thomson Licensing | Method and apparatus for determining directions of uncorrelated sound sources in a higher order ambisonics representation of a sound field |
| US10178489B2 (en) | 2013-02-08 | 2019-01-08 | Qualcomm Incorporated | Signaling audio rendering information in a bitstream |
| US9609452B2 (en) | 2013-02-08 | 2017-03-28 | Qualcomm Incorporated | Obtaining sparseness information for higher order ambisonic audio renderers |
| US9338420B2 (en) | 2013-02-15 | 2016-05-10 | Qualcomm Incorporated | Video analysis assisted generation of multi-channel audio data |
| US9959875B2 (en) | 2013-03-01 | 2018-05-01 | Qualcomm Incorporated | Specifying spherical harmonic and/or higher order ambisonics coefficients in bitstreams |
| BR112015021520B1 (pt) | 2013-03-05 | 2021-07-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V | Aparelho e método para criar um ou mais sinais do canal de saída de áudio dependendo de dois ou mais sinais do canal de entrada de áudio |
| US9197962B2 (en) | 2013-03-15 | 2015-11-24 | Mh Acoustics Llc | Polyhedral audio system based on at least second-order eigenbeams |
| EP2800401A1 (en) | 2013-04-29 | 2014-11-05 | Thomson Licensing | Method and Apparatus for compressing and decompressing a Higher Order Ambisonics representation |
| WO2014184353A1 (en) | 2013-05-16 | 2014-11-20 | Koninklijke Philips N.V. | An audio processing apparatus and method therefor |
| US9502044B2 (en) | 2013-05-29 | 2016-11-22 | Qualcomm Incorporated | Compression of decomposed representations of a sound field |
| US9384741B2 (en) | 2013-05-29 | 2016-07-05 | Qualcomm Incorporated | Binauralization of rotated higher order ambisonics |
| US9466305B2 (en) | 2013-05-29 | 2016-10-11 | Qualcomm Incorporated | Performing positional analysis to code spherical harmonic coefficients |
| CN105264595B (zh) | 2013-06-05 | 2019-10-01 | 杜比国际公司 | 用于编码和解码音频信号的方法和装置 |
| TWI631553B (zh) | 2013-07-19 | 2018-08-01 | 瑞典商杜比國際公司 | 將以<i>L</i><sub>1</sub>個頻道為基礎之輸入聲音訊號產生至<i>L</i><sub>2</sub>個揚聲器頻道之方法及裝置，以及得到一能量保留混音矩陣之方法及裝置，用以將以輸入頻道為基礎之聲音訊號混音以用於<i>L</i><sub>1</sub>個聲音頻道至<i>L</i><sub>2</sub>個揚聲器頻道 |
| US9922656B2 (en) | 2014-01-30 | 2018-03-20 | Qualcomm Incorporated | Transitioning of ambient higher-order ambisonic coefficients |
| US9502045B2 (en) | 2014-01-30 | 2016-11-22 | Qualcomm Incorporated | Coding independent frames of ambient higher-order ambisonic coefficients |
| US20150264483A1 (en) | 2014-03-14 | 2015-09-17 | Qualcomm Incorporated | Low frequency rendering of higher-order ambisonic audio data |
| US9852737B2 (en) | 2014-05-16 | 2017-12-26 | Qualcomm Incorporated | Coding vectors decomposed from higher-order ambisonics audio signals |
| US9620137B2 (en) | 2014-05-16 | 2017-04-11 | Qualcomm Incorporated | Determining between scalar and vector quantization in higher order ambisonic coefficients |
| US10142642B2 (en) | 2014-06-04 | 2018-11-27 | Qualcomm Incorporated | Block adaptive color-space conversion coding |
| US20160093308A1 (en) | 2014-09-26 | 2016-03-31 | Qualcomm Incorporated | Predictive vector quantization techniques in a higher order ambisonics (hoa) framework |
| US9747910B2 (en) | 2014-09-26 | 2017-08-29 | Qualcomm Incorporated | Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework |
-
2015
- 2015-05-14 US US14/712,849 patent/US10770087B2/en active Active
- 2015-05-15 BR BR112016026822-9A patent/BR112016026822B1/pt active IP Right Grant
- 2015-05-15 TW TW104115698A patent/TWI676983B/zh active
- 2015-05-15 MX MX2016014918A patent/MX361040B/es active IP Right Grant
- 2015-05-15 MY MYPI2016704156A patent/MY189359A/en unknown
- 2015-05-15 SG SG11201608520RA patent/SG11201608520RA/en unknown
- 2015-05-15 CN CN201580026551.8A patent/CN106463129B/zh active Active
- 2015-05-15 AU AU2015258831A patent/AU2015258831B2/en active Active
- 2015-05-15 RU RU2016144326A patent/RU2688275C2/ru active
- 2015-05-15 WO PCT/US2015/031192 patent/WO2015176003A1/en active Application Filing
- 2015-05-15 EP EP15725959.9A patent/EP3143616B1/en active Active
- 2015-05-15 KR KR1020167035108A patent/KR102329373B1/ko active IP Right Grant
- 2015-05-15 CA CA2948563A patent/CA2948563C/en active Active
- 2015-05-15 JP JP2016567714A patent/JP6728065B2/ja active Active
-
2016
- 2016-11-14 CL CL2016002896A patent/CL2016002896A1/es unknown
- 2016-11-15 PH PH12016502273A patent/PH12016502273A1/en unknown
- 2016-11-15 ZA ZA2016/07881A patent/ZA201607881B/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| MX2016014918A (es) | 2017-04-06 |
| WO2015176003A1 (en) | 2015-11-19 |
| CA2948563A1 (en) | 2015-11-19 |
| ZA201607881B (en) | 2022-05-25 |
| EP3143616B1 (en) | 2023-01-04 |
| MY189359A (en) | 2022-02-07 |
| PH12016502273B1 (en) | 2017-03-13 |
| CL2016002896A1 (es) | 2017-05-26 |
| KR20170008802A (ko) | 2017-01-24 |
| US10770087B2 (en) | 2020-09-08 |
| RU2016144326A (ru) | 2018-06-20 |
| US20150332692A1 (en) | 2015-11-19 |
| AU2015258831B2 (en) | 2020-03-12 |
| RU2688275C2 (ru) | 2019-05-21 |
| TWI676983B (zh) | 2019-11-11 |
| CA2948563C (en) | 2023-02-28 |
| BR112016026822A2 (ja) | 2017-08-15 |
| SG11201608520RA (en) | 2016-11-29 |
| EP3143616A1 (en) | 2017-03-22 |
| BR112016026822B1 (pt) | 2022-12-13 |
| PH12016502273A1 (en) | 2017-03-13 |
| RU2016144326A3 (ja) | 2018-12-12 |
| CN106463129B (zh) | 2020-02-21 |
| AU2015258831A1 (en) | 2016-11-10 |
| MX361040B (es) | 2018-11-26 |
| TW201601144A (zh) | 2016-01-01 |
| CN106463129A (zh) | 2017-02-22 |
| JP2017521693A (ja) | 2017-08-03 |
| KR102329373B1 (ko) | 2021-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6549156B2 (ja) | 音場を表す複数の高次アンビソニック（ｈｏａ）係数を取得するように構成された装置およびそれを取得する方法 | |
| JP6728065B2 (ja) | 音場のベクトル量子化された空間成分を含むオーディオデータを復号する方法 | |
| JP6169805B2 (ja) | フレームパラメータ再使用可能性を示すこと | |
| KR101921403B1 (ko) | 고차 앰비소닉 신호 압축 | |
| JP6293930B2 (ja) | 高次アンビソニック係数においてスカラー量子化とベクトル量子化との間で決定すること |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180419 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180419 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190205 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190507 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190709 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190927 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200512 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200701 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6728065 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |