JP7213364B2 - 空間オーディオパラメータの符号化及び対応する復号の決定 - Google Patents

空間オーディオパラメータの符号化及び対応する復号の決定 Download PDF

Info

Publication number
JP7213364B2
JP7213364B2 JP2021547951A JP2021547951A JP7213364B2 JP 7213364 B2 JP7213364 B2 JP 7213364B2 JP 2021547951 A JP2021547951 A JP 2021547951A JP 2021547951 A JP2021547951 A JP 2021547951A JP 7213364 B2 JP7213364 B2 JP 7213364B2
Authority
JP
Japan
Prior art keywords
index
coherence
subband
value
codebook
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021547951A
Other languages
English (en)
Other versions
JP2022509440A (ja
JPWO2020089510A5 (ja
Inventor
アドリアナ ヴァシラケ
ミッコ・ヴィッレ ライティネン
Original Assignee
ノキア テクノロジーズ オーユー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GB1817807.9A external-priority patent/GB2578603A/en
Priority claimed from GBGB1903850.4A external-priority patent/GB201903850D0/en
Application filed by ノキア テクノロジーズ オーユー filed Critical ノキア テクノロジーズ オーユー
Publication of JP2022509440A publication Critical patent/JP2022509440A/ja
Publication of JPWO2020089510A5 publication Critical patent/JPWO2020089510A5/ja
Application granted granted Critical
Publication of JP7213364B2 publication Critical patent/JP7213364B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Description

本願は、音場に関連するパラメータ符号化のための装置及び方法であって、オーディオエンコーダ・デコーダ用の時間周波数領域における方向関連パラメータの符号化の用途に限定されない装置及び方法に関する。
背景
パラメトリック空間オーディオ処理は、音の空間的特徴をパラメータのセットを使用して表すオーディオ信号処理の技術分野である。例えば、マイクロホンアレイからのパラメトリック空間オーディオの収集においては、マイクロホンアレイの信号から、パラメータのセット（各周波数バンドでの音の方向や、各周波数バンドで収集された音の指向性部分と無指向性部分との比等）を推定するのが典型的で効果的な選択である。このようなパラメータは、マイクロホンアレイの位置で収集された音の知覚上の空間特性を的確に表していることが知られている。そのため、当該パラメータは空間音の合成において、ヘッドホン用にバイノーラルで又はスピーカ用に、若しくはアンビソニックス方式等他のフォーマットにするために利用することができる。
このように、各周波数バンドにおける方向及び直接音全エネルギー比は、空間オーディオの収集において特に効果的なパラメータ化である。
各周波数バンドにおける方向パラメータ及びエネルギー比パラメータ（音の指向性を示す）から成るパラメータセットは、オーディオコーデック用空間メタデータ（他のパラメータ、例えば、コヒーレンス、スプレッド（spread）コヒーレンス、方向数、距離等を含んでもよい）としても利用可能である。例えば、これらのパラメータはマイクロホンアレイが収集したオーディオ信号から推定可能であり、空間メタデータとともに伝達されるマイクロホンアレイ信号から、例えば、ステレオ信号が生成可能である。ステレオ信号は、例えば、先進的オーディオ符号化（Advanced Audio Coding：ＡＡＣ）用エンコーダを用いて符号化することもできる。デコーダは、オーディオ信号をパルス符号変調（Pulse-Code Modulation：ＰＣＭ）信号に復号し、各周波数バンドの音を（空間メタデータを使用して）処理し、例えば、バイノーラル方式の出力のような空間的な出力を得ることができる。
前述の解決策は、特に、マイクロホンアレイ（例えば、携帯電話、仮想現実（Virtual Reality：ＶＲ）カメラに搭載されているものや、独立型のマイクロホンアレイ）から収集される空間音の符号化に好適である。しかしながら、そのようなエンコーダは、マイクロホンアレイで収集する信号とは異なるタイプ（例えば、スピーカ信号、オーディオオブジェクト信号、又はアンビソニックス信号）の入力を備えることが望ましい。
空間メタデータ抽出のための１次アンビソニックス(First-Order Ambisonic：ＦＯＡ）入力の分析については、指向性オーディオ符号化（Directional Audio Coding：ＤｉｒＡＣ）や調和平面波拡大（Harmonic planewave expansion：Ｈａｒｐｅｘ）に関連する科学文献に詳述されている。これは、ＦＯＡ信号（より正確には、その異形であるＢフォーマット信号）を直接送出するマイクロホンアレイが存在するからであり、そのような入力の解析は、当該分野で研究対象となっている。
また、エンコーダへのさらなる入力は、５．１又は７．１チャンネルサラウンド入力等の多チャンネルスピーカ入力である。
しかしながら、メタデータの要素については、圧縮が現在の研究テーマである。
摘要
第１の態様によると、オーディオ信号のフレームの各サブバンドに対応する値であって、各サブバンドに対応する少なくとも１つの方位角値と、少なくとも１つの仰角値と、少なくとも１つのエネルギー比値と、スプレッド（spread）コヒーレンス値又はサラウンド（surround）コヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値とを含む値を受け取る手段と、フレームについて、各サブバンドに対応するスプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値を符号化するためのコードブックを、各サブバンドに対応する前記少なくとも１つのエネルギー比値と前記少なくとも１つの方位角値とに基づいて決定する手段と、前記フレームについてサブバンドに対応する前記少なくとも１つのコヒーレンス値を含む少なくとも１つのベクトルを離散コサイン変換する手段と、離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化する手段と、を備える装置が提供される。
フレームについて、各サブバンドに対応する少なくとも１つのコヒーレンス値を符号化するためのコードブックを、各サブバンドに対応する前記少なくとも１つのエネルギー比値と前記少なくとも１つの方位角値とに基づいて決定する前記手段は、さらに、前記フレームについて各サブバンドに対応する前記少なくとも１つのエネルギー比値の加重平均を表すインデックスを取得し、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角値の分布を示す尺度が所定の閾値以上であるか否かを判断し、前記インデックスと、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角値の分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択するものであってもよい。
前記インデックスと、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角値の分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択する前記手段は、さらに、コードブックに対応する複数のコードワードを前記インデックスに基づいて選択するものであってもよい。
前記分布を示す前記尺度は、連続する方位角値間の差の絶対値の平均、サブバンドにおける平均方位角値に対する差の絶対値の平均、前記フレームについての前記サブバンドに対応する前記少なくとも１つの方位角値の標準偏差、及び前記フレームについての前記サブバンドに対応する前記少なくとも１つの方位角値の分散、のうちいずれか１つであってもよい。
離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化する前記手段は、さらに、離散コサイン変換された前記ベクトルにおける前記第１の数の成分が前記サブバンドに依存することを判定し、離散コサイン変換された前記ベクトルにおける前記第１の数の成分のうち第１の成分を前記コードブックに基づいて符号化するものであってもよい。
離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化する前記手段は、さらに、サブバンドのインデックスに基づくスカラー量子化のためのコードブックであって、それぞれが所定数のコードワードから成るコードブックを決定し、離散コサイン変換された前記ベクトルにおける前記第１の数の成分の残余成分に対応する少なくとも１つの追加インデックスを、前記サブバンドのインデックスに基づくスカラー量子化のためのコードブックに基づいて生成し、平均を除去したインデックスを、離散コサイン変換された前記ベクトルにおける前記第１の数の成分の前記残余成分に対応する前記少なくとも１つの追加インデックスに基づいて生成し、平均を除去した前記インデックスをエントロピー符号化するものであってもよい。
離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化する前記手段は、さらに、離散コサイン変換された前記ベクトルにおける前記第１の数の成分の残余成分に対応する少なくとも１つの追加インデックスを、規定数のコードワードを有するコードブックであって、さらに前記ベクトルのサブバンドインデックスに基づくコードブックに基づいて決定し、平均を除去したインデックスを、離散コサイン変換された前記ベクトルにおける前記第１の数の成分の前記残余成分に対応する前記少なくとも１つの追加インデックスに基づいて決定し、平均を除去した前記インデックスをエントロピー符号化するものであってもよい。
平均を除去した前記インデックスをエントロピー符号化する前記手段は、さらに、平均を除去した前記インデックスをゴロムライス（Golomb-Rice）符号化するものであってもよい。
前記手段は、さらに、離散コサイン変換された前記ベクトルにおける符号化された前記第１の数の成分を記憶及び／又は送信するものであってもよい。
前記手段は、さらに、前記少なくとも１つのエネルギー比値をスカラー量子化することで、各サブバンドに対応する少なくとも１つのコヒーレンス値を符号化するためのコードブックの決定に好適な少なくとも１つのエネルギー比値インデックスを生成するものであってもよい。
前記手段は、さらに、前記少なくとも１つの方位角値及び前記少なくとも１つの仰角値を符号化するための残余ビット数を、目標ビット数と、離散コサイン変換された前記ベクトルにおける第１の数の成分を前記符号化前に決定された前記コードブックに基づいて符号化するためのビット数の推定値と、前記少なくとも１つのエネルギー比値インデックスを表すビット数と、平均を除去した前記インデックスの前記エントロピー符号化を表すビット数とに基づいて推定し、前記少なくとも１つの方位角値及び前記少なくとも１つの仰角値を符号化することで前記残余ビット数に基づいて少なくとも１つの方位角値インデックス及び少なくとも１つの仰角値インデックスを生成するものであってもよい。この場合、各サブバンドに対応する少なくとも１つのコヒーレンス値を符号化するための前記コードブックの前記決定は、前記少なくとも１つの方位角値インデックスに基づく。
第２の態様によると、オーディオ信号のフレームのサブバンドに対応する符号化された値であって、各サブバンドに対応する少なくとも１つの方位角インデックスと、少なくとも１つの仰角インデックスと、少なくとも１つのエネルギー比インデックスと、スプレッドコヒーレンスインデックス又はサラウンドコヒーレンスインデックス若しくはその両方である少なくとも１つのコヒーレンスインデックスとを含む値を取得する手段と、
各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを復号するためのコードブックを、前記少なくとも１つのエネルギー比インデックスと前記少なくとも１つの方位角インデックスとに基づいて決定する手段と、
前記少なくとも１つのコヒーレンスインデックスを復号して逆離散コサイン変換することで、少なくとも１つのベクトルを生成する手段であって、前記少なくとも１つのベクトルは、前記フレームのサブバンドについて、スプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値を含む、前記生成する手段と、
前記ベクトルを解析することで、各サブバンドに対応するスプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値を生成する手段と、
を備える装置が提供される。
各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを復号するためのコードブックを、前記少なくとも１つのエネルギー比インデックスと前記少なくとも１つの方位角インデックスとに基づいて決定する前記手段は、さらに、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角インデックスの分布を示す尺度が所定の閾値以上であるか否かを判断し、前記少なくとも１つのエネルギー比インデックスと、フレームについての前記サブバンドに対応する前記少なくとも１つの方位角インデックスの分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択するものであってもよい。
前記少なくとも１つのエネルギー比インデックスと、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角インデックスの分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択する前記手段は、さらに、前記少なくとも１つのエネルギー比インデックスに基づいて前記コードブックに対応する複数のコードワードを選択するものであってもよい。
前記分布を示す前記尺度は、連続する方位角値間の差の絶対値の平均、サブバンドにおける平均方位角値に対する差の絶対値の平均、前記フレームについての前記サブバンドに対応する前記少なくとも１つの方位角値の分散、及び前記フレームについての前記サブバンドに対応する前記少なくとも１つの方位角値の分散、のうちいずれか１つであってもよい。
離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて復号する前記手段は、さらに、離散コサイン変換された前記ベクトルにおける前記第１の数の成分のうち第１の成分を前記コードブックに基づいて復号し、離散コサイン変換された前記ベクトルにおける前記第１の数の成分のその他の成分を前記コードブックに基づいて復号し、復号された前記第１の成分と復号された前記その他の成分とを逆コサイン変換するものであってもよい。
第３の態様によると、オーディオ信号のフレームの各サブバンドに対応する値であって、各サブバンドに対応する少なくとも１つの方位角値と、少なくとも１つの仰角値と、少なくとも１つのエネルギー比値と、スプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値とを含む値を受け取ることと、フレームについて、各サブバンドに対応する少なくとも１つのスプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値を符号化するためのコードブックを、各サブバンドに対応する前記少なくとも１つのエネルギー比値と前記少なくとも１つの方位角値とに基づいて決定することと、前記フレームについてサブバンドに対応する前記少なくとも１つのコヒーレンス値を含む少なくとも１つのベクトルを離散コサイン変換することと、離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化することと、を備える方法が提供される。
フレームについて、各サブバンドに対応する少なくとも１つのコヒーレンス値を符号化するためのコードブックを、各サブバンドに対応する前記少なくとも１つのエネルギー比値と前記少なくとも１つの方位角値とに基づいて決定することは、前記フレームについて各サブバンドに対応する前記少なくとも１つのエネルギー比値の加重平均を表すインデックスを取得することと、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角値の分布を示す尺度が所定の閾値以上であるか否かを判断することと、前記インデックスと、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角値の分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択することと、をさらに含んでもよい。
前記インデックスと、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角インデックスの分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択することは、コードブックに対応する複数のコードワードを前記インデックスに基づいて選択するステップをさらに含んでもよい。
前記分布を示す前記尺度は、連続する方位角値間の差の絶対値の平均、サブバンドにおける平均方位角値に対する差の絶対値の平均、前記フレームについての前記サブバンドに対応する前記少なくとも１つの方位角値の標準偏差、及び前記フレームについての前記サブバンドに対応する前記少なくとも１つの方位角値の分散、のうちいずれか１つであってもよい。
離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化することは、離散コサイン変換された前記ベクトルにおける前記第１の数の成分が前記サブバンドに依存することを判定することと、離散コサイン変換された前記ベクトルにおける前記第１の数の成分のうち第１の成分を前記コードブックに基づいて符号化することと、をさらに含んでもよい。
離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化することは、サブバンドのインデックスに基づくスカラー量子化のためのコードブックであって、それぞれが所定数のコードワードから成るコードブックを決定することと、離散コサイン変換された前記ベクトルにおける前記第１の数の成分の残余成分に対応する少なくとも１つの追加インデックスを、前記サブバンドのインデックスに基づくスカラー量子化のためのコードブックに基づいて生成することと、平均を除去したインデックスを、離散コサイン変換された前記ベクトルにおける前記第１の数の成分の前記残余成分に対応する前記少なくとも１つの追加インデックスに基づいて生成することと、平均を除去した前記インデックスをエントロピー符号化することと、をさらに含んでもよい。
離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化することは、離散コサイン変換された前記ベクトルにおける前記第１の数の成分の残余成分に対応する少なくとも１つの追加インデックスを、規定数のコードワードを有するコードブックであって、さらに前記ベクトルのサブバンドインデックスに基づくコードブックに基づいて決定することと、平均を除去したインデックスを、離散コサイン変換された前記ベクトルにおける前記第１の数の成分の前記残余成分に対応する前記少なくとも１つの追加インデックスに基づいて決定することと、平均を除去した前記インデックスをエントロピー符号化することと、をさらに含んでもよい。
平均を除去した前記インデックスをエントロピー符号化することは、平均を除去した前記インデックスをゴロムライス符号化することをさらに含んでもよい。
前記方法は、離散コサイン変換された前記ベクトルにおける符号化された前記第１の数の成分を記憶及び／又は送信することをさらに含んでもよい。
前記方法は、前記少なくとも１つのエネルギー比値をスカラー量子化することで、各サブバンドに対応する少なくとも１つのコヒーレンス値を符号化するためのコードブックの決定に好適な少なくとも１つのエネルギー比値インデックスを生成することをさらに含んでもよい。
前記方法は、前記少なくとも１つの方位角値及び前記少なくとも１つの仰角値を符号化するための残余ビット数を、目標ビット数と、離散コサイン変換された前記ベクトルにおける第１の数の成分を前記符号化前に決定された前記コードブックに基づいて符号化するためのビット数の推定値と、前記少なくとも１つのエネルギー比値インデックスを表すビット数と、平均を除去した前記インデックスの前記エントロピー符号化を表すビット数とに基づいて推定することと、前記少なくとも１つの方位角値及び前記少なくとも１つの仰角値を符号化することで前記残余ビット数に基づいて少なくとも１つの方位角値インデックス及び少なくとも１つの仰角値インデックスを生成することと、をさらに含んでもよい。この場合、各サブバンドに対応する少なくとも１つのコヒーレンス値を符号化するための前記コードブックの前記決定は、前記少なくとも１つの方位角値インデックスに基づく。
第４の態様によると、
オーディオ信号のフレームのサブバンドに対応する符号化された値であって、各サブバンドに対応する少なくとも１つの方位角インデックスと、少なくとも１つの仰角インデックスと、少なくとも１つのエネルギー比インデックスと、スプレッドコヒーレンスインデックス又はサラウンドコヒーレンスインデックス若しくはその両方である少なくとも１つのコヒーレンスインデックスとを含む値を取得することと、
各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを復号するためのコードブックを、前記少なくとも１つのエネルギー比インデックスと前記少なくとも１つの方位角インデックスとに基づいて決定することと、
前記少なくとも１つのコヒーレンスインデックスを復号して逆離散コサイン変換することで少なくとも１つのベクトルを生成することであって、前記少なくとも１つのベクトルは、前記フレームのサブバンドについて、スプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値を含む、前記生成することと、
前記ベクトルを解析することで、各サブバンドに対応するスプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値を生成することと、
を含む方法が提供される。
各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを復号するためのコードブックを、前記少なくとも１つのエネルギー比インデックスと前記少なくとも１つの方位角インデックスとに基づいて決定することは、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角インデックスの分布を示す尺度が所定の閾値以上であるか否かを判断することと、前記少なくとも１つのエネルギー比インデックスと、フレームについての前記サブバンドに対応する前記少なくとも１つの方位角値の分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択することと、をさらに含んでもよい。
前記少なくとも１つのエネルギー比インデックスと、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角インデックスの分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択することは、前記少なくとも１つのエネルギー比インデックスに基づいて前記コードブックに対応する複数のコードワードを選択することをさらに含んでもよい。
前記分布を示す前記尺度は、連続する方位角値間の差の絶対値の平均、サブバンドにおける平均方位角値に対する差の絶対値の平均、前記フレームについての前記サブバンドに対応する前記少なくとも１つの方位角値の分散、及び前記フレームについての前記サブバンドに対応する前記少なくとも１つの方位角値の分散、のうちいずれか１つであっても
よい。
離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて復号することは、離散コサイン変換された前記ベクトルにおける前記第１の数の成分のうち第１の成分を前記コードブックに基づいて復号することと、離散コサイン変換された前記ベクトルにおける前記第１の数の成分のその他の成分を前記コードブックに基づいて復号することと、復号された前記第１の成分と復号された前記その他の成分とを逆コサイン変換することと、をさらに含んでもよい。
第５の態様によると、少なくとも１つのプロセッサと、少なくとも１つのメモリと、を備える装置が提供される。前記少なくとも１つのプロセッサ及び前記少なくとも１つのメモリはコンピュータプログラムコードを含み、前記少なくとも１つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサを用いて、少なくとも、オーディオ信号のフレームの各サブバンドに対応する値であって、各サブバンドに対応する少なくとも１つの方位角値と、少なくとも１つの仰角値と、少なくとも１つのエネルギー比値と、スプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値とを含む値を受け取ることと、フレームについて、各サブバンドに対応する少なくとも１つのスプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値を符号化するためのコードブックを、各サブバンドに対応する前記少なくとも１つのエネルギー比値と前記少なくとも１つの方位角値とに基づいて決定することと、前記フレームについてサブバンドに対応する前記少なくとも１つのコヒーレンス値を含む少なくとも１つのベクトルを離散コサイン変換することと、離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化することと、を前記装置に実行させるように構成される。
フレームについて、各サブバンドに対応する前記少なくとも１つのエネルギー比値と前記少なくとも１つの方位角値とに基づいて、各サブバンドに対応する少なくとも１つのコヒーレンス値を符号化するためのコードブックを決定することを実行させる前記装置に、前記フレームについて各サブバンドに対応する前記少なくとも１つのエネルギー比値の加重平均を表すインデックスを取得することと、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角値の分布を示す尺度が所定の閾値以上であるか否かを判断することと、前記インデックスと、フレームについての前記サブバンドに対応する前記少なくとも１つの方位角インデックスの分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択することと、をさらに実行させてもよい。
前記インデックスと、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角インデックスの分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択することを実行させる前記装置に、コードブックに対応する複数のコードワードを前記インデックスに基づいて選択することをさらに実行させてもよい。
前記分布を示す前記尺度は、連続する方位角値間の差の絶対値の平均、サブバンドにおける平均方位角値に対する差の絶対値の平均、前記フレームについての前記サブバンドに対応する前記少なくとも１つの方位角値の標準偏差、及び前記フレームについての前記サブバンドに対応する前記少なくとも１つの方位角値の分散、のうちいずれか１つであってもよい。
離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化することを実行させる前記装置に、離散コサイン変換された前記ベクトルにおける前記第１の数の成分が前記サブバンドに依存することを判定することと、離散コサイン変換された前記ベクトルにおける前記第１の数の成分のうち第１の成分を前記コードブックに基づいて符号化することと、をさらに実行させてもよい。
離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化することを実行させる前記装置に、サブバンドのインデックスに基づくスカラー量子化のためのコードブックであって、それぞれが所定数のコードワードから成るコードブックを決定することと、離散コサイン変換された前記ベクトルにおける前記第１の数の成分の残余成分に対応する少なくとも１つの追加インデックスを、決定された前記コードブックに基づいて生成することと、平均を除去したインデックスを、離散コサイン変換された前記ベクトルにおける前記第１の数の成分の前記残余成分に対応する前記少なくとも１つの追加インデックスに基づいて生成することと、平均を除去した前記インデックスをエントロピー符号化することと、をさらに実行させてもよい。
離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化することを実行させる前記装置に、離散コサイン変換された前記ベクトルにおける前記第１の数の成分の残余成分に対応する少なくとも１つの追加インデックスを、規定数のコードワードを有するコードブックであって、さらに前記ベクトルのサブバンドインデックスに基づくコードブックに基づいて決定することと、平均を除去したインデックスを、離散コサイン変換された前記ベクトルにおける前記第１の数の成分の前記残余成分に対応する前記少なくとも１つの追加インデックスに基づいて決定することと、平均を除去した前記インデックスをエントロピー符号化することと、をさらに実行させてもよい。
平均を除去した前記インデックスをエントロピー符号化することを実行させる前記装置に、平均を除去した前記インデックスをゴロムライス符号化することをさらに実行させてもよい。
前記装置に、離散コサイン変換された前記ベクトルにおける符号化された前記第１の数の成分を記憶及び／又は送信することをさらに実行させてもよい。
前記装置に、前記少なくとも１つのエネルギー比値をスカラー量子化することで、各サブバンドに対応する少なくとも１つのコヒーレンス値を符号化するためのコードブックの決定に好適な少なくとも１つのエネルギー比値インデックスを生成することをさらに実行させてもよい。
前記装置に、前記少なくとも１つの方位角値及び前記少なくとも１つの仰角値を符号化するための残余ビット数を、目標ビット数と、離散コサイン変換された前記ベクトルにおける第１の数の成分を前記符号化前に決定された前記コードブックに基づいて符号化するためのビット数の推定値と、前記少なくとも１つのエネルギー比値インデックスを表すビット数と、平均を除去した前記インデックスの前記エントロピー符号化を表すビット数とに基づいて推定することと、前記少なくとも１つの方位角値及び前記少なくとも１つの仰角値を符号化することで前記残余ビット数に基づいて少なくとも１つの方位角値インデックス及び少なくとも１つの仰角値インデックスを生成することと、をさらに実行させてもよいこの場合、各サブバンドに対応する少なくとも１つのコヒーレンス値を符号化するための前記コードブックの前記決定は、前記少なくとも１つの方位角値インデックスに基づく。
第６の態様によると、少なくとも１つのプロセッサと、少なくとも１つのメモリと、を備える装置が提供される。前記少なくとも１つのプロセッサ及び前記少なくとも１つのメモリはコンピュータプログラムを含み、前記少なくとも１つのメモリと前記コンピュータプログラムは前記少なくとも１つのプロセッサを用いて、少なくとも、オーディオ信号のフレームのサブバンドに対応する符号化された値であって、各サブバンドに対応する少なくとも１つの方位角インデックスと、少なくとも１つの仰角インデックスと、少なくとも１つのエネルギー比インデックスと、スプレッドコヒーレンスインデックス又はサラウンドコヒーレンスインデックス若しくはその両方である少なくとも１つのコヒーレンスインデックスとを含む値を取得することと、各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを復号するためのコードブックを、前記少なくとも１つのエネルギー比インデックスと前記少なくとも１つの方位角インデックスとに基づいて決定することと、前記少なくとも１つのコヒーレンスインデックスを逆離散コサイン変換することで、前記フレームについて各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを含む少なくとも１つのベクトルを生成することと、前記ベクトルを解析することで、各サブバンドに対応するスプレッドコヒーレンスインデックス又はサラウンドコヒーレンスインデックス若しくはその両方である少なくとも１つのコヒーレンスインデックスを生成することと、を装置に実行させる。
各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを復号するためのコードブックを、前記少なくとも１つのエネルギー比インデックスと前記少なくとも１つの方位角インデックスとに基づいて決定することを実行させる装置に、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角インデックスの分布を示す尺度が所定の閾値以上であるか否かを判断することと、前記少なくとも１つのエネルギー比インデックスと、フレームについての前記サブバンドに対応する前記少なくとも１つの方位角インデックスの分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択することと、をさらに実行させてもよい。
前記少なくとも１つのエネルギー比インデックスと、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角インデックスの分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択することを実行させる装置に、前記少なくとも１つのエネルギー比インデックスに基づいて前記コードブックに対応する複数のコードワードを選択することをさらに実行させてもよい。
前記分布を示す前記尺度は、連続する方位角値間の差の絶対値の平均、サブバンドにおける平均方位角値に対する差の絶対値の平均、前記フレームについての前記サブバンドに対応する前記少なくとも１つの方位角値の分散、前記フレームについての前記サブバンドに対応する前記少なくとも１つの方位角値の分散、のうちいずれか１つであってもよい。
離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて復号することを実行させる装置に、離散コサイン変換された前記ベクトルにおける前記第１の数の成分のうち第１の成分を前記コードブックに基づいて復号することと、離散コサイン変換された前記ベクトルにおける前記第１の数の成分のその他の成分を前記コードブックに基づいて復号することと、復号された前記第１の成分と復号された前記その他の成分とを逆コサイン変換することと、をさらに実行させてもよい。
第７の態様によると、オーディオ信号のフレームの各サブバンドに対応する値であって、各サブバンドに対応する少なくとも１つの方位角値と、少なくとも１つの仰角値と、少なくとも１つのエネルギー比値と、スプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値とを含む値を受け取る手段と、フレームについて、各サブバンドに対応するスプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値を符号化するためのコードブックを、各サブバンドに対応する前記少なくとも１つのエネルギー比値と前記少なくとも１つの方位角値とに基づいて決定する手段と、前記フレームについてサブバンドに対応する前記少なくとも１つのコヒーレンス値を含む少なくとも１つのベクトルを離散コサイン変換する手段と、離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化する手段と、を備える装置が提供される。
第８の態様によると、オーディオ信号のフレームのサブバンドに対応する符号化された値であって、各サブバンドに対応する少なくとも１つの方位角インデックスと、少なくとも１つの仰角インデックスと、少なくとも１つのエネルギー比インデックスと、スプレッドコヒーレンスインデックス又はサラウンドコヒーレンスインデックス若しくはその両方である少なくとも１つのコヒーレンスインデックスとを含む値を取得する手段と、各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを復号するためのコードブックを、前記少なくとも１つのエネルギー比インデックスと前記少なくとも１つの方位角インデックスとに基づいて決定する手段と、前記少なくとも１つのコヒーレンスインデックスを逆離散コサイン変換することで前記フレームについて各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを含む少なくとも１つのベクトルを生成する手段と、前記ベクトルを解析することで、各サブバンドに対応するスプレッドコヒーレンスインデックス又はサラウンドコヒーレンスインデックス若しくはその両方である少なくとも１つのコヒーレンスインデックスを生成する手段と、を備える装置が提供される。
第９の態様によると、指示を含むコンピュータプログラム（又はプログラム指示を含むコンピュータ可読媒体）が提供される。前記指示は、少なくとも、オーディオ信号のフレームの各サブバンドに対応する値であって、各サブバンドに対応する少なくとも１つの方位角値と、少なくとも１つの仰角値と、少なくとも１つのエネルギー比値と、スプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値とを含む値を受け取ることと、フレームについて、各サブバンドに対応する少なくとも１つのスプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値を符号化するためのコードブックを、各サブバンドに対応する前記少なくとも１つのエネルギー比値と前記少なくとも１つの方位角値とに基づいて決定することと、前記フレームについてサブバンドに対応する前記少なくとも１つのコヒーレンス値を含む少なくとも１つのベクトルを離散コサイン変換することと、離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化することと、を装置に実行させるものである。
第１０の態様によると、指示を含むコンピュータプログラム（又はプログラム指示を含むコンピュータ可読媒体）が提供される。前記指示は、少なくとも、オーディオ信号のフレームのサブバンドに対応する符号化された値であって、各サブバンドに対応する少なくとも１つの方位角インデックスと、少なくとも１つの仰角インデックスと、少なくとも１つのエネルギー比インデックスと、スプレッドコヒーレンスインデックス又はサラウンドコヒーレンスインデックス若しくはその両方である少なくとも１つのコヒーレンスインデックスとを含む値を取得することと、各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを復号するためのコードブックを、前記少なくとも１つのエネルギー比インデックスと前記少なくとも１つの方位角インデックスとに基づいて決定することと、前記少なくとも１つのコヒーレンスインデックスを逆離散コサイン変換することで、前記フレームについて各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを含む少なくとも１つのベクトルを生成することと、前記ベクトルを解析することで、各サブバンドに対応するスプレッドコヒーレンス値又はサラウンドコヒーレンス値である少なくとも１つのコヒーレンス値を生成することと、を装置に実行させるものである。
第１１の態様によると、プログラム指示を含む非一時的コンピュータ可読媒体が提供される。前記プログラム指示は、少なくとも、オーディオ信号のフレームの各サブバンドに対応する値であって、各サブバンドに対応する少なくとも１つの方位角値と、少なくとも１つの仰角値と、少なくとも１つのエネルギー比値と、スプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値とを含む値を受け取ることと、フレームについて、各サブバンドに対応する少なくとも１つのスプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値を符号化するためのコードブックを、各サブバンドに対応する前記少なくとも１つのエネルギー比値と前記少なくとも１つの方位角値とに基づいて決定することと、前記フレームについてサブバンドに対応する前記少なくとも１つのコヒーレンス値を含む少なくとも１つのベクトルを離散コサイン変換することと、離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化することと、を装置に実行させるものである。
第１２の態様によると、プログラム指示を含む非一時的コンピュータ可読媒体が提供される。前記プログラム指示は、少なくとも、オーディオ信号のフレームのサブバンドに対応する符号化された値であって、各サブバンドに対応する少なくとも１つの方位角インデックスと、少なくとも１つの仰角インデックスと、少なくとも１つのエネルギー比インデックスと、スプレッドコヒーレンスインデックス又はサラウンドコヒーレンスインデックス若しくはその両方である少なくとも１つのコヒーレンスインデックスとを含む値を取得することと、各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを復号するためのコードブックを、前記少なくとも１つのエネルギー比インデックスと前記少なくとも１つの方位角インデックスとに基づいて決定することと、前記少なくとも１つのコヒーレンスインデックスを逆離散コサイン変換することで、前記フレームについて各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを含む少なくとも１つのベクトルを生成することと、前記ベクトルを解析することで、各サブバンドに対応するスプレッドコヒーレンスインデックス又はサラウンドコヒーレンスインデックス若しくはその両方である少なくとも１つのコヒーレンスインデックスを生成することと、を装置に実行させるものである。
第１３の態様によると、オーディオ信号のフレームの各サブバンドに対応する値であって、各サブバンドに対応する少なくとも１つの方位角値と、少なくとも１つの仰角値と、少なくとも１つのエネルギー比値と、スプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値とを含む値を受け取るように構成される受取回路と、フレームについて、各サブバンドに対応する少なくとも１つのスプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値を符号化するためのコードブックを、各サブバンドに対応する前記少なくとも１つのエネルギー比値と前記少なくとも１つの方位角値とに基づいて決定するように構成される決定回路と、前記フレームについてサブバンドに対応する前記少なくとも１つのコヒーレンス値を含む少なくとも１つのベクトルを離散コサイン変換するように構成される変換回路と、離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化するように構成される符号化回路と、を備える方法が提供される。
第１４の態様によると、オーディオ信号のフレームのサブバンドに対応する符号化された値であって、各サブバンドに対応する少なくとも１つの方位角インデックスと、少なくとも１つの仰角インデックスと、少なくとも１つのエネルギー比インデックスと、スプレッドコヒーレンスインデックス又はサラウンドコヒーレンスインデックス若しくはその両方である少なくとも１つのコヒーレンスインデックスとを含む値を取得するように構成される取得回路と、各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを復号するためのコードブックを、前記少なくとも１つのエネルギー比インデックスと前記少なくとも１つの方位角インデックスとに基づいて決定するように構成される決定回路と、前記少なくとも１つのコヒーレンスインデックスを逆離散コサイン変換することで前記フレームについて各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを含む少なくとも１つのベクトルを生成するように構成される変換回路と、前記ベクトルを解析することで、各サブバンドに対応するスプレッドコヒーレンスインデックス又はサラウンドコヒーレンスインデックス若しくはその両方である少なくとも１つのコヒーレンスインデックスを生成する解析回路と、を備える装置が提供される。
第１５の態様によると、プログラム指示を含むコンピュータ可読媒体が提供される。前記プログラム指示は、少なくとも、オーディオ信号のフレームの各サブバンドに対応する値であって、各サブバンドに対応する少なくとも１つの方位角値と、少なくとも１つの仰角値と、少なくとも１つのエネルギー比値と、スプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値とを含む値を受け取ることと、フレームについて、各サブバンドに対応する少なくとも１つのスプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値を符号化するためのコードブックを、各サブバンドに対応する前記少なくとも１つのエネルギー比値と前記少なくとも１つの方位角値とに基づいて決定することと、前記フレームについてサブバンドに対応する前記少なくとも１つのコヒーレンス値を含む少なくとも１つのベクトルを離散コサイン変換することと、離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化することと、を装置に実行させるものである。
第１６の態様によると、プログラム指示を含むコンピュータ可読媒体が提供される。前記プログラム指示は、少なくとも、オーディオ信号のフレームのサブバンドに対応する符号化された値であって、各サブバンドに対応する少なくとも１つの方位角インデックスと、少なくとも１つの仰角インデックスと、少なくとも１つのエネルギー比インデックスと、スプレッドコヒーレンスインデックス又はサラウンドコヒーレンスインデックス若しくはその両方である少なくとも１つのコヒーレンスインデックスとを含む値を取得することと、各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを復号するためのコードブックを、前記少なくとも１つのエネルギー比インデックスと前記少なくとも１つの方位角インデックスとに基づいて決定することと、前記少なくとも１つのコヒーレンスインデックスを逆離散コサイン変換することで、前記フレームについて各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを含む少なくとも１つのベクトルを生成することと、前記ベクトルを解析することで、各サブバンドに対応するスプレッドコヒーレンスインデックス又はサラウンドコヒーレンスインデックス若しくはその両方である少なくとも１つのコヒーレンスインデックスを生成することと、を装置に実行させるものである。
前記方法の前記動作を上述のように実行する手段を備える装置。
前記方法の前記動作を上述のように実行するように構成される装置。
前記方法の前記動作を上述のようにコンピュータに実行させるプログラム指示を含むコンピュータプログラム。
媒体に格納されたコンピュータプログラムが、前記方法を本明細書に述べるように装置に実行させてもよい。
電子機器が、本明細書に述べるような装置を備えてもよい。
チップセットが、本明細書に述べるような装置を備えてもよい。
本願の実施形態は、当該技術分野の従来技術に係る課題に対処することを目的とする。
本発明のより良い理解に供するために、例として以下の図面を参照する。
いくつかの実施形態を実施するために好適な装置のシステムを模式的に示す図である。 いくつかの実施形態に係るメタデータエンコーダを模式的に示す図である。 いくつかの実施形態に係る、図２に示すメタデータエンコーダの動作のフローチャートである。 いくつかの実施形態に係る、図２に示すコヒーレンスエンコーダを模式的に示す図である。 いくつかの実施形態に係る、図４に示すコヒーレンスエンコーダの動作のフローチャートである。 いくつかの実施形態に係る、コヒーレンスエンコーダが１番目とその後続のコヒーレンス成分を符号化する動作のフローチャートである。 別のいくつかの実施形態に係る、コヒーレンスエンコーダが１番目とその後続のコヒーレンス成分を符号化するさらなる動作のフローチャートである。 いくつかの実施形態に係るメタデータデコーダを、コヒーレンスの復号について模式的に示す図である。 いくつかの実施形態に係る、図８に示すメタデータデコーダの動作のフローチャートである。 図１に示す装置を実施するために好適である例示的な機器を模式的に示す図である。
以下に、空間分析に基づく効果的なメタデータパラメータを提供する好適な装置及び可能な機構をさらに詳細に説明する。以下の説明では、多チャンネルのマイクロホンの実装を取り上げて多チャンネルシステムについて説明する。しかしながら、以上で説明したように、入力フォーマットは、多チャンネルスピーカ又はアンビソニックス方式（ＦＯＡ又は高次アンビソニックス（Higher Order Ambisonics：ＨＯＡ））等の任意の好適な入力フォーマットでよい。いくつかの実施形態では、チャンネルの場所は、マイクロホンの場所、又は仮想の場所や方向に基づくと解釈される。さらに、例示的なシステムの出力は多チャンネルスピーカ配置である。しかしながら、出力は、スピーカ以外の手段を介してユーザに提供されてもよいと解釈される。さらに、多チャンネルスピーカ信号を一般化して２つ以上の再生オーディオ信号にしてもよい。
メタデータは、検討対象の時間周波数（Time-Frequency：ＴＦ）ブロック (時間／周波数サブバンド）それぞれについて、少なくとも、方向（仰角、方位角）と、得られる方向のエネルギー比と、得られる方向のスプレッド（spread）コヒーレンス成分とで構成される。加えて、方向とは無関係に、各ＴＦブロックについてサラウンド（surround）コヒーレンスが判定されて含まれてもよい。このようなデータは全て、デコーダで空間信号を再構成できるように、エンコーダにより符号化されて送信（又は記憶）される。
コーデックの全体のオペレーティングビットレートは、典型的には、メタデータの送信又は記憶用では３．０ｋｂｐｓ、４．０ｋｂｐｓ、８ｋｂｐｓ、又は１０ｋｂｐｓとなる。方向パラメータ及びエネルギー比成分の符号化は既に検討されている。しかしながら、コヒーレンスデータの符号化は未だ研究されておらず、低ビットレートでは除外され、送信や記憶はされない。
以下に説明するような概念では、各ＴＦブロックについて方向及びエネルギー比パラメータとともに、コヒーレンスパラメータを符号化する。以下の例では、当該符号化は離散コサイン変換（discrete cosine transform：ＤＣＴ）領域で実行され、現在処理対象であるサブバンドのインデックスと、現在処理対象であるエネルギー比と、方位角値とに依存する。なお、ＤＣＴ変換は複雑性の低い実装の場合に最適化されるため以下の実施形態で採用されるが、代替として別の時間周波数領域変換が採用されてもよい。
実施形態によっては、固定ビットレート符号化方式を、１フレーム当たりの合計ビットレートを固定しつつ圧縮対象データの符号化ビットを異なるセグメント間に配分する可変ビットレート符号化と組み合わせて使用してもよい。ＴＦブロック内では、周波数サブバンド間でビットがやり取りされる。
図１に、応用事例の実施形態を実施するための例示的な装置及びシステムを示す。システム１００は、分析部分１２１と、合成部分１３１とを備えて図示される。分析部分１２１は、多チャンネルスピーカ信号の受け取りから、メタデータ及びダウンミックス信号の符号化までを担う部分である。合成部分１３１は、符号化されたメタデータ及びダウンミックス信号の復号から、再現信号の（例えば、多チャンネルスピーカ形式での）提示までを担う部分である。
システム１００及び分析部分１２１への入力は、多チャンネル信号１０２である。以下の例ではマイクロホンチャンネル信号の入力を説明するが、他の実施形態では、任意の好適な入力（又は合成多チャンネル）フォーマットが実施されてもよい。例えば、実施形態によっては、空間分析部及び空間分析がエンコーダの外部で実施されてもよい。例えば、実施形態によっては、オーディオ信号に関連付けられる空間メタデータは、分離されたビットストリームとしてエンコーダに与えられてもよい。実施形態によっては、空間メタデータは、空間に関する（方向）インデックス値のセットとして与えられてもよい。
多チャンネル信号は、トランスポート信号生成部１０３及び分析プロセッサ１０５に渡される。
実施形態によっては、トランスポート信号生成部１０３は、多チャンネル信号を受け取って、所定数のチャンネルで構成される好適なトランスポート信号を生成して、このトランスポート信号１０４を出力するように構成される。例えば、トランスポート信号生成部１０３は、多チャンネル信号の２音声チャンネルのダウンミックスを生成するように構成されてもよい。前記所定数のチャンネルは、任意の好適な数のチャンネルであってもよい。実施形態によっては前記と異なり、トランスポート信号生成部は、前記入力オーディオ信号を選択、又は例えばビーム形成技術により前記所定数のチャンネルになるように結合して、これらの信号をトランスポート信号として出力するように構成される。
実施形態によっては、トランスポート信号生成部１０３を設けるかどうかは必須ではなく、多チャンネル信号は、未処理のまま、本例におけるトランスポート信号と同様にエンコーダ１０７に渡される。
実施形態によっては、分析プロセッサ１０５も多チャンネル信号を受け取り、当該多チャンネル信号と関連付けられることでトランスポート信号１０４とも関連付けられるメタデータ１０６を生成するために当該信号を分析するように構成される。解析プロセッサ１０５が、各時間周波数分析間隔で、方向パラメータ１０８と、エネルギー比パラメータ１１０と、コヒーレンスパラメータ１１２と（実施形態によっては、さらに拡散度パラメータと）を含み得るメタデータを生成するように構成されてもよい。実施形態によっては、方向、エネルギー比、及びコヒーレンスパラメータが空間オーディオパラメータであると考えてもよい。言い換えれば、空間オーディオパラメータは、多チャンネル信号（又は、一般的には２つ以上の再生オーディオ信号）により作り出される音場の特徴を示すことが目的のパラメータを含む。
実施形態によっては、生成されるパラメータは、各周波数バンドによって異なってもよい。例えば、バンドＸでは全てのパラメータが生成されて送信され、バンドＹではパラメータの１つが生成されて送信され、バンドＺでは全てのパラメータが生成も送信もされない。現実的な例として、最も高いバンド等の一部の周波数バンドでは、いくつかのパラメータは知覚上の理由で必要ない場合がある。トランスポート信号１０４及びメタデータ１０６は、エンコーダ１０７に渡されてもよい。
エンコーダ１０７は、トランスポート（例えば、ダウンミックス）信号１０４を受け取って、これらのオーディオ信号の好適な符号化結果を生成するように構成されるオーディオエンコーダコア１０９を備えてもよい。実施形態によっては、エンコーダ１０７は、コンピュータ（メモリ上及び少なくとも１つのプロセッサ上に格納される好適なソフトウェアを実行するもの）、あるいは、例えば、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ）又は特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）を利用した特定の機器により実施できる。前記符号化は、任意の好適な手法で実施されてもよい。エンコーダ１０７は、メタデータを受け取って、符号化又は圧縮された形式の情報を出力するように構成されるメタデータエンコーダ／量子化部１１１をさらに備えてもよい。実施形態によっては、エンコーダ１０７はさらに、図１の破線で示す送信又は記憶の前に、当該メタデータを交互に配置する、単一のデータストリームに多重化する、又は符号化されたダウンミックス信号内に埋め込む、といった処理を行ってもよい。当該多重化は、任意の好適な手法を用いて実施されてもよい。
デコーダ側では、受信した又は取り出されたデータ（ストリーム）が、デコーダ／逆多重化部１３３によって受け取られてもよい。デコーダ／逆多重化部１３３は、符号化ストリームを逆多重化し、そのオーディオ符号化ストリームを、オーディオ信号を復号してトランスポート信号を得るように構成されるトランスポート抽出部１３５に渡してもよい。同様に、デコーダ／逆多重化部１３３は、符号化メタデータを受け取って、メタデータを生成するように構成されるメタデータ抽出部１３７を備えてもよい。実施形態によっては、デコーダ／逆多重化部１３３は、コンピュータ（メモリ上及び少なくとも１つのプロセッサ上に格納される好適なソフトウェアを実行するもの）、あるいは、例えば、ＦＰＧＡ又はＡＳＩＣを利用した特定の機器により実施できる。
復号されたメタデータ及びトランスポートオーディオ信号は、合成プロセッサ１３９に渡されてもよい。
システム１００の合成部分１３１において、合成プロセッサ１３９をさらに図示する。合成プロセッサ１３９は、トランスポート信号及びメタデータを受け取って、トランスポート信号及びメタデータに基づき、任意の好適なフォーマットで、合成空間オーディオを多チャンネル信号１１０の形式に再構成するように構成される（多チャンネル信号１１０は、多チャンネルスピーカフォーマット、又は、実施形態によっては、使用事例に応じてバイノーラル又はアンビソニックス信号等の任意の好適な出力フォーマットであってもよい）。
したがって、要約すると、まず、システム（分析部分）が多チャンネルオーディオ信号を受信するように構成される。
システム（分析部分）は、次に、好適なトランスポートオーディオ信号を（例えば、オーディオ信号チャンネルのうちいくつかを選択又はダウンミックスすることで）生成するように構成される。
システムは、次に、記憶や送信のためにトランスポート信号及びメタデータを符号化するように構成される。
システムは、その後、符号化されたトランスポート信号及びメタデータを記憶しても、送信してもよい。
システムは、符号化されたトランスポート信号及びメタデータを読み出すか、又は受け取ってもよい。
その後、システムは、符号化されたトランスポート信号及びメタデータパラメータからトランスポート信号及びメタデータを抽出して、例えば、当該符号化されたトランスポート信号及びメタデータパラメータを逆多重化し、さらに復号するように構成される。
システム（合成部分）は、抽出されたトランスポートオーディオ信号及びメタデータに基づいて、出力された多チャンネルオーディオ信号を合成するように構成される。
図２に関連して、いくつかの実施形態に係る例示的な分析プロセッサ１０５及び（図１に示すような）メタデータエンコーダ／量子化部１１１について、さらに詳細に説明する。
実施形態によっては、分析プロセッサ１０５は、時間周波数領域変換部２０１を備える。
実施形態によっては、時間周波数領域変換部２０１は、多チャンネル信号１０２を受け取って、入力された時間領域信号を好適な時間周波数信号に変換するための短時間フーリエ変換（Short Time Fourier Transform：ＳＴＦＴ）のような時間から周波数への好適な領域変換を行うように構成される。得られた時間周波数信号は、空間分析部２０３及び信号分析部２０５に渡されてもよい。
そのようにして、時間周波数領域表示では、時間周波数信号２０２を、例えば、si(b,n)と表してもよい。ここで、ｂは周波数ビンのインデックス、ｎはＴＦブロック（フレーム）のインデックス、ｉはチャンネルのインデックスである。別の表現では、ｎは、もともとの時間領域信号よりもサンプリングレートが低い時間インデックスと考えることもできる。これらの周波数ビンは、当該ビンのうち１つ以上をバンドインデックスｋ（ｋ＝０，...，Ｋ－１）のサブバンドに分類するようなやり方でサブバンドに分類される。各サブバンドｋには最も低いビンbk,lowと最も高いビンbk,highとが含まれ、当該サブバンドには、bk,lowからbk,highまでのビンが全て含まれる。サブバンドの幅は、任意の好適な分布を近似するように選択できる。例えば、等価矩形バンド幅（Equivalent Rectangular Bandwidth：ＥＲＢ）尺度又はバーク（Bark）尺度が挙げられる。
実施形態によっては、分析プロセッサ１０５は、空間分析部２０３を備える。空間分析部２０３は、時間周波数信号２０２を受け取り、当該信号に基づいて方向パラメータ１０８を推定するように構成されてもよい。当該方向パラメータは、オーディオに基づく方向判定であれば任意のものに基づいて判定されてもよい。
例えば、実施形態によっては、空間分析部２０３は、２つ以上の信号入力を用いて方向を推定するように構成される。これが方向を推定する最も簡易な構成を代表するものであるが、より多くの信号を使用してより複雑な処理を実行するようにしてもよい。
空間分析部２０３は、そのようにして、あるオーディオ信号のフレーム内における各周波数バンド及び一時的なＴＦブロックについて、少なくとも１つの方位角及び少なくとも１つの仰角を与えるように構成されてもよい。これらは、方位角φ（ｋ，ｎ）及び仰角θ（ｋ，ｎ）とする。方向パラメータ１０８は、方向インデックス生成部２０５に渡されてもよい。
空間分析部２０３は、エネルギー比パラメータ１１０を求めるように構成されてもよい。エネルギー比は、ある方向から到達すると考えられるオーディオ信号のエネルギーの定量化であると考えてもよい。直接音全エネルギー比ｒ（ｋ，ｎ）は、例えば、方向推定値の安定性尺度を用いて、あるいは任意の相関尺度、又は比のパラメータを得るための任意の好適な方法を用いて推定できる。エネルギー比は、エネルギー比エンコーダ２０７に渡されてもよい。
空間分析部２０３は、さらに、ともに時間周波数領域で分析されたサラウンドコヒーレンス（γ（ｋ，ｎ））及びスプレッドコヒーレンス（ζ（ｋ，ｎ））を含み得る複数のコヒーレンスパラメータ１１２を決定するように構成されてもよい。スプレッドコヒーレンスパラメータは、０から１までの値を取る。スプレッドコヒーレンス値が０である場合、その値は点音源を意味する。言い換えれば、多スピーカシステムを用いてオーディオ信号を再現する場合、その音は可能な限り少数のスピーカ（例えば、方向が中央であれば中央のスピーカのみ）で再現する必要がある。スプレッドコヒーレンス値が大きくなり、０．５に至るまでは、中央のスピーカ周辺のスピーカへと広がるエネルギーが大きくなる。０．５であれば、中央のスピーカとそれに隣接するスピーカとの間においてエネルギーの広がりは均等である。スプレッドコヒーレンス値が０．５を超えて大きくなり１に至るまでは、中央のスピーカにおけるエネルギーが小さくなる。１であれば、中央のスピーカにはエネルギーが全くなく、全エネルギーが隣接するスピーカにある。サラウンドコヒーレンスパラメータは、０から１までの値をとる。値が１である場合、全て（又はほとんど全て）のスピーカチャンネル間にコヒーレンスがあることを意味する。値が０である場合、全て（又はほとんど全て）のスピーカチャンネル間にコヒーレンスがないことを意味する。このことは英国特許出願第１７１８３４１．９号及びＰＣＴ出願ＰＣＴ／ＦＩ２０１８／０５０７８８号にさらに詳しく説明されている。
したがって、要約すると、分析プロセッサは、時間領域の多チャンネルフォーマット又は他のフォーマット（マイクロホン又はアンビソニックス方式のオーディオ信号等）を受け取るように構成される。
これに続いて、分析プロセッサは、分析のために好適な時間周波数領域信号を生成するために時間領域から周波数領域への変換（例えば、ＳＴＦＴ）を行い、方向及びエネルギー比パラメータを決定するために方向分析を行ってもよい。
続いて、分析プロセッサは、決定したパラメータを出力する。
本明細書においては、方向、エネルギー比、及びコヒーレンスパラメータは各時間インデックスｎについての数値となっているが、実施形態によっては、これらのパラメータは数個の時間インデックスを統合して得られる数値でもよい。周波数軸についても同様であり、既に述べたように、数個の周波数ビンｂの方向が、数個の周波数ビンｂから成るバンドｋが、１つの方向パラメータによって表現されてもよい。本明細書においては、記載される空間パラメータの全てについて同様である。
実施形態によっては、各方位角パラメータを９ビットで、各仰角を７ビットで近似的に表現するようにして、方向を示すデータを１６ビットで表現してもよい。そのような実施形態では、エネルギー比パラメータを８ビットで表現してもよい。各フレームが、Ｎ（＝５）個のサブバンドとＭ（＝４）個のＴＦブロックを有してもよい。このように、本例では、各フレームについて方向及びエネルギー比の圧縮前のメタデータを格納するのに必要なのは（１６＋８）×Ｍ×Ｎビットである。各ＴＦブロックについてのコヒーレンスデータは、０から１までの浮動小数点表現であってもよく、最初は、８ビットで表示されてもよい。
図２に示すように、例示的なメタデータエンコーダ／量子化部１１１がいくつかの実施形態に従って図示される。
メタデータエンコーダ／量子化部１１１は、方向エンコーダ２０５を備えてもよい。方向エンコーダ２０５は、方向パラメータ（方位角φ（ｋ，ｎ）及び仰角θ（ｋ，ｎ））１０８（及び、実施形態によっては、予定されるビット配分）を受け取って、当該パラメータから好適な符号化された出力を生成するように構成される。実施形態によっては、符号化は、所定の量子化解により定義されたルックアップテーブルにより定義された表面球上の円環に配置された球面格子を構成する球を配置することに基づく。言い換えれば、当該球面格子には、１つの球形を複数のより小さな球形で覆い、それらの小さな球形の中心をほぼ等距離方向にある格子を定義する点と見なすという考え方が適用される。したがって、前記の小さな球形により、任意の好適なインデックス化アルゴリズムに従ってインデックス化され得る中点を頂点とする円錐又は立体角が定義される。本明細書では球面上の量子化を記載するが、線形か非線形かにかかわらず、好適であればどのような量子化を採用してもよい。
さらに、実施形態によっては、方向エンコーダ２０５は、方位角パラメータ値の分散を算出して、コヒーレンスエンコーダ２０９に渡すように構成される。
符号化された方向パラメータは、その後、結合部２１１に渡されてもよい。
メタデータエンコーダ／量子化部１１１は、エネルギー比エンコーダ２０７を備えてもよい。エネルギー比エンコーダ２０７は、エネルギー比を受け取り、各サブバンド及び各ＴＦブロックについてのエネルギー比を圧縮する好適な符号化を決定するように構成される。例えば、実施形態によっては、エネルギー比エンコーダ２０７は、各エネルギー比パラメータ値の符号化に３ビットを使用するように構成される。
さらに、実施形態によっては、全てのＴＦブロックそれぞれについての全てのエネルギー比値を送信又は記憶するのではなく、各サブバンドについて１つの加重平均値のみを送信又は記憶する。当該平均値は、各時間ブロックのエネルギー合計を反映して算出されてもよい。そうすることで、より高いエネルギーを持つサブバンドの値が優先される。
そのような実施形態では、量子化後のエネルギー比値は、所与のサブバンドの全てのＴＦブロックについて同一である。
実施形態によっては、エネルギー比エンコーダ２０７はさらに、量子化後の（符号化後）エネルギー比値を結合部２１１とコヒーレンスエンコーダ２０９とに渡すように構成される。
メタデータエンコーダ／量子化部１１１は、コヒーレンスエンコーダ２０９を備えてもよい。コヒーレンスエンコーダ２０９は、コヒーレンス値を受け取って、サブバンド及び時間周波数ブロックについてのコヒーレンス値を圧縮する好適な符号化を決定するように構成される。コヒーレンスパラメータ値として３ビットの精度値で許容可能なオーディオ合成結果が生成されることが示されている。しかし、そうだとしても、全てのＴＦブロックのコヒーレンスデータに合計３×２０ビットが必要となる（本例では、１フレーム当たり８個のサブバンドと５個のＴＦブロックから成る）。
以下に述べるように、実施形態によっては、符号化がＤＣＴ領域で実施され、現在処理対象であるサブバンドのインデックスと、現在処理対象であるエネルギー比と、対象方位角値とに依存するようにしてもよい。
符号化されたコヒーレンスパラメータ値は、次に結合部２１１に渡されてもよい。
メタデータエンコーダ／量子化部１１１は、結合部２１１を備えてもよい。結合部は、符号化された（若しくは量子化／圧縮された）方向を示すパラメータ、エネルギー比パラメータ、及びコヒーレンスパラメータを受け取り、これらのパラメータを結合して好適な出力（例えば、トランスポート信号と結合されてもよく、トランスポート信号とは別に送信又は記憶されてもよい、メタデータビットストリーム）を生成するように構成される。
図３に、いくつかの実施形態に係る、図２に示すメタデータエンコーダ／量子化部の例示的な動作を示す。
最初の動作は、ステップ３０１として図３に示すように、メタデータ（方位角値、仰角値、エネルギー比、コヒーレンス等）を取得することである。
次に、ステップ３０３として図３に示すように、方向を示す値（仰角及び方位角）が圧縮又は符号化されてもよい（例えば、球面上の量子化又は任意の好適な圧縮を適用する）。
ステップ３０５として図３に示すように、エネルギー比値が圧縮又は符号化される（例えば、値をサブバンド毎に加重平均し、その結果を３ビット値に量子化する）。
ステップ３０７として図３に示すように、コヒーレンス値も圧縮又は符号化される（例えば、後述するようにＤＣＴ領域における符号化を行う）。
次に、ステップ３０５として図３に示すように、符号化された方向を示す値、エネルギー比、コヒーレンス値が結合され、符号化されたメタデータが生成される。
図４に、図２に示したような例示的なコヒーレンスエンコーダ２０９を示す。
実施形態によっては、コヒーレンスエンコーダ２０９は、コヒーレンスベクトル生成部４０１を備える。コヒーレンスベクトル生成部４０１は、０から１までの８ビット浮動小数点表現であるコヒーレンス値１１２を受け取るように構成される。
コヒーレンスベクトル生成部４０１は、各サブバンドについてコヒーレンス値のベクトルを生成するように構成される。そのため、ＴＦブロックの数がＭである例では、コヒーレンスベクトル生成部４０１は、コヒーレンスデータ４０２であるＭ次元ベクトルを生成するように構成される。
コヒーレンスデータベクトル４０２は、離散コサイン変換部４０３に出力される。
実施形態によっては、コヒーレンスエンコーダ２０９は、離散コサイン変換部を備える。この離散コサイン変換部は、Ｍ次元のコヒーレンスデータベクトル４０２を受け取って、当該ベクトルにＤＣＴを行うように構成されてもよい。
ＤＣＴを行うため任意の好適な方法が実施されてもよい。例えば、実施形態によっては、当該ベクトルは、あるサブバンドに対応するコヒーレンスの４次元ベクトルから成る。その場合、当該ベクトル
Figure 0007213364000001
であり、４次のＤＣＴ行列との行列の乗算は以下の式と等価である。
Figure 0007213364000002
ここで、
Figure 0007213364000003
である。
これにより、ＤＣＴ変換の演算の数が２８から１４に減る。
次に、ＤＣＴコヒーレンスベクトル４０４が、ベクトルエンコーダ４０５に出力されてもよい。
実施形態によっては、コヒーレンスエンコーダ２０９は、ベクトルエンコーダ４０５を備える。ベクトルエンコーダ４０５は、ＤＣＴコヒーレンスベクトル４０４を受け取って、好適なコードブックを用いて符号化するように構成される。
実施形態によっては、ベクトルエンコーダ４０５は、コードブック決定部４１５を備える。コードブック決定部は、符号化／量子化されたエネルギー比４１２及び量子化された方位角の分散４１４（それぞれ、図２に示すエネルギー比エンコーダ及び方向エンコーダによって決定される）を受け取って、ＤＣＴコヒーレンスベクトル値に適用するのに好適なコードブックを決定するように構成される。
実施形態によっては、１番目のＤＣＴパラメータの符号化は、２番目以降のＤＣＴパラメータの符号化とは違う方法で実施される。これは、１番目のＤＣＴパラメータと２番目以降のＤＣＴパラメータとは著しく分布が異なるからである。さらに、１番目のＤＣＴパラメータの分布は、２つの因子、つまり現在処理対象であるサブバンドのエネルギー比値及びそのサブバンド内の方位角分散にも依存するからである。
実施形態によっては（既に説明したように）、各エネルギー比値の符号化に３ビットが使用され、サブバンドあたり１個の加重平均値のみが生成されて、その送信（及び／又は記憶）がなされる。つまり、量子化されたエネルギー比値は、所与のサブバンドの全てのＴＦブロックについて同一である。
さらに、方位角の分散は、サブバンドにおける量子化された方位角の分散が非常に小さい（所定の閾値未満）又は当該閾値より大きいか否かに応じて、１番目のＤＣＴパラメータの分布に影響を与える。
実施形態によっては、さらに、一部の（ｌ_Ｎ個）のサブバンドが選択される。例えば、実施形態によっては、ｌ_Ｎ＝３である。そのような実施形態では、選択されるサブバンドの上限までの個数のサブバンドが、第１の個数の従ＤＣＴパラメータを使用して符号化される。また、残りのサブバンドが、第２の個数の従ＤＣＴパラメータを使用して符号化される。実施形態によっては、第１の個数が１であり、第２の個数が２である。言い換えれば、実施形態によっては、ベクトルエンコーダは、ｌ_Ｎ個目までのサブバンドがＤＣＴ変換されたベクトルの最初の２成分（１つは主、もう１つは従）を符号化し、ｌ_Ｎ個目の次以降のサブバンドがＤＣＴ変換されたベクトルの最初の３成分（１つは主、残りの２つは従）を符号化するように構成される。これらの２つの付加的な要素は、２次元ベクトル量子化部で符号化することができる。あるいは、２番目のＤＣＴパラメータのＮ次元のベクトル量子化部に対して追加の次元として加えて、全ての従パラメータの符号化を一度に行うためのＮ＋２次元ベクトル量子化部を使用することもできる。
コヒーレンスパラメータの符号化の概略を図６のフローチャートに示す。
最初の動作は、ステップ５０１として図６に示すように、コヒーレンスパラメータ値を取得することである。
対象フレームについてのコヒーレンスパラメータ値を取得すると、次の動作は、ステップ５０３として図６に示すように、各サブバンドのＭ次元コヒーレンスベクトルを生成することである。
次に、ステップ５０５として図６に示すように、これらのＭ次元コヒーレンスベクトルが、例えば、ＤＣＴを使用して変換される。
その後、ＤＣＴ結果が、図６のステップ５０７に示すように、所定のサブバンド選択値に至るまでのサブバンドとその値より後ろであるサブバンドに分類される。言い換えれば、現在処理対象であるサブバンドがｌ_Ｎ個目までか、ｌ_Ｎ個目より後ろであるかを判定する。
次に、ｌ_Ｎ個目までのサブバンドに対応するＭ次元コヒーレンスベクトルのＤＣＴ結果が、図６のステップ５０９に示すように、ＤＣＴ変換後ベクトルの最初の２成分を符号化することで符号化される。
次に、ｌ_Ｎ個目より後ろであるサブバンドに対応するＭ次元コヒーレンスベクトルのＤＣＴ結果が、図６のステップ５１１に示すように、ＤＣＴ変換後のベクトルの最初の３成分を符号化することで符号化される。
これは、例えば、以下に示す疑似コードの形に要約されてもよい。
For 各サブバンドｉ＝１：Ｎ
コヒーレンスデータのＭ次元ベクトルにＤＣＴ変換を行う
If i <= l_N
ＤＣＴ変換後のベクトルの最初の２成分を符号化する
Else
ＤＣＴ変換後のベクトルの最初の３成分を符号化する
End if
End for
図５に、いくつかの実施形態に係る、入力としてＤＣＴコヒーレンスベクトル４０４を受け取るベクトルエンコーダ４０５をさらに詳細に示す。
実施形態によっては、ベクトルエンコーダは、ＤＣＴ０次スプレッドコヒーレンスビット符号化推定部（又は第１の（主）ＤＣＴコヒーレンスパラメータ推定部）４５１を備える。
ＤＣＴ０次スプレッドコヒーレンスビット符号化推定部（又は第１の（主）ＤＣＴコヒーレンスパラメータ推定部）４５１は、ＤＣＴコヒーレンスベクトル４０４を受け取って、コヒーレンス値が全て非ヌルであるかどうかを当該ベクトルから判定するように構成される。ＤＣＴ０次スプレッドコヒーレンスビット符号化推定部は、少なくとも１つのコヒーレンス値が非ヌルである場合に、スプレッドコヒーレンスについて０次のＤＣＴパラメータを符号化するためのビット数を推定するように構成される。これは、以下に示す結合符号化のためである。
Figure 0007213364000004
ここで、indexERiは、サブバンドｉの量子化後エネルギー比のインデックスであり、len_cb_dct0[] =｛7,6,5,4,4,4,3,2｝である。
この推定結果は、コードブック決定部４１５に渡される。
実施形態によっては、ベクトルエンコーダが、ＤＣＴ１次（及び２次以降）スプレッドコヒーレンスエンコーダ（又は後続の（従）コヒーレンスパラメータ推定部）４５５をさらに備えてもよい。ＤＣＴ１次（及び２次以降）スプレッドコヒーレンスエンコーダ４５５は、ＤＣＴコヒーレンスベクトル４０４を受け取って、当該ベクトルに基づき、量子化されたインデックスのうち平均を除去したインデックスに対するゴロムライス（Golomb Rice：ＧＲ）符号化により、スプレッドコヒーレンスについて１次の（さらに追加的な従パラメータを符号化する、各サブバンドに対する２次以降の）ＤＣＴパラメータを符号化するように構成される。実施形態によっては、これらのインデックスは、サブバンドのインデックスに依存するコードブックにおけるスカラー量子化により得られる。コードワードは全てのサブバンドについて同数であり、例えば、５個である。
出力された符号化されたＤＣＴ変換後１次（及び２次以降の）符号化スプレッドコヒーレンスパラメータは、符号化されたコヒーレンスベクトル４０４の一部として出力されるように作成できる。
実施形態によっては、ベクトルエンコーダは、サラウンドコヒーレンスエンコーダ４５７をさらに備えてもよい。サラウンドコヒーレンスエンコーダ４５７は、サラウンドコヒーレンスパラメータを受け取って符号化し、サラウンドコヒーレンスのビット数を計算するように構成される。実施形態によっては、サラウンドコヒーレンスエンコーダ４５７は、各サブバンドにつき１個のサラウンドコヒーレンス値を送信するように構成される。この値は、重みが信号エネルギーにより決定されるサブバンドの時間周波数ブロックの加重平均として、エネルギー比の符号化で説明したような方法で得られてもよい。
実施形態によっては、平均化されたサラウンドコヒーレンス値は、長さ（コードワードの数）がエネルギー比のインデックス（インデックス０、１、２、３、４、５、６、７に対応する２、３、４、５、６、７、８、８個のコードワード）に依存するコードブックによりスカラー量子化される。実施形態によっては、当該インデックスは、平均を除去した値についてＧＲエンコーダを使用するか、使用するコードワードの数を考慮して結合符号化を行うか（言い換えれば、ＧＲ符号化のようなエントロピーコーディングと、値をより少ないビットに符号化するような結合符号化とのいずれかを選択をする）のいずれかにより符号化される。
実施形態によっては、（主スプレッドコヒーレンスを符号化するために）推定され（従スプレッド及びサラウンドコヒーレンスパラメータを符号化するために）使用されるビット総数が決定され、当該総数に基づき、決定された方向を示すパラメータの符号化に使用可能な残余ビット数の総計を求める。これは、例えば、数学的に以下のように決定される。
ＥＤ＝Ｂ－（ＥＰＳＣ＋ＳＳＣ＋ＳＣ＋ＥＰ） （３）
ここで、ＥＤは使用可能な残余ビット数、Ｂは当初のビット目標数、ＥＰＳＣはスプレッドコヒーレンスの主パラメータの符号化に使用される推定ビット数、ＳＳＣはスプレッドコヒーレンスの従パラメータの符号化に使用されるビット数、ＳＣはサラウンドコヒーレンスパラメータの符号化に使用されるビット数、ＥＰはエネルギー比の符号化に使用されるビット数である。
使用可能な残余ビット数は、方向エンコーダに渡されて、任意の好適な符号化方法（例えば上述したもの）による方向パラメータの符号化に使用するビット数を決定するために使用されてもよい。
また、実施形態によっては、既に説明したように、ベクトルエンコーダはコードブック決定部４１５をさらに備えてもよい。実施形態によっては、コードブック決定部４１５は、ＤＣＴ０次スプレッドコヒーレンスパラメータと、符号化／量子化されたエネルギー比４１２と、方位角４１４の符号化された分散を符号化するためのビット数の推定値とを受け取るように構成される。コードブック決定部４１５は、これらの入力から、ＤＣＴ０次スプレッドコヒーレンスパラメータの符号化のための好適なコードブックを決定してもよい。実施形態によっては、この決定はエネルギー比及び量子化された方位角値（現在処理対象であるサブバンドに対応する量子化された方位角値の分散）に基づく。当該サブバンドに対応する方位角の分散が所定の閾値（例えば、３０）未満の場合は第１の所定のコードブックが使用され、そうでない場合は別の既定のコードブックが使用される。実施形態によっては、０次ＤＣＴ係数について合計１６個のコードブックがある（エネルギー比については８個のインデックスがあり、所与の閾値との関連で方位角分散については２種類の可能性があることに基づく）。
選択されたコードブックは、ＤＣＴ０次スプレッドコヒーレンスエンコーダ４５３に渡される。
さらに、実施形態によっては、ベクトルエンコーダは、ＤＣＴ０次スプレッドコヒーレンスエンコーダ４５３をさらに備えてもよい。決定されたコードブックとＤＣＴコヒーレンスベクトルとを受け取ったＤＣＴ０次スプレッドコヒーレンスエンコーダ４５３は、当該コードブックを使用してＤＣＴ０次スプレッドコヒーレンスを符号化して、これを符号化されたコヒーレンスベクトル４０４として出力するために受け渡すように構成される。
図７に、いくつかの実施形態に係る、エネルギー比パラメータ及び方向パラメータ（破線の左側）及びコヒーレンスパラメータ（破線の右側）を符号化する方法のフローチャートを示す。
実施形態によっては、ステップ６０１として図７に示すように、エネルギー比が、最適化されたスカラー量子化（Scalar Quantization：ＳＱ）法により各値につき３ビットを使用して符号化される。
次に、ステップ６０３として図７に示すように、少なくとも１つのコヒーレンス値が非ヌルである場合、スプレッドコヒーレンスについて０次のＤＣＴパラメータの符号化に使用するビット数が推定される。また、コヒーレンス値が全てゼロである場合は、値がゼロであるということを伝達する１ビットのみを送信する。
また、ステップ６０５として図７に示すように、当該符号化方法は、量子化インデックスのうち平均を除去したインデックスに対するＧＲ符号化により、スプレッドコヒーレンスについて１次のＤＣＴパラメータを符号化することをさらに含んでもよい。前記で説明したようなインデックスは、実施形態によっては、サブバンドのインデックスに依存するコードブックにおけるスカラー量子化により求められてもよい。コードワードの数は、全てのサブバンドについて同数（例えば５個）である。
また、実施形態によっては、ステップ６０７として図７に示すように、当該符号化方法は、サラウンドコヒーレンスを符号化してそのビット数を計算することをさらに含む。実施形態によっては、前記で説明したように、各サブバンドについて１つのサラウンドコヒーレンス値が送信される。また実施形態によっては、当該値は、ステップ６０１でエネルギー比について使用される方法と同様にして、重みを信号エネルギーとしたサブバンドのＴＦブロックの加重平均として求められる。次に、平均化されたサラウンドコヒーレンス値は、長さ（コードワードの数）がエネルギー比のインデックス（インデックス０、１、２、３、４、５、６、７に対応する２、３、４、５、６、７、８、８個のコードワード）に依存するコードブックによりスカラー量子化される。インデックスは、平均を除去した値に対するＧＲ符号化、又は使用されるコードワードの数を考慮した結合符号化により符号化される。
実施形態によっては、ステップ６０９として図７に示すように、当該符号化方法は、方向パラメータを符号化するための残余ビット数を計算することを含んでもよい。
方向パラメータを符号化ための残余ビット数の決定後、ステップ６１１として図７に示すように、方向パラメータが符号化される。
また、ステップ６１３として図７に示すように、当該符号化方法は、エネルギー比及び量子化された方位角値（現在処理対象であるサブバンドに対応する量子化された方位角値の分散）に応じて決定されるコードブックを使用してスプレッドコヒーレンスについての０次のＤＣＴ係数を符号化することを含む。この決定は、エネルギー比値の範囲に対応する２つの選択可能なコードブックのうちのどちらかを、対象サブバンドの方位角分散が閾値より低い（又は高い）ことに基づいて選択することで行われてもよい。このように、０次のＤＣＴ係数について合計１６個のコードブックがあり得る（エネルギー比については８個のインデックスがあり、所与の閾値との関連で方位角分散については２種類の可能性があることに基づく）。
この処理は、以下のようにコードで表現されてもよい。

static short quantize_coherence(IVAS_MASA_QDIRECTION* q_direction,
unsigned char coding_subbands,
unsigned char no_directions,
short all_coherence_zero,
short max_bits_coherence,
IVAS_MASA_METADATA_FRAME* metadata,
short write_flag,
int * first_pos)
{
short i, j, k;
float dct_coh[MASA_MAXIMUM_CODING_SUBBANDS][MASA_SUBFRAMES];
unsigned short idx_dct[MASA_SUBFRAMES*MASA_MAXIMUM_CODING_SUBBANDS];
short nbits;
int no_cb;
short no_cb_vec[MASA_MAXIMUM_CODING_SUBBANDS];
short bits_surround_coh;

if (all_coherence_zero == 1)
{
nbits = 0;
return nbits;
}
else
{
for (i = 0; i < no_directions; i++)
{
k = 0;
no_cb = 1;
for (j = 0; j < coding_subbands; j++)
{
/* ＤＣＴ変換 */
dct4_transform(q_direction[i].spread_coherence[j], dct_coh[j]);
if (write_flag)
{
/* １番目のＤＣＴパラメータを量子化 */
dct_coh[j][0] = quantize_DCT_0_coh(dct_coh[j][0], j, coherence_cb0, DELTA_AZI_DCT0, NO_CV_COH, &q_direction[i], &idx_dct[k], &no_cb_vec[j]);
}

no_cb *= len_cb_dct0[q_direction->energy_ratio_index[j][0]];
idx_dct[k + coding_subbands] = quantize_sq(dct_coh[j][1], &coherence_cb1[j * NO_CV_COH1], NO_CV_COH1, &dct_coh[j][1]);
k++;
/* ２番目のＤＣＴパラメータを量子化のために取り出す */
/*vec_dct_coh1[j]=dct_coh[j][1];*/
if (j > 2)
{
dct_coh[j][2] = 0.0f; /* dct_coh[j][2]; */
}
else
{
dct_coh[j][2] = 0.0f;
}
dct_coh[j][3] = 0.0f;
}
if (write_flag)
{
for (j = 0; j < coding_subbands; j++)
{
/* 逆ＤＣＴ変換 */
invdct4_transform(dct_coh[j], q_direction[i].spread_coherence[j]);
}
}
/* インデックスを符号化してビットストリームを書き込み */
nbits = ceilf(logf((float)no_cb)*INV_LOG_2);
if (write_flag)
{
nbits = encode_coherence_indexesDCT0(idx_dct, coding_subbands, no_cb_vec, metadata, *first_pos);
}
else
{
*first_pos = metadata->bit_pos;
metadata->bit_pos += nbits;
nbits += encode_coherence_indexesDCT1(&idx_dct[coding_subbands], coding_subbands, no_cb_vec, metadata);
}

}
if (write_flag == 0)
{
bits_surround_coh = max_bits_coherence - nbits;
if (bits_surround_coh < MIN_BITS_SURR_COH)
{
bits_surround_coh = 0;
}
else
{
/* サラウンドコヒーレンスを符号化 */
bits_surround_coh = encode_surround_coherence(bits_surround_coh, q_direction, coding_subbands, no_directions, all_coherence_zero, metadata);
}

/* ビット数を出力 */
return nbits + bits_surround_coh;
}
else
{
return nbits;
}
}
}
static short encode_coherence_indexesDCT0(unsigned short* idx_dct, short len, short* no_cb_vec, IVAS_MASA_METADATA_FRAME* metadata, int first_pos)
{
short nbits = 0;
short i;
int no_cb;
unsigned short idx;
/* 結合符号化とともにＤＣＴ０次成分のビット計算 */
no_cb = no_cb_vec[0];
for (i = 1; i < len; i++)
{
no_cb *= no_cb_vec[i];
}
nbits = ceilf(logf((float)no_cb)*INV_LOG_2);
/* 結合されたインデックスを作成 */
idx = create_combined_index(idx_dct, len, no_cb_vec);
/* 結合されたインデックスを書き込み */
first_pos = write_in_bit_buff(metadata->bit_buffer, idx, first_pos, nbits);
return nbits;
}
static short encode_coherence_indexesDCT1(unsigned short* idx_dct, short len, short* no_cb_vec, IVAS_MASA_METADATA_FRAME* metadata)
{
short nbits = 0;
short i;
short GR_ord;
short av;
short data, bits_GR;
unsigned short mr_idx_dct[MASA_MAXIMUM_CODING_SUBBANDS];
GR_ord = 0;
bits_GR = mean_removed_GR(idx_dct, len, 0, &GR_ord, &av, metadata, mr_idx_dct);
for (i = 0; i < len; i++)
{
data = GR_data(mr_idx_dct[i], GR_ord, &bits_GR, 0);
nbits += bits_GR;
metadata->bit_pos = write_in_bit_buff(metadata->bit_buffer, data, metadata->bit_pos, bits_GR);
}
nbits += len_huf[av];
metadata->bit_pos = write_in_bit_buff(metadata->bit_buffer, huff_code_av[av], metadata->bit_pos, len_huf[av]);

return nbits;
}
static short mean_removed_GR(unsigned short* idx,
short len,
short adapt_GR,
short* GR_ord,
short* p_av,
IVAS_MASA_METADATA_FRAME* metadata,
unsigned short * mr_idx)
{
short av, i, nbits;
short sh_idx[5];
av = (short)roundf(sum_s((short*) idx, len) / (float)len);
*p_av = av;
for (i = 0; i < len; i++)
{
sh_idx[i] = idx[i] - av;
}
for (i = 0; i < len; i++)
{
if (sh_idx[i] < 0)
{
sh_idx[i] = -2*sh_idx[i];
}
else if (sh_idx[i] > 0)
{
sh_idx[i] = sh_idx[i] * 2 - 1;
}
else
{
sh_idx[i] = 0;
}
mr_idx[i] = (unsigned short)sh_idx[i];
}
nbits = GR_bits(mr_idx, len, *GR_ord, adapt_GR, GR_ord);
return nbits;
}
図８に、いくつかの実施形態に係るデコーダ１３３の一部としての例示的なメタデータ抽出部１３７を、コヒーレンス値の抽出及び復号の観点から示す。
実施形態によっては、符号化されたデータストリームが逆多重化部に渡される。この逆多重化部は、符号化された方向インデックス、エネルギー比のインデックス、及びコヒーレンスのインデックスを抽出する。実施形態によっては、さらに他のメタデータやトランスポートオーディオ信号（不図示）を抽出してもよい。
エネルギー比のインデックスは、エネルギー比エンコーダにより実施されたエネルギー比符号化の逆処理を行うことで、フレームに対応するエネルギー比を生成するようにエネルギー比デコーダにより復号されてもよい。さらに、エネルギー比インデックスは、コヒーレンスＤＣＴベクトル生成部に（実施形態によっては、さらにコードブック決定部８１５に）渡されてもよい。
方向インデックスは、方向エンコーダにより実施される方向値符号化の逆処理を行うように構成された方向デコーダによって復号されてもよい。実施形態によっては、方向値が復号されると、方位角値の分散が算出されて、コヒーレンスＤＣＴベクトル生成部に（実施形態によっては、さらにコードブック決定部８１５に）出力される。
実施形態によっては、メタデータ抽出部１３７は、コヒーレンスＤＣＴベクトル生成部８０１を（実施形態によっては、さらにコードブック決定部８１５を）備える。コヒーレンスＤＣＴベクトル生成部８０１は、符号化されたコヒーレンス値８００を受け取るとともに、符号化されたエネルギー比８１２と（復号された）方位角値の分散８１４とを受け取るように構成される。これらの値に基づき、コードブックが選択又は決定される（例えば、コードブック決定部８１５が、コヒーレンスエンコーダ２０９におけるコードブック決定部４１５と同様であってもよい）。
コードブックが決定されると、受け取られた符号化コヒーレンスインデックスは、コヒーレンスエンコーダで使用される符号化方法の逆処理を適用して復号され、スプレッドコヒーレンス値及びサラウンドコヒーレンス値に対応する好適なＤＣＴコヒーレンスベクトル８０２が生成される。ＤＣＴコヒーレンスベクトル８０２は、次に、逆離散コサイン変換部８０３に渡される。
実施形態によっては、メタデータ抽出部１３７が逆離散コサイン変換部８０３を備える。逆離散コサイン変換部８０３は、（復号された）ＤＣＴコヒーレンスベクトル８０２を受け取って、ベクトルデコーダ８０５に出力されることとなるコヒーレンスベクトル８０４を生成するように構成される。
実施形態によっては、メタデータ抽出部１３７がベクトルデコーダ８０５を備える。ベクトルデコーダ８０５は、復号されたコヒーレンスベクトル８０４を受け取って、当該ベクトルからサブバンドに対応するコヒーレンスパラメータ８０６を抽出するように構成される。
図９は、スプレッドコヒーレンスパラメータを復号する方法のフローチャートを示す。
最初の動作は、ステップ９０１として図９に示すように、符号化されたスプレッドコヒーレンス値を取得する（例えば、受け取る又は取り出す）ことである。
符号化されたスプレッドコヒーレンス値を取得した後、次の動作は、ステップ９０３として図９に示すように、（各）サブバンドについて、１番目のＤＣＴスプレッドコヒーレンスパラメータのインデックス（主ＤＣＴパラメータ）を読み出すことである。
図９には示していないが、符号化されたスプレッドコヒーレンス値を取得するとともに、符号化されたサラウンドコヒーレンス値と、符号化されたエネルギー比と、符号化された方位角及び仰角値とが取得される。
符号化されたエネルギー比と、符号化された方位角及び仰角値とは、エンコーダが行う符号化処理の逆処理を適用することにより復号される。エネルギー比が、最初に復号される。スプレッドコヒーレンスＤＣＴインデックスに使用されるビット数は、エネルギー比値に基づいて特定される。スプレッドコヒーレンスの０次ＤＣＴパラメータを符号化するために送信されたインデックスは、最初に読み出されるが、方位角値の復号後に復号が可能になる。
さらに、符号化されたサラウンドコヒーレンス値は、エンコーダにおける符号化の逆処理を適用することにより復号される。この復号には、例えば、エネルギー比値に基づく好適なコードブックが選択されることを含む。
次の動作は、量子化エネルギー比と復号された量子化方位角分散とに基づいて、１番目のＤＣＴスプレッドコヒーレンスパラメータに対応するコードブックを決定することである。コードブックが決定されると、ステップ９０５として図９に示すように、１番目のＤＣＴスプレッドコヒーレンスパラメータのインデックスが復号される。
次の処理は、図９のステップ９０７に示すように、現在復号対象であるサブバンドが、エンコーダで使用されるサブバンド値（ｌ_Ｎ）以下であるか否かを判定することである。
現在復号対象であるサブバンドがエンコーダで使用されるサブバンド値（ｌ_Ｎ）以下である場合、ステップ９０９として図９に示すように、次の（１番目の従）ＤＣＴスプレッドコヒーレンスパラメータが読み出されて、エンコーダで実施された符号化の逆処理を適用して復号される。
現在復号対象であるサブバンドがエンコーダで使用されるサブバンド値（ｌ_Ｎ）を超える場合、ステップ９１１として図９に示すように、次の２つの（１番目と２番目の従）ＤＣＴスプレッドコヒーレンスパラメータが読み出されて、エンコーダで実施された符号化の逆処理を適用して復号される。
２つの（又は３つの）ＤＣＴパラメータが復号されると、次の動作は、ステップ９１３によって図９に示すように、パラメータに逆ＤＣＴ変換を行って復号ベクトルを生成することである。
次に、復号ベクトルは、サブバンドに対応する各ＴＦブロックのスプレッドコヒーレンス値として読み出すことができる。次の動作は、ステップ９１５として図９に示すように、全てのサブバンドについて復号が完了したか否かを確認することである。
復号対象のサブバンドが残っている場合、動作はステップ９０３に戻る。
全てのサブバンドについて復号が完了した場合、ステップ９１７として図９に示すように、次のフレームの復号が開始されてもよい（言い換えれば、動作がステップ９０１に戻る）。
図１０に、分析機器又は合成機器として使用されてもよい例示的な電子機器を示す。当該機器は、任意の好適な電子機器又は装置でよい。例えば、実施形態によっては、機器１４００は、携帯機器、ユーザ装置、タブレット型コンピュータ、コンピュータ、又はオーディオ再生装置等である。
実施形態によっては、機器１４００は、少なくとも１つのプロセッサ、即ち中央演算処理装置１４０７を備える。プロセッサ１４０７は、本明細書で説明したような方法等の様々なプログラムコードを実行するように構成可能である。
実施形態によっては、機器１４００はメモリ１４１１を備える。実施形態によっては、少なくとも１つのプロセッサ１４０７はメモリ１４１１に接続される。メモリ１４１１は、任意の好適な記憶手段とすることができる。実施形態によっては、メモリ１４１１は、プロセッサ１４０７上で実施可能なプログラムコードを記憶するプログラムコード領域を備える。また、実施形態によっては、メモリ１４１１は、例えば、本明細書で説明した実施形態に従って処理された又は処理されることとなるデータである、データを記憶する記憶データ領域をさらに備えることができる。プログラムコード領域内に記憶されて実施されたプログラムコードと、記憶データ領域内に記憶されたデータとは、いずれも、メモリとプロセッサとの接続により必要に応じてプロセッサ１４０７から取り出すことができる。
実施形態によっては、機器１４００はユーザインタフェース１４０５を備える。実施形態によっては、ユーザインタフェース１４０５はプロセッサ１４０７に接続することができる。実施形態によっては、プロセッサ１４０７は、ユーザインタフェース１４０５の動作を制御して、ユーザインタフェース１４０５から入力を受け取ることができる。実施形態によっては、ユーザインタフェース１４０５は、例えば、キーパッドを介した機器１４００への命令の入力をユーザに対して可能にすることができる。実施形態によっては、ユーザインタフェース１４０５により、ユーザが機器１４００から情報を取得することが可能になる。例えば、ユーザインタフェース１４０５は、機器１４００からユーザに対して情報を表示するように構成されたディスプレイを備えてもよい。実施形態によっては、ユーザインタフェース１４０５は、機器１４００への情報入力を可能にすること、及び機器１４００のユーザに情報を表示することの両方の機能を有する、タッチ画面又はタッチ式のインタフェースを備えることができる。実施形態によっては、ユーザインタフェース１４０５は、本明細書で説明したような位置決定部と通信するためのユーザインタフェースであってもよい。
実施形態によっては、機器１４００は入出力ポート１４０９を備える。実施形態によっては、入出力ポート１４０９はトランシーバを備える。そのような実施形態では、トランシーバは、プロセッサ１４０７に接続して、他の装置又は電子機器との、例えば、無線通信ネットワークを介した通信を可能にするように構成できる。実施形態によっては、当該トランシーバ、任意の好適なトランシーバ、又は送信及び／又は受信手段は、有線又は無線接続を介して他の電子機器又は装置と通信するように構成できる。
トランシーバは、任意の好適な公知の通信プロトコルによってさらに別の装置と通信可能である。例えば、実施形態によっては、このトランシーバは、好適なユニバーサル移動体通信システム（Universal Mobile Telecommunications System：ＵＭＴＳ）プロトコル、ＩＥＥＥ８０２．Ｘ等の無線ローカルエリアネットワーク（Wireless Local Area Network：ＷＬＡＮ）プロトコル、Ｂｌｕｅｔｏｏｔｈ等の好適な短距離無線周波数通信プロトコル、又は赤外線データ通信経路（Infrared Data Association：ＩrＤＡ）方式を使用することができる。
トランシーバの入出力ポート１４０９は、信号を受け取って、実施形態によっては、本明細書で説明したようなパラメータを、好適なプログラムコードを実行するプロセッサ１４０７を使用して決定するように構成されてもよい。さらに、機器は、合成機器に送信するために出力する好適なダウンミックス信号及びパラメータを生成してもよい。
実施形態によっては、機器１４００は、合成機器の少なくとも一部として採用されてもよい。そうすることで、入出力ポート１４０９は、ダウンミックス信号と、実施形態によっては、本明細書で説明したような記録機器又は処理機器によって決定されるパラメータとを受け取って、好適なコードを実行するプロセッサ１４０７を使用して出力された好適なオーディオ信号フォーマットを生成するように構成されてもよい。入出力ポート１４０９は、例えば、多チャンネルのスピーカシステム及び／又はヘッドホン等である任意の好適なオーディオ出力に接続されてもよい。
一般的には、本発明の種々の実施形態は、ハードウェア、特定用途回路、ソフトウェア、及びロジックのいずれか、又はそれらの任意の組合せで実施してもよい。例えば、いくつかの態様はハードウェアで実施してもよく、別の態様はコントローラ又はマイクロプロセッサ等の他のコンピュータ機器により実行されるファームウェア又はソフトウェアにより実施されてもよい。ただし、本発明はこれに限定されない。本発明の種々の態様は、ブロック図又はフローチャートとして、又はその他の描画表現を使用して図示して説明される場合があるが、本願に記載のブロック、装置、システム、技術、又は方法は、ハードウェア、ソフトウェア、ファームウェア、特定用途回路又はロジック、汎用のハードウェア、コントローラ、及びその他のコンピュータ機器のいずれか、又はそれらのいずれかの組合せで実施してもよく、これに限定されないことは十分理解されることである。
本発明の実施形態は、携帯機器のデータプロセッサにより実行可能なコンピュータソフトウェアによりプロセッサ実体等において、又はハードウェアにより、さもなければソフトウェアとハードウェアとの組合せにより実施されてもよい。さらにこの点については、図に示すような論理の流れの各ブロックは、プログラムのステップ、相互接続された論理回路、ブロック及び機能、又はプログラムのステップと、論理回路と、ブロック及び機能との組合せを意味してもよい。前記ソフトウェアは、メモリチップ又はプロセッサ内で実施されるメモリブロック等の物理的媒体、ハードディスク又はフロッピーディスク等の磁気媒体、及びＤＶＤやそのデータ形式の変形であるＣＤ等の光学媒体に記憶されてもよい。
前記メモリは、その場所の技術的環境に対して好適であればどのような種類でもよく、半導体ベースのメモリデバイス、磁気記憶装置及びシステム、光学記憶装置及びシステム、固定式メモリ、着脱式メモリ等の任意の好適なデータ記憶技術を使用して実施してもよい。前記データプロセッサは、その場所の技術的環境に対して好適であればどのような種類でもよく、汎用コンピュータ、特定用途のコンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（Digital Signal Processor：ＤＰＳ）、特定用途向け集積回路 （Application Specific Integrated Circuit：ＡＳＩＣ）、ゲートレベル回路、及びマルチコアプロセッサアーキテクチャに基づくプロセッサのうち１つ以上を含んでもよいが、これに限定されない。
発明の実施形態は、集積回路モジュール等の様々な構成部分で実行されてもよい。集積回路の設計は、概して、高度に自動化された工程である。論理レベルの設計を、半導体基盤上にエッチングして形成可能な半導体回路設計に変換するための複雑で強力なソフトウェアツールが利用可能である。
例えばシノプシス社（米国カリフォルニア州マウンテンビュー）及びケイデンス・デザイン・システムズ社（米国カリフォルニア州サンノゼ）の提供するようなプログラムであれば、確立された設計規則や予め記憶された設計モジュールのライブラリを使用して、半導体チップ上の導体ルーティング及び構成部品の配置を自動的に行う。半導体回路の設計が完了すると、結果として得られる設計は標準化された電子フォーマット（例えばＯｐｕｓ、ＧＤＳＩＩ等）のもので、製造のために半導体製造施設（ファブ）に送られる
上述では、例示的かつ非限定的な例により、本発明の例示的な実施形態の十分かつ有益な説明を提供した。しかしながら、添付の図面及び請求項と併せて読んだ場合、上述の記載に照らして、当業者には様々な変形及び修正が明らかになるであろう。また、本発明の教示するそのような変形及び類似する変形は全て、添付の請求項に定義される本発明の範囲に含まれるであろう。

Claims (30)

  1. オーディオ信号のフレームの各サブバンドに対応する値であって、各サブバンドに対応する少なくとも１つの方位角値と、少なくとも１つの仰角値と、少なくとも１つのエネルギー比値と、スプレッド（spread）コヒーレンス値又はサラウンド（surround）コヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値とを含む値を受け取る手段と、
    フレームについて、各サブバンドに対応するスプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値を符号化するためのコードブックを、各サブバンドに対応する前記少なくとも１つのエネルギー比値と前記少なくとも１つの方位角値とに基づいて決定する手段と、
    前記フレームについてサブバンドに対応する前記少なくとも１つのコヒーレンス値を含む少なくとも１つのベクトルを離散コサイン変換する手段と、
    離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化する手段と、
    を備える装置。
  2. フレームについて、各サブバンドに対応する少なくとも１つのコヒーレンス値を符号化するためのコードブックを、各サブバンドに対応する前記少なくとも１つのエネルギー比値と前記少なくとも１つの方位角値とに基づいて決定する前記手段は、さらに、
    前記フレームについて各サブバンドに対応する前記少なくとも１つのエネルギー比値の加重平均を表すインデックスを取得し、
    フレームについて前記サブバンドに対応する前記少なくとも１つの方位角値の分布を示す尺度が所定の閾値以上であるか否かを判断し、
    前記インデックスと、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角値の分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択するものである、
    請求項１に記載の装置。
  3. 前記インデックスと、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角値の分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択する前記手段は、さらに、コードブックに対応する複数のコードワードを前記インデックスに基づいて選択するものである、請求項２に記載の装置。
  4. 前記分布を示す前記尺度が、
    連続する方位角値間の差の絶対値の平均、
    サブバンドにおける平均方位角値に対する差の絶対値の平均、
    前記フレームについての前記サブバンドに対応する前記少なくとも１つの方位角値の標準偏差、及び
    前記フレームについての前記サブバンドに対応する前記少なくとも１つの方位角値の分散、
    のうちいずれか１つである請求項２又は３に記載の装置。
  5. 離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化する前記手段は、さらに、
    離散コサイン変換された前記ベクトルにおける前記第１の数の成分が前記サブバンドに依存することを判定し、
    離散コサイン変換された前記ベクトルにおける前記第１の数の成分のうち第１の成分を前記コードブックに基づいて符号化するものである、
    請求項１から４のいずれか１項に記載の装置。
  6. 離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化する前記手段は、さらに、
    サブバンドのインデックスに基づくスカラー量子化のためのコードブックであって、それぞれが所定数のコードワードから成るコードブックを決定し、
    離散コサイン変換された前記ベクトルにおける前記第１の数の成分の残余成分に対応する少なくとも１つの追加インデックスを、前記サブバンドのインデックスに基づくスカラー量子化のためのコードブックに基づいて生成し、
    平均を除去したインデックスを、離散コサイン変換された前記ベクトルにおける前記第１の数の成分の前記残余成分に対応する前記少なくとも１つの追加インデックスに基づいて生成し、
    平均を除去した前記インデックスをエントロピー符号化するものである、
    請求項５に記載の装置。
  7. 離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化する前記手段は、さらに、
    離散コサイン変換された前記ベクトルにおける前記第１の数の成分の残余成分に対応する少なくとも１つの追加インデックスを、規定数のコードワードを有するコードブックであって、さらに前記ベクトルのサブバンドインデックスに基づくコードブックに基づいて決定し、
    平均を除去したインデックスを、離散コサイン変換された前記ベクトルにおける前記第１の数の成分の前記残余成分に対応する前記少なくとも１つの追加インデックスに基づいて決定し、
    平均を除去した前記インデックスをエントロピー符号化するものである、
    請求項５に記載の装置。
  8. 平均を除去した前記インデックスをエントロピー符号化する前記手段は、さらに、平均を除去した前記インデックスをゴロムライス（Golomb-Rice）符号化するものである、請求項６又は７に記載の装置。
  9. 離散コサイン変換された前記ベクトルにおける符号化された前記第１の数の成分を記憶及び／又は送信するように構成される、請求項１から８のいずれか１項に記載の装置。
  10. 前記少なくとも１つのエネルギー比値をスカラー量子化することで、各サブバンドに対応する少なくとも１つのコヒーレンス値を符号化するためのコードブックの決定に好適な少なくとも１つのエネルギー比値インデックスを生成するように構成される、請求項１から９のいずれか１項に記載の装置。
  11. 前記少なくとも１つの方位角値及び前記少なくとも１つの仰角値を符号化するための残余ビット数を、目標ビット数と、離散コサイン変換された前記ベクトルにおける第１の数の成分を前記符号化前に決定された前記コードブックに基づいて符号化するためのビット数の推定値と、前記少なくとも１つのエネルギー比値インデックスを表すビット数と、平均値を除去した前記インデックスの前記エントロピー符号化を表すビット数とに基づいて推定し、
    前記少なくとも１つの方位角値及び前記少なくとも１つの仰角値を符号化することで、前記残余ビット数に基づいて少なくとも１つの方位角値インデックス及び少なくとも１つの仰角値インデックスを生成する、
    ように構成され、
    各サブバンドに対応する少なくとも１つのコヒーレンス値を符号化するための前記コードブックの前記決定は、前記少なくとも１つの方位角値インデックスに基づく、
    請求項６又は７に従属する請求項１０に記載の装置。
  12. オーディオ信号のフレームのサブバンドに対応する符号化された値であって、各サブバンドに対応する少なくとも１つの方位角インデックスと、少なくとも１つの仰角インデックスと、少なくとも１つのエネルギー比インデックスと、スプレッド（spread）コヒーレンスインデックス又はサラウンド（surround）コヒーレンスインデックス若しくはその両方である少なくとも１つのコヒーレンスインデックスとを含む値を取得する手段と、
    各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを復号するためのコードブックを、前記少なくとも１つのエネルギー比インデックスと前記少なくとも１つの方位角インデックスとに基づいて決定する手段と、
    前記少なくとも１つのコヒーレンスインデックスを復号して逆離散コサイン変換することで、少なくとも１つのベクトルを生成する手段であって、前記少なくとも１つのベクトルは、前記フレームのサブバンドについて、スプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値を含む、前記生成する手段と、
    前記ベクトルを解析することで、各サブバンドに対応するスプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値を生成する手段と、
    を備える装置。
  13. 各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを復号するためのコードブックを、前記少なくとも１つのエネルギー比インデックスと前記少なくとも１つの方位角インデックスとに基づいて決定する前記手段は、さらに、
    フレームについて前記サブバンドに対応する前記少なくとも１つの方位角インデックスの分布を示す尺度が所定の閾値以上であるか否かを判断し、
    前記少なくとも１つのエネルギー比インデックスと、フレームについての前記サブバンドに対応する前記少なくとも１つの方位角インデックスの分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択するものである、
    請求項１２に記載の装置。
  14. 前記少なくとも１つのエネルギー比インデックスと、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角インデックスの分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択する前記手段は、さらに、前記少なくとも１つのエネルギー比インデックスに基づいて前記コードブックに対応する複数のコードワードを選択するものである、請求項１３に記載の装置。
  15. 前記分布を示す前記尺度が、
    連続する方位角値間の差の絶対値の平均、
    サブバンドにおける平均方位角値に対する差の絶対値の平均、
    前記フレームについての前記サブバンドに対応する少なくとも１つの方位角値の分散、
    のうちいずれか１つである請求項１３又は１４に記載の装置。
  16. オーディオ信号のフレームの各サブバンドに対応する値であって、各サブバンドに対応する少なくとも１つの方位角値と、少なくとも１つの仰角値と、少なくとも１つのエネルギー比値と、スプレッド（spread）コヒーレンス値又はサラウンド（surround）コヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値とを含む値を受け取ることと、
    フレームについて、各サブバンドに対応するスプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値を符号化するためのコードブックを、各サブバンドに対応する前記少なくとも１つのエネルギー比値と前記少なくとも１つの方位角値とに基づいて決定することと
    前記フレームについて、サブバンドに対応する前記少なくとも１つのコヒーレンス値を含む少なくとも１つのベクトルを離散コサイン変換することと、
    離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化することと、
    を含む方法。
  17. フレームについて、各サブバンドに対応する少なくとも１つのコヒーレンス値を符号化するためのコードブックを、各サブバンドに対応する前記少なくとも１つのエネルギー比値と前記少なくとも１つの方位角値とに基づいて決定することは、
    前記フレームについて各サブバンドに対応する前記少なくとも１つのエネルギー比値の加重平均を表すインデックスを取得することと、
    フレームについて前記サブバンドに対応する前記少なくとも１つの方位角値の分布を示す尺度が所定の閾値以上であるか否かを判断することと、
    前記インデックスと、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角値の分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択することと、
    をさらに含む、請求項１６に記載の方法。
  18. 前記インデックスと、前記判断とに基づいて前記コードブックを選択することは、コードブックに対応する複数のコードワードを前記インデックスに基づいて選択することをさらに含む
    請求項１７に記載の方法。
  19. 前記分布を示す前記尺度は、
    連続する方位角値間の差の絶対値の平均、
    サブバンドにおける平均方位角値に対する差の絶対値の平均、
    前記フレームについての前記サブバンドに対応する前記少なくとも１つの方位角値の標準偏差、及び
    前記フレームについての前記サブバンドに対応する前記少なくとも１つの方位角値の分散、
    のうちいずれか１つである請求項１７又は１８に記載の方法。
  20. 離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化することは、
    離散コサイン変換された前記ベクトルにおける前記第１の数の成分が前記サブバンドに依存することを判定することと、
    離散コサイン変換された前記ベクトルにおける前記第１の数の成分のうち第１の成分を前記コードブックに基づいて符号化することと、
    をさらに含む、請求項１６から１９のいずれか１項に記載の方法。
  21. 離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化することは、
    サブバンドのインデックスに基づくスカラー量子化のためのコードブックであって、それぞれが所定数のコードワードから成るコードブックを決定することと、
    離散コサイン変換された前記ベクトルにおける前記第１の数の成分の残余成分に対応する少なくとも１つの追加インデックスを、前記サブバンドのインデックスに基づくスカラー量子化のためのコードブックに基づいて生成することと、
    平均値を除去したインデックスを、離散コサイン変換された前記ベクトルにおける前記第１の数の成分の前記残余成分に対応する前記少なくとも１つの追加インデックスに基づいて生成することと、
    平均を除去した前記インデックスをエントロピー符号化することと、
    をさらに含む、請求項２０に記載の方法。
  22. 離散コサイン変換された前記ベクトルにおける第１の数の成分を、決定された前記コードブックに基づいて符号化することは、
    離散コサイン変換された前記ベクトルにおける前記第１の数の成分の残余成分に対応する少なくとも１つの追加インデックスを、規定数のコードワードを有するコードブックであって、さらに前記ベクトルのサブバンドインデックスに基づくコードブックに基づいて決定することと、
    平均値を除去したインデックスを、離散コサイン変換された前記ベクトルにおける前記第１の数の成分の前記残余成分に対応する前記少なくとも１つの追加インデックスに基づいて決定することと、
    平均値を除去した前記インデックスをエントロピー符号化することと、
    をさらに含む、請求項２０に記載の方法。
  23. 平均を除去した前記インデックスをエントロピー符号化することは、平均を除去した前記インデックスをゴロムライス（Golomb-Rice）符号化することをさらに含む、請求項２１又は２２に記載の方法。
  24. 離散コサイン変換された前記ベクトルにおける符号化された前記第１の数の成分を記憶及び／又は送信することをさらに含む、請求項１６から２３のいずれか１項に記載の方法。
  25. 前記少なくとも１つのエネルギー比値をスカラー量子化することで、各サブバンドに対応する少なくとも１つのコヒーレンス値を符号化するためのコードブックの決定に好適な少なくとも１つのエネルギー比値インデックスを生成することをさらに含む、請求項１６から２４のいずれか１項に記載の方法。
  26. 前記少なくとも１つの方位角値及び前記少なくとも１つの仰角値を符号化するための残余ビット数を、目標ビット数と、離散コサイン変換された前記ベクトルにおける第１の数の成分を前記符号化前に決定された前記コードブックに基づいて符号化するためのビット数の推定値と、前記少なくとも１つのエネルギー比値インデックスを表すビット数と、平均を除去した前記インデックスの前記エントロピー符号化を表すビット数とに基づいて推定することと、
    前記少なくとも１つの方位角値及び前記少なくとも１つの仰角値を符号化することで、前記残余ビット数に基づいて少なくとも１つの方位角値インデックス及び少なくとも１つの仰角値インデックスを生成することと、
    をさらに含み、各サブバンドに対応する少なくとも１つのコヒーレンス値を符号化するための前記コードブックの前記決定は、前記少なくとも１つの方位角値インデックスに基づく、請求項２１又は２２に従属する請求項２５に記載の方法。
  27. オーディオ信号のフレームのサブバンドに対応する符号化された値であって、各サブバンドに対応する少なくとも１つの方位角インデックスと、少なくとも１つの仰角インデックスと、少なくとも１つのエネルギー比インデックスと、スプレッド（spread）コヒーレンスインデックス又はサラウンド（surround）コヒーレンスインデックス若しくはその両方である少なくとも１つのコヒーレンスインデックスとを含む値を取得することと、
    各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを復号するためのコードブックを、前記少なくとも１つのエネルギー比インデックスと前記少なくとも１つの方位角インデックスとに基づいて決定することと、
    前記少なくとも１つのコヒーレンスインデックスを復号して逆離散コサイン変換することで少なくとも１つのベクトルを生成することであって、前記少なくとも１つのベクトルは、前記フレームのサブバンドについて、スプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値を含む、前記生成することと、
    前記ベクトルを解析することで、各サブバンドに対応するスプレッドコヒーレンス値又はサラウンドコヒーレンス値若しくはその両方である少なくとも１つのコヒーレンス値を生成することと、
    を含む方法。
  28. 各サブバンドに対応する前記少なくとも１つのコヒーレンスインデックスを復号するためのコードブックを、前記少なくとも１つのエネルギー比インデックスと前記少なくとも１つの方位角インデックスとに基づいて決定することは、
    フレームについて前記サブバンドに対応する前記少なくとも１つの方位角インデックスの分布を示す尺度が所定の閾値以上であるか否かを判断することと、
    前記少なくとも１つのエネルギー比インデックスと、フレームについての前記サブバンドに対応する前記少なくとも１つの方位角インデックスの分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択することと、
    をさらに含む、請求項２７に記載の方法。
  29. 前記少なくとも１つのエネルギー比インデックスと、フレームについて前記サブバンドに対応する前記少なくとも１つの方位角インデックスの分布を示す尺度が所定の閾値以上であるか否かの前記判断とに基づいて前記コードブックを選択することは、
    前記少なくとも１つのエネルギー比インデックスに基づいて前記コードブックに対応する複数のコードワードを選択することをさらに含む、請求項２８に記載の方法。
  30. 前記分布を示す前記尺度が、
    連続する方位角値間の差の絶対値の平均、
    サブバンドにおける平均方位角値に対する差の絶対値の平均、
    前記フレームについての前記サブバンドに対応する少なくとも１つの方位角値の分散、
    のうちいずれか１つである請求項２８又は２９に記載の方法。
JP2021547951A 2018-10-31 2019-10-01 空間オーディオパラメータの符号化及び対応する復号の決定 Active JP7213364B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB1817807.9A GB2578603A (en) 2018-10-31 2018-10-31 Determination of spatial audio parameter encoding and associated decoding
GB1817807.9 2018-10-31
GB1903850.4 2019-03-21
GBGB1903850.4A GB201903850D0 (en) 2019-03-21 2019-03-21 Determination of spatial audio parameter encoding and associated decoding
PCT/FI2019/050704 WO2020089510A1 (en) 2018-10-31 2019-10-01 Determination of spatial audio parameter encoding and associated decoding

Publications (3)

Publication Number Publication Date
JP2022509440A JP2022509440A (ja) 2022-01-20
JPWO2020089510A5 JPWO2020089510A5 (ja) 2022-09-26
JP7213364B2 true JP7213364B2 (ja) 2023-01-26

Family

ID=70462154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021547951A Active JP7213364B2 (ja) 2018-10-31 2019-10-01 空間オーディオパラメータの符号化及び対応する復号の決定

Country Status (8)

Country Link
US (1) US20210407525A1 (ja)
EP (1) EP3874492B1 (ja)
JP (1) JP7213364B2 (ja)
KR (1) KR102587641B1 (ja)
CN (1) CN112997248A (ja)
FI (1) FI3874492T3 (ja)
PT (1) PT3874492T (ja)
WO (1) WO2020089510A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2582749A (en) * 2019-03-28 2020-10-07 Nokia Technologies Oy Determination of the significance of spatial audio parameters and associated encoding
US20200402523A1 (en) * 2019-06-24 2020-12-24 Qualcomm Incorporated Psychoacoustic audio coding of ambisonic audio data
GB2592896A (en) * 2020-01-13 2021-09-15 Nokia Technologies Oy Spatial audio parameter encoding and associated decoding
CA3202283A1 (en) * 2020-12-15 2022-06-23 Adriana Vasilache Quantizing spatial audio parameters
WO2022223133A1 (en) * 2021-04-23 2022-10-27 Nokia Technologies Oy Spatial audio parameter encoding and associated decoding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007531915A (ja) 2004-04-05 2007-11-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ステレオコーディング及びデコーディングの方法及び装置
JP2008517339A (ja) 2005-04-19 2008-05-22 コーディング テクノロジーズ アクチボラゲット 空間音声パラメータの効率的符号化のためのエネルギー対応量子化
JP2009510514A (ja) 2005-09-27 2009-03-12 エルジー エレクトロニクス インコーポレイティド マルチチャネルオーディオ信号の符号化／復号化方法及び装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374237B2 (en) * 2001-03-02 2013-02-12 Dolby Laboratories Licensing Corporation High precision encoding and decoding of video images
US6735254B2 (en) * 2001-06-29 2004-05-11 Qualcomm, Inc. DCT compression using Golomb-Rice coding
US20070094035A1 (en) * 2005-10-21 2007-04-26 Nokia Corporation Audio coding
US9659569B2 (en) * 2013-04-26 2017-05-23 Nokia Technologies Oy Audio signal encoder
US11146903B2 (en) * 2013-05-29 2021-10-12 Qualcomm Incorporated Compression of decomposed representations of a sound field
CN107221334B (zh) * 2016-11-01 2020-12-29 武汉大学深圳研究院 一种音频带宽扩展的方法及扩展装置
GB2572761A (en) * 2018-04-09 2019-10-16 Nokia Technologies Oy Quantization of spatial audio parameters
GB2577698A (en) * 2018-10-02 2020-04-08 Nokia Technologies Oy Selection of quantisation schemes for spatial audio parameter encoding
GB2578603A (en) * 2018-10-31 2020-05-20 Nokia Technologies Oy Determination of spatial audio parameter encoding and associated decoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007531915A (ja) 2004-04-05 2007-11-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ステレオコーディング及びデコーディングの方法及び装置
JP2008517339A (ja) 2005-04-19 2008-05-22 コーディング テクノロジーズ アクチボラゲット 空間音声パラメータの効率的符号化のためのエネルギー対応量子化
JP2009510514A (ja) 2005-09-27 2009-03-12 エルジー エレクトロニクス インコーポレイティド マルチチャネルオーディオ信号の符号化／復号化方法及び装置

Also Published As

Publication number Publication date
US20210407525A1 (en) 2021-12-30
JP2022509440A (ja) 2022-01-20
PT3874492T (pt) 2024-01-09
FI3874492T3 (fi) 2024-01-08
EP3874492A4 (en) 2022-08-10
EP3874492A1 (en) 2021-09-08
CN112997248A (zh) 2021-06-18
KR20210089184A (ko) 2021-07-15
KR102587641B1 (ko) 2023-10-10
WO2020089510A1 (en) 2020-05-07
EP3874492B1 (en) 2023-12-06

Similar Documents

Publication Publication Date Title
JP7213364B2 (ja) 空間オーディオパラメータの符号化及び対応する復号の決定
KR102564298B1 (ko) 공간적 오디오 파라미터 인코딩을 위한 양자화 체계의 선택
CN111542877B (zh) 空间音频参数编码和相关联的解码的确定
GB2575305A (en) Determination of spatial audio parameter encoding and associated decoding
CN111316353A (zh) 确定空间音频参数编码和相关联的解码
JP7405962B2 (ja) 空間オーディオパラメータ符号化および関連する復号化の決定
CN114945982A (zh) 空间音频参数编码和相关联的解码
KR102593235B1 (ko) 공간 오디오 파라미터의 양자화
JPWO2020089510A5 (ja)
GB2578603A (en) Determination of spatial audio parameter encoding and associated decoding
JP7223872B2 (ja) 空間音声パラメータの重要度の決定および関連符号化
WO2022223133A1 (en) Spatial audio parameter encoding and associated decoding
JP2024512953A (ja) 空間音声ストリームの結合
CA3208666A1 (en) Transforming spatial audio parameters
KR20230069173A (ko) 공간 오디오 파라미터 양자화
KR20230135665A (ko) 공간 오디오 파라미터 인코딩 및 관련 디코딩 결정

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220630

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20220914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230116

R150 Certificate of patent or registration of utility model

Ref document number: 7213364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150