JP7423585B2 - Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 - Google Patents

Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 Download PDF

Info

Publication number
JP7423585B2
JP7423585B2 JP2021179491A JP2021179491A JP7423585B2 JP 7423585 B2 JP7423585 B2 JP 7423585B2 JP 2021179491 A JP2021179491 A JP 2021179491A JP 2021179491 A JP2021179491 A JP 2021179491A JP 7423585 B2 JP7423585 B2 JP 7423585B2
Authority
JP
Japan
Prior art keywords
hoa
representation
compressed
max
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021179491A
Other languages
English (en)
Other versions
JP2022017458A (ja
Inventor
コルドン,スヴェン
クルーガー,アレクサンダー
Original Assignee
ドルビー・インターナショナル・アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー・インターナショナル・アーベー filed Critical ドルビー・インターナショナル・アーベー
Publication of JP2022017458A publication Critical patent/JP2022017458A/ja
Priority to JP2023176461A priority Critical patent/JP2023179673A/ja
Application granted granted Critical
Publication of JP7423585B2 publication Critical patent/JP7423585B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)

Description

本発明は、HOAデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたHOAデータ・フレーム表現に関する。
HOAと記される高次アンビソニックス(Higher Order Ambisonics)は、三次元的な音を表現する一つの可能性を提供する。他の技法は波面合成(WFS: wave field synthesis)または22.2のようなチャネル・ベースのアプローチである。チャネル・ベースの方法とは対照的に、HOA表現は特定のスピーカー・セットアップとは独立であるという利点をもたらす。しかしながら、この柔軟性は、特定のスピーカー・セットアップでのHOA表現の再生のために必要とされるデコード・プロセスの代償を伴う。必要とされるスピーカーの数が通例非常に多いWFSアプローチに比べ、HOAは少数のスピーカーのみからなるセットアップにレンダリングされてもよい。HOAのさらなる利点は、同じ表現を、いかなる修正もなしでヘッドフォンへのバイノーラル・レンダリングのために用いることもできるということである。
HOAは、複素調和平面波振幅の空間密度の、打ち切りされた球面調和関数(SH)展開による表現に基づく。各展開係数は角周波数の関数であり、これは時間領域関数によって等価に表現できる。よって、一般性を失うことなく、完全なHOA音場表現は、実際に、O個の時間領域関数からなると想定できる。ここで、Oは展開係数の数を表わす。これらの時間領域関数は、以下では、等価だが、HOA係数シーケンスまたはHOAチャネルと称される。
HOA表現の空間分解能は、展開の最大次数Nの増大とともに改善する。残念ながら、展開係数の数Oは次数Nとともに二次で、特にO=(N+1)2の形で増大する。たとえば、次数N=4を使う典型的なHOA表現はO=25個のHOA(展開)係数を必要とする。HOA表現の伝送のための全ビットレートは、所望される単一チャネル・サンプリング・レートfSおよびサンプル当たりのビット数Nbを与えられて、O・fS・Nbによって決定される。次数N=4のHOA表現を、fS=48kHzのサンプリング・レートで、サンプル当たりNb=16ビットを用いて伝送することは、19.2MBits/sのビットレートにつながる。これは、たとえばストリーミングのような多くの実際的な用途にとって非常に高い。このように、HOA表現の圧縮がきわめて望ましい。
以前に、HOA音場表現の圧縮が特許文献1、2、3において提案されている。非特許文献1参照。これらの手法は、音場解析を実行し、与えられたHOA表現を方向性成分(directional component)と残差周囲成分(residual ambient component)に分解することで共通している。一方では、最終的な圧縮された表現は、いくつかの量子化された信号からなると想定され、該量子化された信号は、方向性およびベクトル・ベースの信号と周囲HOA成分(ambient HOA component)の関連する係数シーケンスとの知覚的符号化から帰結する。他方では、最終的な圧縮された表現は、量子化された信号に関係する追加的なサイド情報を含む。このサイド情報は、HOA表現の、その圧縮されたバージョンからの再構成のために必要である。
知覚的エンコーダに渡される前に、これらの中間時間領域信号は値範囲[-1,1[内の最大振幅をもつことが要求される。これは、現在利用可能な知覚的エンコーダの実装から生じる要件である。HOA表現を圧縮するときにこの要件を満たすために、利得制御処理ユニット(特許文献4および上記の非特許文献1を参照)が知覚的エンコーダより先に使用される。これは入力信号をなめらかに減衰させるまたは増幅する。結果として得られる信号修正は可逆であり、フレームごとに適用されると想定される。特に、相続くフレーム間での信号振幅の変化は2の冪乗であると想定される。HOA圧縮解除器においてこの信号修正を反転させることを容易にするために、対応する正規化サイド情報が全サイド情報に含められる。この正規化サイド情報は2を底とする指数からなることができ、それらの指数が二つの相続くフレーム間での相対的な振幅変化を記述する。これらの指数は上述した非特許文献1に従ってランレングス符号を使って符号化される。相続くフレームの間では、より大きな変化よりも軽微な振幅変化のほうが可能性が高いからである。
欧州特許出願公開第2665208号 欧州特許出願公開第2743922号 欧州特許出願公開第2800401号 欧州特許出願公開第2824661号
ISO/IEC JTC1/SC29/WG11, N14264, WD1-HOA Text of MPEG-H 3D Audio、2014年1月 J. Fliege, U. Maier、"A two-stage approach for computing cubature formulae for the sphere"、Technical report, Fachbereich Mathematik, University of Dortmund, 1999 E. G. Williams、"Fourier Acoustics"、vol.93 of Applied Mathematical Sciences. Academic Press, 1999 B. Rafaely、"Plane-wave decomposition of the sound field on a sphere by spherical convolution"、J. Acoust. Soc. Am., 4(116):2149-2157, October 2004 J. Daniel、"Repr´esentation de champs acoustiques, application `a la transmission et `a la reproduction de sc`enes sonores complexes dans un contexte multim´edia"、PhD thesis, Universit´e Paris 6, 2001
HOA圧縮解除においてもとの信号振幅を再構成するために、差分符号化された振幅変化を使うことが、たとえば単一のファイルが最初から最後までいかなる時間的なジャンプもなしに圧縮解除される場合に、実用可能である。しかしながら、ランダム・アクセスを容易にするために、独立したアクセス単位が、符号化された表現(これは典型的にはビットストリームである)において存在している必要がある。所望される位置(または少なくともその近傍)から、先行するフレームからの情報とは独立に、圧縮解除を始めることを許容するためである。そのような独立したアクセス単位は、最初のフレームから現在フレームまで利得制御処理ユニットによって引き起こされた合計の絶対的な振幅変化(すなわち、非差分的な利得値)を含む必要がある。二つの相続くフレームの間の振幅変化が2の冪乗であるとすると、合計の絶対的な振幅変化も底2の指数によって記述することが十分である。この指数の効率的な符号化のために、利得制御処理ユニットの適用前に信号の潜在的な最大利得を知っておくことが本質的である。しかしながら、この知識は、圧縮されるべきHOA表現の値範囲に対する制約条件の指定に強く依存する。残念ながら、非特許文献1のMPEG-H 3Dオーディオ文書は入力HOA表現のためのフォーマットの記述を提供するのみであり、値範囲に対するいかなる制約条件も設定していない。
本発明によって解決されるべき課題は、非差分的な利得値を表現するために必要とされる最低整数ビット数を提供することである。この課題は、請求項1に開示される符号化されたHOAデータ・フレーム表現において解決される。本発明の有利な追加的実施形態はそれぞれの従属請求項において開示される。
本発明は、入力HOA表現の値範囲と、HOA圧縮器内の利得制御処理ユニットの適用前の信号の潜在的な最大利得との間の相互関係を確立する。その相互関係に基づいて、要求されるビットの量が――入力HOA表現の値範囲についての所与の指定について――最初のフレームから現在フレームまでに利得制御処理ユニットによって引き起こされた修正された信号の合計の絶対的な振幅変化(すなわち、非差分的な利得値)をアクセス単位内で記述するための、2を底とする指数の効率的な符号化のために、決定される。
さらに、ひとたび指数の符号化のための要求されるビットの量の計算のための規則が固定されたら、本発明は、所与のHOA表現が、正しく圧縮されることができるよう、要求される値範囲制約条件を満たすかどうかを検証するための処理を使う。
本発明の例示的な実施形態が付属の図面を参照して記述される。
HOA圧縮器を示す図である。 HOA圧縮解除器を示す図である。 HOA次数N=1,…,29について、仮想方向Ωj (N)、1≦j≦Oについてのスケーリング値Kを示す図である。 HOA次数NMIN=1,…,29について、仮想方向ΩMIN,d (N)、d=1,…,OMINについての逆モード行列Ψ-1のユークリッド・ノルムを示す図である。 位置Ωj (N)、1≦j≦O、O=(N+1)2にある仮想スピーカーの信号の最大許容大きさγdBの決定を示す図である。 球面座標系を示す図である。
たとえ明示的に記述されなくても、以下の実施形態は任意の組み合わせまたはサブコンビネーションにおいて用いることができる。
以下では、上述した課題が生起する、より詳細なコンテキストを提供するために、HOA圧縮および圧縮解除の原理が呈示される。この呈示の基礎は非特許文献1のMPEG-H 3Dオーディオ文書に記述された処理である。特許文献1、3、2も参照。非特許文献1においては、「方向性成分」は「優勢音成分(predominant sound component)」に拡張される。方向性成分として、優勢音成分は、部分的には、方向性信号、つまり対応する方向(その方向から聴取者に入射すると想定される方向)をもつモノラル信号に、該方向性信号からもとのHOA表現の諸部分を予測するためのいくつかの予測パラメータを合わせたものによって表現されると想定される。加えて、優勢音成分は、「ベクトル・ベースの信号」、つまり該ベクトル・ベースの信号の方向分布を定義する対応するベクトルをもつモノラル信号によって表現されると想定される。
〈HOA圧縮〉
特許文献3に記載されるHOA圧縮器の全体的なアーキテクチャーが図1に示されている。これは、図1のAに描かれる空間的HOAエンコード部と、図1のBに描かれる知覚的および源エンコード部とを有する。空間的HOAエンコーダは、I個の信号からなる第一の圧縮されたHOA表現を、そのHOA表現をどのように生成するかを記述するサイド情報とともに提供する。知覚的およびサイド情報源符号化器では、該I個の信号は知覚的にエンコードされ、該サイド情報は源エンコードにかけられる。その後、二つの符号化された表現が多重化される。
〈空間的HOAエンコード〉
第一段階では、もとのHOA表現の現在のk番目のフレームC(k)が方向およびベクトル推定処理段階またはステージ11に入力される。該段階はタプル集合MDIR(k)およびMVEC(k)を提供すると想定される。タプル集合MDIR(k)は、第一の要素が方向性信号のインデックスを表わし、第二の要素がそれぞれの量子化された方向を表わす諸タプルからなる。タプル集合MVEC(k)は、第一の要素がベクトル・ベースの信号のインデックスを表わし、第二の要素がそれらの信号の方向分布、すなわち該ベクトル・ベースの信号のHOA表現がどのようにして計算されるかを定義するベクトルを表わす諸タプルからなる。
両方のタプル集合MDIR(k)およびMVEC(k)を使って、初期HOAフレームC(k)はHOA分解段階またはステージ12において、すべての優勢音(すなわち、方向性およびベクトル・ベース)信号のフレームXPS(k-1)と、周囲HOA成分のフレームCAMB(k-1)とに分解される。一フレームの遅延に注意されたい。これは、ブロッキング・アーチファクトを回避するための重複加算処理のためである。さらに、HOA分解段階/ステージ12は、優勢音HOA成分を豊かにするために、これらの方向性信号からもとのHOA表現の諸部分をどのようにして予測するかを記述するいくつかの予測パラメータζ(k-1)を出力すると想定される。さらに、HOA分解処理段階またはステージ12において決定された優勢音信号の、I個の利用可能なチャネルへの割り当てについての情報を含む目標割り当てベクトル(target assignment vector)vA,T(k-1)が提供されると想定される。影響されるチャネルは占有されていると想定されることができる。つまり、それらはそれぞれの時間フレームにおいて周囲HOA成分のいかなる係数シーケンスを転送するためにも利用可能ではない。
周囲成分修正処理段階またはステージ13では、周囲HOA成分のフレームCAMB(k-1)は、目標割り当てベクトルvA,T(k-1)によって与えられる情報に従って修正される。特に、周囲HOA成分のどの係数シーケンスが所与のI個のチャネルにおいて伝送されるべきかが、(他の側面もあるが中でも)どのチャネルが利用可能であり、優勢音信号によってすでに占有されていないかについての(目標割り当てベクトルvA,T(k-1)に含まれる)情報に依存して、決定される。さらに、選ばれた係数シーケンスのインデックスが相続くフレームの間で変わる場合には、係数シーケンスのフェードインおよびフェードアウトが実行される。
さらに、周囲HOA成分CAMB(k-2)の最初のOMIN個の係数シーケンスは、常に、知覚的に符号化され伝送されるべく選ばれることが想定される。ここで、OMIN=(NMIN+1)2であり、NMIN≦Nは典型的にはもとのHOA表現のものより小さな次数である。これらのHOA係数シーケンスを脱相関するために、これらは、段階/ステージ13において、いくつかのあらかじめ定義された方向ΩMIN,d、d=1,…,OMINから入射する方向性信号(すなわち、一般平面波関数)に変換されることができる。
修正された周囲HOA成分CM,A(k-1)とともに、段階/ステージ13において、時間的に予測された修正された周囲HOA成分CP,M,A(k-1)が計算され、合理的な先読みを許容するために、利得制御処理段階またはステージ15、151において使用される。ここで、周囲HOA成分の修正についての情報は、チャネル割り当て段階またはステージ14における、すべての可能な型の信号の、利用可能なチャネルへの割り当てに直接関係している。割り当てについての最終的な情報は、最終的な割り当てベクトルvA(k-2)に含まれると想定される。段階/ステージ13においてこのベクトルを計算するために、目標割り当てベクトルvA,T(k-1)に含まれる情報が活用される。
段階/ステージ14におけるチャネル割り当ては、割り当てベクトル
Figure 0007423585000001
によって与えられる情報を用いて、フレーム
Figure 0007423585000002
に含まれる適切な信号およびフレーム
Figure 0007423585000003
に含まれる適切な信号を、I個の利用可能なチャネルに割り当て、信号フレーム
Figure 0007423585000004
を与える。さらに、フレーム
Figure 0007423585000005
およびフレーム
Figure 0007423585000006
に含まれる適切な信号も、I個の利用可能なチャネルに割り当てられて、予測された信号フレームyP,i(k-2)、i=1,…,Iを与える。
信号フレームyi(k-2)、i=1,…,Iのそれぞれは、最終的に利得制御15、151によって処理されて、指数ei(k-2)および例外フラグβi(k-2)、i=1,…,Iならびに信号zi(k-2)、i=1,…,Iを与える。ここで、知覚的エンコーダ段階またはステージ16に好適な値範囲を達成するよう信号利得がなめらかに修正される。段階/ステージ16は、対応するエンコードされた信号フレーム
Figure 0007423585000007
を出力する。予測された信号フレームyP,i(k-2)、i=1,…,Iは、相続くブロックの間の激しい利得変化を避けるために一種の先読みを許容する。サイド情報データMDIR(k-1)、MVEC(k-1)、ei(k-2)、βi(k-2)、ζ(k-1)およびvA(k-2)はサイド情報源符号化器段階またはステージ17において源符号化され、エンコードされたサイド情報フレーム
Figure 0007423585000008
を与える。マルチプレクサ18において、フレーム(k-2)のエンコードされた信号
Figure 0007423585000009
およびこのフレームについてのエンコードされたサイド情報データ
Figure 0007423585000010
が組み合わされて、出力フレーム
Figure 0007423585000011
を与える。
空間的HOAデコーダにおいては、段階/ステージ15、151における利得修正が、指数ei(k-2)および例外フラグβi(k-2)、i=1,…,Iを含む前記利得制御サイド情報を使って反転されると想定される。
〈HOA圧縮解除〉
特許文献3に記載されるHOA圧縮解除器の全体的なアーキテクチャーが図2に示されている。これは、上記HOA圧縮器のコンポーネントの、逆順に配列された対応物からなり、図2のAに描かれる知覚的および源デコード部と、図2のBに描かれる空間的HOAデコード部とを含む。
(知覚的およびサイド情報源デコーダを表わす)知覚的および源デコード部において、多重分離段階またはステージ21は、ビットストリームからの入力フレーム
Figure 0007423585000012
を受領し、前記I個の信号の知覚的に符号化された表現
Figure 0007423585000013
と、そのHOA表現をどのようにして生成するかを記述する符号化されたサイド情報データ
Figure 0007423585000014
とを与える。信号
Figure 0007423585000015
は知覚的デコーダ段階またはステージ22において知覚的にデコードされて、デコードされた信号
Figure 0007423585000016
を与える。符号化されたサイド情報データ
Figure 0007423585000017
はサイド情報源デコーダ段階またはステージ23においてデコードされて、データ集合MDIR(k+1)、MVEC(k+1)、指数ei(k)、例外フラグβi(k)、予測パラメータζ(k+1)および割り当てベクトルvAMB,ASSIGN(k)を与える。vAとvAMB,ASSIGNの間の相違については、上述したMPEGの非特許文献1を参照。
〈空間的HOAデコード〉
空間的HOAデコード部では、知覚的にデコードされた信号
Figure 0007423585000018
のそれぞれが、関連する利得補正指数ei(k)および利得補正例外フラグβi(k)と一緒に逆利得制御処理段階またはステージ24、241に入力される。i番目の逆利得制御処理段階/ステージは利得補正された信号フレーム
Figure 0007423585000019
〔^yi(k)〕を与える。
I個の利得補正された信号フレーム
Figure 0007423585000020
のすべては割り当てベクトルvAMB,ASSIGN(k)およびタプル集合MDIR(k+1)およびMVEC(k+1)と一緒にチャネル再割り当て段階またはステージ25に供給される。タプル集合MDIR(k+1)およびMVEC(k+1)の上記の定義を参照。割り当てベクトルvAMB,ASSIGN(k)はI個の成分からなり、これらの成分は各伝送チャネルについて、周囲HOA成分の係数シーケンスを含んでいるかどうかおよびどの係数シーケンスを含んでいるかを示す。チャネル再割り当て段階/ステージ25において、利得補正された信号フレーム^yi(k)は、すべての優勢音信号(すなわちすべての方向性およびベクトル・ベースの信号)のフレーム
Figure 0007423585000021
〔^XPS(k)〕および周囲HOA成分の中間表現のフレームCI,AMB(k)を再構成するために再分配される。さらに、k番目のフレームにおいてアクティブである、周囲HOA成分の係数シーケンスのインデックスの集合IAMB,ACT(k)と、(k-1)番目のフレームにおいて有効にされる、無効にされるまたはアクティブなままである必要がある周囲HOA成分の係数インデックスのデータ集合IE(k-1)、ID(k-1)およびIU(k-1)とが提供される。
優勢音合成段階またはステージ26では、優勢音成分
Figure 0007423585000022
〔^CPS(k-1)〕のHOA表現が、すべての優勢音信号のフレーム^XPS(k)から、タプル集合MDIR(k+1)および予測パラメータの集合ζ(k+1)、タプル集合MVEC(k+1)およびデータ集合IE(k-1)、ID(k-1)およびIU(k-1)を使って計算される。
周囲合成段階またはステージ27では、周囲HOA成分フレーム
Figure 0007423585000023
〔^CAMB(k-1)〕が、周囲HOA成分の中間表現のフレームCI,AMB(k)から、k番目のフレームにおいてアクティブである周囲HOA成分の係数シーケンスのインデックスの集合IAMB,ACT(k)を使って生成される。一フレームぶんの遅延が、優勢音HOA成分との同期に起因して導入されている。最後に、HOA組成段階またはステージ28において、周囲HOA成分フレーム^CAMB(k-1)および優勢音HOA成分のフレーム^CPS(k-1)が重畳されて、デコードされたHOAフレーム^C(k-1)を与える。
その後、空間的HOAデコーダは前記I個の信号および前記サイド情報から、前記再構成されたHOA表現を生成する。
エンコーダ側で周囲HOA成分が方向性信号に変換された場合、その変換はデコーダ側で段階/ステージ27において反転される。
HOA圧縮器内の利得制御処理段階/ステージ15、151より前の信号の潜在的な最大利得は、入力HOA表現の値範囲に強く依存する。よって、まず、入力HOA表現についての意味のある値範囲が定義され、その後、利得制御処理段階/ステージにはいる前の前記信号の前記潜在的な最大利得について結論する。
〈入力HOA表現の正規化〉
本発明の処理を使うために、(全)入力HOA表現信号の正規化が、事前に実行される。HOA圧縮については、フレームごとの処理が実行される。ここで、もとの入力HOA表現のk番目のフレームC(k)は、〈高次アンビソニックスの基礎〉の節の式(54)において指定される時間連続的なHOA係数シーケンスのベクトルc(t)に関して
Figure 0007423585000024
のように定義される。ここで、kはフレーム・インデックス、Lはフレーム長(サンプル単位)を表わし、O=(N+1)2はHOA係数シーケンスの数であり、TSはサンプリング周期を示す。
特許文献4において述べられているように、実際的な観点から見たHOA表現の意味のある正規化は、個々のHOA係数シーケンスcn m(t)の値範囲に対して制約条件を課すことによっては達成されない。これらの時間領域関数は、レンダリング後にスピーカーによって実際に再生される信号ではないからである。その代わり、HOA表現をO個の仮想スピーカー信号wj(t)、1≦j≦Oにレンダリングすることによって得られる「等価な空間領域表現」を考えるほうが便利である。それぞれの仮想スピーカー位置は、球面座標系によって表わされると想定される。ここで、各位置は単位球上にあり、動径1をもつと想定される。よって、これらの位置は、次数に依存する諸方向Ωj (N)=(θj (N)j (N))、1≦j≦Oによって等価に表わすことができる。ここで、θj (N)およびφj (N)はそれぞれ傾斜角および方位角を表わす(球面座標系の定義については図6およびその説明を参照)。これらの方向は、できるだけ一様に単位球上に分布させられるべきである。たとえば非特許文献2参照。特定の方向の計算のために、ノード数はhttp://www.mathematik.uni-dortmund.de/lsx/research/projects/
fliege/nodes/nodes.htmlにある。これらの位置は一般に、「球状の一様分布」の定義の種類に依存するもので、よって曖昧さがないこともない。
仮想スピーカー信号について値範囲を定義することが、HOA係数シーケンスについて値範囲を定義することに対して有利な点は、前者についての値範囲が、PCM表現を想定する通常のスピーカー信号についての場合のように、区間[-1,1[に等しく直観的に設定されることができることである。これは、空間的に一様に分布した量子化誤差につながり、そのため有利なことに、量子化は、実際の聴取に関して有意な領域で適用される。このコンテキストにおける重要な側面は、通常ならサンプル当たりより多くのビット数(たとえば24あるいはさらには32)が必要とされるところ、サンプル当たりのビット数が通常のスピーカー信号について典型的にそうであるくらい低く、たとえば16に選ばれることができることである。これは、HOA係数シーケンスの直接量子化に比べて効率を高める。
空間領域における正規化プロセスを詳細に記述するために、すべての仮想スピーカー信号はw(t):=[w1(t) … wO(t)]T (2)
においてまとめられる。ここで、(・)Tは転置を表わす。仮想方向Ωj (N)、1≦j≦Oに関するモード行列を
Figure 0007423585000025
によって定義されるΨで表わすと、レンダリング・プロセスは、行列乗算
w(t)=(Ψ)-1・c(t) (5)
として定式化されることができる。
これらの定義を使うと、仮想スピーカー信号に対する合理的な要求は:
Figure 0007423585000026
である。これは、各仮想スピーカー信号の大きさは範囲[-1,1[内にあることが要求されることを意味している。時間tの時刻は、サンプル・インデックスlと前記HOAデータ・フレームのサンプル値のサンプル周期TSとによって表現される。
結果として、スピーカー信号の全パワーは、条件
Figure 0007423585000027
を満たす。HOAデータ・フレーム表現のレンダリングおよび正規化は、図1のAの入力C(k)の上流で実行される。
〈利得制御前の信号値範囲についての帰結〉
入力HOA表現の正規化が〈入力HOA表現の正規化〉の節の記述に従って実行されるとして、HOA圧縮器における利得制御処理ユニット15、151に入力される信号yi、i=1,…,lの値範囲について以下で考察する。これらの信号は、HOA係数シーケンスまたは優勢音信号xPS,d、d=1,…,Dおよび/または周囲HOA成分cAMB,n、n=1,…,Oの特定の諸係数シーケンス(その一部には空間変換が適用される)のうちの一つまたは複数の、利用可能なI個のチャネルへの割り当てによって生成される。よって、式(6)での正規化の想定のもとに、ここに挙げた異なる信号型の可能な値範囲を分析することが必要である。すべての種類の信号は、もとのHOA係数シーケンスから中間的に計算されるので、それらの可能な値範囲を見ておく。
I個のチャネルにおいて、一つまたは複数のHOA係数シーケンスのみが含まれる場合は図1のAおよび図2のBには描かれていない。すなわち、そのような場合は、HOA分解、周囲成分修正および対応する合成ブロックは必要とされない。
〈HOA表現の値範囲についての帰結〉
時間連続的なHOA表現は仮想スピーカー信号から
c(t)=Ψw(t) (8)
によって得られる。これは、式(5)の逆演算である。よって、すべてのHOA係数シーケンスの全パワーは、式(8)および(7)を使って次のように制限される。
Figure 0007423585000028
球面調和関数のN3D正規化の想定のもとでは、モード行列の二乗されたユークリッド・ノルムは
||Ψ||2 2=K・O (10a)
によって書くことができる。ここで、
K=||Ψ||2 2/O (10b)
はモード行列の二乗されたユークリッド・ノルムとHOA係数シーケンスの数Oとの間の比を表わす。この比は特定のHOA次数Nおよび特定の諸仮想スピーカー方向Ωj (N)、1≦j≦Oに依存する。このことは、
K=K(N,Ω1 (N),…,ΩO (N)) (10c)
のように、この比の後に個々のパラメータ・リストを付けることによって表わせる。
図3は、上述した非特許文献2の論文に従って仮想方向Ωj (N)、1≦j≦OについてのKの値を、HOA次数N=1,…,29について示している。
すべてのこれまでの議論および考察を組み合わせると、HOA係数シーケンスの絶対値についての上限が次のように与えられる。
Figure 0007423585000029
ここで、最初の不等号はノルムの定義から直接帰結する。
式(6)における条件は式(11)における条件を含意するが、逆は成り立たない、すなわち式(11)は式(6)を含意しないことに注意しておくことが重要である。
さらに重要な側面は、ほぼ一様に分布した仮想スピーカー位置の想定のもとで、仮想スピーカー位置に関するモード・ベクトルを表わすモード行列Ψの列ベクトルは、ほぼ互いに直交であり、それぞれN+1のユークリッド・ノルムをもつ。この属性は、前記空間変換が、乗算定数を除いてユークリッド・ノルムをほぼ保存することを意味する。すなわち、
Figure 0007423585000030
モード・ベクトルに対する直交性の想定が破られるほど、真のノルム||c(lTS)||2は式(12)の近似から異なってくる。
〈優勢音信号の値範囲についての帰結〉
優勢音信号の両方の型(方向性およびベクトル・ベース)は、HOA表現への寄与が、N+1のユークリッド・ノルムをもつ、すなわち
||v1||2=N+1 (13)
となる単一のベクトルv1∈ROによって記述されることで共通している。
方向性信号の場合、このベクトルは、ある信号源方向ΩS,1に関するモード・ベクトルに対応する、すなわち、
Figure 0007423585000031
このベクトルは、HOA表現によって、信号源方向ΩS,1への方向性ビームを記述する。ベクトル・ベースの信号の場合、ベクトルv1はいかなる方向に関するモード・ベクトルにも制約されず、よってモノラルのベクトル・ベースの信号の、より一般的な方向性分布を記述しうる。
以下では、D個の優勢音信号xd(t)、d=1,…,Dの一般的な場合が考察される。これらの信号は、
x(t)=[x1(t) x2(t) … xD(t)]T (16)
に従ってベクトルx(t)に集められることができる。これらの信号は、モノラルの優勢音信号xd(t)、d=1,…,Dの方向性分布を表わすすべてのベクトルvd、d=1,…,Dから形成される行列
V:=[v1 v2 … vD] (17)
に基づいて決定される必要がある。
優勢音信号x(t)の意味のある抽出のためには、以下の制約条件が定式化される:
a)各優勢音信号はもとのHOA表現の係数シーケンスの線形結合として得られる、すなわち
x(t)=A・c(t) (18)
ここで、A∈RD×Oは混合行列を表わす。
b)混合行列Aは、そのユークリッド・ノルムが値1を超えない、すなわち
Figure 0007423585000032
ように、かつもとのHOA表現と優勢音信号のHOA表現との間の残差の二乗されたユークリッド・ノルム(または等価だがパワー)がもとのHOA表現の二乗されたユークリッド・ノルム(または等価だがパワー)より大きくない、すなわち
Figure 0007423585000033
となるよう、選ばれるべきである。
式(18)を式(20)に代入すると、式(20)が制約条件
Figure 0007423585000034
と等価であることが見て取れる。ここで、Iは恒等行列を表わす。
式(18)および(19)における制約条件ならびにユークリッド行列とベクトル・ノルムの整合性から、優勢音信号の絶対値についての上限は、式(18)、(19)および(11)を使って、
Figure 0007423585000035
によって見出される。よって、優勢音信号がもとのHOA係数シーケンスと同じ範囲(式(11)参照)内に留まること、すなわち、
Figure 0007423585000036
となることが保証される。
〈混合行列の選択のための例〉
制約条件(20)を満たす混合行列をどのようにして決定するかの例が、抽出後の残差のユークリッド・ノルムが最小化される、すなわち
Figure 0007423585000037
となるように優勢音信号を計算することによって得られる。式(26)の最小化問題に対する解は
x(t)=V+c(t) (27)
によって与えられる。ここで、(・)+はムーア・ペンローズの擬似逆行列を示す。式(27)を式(18)と比較することによって、この場合、混合行列が行列Vのムーア・ペンローズ擬似逆行列に等しい、すなわちA=V+となることがわかる。
にもかかわらず、行列Vは相変わらず制約条件(19)、すなわち
Figure 0007423585000038
を満たすよう選ばれる必要がある。
方向性信号のみの場合、行列Vはいくつかの源信号方向ΩS,d、d=1,…,Dに関するモード行列、すなわち
Figure 0007423585000039
であり、この場合、制約条件(28)は、任意の二つの隣接する方向の距離が小さすぎないように源信号方向ΩS,d、d=1,…,Dを選ぶことによって満たされることができる。
〈周囲HOA成分の係数シーケンスの値範囲についての帰結〉
周囲HOA成分は、もとのHOA表現から優勢音信号のHOA表現を引くことによって計算される。すなわち、
Figure 0007423585000040
優勢音信号x(t)のベクトルが基準(20)に従って決定される場合、
Figure 0007423585000041
と結論できる。
〈周囲HOA成分の空間変換された係数シーケンスの値範囲〉
特許文献2および上述した非特許文献1のMPEG文書において提案されたHOA圧縮処理におけるさらなる側面は、周囲HOA成分の最初のOMIN個の係数シーケンスが常に、トランスポート・チャネルに割り当てられるよう選ばれるということである。ここで、OMIN=(NMIN+1)2であり、NMIN≦Nは典型的にはもとのHOA表現の次数よりも小さな次数である。これらのHOA係数シーケンスを脱相関させるために、これらは(〈入力HOA表現の正規化〉の節で述べた概念と同様に)いくつかのあらかじめ定義された方向ΩMIN,d、d=1,…,OMINから入射する仮想スピーカー信号に変換されることができる。次数インデックスn≦NMINをもつ周囲HOA成分のすべての係数シーケンスのベクトルをcAMB,MIN(t)によって定義し、仮想方向ΩMIN,d、d=1,…,OMINに関するモード行列をΨMINによって定義すると、wMIN(t)という(によって定義される)すべての仮想スピーカー信号のベクトルは
Figure 0007423585000042
によって得られる。
よって、ユークリッド行列とベクトル・ノルムの整合性を使うと、
Figure 0007423585000043
となる。
上述した非特許文献1のMPEG文書においては、仮想方向ΩMIN,d、d=1,…,OMINは上述した非特許文献2の論文に従って選ばれている。モード行列ΨMINの逆行列のそれぞれのユークリッド・ノルムが次数NMIN=1,…,9について図4に示されている。
Figure 0007423585000044
であることが見て取れる。
しかしながら、NMIN>9についてはこのことは一般には成り立たない。この場合、||ΨMIN -1||2の値は典型的には1よりずっと大きくなる。それにもかかわらず、少なくとも1≦NMIN≦9については、仮想スピーカー信号の振幅は次式によって制限される。
Figure 0007423585000045
HOA表現から生成される仮想スピーカー信号の振幅が値1を超えないことを要求する条件(6)を満たすよう入力HOA表現を制約することによって、利得制御前の信号の振幅が値(√K)・Oを超えないことが、次の条件のもとで、保証できる(式(25)、(34)、(40)参照):
a)すべての優勢音信号x(t)のベクトルが式/制約条件(18)、(19)、(20)に従って計算される;
b)仮想スピーカー位置として上述した非特許文献2の論文において定義されるものが使われる場合、空間変換が適用される周囲HOA成分の最初の諸係数シーケンスの数OMINを決定する最小次数NMINが9未満である必要がある。
関心対象の最大次数NMAXまでの任意の次数N、すなわち1≦N≦NMAXについて、利得制御前の信号の振幅が値(√KMAX)・Oを超えないことが結論できる。ここで、
Figure 0007423585000046
特に、図3から、初期空間変換について仮想スピーカー方向Ωj (N)、1≦j≦Oが非特許文献2の論文における分布に従って選ばれていると想定される場合であり、加えて、関心対象の最大次数がNMAX=29である(たとえば非特許文献1のMPEG文書のように)と想定される場合、この特別な場合には√KMAX<1.5なので、利得制御前の信号の振幅は1.5Oを超えない。すなわち、√KMAX=1.5が選択されることができる。
KMAXは関心対象の最大次数NMAXおよび仮想スピーカー方向Ωj (N)、1≦j≦Oに依存し、次のように表わせる。
Figure 0007423585000047
よって、知覚的符号化前の信号が区間[-1,1]内にあることを保証するために利得制御によって適用される最大利得は
Figure 0007423585000048
によって与えられる。
利得制御前の信号の振幅があまりに小さい場合には、非特許文献1のMPEG文書において、それらの振幅を
Figure 0007423585000049
までの因子でなめらかに増幅することが可能であることが提案されている。ここで、eMAX≧0は符号化されたHOA表現内でサイド情報として伝送される。
このように、最初から現在フレームまでに利得制御処理ユニットによって引き起こされた、修正された信号の合計の絶対的な振幅変化をアクセス単位内で記述する底2に対するそれぞれの指数は、区間[eMIN,eMAX]内の任意の整数値を取ることができる。結果として、それを符号化するために必要とされるビットの(最低の整数の)数βeは次式によって与えられる。
Figure 0007423585000050
利得制御前の信号の振幅が小さすぎない場合には、式(42)は次のように単純化できる。
Figure 0007423585000051
このビット数βeは、利得制御段階/ステージ15、…、151の入力において計算されることができる。
指数のためのこのビット数βeを使うと、HOA圧縮器利得制御処理ユニット15、…、151によって引き起こされるすべての可能な絶対的な振幅変化が捕捉できることが保証され、圧縮された表現内のいくつかのあらかじめ定義された入場点において圧縮解除を開始することが許容される。
HOA圧縮解除器において、圧縮されたHOA表現の圧縮解除を開始するとき、いくつかのデータ・フレームについてサイド情報に割り当てられた合計の絶対的な振幅変化を表わし、受領されたデータ・ストリーム
Figure 0007423585000052
のうちからデマルチプレクサ21から受領される非差分的な利得値は、利得制御段階/ステージ15、…、151において実行された処理の逆の仕方で、正しい利得制御を適用するために、逆利得制御段階またはステージ24、…、241において使われる。
〈さらなる実施形態〉
〈HOA圧縮〉、〈空間的HOAエンコード〉、〈HOA圧縮解除〉および〈空間的HOAデコード〉の節において述べたような具体的なHOA圧縮/圧縮解除システムを実装するとき、前記指数を符号化するためのビットの量βeが、スケーリング因子KMAX,DESに依存して式(42)に従って設定される必要がある。このKMAX,DES自身は圧縮されるべきHOA表現の所望される(desired)最大次数NMAX,DESおよびある種の仮想スピーカー方向
Figure 0007423585000053
に依存する。
たとえば、NMAX,DES=29を想定し、非特許文献2の論文に従って仮想スピーカー方向を選ぶとき、合理的な選択は√KMAX,DES=1.5であろう。その状況では、同じ仮想スピーカー方向ΩDES,1 (N),…,ΩDES,O (N)を使って〈入力HOA表現の正規化〉の節に従って正規化されている、1≦N≦NMAXとなる次数NのHOA表現については、正しい圧縮が保証される。しかしながら、この保証は、(効率性の理由のために)やはりPCMフォーマットで仮想スピーカー信号によって等価に表現されているが、仮想スピーカーの方向Ωj (N)、1≦j≦Oがシステム設計段階で想定された上記の仮想スピーカー方向ΩDES,1 (N),…,ΩDES,O (N)とは異なるように選ばれているHOA表現の場合には、与えられることができない。
仮想スピーカー位置のこの異なる選択のため、たとえこれらの仮想スピーカー信号が区間[1,1[内にあったとしても、利得制御前の信号の振幅が値(√KMAX,DES)・Oを超えないことはもはや保証できない。よって、このHOA表現が、非特許文献1のMPEG文書において記述される処理に従った圧縮のために適正な正規化をもつことは保証できない。
この状況において、それぞれのHOA表現が非特許文献1のMPEG文書において記述される処理に従った圧縮のために好適であることを保証するために、仮想スピーカー位置の知識に基づいて、仮想スピーカー信号の最大限許容される振幅を与えるシステムをもつことが有利である。図5では、そのようなシステムが示されている。これは、O=(N+1)2、N∈N0であるとして、入力として仮想スピーカー位置Ωj (N)、1≦j≦Oを取り、出力として仮想スピーカー信号の(デシベルで測った)最大限許容される振幅γdBを与える。段階またはステージ51では、諸仮想スピーカー位置に関するモード行列Ψが式(3)に従って計算される。続く段階またはステージ52では、該モード行列のユークリッド・ノルム||Ψ||2が計算される。第三の段階またはステージ53では、振幅γが、1、ならびに、仮想スピーカー位置の数の平方根とKMAX,DESの積とモード行列のユークリッド・ノルムとの間の商のうちの最小として計算される。すなわち、
Figure 0007423585000054
デシベル単位での値は
γdB=20log10(γ) (44)
によって得られる。
説明のために:上記の導出から、HOA係数シーケンスの大きさが値(√KMAX,DES)・Oを超えなければ、すなわち
Figure 0007423585000055
であれば、利得制御処理ユニット15、151より前のすべての信号は相応してこの値を超えないことが見て取れる。これは、適正なHOA圧縮のための要件である。
式(9)から、HOA係数シーケンスの大きさが
Figure 0007423585000056
によって制限されることが見出される。結果として、γが式(43)に従って設定され、PCMフォーマットでの仮想スピーカー信号が
Figure 0007423585000057
を満たす場合、式(7)から、
Figure 0007423585000058
となり、要件(45)が満たされていることになる。
すなわち、式(6)における最大の大きさの値1が、式(47)では最大の大きさの値γによって置き換えられる。
〈高次アンビソニックスの基礎〉
高次アンビソニックス(HOA)は、音源がないと想定されるコンパクトな関心領域内の音場の記述に基づく。その場合、関心領域内の位置xおよび時刻tにおける音圧の空間時間的挙動p(t,x)は、斉次の波の式(homogeneous wave equation)によって物理的に完全に決定される。以下では、図6に示される球面座標系を想定する。使用されるこの座標系では、x軸は前方位置を向き、y軸は左を向き、z軸は上を向く。空間内の位置x=(r,θ,φ)Tは動径r>0(すなわち、座標原点までの距離)、極軸zから測った傾斜角θ∈[0,π]およびxy平面においてx軸から反時計回りに測った方位角φ∈[0,2π[によって表現される。さらに、(・)Tは転置を表わす。
すると、ωが角周波数を表わし、iは虚数単位を示すものとして、非特許文献3の教科書から、
Ft(・)によって表わされる時間に関する音圧のフーリエ変換、すなわち
Figure 0007423585000059
は、
Figure 0007423585000060
に従って球面調和関数級数に展開されうることが示せる。ここで、csは音速を表わし、kは角波数を表わす。角波数は角周波数ωに、k=ω/csによって関係付けられる。さらに、jn(・)は第一種の球面ベッセル関数を表わし、Sn m(θ,φ)は次数(order)n、陪数(degree)mの実数値の球面調和関数を表わす。これは〈実数値球面調和関数の定義〉の節で定義される。展開係数An m(k)は角波数kのみに依存する。音圧が空間的に帯域制限されていることが暗黙的に想定されていることを注意しておく。よって、級数は次数インデックスnに関して上限Nで打ち切られる。このNはHOA符号化表現の次数と呼ばれる。
音場が、角タプル(θ,φ)によって指定されるすべての可能な方向から到来する、異なる角周波数ωの無限個の調和平面波の重ね合わせによって表現されるとすると、それぞれの平面波複素振幅関数C(ω,θ,φ)は次の球面調和関数展開によって表わせることを示せる(非特許文献4)。
Figure 0007423585000061
ここで、展開係数Cn m(k)は展開係数An m(k)に、
An m(k)=inCn m(k) (52)
によって関係付けられる。個々の係数Cn m(k=ω/cs)が角周波数ωの関数であるとすると、逆フーリエ変換(F-1(・)によって表わされる)の適用は、各次数nおよび陪数mについて、時間領域関数
Figure 0007423585000062
を与える。これらの時間領域関数はここでは連続時間HOA係数シーケンスと称され、これは
Figure 0007423585000063
によって単一のベクトルc(t)にまとめることができる。
ベクトルc(t)内のHOA係数シーケンスcn m(t)の位置インデックスは
n(n+1)+1+m
によって与えられる。ベクトルc(t)内の全体的な要素数はO=(N+1)2によって与えられる。
最終的なアンビソニックス・フォーマットは、サンプリング周波数fsを使って、c(t)のサンプリングされたバージョンを、
Figure 0007423585000064
として与える。ここで、Ts=1/fsはサンプリング周期を表わす。c(lTs)の要素は離散時間HOA係数シーケンスと称される。これは常に実数値であることが示せる。この属性は、連続時間バージョンcn m(t)についても成り立つ。
〈実数値の球面調和関数の定義〉
実数値の球面調和関数Sn m(θ,φ)(非特許文献5、3.1章に基づくSN3D規格化を想定)は次式によって与えられる。
Figure 0007423585000065
ルジャンドル陪関数Pn,m(x)は次式によって定義される。
Figure 0007423585000066
ここで、ルジャンドル多項式Pn(x)を用いているが、非特許文献3とは異なり、コンドン・ショートリー(Condon-Shortley)位相項(-1)mがない。
本発明は、単一のプロセッサまたは電子回路によって、あるいは並列に動作するおよび/または本発明の処理の異なる部分で動作するいくつかのプロセッサまたは電子回路によって実行されることができる。
かかるプロセッサ(単数または複数)を動作させるための命令は一つまたは複数のメモリに記憶されることができる。
いくつかの態様を記載しておく。
〔態様1〕
HOAデータ・フレーム表現(C(k))の圧縮のHOAデータ・フレームのうちの個々のもののチャネル信号に関連付けられた非差分的な利得値(2e)を含む符号化されたHOAデータ表現
Figure 0007423585000067
であって、各フレームにおける各チャネル信号はサンプル値のグループを含み、前記HOAデータ・フレームの各フレームの各チャネル信号(y1(k-2),…,yI(k-2))に対して差分利得値が割り当てられ、そのような差分利得値は現在HOAデータ・フレーム((k-2))におけるチャネル信号のサンプル値の振幅の、直前のHOAデータ・フレーム((k-3))におけるそのチャネル信号のサンプル値に対する変化を引き起こすものであり、そのような利得適応されたチャネル信号はエンコーダ(16)においてエンコードされたものであり、
前記HOAデータ・フレーム表現(C(k))は空間領域においてO個の仮想スピーカー信号wj(t)にレンダリングされており、それらの仮想スピーカーの位置は単位球上にあり、その単位球上で一様に分布させられるよう目標とされており、前記レンダリングは行列乗算w(t)=(Ψ)-1・c(t)によって表現され、w(t)はすべての仮想スピーカー信号を含むベクトルであり、Ψは仮想スピーカー位置モード行列であり、c(t)は前記HOAデータ・フレーム表現(C(k))の対応するHOA係数シーケンスのベクトルであり、
前記HOAデータ・フレーム表現(C(k))は
Figure 0007423585000068
となるよう正規化されており、前記チャネル信号についての前記非差分的な利得値(2e)を表現するために必要とされる最低の整数ビット数βeは:
・前記の正規化されたHOAデータ・フレーム表現(C(k))から、前記チャネル信号(y1(k-2),…,yI(k-2))を、サブステップa)、b)、c)、すなわち
a)前記チャネル信号における優勢音信号(x(t))を表現するために、HOA係数シーケンスの前記ベクトルc(t)に混合行列Aを乗算するサブステップであって、混合行列Aのユークリッド・ノルムは1より大きくなく、混合行列Aは前記正規化されたHOAデータ・フレーム表現の係数シーケンスの線形結合を表わす、サブステップ;
b)前記チャネル信号における周囲成分cAMB(t)を表現するために、前記正規化されたHOAデータ・フレーム表現(C(k))から前記優勢音信号を減算し、前記周囲成分cAMB(t)の係数シーケンスの少なくとも一部を選択し、||cAMB(t)||2 2≦||c(t)||2 2であり、結果として得られる最小周囲成分cAMB,MIN(t)を、wMIN(t)=ΨMIN -1・cAMB,MIN(t)を計算することによって変換し、||ΨMIN -1||2<1であり、ΨMINは前記最小周囲成分cAMB,MIN(t)についてのモード行列である、サブステップ;
c)前記HOA係数シーケンスc(t)の一部を選択するサブステップであって、選択された係数シーケンスは、空間変換が適用される前記周囲HOA成分の係数シーケンスに関係し、前記選択された係数シーケンスの数を記述する最小次数NMINはNMIN≦9である、サブステップ;
のうちの一つまたは複数によって形成する段階と;
・前記チャネル信号についての前記非差分的な利得値(2e)を表現するために必要とされる前記最低の整数ビット数βe
Figure 0007423585000069
に設定する段階であって、
Figure 0007423585000070
であり、Nは前記次数であり、NMAXは関心対象の最大次数であり、Ω1 (N),…,ΩO (N)は前記仮想スピーカーの方向であり、O=(N+1)2はHOA係数シーケンスの数であり、Kは前記モード行列の二乗されたユークリッド・ノルム||Ψ||2 2とOとの間の比である、段階とによって決定されたものである、
方法。
〔態様2〕
前記変換された最小周囲成分に加えて、前記周囲成分cAMB(t)の変換されていない周囲係数シーケンスが前記チャネル信号(y1(k-2),…,yI(k-2))に含まれる、態様1記載の符号化されたHOAデータ・フレーム表現。
〔態様3〕
前記HOAデータ・フレームのうちの個々のものの前記チャネル信号に関連付けられた前記非差分的な利得値(2e)がサイド情報として含まれ、そのそれぞれがβeビットによって表現される、態様1または2記載の符号化されたHOAデータ・フレーム表現。
〔態様4〕
前記最低の整数ビット数βe
Figure 0007423585000071
に設定され、eMAX>0は利得制御(15、151)前のチャネル信号のサンプル値の振幅が小さすぎる場合に前記ビット数βeを増すはたらきをする、
態様1ないし3のうちいずれか一項記載の符号化されたHOAデータ・フレーム表現。
〔態様5〕
√KMAX=1.5である、態様1ないし4のうちいずれか一項記載の符号化されたHOAデータ・フレーム表現。
〔態様6〕
前記混合行列Aが、モノラル優勢音信号の方向分布を表わすすべてのベクトルから形成されるモード行列のムーア・ペンローズの擬似逆行列を取ることによって、もとのHOA表現と優勢音信号のものとの間の残差のユークリッド・ノルムを最小にするよう決定される、態様1ないし6のうちいずれか一項記載の符号化されたHOAデータ・フレーム表現。
〔態様7〕
前記O個の仮想スピーカー信号の位置がβeの計算のために想定されたものと一致せず、
・これらの仮想スピーカー位置についてのモード行列Ψが計算され(51);
・このモード行列のユークリッド・ノルム||Ψ||2が計算され(52);
・前記正規化における最大の許容される振幅1を置き換える最大許容される振幅値
Figure 0007423585000072
が計算されており(53)、
Figure 0007423585000073
であり、Nは前記次数であり、O=(N+1)2はHOA係数シーケンスの数であり、Kは、前記モード行列の二乗されたユークリッド・ノルムとOとの比であり、NMAX,DESは関心対象の次数でありΩDES,1 (N),…ΩDES,1 (N)は各次数について、前記HOAデータ・フレーム表現(C(k))の前記圧縮の実装のために想定された仮想スピーカーの方向であり、よってβeは、前記非差分的な利得値の底2に対する指数(e)を符号化するために
Figure 0007423585000074
によって選ばれたものである、
態様1ないし6のうちいずれか一項記載の符号化されたHOAデータ・フレーム表現。

Claims (3)

  1. 音または音場の圧縮された高次アンビソニックス(HOA)音表現をデコードする方法であって:
    前記圧縮されたHOA表現を含むビットストリームを受領する段階であって、前記圧縮されたHOA表現は、HOAデータ・フレームのチャネル信号に関連付けられた利得値を含み、前記利得値のそれぞれがβ e ビットによって表現される、段階であって、ビットストリームは前記圧縮されたHOA表現に対応するHOA係数の数に関する情報を含む、段階と;
    記圧縮されたHOA表現をデコードする段階であって
    Figure 0007423585000075
    であり
    Figure 0007423585000076
    であり、Nは前記圧縮されたHOA表現の次数であり、NMAXは前記圧縮されたHOA表現の関心対象の最大次数であり、Ω1 (N),…,ΩO (N)は仮想スピーカーの方向であり、O=(N+1)2はHOA係数シーケンスの数であり、Kはモード行列の二乗されたユークリッド・ノルム||Ψ||2 2とOとの間の比であり、
    eMAX>0であり、
    √KMAX=1.5である、段階とを含む、
    方法。
  2. 音または音場の圧縮された高次アンビソニックス(HOA)音表現をデコードする装置であって、当該装置は:
    前記圧縮されたHOA表現を含むビットストリームを受領するように構成されたプロセッサを有しており、前記圧縮されたHOA表現は、HOAデータ・フレームのチャネル信号に関連付けられた利得値を含み、前記利得値のそれぞれがβ e ビットによって表現され、ビットストリームは前記圧縮されたHOA表現に対応するHOA係数の数に関する情報を含み、前記プロセッサはさらに、最低の整数数βeに基づいて前記圧縮されたHOA表現をデコードするよう構成されており
    Figure 0007423585000077
    であり
    Figure 0007423585000078
    であり、Nは前記圧縮されたHOA表現の次数であり、NMAXは前記圧縮されたHOA表現の関心対象の最大次数であり、Ω1 (N),…,ΩO (N)は仮想スピーカーの方向であり、O=(N+1)2はHOA係数シーケンスの数であり、Kはモード行列の二乗されたユークリッド・ノルム||Ψ||2 2とOとの間の比であり、
    eMAX>0であり、
    √KMAX=1.5である、
    装置。
  3. 請求項1記載の方法に従ってデコードを実行するためのコンピュータ・プログラムを記憶している非一時的な記憶媒体。

JP2021179491A 2014-06-27 2021-11-02 Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 Active JP7423585B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023176461A JP2023179673A (ja) 2014-06-27 2023-10-12 Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP14306027 2014-06-27
EP14306027.5 2014-06-27
JP2016575020A JP6656182B2 (ja) 2014-06-27 2015-06-22 Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現
JP2020016868A JP6972195B2 (ja) 2014-06-27 2020-02-04 Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020016868A Division JP6972195B2 (ja) 2014-06-27 2020-02-04 Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023176461A Division JP2023179673A (ja) 2014-06-27 2023-10-12 Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現

Publications (2)

Publication Number Publication Date
JP2022017458A JP2022017458A (ja) 2022-01-25
JP7423585B2 true JP7423585B2 (ja) 2024-01-29

Family

ID=51178842

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016575020A Active JP6656182B2 (ja) 2014-06-27 2015-06-22 Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現
JP2020016868A Active JP6972195B2 (ja) 2014-06-27 2020-02-04 Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現
JP2021179491A Active JP7423585B2 (ja) 2014-06-27 2021-11-02 Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現
JP2023176461A Pending JP2023179673A (ja) 2014-06-27 2023-10-12 Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2016575020A Active JP6656182B2 (ja) 2014-06-27 2015-06-22 Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現
JP2020016868A Active JP6972195B2 (ja) 2014-06-27 2020-02-04 Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023176461A Pending JP2023179673A (ja) 2014-06-27 2023-10-12 Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現

Country Status (7)

Country Link
US (3) US9794713B2 (ja)
EP (2) EP3855766A1 (ja)
JP (4) JP6656182B2 (ja)
KR (3) KR102606212B1 (ja)
CN (3) CN112216292A (ja)
TW (5) TWI811864B (ja)
WO (1) WO2015197517A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808598A (zh) * 2014-06-27 2021-12-17 杜比国际公司 针对hoa数据帧表示的压缩确定表示非差分增益值所需的最小整数比特数的方法
EP2960903A1 (en) * 2014-06-27 2015-12-30 Thomson Licensing Method and apparatus for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values
KR102606212B1 (ko) * 2014-06-27 2023-11-29 돌비 인터네셔널 에이비 Hoa 데이터 프레임 표현의 데이터 프레임들 중 특정 데이터 프레임들의 채널 신호들과 연관된 비차분 이득 값들을 포함하는 코딩된 hoa 데이터 프레임 표현
US10249312B2 (en) 2015-10-08 2019-04-02 Qualcomm Incorporated Quantization of spatial vectors
US9961467B2 (en) * 2015-10-08 2018-05-01 Qualcomm Incorporated Conversion from channel-based audio to HOA
DE102016104665A1 (de) * 2016-03-14 2017-09-14 Ask Industries Gmbh Verfahren und Vorrichtung zur Aufbereitung eines verlustbehaftet komprimierten Audiosignals
CN114582357A (zh) * 2020-11-30 2022-06-03 华为技术有限公司 一种音频编解码方法和装置
CN113345448B (zh) * 2021-05-12 2022-08-05 北京大学 一种基于独立成分分析的hoa信号压缩方法
CN115497485B (zh) * 2021-06-18 2024-10-18 华为技术有限公司 三维音频信号编码方法、装置、编码器和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012133366A (ja) 2010-12-21 2012-07-12 Thomson Licensing 二次元または三次元音場のアンビソニックス表現の一連のフレームをエンコードおよびデコードする方法および装置
WO2013171083A1 (en) 2012-05-14 2013-11-21 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics signal representation
JP2013545391A (ja) 2010-11-05 2013-12-19 トムソン ライセンシング 高次アンビソニックス・オーディオ・データ用のデータ構造
WO2015197512A1 (en) 2014-06-27 2015-12-30 Thomson Licensing Method and apparatus for determining for the compression of an hoa data frame representation a lowest integer number of bits required for representing non-differential gain values

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE522453C2 (sv) * 2000-02-28 2004-02-10 Scania Cv Ab Sätt och anordning för styrning av ett mekaniskt tillsatsaggregat i ett motorfordon
WO2009001874A1 (ja) 2007-06-27 2008-12-31 Nec Corporation オーディオ符号化方法、オーディオ復号方法、オーディオ符号化装置、オーディオ復号装置、プログラム、およびオーディオ符号化・復号システム
EP2451196A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Method and apparatus for generating and for decoding sound field data including ambisonics sound field data of an order higher than three
CN102760437B (zh) * 2011-04-29 2014-03-12 上海交通大学 实时声道控制转换的音频解码装置
EP2541547A1 (en) * 2011-06-30 2013-01-02 Thomson Licensing Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation
EP2688066A1 (en) * 2012-07-16 2014-01-22 Thomson Licensing Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction
EP2875511B1 (en) * 2012-07-19 2018-02-21 Dolby International AB Audio coding for improving the rendering of multi-channel audio signals
EP2743922A1 (en) 2012-12-12 2014-06-18 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field
EP2800401A1 (en) 2013-04-29 2014-11-05 Thomson Licensing Method and Apparatus for compressing and decompressing a Higher Order Ambisonics representation
EP2824661A1 (en) 2013-07-11 2015-01-14 Thomson Licensing Method and Apparatus for generating from a coefficient domain representation of HOA signals a mixed spatial/coefficient domain representation of said HOA signals
CN106471822B (zh) * 2014-06-27 2019-10-25 杜比国际公司 针对hoa数据帧表示的压缩确定表示非差分增益值所需的最小整数比特数的设备
KR102606212B1 (ko) * 2014-06-27 2023-11-29 돌비 인터네셔널 에이비 Hoa 데이터 프레임 표현의 데이터 프레임들 중 특정 데이터 프레임들의 채널 신호들과 연관된 비차분 이득 값들을 포함하는 코딩된 hoa 데이터 프레임 표현

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013545391A (ja) 2010-11-05 2013-12-19 トムソン ライセンシング 高次アンビソニックス・オーディオ・データ用のデータ構造
JP2012133366A (ja) 2010-12-21 2012-07-12 Thomson Licensing 二次元または三次元音場のアンビソニックス表現の一連のフレームをエンコードおよびデコードする方法および装置
WO2013171083A1 (en) 2012-05-14 2013-11-21 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics signal representation
WO2015197512A1 (en) 2014-06-27 2015-12-30 Thomson Licensing Method and apparatus for determining for the compression of an hoa data frame representation a lowest integer number of bits required for representing non-differential gain values

Also Published As

Publication number Publication date
EP3855766A1 (en) 2021-07-28
CN112216291A (zh) 2021-01-12
TWI811864B (zh) 2023-08-11
US20180007484A1 (en) 2018-01-04
JP6972195B2 (ja) 2021-11-24
KR20170023869A (ko) 2017-03-06
EP3162087A1 (en) 2017-05-03
US10516958B2 (en) 2019-12-24
TW201603003A (zh) 2016-01-16
TW202022854A (zh) 2020-06-16
JP2020091491A (ja) 2020-06-11
TWI705433B (zh) 2020-09-21
TWI686793B (zh) 2020-03-01
JP2023179673A (ja) 2023-12-19
US20190174243A1 (en) 2019-06-06
JP2017523459A (ja) 2017-08-17
CN112216292A (zh) 2021-01-12
CN107077852A (zh) 2017-08-18
KR20230162157A (ko) 2023-11-28
EP3162087B1 (en) 2021-03-17
TW202127431A (zh) 2021-07-16
US10165384B2 (en) 2018-12-25
CN107077852B (zh) 2020-12-04
US20170134874A1 (en) 2017-05-11
JP2022017458A (ja) 2022-01-25
KR20220088947A (ko) 2022-06-28
TW202236258A (zh) 2022-09-16
KR102410307B1 (ko) 2022-06-20
TW202420294A (zh) 2024-05-16
JP6656182B2 (ja) 2020-03-04
KR102606212B1 (ko) 2023-11-29
US9794713B2 (en) 2017-10-17
WO2015197517A1 (en) 2015-12-30
TWI748636B (zh) 2021-12-01

Similar Documents

Publication Publication Date Title
JP7267340B2 (ja) 非差分的な利得値を表現するのに必要とされる最低整数ビット数をhoaデータ・フレーム表現の圧縮のために決定する装置
JP7423585B2 (ja) Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現
JP6869296B2 (ja) 非差分的な利得値を表現するのに必要とされる最低整数ビット数をhoaデータ・フレーム表現の圧縮のために決定する方法および装置
JP7275191B2 (ja) 非差分的な利得値を表現するのに必要とされる最低整数ビット数をhoaデータ・フレーム表現の圧縮のために決定する装置
TW202431250A (zh) 用以判定用於描述將振幅變化對應為2之指數之非差分增益值之表示之最低整數位元數以用於hoa資料框表示壓縮之方法及裝置以及用於執行其的電腦程式產品、編碼之hoa資料框表示以及用於儲存其的儲存媒體,以及解碼聲音或聲場之壓縮高階保真立體音響(hoa)聲音表示之方法及裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231012

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240117

R150 Certificate of patent or registration of utility model

Ref document number: 7423585

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150