JP7333855B2 - 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 - Google Patents
高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 Download PDFInfo
- Publication number
- JP7333855B2 JP7333855B2 JP2022107586A JP2022107586A JP7333855B2 JP 7333855 B2 JP7333855 B2 JP 7333855B2 JP 2022107586 A JP2022107586 A JP 2022107586A JP 2022107586 A JP2022107586 A JP 2022107586A JP 7333855 B2 JP7333855 B2 JP 7333855B2
- Authority
- JP
- Japan
- Prior art keywords
- hoa
- gain
- drc
- signal
- hoa signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 31
- 230000006835 compression Effects 0.000 title claims description 17
- 238000007906 compression Methods 0.000 title claims description 17
- 239000011159 matrix material Substances 0.000 claims description 63
- 239000013598 vector Substances 0.000 claims description 27
- 230000005236 sound signal Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 2
- 238000009877 rendering Methods 0.000 description 33
- 230000001131 transforming effect Effects 0.000 description 30
- 230000009466 transformation Effects 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000013459 approach Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 241001306293 Ophrys insectifera Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000004134 energy conservation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- Theoretical Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- General Physics & Mathematics (AREA)
- Stereophonic System (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Nuclear Medicine (AREA)
- Image Processing (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は、ダイナミックレンジ圧縮(DRC: Dynamic Range Compression)をアンビソニックス信号に、特に高次アンビソニックス(HOA: Higher Order Ambosonics)信号に対して実行するための方法および装置に関する。
ダイナミックレンジ圧縮(DRC)の目的は、オーディオ信号のダイナミックレンジを縮小することである。オーディオ信号に対して時間変化する利得因子が適用される。典型的にはこの利得因子は、利得を制御するために使われる信号の振幅包絡に依存する。そのマッピングは一般には非線形である。大きな振幅はより小さな振幅にマッピングされる一方、小さな音は増幅されることもしばしばある。シナリオは、ノイズのある環境、深夜の聴取、小さなスピーカーまたはモバイル・ヘッドフォン聴取である。
オーディオをストリーミングまたはブロードキャストするための共通の概念は、送信前にDRC利得を生成し、受信およびデコード後にこれらの利得を適用することである。DRC使用の原理、すなわちオーディオ信号にDRCが通例どのように適用されるかが図1のa)に示されている。信号レベル、通例は信号包絡が検出され、関係した時間変化する利得gDRCが計算される。利得はオーディオ信号の振幅を変化させるために使われる。図1のb)はエンコード/デコードのためにDRCを使うことの原理を示しており、利得因子は符号化されたオーディオ信号と一緒に伝送される。デコーダ側では、デコードされたオーディオ信号に対して、そのダイナミックレンジを縮小するために利得が適用される。
3Dオーディオについては、異なる空間位置を表わすラウドスピーカー・チャネルに異なる利得が適用されることができる。その際、マッチする一組の利得を生成できるためには、送り側においてこれらの位置が知られている必要がある。これは通例、理想化された条件についてのみ可能である。現実的な場合には、スピーカーの数およびその配置は多くの仕方で変わりうる。これは、仕様よりも実際的な事情から影響される。高次アンビソニックスは、柔軟なレンダリングを許容するオーディオ・フォーマットである。HOA信号は、直接的に音レベルを表わすのでない係数チャネルから構成される。したがって、DRCを単純にHOAベースの信号に適用するわけにはいかない。
J¨org Fliege、"Integration nodes for the sphere"、2010、オンライン、アクセス日2010-10-05、http://www.mathematik.uni-dortmund.de/lsx/research/projects/fliege/nodes/nodes.html
J¨org Fliege and Ulrike Maier、"A two-stage approach for computing cubature formulae for the sphere"、Technical report, Fachbereich Mathematik, Universitat Dortmund, 1999
本発明は、少なくとも、HOA信号にどのようにしてDRCが適用できるかの問題を解決する。
HOA信号は、一つまたは複数の利得係数を得るために解析される。ある実施形態では、少なくとも二つの利得係数が得られ、HOA信号の解析は空間領域への変換(iDSHT)を含む。前記一つまたは複数の利得係数はもとのHOA信号と一緒に伝送される。すべての利得係数が等しいかどうかを指示するために、特別な指標が伝送されることができる。これは、いわゆる単純化モードの場合である。一方、非単純化モードでは少なくとも二つの異なる利得係数が使われる。デコーダでは、前記一つまたは複数の利得がHOA信号に適用されることができる(これは必須ではない)。ユーザーは、前記一つまたは複数の利得を適用するか否かの選択権をもつ。単純化モードの利点は、一つの利得因子しか使われず、利得因子はHOA領域において直接的にHOA信号の係数チャネルに適用できるので、空間領域への変換およびその後のHOA領域に戻す変換がスキップできるため、必要とされる計算が著しく少なくなるということである。単純化モードでは、利得因子は、HOA信号の零次の係数だけの解析によって得られる。
本発明のある実施形態によれば、HOA信号に対してDRCを実行する方法は、(逆DSHTによって)HOA信号を空間領域に変換し、変換されたHOA信号を解析し、前記解析の結果から、ダイナミックレンジ圧縮のために使用可能な利得因子を得ることを含む。さらなる段階において、得られた利得因子は(空間領域で)変換されたHOA信号と乗算され、利得圧縮された変換されたHOA信号が得られる。最後に、利得圧縮された変換されたHOA信号は(DSHTによって)HOA領域、すなわち係数領域に変換し戻され、利得圧縮されたHOA信号が得られる。
さらに、本発明のある実施形態によれば、HOA信号に対して単純化モードでDRCを実行する方法は、HOA信号を解析し、前記解析の結果から、ダイナミックレンジ圧縮のために使用可能な利得因子を得ることを含む。さらなる段階において、指標の評価に際し、得られた利得因子は(HOA領域において)HOA信号の係数チャネルと乗算され、利得圧縮された変換されたHOA信号が得られる。指標の評価に際して、HOA信号の変換がスキップできることが判別されることもできる。単純化モードを指示する、すなわちただ一つの利得因子が使われることを示す指標は、たとえばハードウェアまたは他の制約のために単純化モードしか使用できない場合には暗黙的に、あるいはたとえば単純化モードまたは非単純化モードいずれかのユーザー選択に際しては明示的に、設定されることができる。
さらに、HOA信号に対してDRC利得因子を適用する方法は、HOA信号、指標および利得因子を受領し、指標が非単純化モードを示すことを判別し、(逆DSHTを使って)HOA信号を空間領域に変換して変換されたHOA信号が得られ、利得因子を変換されたHOA信号に乗算してダイナミックレンジ圧縮された変換されたHOA信号が得られ、(DSHTを使って)ダイナミックレンジ圧縮された変換されたHOA信号をHOA領域(すなわち係数領域)に変換し戻して、ダイナミックレンジ圧縮されたHOA信号が得られる、ことを含む。利得因子は、HOA信号と一緒にまたは別個に受領されることができる。さらに、本発明のある実施形態によれば、HOA信号に対してDRC利得因子を適用する方法は、HOA信号、指標および利得因子を受領し、指標が単純化モードを示すことを判別し、前記判別に際して、利得因子をHOA信号に乗算してダイナミックレンジ圧縮されたHOA信号が得られる、ことを含む。利得因子は、HOA信号と一緒にまたは別個に受領されることができる。
HOA信号に対してDRC利得因子を適用する装置は請求項11において開示される。
ある実施形態では、本発明は、HOA信号に対してDRC利得因子を適用する方法であって上記のような段階を含む方法をコンピュータに実行させるための実行可能命令を有するコンピュータ可読媒体を提供する。
ある実施形態では、本発明は、HOA信号に対してDRCを実行する方法であって上記のような段階を含む方法をコンピュータに実行させるための実行可能命令を有するコンピュータ可読媒体を提供する。
本発明の有利な実施形態は従属請求項、以下の記述および図面において開示される。
本発明の例示的な実施形態が付属の図面を参照して記述される。
オーディオに適用されるDRCの一般的原理を示す図である。
本発明に基づくHOAベースの信号にDRCを適用するための一般的手法を示す図である。
N=1からN=6についての球状スピーカー格子を示す図である。
HOAについてのDRC利得の生成を示す図である。
HOA信号に対するDRCの適用を示す図である。
デコーダ側でのダイナミックレンジ圧縮処理を示す図である。
レンダリング段階と組み合わされた、QMF領域におけるHOAのためのDRCを示す図である。
単一DRC利得群の単純な場合についての、レンダリング段階と組み合わされた、QMF領域におけるHOAのためのDRCを示す図である。
本発明は、HOAに対していかにしてDRCが適用できるかを記述する。これは通常、HOAが音場記述ではないため、簡単ではない。図2は、本アプローチの原理を描いている。エンコードまたは送信側では、図2のa)に示されるように、HOA信号が解析され、HOA信号の解析からDRC利得gが計算され、DRC利得は符号化され、HOAコンテンツの符号化表現と一緒に送信される。これは、多重化されたビットストリームまたは二つ以上の別個のビットストリームでありうる。
デコードまたは受信側では、図2b)に示されるように、利得gがそのようなビットストリーム(単数または複数)から抽出される。デコーダにおける該ビットストリームのデコード後、利得gは後述するようにHOA信号に適用される。これにより、利得がHOA信号に適用される、すなわち、一般に、ダイナミックレンジが縮小されたHOA信号が得られる。最後に、ダイナミックレンジ調整されたHOA信号がHOAレンダラーにおいてレンダリングされる。
以下では、使用される想定および定義について説明する。
想定は、HOAレンダラーはエネルギーを保存するというものである。すなわち、N3D規格化球面調和関数が使用され、HOA表現内部において符号化された、単一方向性信号のエネルギーが、レンダリング後に維持される。たとえば特許文献1に、このエネルギーを保存するHOAレンダリングをどのように達成するかが記載されている。
使用される用語の定義は次のとおり。
WL=DLB、B=DL -1WL
gはLL=(N+1)2個の利得DRC値のベクトルである。利得値は、τ個のサンプルのブロックに適用されると想定され、ブロックからブロックにかけてなめらかであると想定される。送信のために、同じ値を共有する利得値は利得群に組み合わされることができる。単一の利得群のみが使われる場合、これは、ここでg1によって示される単一のDRC利得値がすべてのスピーカー・チャネルのτ個のサンプルに適用されることを意味する。
すべてのHOA打ち切り次数Nについて、理想的なLL=(N+1)2個の仮想スピーカー格子および関係したレンダリング行列DLが定義される。仮想スピーカー位置は、仮想的な聴取者を取り囲む空間エリアをサンプリングする。N=1から6についての格子が図3に示される。ここで、あるスピーカーに関係したエリアは網掛けのセルである。一つのサンプリング位置は常に中央スピーカー位置(方位角=0、傾斜角=π/2;方位角は聴取位置に関係した正面方向から測られることに注意)に関係している。サンプリング位置、DL、DL
-1は、DRC利得が生成されるとき、エンコーダ側で知られている。デコーダ側では、利得値を適用するためにDLおよびDL
-1が知られる必要がある。
HOAのためのDRC利得の生成は次のように機能する。
HOA信号はWL=DLBによって空間領域に変換される。これらの信号を解析することによって、LL=(N+1)2個までのDRC利得glが生成される。コンテンツがHOAとオーディオ・オブジェクト(AO)の組み合わせである場合には、たとえばダイアログ・トラックのようなAO信号がサイド・チェイニング(side chaining)のために使用されうる。これは図4のb)に示されている。異なる空間エリアに関係した異なるDRC利得値を生成するとき、これらの利得がデコーダ側における空間イメージ安定性に影響しないよう、注意を払う必要がある。これを避けるために、最も単純な場合(いわゆる単純化モード)では、単一の利得がすべてのL個のチャネルに割り当てられてもよい。これは、すべての空間的信号Wを解析することによって、あるいは零次HOA係数サンプル・ブロック
を解析することによって行なうことができ、空間領域への変換は必要とされない(図4のa)。これは、Wのダウンミックス信号を解析することと同一である。さらなる詳細は後述する。
図4において、HOAのためのDRC利得の生成が示されている。図4のa)は、いかにして(単一の利得群についての)単一の利得g1が、零次HOA成分
から導出できるかを描いている。該零次HOA成分はDRC解析ブロック41sにおいて解析され、単一の利得g1が導出される。単一の利得g1はDRC利得エンコーダ42sにおいて別個にエンコードされる。エンコードされた利得は、次いで、エンコーダ43において、HOA信号Bと一緒にエンコードされ、エンコーダ43はエンコードされたビットストリームを出力する。任意的に、さらなる信号44がエンコードに含められることができる。図4のb)は、HOA表現を空間領域に変換することによっていかにして二つ以上のDRC利得が生成されるかを描いている。変換されたHOA信号WLは次いでDRC解析ブロック41において解析され、諸利得値gが抽出され、DRC利得エンコーダ42においてエンコードされる。また、ここでは、エンコードされた利得はHOA信号Bと一緒にエンコーダ43においてエンコードされ、任意的に、さらなる信号44がエンコードに含められる。一例として、背後からの音(たとえば背景音)が、前方方向および横方向から発する音より大きな減衰を受けることがありうる。これは、この例の場合、二つの利得群内において送信されることのできるg内の(N+1)2個の利得値につながる。任意的に、ここで、オーディオ・オブジェクト波形およびそれらの方向情報によるサイド・チェイニング(side chaining)を使うことも可能である。サイド・チェイニングとは、信号についてのDRC利得が別の信号から得られることを意味する。これは、HOA信号のパワーを低下させる。AO前景音と同じ空間音エリアを共有するHOAミックス中の気を散らす音は、空間的に遠方の音よりも強い減衰利得を得ることができる。
利得値は、受信器またはデコーダ側に伝送される。
τ個のサンプルのブロックに関係した可変数1ないしLL=(N+1)2個の利得値が伝送される。利得値は、伝送のために諸チャネル群に割り当てられることができる。ある実施形態では、伝送データを最小にするために、すべての等しい利得は一つのチャネル群に組み合わされる。単一の利得が伝送される場合、それはLL個のチャネルすべてに関係する。伝送されるのは、チャネル群利得値glgおよびその数である。受信器またはデコーダが利得値を正しく適用できるよう、チャネル群の使用は信号伝達される。
利得値は次のように適用される。
受信器/デコーダは、送信された符号化された利得値の数を判別し、関係した情報をデコードし(51)、それらの利得をLL=(N+1)2個のチャネルに割り当てる(52~55)。一つの利得値(一つのチャネル群)だけが送信される場合には、それは、図5のa)に示されるように、直接、HOA信号に適用できる(52)(BDRC=g1B)。これは、デコードがずっと単純になり、要求する処理も著しく少なくなるので、利点がある。その理由は、行列演算が必要とされず、その代わり、利得値は直接、適用52される、たとえばHOA係数と乗算されることができるということである。
二つ以上の利得が送信される場合には、チャネル群利得はそれぞれL個のチャネル利得g=[g1,…,gL]に割り当てられる。
仮想的な規則的ラウドスピーカー格子については、DRC利得が適用されたラウドスピーカー信号は
によって計算される。次いで、結果として得られる修正されたHOA表現は
によって計算される。これは、図5のb)に示されるように、単純化できる。HOA信号を空間領域に変換し、利得を適用し、結果をHOA領域に戻す変換をする代わりに、利得ベクトルは
によってHOA領域に変換される(53)。ここで、
である。利得行列は、利得割り当てブロック54においてHOA係数に直接、適用される:BDRC=GB。
これは、(N+1)2<τのため、必要とされる計算演算の点でより効率的である。すなわち、デコードがずっと単純になり、要求する処理も著しく少なくなるため、この解決策は従来の解決策に対する利点をもつ。理由は、行列演算が必要とされず、その代わり、利得割り当てブロック54において利得値が直接、適用される、すなわちHOA係数に乗算されることができるということである。
ある実施形態では、利得行列を適用する一層効率的な仕方は、レンダラー行列修正ブロック57において、レンダラー行列を
によって操作し、一つのステップにおいてDRCを適用しHOA信号をレンダリングする:
ことである。これは図5のc)に示されている。これは、L<τであれば有益である。
まとめると、図5は、DRCをHOA信号に適用することのさまざまな実施形態を示している。図5のa)では、単一のチャネル群利得が送信され、デコードされ(51)、HOA係数に直接、適用される(52)。次いで、HOA係数は、通常のレンダリング行列を使ってレンダリングされる(56)。
図5のb)では、二つ以上のチャネル群利得が送信され、デコードされる(51)。デコードの結果、(N+1)2個の利得値の利得ベクトルgが得られる。利得行列Gが生成され、HOAサンプルのブロックに適用される(54)。次いで、これらは通常のレンダリング行列を使ってレンダリングされる。
図5のc)では、デコードされた利得行列/利得値をHOA信号に直接適用する代わりに、レンダラーの行列に直接適用する。これは、レンダラー行列修正ブロック57において実行される。これは、DRCブロック・サイズτが出力チャネルの数Lより大きければ計算上有益である。この場合、HOAサンプルは、修正されたレンダリング行列を使ってレンダリングされる(57)。
以下では、DRCのための理想的なDSHT(離散球面調和関数変換)行列の計算が記述される。そのようなDSHT行列は、DRCにおける使用のために特に最適化され、他の目的、たとえばデータ・レート圧縮のために使われるDSHT行列とは異なる。
理想的な球面レイアウトに関係する理想的なレンダリングおよびエンコード行列DLおよびDL
-1のための要求が以下で導出される。最終的に、これらの要求は次のようなものである:
(1)レンダリング行列DLは可逆でなければならない。すなわち、DL -1が存在する必要がある;
(2)空間領域での振幅の和が、空間領域からHOA領域への変換後に零次のHOA係数として反映されるべきであり、その後の空間領域への変換後に保存されるべきである(振幅要件);
(3)HOA領域に変換し、空間領域に変換し戻すとき、空間的信号のエネルギーが保存されるべきである(エネルギー保存要件)。
(1)レンダリング行列DLは可逆でなければならない。すなわち、DL -1が存在する必要がある;
(2)空間領域での振幅の和が、空間領域からHOA領域への変換後に零次のHOA係数として反映されるべきであり、その後の空間領域への変換後に保存されるべきである(振幅要件);
(3)HOA領域に変換し、空間領域に変換し戻すとき、空間的信号のエネルギーが保存されるべきである(エネルギー保存要件)。
理想的なレンダリング・レイアウトについてでさえも、要件2および3は互いと矛盾するように思える。従来技術から知られるようなDSHT変換行列を導出するための単純なアプローチを使うときは、要件(2)および(3)の一方または他方のみが誤差なしに充足できる。要件(2)および(3)の一方を誤差なしに充足することは、他方についての3dBを超える誤差につながる。これは通例、可聴なアーチファクトにつながる。この問題を克服する方法が以下で記述される。
まず、L=(N+1)2での理想的な球面レイアウトが選択される。(仮想)スピーカー位置のL個の方向がΩlによって与えられ、関係したモード行列が
と表わされる。各φ(Ωl)は、方向Ωlの球面調和関数を含むモード・ベクトルである。球面レイアウト位置に関係したL個の求積利得(quadrature gains)がベクトル
にまとめられる。これらの求積利得はそのような位置のまわりの球面面積(spherical areas)を見積もり(rate)、すべて合計すると半径1の球の表面に関係した4πの値になる。
第一のプロトタイプ・レンダリング行列〔チルダ付きのDL〕は次式によって導出される。
第四に、最後の段階において、要件2を満たすための振幅誤差が代入される:
行ベクトルeが
によって計算される。ここで、[1,0,0,…,0]は、値1をもつ最初の要素のほかはすべて零の(N+1)2個の要素の行ベクトルである。
行ベクトルeが
以下では、DRCについての詳細な要求について説明する。
第一に、空間領域において値g1をもつLL個の同一の利得が適用されるというのは、利得g1をHOA係数に適用することに等しい:
これは、DL
-1DL=Iという要件につながる。これは、L=(N+1)2ということと、DL
-1が存在する必要がある(自明)ということを意味する。
第二に、空間領域で和信号を解析することは、零次HOA成分を解析することに等しい。DRC解析器は信号のエネルギーおよびその振幅を使う。こうして、和信号は振幅およびエネルギーに関係する。
零次成分HOA信号は、和信号の正しい振幅を反映するために、方向性信号の和になる必要がある。
これは、
については、
となる。この要件は、VBAPのようなパンにおいて時に使われる振幅和の要求に比較されることができる。経験的に、DL=Ψe
-1である非常に対称的な球面スピーカー・セットアップについてはよい近似で達成できることが見られる。その場合、
となるからである。すると、振幅要件は必要な精度内で達成できる。
これは、和信号についてのエネルギー要件が満たされることができることをも保証する。空間領域におけるエネルギー和は
によって与えられ、これはよい近似で
となり、理想的な対称的なスピーカー・セットアップの存在が要求される。
これは、
という要求につながり、加えて、信号モデルから、再エンコードされた零次信号が振幅およびエネルギーを維持するためには、DL
-1の最上行は[1,1,1,1,…](すなわち、「1」の要素をもつ長さLのベクトル)である必要があると結論できる。
第三に、エネルギー保存は必須要件である。信号
のエネルギーは、HOAへの変換および信号の方向ΩSとは独立なラウドスピーカーへの空間的レンダリング後に保存されているべきである。これは、
につながる。これは、DLを回転行列および対角利得行列から、DL=UVTdiag(a)(方向(ΩS)への依存性は明確のため除去した)とモデル化することによって達成できる:
球面調和関数については、
であり、
に関係するすべての利得ao
2は上式を満たす。すべての利得が等しいように選択されれば、これはao
2=(N+1)-2につながる。
要件VVT=1は、L≧(N+1)2について達成でき、L<(N+1)2については近似されることができるのみである。
例として、理想的な球面上の位置をもつ場合(HOA次数N=1ないしN=3)について以下で述べる(表1~3)。さらなるHOA次数(N=4ないしN=6)についての理想的な球面位置は最後に述べる(表4~6)。下記の位置はすべて非特許文献1において公開された修正された位置から導かれる。これらの位置および関係した求積(quadrature)/高次求積(cubature)利得は非特許文献2において公開された。これらの表において、方位角は、聴取位置に関係した正面方向から反時計回りに測られ、傾斜角は聴取位置の上を傾斜0としてz軸から測られる。
数値求積法(numerical quadrature)という用語はしばしば求積(quadrature)と省略され、特に一次元積分に適用されるときの数値積分と全く同義である。二次元以上の数値積分は本稿では高次求積(cubature)と呼ばれる。
DRC利得をHOA信号に適用する典型的な応用シナリオが、上記で述べた図5に示されている。たとえばHOAおよびオーディオ・オブジェクトのような混合コンテンツ用途については、DRC利得適用は、柔軟なレンダリングのために少なくとも二つの仕方で実現できる。
図6は、デコーダ側でのダイナミックレンジ圧縮(DRC)処理を例示的に示している。図6のa)では、DRCはレンダリングおよび混合前に適用される。図6のb)では、DRCはラウドスピーカー信号に適用される、すなわちレンダリングおよび混合後に適用される。
図6のa)では、DRC利得はオーディオ・オブジェクトおよびHOAに別個に適用される。DRC利得はオーディオ・オブジェクトDRCブロック610においてオーディオ・オブジェクトに適用され、DRC利得はHOA DRCブロック615においてHOAに適用される。ここで、ブロックHOA DRCブロック615の実現は、図5のものの一つに一致する。図6のb)では、単一の利得が、レンダリングされたHOAおよびレンダリングされたオーディオ・オブジェクト信号の混合信号のすべてのチャネルに適用される。ここでは、空間的な強調および減衰は可能ではない。関係したDRC利得は、消費者サイトのスピーカー・レイアウトがブロードキャストまたはコンテンツ制作サイトにおける生成の時点では知られていないので、レンダリングされた混合の和信号を解析することによって生成されることはできない。DRC利得は、
を解析して導出することができる。ここで、ymは零次HOA信号bwとS個のオーディオ・オブジェクトxsのモノ・ダウンミックスとの混合である。
HOAコンテンツについてのDRC
DRCはレンダリング前にHOA信号に適用されるか、あるいはレンダリングと組み合わされてもよい。HOAについてのDRCは時間領域またはQMFフィルタバンク領域で適用できる。
DRCはレンダリング前にHOA信号に適用されるか、あるいはレンダリングと組み合わされてもよい。HOAについてのDRCは時間領域またはQMFフィルタバンク領域で適用できる。
DRC利得は
に従ってHOA信号に適用される。ここで、cはHOA係数の一つの時間サンプルのベクトル
であり、
およびその逆DL
-1はDRC目的のために最適化された離散球面調和関数変換(DSHT)に関係した行列である。
ある実施形態では、サンプル当たり(N+1)4回の演算だけ計算負荷を減らすために、レンダリング段階を含めて、ラウドスピーカー信号を
によって直接計算することが有利でありうる。ここで、Dはレンダリング行列であり、(DDL
-1)は事前計算できる。
単純化モードのようにすべての利得g1,…,g(N+1)2が同じ値gdrcをもつ場合、単一の利得群が符号化器DRC利得を伝送するために使われた。この場合は、DRCデコーダによってフラグ付けされることができる。この場合、空間的フィルタにおける計算は必要とされないので、計算は
に単純化される。
上記は、DRC利得値をどのように得て、適用するかを記述している。以下では、DRCについてのDSHT行列の計算について述べる。
以下では、DLはDDSHTと名称変更される。空間的フィルタDDSHTおよびその逆DDSHT
-1を決定するための行列は次のように計算される。
表1~表4からのHOA次数Nによってインデックス付けされて、球面位置の集合
および関係した求積(高次求積)利得
が選択される。これらの位置に関係したモード行列ΨDSHTは上記のように計算される。すなわち、モード行列ΨDSHTは
のようにモード・ベクトルを含む。ここで、各φ(Ωl)が、あらかじめ定義された方向Ωl=[θl,φl]Tの球面調和関数を含むモード・ベクトルである。あらかじめ定義された方向は、表1~6のようにHOA次数Nに依存する(例としては1≦N≦6)。第一のプロトタイプ行列は
(その後の規格化のため、(N+1)2による除算はスキップできる)によって計算される。コンパクトな特異値分解が実行され
新たなプロトタイプ行列が
によって計算される。この行列は
によって規格化される。行ベクトルeは
によって計算される。ここで、[1,0,0,…,0]は、最初の要素が値1をもつほかはすべて0の(N+1)2個の要素の行ベクトルである。
QMFフィルタバンク領域におけるDRCについては、次が当てはまる。
QMFフィルタバンク領域ではマルチバンドDRCが適用される。処理段階は図7に示されている。再構成されたHOA信号は、(逆DSHT):WDSHT=DDSHTCによって空間領域に変換される。ここで、
はτ個のHOAサンプルのブロックであり、
はQMFフィルタバンクの入力時間粒度にマッチする空間的サンプルのブロックである。次いで、QMF分解フィルタバンクが適用される。
図7は、レンダリング段階と組み合わされたQMF領域におけるHOAのためのDRCを示している。DRCについての単一の利得群のみが使用された場合には、このことはDRCデコーダによってフラグ付けされるべきである。やはり計算上の単純化が可能になるからである。この場合、ベクトルg(n,m)における利得はみな同じ値gDRC(n,m)を共有する。QMFフィルタバンクはHOA信号に直接適用されることができ、利得gDRC(n,m)はフィルタバンク領域において乗算されることができる。
図8は、レンダリング段階と組み合わされた、QMF領域(直交ミラー・フィルタ(Quadrature Mirror Filter)のフィルタ領域)におけるHOAについてのDRCであって、単一DRC利得群の単純な場合についての計算上の単純化をもつものを示している。
上記に鑑みて明白になったように、ある実施形態では、本発明は、ダイナミックレンジ圧縮利得因子をHOA信号に適用する方法に関する。本方法は、HOA信号および一つまたは複数の利得因子を受領する段階と、前記HOA信号を空間領域に変換40する段階であって、仮想ラウドスピーカーの球面位置および求積利得qから得られる変換行列を用いたiDSHTが使用され、変換されたHOA信号が得られる、段階と、前記利得因子を変換されたHOA信号と乗算する段階であって、ダイナミックレンジ圧縮された変換されたHOA信号が得られる、段階と、離散球面調和関数変換(DSHT)を使って、前記ダイナミックレンジ圧縮された変換されたHOA信号を係数領域であるもとのHOA領域に変換する段階であって、ダイナミックレンジ圧縮されたHOA信号が得られる、段階とを含む。
さらに、前記変換行列は
に従って計算され、
は
の規格化されたバージョンであり、U、Vは
から得られ、ΨDSHTは仮想ラウドスピーカーの使用された球面位置に関係する球面調和関数の転置されたモード行列であり、eTは
の転置されたバージョンである。
さらに、ある実施形態では、本発明は、DRC利得因子をHOA信号に適用する装置に関する。本装置は、HOA信号および一つまたは複数の利得因子を受領する段階と、前記HOA信号を空間領域に変換40する段階であって、仮想ラウドスピーカーの球面位置および求積利得qから得られる変換行列を用いたiDSHTが使用され、変換されたHOA信号が得られる、段階と、前記利得因子を変換されたHOA信号と乗算する段階であって、ダイナミックレンジ圧縮された変換されたHOA信号が得られる、段階と、離散球面調和関数変換(DSHT)を使って、前記ダイナミックレンジ圧縮された変換されたHOA信号を係数領域であるもとのHOA領域に変換する段階であって、ダイナミックレンジ圧縮されたHOA信号が得られる、段階とを実行するよう適応されたプロセッサまたは一つまたは複数の処理要素を有する。
さらに、前記変換行列は
に従って計算され、
は
の規格化されたバージョンであり、U、Vは
から得られ、ΨDSHTは仮想ラウドスピーカーの使用された球面位置に関係する球面調和関数の転置されたモード行列であり、eTは
の転置されたバージョンである。
さらに、前記変換行列は
さらに、ある実施形態では、本発明は、コンピュータ上で実行されたときに、前記コンピュータに、ダイナミックレンジ圧縮利得因子を高次アンビソニックス(HOA)信号に適用する方法を実行させるコンピュータ実行可能な命令を有するコンピュータ可読記憶媒体に関する。前記方法は、HOA信号および一つまたは複数の利得因子を受領する段階と、前記HOA信号を空間領域に変換40する段階であって、仮想ラウドスピーカーの球面位置および求積利得qから得られる変換行列を用いたiDSHTが使用され、変換されたHOA信号が得られる、段階と、前記利得因子を変換されたHOA信号と乗算する段階であって、ダイナミックレンジ圧縮された変換されたHOA信号が得られる、段階と、離散球面調和関数変換(DSHT)を使って、前記ダイナミックレンジ圧縮された変換されたHOA信号を係数領域であるもとのHOA領域に変換する段階であって、ダイナミックレンジ圧縮されたHOA信号が得られる、段階とを含む。
さらに、前記変換行列は
に従って計算され、
は
の規格化されたバージョンであり、U、Vは
から得られ、ΨDSHTは仮想ラウドスピーカーの使用された球面位置に関係する球面調和関数の転置されたモード行列であり、eTは
の転置されたバージョンである。
さらに、前記変換行列は
さらに、ある実施形態では、本発明は、HOA信号に対してDRCを実行する方法に関する。本方法は、単純化モードまたは非単純化モードのいずれかであるモードを設定または決定する段階と、非単純化モードにおいて、逆DSHTを使ってHOA信号を空間領域に変換する段階と、非単純化モードにおいては、変換されたHOA信号を解析し、単純化モードにおいては、前記HOA信号を解析する段階と、前記解析の結果から、ダイナミックレンジ圧縮のために使用可能な一つまたは複数の利得因子を得る段階であって、単純化モードにおいては一つだけの利得因子が得られ、非単純化モードにおいては二つ以上の異なる利得因子が得られる、段階と、単純化モードにおいては、得られた利得因子を前記HOA信号と乗算し、利得圧縮されたHOA信号が得られ、非単純化モードにおいては、得られた利得因子を前記変換されたHOA信号と乗算し、利得圧縮された変換されたHOA信号が得られ、前記利得圧縮された変換されたHOA信号をもとのHOA領域に変換して、利得圧縮されたHOA信号が得られる、段階とを含む。
ある実施形態では、本方法はさらに、単純化モードまたは非単純化モードのどちらかを示す指標を受領する段階と、前記指標が非単純化モードを示す場合には非単純化モードを選択し、前記指標が単純化モードを示す場合には単純化モードを選択する段階とを含み、前記HOA信号を空間領域に変換する段階および前記ダイナミックレンジ圧縮された変換されたHOA信号をもとのHOA領域に変換する段階は非単純化モードにおいてのみ実行され、単純化モードにおいては、前記HOA信号とただ一つの利得因子が乗算される。
ある実施形態では、本方法はさらに、単純化モードにおいては、前記HOA信号を解析し、非単純化モードにおいては、変換されたHOA信号を解析する段階と、次いで、前記解析の結果から、ダイナミックレンジ圧縮のために使用可能な一つまたは複数の利得因子を得る段階であって、非単純化モードにおいては二つ以上の異なる利得因子が得られ、単純化モードにおいては一つだけの利得因子が得られる、段階とを含み、単純化モードにおいては、得られた利得因子を前記HOA信号と前記乗算することによって利得圧縮されたHOA信号が得られ、非単純化モードにおいては、得られた二つ以上の利得因子を前記変換されたHOA信号と乗算することによって、前記利得圧縮された変換されたHOA信号が得られ、非単純化モードにおいて、前記HOA信号を空間領域に前記変換することは、逆DSHTを使う。
ある実施形態では、前記HOA信号は周波数サブバンドに分割され、前記利得因子(単数または複数)は、各周波数サブバンドに対して別個に得られ、サブバンド毎の個々の利得を用いて適用される。ある実施形態では、前記HOA信号(または変換されたHOA信号)を解析し、一つまたは複数の利得因子を得て、得られた利得因子を前記HOA信号(または変換されたHOA信号)と乗算し、利得圧縮された変換されたHOA信号をもとのHOA領域に変換する段階は、各周波数サブバンドに別個に、サブバンド毎の個々の利得を用いて適用される。HOA信号を周波数サブバンドに分割することと、HOA信号を空間領域に変換することとの逐次順は入れ替えることができることおよび/または諸サブバンドを合成することと利得圧縮された変換されたHOA信号をもとのHOA領域に変換することとの逐次順は入れ替えることができることを注意しておく。これらの入れ替えは、互いに独立にできる。
ある実施形態では、本方法はさらに、前記利得因子を乗算する段階の前に、前記変換されたHOA信号を前記得られた利得因子およびこれらの利得因子の数と一緒に伝送する段階を含む。
ある実施形態では、前記変換行列は、モード行列ΨDSHTおよび対応する求積利得から計算され、モード行列ΨDSHTは
に基づくモード・ベクトルを含み、各
はあらかじめ定義された方向Ωl=[θl,φl]Tの球面調和関数を含むモード・ベクトルである。あらかじめ定義された方向はHOA次数Nに依存する。
ある実施形態では、HOA信号Bは空間領域に変換されて、変換されたHOA信号WDSHTが得られ、変換されたHOA信号WDSHTは利得値diag(g)を
に従ってサンプルごとに乗算されており、本方法は、変換されたHOA信号を
に従って異なる第二の空間領域に変換するさらなる段階を含み、ここで、^Dは
に従って初期化フェーズにおいて事前計算され、DはHOA信号を前記異なる第二の空間領域に変換するレンダリング行列である。
ある実施形態では、NがHOA次数であり、τがDRCブロック・サイズであるとして、少なくとも(N+1)2<τである場合には、本方法はさらに、前記利得ベクトルを
に従ってHOA領域に変換53する段階であって、Gは利得行列であり、DLは前記DSHTを定義するDSHT行列である、段階と、前記HOA信号BのHOA係数に前記利得行列Gを
に従って適用する段階であって、DRC圧縮されたHOA信号BDRCが得られる、段階とを含む。
ある実施形態では、Lが出力チャネルの数であり、τがDRCブロック・サイズであるとして、少なくともL<τの場合には、本方法はさらに、前記利得行列Gを
に従ってレンダラー行列Dに適用する段階であって、ダイナミックレンジ圧縮されたレンダラー行列^Dが得られる、段階と、前記ダイナミックレンジ圧縮されたレンダラー行列を用いて前記HOA信号をレンダリングする段階とを含む。
ある実施形態では、本発明は、HOA信号に対してDRC利得因子を適用する方法に関する。本方法は、HOA信号を、指標および一つまたは複数の利得因子と一緒に受領する段階であって、前記指標は単純化モードまたは非単純化モードのいずれかを示し、前記指標が単純化モードを示す場合には一つの利得因子のみが受領される、段階と、前記指標に従って単純化モードまたは非単純化モードのいずれかを選択する段階と、単純化モードでは前記利得因子を前記HOA信号と乗算し、ダイナミックレンジ圧縮されたHOA信号が得られ、非単純化モードでは、前記HOA信号を空間領域に変換し、変換されたHOA信号が得られ、前記利得因子を前記変換されたHOA信号と乗算し、ダイナミックレンジ圧縮された変換されたHOA信号が得られ、前記ダイナミックレンジ圧縮された変換されたHOA信号をもとのHOA領域に変換し、ダイナミックレンジ圧縮されたHOA信号が得られる、段階とを含む。
さらに、ある実施形態では、本発明は、HOA信号に対してDRCを実行する装置に関する。本装置は、単純化モードまたは非単純化モードのいずれかであるモードを設定または決定する段階と、非単純化モードにおいて、逆DSHTを使ってHOA信号を空間領域に変換する段階と、非単純化モードにおいては、変換されたHOA信号を解析し、単純化モードにおいては、前記HOA信号を解析する段階と、前記解析の結果から、ダイナミックレンジ圧縮のために使用可能な一つまたは複数の利得因子を得る段階であって、単純化モードにおいては一つだけの利得因子が得られ、非単純化モードにおいては二つ以上の異なる利得因子が得られる、段階と、単純化モードにおいては、得られた利得因子を前記HOA信号と乗算し、利得圧縮されたHOA信号が得られ、非単純化モードにおいては、得られた利得因子を前記変換されたHOA信号と乗算し、利得圧縮された変換されたHOA信号が得られ、前記利得圧縮された変換されたHOA信号をもとのHOA領域に変換して、利得圧縮されたHOA信号が得られる、段階とを実行するよう適応されたプロセッサまたは一つまたは複数の処理要素を有する。
非単純化モードのみのためのある実施形態では、HOA信号に対してDRCを実行する装置は、変換されたHOA信号を解析し、前記解析の結果から、ダイナミックレンジ圧縮のために使用可能な一つまたは複数の利得因子を得て、得られた利得因子を前記変換されたHOA信号と乗算し、利得圧縮された変換されたHOA信号が得られ、前記利得圧縮された変換されたHOA信号をもとのHOA領域に変換して、利得圧縮されたHOA信号が得られる、段階を実行するよう適応されたプロセッサまたは一つまたは複数の処理要素を有する。ある実施形態では、本装置はさらに、得られた利得因子(単数または複数)を乗算する前に、前記HOA信号を得られた利得因子(単数または複数)と一緒に送信するための送信ユニットを有する。
さらに、ある実施形態では、本発明は、HOA信号に対してDRC利得因子を適用する装置に関する。本装置は、HOA信号を、指標および一つまたは複数の利得因子と一緒に受領する段階であって、前記指標は単純化モードまたは非単純化モードのいずれかを示し、前記指標が単純化モードを示す場合には一つの利得因子のみが受領される、段階と、前記指標に従って単純化モードまたは非単純化モードのいずれかを選択する段階と、単純化モードでは前記利得因子を前記HOA信号と乗算し、ダイナミックレンジ圧縮されたHOA信号が得られ、非単純化モードでは、前記HOA信号を空間領域に変換し、変換されたHOA信号が得られ、前記利得因子を前記変換されたHOA信号と乗算し、ダイナミックレンジ圧縮された変換されたHOA信号が得られ、前記ダイナミックレンジ圧縮された変換されたHOA信号をもとのHOA領域に変換し、ダイナミックレンジ圧縮されたHOA信号が得られる、段階とを実行するよう適応されたプロセッサまたは一つまたは複数の処理要素を有する。
さらに、ある実施形態では、本装置はさらに、得られた利得因子を乗算する前に、前記HOA信号を得られた利得因子と一緒に送信するための送信ユニットを有する。ある実施形態では、HOA信号は周波数サブバンドに分割され、前記変換されたHOA信号を解析すること、利得因子を得ること、得られた利得因子を前記変換されたHOA信号と乗算することおよび前記利得圧縮された変換されたHOA信号をもとのHOA領域に変換することは、サブバンド毎の個々の利得を用いて、別個に各周波数サブバンドに適用される。
DRC利得因子をHOA信号に適用する装置のある実施形態では、HOA信号は複数の周波数サブバンドに分割され、一つまたは複数の利得因子を得ること、得られた利得因子を前記HOA信号または前記変換されたHOA信号と乗算すること、非単純化モードにおいては利得圧縮された変換されたHOA信号をもとのHOA信号に変換することは、サブバンド毎の個々の利得を用いて、別個に各周波数サブバンドに適用される。
さらに、非単純化モードのみが使用されるある実施形態では、本発明は、HOA信号にDRC利得因子を適用する装置に関する。本装置は、HOA信号にDRC利得因子を適用する装置に関する。本装置は、HOA信号を利得因子とともに受領する段階と、前記HOA信号を(iDSHTを使って)空間領域に変換する段階であって、変換されたHOA信号が得られる、段階と、前記利得因子を前記変換されたHOA信号と乗算する段階であって、ダイナミックレンジ圧縮された変換されたHOA信号が得られる、段階と、前記ダイナミックレンジ圧縮された変換されたHOA信号をもとのHOA領域(すなわち係数領域)に(DSHTを使って)変換する段階であって、ダイナミックレンジ圧縮されたHOA信号が得られる、段階とを実行するよう適応されたプロセッサまたは一つまたは複数の処理要素を有する。
以下の表4~表6は、N=4,5または6での次数NのHOAについての仮想ラウドスピーカーの球面位置をリストしている。
本発明の基本的な新規な特徴をその好ましい実施形態に適用した場合について図示し、説明し、指摘してきたが、本発明の精神から外れることなく、記載される装置および方法においてさまざまな省略、代替および変更が、開示されるデバイスの形および詳細ならびにその動作において、当業者によってなされてもよいことは理解されるであろう。実質的に同じ仕方で実質的に同じ機能を実行し、同じ結果を達成する要素のあらゆる組み合わせが本発明の範囲内であることはっきりと意図されている。ある記載された実施形態からの要素の、他の記載された実施形態への代用も完全に意図されており、考えられている。
本発明は、純粋に例として記述されたのであり、本発明の範囲から外れることなく詳細の修正をなすことができることは理解されるであろう。本記述および(適切な場合には)請求項および図面において開示されている各特徴は、独立に、あるいは任意の適切な組み合わせにおいて提供されうる。特徴は、適宜、ハードウェア、ソフトウェアまたは両者の組み合わせにおいて実装されうる。
Claims (5)
- ダイナミックレンジ圧縮(DRC)のための方法であって:
再構成された高次アンビソニックス(HOA)オーディオ信号表現を受領する段階と;
前記再構成されたHOAオーディオ信号を
単純化モードの指示を受領する段階と;
前記単純化モードの指示に基づいて前記再構成されたHOAオーディオ信号表現に対して1つの利得因子のみを適用する、または、時間周波数タイル(n,m)に対応するDRC利得値g(n,m)を
方法。 - 前記再構成されたHOAオーディオ表現が周波数サブバンドに分割され、前記DRC利得値が各サブバンドに別個に適用される、請求項1記載の方法。
- コンピュータで実行されたときに該コンピュータに請求項1記載の方法を実行させるコンピュータ実行可能命令を有する非一時的なコンピュータ可読記憶媒体。
- ダイナミックレンジ圧縮(DRC)のための装置であって、当該装置は:
再構成された高次アンビソニックス(HOA)オーディオ信号表現を受領する受領器と;
オーディオ・デコーダとを有しており、前記オーディオ・デコーダは:
前記再構成されたHOAオーディオ信号を
単純化モードの指示を受領する段階と;
前記単純化モードの指示に基づいて前記再構成されたHOAオーディオ信号表現に対して1つの利得因子のみを適用する、または、時間周波数タイル(n,m)に対応するDRC利得値g(n,m)を
装置。 - 前記再構成されたHOAオーディオ表現が周波数サブバンドに分割され、前記DRC利得値が各サブバンドに別個に適用される、請求項4記載の装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023132200A JP2023144032A (ja) | 2014-03-24 | 2023-08-15 | 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14305423.7 | 2014-03-24 | ||
EP14305423 | 2014-03-24 | ||
EP14305559.8A EP2934025A1 (en) | 2014-04-15 | 2014-04-15 | Method and device for applying dynamic range compression to a higher order ambisonics signal |
EP14305559.8 | 2014-04-15 | ||
JP2020150380A JP7101219B2 (ja) | 2014-03-24 | 2020-09-08 | 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020150380A Division JP7101219B2 (ja) | 2014-03-24 | 2020-09-08 | 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023132200A Division JP2023144032A (ja) | 2014-03-24 | 2023-08-15 | 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022126881A JP2022126881A (ja) | 2022-08-30 |
JP7333855B2 true JP7333855B2 (ja) | 2023-08-25 |
Family
ID=52727138
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016558102A Active JP6246948B2 (ja) | 2014-03-24 | 2015-03-24 | 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 |
JP2017219647A Active JP6545235B2 (ja) | 2014-03-24 | 2017-11-15 | 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 |
JP2019112767A Active JP6762405B2 (ja) | 2014-03-24 | 2019-06-18 | 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 |
JP2020150380A Active JP7101219B2 (ja) | 2014-03-24 | 2020-09-08 | 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 |
JP2022107586A Active JP7333855B2 (ja) | 2014-03-24 | 2022-07-04 | 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 |
JP2023132200A Pending JP2023144032A (ja) | 2014-03-24 | 2023-08-15 | 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 |
Family Applications Before (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016558102A Active JP6246948B2 (ja) | 2014-03-24 | 2015-03-24 | 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 |
JP2017219647A Active JP6545235B2 (ja) | 2014-03-24 | 2017-11-15 | 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 |
JP2019112767A Active JP6762405B2 (ja) | 2014-03-24 | 2019-06-18 | 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 |
JP2020150380A Active JP7101219B2 (ja) | 2014-03-24 | 2020-09-08 | 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023132200A Pending JP2023144032A (ja) | 2014-03-24 | 2023-08-15 | 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 |
Country Status (13)
Country | Link |
---|---|
US (7) | US9936321B2 (ja) |
EP (3) | EP3451706B1 (ja) |
JP (6) | JP6246948B2 (ja) |
KR (5) | KR20230156153A (ja) |
CN (8) | CN109036441B (ja) |
AU (5) | AU2015238448B2 (ja) |
BR (5) | BR122020020719B1 (ja) |
CA (3) | CA3153913C (ja) |
HK (2) | HK1258770A1 (ja) |
RU (2) | RU2658888C2 (ja) |
TW (7) | TWI760084B (ja) |
UA (1) | UA119765C2 (ja) |
WO (1) | WO2015144674A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9607624B2 (en) * | 2013-03-29 | 2017-03-28 | Apple Inc. | Metadata driven dynamic range control |
US9934788B2 (en) | 2016-08-01 | 2018-04-03 | Bose Corporation | Reducing codec noise in acoustic devices |
TWI594231B (zh) * | 2016-12-23 | 2017-08-01 | 瑞軒科技股份有限公司 | 分頻壓縮電路,音訊處理方法以及音訊處理系統 |
KR102490786B1 (ko) * | 2017-04-13 | 2023-01-20 | 소니그룹주식회사 | 신호 처리 장치 및 방법, 그리고 프로그램 |
US10999693B2 (en) * | 2018-06-25 | 2021-05-04 | Qualcomm Incorporated | Rendering different portions of audio data using different renderers |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013519918A (ja) | 2010-02-11 | 2013-05-30 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 携帯機器内でオーディオ信号のラウドネスを非破壊的に正規化するシステムおよび方法 |
EP2688066A1 (en) | 2012-07-16 | 2014-01-22 | Thomson Licensing | Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction |
WO2014013070A1 (en) | 2012-07-19 | 2014-01-23 | Thomson Licensing | Method and device for improving the rendering of multi-channel audio signals |
Family Cites Families (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2012A (en) * | 1841-03-18 | Machine foe | ||
DE3640752A1 (de) | 1986-11-28 | 1988-06-09 | Akzo Gmbh | Anionische polyurethane |
US5956674A (en) * | 1995-12-01 | 1999-09-21 | Digital Theater Systems, Inc. | Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels |
US6311155B1 (en) * | 2000-02-04 | 2001-10-30 | Hearing Enhancement Company Llc | Use of voice-to-remaining audio (VRA) in consumer applications |
WO2001038873A2 (en) * | 1999-11-24 | 2001-05-31 | Biotronic Technologies, Inc. | Devices and methods for detecting analytes using electrosensor having capture reagent |
US6959275B2 (en) * | 2000-05-30 | 2005-10-25 | D.S.P.C. Technologies Ltd. | System and method for enhancing the intelligibility of received speech in a noise environment |
US20040010329A1 (en) * | 2002-07-09 | 2004-01-15 | Silicon Integrated Systems Corp. | Method for reducing buffer requirements in a digital audio decoder |
US6975773B1 (en) * | 2002-07-30 | 2005-12-13 | Qualcomm, Incorporated | Parameter selection in data compression and decompression |
HUP0301368A3 (en) * | 2003-05-20 | 2005-09-28 | Amt Advanced Multimedia Techno | Method and equipment for compressing motion picture data |
JP2007506986A (ja) * | 2003-09-17 | 2007-03-22 | 北京阜国数字技術有限公司 | マルチ解像度ベクトル量子化のオーディオcodec方法及びその装置 |
CN1677491A (zh) * | 2004-04-01 | 2005-10-05 | 北京宫羽数字技术有限责任公司 | 一种增强音频编解码装置及方法 |
CN1677493A (zh) * | 2004-04-01 | 2005-10-05 | 北京宫羽数字技术有限责任公司 | 一种增强音频编解码装置及方法 |
WO2005096273A1 (fr) * | 2004-04-01 | 2005-10-13 | Beijing Media Works Co., Ltd | Ameliorations apportees a un procede et un dispositif de codage/decodage audio |
CN1677490A (zh) * | 2004-04-01 | 2005-10-05 | 北京宫羽数字技术有限责任公司 | 一种增强音频编解码装置及方法 |
US7565018B2 (en) * | 2005-08-12 | 2009-07-21 | Microsoft Corporation | Adaptive coding and decoding of wide-range coefficients |
KR20070020771A (ko) * | 2005-08-16 | 2007-02-22 | 삼성전자주식회사 | 다중주파수 이동통신시스템에서 단말의 순방향 전송률 변화정보를 이용한 송수신 방법 및 장치 |
US20070177654A1 (en) * | 2006-01-31 | 2007-08-02 | Vladimir Levitine | Detecting signal carriers of multiple types of signals in radio frequency input for amplification |
CN101421781A (zh) * | 2006-04-04 | 2009-04-29 | 杜比实验室特许公司 | 音频信号的感知响度和/或感知频谱平衡的计算和调整 |
US8027479B2 (en) * | 2006-06-02 | 2011-09-27 | Coding Technologies Ab | Binaural multi-channel decoder in the context of non-energy conserving upmix rules |
WO2008039339A2 (en) * | 2006-09-25 | 2008-04-03 | Dolby Laboratories Licensing Corporation | Improved spatial resolution of the sound field for multi-channel audio playback systems by deriving signals with high order angular terms |
US8798776B2 (en) * | 2008-09-30 | 2014-08-05 | Dolby International Ab | Transcoding of audio metadata |
MX2011011399A (es) * | 2008-10-17 | 2012-06-27 | Univ Friedrich Alexander Er | Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto. |
ES2963744T3 (es) * | 2008-10-29 | 2024-04-01 | Dolby Int Ab | Protección de recorte de señal usando metadatos de ganancia de audio preexistentes |
US8817991B2 (en) * | 2008-12-15 | 2014-08-26 | Orange | Advanced encoding of multi-channel digital audio signals |
JP5270006B2 (ja) * | 2008-12-24 | 2013-08-21 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 周波数領域におけるオーディオ信号ラウドネス決定と修正 |
JP5190968B2 (ja) * | 2009-09-01 | 2013-04-24 | 独立行政法人産業技術総合研究所 | 動画像の圧縮方法及び圧縮装置 |
GB2473266A (en) * | 2009-09-07 | 2011-03-09 | Nokia Corp | An improved filter bank |
CA3097372C (en) * | 2010-04-09 | 2021-11-30 | Dolby International Ab | Mdct-based complex prediction stereo coding |
EP2450880A1 (en) | 2010-11-05 | 2012-05-09 | Thomson Licensing | Data structure for Higher Order Ambisonics audio data |
EP2469741A1 (en) * | 2010-12-21 | 2012-06-27 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
US20120307889A1 (en) * | 2011-06-01 | 2012-12-06 | Sharp Laboratories Of America, Inc. | Video decoder with dynamic range adjustments |
EP2541547A1 (en) * | 2011-06-30 | 2013-01-02 | Thomson Licensing | Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation |
EP2727383B1 (en) * | 2011-07-01 | 2021-04-28 | Dolby Laboratories Licensing Corporation | System and method for adaptive audio signal generation, coding and rendering |
US8996296B2 (en) * | 2011-12-15 | 2015-03-31 | Qualcomm Incorporated | Navigational soundscaping |
EP2665208A1 (en) * | 2012-05-14 | 2013-11-20 | Thomson Licensing | Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation |
US20130315402A1 (en) * | 2012-05-24 | 2013-11-28 | Qualcomm Incorporated | Three-dimensional sound compression and over-the-air transmission during a call |
US9332373B2 (en) * | 2012-05-31 | 2016-05-03 | Dts, Inc. | Audio depth dynamic range enhancement |
CN107071687B (zh) * | 2012-07-16 | 2020-02-14 | 杜比国际公司 | 用于渲染音频声场表示以供音频回放的方法和设备 |
EP2690621A1 (en) * | 2012-07-26 | 2014-01-29 | Thomson Licensing | Method and Apparatus for downmixing MPEG SAOC-like encoded audio signals at receiver side in a manner different from the manner of downmixing at encoder side |
TWI631553B (zh) | 2013-07-19 | 2018-08-01 | 瑞典商杜比國際公司 | 將以<i>L</i><sub>1</sub>個頻道為基礎之輸入聲音訊號產生至<i>L</i><sub>2</sub>個揚聲器頻道之方法及裝置,以及得到一能量保留混音矩陣之方法及裝置,用以將以輸入頻道為基礎之聲音訊號混音以用於<i>L</i><sub>1</sub>個聲音頻道至<i>L</i><sub>2</sub>個揚聲器頻道 |
US9984693B2 (en) * | 2014-10-10 | 2018-05-29 | Qualcomm Incorporated | Signaling channels for scalable coding of higher order ambisonic audio data |
US11019449B2 (en) * | 2018-10-06 | 2021-05-25 | Qualcomm Incorporated | Six degrees of freedom and three degrees of freedom backward compatibility |
TWD224675S (zh) | 2021-06-18 | 2023-04-11 | 大陸商台達電子企業管理(上海)有限公司 | 雙輸入電源供應器 |
-
2015
- 2015-03-24 CN CN201811253730.7A patent/CN109036441B/zh active Active
- 2015-03-24 TW TW110102935A patent/TWI760084B/zh active
- 2015-03-24 UA UAA201610606A patent/UA119765C2/uk unknown
- 2015-03-24 TW TW109101396A patent/TWI711034B/zh active
- 2015-03-24 KR KR1020237037213A patent/KR20230156153A/ko active Application Filing
- 2015-03-24 TW TW111107641A patent/TWI794032B/zh active
- 2015-03-24 EP EP18173707.3A patent/EP3451706B1/en active Active
- 2015-03-24 AU AU2015238448A patent/AU2015238448B2/en active Active
- 2015-03-24 BR BR122020020719-1A patent/BR122020020719B1/pt active IP Right Grant
- 2015-03-24 TW TW109126543A patent/TWI718979B/zh active
- 2015-03-24 JP JP2016558102A patent/JP6246948B2/ja active Active
- 2015-03-24 CN CN202311083699.8A patent/CN117133298A/zh active Pending
- 2015-03-24 EP EP15711759.9A patent/EP3123746B1/en active Active
- 2015-03-24 KR KR1020227044220A patent/KR102596944B1/ko active IP Right Grant
- 2015-03-24 CN CN201811253716.7A patent/CN109087653B/zh active Active
- 2015-03-24 BR BR122018005665-7A patent/BR122018005665B1/pt active IP Right Grant
- 2015-03-24 CN CN201811253713.3A patent/CN109285553B/zh active Active
- 2015-03-24 WO PCT/EP2015/056206 patent/WO2015144674A1/en active Application Filing
- 2015-03-24 CA CA3153913A patent/CA3153913C/en active Active
- 2015-03-24 KR KR1020217000212A patent/KR102479741B1/ko active IP Right Grant
- 2015-03-24 TW TW112102828A patent/TWI833562B/zh active
- 2015-03-24 BR BR112016022008-0A patent/BR112016022008B1/pt active IP Right Grant
- 2015-03-24 BR BR122020020730-2A patent/BR122020020730B1/pt active IP Right Grant
- 2015-03-24 KR KR1020167026390A patent/KR102005298B1/ko active IP Right Grant
- 2015-03-24 CA CA2946916A patent/CA2946916C/en active Active
- 2015-03-24 CA CA3155815A patent/CA3155815A1/en active Pending
- 2015-03-24 US US15/127,775 patent/US9936321B2/en active Active
- 2015-03-24 EP EP23192252.7A patent/EP4273857A3/en active Pending
- 2015-03-24 TW TW104109277A patent/TWI662543B/zh active
- 2015-03-24 RU RU2016141386A patent/RU2658888C2/ru active
- 2015-03-24 CN CN201580015764.0A patent/CN106165451B/zh active Active
- 2015-03-24 CN CN201811253717.1A patent/CN109087654B/zh active Active
- 2015-03-24 BR BR122020014764-4A patent/BR122020014764B1/pt active IP Right Grant
- 2015-03-24 TW TW108105179A patent/TWI695371B/zh active
- 2015-03-24 CN CN202311083155.1A patent/CN117153172A/zh active Pending
- 2015-03-24 KR KR1020197021732A patent/KR102201027B1/ko active IP Right Grant
- 2015-03-24 RU RU2018118336A patent/RU2760232C2/ru active
- 2015-03-24 CN CN201811253721.8A patent/CN108962266B/zh active Active
-
2017
- 2017-11-15 JP JP2017219647A patent/JP6545235B2/ja active Active
-
2018
- 2018-02-07 US US15/891,326 patent/US10362424B2/en active Active
-
2019
- 2019-01-22 HK HK19101101.3A patent/HK1258770A1/zh unknown
- 2019-01-30 HK HK19101671.3A patent/HK1259306A1/zh unknown
- 2019-06-18 JP JP2019112767A patent/JP6762405B2/ja active Active
- 2019-06-28 US US16/457,135 patent/US10567899B2/en active Active
- 2019-07-16 AU AU2019205998A patent/AU2019205998B2/en active Active
- 2019-10-22 US US16/660,626 patent/US10638244B2/en active Active
-
2020
- 2020-04-23 US US16/857,093 patent/US10893372B2/en active Active
- 2020-09-08 JP JP2020150380A patent/JP7101219B2/ja active Active
-
2021
- 2021-01-08 US US17/144,325 patent/US11838738B2/en active Active
- 2021-07-07 AU AU2021204754A patent/AU2021204754B2/en active Active
-
2022
- 2022-07-04 JP JP2022107586A patent/JP7333855B2/ja active Active
-
2023
- 2023-03-29 AU AU2023201911A patent/AU2023201911B2/en active Active
- 2023-08-15 JP JP2023132200A patent/JP2023144032A/ja active Pending
- 2023-11-09 US US18/505,494 patent/US20240098436A1/en active Pending
-
2024
- 2024-08-26 AU AU2024216344A patent/AU2024216344A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013519918A (ja) | 2010-02-11 | 2013-05-30 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 携帯機器内でオーディオ信号のラウドネスを非破壊的に正規化するシステムおよび方法 |
EP2688066A1 (en) | 2012-07-16 | 2014-01-22 | Thomson Licensing | Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction |
WO2014012944A1 (en) | 2012-07-16 | 2014-01-23 | Thomson Licensing | Method and apparatus for encoding multi-channel hoa audio signals for noise reduction, and method and apparatus for decoding multi-channel hoa audio signals for noise reduction |
WO2014013070A1 (en) | 2012-07-19 | 2014-01-23 | Thomson Licensing | Method and device for improving the rendering of multi-channel audio signals |
Non-Patent Citations (1)
Title |
---|
"WD1-HOA TEXT OF MPEG-H 3D AUDIO",MPEG MEETING;13-1-2014 - 17-1-2014; SAN JOSE; MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11,2014年02月21日,N14264 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7333855B2 (ja) | 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230815 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7333855 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |