JP7286876B2 - 変換パラメータによるオーディオ符号化/復号化 - Google Patents
変換パラメータによるオーディオ符号化/復号化 Download PDFInfo
- Publication number
- JP7286876B2 JP7286876B2 JP2022517390A JP2022517390A JP7286876B2 JP 7286876 B2 JP7286876 B2 JP 7286876B2 JP 2022517390 A JP2022517390 A JP 2022517390A JP 2022517390 A JP2022517390 A JP 2022517390A JP 7286876 B2 JP7286876 B2 JP 7286876B2
- Authority
- JP
- Japan
- Prior art keywords
- binaural
- presentation
- playback
- audio
- sets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009466 transformation Effects 0.000 claims description 100
- 238000000034 method Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 44
- 238000009877 rendering Methods 0.000 claims description 19
- 238000012546 transfer Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims 6
- 238000013459 approach Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/308—Electronic adaptation dependent on speaker or headphone connection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/007—Two-channel systems in which the audio signals are in digital form
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
- H04S7/306—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
Description
前記入力オーディオコンテンツのオーディオ再生プレゼンテーションをレンダリングするステップであり、前記オーディオ再生プレゼンテーションがオーディオ再生システムでの再生を目的とする、ステップと、
M組の伝達関数を前記入力オーディオコンテンツに適用することによってM個のバイノーラル表現の組を決定するステップであり、前記M組の伝達関数が個別的なバイノーラル再生プロファイルの集合に基づく、ステップと、
前記オーディオ再生プレゼンテーションから前記M個のバイノーラル表現のM個の近似への変換を可能にするM組の変換パラメータを計算するステップであり、前記M組の変換パラメータが、前記M個のバイノーラル表現と前記M個の近似との間の差を最適化することによって決定される、ステップと、
前記オーディオ再生プレゼンテーション及び前記M組の変換パラメータを、デコーダへの伝送のために符号化するステップと
を有する方法によって達成される。
オーディオ再生システムでの再生を目的としたオーディオ再生プレゼンテーションを受け取り復号するステップと、
前記オーディオ再生プレゼンテーションからM個のバイノーラル表現のM個の近似への変換を可能にするM組の変換パラメータを受け取り復号するステップであり、前記M組の変換パラメータが、前記M個のバイノーラル表現と、前記オーディオ再生プレゼンテーションへの前記変換パラメータの適用によって生成された前記M個の近似との間の差を最小限にするようエンコーダによって決定されたものである、ステップと、
前記M組の変換パラメータを、変換パラメータの個人化された組に結合するステップと、
前記変換パラメータの個人化された組を前記オーディオ再生プレゼンテーションに適用して、前記個人化されたバイノーラル再生プレゼンテーションを生成するステップと
を有する方法によって達成される。
前記入力オーディオコンテンツのオーディオ再生プレゼンテーションをレンダリングする第1レンダラであり、前記オーディオ再生プレゼンテーションがオーディオ再生システムでの再生を目的とする、前記第1レンダラと、
M組の伝達関数を前記入力オーディオコンテンツに適用することによってM個のバイノーラル表現の組を決定する第2レンダラであり、前記M組の伝達関数が個別的なバイノーラル再生プロファイルの集合に基づく、前記第2レンダラと、
前記オーディオ再生プレゼンテーションから前記M個のバイノーラル表現のM個の近似への変換を可能にするM組の変換パラメータを計算するパラメータ推定モジュールであり、前記M組の変換パラメータが、前記M個のバイノーラル表現と前記M個の近似との間の差を最適化することによって決定される、前記パラメータ推定モジュールと、
前記オーディオ再生プレゼンテーション及び前記M組の変換パラメータを、デコーダへの伝送のために符号化する符号化モジュールと
を有するエンコーダによって達成される。
前記オーディオビットストリームを受け取り、オーディオ再生システムでの再生を対象としたオーディオ再生プレゼンテーションと、前記オーディオ再生プレゼンテーションからM個のバイノーラル表現のM個の近似への変換を可能にするM組の変換パラメータとを復号する復号化モジュールであり、前記M組の変換パラメータが、前記M個のバイノーラル表現と、前記オーディオ再生プレゼンテーションへの前記変換パラメータの適用によって生成された前記M個の近似との間の差を最小限にするようエンコーダによって決定されたものである、前記復号化モジュール、
前記M組の変換パラメータを、変換パラメータの個人化された組に結合する処理モジュールと、
前記変換パラメータの個人化された組を前記オーディオ再生プレゼンテーションに適用して、前記個人化されたバイノーラル再生プレゼンテーションを生成するプレゼンテーション変換モジュールと
を有するデコーダによって達成される。
図2に表されている第1実施形態において、エンコーダ11は、マルチチャネル又はオブジェクトベースの(没入型)オーディオコンテンツ10を再生プレゼンテーションZ、ここでは、2つのラウドスピーカでの再生を対象とした2チャネル(ステレオ)プレゼンテーションにレンダリングする第1レンダリングモジュール12を含む。エンコーダ11は、データベース14に記憶されているHRTF(又はその導出されたデータ)を用いて、オーディオコンテンツをM個のバイノーラルプレゼンテーションYm(m=1,・・・,M)の組にレンダリングする第2レンダリングモジュール13を更に含む。エンコーダ11は、再生プレゼンテーションZ及びM個のバイノーラルプレゼンテーションYmの組を受け取るよう接続されており、バイノーラルプレゼンテーションYmの夫々についてのプレゼンテーション変換パラメータWmの組を計算するよう構成されたパラメータ推定モジュール15を更に有する。プレゼンテーション変換パラメータWmは、ラウドスピーカプレゼンテーションZからのM個のバイノーラルプレゼンテーションの近似を可能にする。最後に、エンコーダ11は、再生プレゼンテーションZ及びパラメータセットWmを、符号化されたビットストリーム20に結合する実際の符号化モジュール16を含む。
ラウドスピーカ互換プレゼンテーションが不要である場合には、再生プレゼンテーションは、ラウドスピーカプレゼンテーションの代わりに、バイノーラルプレゼンテーションであってよい。このバイノーラルプレゼンテーションは、デフォルトのHRTFで、例えば、全てのリスナーのための万能的(on-size-fits-all)解決法を提供することを目的としているHRTFで、レンダリングされてよい。デフォルトのHRTF
他の実施形態では、複数のバイノーラルプレゼンテーションを生成するために使用されるHRTFは、それらが広範な人体測定の変動性をカバーするように選択される。その場合に、エンコーダで使用されるHRTFは、それらのHRTFセットのうちの1つ以上の組み合わせがリスナーの幅広い集団にわたる如何なる既存のHRTFセットも記述することができるということで、カノニカル(canonical)HRTFセットと呼ばれ得る。カノニカルHRTFの数は、周波数によって異なることがある。カノニカルHRTFセットは、HRTFセットをクラスタリングし、外れ値を識別し、多変量密度推定を行い、頭部の直径及び耳介のサイズなどの人体測定属性の極値を使用することによって、決定され得る。
カノニカルHRTFを使用する代わりに、HRTFの母集団は、固定基底関数の組と、特定のHRTFセットを再構成するためのユーザ依存の重みの組とに分解されてもよい。この概念は、それ自体は目新しいものではなく、文献に記載されている。そのような直交基底関数を計算する1つの方法は、論文Zhang, Mengfan & Ge, Zhongshu & Liu, Tiejun & Wu, Xihong & Qu, Tianshu著,Modeling of Individual HRTFs based on Spatial Principal Component Analysis(2019年)で論じられている主成分分析(principal component analysis,PCA)を使用することである。
プレゼンテーション変換データWmは、通常、プレゼンテーション又は基底関数の範囲に対して、時間及び周波数の関数として計算される。更なるデータ削減技術がなければ、変換データに関連した、結果として得られるデータレートは、相当なものになる可能性がある。
特許文献1に記載されているように、上記のプロセスは、通常、時間及び周波数の関数
として用いられる。そのために、プレゼンテーション変換係数Wmの別個の組が、通常、多数の周波数バンド及び時間フレームについて、計算及び伝送される。時間及び周波数において必要なセグメンテーションを提供する適切な変換又はフィルタバンクには、離散フーリエ変換(discrete Fourier transform)、直交ミラーフィルタバンク(quadrature mirror filter banks,QMF)、聴覚フィルタバンク、ウェーブレット変換、などがある。DFTの場合には、サンプルインデックスnはDFTビンインデックスを表し得る。一般性を失うことなく、表記を簡単にするために、時間及び周波数インデックスは、本明細書の全体を通じて省略されている。
本願は、2019年9月23日付けで出願された米国特許仮出願第62/904,070号と、2020年6月2日付けで出願された米国特許仮出願第63/033,367号とに対する優先権を主張するものである。これらの出願は、参照によって本願に援用される。
Claims (29)
- 1つ以上のオーディオ成分を含む入力オーディオコンテンツを符号化する方法であって、各オーディオ成分が空間的位置に関連する、前記方法において、
前記入力オーディオコンテンツのオーディオ再生プレゼンテーションをレンダリングするステップであり、前記オーディオ再生プレゼンテーションがオーディオ再生システムでの再生を目的とする、ステップと、
M組の伝達関数を前記入力オーディオコンテンツに適用することによってM個のバイノーラル表現の組を決定するステップであり、前記M組の伝達関数が個別的なバイノーラル再生プロファイルの集合に基づく、ステップと、
前記オーディオ再生プレゼンテーションから前記M個のバイノーラル表現のM個の近似への変換を可能にするM組の変換パラメータを計算するステップであり、前記M組の変換パラメータが、前記M個のバイノーラル表現と前記M個の近似との間の差を最適化することによって決定される、ステップと、
前記オーディオ再生プレゼンテーション及び前記M組の変換パラメータを、デコーダへの伝送のために符号化するステップと
を有する方法。 - 前記M個のバイノーラル表現は、ヘッドホンでの再生を目的とするM個の個別的なバイノーラル再生プレゼンテーションであり、
前記M個の個別的なバイノーラル再生プレゼンテーションは、M個の個別的な再生プロファイルに対応する、
請求項1に記載の方法。 - 前記M個のバイノーラル表現は、ヘッドホンでの再生を目的とするM個のカノニカルバイノーラル再生プレゼンテーションであり、
前記M個のカノニカルバイノーラル再生プレゼンテーションは、個別的な再生プロファイルのより大きい集合に相当する、
請求項1に記載の方法。 - 前記M組の伝達関数は、M組の頭部伝達関数である、
請求項1に記載の方法。 - 前記オーディオ再生プレゼンテーションは、ヘッドホンで再生されることを目的としている一次バイノーラル再生プレゼンテーションであり、
前記M個のバイノーラル表現は、前記一次バイノーラル再生プレゼンテーションと、個別的な再生プロファイルに対応するバイノーラル再生プレゼンテーションとの間の差を夫々表しているM個の信号対である、
請求項1に記載の方法。 - 前記オーディオ再生プレゼンテーションは、ラウドスピーカシステムを対象とし、
前記M個のバイノーラル表現は、
ヘッドホンで再生されることを目的としている一次バイノーラル再生プレゼンテーションと、
前記一次バイノーラル再生プレゼンテーションと、個別的な再生プロファイルに対応するバイノーラル再生プレゼンテーションとの間の差を夫々表しているM-1個の信号対と
を含む、
請求項1に記載の方法。 - 前記M個の信号対は、M個の主成分分析(PCA)基底関数によってレンダリングされる、
請求項5に記載の方法。 - 前記伝達関数の組の数Mは、異なる周波数バンドごとに異なる、
請求項1に記載の方法。 - 変換パラメータの個人化された組を前記オーディオ再生プレゼンテーションに適用するステップが、線形ゲインN×2行列を前記オーディオ再生プレゼンテーションに適用することによって実行され、
Nは、前記オーディオ再生プレゼンテーションにおけるチャネルの数であり、
前記行列の要素は、前記変換パラメータによって形成される、
請求項1に記載の方法。 - 個人化されたバイノーラル再生プレゼンテーションをオーディオビットストリームから復号する方法であって、
オーディオ再生システムでの再生を目的としたオーディオ再生プレゼンテーションを受け取り復号するステップと、
前記オーディオ再生プレゼンテーションからM個のバイノーラル表現のM個の近似への変換を可能にするM組の変換パラメータを受け取り復号するステップであり、前記M組の変換パラメータが、前記M個のバイノーラル表現と、前記オーディオ再生プレゼンテーションへの前記変換パラメータの適用によって生成された前記M個の近似との間の差を最小限にするようエンコーダによって決定されたものである、ステップと、
前記M組の変換パラメータを、変換パラメータの個人化された組に結合するステップと、
前記変換パラメータの個人化された組を前記オーディオ再生プレゼンテーションに適用して、前記個人化されたバイノーラル再生プレゼンテーションを生成するステップと
を有する方法。 - 前記M組の変換パラメータを結合するステップは、当該M組のうちの1つとして、個人化された組を選択することを含む、
請求項10に記載の方法。 - 前記M組の変換パラメータを結合するステップは、当該M組の線形結合として、個人化された組を形成することを含む、
請求項10に記載の方法。 - 前記オーディオ再生プレゼンテーションは、ヘッドホンで再生されることを目的としている一次バイノーラル再生プレゼンテーションであり、
前記M組の変換パラメータは、前記オーディオ再生プレゼンテーションから、前記一次バイノーラル再生プレゼンテーションと、個別的な再生プロファイルに対応するバイノーラル再生プレゼンテーションとの間の差を夫々表しているM個の信号対への変換を可能にし、
前記変換パラメータの個人化された組を前記一次バイノーラル再生プレゼンテーションに適用するステップは、
前記変換パラメータの個人化された組を前記一次バイノーラル再生プレゼンテーションへ線形ゲイン2×2行列として適用することによって、個人化されたバイノーラル差分を形成することと、
前記個人化されたバイノーラル差分と、前記一次バイノーラル再生プレゼンテーションとを足し合わせることと
を含む、
請求項10に記載の方法。 - 前記オーディオ再生プレゼンテーションは、ラウドスピーカで再生されることを目的とし、
前記M組の変換パラメータのうちの第1組は、前記オーディオ再生プレゼンテーションから一次バイノーラル再生プレゼンテーションの近似への変換を可能にし、変換パラメータの残りの組は、前記オーディオ再生プレゼンテーションから、前記一次バイノーラル再生プレゼンテーションと、個別的な再生プロファイルに対応するバイノーラル再生プレゼンテーションとの間の差を夫々表しているM-1個の信号対への変換を可能にし、
前記変換パラメータの個人化された組を前記一次バイノーラル再生プレゼンテーションに適用するステップは、
前記第1組の変換パラメータを前記オーディオ再生プレゼンテーションに適用することによって一次バイノーラル再生プレゼンテーションを形成することと、
前記変換パラメータの個人化された組を前記一次バイノーラル再生プレゼンテーションに線形ゲイン2×2行列として適用することによって、個人化されたバイノーラル差分を形成することと、
前記個人化されたバイノーラル差分と、前記一次バイノーラル再生プレゼンテーションとを足し合わせることと
を含む、
請求項10に記載の方法。 - 前記第1組の変換パラメータを前記オーディオ再生プレゼンテーションに適用するステップは、線形ゲインN×2行列を前記オーディオ再生プレゼンテーションに適用することによって実行され、
Nは、前記オーディオ再生プレゼンテーションにおけるチャネルの数であり、前記行列の要素は、前記変換パラメータによって形成される、
請求項14に記載の方法。 - 1つ以上のオーディオ成分を含む入力オーディオコンテンツを符号化するエンコーダであって、各オーディオ成分が空間的位置に関連する、前記エンコーダにおいて、
前記入力オーディオコンテンツのオーディオ再生プレゼンテーションをレンダリングする第1レンダラであり、前記オーディオ再生プレゼンテーションがオーディオ再生システムでの再生を目的とする、前記第1レンダラと、
M組の伝達関数を前記入力オーディオコンテンツに適用することによってM個のバイノーラル表現の組を決定する第2レンダラであり、前記M組の伝達関数が個別的なバイノーラル再生プロファイルの集合に基づく、前記第2レンダラと、
前記オーディオ再生プレゼンテーションから前記M個のバイノーラル表現のM個の近似への変換を可能にするM組の変換パラメータを計算するパラメータ推定モジュールであり、前記M組の変換パラメータが、前記M個のバイノーラル表現と前記M個の近似との間の差を最適化することによって決定される、前記パラメータ推定モジュールと、
前記オーディオ再生プレゼンテーション及び前記M組の変換パラメータを、デコーダへの伝送のために符号化する符号化モジュールと
を有するエンコーダ。 - 前記第2レンダラは、ヘッドホンでの再生を目的とするM個の個別的なバイノーラル再生プレゼンテーションをレンダリングするよう構成され、
前記M個の個別的なバイノーラル再生プレゼンテーションは、M個の個別的な再生プロファイルに対応する、
請求項16に記載のエンコーダ。 - 前記第2レンダラは、ヘッドホンでの再生を目的とするM個のカノニカルバイノーラル再生プレゼンテーションをレンダリングするよう構成され、
前記M個のカノニカルバイノーラル再生プレゼンテーションは、個別的な再生プロファイルのより大きい集合に相当する、
請求項16に記載のエンコーダ。 - 前記第1レンダラは、ヘッドホンで再生されることを目的としている一次バイノーラル再生プレゼンテーションをレンダリングするよう構成され、
前記第2レンダラは、前記一次バイノーラル再生プレゼンテーションと、個別的な再生プロファイルに対応するバイノーラル再生プレゼンテーションとの間の差を夫々表しているM個の信号対をレンダリングするよう構成される、
請求項16に記載のエンコーダ。 - 前記第1レンダラは、ラウドスピーカシステムを対象としたオーディオ再生プレゼンテーションをレンダリングするよう構成され、
前記第2レンダラは、
ヘッドホンで再生されることを目的としている一次バイノーラル再生プレゼンテーションと、
前記一次バイノーラル再生プレゼンテーションと、個別的な再生プロファイルに対応するバイノーラル再生プレゼンテーションとの間の差を夫々表しているM-1個の信号対と
をレンダリングするよう構成される、
請求項16に記載のエンコーダ。 - 個人化されたバイノーラル再生プレゼンテーションをオーディオビットストリームから復号するデコーダであって、
前記オーディオビットストリームを受け取り、オーディオ再生システムでの再生を対象としたオーディオ再生プレゼンテーションと、前記オーディオ再生プレゼンテーションからM個のバイノーラル表現のM個の近似への変換を可能にするM組の変換パラメータとを復号する復号化モジュールであり、前記M組の変換パラメータが、前記M個のバイノーラル表現と、前記オーディオ再生プレゼンテーションへの前記変換パラメータの適用によって生成された前記M個の近似との間の差を最小限にするようエンコーダによって決定されたものである、前記復号化モジュール、
前記M組の変換パラメータを、変換パラメータの個人化された組に結合する処理モジュールと、
前記変換パラメータの個人化された組を前記オーディオ再生プレゼンテーションに適用して、前記個人化されたバイノーラル再生プレゼンテーションを生成するプレゼンテーション変換モジュールと
を有するデコーダ。 - 前記処理モジュールは、前記M組のうちの1つを前記個人化された組として選択するよう構成される、
請求項21に記載のデコーダ。 - 前記処理モジュールは、個人化された組を前記M組の線形結合として形成するよう構成される、
請求項21に記載のデコーダ。 - 前記オーディオ再生プレゼンテーションは、ヘッドホンで再生されることを目的としている一次バイノーラル再生プレゼンテーションであり、
前記M組の変換パラメータは、前記オーディオ再生プレゼンテーションから、前記一次バイノーラル再生プレゼンテーションと、個別的な再生プロファイルに対応するバイノーラル再生プレゼンテーションとの間の差を夫々表しているM個の信号対への変換を可能にし、
前記プレゼンテーション変換モジュールは、
前記変換パラメータの個人化された組を前記一次バイノーラル再生プレゼンテーションへ線形ゲイン2×2行列として適用することによって、個人化されたバイノーラル差分を形成し、
前記個人化されたバイノーラル差分と、前記一次バイノーラル再生プレゼンテーションとを足し合わせる
よう構成される、
請求項21に記載のデコーダ。 - 前記オーディオ再生プレゼンテーションは、ラウドスピーカで再生されることを目的とし、
前記M組の変換パラメータのうちの第1組は、前記オーディオ再生プレゼンテーションから一次バイノーラル再生プレゼンテーションの近似への変換を可能にし、変換パラメータの残りの組は、前記オーディオ再生プレゼンテーションから、前記一次バイノーラル再生プレゼンテーションと、個別的な再生プロファイルに対応するバイノーラル再生プレゼンテーションとの間の差を夫々表しているM-1個の信号対への変換を可能にし、
前記プレゼンテーション変換モジュールは、
前記第1組の変換パラメータを前記オーディオ再生プレゼンテーションに適用することによって一次バイノーラル再生プレゼンテーションを形成し、
前記変換パラメータの個人化された組を前記一次バイノーラル再生プレゼンテーションに線形ゲイン2×2行列として適用することによって、個人化されたバイノーラル差分を形成し、
前記個人化されたバイノーラル差分と、前記一次バイノーラル再生プレゼンテーションとを足し合わせる
よう構成される、
請求項21に記載のデコーダ。 - プロセッサによって実行される場合に請求項1乃至9のうちいずれか一項に記載の方法を実行するよう構成されたコンピュータプログラムコード部分を含むコンピュータプログラム。
- 一時的なコンピュータ可読媒体に記憶されている、
請求項26に記載のコンピュータプログラム。 - プロセッサによって実行される場合に請求項10乃至15のうちいずれか一項に記載の方法を実行するよう構成されたコンピュータプログラムコード部分を含むコンピュータプログラム。
- 一時的なコンピュータ可読媒体に記憶されている、
請求項28に記載のコンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962904070P | 2019-09-23 | 2019-09-23 | |
US62/904,070 | 2019-09-23 | ||
US202063033367P | 2020-06-02 | 2020-06-02 | |
US63/033,367 | 2020-06-02 | ||
PCT/US2020/052056 WO2021061675A1 (en) | 2019-09-23 | 2020-09-22 | Audio encoding/decoding with transform parameters |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022548697A JP2022548697A (ja) | 2022-11-21 |
JP7286876B2 true JP7286876B2 (ja) | 2023-06-05 |
Family
ID=72753008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022517390A Active JP7286876B2 (ja) | 2019-09-23 | 2020-09-22 | 変換パラメータによるオーディオ符号化/復号化 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220366919A1 (ja) |
EP (1) | EP4035426B1 (ja) |
JP (1) | JP7286876B2 (ja) |
CN (1) | CN114503608B (ja) |
WO (1) | WO2021061675A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023220024A1 (en) * | 2022-05-10 | 2023-11-16 | Dolby Laboratories Licensing Corporation | Distributed interactive binaural rendering |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090043591A1 (en) | 2006-02-21 | 2009-02-12 | Koninklijke Philips Electronics N.V. | Audio encoding and decoding |
WO2017035281A2 (en) | 2015-08-25 | 2017-03-02 | Dolby International Ab | Audio encoding and decoding using presentation transform parameters |
JP2018502535A (ja) | 2014-12-04 | 2018-01-25 | ガウディ オーディオ ラボラトリー,インコーポレイティド | バイノーラルレンダリングのためのオーディオ信号処理装置及びその方法 |
US20180233156A1 (en) | 2015-08-25 | 2018-08-16 | Dolby Laboratories Licensing Corporation | Audio Decoder and Decoding Method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005223713A (ja) * | 2004-02-06 | 2005-08-18 | Sony Corp | 音響再生装置、音響再生方法 |
EP2489206A1 (fr) * | 2009-10-12 | 2012-08-22 | France Telecom | Traitement de donnees sonores encodees dans un domaine de sous-bandes |
US9426589B2 (en) * | 2013-07-04 | 2016-08-23 | Gn Resound A/S | Determination of individual HRTFs |
US10390171B2 (en) * | 2018-01-07 | 2019-08-20 | Creative Technology Ltd | Method for generating customized spatial audio with head tracking |
-
2020
- 2020-09-22 US US17/762,709 patent/US20220366919A1/en active Pending
- 2020-09-22 JP JP2022517390A patent/JP7286876B2/ja active Active
- 2020-09-22 EP EP20786659.1A patent/EP4035426B1/en active Active
- 2020-09-22 CN CN202080066709.5A patent/CN114503608B/zh active Active
- 2020-09-22 WO PCT/US2020/052056 patent/WO2021061675A1/en unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090043591A1 (en) | 2006-02-21 | 2009-02-12 | Koninklijke Philips Electronics N.V. | Audio encoding and decoding |
JP2009527970A (ja) | 2006-02-21 | 2009-07-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーディオ符号化及び復号 |
JP2018502535A (ja) | 2014-12-04 | 2018-01-25 | ガウディ オーディオ ラボラトリー,インコーポレイティド | バイノーラルレンダリングのためのオーディオ信号処理装置及びその方法 |
WO2017035281A2 (en) | 2015-08-25 | 2017-03-02 | Dolby International Ab | Audio encoding and decoding using presentation transform parameters |
US20180233156A1 (en) | 2015-08-25 | 2018-08-16 | Dolby Laboratories Licensing Corporation | Audio Decoder and Decoding Method |
JP2018529121A (ja) | 2015-08-25 | 2018-10-04 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オーディオ・デコーダおよびデコード方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2021061675A1 (en) | 2021-04-01 |
EP4035426A1 (en) | 2022-08-03 |
US20220366919A1 (en) | 2022-11-17 |
JP2022548697A (ja) | 2022-11-21 |
CN114503608B (zh) | 2024-03-01 |
EP4035426B1 (en) | 2024-08-28 |
CN114503608A (zh) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4874555B2 (ja) | 聴覚情景の後部残響音ベースの合成 | |
KR101215872B1 (ko) | 송신되는 채널들에 기초한 큐들을 갖는 공간 오디오의파라메트릭 코딩 | |
US8976972B2 (en) | Processing of sound data encoded in a sub-band domain | |
US20210295852A1 (en) | Audio Encoding and Decoding Using Presentation Transform Parameters | |
RU2643630C1 (ru) | Способ и устройство для рендеринга акустического сигнала и машиночитаемый носитель записи | |
US8880413B2 (en) | Binaural spatialization of compression-encoded sound data utilizing phase shift and delay applied to each subband | |
US10764709B2 (en) | Methods, apparatus and systems for dynamic equalization for cross-talk cancellation | |
JP5227946B2 (ja) | フィルタ適応周波数分解能 | |
EP3895451B1 (en) | Method and apparatus for processing a stereo signal | |
US11950078B2 (en) | Binaural dialogue enhancement | |
JP7286876B2 (ja) | 変換パラメータによるオーディオ符号化/復号化 | |
Baumgarte et al. | Design and evaluation of binaural cue coding schemes | |
US11470435B2 (en) | Method and device for processing audio signals using 2-channel stereo speaker | |
KR20050060552A (ko) | 입체 음향 시스템 및 입체 음향 구현 방법 | |
KR102195976B1 (ko) | 오디오 신호 처리 방법 및 장치 | |
EA047653B1 (ru) | Кодирование и декодирование звука с использованием параметров преобразования представления | |
EA042232B1 (ru) | Кодирование и декодирование звука с использованием параметров преобразования представления | |
Aarts | Applications of DSP for sound reproduction improvement | |
Baumgarte et al. | Design and Evaluation of Binaural Cue Coding Schemes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230524 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7286876 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |