JP7140766B2 - オーディオオブジェクトをパンする処理方法及び処理システム - Google Patents
オーディオオブジェクトをパンする処理方法及び処理システム Download PDFInfo
- Publication number
- JP7140766B2 JP7140766B2 JP2019540554A JP2019540554A JP7140766B2 JP 7140766 B2 JP7140766 B2 JP 7140766B2 JP 2019540554 A JP2019540554 A JP 2019540554A JP 2019540554 A JP2019540554 A JP 2019540554A JP 7140766 B2 JP7140766 B2 JP 7140766B2
- Authority
- JP
- Japan
- Prior art keywords
- transducer
- gain
- audio object
- transducers
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004091 panning Methods 0.000 title claims description 82
- 238000012545 processing Methods 0.000 title claims description 28
- 238000003672 processing method Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims description 125
- 238000009792 diffusion process Methods 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 36
- 239000013598 vector Substances 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000011084 recovery Methods 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 8
- 230000001788 irregular Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 1
- 229920002554 vinyl polymer Polymers 0.000 description 1
- 238000003079 width control Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
Description
VBAPの音源拡散手法の複雑さ、
満足できる固定された又は移動する点音源を生成する能力がSPCAPにないこと、
アンビソニックの点音源は、通常、多数のスピーカーによって放出され、したがって、中心から外れた聴取位置では最適でない音響場が生み出されること、及び、
映画館で見られる配置のような不規則な配置に関するDBAPの課題、
に対する解決策を提供することである。
1. 音源を取り囲むラウドスピーカーの利得が、任意の適用可能なパン法則によって、例えば、振幅ベースパン又は距離ベースパンを介して計算される。
2. 追加の仮想スピーカーも、スピーカー配置に加えられる。この仮想スピーカーは、パンされる音源と同じ位置を有する。
3. SPCAPアルゴリズムが、変更されたカーディオイド法則と、変更されたスピーカー配置のラウドスピーカー利得を生じる、上記仮想スピーカーが加えられた物理ラウドスピーカー配置とを用いて実行される。
4. 第1のステップにおいて得られ、任意選択でタイトネス値によって変更された利得を用いて、仮想ラウドスピーカー信号が上記周囲のスピーカーにわたって再分配される。
SPCAPとは逆に、この場合、タイトネスは高く、スピーカー利得は、第1のステップの間に用いられる標準的なパン法則(例えば、振幅ベース又は距離ベース)を用いて得られたものに正確に従うので、開示された方法によって点音源を生成することができる。
アンビソニックスとは逆に、点音源は、限られた数のラウドスピーカーによって放出され、幾つかの状況では単一のスピーカーによって放出される可能性さえある。
VBAPとは逆に、上記で開示された単純で空間的に連続した法則によって、最大限に広い音を生成することができ、全ての中間音源幅値を、余分なステップを伴うことなく、このアルゴリズムによって生成することができる。
DBAPとは逆に、変更されたSPCAPアルゴリズムが用いられることによって、パンアルゴリズムがスピーカー密度を考慮することができることが確保される。
追加の仮想スピーカーの使用、
拡散音源(spread sources:広がり音源、スプレッド音源)を用いた場合であっても、意図した音源位置に位置合わせされたエネルギー及び速度ベクトルの双方の維持、
焦点音源の隣接するラウドスピーカーにおけるチャネル漏れ(channel spilling)の防止、
最大拡散音源が360度の拡散を実際に有することを可能にする、変更された拡散法則との連続性の確保。
単一の軸に沿って位置決めされたトランスデューサーにおけるオーディオパンに対処する1次元の実施形態のグループ。これは、請求項1及び2に記載の方法と、請求項5及び6に記載のシステムとに関係し得る。1つの実施形態では、このグループの実施形態の出力は、物理スピーカーに対して即座に適用することができる。別の実施形態では、本発明は、出力を新たな処理ステップへの入力とすることができるバイノーラルレンダリングの計算等のより大きな処理コンテキストの一部とすることができる。
幾分平行六面体である部屋の内部表面上に位置決めされたトランスデューサーにおけるオーディオパンに最適なトリプル1D(triple-1D)実施形態のグループ。これは、請求項3に記載の方法と、請求項7に記載のシステムとに関係し得る。1つの実施形態では、このグループの実施形態の出力は、物理スピーカーに対して即座に適用することができる。別の実施形態では、本発明は、出力を新たな処理ステップへの入力とすることができるバイノーラルレンダリングの計算等のより大きな処理コンテキストの一部とすることができる。
球形トランスデューサーセットに対処する球形3D実施形態のグループ。これは、請求項4に記載の方法と、請求項8に記載のシステムとに関係し得る。1つの実施形態では、このグループの実施形態の出力は、物理スピーカーに対して即座に適用することができる。好ましい実施形態では、本発明は、出力を新たな処理ステップへの入力とすることができるバイノーラルレンダリングの計算等のより大きな処理コンテキストの一部である。
最小横座標値及び最大横座標値が四分円(π/2アパーチャ)にまたがるように、横座標から仮想円形セグメントを作成する。
(1)上記四分円上のオブジェクト及びスピーカーの仮想方位角を用いることによって2つの取り囲むスピーカーα及びβを見つける。
(2)任意のステレオパン法則(例えば、「タンジェント」パン法則若しくは「サインコサインパン法則」又は他の任意の法則)を用いて、2つの取り囲むスピーカーの利得Qα及びQβを計算する。
(3)オブジェクト位置に位置決めされた新たなラウドスピーカーを上記四分円上に仮想的に作成する。このレイヤは、この時、N+1個のスピーカー(N個の物理スピーカー及び1つの仮想スピーカー)を備える。
(4)変更されたLSPCAP方法を用いて上記四分円におけるN個のスピーカーのSPCAP利得を計算する。
(a)以下の法則を用いてN+1個(N個の実際のスピーカー、1個の仮想スピーカー)の当初利得を計算する。
(b)上記ステップ(2)において計算されたステレオ利得Qα及びQβを用いることによって、仮想の第(N+1)のスピーカーの以下の計算された利得を再分配する。
(c)事前計算されたスピーカー有効数によって当初利得を除算することによって「初期利得値」Giを計算する。
オブジェクト座標、デカルト。
x軸、y軸及びz軸(0~+無限大の範囲を有する)に沿ったオブジェクト3次元拡散値。
スピーカー配置:
各スピーカーのデカルト座標は正規化される(左右及び前後の寸法は-1~1の範囲を有する。上下に関して、耳のレベルはZ=0であり、天井はZ=1である)。
グローバルアルゴリズム:
(オプション:スピーカースナップを適用する)
ラウドスピーカーのZ横座標及びZ拡散値のみを用いて、Z軸に沿って1Dアルゴリズムを実行する:全てのラウドスピーカーのZ利得を取得する。
Zレイヤを効果的に作成するスピーカー配置の一意のZ座標リストを求める。
各Zレイヤについて、そのレイヤのラウドスピーカーのY横座標及びY拡散値のみを用いて、Y軸に沿って1Dアルゴリズムを実行する:全てのラウドスピーカーのY利得を取得する。
各Zレイヤについて、Y行を効果的に作成する一意のY座標リストを求める。
各Zレイヤ及び各Y行について、その行のラウドスピーカーのX横座標及びX拡散値のみを用いて、X軸に沿って1Dアルゴリズムを実行する:全てのラウドスピーカーのX利得を取得する。
X利得、Y利得及びZ利得を要素ごとに乗算し、2ノルム正規化を適用して、最終的なラウドスピーカー利得を得る。
オブジェクト座標、球。
オブジェクト拡散値u(0~+無限大の範囲を有する)
スピーカー配置:
各スピーカーの球座標、
スピーカーが頂点に位置決めされる球形三角形メッシュ。
オフライン部分:
スピーカー配置についてのスピーカー有効数を事前計算する:N個の実際のラウドスピーカーのみのいわゆる「スピーカー有効数」βiを計算する:
所与のオブジェクト座標のリアルタイム部分:
(B):メッシュにおける各小面(facet)についてVBAP利得を計算し、全てのスピーカー利得が正である取り囲む小面を見つける。その小面の3つの利得のみを保持し、残りを廃棄する(詳細なVBAP方法について、Pulkki, 2001を参照)。
(C):スピーカー配置内にオブジェクト位置に位置決めされる新たなラウドスピーカーを仮想的に生成する。この配置は、この時点で、N+1個のスピーカー(N個の物理スピーカー及び1つの仮想スピーカー)を備える。
(D):以下の変更されたLSPCAP方法を用いてN個のスピーカーのSPCAP利得を計算する:
(1)以下の法則を用いて、N+1個(N個の実際のスピーカー、1つの仮想スピーカー)の当初利得を計算する。
(2)上記ステップ(A)において計算された3つのVBAP利得Qiを用いることによって、仮想の第(N+1)のスピーカーの以下の計算された利得を再分配する。
(4)スピーカー有効数によって当初利得を除算することによって「初期利得値」Giを計算する。
例1:本発明による方法の第1の例示の実施形態
図1は、N個のトランスデューサー及びオーディオオブジェクトが全て、本質的に単一の軸上に存在する本発明の方法の一例示の実施形態を示している。N個のトランスデューサー(言い換えると、ラウドスピーカー)の位置は、上記単一の軸に沿ったそれらの横座標によって表される。オーディオオブジェクトの位置も、横座標として表すことができる。さらに、オーディオオブジェクトは、[0, +∞]の値の拡散uを有する。
詳細な態様1は、以下である;
軸に沿って整列された複数のN個の音響トランスデューサーにわたって空間化回復を行うように前記軸に沿ってオーディオオブジェクトを処理する方法であって、該オーディオオブジェクト(151)は、オーディオオブジェクト横座標及びオーディオオブジェクト拡散を有し、前記音響トランスデューサーのそれぞれは、トランスデューサー横座標(152)を有し、Nは少なくとも2に等しく、該方法は、
前記複数の音響トランスデューサーのそれぞれの前記トランスデューサー横座標(152)と、前記オーディオオブジェクト横座標(151)との四分円上へのマッピングを含む第1のプロセス(110)を実行し、前記複数のトランスデューサーのN個のトランスデューサー角(154)と、前記オーディオオブジェクトの1つのオーディオオブジェクト角(153)とを得るステップと、
第3のプロセス(130)を実行するステップであって、
以下の式によって、前記複数のトランスデューサーのそれぞれのトランスデューサー有効数(159)を計算するサブステップ(132)と、
以下の式によって、i∈[1..N]である前記複数のトランスデューサーのそれぞれのトランスデューサー利得P i (160)を計算するサブステップ(133)と、
第4のプロセス(140)を実行するステップであって、
前記トランスデューサー有効数(159)によって前記利得(162)を除算することによって、前記複数のN個のトランスデューサーのそれぞれの以下の初期利得値G i (163)を計算するサブステップ(142)と、
総放出出力を、
を含む、ステップと、
を含み、
該方法は、
前記複数のトランスデューサーから、前記オーディオオブジェクトに最も接近した第1のトランスデューサーα(155)及び第2のトランスデューサーβ(156)を識別するサブステップ(122)と、
前記第1のトランスデューサーα(155)及び前記第2のトランスデューサーβ(156)に対するステレオパン法則に従って前記利得Q α (157)及びQ β (158)を計算するサブステップ(123)と、
を含む第2のプロセス(120)を実行することを更に含み、
前記第3のプロセス(130)は、
前記オーディオオブジェクト角(153)に本質的に等しい仮想トランスデューサー角を含む仮想トランスデューサーを作成し、該仮想トランスデューサー角をN個のトランスデューサー角(154)のリストに加え、それによって、N+1個のトランスデューサー角の拡張されたリストを作成する追加のサブステップ(131)と、
前記トランスデューサー利得を計算する変更されたサブステップ(133)であって、
によって、前記仮想トランスデューサー角に対応する仮想トランスデューサー利得P N+1 (161)を計算することを更に含み、
前記第4のプロセス(140)は、
前記第2のプロセス(120)において計算された前記利得Q α (157)及びQ β (158)を用いることによって前記第1のトランスデューサーα(155)及び前記第2のトランスデューサーβ(156)にわたって前記仮想トランスデューサー利得P N+1 (161)を再分配し、
に従って、前記第1のトランスデューサーα(155)の変更された利得P' α (162)と、前記第2のトランスデューサーβ(156)の変更された利得P' β (162)とを得る追加のサブステップ(141)、
を更に含み、
前記初期利得値G i (163)の前記計算は、前記第1のトランスデューサーα(155)の前記利得P α の代わりに前記変更された利得P' α (162)と、前記第2のトランスデューサーβ(156)の前記利得P β の代わりに前記変更された利得P' β (162)とを用いて行われる、
ことを特徴とする、方法。
詳細な態様2は、以下である;
軸に沿って整列された複数のN個の音響トランスデューサーにわたって空間化回復を行うように前記軸に沿ってオーディオオブジェクトを処理するシステムであって、該オーディオオブジェクト(151)は、オーディオオブジェクト横座標及びオーディオオブジェクト拡散を有し、前記音響トランスデューサーのそれぞれは、トランスデューサー横座標を有し、Nは少なくとも2に等しく、該システムは、
前記複数の音響トランスデューサーのそれぞれの前記トランスデューサー横座標(152)と、前記オーディオオブジェクト横座標(151)との四分円上へのマッピングを実行し、前記複数のトランスデューサーのN個のトランスデューサー角(154)と、前記オーディオオブジェクトの1つのオーディオオブジェクト角(153)とを得るように構成された第1のモジュール(110)と、
第3のモジュール(130)であって、
以下の式によって、前記複数のトランスデューサーのそれぞれのトランスデューサー有効数(159)を計算すること(132)と、
以下の式によって、i∈[1..N]である前記複数のトランスデューサーのそれぞれのトランスデューサー利得P i (160)を計算すること(133)と、
の方法を実行するように構成された、第3のモジュールと、
第4のモジュール(140)であって、
前記トランスデューサー有効数(159)によって前記利得(162)を除算することによって、前記複数のN個のトランスデューサーのそれぞれの以下の初期利得値G i (163)を計算すること(142)と、
の方法を実行するように構成された、第4のモジュール(140)と、
を備え、
該システムは、
前記複数のトランスデューサーから、前記オーディオオブジェクトに最も接近した第1のトランスデューサーα(155)及び第2のトランスデューサーβ(156)を識別すること(122)と、
前記第1のトランスデューサーα(155)及び前記第2のトランスデューサーβ(156)に対するステレオパン法則に従って前記利得Q α (157)及びQ β (158)を計算すること(123)と、
の方法を実行するように構成された第2のモジュール(120)を更に備え、
前記第3のモジュール(130)は、
前記オーディオオブジェクト角(153)に本質的に等しい仮想トランスデューサー角を有する仮想トランスデューサーを作成し、該仮想トランスデューサー角をN個のトランスデューサー角(154)のリストに加え、それによって、N+1個のトランスデューサー角の拡張されたリストを作成する追加のサブステップ(131)と、
前記トランスデューサー利得を計算する変更されたサブステップ(133)であって、
によって、前記仮想トランスデューサー角に対応する仮想トランスデューサー利得P N+1 (161)を計算する追加のサブステップを、実行するように更に構成され、
前記第4のモジュール(140)は、
前記第2のモジュール(120)において計算された前記利得Q α (157)及びQ β (158)を用いることによって前記第1のトランスデューサーα(155)及び前記第2のトランスデューサーβ(156)にわたって前記仮想トランスデューサー利得P N+1 (161)を再分配し、
に従って、前記第1のトランスデューサーα(155)の変更された利得P' α (162)と、前記第2のトランスデューサーβ(156)の変更された利得P' β (162)とを得る追加のサブステップ(141)、
を実行するように更に構成され、
前記初期利得値G i (163)の前記計算は、前記第1のトランスデューサーα(155)の前記利得P α の代わりに前記変更された利得P' α (162)と、前記第2のトランスデューサーβ(156)の前記利得P β の代わりに前記変更された利得P' β (162)とを用いて行われる、
ことを特徴とする、システム。
図2は、N個のトランスデューサーが本質的に平行六面体室上に位置決めされている、本発明の方法の一例示の実施形態を示している。
図3は、N個のトランスデューサーが球の内側表面上に位置決めされている、本発明の方法の一例示の実施形態を示している。
詳細な態様は、以下である;
球の内側表面上に位置決めされた複数のN個の音響トランスデューサーにわたって空間化回復を行うようにオーディオオブジェクトを処理する方法であって、Nは少なくとも2に等しく、前記オーディオオブジェクトは、オーディオオブジェクト位置及びオーディオオブジェクト拡散を有し、該方法は、
第1のプロセス(301)を実行するステップであって、該第1のプロセスは、
前記複数のトランスデューサー、前記オーディオオブジェクト位置及び前記オーディオオブジェクト拡散に基づいて前記トランスデューサー有効数β i を事前計算するサブステップと、
トランスデューサー密度を徐々に考慮し、1とその元の値との間でアフィン関数によってβ i を変更し、変更されたトランスデューサー有効数(313)を得るサブステップと、
を含む、ステップと、
所与のオブジェクト座標について、第2のプロセスを実行するステップであって、該第2のプロセスは、
前記メッシュにおける各小面のベクトルベース振幅パン(VBAPと略す)利得を計算し、ここで該トランスデューサーは、該メッシュの頂点に位置決めされ、そして、前記トランスデューサー利得Q i のそれぞれが正である取り囲むアクティブな小面を見つけ、それ以外の利得を廃棄して、3つのVBAP利得(314)を得る第1のステップ(302)と、
前記トランスデューサー配置内に、前記オーディオオブジェクト位置(311)に位置決めされる仮想トランスデューサーを作成し、前記変更された配置がN+1個のトランスデューサーを備えるようにする第2のステップ(303)と、
前記N+1個のトランスデューサーの元のスピーカー配置補正振幅パン(SPCAP)利得(315)P i (θ is )を計算する第3のステップ(304)と、
前記第1のステップ(302)において計算された前記3つのVBAP利得Q i (312)と、前記元のSPCAP利得(315)とを用いることによって前記仮想の第(N+1)のトランスデューサーの前記計算された利得を再分配し、N個の変更されたSPCAP利得(316)を得る第4のステップ(305)と、
以下の式のように、前記第1のシステムによって事前計算された前記変更されたトランスデューサー有効数(313)によって前記元のSPCAP利得(316)P i (θ is )を除算することによって、前記初期利得値G i (θ s )(317)を計算する第5のステップ(306)と、
前記総放出出力
を含む、ステップと、
を含み、
前記トランスデューサー有効数(313)の前記計算は、以下の式を用い、
前記第2のプロセスの前記第3のステップ(304)は、以下の式を用い、
前記第2のプロセスの前記第4のステップ(305)は、以下の式を用い、
iは、トランスデューサーiが、該取り囲むアクティブなVBAP小面に属するものである、
ことを特徴とする、方法。
図4は、狭い指向性を有する現行技術水準のSPCAPアルゴリズムのタイトネス制御の効果を示している。特に、図4は、オリジナルのSPCAPアルゴリズムに関して、可変のタイトネス制御(dは0~1の範囲を有する)の拡散関連幅の値がd=0.75である場合の、通常の不規則な4スピーカーレイアウト(±30度、±110度)について、スピーカー利得401、402、403、404と、求められるパン角度407と比較される音響速度405ベクトル及び音響エネルギー406ベクトルの角度とを示している。見て取ることができるように、そのような狭いタイトネスによって、エネルギーベクトル及び速度ベクトルが角度間でジャンプするスピーカーアトラクション効果がもたらされる。
この例は、オブジェクトベースオーディオのレンダリングに関する本発明の一例示の実施形態を提供する。オブジェクトベースオーディオ、及び、バイノーラルオーディオのヘッドトラッキング等の他の特徴部のレンダリングには、高品質なパン/レンダリングアルゴリズムの使用が必要とされる。
LSPCAPは、軽量でスケーラブルなパンアルゴリズムであり、任意の2D/3Dスピーカー配置を対象とする以下の2つのバージョンにおいて利用可能である。
スナップ制御及びゾーン制御を有するAuro-3D等の不規則な部屋中心のレイアウト、
規則的なリスナー中心のレイアウト、特に、アンビソニックス復号化に適したレイアウト。
LSPCAPは、変更されたスピーカー配置補正振幅パン(SPCAP)アルゴリズムを、特定のエネルギーベクトル最大化とともに、一般化されたベクトルベース振幅パン(VBAP)と結合することによって機能する。
フル3Dリスナー中心モード及びレイヤード3D部屋中心モードの2つのモードのアルゴリズムが開発された。
このバージョンは、オブジェクトの球座標又は極座標を許容し、球形のスピーカー配置を用いる。この配置は、有利には、可能な限り規則的であるべきである。以下の配置が実施される。
部屋中心モードは、デカルト座標に適応し、特に、部屋における実際のスピーカー構成へのオブジェクトのパンを対象としている。
リスナー中心のバージョン
スピーカーレイアウト構成
部屋中心LSPCAPアルゴリズムは、仮想部屋の壁に位置決めされたスピーカーのみをサポートする。したがって、スピーカーごとに、Xパラメーター、Yパラメーター、Zパラメーターのうちの少なくとも1つは、1.0fの絶対値を有しなければならない。
用法:
部屋の壁(前後左右上壁)に位置決めされたスピーカーにおけるパン
入力:
オブジェクト座標、デカルト
オブジェクト水平拡散値u(0~+無限大の範囲)
オブジェクト垂直拡散値v(0~+無限大の範囲)
スピーカー配置:
各スピーカーのデカルト座標は正規化される(左右及び前後の寸法は-1~1の範囲を有し、上下に関しては、耳レベルがZ=0であり、天井がZ=1である)。
オフライン部分:
全てのスピーカー座標(X, Y, Z)を円柱座標(方位角, Z)に変換する。
水平レイヤの決定:同じZ座標を有するスピーカーは同じレイヤに属する。
(A)方位角=atan 2(X, Y)を用いることによって、オブジェクト座標を円柱座標(方位角, Z)に変換する。
方位角を計算することができない(元のオブジェクト座標が0, 0であった)場合、任意の方位角を割り当て、オブジェクト拡散値を0(最大拡散)に設定する。
(B)オブジェクトをZ軸に沿って各レイヤ上に投影する(すなわち、Z座標を除去する)。
(C)レイヤごとに、最上部/天井のレイヤを保存する:
(1)オブジェクト及びレイヤのスピーカー方位角を用いることによって、2つの取り囲むスピーカーα及びβを見つける。
(2)任意のステレオパン法則(例えば、「タンジェント」パン法則若しくは「サインコサインパン法則」又は他の任意の法則)を用いて2つの取り囲むスピーカー利得Qα及びQβを計算する。
(3)オブジェクト位置に位置決めされた新たなラウドスピーカーをレイヤに仮想的に作成する。このレイヤは、この時、N+1個のスピーカー(N個の物理スピーカー及び1つの仮想スピーカー)を備える。
(4)変更されたLSPCAP方法を用いて、現在のレイヤにおけるN個のスピーカーのSPCAP利得を計算する:
(a)以下の法則を用いてN+1個(N個の実際のスピーカー、1つの仮想スピーカー)の当初利得を計算する。
(b)N個の実際のラウドスピーカーのみのいわゆる「スピーカー有効数」βiを計算する。
(c)上記ステップ(2)において計算されたステレオ利得Qα及びQβを用いることによって、仮想の第(N+1)のスピーカーの計算された利得を再分配する
(d)当初利得をスピーカー有効数によって除算することによって「初期利得値」Giを計算する。
(D)最上位(Z=1)レイヤについて:
(1)M個の最上位レイヤスピーカー座標をX軸上に投影する(Xi座標のみを保持する。ここで、i∈[1..M]である)。
(2)音源座標をX軸上に投影する(Xs座標のみを保持する)。
(3)音源座標がM個のスピーカーのX座標と同じ範囲内にあるように、音源座標を飽和させる。
(7)ステップD1~D6を再実行するが、X軸の代わりに、M個のSPCAP利得Aiyを生じるY軸を用いる。
(8)結合最上位レイヤ利得(joint top-layer gain)Ai=Aix・Aiyを計算する。
(9)総放出出力
(10)結合最上位レイヤ利得を総出力によって除算して、正規化された最上位レイヤ利得
(E)各レイヤを1つのスピーカーとして扱い、以下のステップ((C)からのSPCAPアルゴリズムがその後に続く、最上位レイヤにおいて行うものと同様である)を用いることによって、K個のレイヤ内の各レイヤのレイヤ利得を計算する。
(1)角度のアレイ
(2)音源の角度
(3)ステップ(E1)及び(E2)からのオブジェクト及びレイヤの角度を用いることによって、取り囲むレイヤα及びβを見つける。
(4)任意のステレオパン法則(例えば、「タンジェント」パン法則若しくは「サインコサインパン法則」又は他の任意の法則)を用いて、2つの取り囲むレイヤの利得Qα及びQβを計算する。
(5)E2からのオブジェクト角に位置決めされた新たなラウドスピーカーを仮想的に作成する。
(6)(E1)及び(E2)からのK+1個の角度を用い、水平拡散uを垂直拡散vに置き換えて、C4a~C4eのステップを適用する。これによって、K個のレイヤ利得が得られる。
(7)レイヤごとに、(C)からのスピーカー利得に(E6)からのレイヤ利得を乗算する。
用法:
球上に位置決めされたスピーカーにおけるパン
オブジェクト座標、球
オブジェクト拡散値u(0~+無限大の範囲)
スピーカー配置:
各スピーカーの球座標
スピーカーが頂点に位置決めされた球形三角形メッシュ。
(A):メッシュ内の各小面のVBAP利得を計算し、全てのスピーカー利得が正である取り囲む小面を見つける。その小面の3つの利得のみを保持し、残りを廃棄する(詳細なVBAP方法については、Pulkki, 2001を参照)。
(B):オブジェクト位置に位置決めされた新たなラウドスピーカーをスピーカー配置に仮想的に作成する。この配置は、この時、N+1個のスピーカー(N個の物理スピーカー及び1つの仮想スピーカー)を備える。
(C):変更されたLSPCAP方法を用いて、N個のスピーカーのSPCAP利得を計算する:
(1)以下の法則を用いて、N+1個(N個の実際のスピーカー、1つの仮想スピーカー)の当初利得を計算する。
(2)N個の実際のラウドスピーカーのみのいわゆる「スピーカー有効数」βiを計算する。
(3)上記ステップ(A)において計算された3つのVBAP利得Qiを用いることによって、仮想の第(N+1)のスピーカーの以下の計算された利得を再分配する。
(4)スピーカー有効数によって当初利得を除算することによって「初期利得値」Giを計算する。
110:第1のモジュール
120:122と123のステップを含む第2のステップ
120:第2のモジュール
122:前記複数のトランスデューサーから、前記オーディオオブジェクトに最も接近した第1のトランスデューサーα(155)及び第2のトランスデューサーβ(156)を識別するサブステップ
123:第1のトランスデューサーα(155)及び第2のトランスデューサーβ(156)に対するステレオパン法則に従って前記利得Qα(157)及びQβ(158)を計算すること
130:第3のステップ
130:第3のプロセスである、サブステップ(132)とサブステップ(133)とPi(θis)を実行する以下のステップ
130:第3のモジュール
130:第3のモジュール
131:オーディオオブジェクト角(153)に本質的に等しい仮想トランスデューサー角を含む仮想トランスデューサーを作成し、該仮想トランスデューサー角をN個のトランスデューサー角(154)のリストに加え、それによって、N+1個のトランスデューサー角の拡張されたリストを作成する追加のサブステップ
131:オーディオオブジェクト角(153)に本質的に等しい仮想トランスデューサー角を有する仮想トランスデューサーを作成し、該仮想トランスデューサー角をN個のトランスデューサー角(154)のリストに加え、それによって、N+1個のトランスデューサー角の拡張されたリストを作成する追加のサブステップ
132:以下の式によって、前記複数のトランスデューサーのそれぞれのトランスデューサー有効数(159)を計算するサブステップ
133:トランスデューサー利得を計算する変更されたサブステップ
133:以下の式によって、i∈[1..N]である前記複数のトランスデューサーのそれぞれのトランスデューサー利得Pi(160)を計算するサブステップ
140:第4のプロセスであって、サブステップ(142)とサブステップ(143)を含む
140:第4のモジュール
141:第1のトランスデューサーα(155)の変更された利得P'α(162)と、前記第2のトランスデューサーβ(156)の変更された利得P'β(162)とを得る追加のサブステップ
142:トランスデューサー有効数(159)によって前記利得(162)を除算することによって、前記複数のN個のトランスデューサーのそれぞれの以下の初期利得値Gi(163)を計算するサブステップ
142:初期利得値Gi(163)を計算すること
143:補正された利得(164)を計算することによって出力節約を確保するサブステップ
151:オーディオオブジェクト
151:オーディオオブジェクト横座標
152:トランスデューサー横座標
153:オーディオオブジェクトの1つのオーディオオブジェクト角
154:複数のトランスデューサーのN個のトランスデューサー角
155:第1のトランスデューサーα
156:第2のトランスデューサーβ
157:利得Qα
158:利得Qβ
159:トランスデューサー有効数
160:トランスデューサー利得Pi
161:仮想トランスデューサー利得PN+1
162:第1のトランスデューサーα(155)の変更された利得P'α
162:利得
162:利得(160)当初利得
163:初期利得値Gi
164:補正された利得
200:横座標の前記XYZ正規直交フレームに関するデカルト座標
201:複数のトランスデューサーの前記Z横座標及び前記Z拡散値のみを用いて、前記複数のトランスデューサーのそれぞれのZ利得(207)を取得する第1のステップ
202:Zレイヤを効果的に構築するトランスデューサー配置の一意のZ座標リストを求める第2のステップ
203:ZレイヤのトランスデューサーのY横座標及び前記Y拡散値のみを用いて、前記複数のトランスデューサーのそれぞれ及び前記Zレイヤのそれぞれについて、Y利得(208)を取得する第3のステップ
204:Zレイヤごとに、Y行を効果的に構築する一意のY座標リストを求める第4のステップ
205:トランスデューサーのX横座標及び前記X拡散値のみを用いて、前記複数のトランスデューサーのそれぞれ、各Zレイヤ及び各Y行について、X利得(209)を取得する第5のステップ
206:X利得(209)、前記Y利得(208)及び前記Z利得(207)を要素ごとに乗算し、2ノルム正規化を適用して、前記トランスデューサー配置全体の最終的なトランスデューサー利得(210)を取得する第6のステップ
207:Z利得
208:Y利得
209:X利得
210:トランスデューサー配置全体の最終的なトランスデューサー利得
301:第1のプロセス
302:第1のステップ
303:第2のステップ
304:第3のステップ
305:第4のステップ
306:第5のステップ
307:第6のステップ
311:オブジェクト位置
312;3つのVBAP利得Qi
313:1とその元の値との間でアフィン関数によってβiを変更し、変更されたトランスデューサー有効数
313:トランスデューサー有効数
313:第1のシステムによって事前計算された前記変更されたトランスデューサー有効数
313:変更されたトランスデューサー有効数
314:3つのVBAP利得
315:N+1個のトランスデューサーの元のSPCAP利得
315:元のSPCAP利得
315:元のSPCAP利得
316:N個の変更されたSPCAP利得
316:元のSPCAP利得
317:初期利得値Gi
318:補正された利得
Claims (11)
- 軸に沿って整列された複数のN個の音響トランスデューサーにわたって空間化回復を行うように前記軸に沿ってオーディオオブジェクトを処理する方法であって、該オーディオオブジェクト(151)は、オーディオオブジェクト横座標及びオーディオオブジェクト拡散を有し、前記音響トランスデューサーのそれぞれは、トランスデューサー横座標(152)を有し、Nは少なくとも2に等しく、該方法は、
前記複数の音響トランスデューサーのそれぞれの前記トランスデューサー横座標(152)と、前記オーディオオブジェクト横座標(151)との四分円上へのマッピングを含む第1のプロセス(110)を実行し、前記複数のトランスデューサーのN個のトランスデューサー角(154)と、前記オーディオオブジェクトの1つのオーディオオブジェクト角(153)とを得るステップと、
第3のプロセス(130)を実行するステップであって、
以下の式によって、前記複数のトランスデューサーのそれぞれのトランスデューサー有効数(159)を計算するサブステップ(132)と、
以下の式によって、i∈[1..N]である前記複数のトランスデューサーのそれぞれのトランスデューサー利得Pi(160)を計算するサブステップ(133)と、
第4のプロセス(140)を実行するステップであって、
前記トランスデューサー有効数(159)によって前記利得(162)を除算することによって、前記複数のN個のトランスデューサーのそれぞれの以下の初期利得値Gi(163)を計算するサブステップ(142)と、
総放出出力を、
を含む、ステップと、
を含み、
該方法は、
前記複数のトランスデューサーから、前記オーディオオブジェクトに最も接近した第1のトランスデューサーα(155)及び第2のトランスデューサーβ(156)を識別するサブステップ(122)と、
前記第1のトランスデューサーα(155)及び前記第2のトランスデューサーβ(156)に対するステレオパン法則に従って前記利得Qα(157)及びQβ(158)を計算するサブステップ(123)と、
を含む第2のプロセス(120)を実行することを更に含み、
前記第3のプロセス(130)は、
前記オーディオオブジェクト角(153)に本質的に等しい仮想トランスデューサー角を含む仮想トランスデューサーを作成し、該仮想トランスデューサー角をN個のトランスデューサー角(154)のリストに加え、それによって、N+1個のトランスデューサー角の拡張されたリストを作成する追加のサブステップ(131)と、
前記トランスデューサー利得を計算する変更されたサブステップ(133)であって、
によって、前記仮想トランスデューサー角に対応する仮想トランスデューサー利得PN+1(161)を計算することを更に含み、
前記第4のプロセス(140)は、
前記第2のプロセス(120)において計算された前記利得Qα(157)及びQβ(158)を用いることによって前記第1のトランスデューサーα(155)及び前記第2のトランスデューサーβ(156)にわたって前記仮想トランスデューサー利得PN+1(161)を再分配し、
に従って、前記第1のトランスデューサーα(155)の変更された利得P'α(162)と、前記第2のトランスデューサーβ(156)の変更された利得P'β(162)とを得る追加のサブステップ(141)、
を更に含み、
前記初期利得値Gi(163)の前記計算は、前記第1のトランスデューサーα(155)の前記利得Pαの代わりに前記変更された利得P'α(162)と、前記第2のトランスデューサーβ(156)の前記利得Pβの代わりに前記変更された利得P'β(162)とを用いて行われる、
ことを特徴とする、方法。 - 前記ステレオパン法則は、次のもの、すなわち、タンジェントパン法則、サインコサインパン法則のうちの任意のもの又は任意の組み合わせである、請求項1に記載の方法。
- 天井、前壁及び側壁を備える平行六面体室の内側表面上に位置決めされた複数のN個の音響トランスデューサーにわたって空間化回復を行うようにオーディオオブジェクトを処理する方法であって、Nは少なくとも2に等しく、前記音響トランスデューサーは、X軸、Y軸及びZ軸を備えるXYZ正規直交フレームに従って位置決めされ、前記Z軸は、前記天井に向かって延在し、前記天井と直交し、前記Y軸は、前記前壁に向かって延在し、前記前壁と直交し、前記X軸は、前記側壁に向かって延在し、前記側壁と直交し、前記トランスデューサー及び前記オーディオオブジェクトのそれぞれは、横座標の前記XYZ正規直交フレームに関するデカルト座標(200)を有し、前記オーディオオブジェクトは、前記XYZ正規直交フレームに関する拡散値を有し、該方法は、
前記複数のトランスデューサーのそれぞれのZ利得(207)を取得する第1のステップ(201)と、
Zレイヤを効果的に構築するトランスデューサー配置の一意のZ座標リストを求める第2のステップ(202)と、
前記複数のトランスデューサーのそれぞれについて、Y利得(208)を取得する第3のステップ(203)と、
前記Zレイヤごとに、Y行を効果的に構築する一意のY座標リストを求める第4のステップ(204)と、
前記複数のトランスデューサーのそれぞれについて、X利得(209)を取得する第5のステップ(205)と、
前記X利得(209)、前記Y利得(208)及び前記Z利得(207)を要素ごとに乗算し、2ノルム正規化を適用して、前記トランスデューサー配置全体の最終的なトランスデューサー利得(210)を取得する第6のステップ(206)と、
を含み、
前記第1のステップ(201)において前記Z利得(207)を前記取得することは、ラウドスピーカーのZ横座標及びZ拡散値のみを用いて、前記Z軸に沿って、請求項1又は2に記載の方法を履行して実行され、
前記第3のステップ(203)において前記Y利得(208)を前記取得することは、ラウドスピーカーのY横座標及びY拡散値のみを用いて、各Zレイヤについて前記Y軸に沿って、請求項1又は2に記載の方法を履行して実行され、
前記第5のステップ(205)において前記X利得(209)を前記取得することは、ラウドスピーカーのX横座標及びX拡散値のみを用いて、各Zレイヤ及び各Y行について、前記X軸に沿って、請求項1又は2に記載の方法を履行して実行される、
ことを特徴とする、方法。 - 球の内側表面上に位置決めされた複数のN個の音響トランスデューサーにわたって空間化回復を行うようにオーディオオブジェクトを処理する方法であって、Nは少なくとも2に等しく、前記オーディオオブジェクトは、オーディオオブジェクト位置及びオーディオオブジェクト拡散を有し、該方法は、
第1のプロセス(301)を実行するステップであって、該第1のプロセスは、
前記複数のトランスデューサー、前記オーディオオブジェクト位置及び前記オーディオオブジェクト拡散に基づいて前記トランスデューサー有効数β i を事前計算するサブステップと、
トランスデューサー密度を徐々に考慮し、1とその元の値との間でアフィン関数によってβiを変更し、変更されたトランスデューサー有効数(313)を得るサブステップと、
を含む、ステップと、
所与のオブジェクト座標について、第2のプロセスを実行するステップであって、該第2のプロセスは、
メッシュにおける各小面のベクトルベース振幅パン(VBAPと略す)利得を計算し、ここで該トランスデューサーは、該メッシュの頂点に位置決めされ、そして、前記トランスデューサー利得Qiのそれぞれが正である取り囲むアクティブな小面を見つけ、それ以外の利得を廃棄して、3つのVBAP利得(314)を得る第1のステップ(302)と、
前記トランスデューサー配置内に、前記オーディオオブジェクト位置(311)に位置決めされる仮想トランスデューサーを作成し、前記変更された配置がN+1個のトランスデューサーを備えるようにする第2のステップ(303)と、
前記N+1個のトランスデューサーの元のスピーカー配置補正振幅パン(SPCAPと略す)利得(315)P i (θ is )を計算する第3のステップ(304)と、
前記第1のステップ(302)において計算された前記3つのVBAP利得Qi(312)と、前記元のSPCAP利得(315)とを用いることによって前記仮想の第(N+1)のトランスデューサーの前記計算された利得を再分配し、N個の変更されたSPCAP利得(316)を得る第4のステップ(305)と、
以下の式のように、前記第1のシステムによって事前計算された前記変更されたトランスデューサー有効数(313)によって前記元のSPCAP利得(316)P i (θ is )を除算することによって、初期利得値Gi (θ s )(317)を計算する第5のステップ(306)と、
前記総放出出力
を含む、ステップと、
を含み、
前記トランスデューサー有効数(313)の前記計算は、以下の式を用い、
ここで、θ i はトランスデューサーiのトランスデューサー角であり、θjは、トランスデューサーjのトランスデューサー角であり、
前記第2のプロセスの前記第3のステップ(304)は、以下の式を用い、
ここで、θisは、前記オーディオオブジェクトと前記トランスデューサーiとの間の前記角度であり、
前記第2のプロセスの前記第4のステップ(305)は、以下の式を用い、
ことを特徴とする、方法。 - 軸に沿って整列された複数のN個の音響トランスデューサーにわたって空間化回復を行うように前記軸に沿ってオーディオオブジェクトを処理するシステムであって、該オーディオオブジェクト(151)は、オーディオオブジェクト横座標及びオーディオオブジェクト拡散を有し、前記音響トランスデューサーのそれぞれは、トランスデューサー横座標を有し、Nは少なくとも2に等しく、該システムは、
前記複数の音響トランスデューサーのそれぞれの前記トランスデューサー横座標(152)と、前記オーディオオブジェクト横座標(151)との四分円上へのマッピングを実行し、前記複数のトランスデューサーのN個のトランスデューサー角(154)と、前記オーディオオブジェクトの1つのオーディオオブジェクト角(153)とを得るように構成された第1のモジュール(110)と、
第3のモジュール(130)であって、
以下の式によって、前記複数のトランスデューサーのそれぞれのトランスデューサー有効数(159)を計算すること(132)と、
以下の式によって、i∈[1..N]である前記複数のトランスデューサーのそれぞれのトランスデューサー利得Pi(160)を計算すること(133)と、
の方法を実行するように構成された、第3のモジュールと、
第4のモジュール(140)であって、
前記トランスデューサー有効数(159)によって前記利得(162)を除算することによって、前記複数のN個のトランスデューサーのそれぞれの以下の初期利得値Gi(163)を計算すること(142)と、
の方法を実行するように構成された、第4のモジュール(140)と、
を備え、
該システムは、
前記複数のトランスデューサーから、前記オーディオオブジェクトに最も接近した第1のトランスデューサーα(155)及び第2のトランスデューサーβ(156)を識別すること(122)と、
前記第1のトランスデューサーα(155)及び前記第2のトランスデューサーβ(156)に対するステレオパン法則に従って前記利得Qα(157)及びQβ(158)を計算すること(123)と、
の方法を実行するように構成された第2のモジュール(120)を更に備え、
前記第3のモジュール(130)は、
前記オーディオオブジェクト角(153)に本質的に等しい仮想トランスデューサー角を有する仮想トランスデューサーを作成し、該仮想トランスデューサー角をN個のトランスデューサー角(154)のリストに加え、それによって、N+1個のトランスデューサー角の拡張されたリストを作成する追加のサブステップ(131)と、
前記トランスデューサー利得を計算する変更されたサブステップ(133)であって、
によって、前記仮想トランスデューサー角に対応する仮想トランスデューサー利得PN+1(161)を計算する追加のサブステップを、実行するように更に構成され、
前記第4のモジュール(140)は、
前記第2のモジュール(120)において計算された前記利得Qα(157)及びQβ(158)を用いることによって前記第1のトランスデューサーα(155)及び前記第2のトランスデューサーβ(156)にわたって前記仮想トランスデューサー利得PN+1(161)を再分配し、
に従って、前記第1のトランスデューサーα(155)の変更された利得P'α(162)と、前記第2のトランスデューサーβ(156)の変更された利得P'β(162)とを得る追加のサブステップ(141)、
を実行するように更に構成され、
前記初期利得値Gi(163)の前記計算は、前記第1のトランスデューサーα(155)の前記利得Pαの代わりに前記変更された利得P'α(162)と、前記第2のトランスデューサーβ(156)の前記利得Pβの代わりに前記変更された利得P'β(162)とを用いて行われる、
ことを特徴とする、システム。 - 前記ステレオパン法則は、タンジェントパン法則、サインコサインパン法則のうちの任意のもの又は任意の組み合わせである、請求項5に記載のシステム。
- 天井、前壁及び側壁を備える平行六面体室の内側表面上に位置決めされた複数のN個の音響トランスデューサーにわたって空間化回復を行うようにオーディオオブジェクトを処理するシステムであって、Nは少なくとも2に等しく、前記音響トランスデューサーは、X軸、Y軸及びZ軸を備えるXYZ正規直交フレームに従って位置決めされ、前記Z軸は、前記天井に向かって延在し、前記天井と直交し、前記Y軸は、前記前壁に向かって延在し、前記前壁と直交し、前記X軸は、前記側壁に向かって延在し、前記側壁と直交し、前記トランスデューサー及び前記オーディオオブジェクトのそれぞれは、横座標の前記XYZ正規直交フレームに関するデカルト座標(200)を有し、前記オーディオオブジェクトは、前記XYZ正規直交フレームに関する拡散値を有し、該システムは、
前記複数のトランスデューサーのそれぞれのZ利得(207)を取得する第1のステップ(201)と、
Zレイヤを効果的に構築するトランスデューサー配置の一意のZ座標リストを求める第2のステップ(202)と、
前記複数のトランスデューサーのそれぞれについて、Y利得(208)を取得する第3のステップ(203)と、
前記Zレイヤごとに、Y行を効果的に構築する一意のY座標リストを求める第4のステップ(204)と、
前記複数のトランスデューサーのそれぞれについて、X利得(209)を取得する第5のステップ(205)と、
前記X利得(209)、前記Y利得(208)及び前記Z利得(207)を要素ごとに乗算し、2ノルム正規化を適用して、前記トランスデューサー配置全体の最終的なトランスデューサー利得(210)を取得する第6のステップ(206)と、
を含む方法を実行するように構成され、
前記第1のステップ(201)において前記Z利得(207)を前記取得することは、前記複数のトランスデューサーの前記Z横座標及び前記Z拡散値のみを用いて、前記Z軸に沿って、請求項1又は2に記載の方法を実行され、
前記第3のステップ(203)において前記Y利得(208)を前記取得することは、前記Y軸に沿って、請求項1又は2に記載の方法を実行され、及び、前記Zレイヤのそれぞれについて、前記ZレイヤのトランスデューサーのY横座標及び前記Y拡散値のみを用いて、前記Y軸に沿って、請求項1又は2に記載の方法を実行され、
前記第5のステップ(205)において前記X利得(209)を前記取得することは、各Zレイヤ及び各Y行について、前記行のトランスデューサーのX横座標及び前記X拡散値のみを用いて、前記X軸に沿って、請求項1又は2に記載の方法を実行される、
ことを特徴とする、システム。 - 球の内側表面上に位置決めされた複数のN個の音響トランスデューサーにわたって空間化回復を行うようにオーディオオブジェクトを処理するシステムであって、Nは少なくとも2に等しく、前記オーディオオブジェクトは、オーディオオブジェクト位置及びオーディオオブジェクト拡散を有し、該システムは、
第1のプロセス(301)を実行するステップであって、該第1のプロセスは、
前記複数のトランスデューサー、前記オーディオオブジェクト位置及び前記オーディオオブジェクト拡散に基づいて前記トランスデューサー有効数βiを事前計算するサブステップと、
1とその元の値との間でアフィン関数によってβiを変更し、トランスデューサー密度を徐々に考慮し、変更されたトランスデューサー有効数(313)を得るサブステップと、
を含む、ステップと、
所与のオブジェクト座標について、第2のプロセスを実行するステップであって、該第2のプロセスは、
メッシュにおける各小面のベクトルベース振幅パン(VBAP)利得を計算し、ここで、該トランスデューサーは、該メッシュの頂点に位置決めされ、そして、前記トランスデューサー利得Qiのそれぞれが正である取り囲むアクティブな小面を見つけ、それ以外の利得を廃棄して、3つのVBAP利得(314)を得る第1のステップ(302)と、
前記トランスデューサー配置内に、前記オーディオオブジェクト位置(311)に位置決めされる仮想トランスデューサーを作成し、前記変更された配置がN+1個のトランスデューサーを備えるようにする第2のステップ(303)と、
前記N+1個のトランスデューサーの元のスピーカー配置補正振幅パン(SPCAP)利得(315)P i (θ is )を計算する第3のステップ(304)と、
前記第1のステップ(302)において計算された前記3つのVBAP利得Qi(312)と、前記元のSPCAP利得(315)とを用いることによって前記仮想の第(N+1)のトランスデューサーの前記計算された利得を再分配し、N個の変更されたSPCAP利得(316)を得る第4のステップ(305)と、
以下の式のように、前記第1のシステムによって事前計算された前記変更されたトランスデューサー有効数(313)によって前記元のSPCAP利得(316)P i (θ is )を除算することによって、前記初期利得値G i (θ s )(317)を計算する第5のステップ(306)と、
を含む、ステップと、
を実行するように構成され、
前記トランスデューサー有効数(313)の前記計算は、以下の式を用い、
前記第2のプロセスの前記第3のステップ(304)は、以下の式を用い、
前記第2のプロセスの前記第4のステップ(305)は、以下の式を用い、
ことを特徴とする、システム。 - 請求項5又は6に記載のシステムにおける請求項1又は2に記載の方法の使用。
- 請求項7に記載のシステムにおける請求項3に記載の方法の使用。
- 請求項8に記載のシステムにおける請求項4に記載の方法の使用。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17153650 | 2017-01-27 | ||
EP17153650.1 | 2017-01-27 | ||
PCT/EP2018/052160 WO2018138353A1 (en) | 2017-01-27 | 2018-01-29 | Processing method and system for panning audio objects |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020505860A JP2020505860A (ja) | 2020-02-20 |
JP2020505860A5 JP2020505860A5 (ja) | 2020-12-24 |
JP7140766B2 true JP7140766B2 (ja) | 2022-09-21 |
Family
ID=57914862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019540554A Active JP7140766B2 (ja) | 2017-01-27 | 2018-01-29 | オーディオオブジェクトをパンする処理方法及び処理システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11012803B2 (ja) |
EP (1) | EP3574661B1 (ja) |
JP (1) | JP7140766B2 (ja) |
CN (2) | CN110383856B (ja) |
CA (1) | CA3054237A1 (ja) |
WO (1) | WO2018138353A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10904687B1 (en) | 2020-03-27 | 2021-01-26 | Spatialx Inc. | Audio effectiveness heatmap |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130329922A1 (en) | 2012-05-31 | 2013-12-12 | Dts Llc | Object-based audio system using vector base amplitude panning |
JP2016518049A (ja) | 2013-03-28 | 2016-06-20 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 任意n角形のメッシュとして編成されたスピーカーを用いたオーディオレンダリング |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB394325A (en) | 1931-12-14 | 1933-06-14 | Alan Dower Blumlein | Improvements in and relating to sound-transmission, sound-recording and sound-reproducing systems |
US2298618A (en) | 1940-07-31 | 1942-10-13 | Walt Disney Prod | Sound reproducing system |
CN1937854A (zh) * | 2005-09-22 | 2007-03-28 | 三星电子株式会社 | 用于再现双声道虚拟声音的装置和方法 |
KR100644715B1 (ko) * | 2005-12-19 | 2006-11-10 | 삼성전자주식회사 | 능동적 오디오 매트릭스 디코딩 방법 및 장치 |
US8059837B2 (en) * | 2008-05-15 | 2011-11-15 | Fortemedia, Inc. | Audio processing method and system |
KR101953279B1 (ko) | 2010-03-26 | 2019-02-28 | 돌비 인터네셔널 에이비 | 오디오 재생을 위한 오디오 사운드필드 표현을 디코딩하는 방법 및 장치 |
JP5740531B2 (ja) * | 2011-07-01 | 2015-06-24 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オブジェクトベースオーディオのアップミキシング |
TW202339510A (zh) * | 2011-07-01 | 2023-10-01 | 美商杜比實驗室特許公司 | 用於適應性音頻信號的產生、譯碼與呈現之系統與方法 |
EP2645748A1 (en) | 2012-03-28 | 2013-10-02 | Thomson Licensing | Method and apparatus for decoding stereo loudspeaker signals from a higher-order Ambisonics audio signal |
GB201211512D0 (en) | 2012-06-28 | 2012-08-08 | Provost Fellows Foundation Scholars And The Other Members Of Board Of The | Method and apparatus for generating an audio output comprising spartial information |
US9826328B2 (en) * | 2012-08-31 | 2017-11-21 | Dolby Laboratories Licensing Corporation | System for rendering and playback of object based audio in various listening environments |
BR112015018352A2 (pt) * | 2013-02-05 | 2017-07-18 | Koninklijke Philips Nv | aparelho de áudio e método para operar um sistema de áudio |
US9913064B2 (en) * | 2013-02-07 | 2018-03-06 | Qualcomm Incorporated | Mapping virtual speakers to physical speakers |
KR20230144652A (ko) | 2013-03-28 | 2023-10-16 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 임의적 라우드스피커 배치들로의 겉보기 크기를 갖는 오디오 오브젝트들의 렌더링 |
EP2809088B1 (en) * | 2013-05-30 | 2017-12-13 | Barco N.V. | Audio reproduction system and method for reproducing audio data of at least one audio object |
JP6369465B2 (ja) * | 2013-07-24 | 2018-08-08 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US9712939B2 (en) | 2013-07-30 | 2017-07-18 | Dolby Laboratories Licensing Corporation | Panning of audio objects to arbitrary speaker layouts |
KR102484214B1 (ko) | 2013-07-31 | 2023-01-04 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱 |
US9807538B2 (en) * | 2013-10-07 | 2017-10-31 | Dolby Laboratories Licensing Corporation | Spatial audio processing system and method |
DK3089477T3 (en) * | 2015-04-28 | 2018-09-17 | L Acoustics Uk Ltd | AN APPARATUS FOR REPRESENTING A MULTI CHANNEL SIGNAL AND A METHOD FOR MAKING A MULTI CHANNEL SIGNAL |
-
2018
- 2018-01-29 CN CN201880015524.4A patent/CN110383856B/zh active Active
- 2018-01-29 CN CN202111428342.XA patent/CN113923583A/zh active Pending
- 2018-01-29 US US16/481,205 patent/US11012803B2/en active Active
- 2018-01-29 CA CA3054237A patent/CA3054237A1/en active Pending
- 2018-01-29 WO PCT/EP2018/052160 patent/WO2018138353A1/en unknown
- 2018-01-29 EP EP18701193.7A patent/EP3574661B1/en active Active
- 2018-01-29 JP JP2019540554A patent/JP7140766B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130329922A1 (en) | 2012-05-31 | 2013-12-12 | Dts Llc | Object-based audio system using vector base amplitude panning |
JP2016518049A (ja) | 2013-03-28 | 2016-06-20 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 任意n角形のメッシュとして編成されたスピーカーを用いたオーディオレンダリング |
Non-Patent Citations (2)
Title |
---|
A Novel Multichannel Panning Method for Standard and Arbitrary Loudspeaker Configurations,Audio Engineering Society Convention Paper,Audio Engineering Society,2004年 |
UNIFORM SPREADING OF AMPLITUDE PANNED VIRTUAL SOURCES,1999 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics,IEEE,1999年 |
Also Published As
Publication number | Publication date |
---|---|
CN110383856B (zh) | 2021-12-10 |
CN113923583A (zh) | 2022-01-11 |
EP3574661B1 (en) | 2021-08-11 |
US20190373394A1 (en) | 2019-12-05 |
CA3054237A1 (en) | 2018-08-02 |
US11012803B2 (en) | 2021-05-18 |
CN110383856A (zh) | 2019-10-25 |
WO2018138353A1 (en) | 2018-08-02 |
EP3574661A1 (en) | 2019-12-04 |
JP2020505860A (ja) | 2020-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230254657A1 (en) | Audio processing device and method therefor | |
US10674301B2 (en) | Fast and memory efficient encoding of sound objects using spherical harmonic symmetries | |
JP2020025310A (ja) | 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング | |
US11943605B2 (en) | Spatial audio signal manipulation | |
JP6513703B2 (ja) | 辺フェージング振幅パンニングのための装置および方法 | |
RU2655994C2 (ru) | Устройство обработки звука и система обработки звука | |
JP2020099093A (ja) | 音声処理装置および方法、並びにプログラム | |
KR20220044973A (ko) | 다중-층 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념 | |
JP7140766B2 (ja) | オーディオオブジェクトをパンする処理方法及び処理システム | |
US9338552B2 (en) | Coinciding low and high frequency localization panning | |
Jeon et al. | Virtual source panning using multiple-wise vector base in the multispeaker stereo format | |
Ge et al. | Improvements to the matching projection decoding method for ambisonic system with irregular loudspeaker layouts | |
JP2024507945A (ja) | オーディオオブジェクトをレンダリングするための装置及び方法 | |
CN115244501A (zh) | 音频对象的表示和渲染 | |
Zhu et al. | The design of ambisonics decoders for irregular speaker array conforming to subjective perception | |
Trevino Lopez et al. | Evaluation of different spatial windows for a multi-channel audio interpolation system | |
Romanov et al. | Manipulations improving amplitude panning on small standard loudspeaker arrangements for surround with height (Manipulative Verbesserung von Amplitudenpanning auf kleinen Lautsprecheranordnungen für Surround mit Deckenlautsprechern) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220901 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7140766 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |