JP6980837B2 - 特異値分解を用いる高次Ambisonics復号の方法と装置 - Google Patents
特異値分解を用いる高次Ambisonics復号の方法と装置 Download PDFInfo
- Publication number
- JP6980837B2 JP6980837B2 JP2020087853A JP2020087853A JP6980837B2 JP 6980837 B2 JP6980837 B2 JP 6980837B2 JP 2020087853 A JP2020087853 A JP 2020087853A JP 2020087853 A JP2020087853 A JP 2020087853A JP 6980837 B2 JP6980837 B2 JP 6980837B2
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- vector
- decoder
- loudspeaker
- mode matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 31
- 238000000354 decomposition reaction Methods 0.000 title claims description 24
- 239000011159 matrix material Substances 0.000 claims description 199
- 239000013598 vector Substances 0.000 claims description 99
- 238000004091 panning Methods 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 19
- 241000657949 Elderberry carlavirus D Species 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 230000036962 time dependent Effects 0.000 description 7
- 230000008571 general function Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000009977 dual effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/308—Electronic adaptation dependent on speaker or headphone connection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- General Physics & Mathematics (AREA)
- Algebra (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
<複素ベクトル空間>
Ambisonicsでは複素関数を扱わなければならない。それゆえ、複素ベクトル空間に基づく記法を導入する。これは抽象的な複素ベクトルで用いられ、3次元「xyz」座標系から知られている実幾何学的ベクトルを表現するものではない。そうではなく、各複素ベクトルは、物理系の可能性のある状態を記述し、d個の成分xiを有するd次元空間における列ベクトルにより構成され、ディラックによれば、これらの列指向ベクトルはケットベクトルとよばれ、|x>と記される。d次元空間において、任意の|x>は、その成分xi及びd個の正規直交基底ベクトル|ei>により構成される:
内積は同じ次元のブラ及びケットベクトルから構成でき、複素スカラー値になる。ランダムベクトル|x>が正規直交ベクトル基底におけるその成分で記述されるとき、特定の基底(base)の特定の成分、すなわち|x>の|ei>への投影は、内積により与えられる:
次元m×1のケット及び次元1×nのブラベクトルが外積によりかけられると、m行n列のマトリックスAが得られる:
Ambisonicsベースの説明は、完全なサウンドフィールドを時間変化するマトリックス(複数)にマッピングするのに必要な依存性を考慮する。高次Ambisonics(HOA)符号化又は復号マトリックス(複数)では、行(列)の数は音源またはサウンドシンクからの特定の方向に関する。
簡単のため、方向部分のみを考慮する(ラジアル依存性はベッセル関数により記述される)。そして、特定の方向ΩSは、列ベクトル|Yn m(ΩS)>により記述される。ここで、nはAmbisonics次数を表し、mはAmbisonics次数Nのインデックスである。対応する値は、それぞれm=1,・・・,N及びn=−m,・・・、0,・・・,mである。
[外1]
と仮定する。しかし、ラウドスピーカ位置は、音源位置とは異なり得る。すなわち有限
Ambisonics次数の場合、|x>で記述される実数値の音源信号と、|y>で記述されるラ
ウドスピーカ信号は異なる。それゆえ、|x>を|y>にマッピングするパニングマトリックスGを用いることができる。そして、式(8)及び(10)から、エンコーダ及びデコーダのチェイン演算は:
今後の式を簡単にするため、「発明の概要」セクションまでパニングマトリックスは無視する。
必要な基底ベクトルの数が無限になると、離散的基底から連続的基底に変えられる。
それゆえ、関数f無限数のモード成分を有するベクトルとして解釈できる。
これは数学的には「汎関数」と呼ばれている。決定論的に、ケットベクトルから特定の出力ケットベクトルへのマッピングを行うからである。
これは、関数fとケット|x>間の内積により記述できる。これは、一般的には複素数cとなる:
エルミート演算子に制約がある限り、以下の特徴を考慮しなければならない。
エルミート演算子は常に次の特徴を有する:
・ 実固有値。
・ 異なる固有値に対する直交固有関数の完全なセット。
それゆえ、すべての関数はこれらの固有関数により構成することができる。非特許文献2を参照。任意の関数は、複素定数Cn mを有する球面調和関数Yn m(Θ,Φ)の線形結合として表すことができる:
<特異値分解>
特異値分解(SVD,非特許文献3を参照)により、m行n列の任意のマトリックスAの3つのマトリックス(複数)U,Σ,及びV†への分解が可能となる。式(19)を参照。
・ Uの最初のr列:Aの列空間
・ Uの最後のm−r列:A†のヌル空間
・ Vの最初のr列:Aの行空間
・ Vの最後のn−r列:Aのヌル空間
マトリックスΣはすべての特異値を含む。これはAの振る舞いを特徴付けるために用いることができる。一般的に、Σはm×nの正方対角マトリックスであり、r個の対角要素σiまでを有し、ランクrはA(r≦min(m,n))の線形独立な列及び行の数を与える。それは降順で特異値を含む。すなわち、式(20)及び(21)において、σ1は最大値を有し、σrは最小値を有する。
<Ambisonicsマトリックス(複数)への影響>
高次Ambisonics(HOA)モードマトリックス(複数)Ξ及びΨは、音源又はラウドスピーカの位置(式(6)参照)、及びそのAmbisonics次数により直接的に影響される。ジオメトリが規則的であり、すなわちソース又はラウドスピーカ位置間の相互の角距離がほぼ等しいとき、式(27)を解くことができる。
たちの悪いマトリックス(複数)は大きいκ(A)を有するため、問題である。反転又は疑似反転の場合、たちの悪いマトリックスでは、小さい特異値σiが非常に支配的になるという問題がある。P.Ch. Hansen著「Rank-Deficient and Discrete Ill-Posed problems: Numerical Aspects of Linear Inversion」(Society for Industrial and Applied Mathematics (SIAM), 1998)では、特異値がどう減衰するかを記述することにより、2つの基本的タイプの問題が区別されている(第1.1章、第2-3ページ):
・ ランク欠損(rank-deficient)問題、これはマトリックス(複数)が大きい特異値及び小さい特異値のクラスター間にギャップを有する問題である(非漸次的減衰);
・ 離散的不良設定問題、これは平均的に、マトリックス(複数)のすべての特異値が漸次的にゼロに減衰する、すなわち特異値スペクトルにギャップがない。
<信号に関連する依存性>
その反転問題の低減は、例えば、モードマトリックスのランクの低減により、すなわち最小特異値を回避することにより実現できる。しかし、そうすると閾値を最小の可能性のある値σrに使うべきである(式(20)及び(21)を参照)。かかる最小特異値の最適値は、上記のHansenの著作に記載されている。Hansenは、σopt=1/√(SNR)を提案しており、これは入力信号の特性に依存する(ここでは、|x>により記述する)。式(27)から、この信号は再生に影響するが、信号の依存性はデコーダでは制御できないことが分かる。
<非正規直交基底の問題>
状態ベクトル|as>は、HOAエンコーダ及びHOAデコーダ間で伝送されるが、各システム式(25)及び(26)によると、異なる基底で記述される。しかし、正規直交基底が使われれば、状態は変化しない。そして、モード成分は、ある基底から他の基底に投影できる。そのため、原理的には、各ラウドスピーカセットアップ又はサウンド記述は、正規直交基底系上で構成されるべきである。これにより、 これらの基底(base)間のベクトル表現の変更、例えば、Ambisonicsでは、3次元空間から2次元副空間への投影が可能となるからである。
上記の問題は、本発明プロセスにより避けることができ、請求項1に開示の方法により解決される。この方法を利用する装置は、請求項2に開示される。
本発明によると、復号プロセスの元の基底と組み合わせた符号化プロセスの逆基底を、最低モードマトリックスランク及びトランケートされた特異値分解を考慮して用いる。
原理的には、本発明の方法は、特異値分解を用いた高次Ambisonics符号化と復号に好適であり、前記方法は:
オーディオ入力信号を受け取るステップと、
音源の方向値及び前記オーディオ入力信号のAmbisonics次数とに基づき、球面調和関数の対応するケットベクトル及び対応するエンコーダモードマトリックスを構成するステップと、
前記エンコーダモードマトリックスに特異値分解を実行するステップであって、2つの対応するエンコーダユニタリーマトリックス(複数)及び特異値及び関連するエンコーダモードマトリックスランク(rs)を含む対応するエンコーダ対角マトリックスが出力されるステップと、
前記オーディオ入力信号、前記特異値及び前記エンコーダモードマトリックスランクから閾値を決定するステップと、
前記特異値の少なくとも1つを前記閾値と比較し、対応する最終エンコーダモードマトリックスランクを決定するステップと、
ラウドスピーカの方向値及びデコーダAmbisonics次数に基づき、前記方向値に対応する方向にある特定のラウドスピーカの球面調和関数の対応するケットベクトル及び対応するデコーダモードマトリックスを構成するステップと、
前記デコーダモードマトリックスに特異値分解を実行するステップであって、2つの対応するデコーダユニタリーマトリックス(複数)及び特異値を含む対応するデコーダ対角マトリックスが出力され、前記デコーダモードマトリックスの対応する最終的ランクが決定されるステップと、
前記最終エンコーダモードマトリックスランク及び前記最終デコーダモードマトリックスランクから最終的モードマトリックスランクを決定するステップと、
前記エンコーダユニタリーマトリックス(複数)、前記エンコーダ対角マトリックス及び前記最終的モードマトリックスランクから前記エンコーダモードマトリックスの随伴疑似逆を計算し、結果としてAmbisonicsケットベクトルを求め、
前記最終的モードマトリックスランクにより前記Ambisonicsケットベクトルの成分数を低減し、適応されたAmbisonicsケットベクトルを提供するステップと、
前記適応されたAmbisonicsケットベクトル、前記デコーダユニタリーマトリックス(複数)、前記デコーダ対角マトリックス及び前記最終的モードマトリックスランクから随伴デコーダモードマトリックスを計算し、結果として得られるすべてのラウドスピーカの出力信号のケットベクトルを求めるステップとを含む。
オーディオ入力信号を受け取る手段と、
音源の方向値及び前記オーディオ入力信号のAmbisonics次数とに基づき、球面調和関数の対応するケットベクトル及び対応するエンコーダモードマトリックスを構成する手段と、
前記エンコーダモードマトリックスに特異値分解を実行する手段であって、2つの対応するエンコーダユニタリーマトリックス(複数)及び特異値及び関連するエンコーダモードマトリックスランクを含む対応するエンコーダ対角マトリックスが出力される手段と、
前記オーディオ入力信号、前記特異値及び前記エンコーダモードマトリックスランクから閾値を決定する手段と、
前記特異値の少なくとも1つを前記閾値と比較し、対応する最終エンコーダモードマトリックスランクを決定する手段と、
ラウドスピーカの方向値及びデコーダAmbisonics次数に基づき、前記方向値に対応する方向にある特定のラウドスピーカの球面調和関数の対応するケットベクトル及び対応するデコーダモードマトリックスを構成する手段と、
前記デコーダモードマトリックスに特異値分解を実行する手段であって、2つの対応するデコーダユニタリーマトリックス(複数)及び特異値を含む対応するデコーダ対角マトリックスが出力され、前記デコーダモードマトリックスの対応する最終的ランクが決定される手段と、
前記最終エンコーダモードマトリックスランク及び前記最終デコーダモードマトリックスランクから最終的モードマトリックスランクを決定する手段と、
前記エンコーダユニタリーマトリックス(複数)、前記エンコーダ対角マトリックス及び前記最終的モードマトリックスランクから前記エンコーダモードマトリックスの随伴疑似逆を計算し、結果としてAmbisonicsケットベクトルを求め、
前記最終的モードマトリックスランクにより前記Ambisonicsケットベクトルの成分数を低減し、適応されたAmbisonicsケットベクトルを提供する手段と、
前記適応されたAmbisonicsケットベクトル、前記デコーダユニタリーマトリックス(複数)、前記デコーダ対角マトリックス及び前記最終的モードマトリックスランクから随伴デコーダモードマトリックスを計算し、結果として得られるすべてのラウドスピーカの出力信号のケットベクトルを求める手段とを含む装置。
<HOAエンコーダ>
逆基底ベクトルを説明するため、ケットベースの記述はブラ空間に変更される。ブラ空間では、すべてのベクトルがケットのエルミート共役又は随伴である。これは、モードマトリックス(複数)の疑似反転を用いることにより実現される。
そして、式(8)によると、(デュアル)ブラベースのAmbsonicsベクトルは、(デュアル)モードマトリックスΞdを用いても再定式化できる:
これにより、Ambisonics成分の次の記述が得られる:
<HOAデコーダ>
デコーダが元々疑似逆に基づく場合、ラウドスピーカ信号|y>を導くため:
<エンコーダにおける規格化>
規格化は異なる方法で実行できる。例えば、トランケートされたSVDを介して閾値を用いることにより、実行できる。SVDによりσiが降順に得られ、ここで、最低レベル又は最高インデックス(σrで示す)のσiは、非常に頻繁に切り替わる成分を含み、及びノイズ効果及びSNRが生じる(式(20)及び(21)及び上記のHansenの著作を参照)。このように、トランケーションSVD(TSVD)はすべてのσi値を閾値と比較し、及びその閾値σεを越える雑音が大きい成分を無視する。閾値σεは一定であってもよく、又は入力信号のSNRに応じて最適に修正されてもよい。
マトリックスのトレースは、すべての対角マトリックス要素の和を意味する。
TSVDブロック(図1乃至3の10、20、30)は次のタスクを有する:
・ モードマトリックスランクrの計算;
・ 閾値より低いノイズが大きい成分を除去し、及び最終的モードマトリックスランクrfinを設定。
このように、エンコーダサイド(図1乃至3の15、25、35)のブロックONBs又はデコーダサイド(図1乃至3の19、29、39)のブロックONBlが特異値を修正し、規格化前後のtrace(Σ2)が保存されるようになる(図5及び図6を参照):
・ 元の及び目標のトランケートされたマトリックスΣtのトレースが一定(trace(Σ2)=trace(Σt2))になるように、σi(for i=1・・・rfin)の残りを修正する。
・ 次式を満たす定数値Δσを計算する
・ {U†}基底における低減されたケット|a’>の使用。これにはランクが低減されるとの長所がある。
それゆえ、本発明では、SVDを両サイドで用いるが、これは、正規直交基底及び個別のマトリックス(複数)Ξ及びΨの特異値を行うためだけではなく、そのランクrfinを求めるためでもある。
<成分適応>
Ξのソースランクを考慮することにより、閾値又は最終的ソースランクに対して対応するσSの一部を無視することにより、成分数を低減でき、よりロバストな符号化マトリックスを提供できる。それゆえ、デコーダサイドにおける対応する成分数により送信されるAmbisonics成分の数の適応が行われる。通常、それはAmbisonics次数Oに依存する。ここでは、エンコーダマトリックスΞのSVDブロックから得られた最終的モードマトリックスランクrfineと、デコーダマトリックスΨのSVDブロックから得られた最終的モードマトリックスランクrfindとが考慮されるべきである。Adapt#Compステップ/ステージ16において、成分数は次のように適応される:
・ rfine=rfind:何も変わらず、圧縮しない;
・ rfine<rfind:圧縮、デコーダマトリックスΨ†中のrfine−rfind列は無視される=>エンコーダ及びデコーダ演算が低減される;
・ rfine>rfind:送信前にAmbisonics状態ベクトルのrfine>rfind成分をキャンセル、すなわち圧縮する。エンコーダマトリックスΞ中のrfine−rfind行を無視する=>エンコーダ及びデコーダ演算が低減される。
結果として、エンコーダサイド及びデコーダサイドで用いられる最終的モードマトリックスランクrfinは、rfind及びrfineのうち小さい方である。
このように、エンコーダ及びデコーダの間に、他のサイドのランクを交換する双方向信号があるとき、ランク差を用いて、可能な圧縮を改善し、及びエンコーダにおける及びデコーダにおける演算数を低減することができる。
<パニング関数の考慮>
パニング関数fs、flの使用、又はパニングマトリックスGの使用は、まばらかつ不規則なラウドスピーカセットアップに対して得られたエネルギー分布に関する問題のため、前述した。式(11)を参照されたい。これらの問題は、Ambisonicsで通常用いることができる限定された次数を処理しなければならない(Ambisonicsマトリックス(複数)への影響ないし非正規直交基底に伴う問題のセクションを参照されたい)。
パニングマトリックスGに対する要請に関して、符号化に続き、一部の音響ソースのサウンドフィールドはAmbisonics状態ベクトル|aS>により表される良い状態にあると仮定する。しかし、デコーダサイドにおいて、状態がどうなっているか正確には分からない。すなわち、系の現在の状態に関する完全な知識はない。それゆえ、式(9)及び(8)の間の内積を保存する逆基底を取る。
エンコーダサイドにおいてすでに疑似逆を用いているので、次の長所がある:
・ 逆基底の使用はエンコーダ及びデコーダ基底(<xi|xj>=δj i)間の双直交性を満たす;
・ 符号化/復号チェインにおける演算数がより小さい;
・ SNR振る舞いに関する数値的側面の改善;
・ 線形独立のものだけでなく修正されたモードマトリックス(複数)の正規直交列;
・ 基底の変更の単純化;
・ ランク-1近似の使用により、メモリ使用量(memory effort)が減少し、及び演算数が減少し、特に最終的ランクが低い場合にそうである。一般的に、M×Nマトリックスの場合、M*N演算ではなく、M+N演算のみが必要である;
・ デコーダにおける疑似逆を回避できるので、デコーダサイドにおける適応が単純化される;
・ 数値的に非安定なσの逆問題を回避できる。
図1では、エンコーダ又は送信者サイドにおいて、音源のs=1,・・・,S個の異なる方向値ΩS及びAmbisonics次数NSがステップまたはステージ11に入力され、それから、次元O×Sを有するエンコーダモードマトリックスΞO×Sと球面調和関数の対応するケットベクトル|Y(ΩS)>を形成する。マトリックスΞO×Sは、入力信号ベクトル|x(ΩS)>に対応して生成される。入力信号ベクトルは、異なる方向ΩSのS個の音源信号を有する。それゆえ、マトリックスΞO×Sは、球面調和ケットベクトル|Y(ΩS)>の集まりである。信号x(ΩS)だけでなく位置も時間とともに変わるので、計算マトリックスΞO×Sは動的に実行され得る。このマトリックは、ソースの非正規直交基底NONBSを有する。入力信号|x(ΩS)>及びランク値rSから、特定の特異な閾値σεがステップまたはステージ12において決定される。エンコーダモードマトリックスΞO×S及び閾値σεはトランケーション特異値分解TSVD処理10に入力される(上記の特異値分解セクション参照)。この処理は、ステップまたはステージ13において、モードマトリックスΞO×Sに対して、その特異値を求めるため、特異値分解を行い、それにより一方で、ユニタリーマトリックス(複数)U及びV†、及びrS個の特異値σ1・・・σrSを含む対角マトリックスΣが出力され、他方で、関連するエンコーダモードマトリックスランクrSが決定される(備考:σiは、SVD(Ξ)=UΣV+のマトリックスΣからのi番目の特異値である)。
ステップ/ステージ12において、閾値σεは、エンコーダにおけるセクション規格化に応じて決められる。閾値σε用いられるσSi値の数をトランケートされた又は最終のエンコーダモードマトリックスランクrfineに限定できる。閾値σε所定値に設定でき、又は入力信号の信号対ノイズ比SNRに適応させ得る:σε,opt=1/√(SNR)、これによりすべてのS個の音源信号|x(ΩS)>のSNRは所定数のサンプル値にわたり測定される。
デコーダサイドに関して、ラウドスピーカのl=1,…,L 個の方向値Ωl及びデコーダAmbisonics次数Nlから、ブロック17において関連する信号|y(Ωl)>のラウドスピーカ位置に対応して、方向Ωlの特定のラウドスピーカの球面調和関数の対応するケットベクトル、|Y(Ωl)>、及び次元0×Lを有する対応するデコーダモードマトリックスΨO×Lがステップまたはステージ18において決定される。
ステップまたはステージ16において、上記のように、最終エンコーダモードマトリックスランクrfine及び最終デコーダモードマトリックスランクrfindから、最終的モードマトリックスランクrfinが決定される。最終的モードマトリックスランクrfinはステップ/ステージ15及びステップ/ステージ17に入力される。
[外2]
を考慮する:。ステップ/ステージ15の出力は、対応する時間従属Ambisonicsケット又は状態ベクトル|a'sである。上記のHOAエンコーダセクションを参照されたい。
Ambisonicsケット又は状態ベクトル|a’l>から、デコーダサイドマトリックス(複数)Ul †、Vl、Σl及びモードマトリックスΨO×Lから導かれるランク値rlから、及びステップ/ステージ16からの最終的モードマトリックスランク値rfineから、次元L×rfind及びラウドスピーカONBlの正規直交基底を有する随伴デコーダモードマトリックス(Ψ)†が計算され、すべてのラウドスピーカの時間従属出力信号のケットベクトル|y(Ωl)>が結果として得られる。上記のセクション「HOAデコーダ」を参照されたい。復号は、通常のモードマトリックスの共役転置を用いて行われる。通常のモードマトリックスは、特定のラウドスピーカ位置に依存する。
図1のステップ/ステージ11ないし19は、原理的に、図2のステップ/ステージ21ないし29、及び図3のステップ/ステージ31ないし39にそれぞれ対応している。
図1と比較して、図3において、パニングマトリックスGは、ステップ/ステージ37の出力において、すべてのラウドスピーカの時間従属出力信号の予備的ケットベクトルに対するパニング処理371を制御する。これにより、すべてのラウドスピーカの時間従属出力信号の適応されたケットベクトル|y(Ωl)>が得られる。
図4は、エンコーダモードマトリックスΞO×Sの特異値分解SVD処理40に基づき閾値σεを決定する処理をより詳細に示す。そのSVD処理は、マトリックスΣ(σ1からのσrS範囲を動く降順の対角全特異値σiを含む、式(20)及び(21)を参照)及びマトリックスΣのランクrSを与える。
図5は、ステップ/ステージ15、25、35における、リデューストモードマトリックスランク、及び|a’S>の計算の場合における特異値の再計算を示す。図1/2/3のブロック10/20/30からのエンコーダ対角マトリックスΣSは、値rSを用いて、全エネルギー
[外3]
を計算するステップまたはステージ51に、及び値rfineを用いて、低減された全エネルギー
[外4]
を計算する、ステップまたはステージ52に、及びステップまたはステージ54に入力される。全エネルギー値と低減された全エネルギー値との間の差ΔE、値trace(Σrfine)、及び値rfineは、
[外5]
を計算するステップまたはステージ53に入力される。
[外6]
により記述されるエネルギーを保つことを保証するために、必要である。エンコーダ又はデコーダサイドにて、エネルギーが行列縮約により低減されるとき、かかるエネルギーの損失は、値Δσにより補償される。この値は、すべての残っているマトリックス要素に等しく分配され、すなわち
[外7]
である。
ステップまたはステージ54は、ΣS、Δσ及びrfineから
[外8]
を計算する。
入力信号ベクトル|x(ΩS)>はマトリックスVs †にかけられる。結果にΣt †をかける。後者のかけ算の結果はケットベクトル|a’s>である。
[外9]
を計算するステップまたはステージ61に、値rfindを用いて低減された全エネルギー
[外10]
を計算するステップまたはステージ62に、及びステップまたはステージ64に入力される。全エネルギー値及び低減された全エネルギー値との間の差ΔE、値trace(Σrfind)、及び値rfindは、
[外11]
を計算するステップまたはステージ63に入力される。
ステップまたはステージ64は、Σl、Δσ及びrfindから、
[外12]
を計算する。
ケットベクトル|a’s>マトリックスΣtにかけられる。結果は、マトリックスVにかけられる。後者の乗算結果はすべてのラウドスピーカの時間従属出力信号のケットベクトル|y(Ωl)>である。
本発明プロセスは、単一のプロセッサ又は電子回路、又は並行して動作している、及び/又は本発明プロセスの異なる部分で動作している複数のプロセッサ又は電子回路により実行できる。
Claims (9)
- 復号装置によって実行される、高次Ambisonics(HOA)復号の方法であって、
ラウドスピーカの球面調和関数の状態を記述するベクトルに関する情報を受け取ることと、
球面調和関数の状態を記述するベクトルを決定することであって、デコーダモードマトリックスと、前記デコーダモードマトリックスの特異値分解とを決定することにより決定することを含み、前記ベクトルは前記ベクトルに関する情報のマトリックスに基づく、ことと、
前記球面調和関数の状態を記述するベクトルに基づいて、ベクトルベース信号のHOA表現を決定することとを含み、
前記ベクトルに関する情報マトリックスは音源の方向に基づいて適応されたものである、
方法。 - ラウドスピーカの方向値とデコーダAmbisonics次数とに関する情報を受け取り、前記方向値に対応する方向にあるラウドスピーカのベクトルを決定し、ラウドスピーカの方向値と前記デコーダAmbisonics次数とに基づいて前記デコーダモードマトリックスを決定することをさらに含む、請求項1に記載の方法。
- 前記デコーダモードマトリックスの特異値分解に基づいて、前記デコーダモードマトリックスの最終的なランクと特異値とを含むデコーダ対角マトリックスと2つの対応するデコーダユニタリマトリックスとを決定することをさらに含む、請求項2に記載の方法。
- 前記ラウドスピーカの前記球面調和関数のベクトルと前記デコーダモードマトリックスとは、線形演算を含む対応するパニング関数と、オーディオ入力信号中の原位置の、ラウドスピーカ出力信号のベクトル中の前記ラウドスピーカの位置へのマッピングとに基づく、
請求項2に記載の方法。 - 高次Ambisonics(HOA)復号する装置であって、
ラウドスピーカの球面調和関数の状態を記述するベクトルに関する情報を受け取るレシーバと、
プロセッサであって、球面調和関数の状態を記述するベクトルを決定することであって、デコーダモードマトリックスと、前記デコーダモードマトリックスの特異値分解とを決定することにより決定することを含み、前記ベクトルは前記ベクトルに関する情報のマトリックスに基づく、プロセッサとを有し、前記プロセッサはさらに、前記球面調和関数の状態を記述するベクトルに基づいて、ベクトルベース信号のHOA表現を決定するように構成され、
前記ベクトルに関する情報マトリックスは音源の方向に基づいて適応されたものである、
装置。 - 前記プロセッサは、前記ラウドスピーカの方向値とデコーダAmbisonics次数とに関する情報を受け取り、前記方向値に対応する方向にあるラウドスピーカのベクトルを決定し、ラウドスピーカの方向値と前記デコーダAmbisonics次数とに基づいて前記デコーダモードマトリックスを決定するようにさらに構成される、請求項5に記載の装置。
- 前記プロセッサは、前記デコーダモードマトリックスの特異値分解に基づいて、前記デコーダモードマトリックスの最終的なランクと特異値とを含むデコーダ対角マトリックスと2つの対応するデコーダユニタリマトリックスとを決定するようにさらに構成される、、
請求項5に記載の装置。 - 前記ラウドスピーカの前記球面調和関数のベクトルと前記デコーダモードマトリックスとは、線形演算を含む対応するパニング関数と、オーディオ入力信号中の原位置の、ラウドスピーカ出力信号のベクトル中の前記ラウドスピーカの位置へのマッピングとに基づく、
請求項5に記載の装置。 - コンピュータにより実行されると、前記コンピュータに請求項1に記載の方法を実行させるコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13306629.0 | 2013-11-28 | ||
EP13306629.0A EP2879408A1 (en) | 2013-11-28 | 2013-11-28 | Method and apparatus for higher order ambisonics encoding and decoding using singular value decomposition |
JP2019041597A JP6707687B2 (ja) | 2013-11-28 | 2019-03-07 | 特異値分解を用いる高次Ambisonics復号の方法と装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019041597A Division JP6707687B2 (ja) | 2013-11-28 | 2019-03-07 | 特異値分解を用いる高次Ambisonics復号の方法と装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020149062A JP2020149062A (ja) | 2020-09-17 |
JP2020149062A5 JP2020149062A5 (ja) | 2021-05-27 |
JP6980837B2 true JP6980837B2 (ja) | 2021-12-15 |
Family
ID=49765434
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016534923A Active JP6495910B2 (ja) | 2013-11-28 | 2014-11-18 | 特異値分解を用いる高次Ambisonics符号化と復号の方法と装置 |
JP2019041597A Active JP6707687B2 (ja) | 2013-11-28 | 2019-03-07 | 特異値分解を用いる高次Ambisonics復号の方法と装置 |
JP2020087853A Active JP6980837B2 (ja) | 2013-11-28 | 2020-05-20 | 特異値分解を用いる高次Ambisonics復号の方法と装置 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016534923A Active JP6495910B2 (ja) | 2013-11-28 | 2014-11-18 | 特異値分解を用いる高次Ambisonics符号化と復号の方法と装置 |
JP2019041597A Active JP6707687B2 (ja) | 2013-11-28 | 2019-03-07 | 特異値分解を用いる高次Ambisonics復号の方法と装置 |
Country Status (7)
Country | Link |
---|---|
US (3) | US9736608B2 (ja) |
EP (3) | EP2879408A1 (ja) |
JP (3) | JP6495910B2 (ja) |
KR (2) | KR102319904B1 (ja) |
CN (4) | CN108093358A (ja) |
HK (3) | HK1246554A1 (ja) |
WO (1) | WO2015078732A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102823277B (zh) * | 2010-03-26 | 2015-07-15 | 汤姆森特许公司 | 解码用于音频回放的音频声场表示的方法和装置 |
US9881628B2 (en) * | 2016-01-05 | 2018-01-30 | Qualcomm Incorporated | Mixed domain coding of audio |
CN111034225B (zh) * | 2017-08-17 | 2021-09-24 | 高迪奥实验室公司 | 使用立体混响信号的音频信号处理方法和装置 |
JP6920144B2 (ja) * | 2017-09-07 | 2021-08-18 | 日本放送協会 | バイノーラル再生用の係数行列算出装置及びプログラム |
US10264386B1 (en) * | 2018-02-09 | 2019-04-16 | Google Llc | Directional emphasis in ambisonics |
CN113115157B (zh) * | 2021-04-13 | 2024-05-03 | 北京安声科技有限公司 | 耳机的主动降噪方法及装置、半入耳式主动降噪耳机 |
CN115938388A (zh) * | 2021-05-31 | 2023-04-07 | 华为技术有限公司 | 一种三维音频信号的处理方法和装置 |
CN117250604B (zh) * | 2023-11-17 | 2024-02-13 | 中国海洋大学 | 一种目标反射信号与浅海混响的分离方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06202700A (ja) * | 1991-04-25 | 1994-07-22 | Japan Radio Co Ltd | 音声符号化装置 |
FR2858512A1 (fr) | 2003-07-30 | 2005-02-04 | France Telecom | Procede et dispositif de traitement de donnees sonores en contexte ambiophonique |
US7840411B2 (en) * | 2005-03-30 | 2010-11-23 | Koninklijke Philips Electronics N.V. | Audio encoding and decoding |
KR20080015878A (ko) * | 2005-05-25 | 2008-02-20 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 복수 채널 신호의 예측 엔코딩 |
PL2137725T3 (pl) * | 2007-04-26 | 2014-06-30 | Dolby Int Ab | Urządzenie i sposób do syntetyzowania sygnału wyjściowego |
GB0817950D0 (en) | 2008-10-01 | 2008-11-05 | Univ Southampton | Apparatus and method for sound reproduction |
US8391500B2 (en) | 2008-10-17 | 2013-03-05 | University Of Kentucky Research Foundation | Method and system for creating three-dimensional spatial audio |
JP5773540B2 (ja) * | 2009-10-07 | 2015-09-02 | ザ・ユニバーシティ・オブ・シドニー | 記録された音場の再構築 |
CN102823277B (zh) * | 2010-03-26 | 2015-07-15 | 汤姆森特许公司 | 解码用于音频回放的音频声场表示的方法和装置 |
NZ587483A (en) | 2010-08-20 | 2012-12-21 | Ind Res Ltd | Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions |
EP2450880A1 (en) * | 2010-11-05 | 2012-05-09 | Thomson Licensing | Data structure for Higher Order Ambisonics audio data |
EP2469741A1 (en) * | 2010-12-21 | 2012-06-27 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
EP2592846A1 (en) * | 2011-11-11 | 2013-05-15 | Thomson Licensing | Method and apparatus for processing signals of a spherical microphone array on a rigid sphere used for generating an Ambisonics representation of the sound field |
EP2637427A1 (en) * | 2012-03-06 | 2013-09-11 | Thomson Licensing | Method and apparatus for playback of a higher-order ambisonics audio signal |
EP2645748A1 (en) * | 2012-03-28 | 2013-10-02 | Thomson Licensing | Method and apparatus for decoding stereo loudspeaker signals from a higher-order Ambisonics audio signal |
EP2665208A1 (en) * | 2012-05-14 | 2013-11-20 | Thomson Licensing | Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation |
EP2688066A1 (en) * | 2012-07-16 | 2014-01-22 | Thomson Licensing | Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction |
JP6230602B2 (ja) * | 2012-07-16 | 2017-11-15 | ドルビー・インターナショナル・アーベー | オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置 |
US9959875B2 (en) * | 2013-03-01 | 2018-05-01 | Qualcomm Incorporated | Specifying spherical harmonic and/or higher order ambisonics coefficients in bitstreams |
-
2013
- 2013-11-28 EP EP13306629.0A patent/EP2879408A1/en not_active Withdrawn
-
2014
- 2014-11-18 JP JP2016534923A patent/JP6495910B2/ja active Active
- 2014-11-18 CN CN201711438479.7A patent/CN108093358A/zh active Pending
- 2014-11-18 EP EP14800035.9A patent/EP3075172B1/en active Active
- 2014-11-18 EP EP17200258.6A patent/EP3313100B1/en active Active
- 2014-11-18 CN CN201711438504.1A patent/CN107995582A/zh active Pending
- 2014-11-18 KR KR1020167014251A patent/KR102319904B1/ko active IP Right Grant
- 2014-11-18 WO PCT/EP2014/074903 patent/WO2015078732A1/en active Application Filing
- 2014-11-18 CN CN201480074092.6A patent/CN105981410B/zh active Active
- 2014-11-18 CN CN201711438488.6A patent/CN107889045A/zh active Pending
- 2014-11-18 KR KR1020217034751A patent/KR102460817B1/ko active IP Right Grant
- 2014-11-18 US US15/039,887 patent/US9736608B2/en active Active
-
2017
- 2017-08-14 US US15/676,843 patent/US10244339B2/en active Active
-
2018
- 2018-05-08 HK HK18105960.5A patent/HK1246554A1/zh unknown
- 2018-06-11 HK HK18107560.5A patent/HK1248438A1/zh unknown
- 2018-07-04 HK HK18108667.5A patent/HK1249323A1/zh unknown
-
2019
- 2019-03-07 JP JP2019041597A patent/JP6707687B2/ja active Active
- 2019-03-14 US US16/353,891 patent/US10602293B2/en active Active
-
2020
- 2020-05-20 JP JP2020087853A patent/JP6980837B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
CN105981410B (zh) | 2018-01-02 |
HK1249323A1 (zh) | 2018-10-26 |
JP2017501440A (ja) | 2017-01-12 |
KR20160090824A (ko) | 2016-08-01 |
CN105981410A (zh) | 2016-09-28 |
EP3313100B1 (en) | 2021-02-24 |
KR102319904B1 (ko) | 2021-11-02 |
EP3075172A1 (en) | 2016-10-05 |
HK1246554A1 (zh) | 2018-09-07 |
EP3075172B1 (en) | 2017-12-13 |
US10244339B2 (en) | 2019-03-26 |
CN107889045A (zh) | 2018-04-06 |
JP2019082741A (ja) | 2019-05-30 |
JP2020149062A (ja) | 2020-09-17 |
JP6495910B2 (ja) | 2019-04-03 |
JP6707687B2 (ja) | 2020-06-10 |
WO2015078732A1 (en) | 2015-06-04 |
EP2879408A1 (en) | 2015-06-03 |
US9736608B2 (en) | 2017-08-15 |
CN107995582A (zh) | 2018-05-04 |
KR20210132744A (ko) | 2021-11-04 |
US20170006401A1 (en) | 2017-01-05 |
US20190281400A1 (en) | 2019-09-12 |
EP3313100A1 (en) | 2018-04-25 |
HK1248438A1 (zh) | 2018-10-12 |
US20170374485A1 (en) | 2017-12-28 |
KR102460817B1 (ko) | 2022-10-31 |
US10602293B2 (en) | 2020-03-24 |
CN108093358A (zh) | 2018-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6980837B2 (ja) | 特異値分解を用いる高次Ambisonics復号の方法と装置 | |
JP7353427B2 (ja) | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 | |
US10893375B2 (en) | Headtracking for parametric binaural output system and method | |
US8817991B2 (en) | Advanced encoding of multi-channel digital audio signals | |
JP5449624B2 (ja) | 到来方向推定値から曖昧性を解消する装置及び方法 | |
TWI760084B (zh) | 應用動態範圍壓縮至高階保真立體音響信號之方法和裝置 | |
KR102051436B1 (ko) | 오디오 신호 처리 장치들 및 방법들 | |
US20100241439A1 (en) | Method, module and computer software with quantification based on gerzon vectors | |
ES2965084T3 (es) | Determinación de correcciones a aplicar a una señal de audio multicanal, codificación y decodificación asociadas |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210409 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6980837 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |