JP6230602B2 - オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置 - Google Patents

オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置 Download PDF

Info

Publication number
JP6230602B2
JP6230602B2 JP2015522078A JP2015522078A JP6230602B2 JP 6230602 B2 JP6230602 B2 JP 6230602B2 JP 2015522078 A JP2015522078 A JP 2015522078A JP 2015522078 A JP2015522078 A JP 2015522078A JP 6230602 B2 JP6230602 B2 JP 6230602B2
Authority
JP
Japan
Prior art keywords
matrix
decoding
singular value
hoa
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015522078A
Other languages
English (en)
Other versions
JP2015528248A (ja
Inventor
ベーム,ヨーハネス
ケイラー,フロリアン
Original Assignee
ドルビー・インターナショナル・アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー・インターナショナル・アーベー filed Critical ドルビー・インターナショナル・アーベー
Publication of JP2015528248A publication Critical patent/JP2015528248A/ja
Application granted granted Critical
Publication of JP6230602B2 publication Critical patent/JP6230602B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

本発明は、オーディオ再生のためのオーディオ音場表現、詳細にはアンビソニックス・フォーマットのオーディオ表現をレンダリングするための方法および装置に関する。
正確な局在化/定位はいかなる空間的オーディオ再生システムにとっても主要な目標である。そのような再生システムは、3Dサウンドから裨益する会議システム、ゲームまたは他の仮想環境のためにきわめて応用可能である。3Dにおけるサウンド・シーンは、自然な音場として合成または捕捉されることができる。たとえばアンビソニックスのような音場信号は所望される音場の表現を搬送する。アンビソニックス・フォーマットは、音場の球面調和関数分解に基づく。基本的なアンビソニックス・フォーマットまたはBフォーマットは次数0および1の球面調和関数を使うが、いわゆる高次アンビソニックス(HOA: Higher Order Ambisonics)は少なくとも二次のさらなる球面調和関数も使う。そのようなアンビソニックス・フォーマットの信号から個々のラウドスピーカー信号を得るには、デコードまたはレンダリング・プロセスが必要とされる。ラウドスピーカーの空間的配置は、本稿ではラウドスピーカー・セットアップと称される。
国際公開第2011/117399号(Johann-Markus Batke, Florian Keiler, and Johannes Boehm、Method and device for decoding an audio soundfield representation for audio playback(PD100011))
T.D. Abhayapala、Generalized framework for spherical microphone arrays: Spatial and frequency decomposition、Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), (受理) Vol. X, pp. , April 2008, Las Vegas, USA 〔本訳稿では欠番(特許文献1)〕 Jerome Daniel, Rozenn Nicol, and Sebastien Moreau、Further investigations of high order ambisonics and wavefield synthesis for holophonic sound imaging、AES Convention Paper 5788 Presented at the 114th Convention、March 2003. Paper 4795 presented at the 114th Convention Jerome Daniel、Representation de champs acoustiques, application a la transmission et a la reproduction de scenes sonores complexes dans un contexte multimedia、PhD thesis, Universite Paris 6, 2001 James R. Driscoll and Dennis M. Healy Jr.、Computing Fourier transforms and convolutions on the 2-sphere、Advances in Applied Mathematics, 15:202-250, 1994 Jorg Fliege、Integration nodes for the sphere、http://www.personal.soton.ac.uk/jf1w07/nodes/nodes.html、オンライン、アクセス日2012-06-01 Jorg Fliege and Ulrike Maier、A two-stage approach for computing cubature formulae for the sphere、Technical Report, Fachbereich Mathematik, Universitat Dortmund, 1999 R. H. Hardin and N.J.A. Sloane、ウェブページ:Spherical designs, spherical t-designs、http://www2.research.att.com/~njas/sphdesigns/ R.H. Hardin and N.J.A. Sloane、Mclaren's improved snub cube and other new spherical designs in three dimensions、Discrete and Computational Geometry, 15:429-441, 1996 M.A. Poletti、Three-dimensional surround sound systems based on spherical harmonics.、J. Audio Eng. Soc, 53(11):1004-1025, November 2005 Ville Pulkki、Spatial Sound Generation and Perception by Amplitude Panning Techniques、PhD thesis, Helsinki University of Technology, 2001 Boaz Rafaely、Plane-wave decomposition of the sound field on a sphere by spherical convolution、J. Acoust. Soc. Am., 4(116):2149-2157, October 2004 Earl G. Williams、Fourier Acoustics, volume 93 of Applied Mathematical Sciences. Academic Press, 1999 F. Zotter, H. Pomberger, and M. Noisternig、Energy-preserving ambisonic decoding、Acta Acustica united with Acustica, 98(1):37-47, January/February 2012
しかしながら、既知のレンダリング・アプローチは通常のラウドスピーカー・セットアップについてのみ好適である一方、任意のラウドスピーカー・セットアップがずっと普通である。そのようなレンダリング・アプローチが任意のラウドスピーカー・セットアップに適用されると、音の指向性に問題が生じる。
本発明は、規則的および非規則的な空間的ラウドスピーカー分布の両方についてオーディオ音場表現をレンダリング/デコードする方法であって、前記レンダリング/デコードはきわめて改善された局在化属性を提供し、エネルギー保存的であるものを記述する。特に、本発明は、音場データのためのデコード行列を、たとえばHOAフォーマットにおいて得るための新しい方法を提供する。HOAフォーマットは、ラウドスピーカー位置に直接関係していない音場を記述する。得られるラウドスピーカー信号は必然的にチャネル・ベースのオーディオ・フォーマットなので、HOA信号のデコードは、オーディオ信号のレンダリングに常に緊密に関係している。したがって、本発明は、音場に関係したオーディオ・フォーマットのデコードおよびレンダリングの両方に関係する。
本発明の一つの利点は、非常に良好な指向性属性をもつエネルギー保存的なデコードが達成されるということである。「エネルギー保存的」という用語は、HOA指向性信号内のエネルギーがデコード後に保存される、よってたとえば一定振幅の方向性空間的掃引が一定のラウドネスで知覚されるということを意味する。「良好な指向性属性」という用語は、指向性のメインローブおよび小さなサイドローブによって特徴付けられるスピーカー指向性であって、通常のレンダリング/デコードと比較して高められているものをいう。
本発明は、任意のラウドスピーカー・セットアップのための高次アンビソニックス(HOA)のような音場信号のレンダリングであって、きわめて改善された局在化属性を与え、エネルギー保存的であるものを開示する。これは、音場データのための新しい型のデコード行列および該デコード行列を得るための新しい方法によって得られる。任意の空間的ラウドスピーカー・セットアップのためのオーディオ音場表現をレンダリングする方法において、目標ラウドスピーカーの所与の配置への前記レンダリングのための前記デコード行列は、目標スピーカーの数およびその位置、球面モデリング格子の位置およびHOA次数を取得する段階と、前記モデリング格子の位置および前記スピーカーの位置から混合行列を生成する段階と、前記球面モデリング格子の位置および前記HOA次数からモード行列を生成する段階と、前記混合行列および前記モード行列から第一のデコード行列を計算する段階と、前記第一のデコード行列を平滑化およびスケーリング係数を用いて平滑化およびスケーリングしてエネルギー保存的なデコード行列を得る段階とによって得られる。
ある実施形態では、本発明は、請求項1記載のオーディオ再生のためのオーディオ音場表現をデコードおよび/またはレンダリングする方法に関する。別の実施形態では、本発明は、請求項9記載のオーディオ再生のためのオーディオ音場表現をデコードおよび/またはレンダリングする装置に関する。さらにもう一つの実施形態では、本発明は、請求項15記載のオーディオ再生のためのオーディオ音場表現をデコードおよび/またはレンダリングする方法をコンピュータに実行させる実行可能命令が記憶されているコンピュータ可読媒体に関する。
一般に、本発明は以下のアプローチを使う。第一に、再生のために使用されるラウドスピーカー・セットアップに依存するパン関数が導出される。第二に、当該ラウドスピーカー・セットアップのすべてのラウドスピーカーについて、デコード行列(たとえばアンビソニックス・デコード行列)がこれらのパン関数(または該パン関数から得られた混合行列)から計算される。第三の段階では、前記デコード行列が生成され、エネルギー保存的となるよう処理される。最後に、前記ラウドスピーカー・パンを平滑化してサイドローブを抑制するために、前記デコード行列がフィルタリングされる。フィルタリングされたデコード行列は、所与のラウドスピーカー・セットアップのために前記オーディオ信号をレンダリングするために使われる。サイドローブは、レンダリングの副作用であり、望ましくない方向におけるオーディオ信号を与える。前記レンダリングは、所与のラウドスピーカー・セットアップのために最適化されているので、サイドローブはわずらわしい。サイドローブが最小化され、それによりラウドスピーカー信号の指向性が改善されることが本発明の利点の一つである。
本発明のある実施形態によれば、オーディオ再生のためのオーディオ音場表現をレンダリング/デコードする方法は、受領されたHOA時間サンプルb(t)をバッファリングする段階であって、M個のサンプルおよび時間インデックスμの諸ブロックが形成される、段階と、係数B(μ)をフィルタリングして周波数フィルタリングされた係数
Figure 0006230602
を得る段階と、該周波数フィルタリングされた係数を、デコード行列Dを使って空間領域にレンダリングする段階であって、空間的信号W(μ)が得られる段階とを含む。ある実施形態では、さらなる段階は、L個のチャネルのそれぞれについて個々に時間サンプルw(t)を遅延させる段階であって、L個のデジタル信号が得られる段階と、前記L個のデジタル信号をデジタル‐アナログ(D/A)変換して増幅する段階であって、L個のアナログ・ラウドスピーカー信号が得られる段階とを含む。
前記レンダリングする段階のための、すなわち目標スピーカーの所与の配置のためのデコード行列Dは、目標スピーカーの数およびそれらのスピーカーの位置を取得する段階と、球面モデリング格子の位置およびHOA次数を決定する段階と、球面モデリング格子の位置および前記スピーカーの位置から混合行列を生成する段階と、前記球面モデリング格子および前記HOA次数からモード行列を生成する段階と、前記混合行列Gおよび前記モード行列
Figure 0006230602
から第一のデコード行列を計算する段階と、前記第一のデコード行列を平滑化およびスケーリング係数を用いて平滑化およびスケーリングする段階であって、前記デコード行列が得られる段階とによって得られる。
もう一つの側面によれば、オーディオ再生のためのオーディオ音場表現をデコードする装置は、前記デコード行列Dを得るためのデコード行列計算ユニットを有するレンダリング処理ユニットを有し、前記デコード行列計算ユニットは、目標スピーカーの数Lを取得する手段およびそれらのスピーカーの位置
Figure 0006230602
を取得する手段と、球面モデリング格子の位置
Figure 0006230602
を決定する手段およびHOA次数Nを取得する手段と、前記球面モデリング格子の位置および前記スピーカーの位置から混合行列Gを生成する第一の処理ユニットと、前記球面モデリング格子
Figure 0006230602
および前記HOA次数Nからモード行列
Figure 0006230602
を生成する第二の処理ユニットと、前記モード行列の、エルミート転置された混合行列Gとの積の、
Figure 0006230602
に基づくコンパクトな特異値分解を実行する第三の処理ユニットであって、U、Vはユニタリー行列から導出され、Sは特異値要素をもつ対角行列である、ユニットと、行列U、Vから
Figure 0006230602
に従って第一のデコード行列
Figure 0006230602
を計算する計算手段であって、^付きのSは恒等行列または前記特異値要素をもつ対角行列から導出された対角行列である、計算手段と、前記第一のデコード行列を平滑化係数
Figure 0006230602
を用いて平滑化およびスケーリングする平滑化およびスケーリング・ユニットであって、前記デコード行列Dが得られるユニットとを有する。
さらにもう一つの側面によれば、コンピュータ可読媒体が、コンピュータ上で実行されたときに該コンピュータに、上記で開示したようなオーディオ再生のためのオーディオ音場表現をデコードする方法を実行させる実行可能命令を記憶している。
本発明のさらなる目的、特徴および利点は、以下の記述および付属の請求項を付属の図面との関連で考慮すれば明白となるであろう。
本発明の例示的な実施形態が、付属の図面を参照して記述される。
本発明のある実施形態に基づく方法のフローチャートである。 混合行列Gを構築する方法のフローチャートである。 レンダラーのブロック図である。 デコード行列生成プロセスの概略的な諸段階のフローチャートである。 デコード行列生成ユニットのブロック図である。 スピーカーが接続されたノードとして示されている例示的な16スピーカー・セットアップである。 ノードがスピーカーとして示されている、自然なビューにおける例示的な16スピーカー・セットアップである。 N=3の従来技術(非特許文献14)を用いて得られるデコード行列についての完璧なエネルギー保存特性について一定である^E/E比を示すエネルギー図である。 N=3の従来技術(非特許文献14)に従って設計されるデコード行列についての音圧図である。中央スピーカーのパン・ビームが強いサイドローブをもつ。 N=3の従来技術(特許文献1)を用いて得られるデコード行列についての4dBより大きいゆらぎをもつ^E/E比を示すエネルギー図である。 N=3の従来技術(特許文献1)に従って設計されるデコード行列についての音圧図である。中央スピーカーのパン・ビームが小さなサイドローブをもつ。 本発明に基づく方法または装置によって得られる1dBより小さいゆらぎをもつ^E/E比を示すエネルギー図である。一定の振幅をもつ空間的パンは等しいラウドネスをもって知覚される。 本発明に基づく方法を用いて設計されるデコード行列についての音圧図である。中央スピーカーは小さなサイドローブをもつパン・ビームをもつ。
概括的には、本発明は、高次アンビソニックス(HOA)オーディオ信号のような音場フォーマットされたオーディオをラウドスピーカーにレンダリング(すなわちデコード)することに関する。ここで、ラウドスピーカーは対称的または非対称的な、規則的または非規則的な位置にある。オーディオ信号は、利用可能であるよりも多くのラウドスピーカーにフィードするために好適であってもよい。たとえば、HOA係数の数はラウドスピーカーの数より大きいことがある。本発明は、非常に良好な方向性属性をもつデコーダのためのエネルギー保存的なデコード行列を提供する。すなわち、スピーカー指向性ローブが、通常のデコード行列を用いて得られるスピーカー指向性ローブより、より強い指向性メインローブおよびより小さなサイドローブを含む。エネルギー保存的とは、HOA指向性信号内のエネルギーがデコード後に保存され、よってたとえば一定振幅の方向性空間掃引が一定のラウドネスをもって知覚されることを意味する。
図1は、本発明のある実施形態に基づく方法のフローチャートである。この実施形態では、オーディオ再生のためのHOAオーディオ音場表現をレンダリング(すなわち、デコード)する方法が、次のようにして生成されるデコード行列を使う。第一に、目標ラウドスピーカーの数L、それらのラウドスピーカーの位置
Figure 0006230602
、球面モデリング格子
Figure 0006230602
および次数N(たとえばHOA次数)が決定される(11)。前記スピーカーの位置および前記球面モデリング格子から混合行列Gが生成され(12)、前記球面モデリング格子および前記前記HOA次数Nからモード行列
Figure 0006230602
が生成される(13)。前記混合行列Gおよび前記モード行列から第一のデコード行列
Figure 0006230602
が計算される(14)。前記第一のデコード行列は、平滑化係数
Figure 0006230602
を用いて平滑化され(15)、平滑化されたデコード行列
Figure 0006230602
が得られ、該平滑化されたデコード行列が該平滑化されたデコード行列から得られるスケーリング因子を用いてスケーリングされ(16)、前記デコード行列Dが得られる。ある実施形態では、平滑化15およびスケーリング16は単一のステップで実行される。
ある実施形態では、ラウドスピーカーの数LおよびHOA係数チャネルの数O3D=(N+1)2に依存して、前記平滑化係数は二つの異なる方法の一方によって得られる。ラウドスピーカーの数LがHOA係数チャネルの数O3Dより少なければ、前記平滑化係数を得るための新しい方法が使用される。
ある実施形態では、複数の異なるラウドスピーカー配置に対応する複数のデコード行列が生成され、のちの使用のために記憶される。前記複数の異なるラウドスピーカー配置は、ラウドスピーカーの数、一つまたは複数のラウドスピーカーの位置および入力オーディオ信号の次数Nのうちの少なくとも一つによって異なることができる。すると、レンダリング・システムを初期化する際、マッチするデコード行列が決定され、現在のニーズに従って記憶部から取り出され、デコードのために使用される。
ある実施形態では、デコード行列Dは、前記モード行列
Figure 0006230602
の、エルミート転置された混合行列GHとの積の、
Figure 0006230602
に基づくコンパクトな特異値分解を実行し、行列U、Vから
Figure 0006230602
に従って第一のデコード行列
Figure 0006230602
を計算することによって得られる。U、Vはユニタリー行列から導出され、Sは、チルダ付きのΨで表わされる前記モード行列の、エルミート転置された混合行列GHとの積の、前記コンパクトな特異値分解の特異値要素をもつ対角行列である。この実施形態に従って得られるデコード行列はしばしば、後述する代替的な実施形態を用いて得られるデコード行列より、数値的に安定である。行列のエルミート転置は、行列の共役複素転置である。
前記代替的な実施形態では、デコード行列Dは、エルミート転置されたモード行列
Figure 0006230602
の、前記混合行列Gとの積の、
Figure 0006230602
に基づくコンパクトな特異値分解を実行することによって得られる。ここで、第一のデコード行列は
Figure 0006230602
によって導出される。
ある実施形態では、コンパクトな特異値分解は、前記モード行列
Figure 0006230602
および混合行列Gに対して、
Figure 0006230602
に従って実行される。ここで、第一のデコード行列は
Figure 0006230602
によって導出される。ここで、^付きのSは、ある閾値thr以上のすべての特異値を1で置き換え、前記閾値thrより小さい要素を0で置き換えることによって、前記特異値分解行列Sから導出される、打ち切りされたコンパクトな特異値分解行列である。閾値thrは特異値分解行列の実際の値に依存し、例示的に、0.06*S1(Sの最大要素)のオーダーであってもよい。
ある実施形態では、コンパクトな特異値分解は、前記モード行列
Figure 0006230602
および混合行列Gに対して、
Figure 0006230602
に従って実行される。ここで、第一のデコード行列は
Figure 0006230602
によって導出される。^付きのSおよび閾値thrは直前の実施形態について上述したようなものである。閾値thrは通例、最大の特異値から導出される。
ある実施形態では、HOA次数Nおよび目標スピーカー数Lに依存して、平滑化係数を計算するための二つの異なる方法が使われる。HOAチャネルより少ない目標スピーカーがある、すなわちO3D=(N2+1)>Lである場合には、平滑化およびスケーリング係数
Figure 0006230602
は、次数N+1のルジャンドル多項式の零点から導出されるmax rE個の係数の通常の集合に対応する。そうでなく、十分な目標スピーカーがある、すなわちO3D=(N2+1)≦Lである場合には、係数
Figure 0006230602
はlen〔長さ〕=(2N+1)およびwidth〔幅〕=2Nをもつカイザー(Kaiser)窓の要素
Figure 0006230602
から、スケーリング因子cfを用いて、
Figure 0006230602
に従って構築される。カイザー窓の使用される要素は、(N+1)番目の要素で始まり、これは一度だけ使われ、反復的に使われるその後の要素へと続く。(N+2)番目の要素は三回使われる、など。
ある実施形態では、スケーリング因子は、平滑化されたデコード行列から得られる。特に、ある実施形態では、
Figure 0006230602
に従って得られる。
以下では、フル・レンダリング・システムが記述される。本発明の主要な焦点は、デコード行列Dが上記のようにして生成される、レンダラーの初期化フェーズである。ここで、主たる焦点は、前記一つまたは複数のデコード行列を、たとえばコードブックのために導出する技術である。デコード行列を生成するために、何個の目標ラウドスピーカーが利用可能であるかおよびそれらがどこに位置されるか(それらのラウドスピーカーの位置)は既知である。
図2は、本発明のある実施形態に基づく、混合行列Gを構築する方法のフローチャートを示している。この実施形態では、0だけをもつ初期混合行列が生成され(21)、角方向Ωs=[θss]Tおよび動径rsをもつあらゆる仮想源について、以下の段階が実行される。まず、位置[1,Ωs T]Tを囲む三つのラウドスピーカーl1,l2,l3が決定される(22)。ここで、単位動径が想定されている。
Figure 0006230602
を用いて行列R=[rl1,rl2,rl3]が構築される(23)。行列Rは、Lt=spherical_to_cartesian(R)に従ってデカルト座標に変換される(24)。次いで、仮想源位置がs=(sinΘscosφs,sinΘssinφs,cosΘs)Tに従って構築され(25)、利得gが、g=(gl1,gl1,gl3)Tとして、g=Lt -1sに従って計算される(26)。この利得はg=g/‖g‖2に従って規格化され(27)、Gの対応する要素Gl,sが規格化された利得で置き換えられる:Gl1,s=gl1、Gl2,s=gl2、Gl3,s=gl3
下のセクションは、高次アンビソニックス(HOA)の簡単な紹介を与え、処理されるべき、すなわちラウドスピーカーのためにレンダリングされるべき信号を定義する。
高次アンビソニックス(HOA)は、音源がないと想定されるコンパクトな関心領域内の音場の記述に基づく。その場合、時刻tおよび関心領域内の(球面座標:動径r、傾斜θ、方位角φでの)位置x=[r,θ,φ]Tにおける音圧p(t,x)の空間時間的振る舞いは、斉次波動方程式(homogeneous wave equation)によって物理的には完全に決定される。ωが角周波数を表わすとして、時間に関する音圧のフーリエ変換、すなわち
Figure 0006230602
(Ft{ }は−∞から∞への積分∫p(t,x)e-ωtdtに対応する)は、
Figure 0006230602
のように球面調和関数(SH)の級数に展開されうる(非特許文献13)。
式(2)において、csは音速を表わし、k=ω/csは角波数を表わす。さらに、jn(・)は第一種のn次球面ベッセル関数を示し、Yn m(・)は次数(order)nおよび陪数(degree)mの球面調和関数(SH)を表わす。音場についての完全な情報は、実際には音場係数An m(k)内に含まれる。
SHは一般には複素数値の関数であることを注意しておくべきである。しかしながら、その近似的な線形結合により、実数値の関数を得て、上記展開をこれらの関数に関して実行することが可能である。
式(2)における圧力音場(sound field)記述に関係して、源場(source field)が次のように定義できる。
Figure 0006230602
ここで、源場または振幅密度(非特許文献12)D(kcs,Ω)は角波数および角方向Ω=[θ,φ]Tに依存する。源場は遠距離場/近距離場、離散/連続源からなることができる(非特許文献1)。源場係数Bn mは音場係数An mと次式によって関係付けられる(非特許文献1)。
Figure 0006230602
ここで、hn (2)は第二種の球面ハンケル関数であり、rsは原点からの源距離である。
HOA領域の信号は、周波数領域または時間領域において、源場または音場係数の逆フーリエ変換として表現できる。以下の記述では、有限数の源場係数の時間領域表現
Figure 0006230602
の使用を想定する。式(3)における無限級数はn=Nにおいて打ち切られる。打ち切りは、空間的な帯域幅制限に対応する。係数(またはHOAチャネル)の数は
3Dについては O3D=(N+1)2 (6)
によって、2Dのみの記述についてはO2D=2N+1によって与えられる。係数bn mはラウドスピーカーによるのちの再生のためにある時間サンプルtのオーディオ情報を含む。これらは記憶または送信されることができ、よってデータ・レート圧縮の対象である。係数の単独の時間サンプルはO3D個の要素をもつベクトルb(t)
Figure 0006230602
によって表現でき、M個の時間サンプルのブロックは行列B
Figure 0006230602
によって表現できる。
音場の二次元表現は、円調和関数を用いた展開によって導出できる。これは、上記で呈示した一般的な記述において、固定した傾斜角θ=π/2、係数の異なる重みおよびO2D個の係数に縮小された集合(m=±n)を使った特殊な場合である。よって、以下の考察はみな2D表現にも当てはまる。その場合、球という用語は円という用語によって置き換える必要がある。
ある実施形態では、係数データに沿ってメタデータが送られ、係数データの曖昧さのない同定を許容する。時間サンプル係数ベクトルb(t)を導出するためのすべての必要な情報は、伝送されるメタデータを通じてまたは所与のコンテキストのために与えられる。さらに、HOA次数NまたはO3Dの少なくとも一方ならびにある実施形態ではさらに近距離場記録を示すrsと一緒の特殊なフラグはデコーダにおいて既知であることを注意しておく。
次に、HOA信号のラウドスピーカーへのレンダリングが記述される。このセクションは、デコードの基本原理およびいくつかの数学的属性を示す。
基本的なデコードは、第一に、平面波ラウドスピーカー信号を想定し、第二に、スピーカーから原点までの距離が無視できることを想定する。l=1,…,Lとして球面方向
Figure 0006230602
に位置するL個のラウドスピーカーにレンダリングされるHOA係数bの時間サンプルは、
w=Db (9)
によって記述できる(非特許文献10)。ここで、w∈RL×1はL個のスピーカー信号の時間サンプルを表わし、デコード行列は
Figure 0006230602
である。デコード行列は
D=Ψ+ (10)
によって導出できる。ここで、Ψ+はモード行列Ψの擬似逆行列である。モード行列Ψは
Ψ=[y1,…,yL] (11)
として定義される。ここで、
Figure 0006230602
であり、
Figure 0006230602
はスピーカー方向
Figure 0006230602
の球面調和関数からなる。Hは共役複素転置を表わす(エルミートとしても知られる)。
次に、特異値分解(SVD: Singular Value Decomposition)による行列の擬似逆行列が記述される。擬似逆行列を導出するための一つの普遍的な方法は、まずコンパクトなSVD:
Ψ=USVH (12)
を計算することである。ここで、
Figure 0006230602
は回転行列から導出され、S=diag(S1,…,SK)∈RK×Kは、K>0およびK≦min(O3D,L)として、降順の特異値S1≧S2≧…≧SKの対角行列である。擬似逆行列は
Figure 0006230602
によって決定される。ここで、^付きのS=diag(S1 -1,…,SK -1)である。Skの非常に小さい値をもつ悪条件の行列については、対応する逆数値Sk -1は0で置き換えられる。これは、打ち切り特異値分解(Truncated Singular Value Decomposition)と呼ばれる。通例、0で置き換えるべき対応する逆数値を特定するために、最大の特異値S1に対する検出閾値が選択される。
以下では、エネルギー保存属性が記述される。HOA領域における信号エネルギーは
E=bHb (14)
によって与えられ、空間領域における対応するエネルギーは
Figure 0006230602
によって与えられる。エネルギー保存的なデコーダ行列についての比^E/Eは(実質的に)一定である〔本稿では、便宜上、^付きのEを^Eで表わすなどする〕。これは、恒等行列Iおよび定数c∈Rを用いて、DHD=cIである場合に達成できるだけである。これは、Dがノルム2の条件数cond(D)=1をもつことを要求する。これはまた、DのSVD(特異値行列)が同一の特異値を生じること:D=USVHでS=diag(SK,…,SK)を要求する。
一般に、エネルギー保存的なレンダラー設計は当技術分野において知られている。L≧O3Dについてのエネルギー保存デコーダ行列設計は、非特許文献14において、
D=VUH (16)
によって提案されている。ここで、式(13)からの^付きのSは^S=Iとなるよう強制されており、よって式(16)では落とすことができる。積DHD=UVHVUH=Iであり、比^E/Eは1になる。この設計方法の恩恵は、空間的なパンが、知覚されるラウドネスにおけるゆらぎをもたない、均一な空間的音印象を保証するエネルギー保存である。この設計の欠点は、指向性の精度の損失および非対称的な、非規則的なスピーカー位置についての強いラウドスピーカー・ビーム・サイドローブである(図8〜図9参照)。本発明は、この欠点を克服できる。
非規則的に位置されるスピーカーについてのレンダラー設計も当技術分野において知られている。特許文献1では、L≧O3DおよびL<O3Dについてのデコーダ設計方法であって、再生される指向性における高い精度でのレンダリングを許容するものが記述されている。この設計方法の欠点は、導出されるレンダラーがエネルギー保存的ではないことである(図10〜図11参照)。
空間的平滑化のために、球面畳み込み(spherical convolution)が使用できる。これは、空間的フィルタリング・プロセスまたは係数領域における窓掛け(windowing)(畳み込み)である。その目的は、サイドローブ、いわゆるパン・ローブ(panning lobe)を最小化することである。もとのHOA係数bn mおよびゾーン係数hn 0の重み付けされた積によって、チルダ付きのbn mで表わされる新たな係数が与えられる(非特許文献5):
Figure 0006230602
これは、空間領域におけるS2上での左畳み込みと等価である(非特許文献5)。便利なことに、これは非特許文献5において、通例実数値の重み付け係数および定数因子dfを含むベクトル
Figure 0006230602
を用いて
Figure 0006230602
によってHOA係数Bに重み付けすることによって、レンダリング/デコードに先立って、ラウドスピーカー信号の指向性属性を平滑化するために使われる。平滑化の発想は、HOA係数を増大する次数インデックスnとともに減衰させることである。平滑化重み付け係数
Figure 0006230602
Figure 0006230602
は1のみをもつ長さO3Dのベクトル)、第二のものは均等に分布した角パワー(angular power)を提供し、inphaseはフルのサイドローブ抑制をフィーチャーする。
以下では、開示される解決策のさらなる詳細および実施形態が記述される。まず、レンダラー・アーキテクチャが、その初期化、スタートアップ挙動および処理の点で記述される。
ラウドスピーカー・セットアップ、すなわちラウドスピーカーの数または聴取位置に対するいずれかのラウドスピーカーの位置が変わるたびに、レンダラーは、サポートされるHOA入力信号がもつ任意のHOA次数Nについてのデコード行列の集合を決定する初期化プロセスを実行する必要がある。また、遅延線についての個々のスピーカー遅延dlおよびスピーカー利得glが、スピーカーと聴取位置の間の距離から決定される。このプロセスは後述される。ある実施形態では、導出されたデコード行列はコードブック内に記憶される。HOAオーディオ入力特性が変わるたびに、レンダラー制御ユニットは、現在有効な特性を決定し、コードブックからマッチするデコード行列を選択する。コードブック鍵はHOA次数Nまたは等価だがO3Dであることができる(式(6)参照)。
レンダリングのためのデータ処理の概略的な段階は、図3を参照して説明される。図3は、レンダラーの処理ブロックのブロック図を示している。該処理ブロックは、第一のバッファ31、周波数領域フィルタリング・ユニット32、レンダリング処理ユニット33、第二のバッファ34、L個のチャネルのための遅延ユニット35およびデジタル‐アナログ変換器および増幅器36である。
時間インデックスtをもつHOA時間サンプルおよびO3D個のHOA係数チャネルb(t)はまず第一のバッファ31に記憶されて、ブロック・インデックスμをもつM個のサンプルのブロックをなす。B(μ)の係数は、周波数領域フィルタリング・ユニット32において周波数フィルタリングされて、^付きのB(μ)で表わされる周波数フィルタリングされたブロックが得られる。この技術は、球状ラウドスピーカー源の距離を補償して、近距離場記録を扱えるようにするために知られている(非特許文献3)。^付きのB(μ)で表わされる周波数フィルタリングされたブロック信号は、レンダリング処理ユニット33において、
Figure 0006230602
によって空間領域にレンダリングされる。ここで、W(μ)∈RL×Mは、L個のチャネルにおける空間的信号を、M個の時間サンプルのブロックで表わす。この信号は、第二のバッファ34にバッファリングされ、シリアル化されて、図3でw(t)として参照されている、L個のチャネルにおける時間インデックスtをもつ単独の諸時間サンプルを形成する。これは、遅延ユニット35内のL個のデジタル遅延線にフィードされるシリアル信号である。それらの遅延線は、聴取位置の個々のスピーカーlまでの異なる距離を、dlサンプルの遅延を用いて補償する。原理的には、各遅延線はFIFO(先入れ先出しメモリ)である。よって、遅延補償された信号355は、デジタル‐アナログ変換器および増幅器36において、D/A変換され、増幅され、L個のラウドスピーカーにフィードできる信号365を提供する。スピーカー利得補償glは、D/A変換の前に、あるいはアナログ領域においてスピーカー・チャネル増幅を適応させることによって、考慮されることができる。
レンダラー初期化は次のように機能する。
第一に、スピーカー数および位置は既知である必要はない。初期化の第一段階は、新しいスピーカー数および関係する位置
Figure 0006230602
を利用可能にする。ここで、rlは聴取位置からスピーカーlまでの距離であり、^付きのθllは関係する球面角である。さまざまな方法が適用されうる。たとえば、スピーカー位置の手動入力または試験信号を使った自動初期化である。スピーカー位置
Figure 0006230602
の手動入力は、接続されたモバイル装置またはあらかじめ定義された位置集合の選択のための、装置に統合されたユーザー・インターフェースのような十分なインターフェースを使ってなされてもよい。自動初期化は、
Figure 0006230602
を導出するために、マイクロホン・アレイおよび専用のスピーカー試験信号を評価ユニットとともに使ってなされてもよい。最大距離rmaxは、rmax=max(r1,…,rL)によって決定され、最小距離rminは、rmin=min(r1,…,rL)によって決定される。
L個の距離rlおよびrmaxは遅延線および利得補償35に入力される。各スピーカー・チャネルについての遅延サンプルの数dl
Figure 0006230602
によって、サンプリング・レートfs、音速c(摂氏20°の温度においてc≒343m/s)を用いて決定される。
Figure 0006230602
は次の整数への丸めを示す。異なるrlについてスピーカー利得を補償するために、ラウドスピーカー利得glがgl=rl/rminによって決定される、あるいは音響測定を使って導出される。
たとえば上記コードブックについてのデコード行列の計算は以下のように機能する。デコード行列を生成する方法の概略的な段階は図4に示されている。図5は、ある実施形態における、デコード行列を生成する対応する装置の処理ブロックを示している。入力はスピーカー方向
Figure 0006230602
と、球面モデリング格子
Figure 0006230602
と、HOA次数Nである。
スピーカー方向
Figure 0006230602
は球面角
Figure 0006230602
として表現でき、球面モデリング格子
Figure 0006230602
は球面角
Figure 0006230602
によって表現できる。方向の数はスピーカーの数より大きく(S>L)、HOA係数の数より大きい(S>O3D)ように選択される。この格子の諸方向は、非常に規則的な仕方で単位球をサンプリングするべきである。好適な格子は非特許文献6、9において論じられており、非特許文献7、8において見出すことができる。格子
Figure 0006230602
は一度選択される。例として、非特許文献6からのS=324の格子が、HOA次数N=9までのデコード行列については十分である。HOA次数Nは、コードブックを充填していくために、N=1,…,Nmaxとインクリメンタルに選択される。ここで、NmaxはサポートされるHOA入力コンテンツの最大HOA次数である。
上記スピーカー方向および上記球面モデリング格子が混合行列構築ブロック41に入力され、該ブロックはその混合行列Gを生成する。上記球面モデリング格子およびHOA次数Nはモード行列構築ブロック42に入力され、該ブロックはそのモード行列
Figure 0006230602
を生成する。上記混合行列および上記モード行列はデコード行列構築ブロック43に入力され、該ブロックはそのデコード行列
Figure 0006230602
を生成する。上記デコード行列はデコード行列平滑化ブロック44に入力され、該ブロックはデコード行列を平滑化し、スケーリングする。さらなる詳細は下記で与える。デコード行列平滑化ブロック44の出力はデコード行列Dであり、これは関係した鍵N(またはその代わりにO3D)と一緒にコードブック中に記憶される。モード行列構築ブロック42では、上記球面モデリング格子が式(11)と類似のモード行列を構築するために使用される:
Figure 0006230602
チルダ付きのΨで表わされるこのモード行列は特許文献1ではΞと称されていることを注意しておく。
混合行列構築ブロック42において、G∈RL×Sの混合行列Gが生成される。混合行列Gは特許文献1ではWと称されていることを注意しておく。混合行列Gのl番目の行は諸方向
Figure 0006230602
からのS個の仮想源をスピーカーlに混合するための混合利得からなる。ある実施形態では、特許文献1でのように、これらの混合利得を導出するために、ベクトル基底振幅パン(VBAP: vector base amplitude panning)(非特許文献11)が使われる。Gを導出するアルゴリズムは下記のようにまとめられる。
1 0の値をもつGを生成(すなわちGを初期化)
2 for すべてのs=1…S
3 {
4 単位動径を想定して、位置[1,Ωs T]Tを囲む三つのスピーカーl1,l2,l3を見出し、
Figure 0006230602
を用いて行列R=[rl1,rl2,rl3]を構築。
5 Lt=デカルト座標でのspherical_to_cartesian(R)を計算。
6 仮想源位置s=(sinΘscosφs,sinΘssinφs,cosΘs)Tを構築。
7 g=(gl1,gl2,gl3)Tとして、g=Lt -1sを計算
8 利得を規格化:g=g/‖g‖2
9 Gの関係する要素Gl,sをgの要素で充填:
Gl1,s=gl1、Gl2,s=gl2、Gl3,s=gl3
10 }。
デコード行列構築ブロック43では、上記モード行列と転置された混合行列との行列積のコンパクトな特異値分解が計算される。これは、本発明の重要な側面であり、これはさまざまな仕方で実行されることができる。ある実施形態では、モード行列
Figure 0006230602
と転置された混合行列GTの行列積のコンパクトな特異値分解Sが、
Figure 0006230602
に従って計算される。
代替的な実施形態では、モード行列
Figure 0006230602
と擬似逆混合行列G+の行列積のコンパクトな特異値分解Sが、
Figure 0006230602
に従って計算される。ここで、G+は混合行列Gの擬似逆行列である。
ある実施形態では、
Figure 0006230602
である対角行列が生成される。ここで、最初の対角要素はSの逆対角成分:
Figure 0006230602
であり、続く対角要素
Figure 0006230602
は、aが閾値であるとして、
Figure 0006230602
であれば1の値に設定され
Figure 0006230602
あるいは
Figure 0006230602
であれば0の値に設定される
Figure 0006230602
好適な閾値aは、0.06程度であることが見出された。小さな逸脱、たとえば0.01の範囲内または±10%の範囲内の逸脱は受け容れ可能である。すると、デコード行列は次のように計算される:
Figure 0006230602
デコード行列平滑化ブロック44では、デコード行列は平滑化される。従来技術において知られているように平滑化係数をデコード前のHOA係数に適用する代わりに、平滑化はデコード行列と直接組み合わされることができる。これは、処理段階または処理ブロックを一つ節約する。
Figure 0006230602
ラウドスピーカーより多くの係数をもつ(すなわち、O3D>L)HOAコンテンツのためのデコーダについても良好なエネルギー保存属性を得るために、適用される平滑化係数
Figure 0006230602
は、HOA次数N(O3D=(N+1)2)依存して選択される。
L≧O3Dについては、
Figure 0006230602
は、非特許文献4でのように、次数N+1のルジャンドル多項式の零点から導出されるmax rE個の係数に対応する。
L<O3Dについては、
Figure 0006230602
の係数は、次のようにしてカイザー窓から構築される:
Figure 0006230602
ここで、len=2N+1、width=2N、Kは2N+1個の実数値の要素をもつベクトルである。それらの要素はカイザー窓公式
Figure 0006230602
によって生成される。ここで、I0( )は第一種の零次の修正ベッセル関数を表わす。ベクトル
Figure 0006230602
Figure 0006230602
の要素から構築される。ここで、すべての要素KN+1+nはHOA次数インデックスn=0,…,Nについて2n+1回の反復を得る。cfは、異なるHOA次数のプログラムの間でラウドネスを等しく保つための一定のスケーリング因子である。すなわち、カイザー窓の使用される要素は、(N+1)番目の要素で始まり、これは一度だけ使われ、反復的に使われるその後の要素へと続く。(N+2)番目の要素は三回使われる、など。
ある実施形態では、平滑化されたデコード行列はスケーリングされる。ある実施形態では、平滑化は、デコード行列平滑化ブロック44において、図4のa)に示されるようにして実行される。異なる実施形態では、スケーリングは、行列スケーリング・ブロック45において別個の段階として、図4のb)に示されるようにして実行される。
ある実施形態では、上記一定のスケーリング因子はデコード行列から得られる。特に、デコード行列のいわゆるフロベニウス・ノルムに従って得ることができる:
Figure 0006230602
ここで、チルダ付きのdl,qはチルダ付きのDで表わされる行列(平滑後)の行l、列qの行列要素である。規格化された行列は
Figure 0006230602
である。
図5は、本発明のある側面に基づいて、オーディオ再生のためのオーディオ音場表現をデコードする装置を示している。該装置は、前記デコード行列Dを得るためのデコード行列計算ユニット140を有するレンダリング処理ユニット33を有し、前記デコード行列計算ユニット140は、目標スピーカーの数Lを取得する手段1xおよびそれらのスピーカーの位置
Figure 0006230602
を取得する手段と、球面モデリング格子位置
Figure 0006230602
を決定する手段1yおよびHOA次数Nを取得する手段1zと、前記球面モデリング格子の位置および前記スピーカーの位置から混合行列Gを生成する第一の処理ユニット141と、前記球面モデリング格子
Figure 0006230602
および前記HOA次数Nからモード行列
Figure 0006230602
を生成する第二の処理ユニット142と、前記モード行列の、エルミート転置された混合行列Gとの積の、
Figure 0006230602
に基づくコンパクトな特異値分解を実行する第三の処理ユニット143であって、U、Vはユニタリー行列から導出され、Sは特異値要素をもつ対角行列である、ユニットと、行列U、Vから
Figure 0006230602
に従って第一のデコード行列
Figure 0006230602
を計算する計算手段144と、前記第一のデコード行列を平滑化係数
Figure 0006230602
を用いて平滑化およびスケーリングする平滑化およびスケーリング・ユニット145であって、前記デコード行列Dが得られるユニットとを有する。ある実施形態では、前記平滑化およびスケーリング・ユニット145は、前記第一のデコード行列を平滑化して、平滑化されたデコード行列
Figure 0006230602
が得られる平滑化ユニット1451と、平滑化されたデコード行列をスケーリングして前記デコード行列Dが得られるスケーリング・ユニット1452としてである。
図6は、例示的な16スピーカー・セットアップにおけるスピーカー位置を、スピーカーが接続されたノードとして示されるノード概略図において示している。前景の接続は実線として示され、背景の接続は破線として示されている。図7は、16スピーカーをもつ同じスピーカー・セットアップを遠近法図で示している。
以下では、図5および図6におけるようなスピーカー・セットアップでの得られた例示的な結果について述べる。音信号のエネルギー分布および特に比^E/EがdBで2球上に示される(すべての試験方向)。ラウドスピーカー・パン・ビームの例として、中央スピーカー・ビーム(図6ではスピーカー7)が示される。たとえば、N=3として非特許文献14において設計されているデコーダ行列は、図8に示されるような比^E/Eを生成する。これは、比^E/Eがほとんど一定なので、ほとんど完璧なエネルギー保存特性を与える:暗い領域(より低いボリュームに対応)と明るい領域(より高いボリュームに対応)の間の差が0.01dB未満である。しかしながら、図9に示されるように、中央スピーカーの対応するパン・ビームは強いサイドローブをもつ。これは、特に中心から外れた聴取者にとって、空間的な知覚を乱す。
他方、N=3として特許文献1において設計されているデコーダ行列は図9に示されるような比^E/Eを生じる。図10で使われるスケールでは、暗い領域は−2dBまでのより低いボリュームに対応し、明るい領域は+2dBまでのより高いボリュームに対応する。このように、比^E/Eは4dBより大きなゆらぎを示す。これは、たとえば一定の振幅での上から中央スピーカー位置への空間的パンが等しいラウドネスで知覚されることができないので、不都合である。しかしながら、図11に示されるように、中央スピーカーの対応するパン・ビームは非常に小さなサイドローブをもち、これは、中心から外れた聴取位置にとって有益である。
図12は、簡単な比較のために例示的にN=3とした、本発明に基づくデコーダ行列を用いて得られる音信号のエネルギー分布を示している。比^E/Eのスケール(図12の右側に示されている)は3.15〜3.45dBの範囲である。このように、この比のゆらぎは0.31dBより小さく、音場におけるエネルギー分布は非常に均等である。結果として、一定振幅をもついかなる空間的パンも、等しいラウドネスで知覚される。図13に示されるように、中央スピーカーのパン・ビームは非常に小さいサイドローブをもつ。これは、サイドローブが可聴となることがありわずらわしくなる中心から外れた聴取位置にとって有益である。このように、本発明は、非特許文献14および特許文献1における従来技術で達成可能な組み合わされた利点を、それらそれぞれの欠点を被ることなしに、提供する。
本稿においてスピーカーが言及されるときは常に、ラウドスピーカーのような音発生装置が意図されることを注意しておく。
図面におけるフローチャートおよび/またはブロック図は、本発明のさまざまな実施形態に基づくシステム、方法およびコンピュータ・プログラム・プロダクトの可能な実装の構成、動作および機能を例解する。これに関し、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実装するための一つまたは複数の実行可能な命令を含む、コードのモジュール、セグメントまたは部分を表わしうる。
また、いくつかの代替的な実装では、ブロックにおいて記される機能は、図に記される順序から外れて生起してもよい。たとえば、相続いて示されている二つのブロックが、実際には、実質的に並行して実行されてもよいし、あるいはそれらのブロックは時には逆の順序で実行されてもよいし、あるいは関わっている機能に依存して、ブロックは代替的な順序で実行されてもよい。ブロック図および/またはフローチャート図解の各ブロックおよびブロック図および/またはフローチャート図解のブロックの組み合わせが、指定された機能または工程を実行する特殊目的のハードウェア・ベースのシステムによって、あるいは特殊目的ハードウェアとコンピュータ命令の組み合わせによって実装されることができることも注意しておく。明示的に記載されていないものの、本願の諸実施形態は、任意の組み合わせまたはサブコンビネーションにおいて用いることができる。
さらに、当業者は理解するであろうが、本願の原理の諸側面は、システム、方法またはコンピュータ可読媒体として具現されることができる。よって、本願の原理の諸側面は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)または本稿でみな一般に「回路」「モジュール」または「システム」として言及されることのできるソフトウェアおよびハードウェア側面を組み合わせた実施形態の形を取ることができる。さらに、本願の原理の諸側面はコンピュータ可読記憶媒体の形を取ることができる。一つまたは複数のコンピュータ可読記憶媒体の任意の組み合わせが利用されてもよい。本稿で使われるところのコンピュータ可読記憶媒体は、その中に情報を記憶する内在的な機能およびそこから情報の取り出しを提供する内在的な機能を与えられた非一時的な記憶媒体と考えられる。
また、当業者は理解するであろうが、本願で呈示されるブロック図は、本発明の原理を具現する例解用のシステム・コンポーネントおよび/または回路の概念図を表わす。同様に、あらゆるフローチャート、流れ図、状態遷移図、擬似コードは、コンピュータ可読記憶媒体において実質的に表現され、よってコンピュータまたはプロセッサによって実行されうるさまざまなプロセスを表わす。これは、そのようなコンピュータまたはプロセッサが明示的に示されているか否かによらない。

Claims (15)

  1. オーディオ再生のための高次アンビソニックス音場表現をレンダリングする方法であって、
    ・受領されたHOA時間サンプルb(t)をバッファリングする段階(31)であって、M個のサンプルおよび時間インデックスμの諸ブロックが形成される、段階と;
    前記HOA時間サンプルを周波数領域において表現する係数B(μ)をフィルタリングして周波数フィルタリングされた係数
    Figure 0006230602
    を得る段階(32)と;
    ・該周波数フィルタリングされた係数を、デコード行列Dを使って空間領域にレンダリングする段階(33)であって、空間的信号W(μ)が得られる段階と;
    ・前記空間的信号W(μ)をバッファリングおよびシリアル化して、L個のチャネルについての時間サンプルw(t)が得られる段階(34)と;
    ・L個のチャネルのそれぞれについて個々に時間サンプルw(t)を遅延線において遅延させる段階(35)であって、L個のデジタル信号(355)が得られる段階と;
    ・前記L個のデジタル信号(355)をデジタル‐アナログ変換して増幅する段階(36)であって、L個のアナログ・ラウドスピーカー信号(365)が得られる段階とを含んでおり、
    前記レンダリングする段階(33)の前記デコード行列(D)は、目標スピーカーの所与の配置に対してレンダリングするために好適であり、
    ・目標スピーカーの数(L)およびそれらのスピーカーの位置
    Figure 0006230602
    を取得する段階(11)と;
    ・前記受領されたHOA時間サンプルb(t)に従って前記HOA次数(N)に関係した球面モデリング格子の位置
    Figure 0006230602
    を決定する段階(12)と;
    ・前記球面モデリング格子の位置および前記スピーカーの位置から混合行列(G)を生成する段階(41)と;
    ・前記球面モデリング格子
    Figure 0006230602
    および前記HOA次数(N)からモード行列
    Figure 0006230602
    を生成する段階(42)と;
    ・前記モード行列の、エルミート転置された混合行列(G)との積の、
    Figure 0006230602
    に基づくコンパクトな特異値分解を実行する段階(43)であって、U、Vはユニタリー行列から導出され、Sは特異値要素をもつ対角行列であり、前記行列U、Vから第一のデコード行列
    Figure 0006230602

    Figure 0006230602
    に従って計算され、ここで、^付きのSは恒等行列または修正された対角行列である打ち切りされたコンパクトな特異値分解行列であり、前記修正された対角行列は特異値要素をもつ前記対角行列から、ある閾値以上の特異値要素を1で置き換え、前記閾値未満の特異値要素を0で置き換えることによって導出される、段階と;
    ・前記第一のデコード行列を平滑化係数
    Figure 0006230602
    を用いて平滑化およびスケーリングする段階であって、前記デコード行列(D)が得られる段階とによって得られる、
    方法。
  2. 前記平滑化は、L≧O3Dであれば第一の平滑化方法を使い、L<O3Dであれば異なる第二の平滑化方法を使い、ここで、O3D=(N+1)2であり、次いでスケーリングされる平滑化されたデコード行列
    Figure 0006230602
    が得られる、請求項1記載の方法。
  3. 前記第二の平滑化方法において、重み付け係数
    Figure 0006230602
    が、カイザー窓の要素から
    Figure 0006230602
    に従って構築され、HOA次数インデックスn=0,…,Nについてすべての要素KN+1+nは2n+1回反復され、cfは一定のスケーリング因子である、請求項2記載の方法。
  4. 前記カイザー窓がK=KaiserWindow(len,width)に従って得られ、len=2N+1、width=2Nであり、ここで、Kはカイザー窓公式
    Figure 0006230602
    によって生成される2N+1個の実数値の要素をもつベクトルであり、I0( )は第一種の零次の修正ベッセル関数を表わす、請求項3記載の方法。
  5. 前記閾値が特異値要素をもつ前記対角行列の実際の値に依存する、請求項1ないし4のうちいずれか一項記載の方法。
  6. 前記閾値が特異値要素をもつ前記対角行列の最大の要素S1に依存する、請求項5記載の方法。
  7. 前記第一のデコード行列
    Figure 0006230602
    が平滑化されて(44)平滑化されたデコード行列
    Figure 0006230602
    が得られ、前記スケーリング(45)は、前記平滑化されたデコード行列のフロベニウス・ノルムから
    Figure 0006230602
    に従って得られる一定のスケーリング因子cfを用いて実行され、ここで、
    Figure 0006230602
    は前記平滑化されたデコード行列の行lおよび列qの行列要素である、請求項1ないし6のうちいずれか一項記載の方法。
  8. 前記第一のデコード行列
    Figure 0006230602
    が平滑化されて平滑化されたデコード行列
    Figure 0006230602
    が得られ、前記スケーリングは、前記HOA入力信号とともに受領されるまたは記憶部から取り出される一定のスケーリング因子cfを用いて実行される、請求項1ないし6のうちいずれか一項記載の方法。
  9. 前記第一の平滑化方法において、前記重み付け係数
    Figure 0006230602
    が次数N+1のルジャンドル多項式の零点から、実数値の重み付け係数および定数因子dfをもつ
    Figure 0006230602
    に従って導出される、請求項記載の方法。
  10. オーディオ再生のための高次アンビソニックス音場表現をレンダリングする装置であって、
    ・受領されたHOA時間サンプルb(t)をバッファリングする第一のバッファ(31)であって、M個のサンプルおよび時間インデックスμの諸ブロックが形成される、バッファと;
    前記HOA時間サンプルを周波数領域において表現する係数B(μ)をフィルタリングして周波数フィルタリングされた係数
    Figure 0006230602
    を得る周波数領域フィルタリング・ユニット(32)と;
    ・該周波数フィルタリングされた係数を、デコード行列(D)を使って空間領域にレンダリングするレンダリング処理ユニット(33)であって、空間的信号W(μ)が得られる、レンダリング処理ユニットと;
    ・前記空間的信号W(μ)をバッファリングおよびシリアル化して、L個のチャネルについての時間サンプルw(t)が得られる第二のバッファおよびシリアル化器(34)と;
    ・L個のチャネルのそれぞれについて個々に時間サンプルw(t)を遅延させる遅延線を有する遅延ユニット(35)と;
    ・前記L個のデジタル信号を変換および増幅してL個のアナログ・ラウドスピーカー信号が得られるD/A変換器および増幅器(36)とを有しており、
    前記レンダリング処理ユニット(33)は前記デコード行列(D)を得るためのデコード行列計算ユニットを有し、前記デコード行列計算ユニットは、
    ・目標スピーカーの数(L)を取得する手段およびそれらのスピーカーの位置
    Figure 0006230602
    を取得する手段と;
    ・球面モデリング格子位置
    Figure 0006230602
    を決定する手段およびHOA次数(N)を取得する手段と;
    ・前記球面モデリング格子の位置および前記スピーカーの位置から混合行列(G)を生成する第一の処理ユニット(141)と;
    ・前記球面モデリング格子
    Figure 0006230602
    および前記HOA次数(N)からモード行列
    Figure 0006230602
    を生成する第二の処理ユニット(142)と;
    ・前記モード行列の、エルミート転置された混合行列(G)との積の、
    Figure 0006230602
    に基づくコンパクトな特異値分解を実行する第三の処理ユニット(143)であって、U、Vはユニタリー行列から導出され、Sは特異値要素をもつ対角行列である、ユニットと;
    ・前記行列U、Vから
    Figure 0006230602
    に従って第一のデコード行列
    Figure 0006230602
    を計算する計算手段(144)であって、
    Figure 0006230602
    は恒等行列または修正された対角行列である打ち切りされたコンパクトな特異値分解行列であり、前記修正された対角行列は前記特異値要素をもつ対角行列から、ある閾値以上の特異値要素を1で置き換え、前記閾値未満の特異値要素を0で置き換えることによって導出される、計算手段と;
    ・前記第一のデコード行列を平滑化係数
    Figure 0006230602
    を用いて平滑化およびスケーリングする平滑化およびスケーリング・ユニット(145)であって、前記デコード行列(D)が得られるユニットとを有する、
    装置。
  11. 前記平滑化およびスケーリング・ユニット(145)は、L≧O3Dであれば第一の平滑化方法に従って動作し、L<O3Dであれば異なる第二の平滑化方法に従って動作し、ここで、O3D=(N+1)2であり、次いでスケーリングされて平滑化されスケーリングされたデコード行列(D)を得る平滑化されたデコード行列
    Figure 0006230602
    が得られる、請求項10記載の装置。
  12. 前記第二の平滑化方法において、重み付け係数
    Figure 0006230602
    が、カイザー窓の要素から
    Figure 0006230602
    に従って構築され、HOA次数インデックスn=0,…,Nについてすべての要素KN+1+nは2n+1回反復され、cfは一定のスケーリング因子である、請求項11記載の装置。
  13. 前記閾値が特異値要素をもつ前記対角行列の実際の値に依存する、請求項10ないし12のうちいずれか一項記載の装置。
  14. 前記閾値が特異値要素をもつ前記対角行列の最大の要素S1に依存する、請求項13記載の装置。
  15. 実行可能命令を記憶しているコンピュータ可読媒体であって、前記命令はコンピュータに、オーディオ再生のためのオーディオ音場表現をデコードする方法であって、
    ・受領されたHOA時間サンプルb(t)をバッファリングする段階(31)であって、M個のサンプルおよび時間インデックスμの諸ブロックが形成される、段階と;
    前記HOA時間サンプルを周波数領域において表現する係数B(μ)をフィルタリングして周波数フィルタリングされた係数
    Figure 0006230602
    を得る段階(32)と;
    ・該周波数フィルタリングされた係数を、デコード行列Dを使って空間領域にレンダリングする段階(33)であって、空間的信号W(μ)が得られる段階と;
    ・前記空間的信号W(μ)をバッファリングおよびシリアル化して、L個のチャネルについての時間サンプルw(t)が得られる段階(34)と;
    ・L個のチャネルのそれぞれについて個々に時間サンプルw(t)を遅延線において遅延させる段階(35)であって、L個のデジタル信号(355)が得られる段階と;
    ・前記L個のデジタル信号(355)をデジタル‐アナログ変換して増幅する段階(36)であって、L個のアナログ・ラウドスピーカー信号(365)が得られる段階とを含んでおり、
    前記レンダリングする段階(33)の前記デコード行列(D)は、目標スピーカーの所与の配置に対してレンダリングするために好適であり、
    ・目標スピーカーの数(L)およびそれらのスピーカーの位置
    Figure 0006230602
    を取得する段階(11)と;
    ・前記受領されたHOA時間サンプルb(t)に従って前記HOA次数(N)に関係した球面モデリング格子
    Figure 0006230602
    の位置を決定する段階と;
    ・前記球面モデリング格子の位置および前記スピーカーの位置から混合行列(G)を生成する段階と;
    ・前記球面モデリング格子
    Figure 0006230602
    および前記HOA次数(N)からモード行列
    Figure 0006230602
    を生成する段階と;
    ・前記モード行列の、エルミート転置された混合行列(G)との積の、
    Figure 0006230602
    に基づくコンパクトな特異値分解を実行する段階であって、U、Vはユニタリー行列から導出され、Sは特異値要素をもつ対角行列である、段階と;
    ・前記行列U、Vから第一のデコード行列
    Figure 0006230602

    Figure 0006230602
    に従って計算する段階であって、
    Figure 0006230602
    は恒等行列または修正された対角行列である打ち切りされたコンパクトな特異値分解行列であり、前記修正された対角行列は特異値要素をもつ前記対角行列から、ある閾値以上の特異値要素を1で置き換え、前記閾値未満の特異値要素を0で置き換えることによって導出される、段階と;
    ・前記第一のデコード行列を平滑化係数
    Figure 0006230602
    を用いて平滑化およびスケーリングする段階であって、前記デコード行列(D)が得られる段階とによって得られる、
    方法を実行させるものである、コンピュータ可読媒体。
JP2015522078A 2012-07-16 2013-07-16 オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置 Active JP6230602B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12305862.0 2012-07-16
EP12305862 2012-07-16
PCT/EP2013/065034 WO2014012945A1 (en) 2012-07-16 2013-07-16 Method and device for rendering an audio soundfield representation for audio playback

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017200715A Division JP6472499B2 (ja) 2012-07-16 2017-10-17 オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置

Publications (2)

Publication Number Publication Date
JP2015528248A JP2015528248A (ja) 2015-09-24
JP6230602B2 true JP6230602B2 (ja) 2017-11-15

Family

ID=48793263

Family Applications (7)

Application Number Title Priority Date Filing Date
JP2015522078A Active JP6230602B2 (ja) 2012-07-16 2013-07-16 オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置
JP2017200715A Active JP6472499B2 (ja) 2012-07-16 2017-10-17 オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置
JP2019008340A Active JP6696011B2 (ja) 2012-07-16 2019-01-22 オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置
JP2020076132A Active JP6934979B2 (ja) 2012-07-16 2020-04-22 オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置
JP2021136069A Active JP7119189B2 (ja) 2012-07-16 2021-08-24 オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置
JP2022123700A Active JP7368563B2 (ja) 2012-07-16 2022-08-03 オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置
JP2023176456A Pending JP2024009944A (ja) 2012-07-16 2023-10-12 オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置

Family Applications After (6)

Application Number Title Priority Date Filing Date
JP2017200715A Active JP6472499B2 (ja) 2012-07-16 2017-10-17 オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置
JP2019008340A Active JP6696011B2 (ja) 2012-07-16 2019-01-22 オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置
JP2020076132A Active JP6934979B2 (ja) 2012-07-16 2020-04-22 オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置
JP2021136069A Active JP7119189B2 (ja) 2012-07-16 2021-08-24 オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置
JP2022123700A Active JP7368563B2 (ja) 2012-07-16 2022-08-03 オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置
JP2023176456A Pending JP2024009944A (ja) 2012-07-16 2023-10-12 オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置

Country Status (9)

Country Link
US (9) US9712938B2 (ja)
EP (4) EP4013072B1 (ja)
JP (7) JP6230602B2 (ja)
KR (6) KR20240108571A (ja)
CN (6) CN104584588B (ja)
AU (5) AU2013292057B2 (ja)
BR (3) BR122020017399B1 (ja)
HK (1) HK1210562A1 (ja)
WO (1) WO2014012945A1 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9288603B2 (en) 2012-07-15 2016-03-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding
US9473870B2 (en) 2012-07-16 2016-10-18 Qualcomm Incorporated Loudspeaker position compensation with 3D-audio hierarchical coding
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
US9516446B2 (en) 2012-07-20 2016-12-06 Qualcomm Incorporated Scalable downmix design for object-based surround codec with cluster analysis by synthesis
US9913064B2 (en) 2013-02-07 2018-03-06 Qualcomm Incorporated Mapping virtual speakers to physical speakers
US10178489B2 (en) 2013-02-08 2019-01-08 Qualcomm Incorporated Signaling audio rendering information in a bitstream
US9609452B2 (en) 2013-02-08 2017-03-28 Qualcomm Incorporated Obtaining sparseness information for higher order ambisonic audio renderers
US9883310B2 (en) 2013-02-08 2018-01-30 Qualcomm Incorporated Obtaining symmetry information for higher order ambisonic audio renderers
US9466305B2 (en) 2013-05-29 2016-10-11 Qualcomm Incorporated Performing positional analysis to code spherical harmonic coefficients
US10499176B2 (en) 2013-05-29 2019-12-03 Qualcomm Incorporated Identifying codebooks to use when coding spatial components of a sound field
EP2866475A1 (en) 2013-10-23 2015-04-29 Thomson Licensing Method for and apparatus for decoding an audio soundfield representation for audio playback using 2D setups
EP2879408A1 (en) * 2013-11-28 2015-06-03 Thomson Licensing Method and apparatus for higher order ambisonics encoding and decoding using singular value decomposition
EP2892250A1 (en) * 2014-01-07 2015-07-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a plurality of audio channels
US9489955B2 (en) 2014-01-30 2016-11-08 Qualcomm Incorporated Indicating frame parameter reusability for coding vectors
US9922656B2 (en) 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
KR102201027B1 (ko) * 2014-03-24 2021-01-11 돌비 인터네셔널 에이비 고차 앰비소닉스 신호에 동적 범위 압축을 적용하는 방법 및 디바이스
US9620137B2 (en) 2014-05-16 2017-04-11 Qualcomm Incorporated Determining between scalar and vector quantization in higher order ambisonic coefficients
US9852737B2 (en) 2014-05-16 2017-12-26 Qualcomm Incorporated Coding vectors decomposed from higher-order ambisonics audio signals
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
CA2949108C (en) * 2014-05-30 2019-02-26 Qualcomm Incorporated Obtaining sparseness information for higher order ambisonic audio renderers
WO2015184316A1 (en) * 2014-05-30 2015-12-03 Qualcomm Incoprporated Obtaining symmetry information for higher order ambisonic audio renderers
US9922657B2 (en) 2014-06-27 2018-03-20 Dolby Laboratories Licensing Corporation Method for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values
CN117636885A (zh) 2014-06-27 2024-03-01 杜比国际公司 用于解码声音或声场的高阶高保真度立体声响复制(hoa)表示的方法
US9736606B2 (en) * 2014-08-01 2017-08-15 Qualcomm Incorporated Editing of higher-order ambisonic audio data
US9747910B2 (en) 2014-09-26 2017-08-29 Qualcomm Incorporated Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework
US10516782B2 (en) * 2015-02-03 2019-12-24 Dolby Laboratories Licensing Corporation Conference searching and playback of search results
US10334387B2 (en) 2015-06-25 2019-06-25 Dolby Laboratories Licensing Corporation Audio panning transformation system and method
US12087311B2 (en) 2015-07-30 2024-09-10 Dolby Laboratories Licensing Corporation Method and apparatus for encoding and decoding an HOA representation
EP3329486B1 (en) 2015-07-30 2020-07-29 Dolby International AB Method and apparatus for generating from an hoa signal representation a mezzanine hoa signal representation
US10249312B2 (en) 2015-10-08 2019-04-02 Qualcomm Incorporated Quantization of spatial vectors
US9961467B2 (en) * 2015-10-08 2018-05-01 Qualcomm Incorporated Conversion from channel-based audio to HOA
US10070094B2 (en) * 2015-10-14 2018-09-04 Qualcomm Incorporated Screen related adaptation of higher order ambisonic (HOA) content
FR3052951B1 (fr) * 2016-06-20 2020-02-28 Arkamys Procede et systeme pour l'optimisation du rendu sonore de basses frequences d'un signal audio
US11277705B2 (en) 2017-05-15 2022-03-15 Dolby Laboratories Licensing Corporation Methods, systems and apparatus for conversion of spatial audio format(s) to speaker signals
US10182303B1 (en) * 2017-07-12 2019-01-15 Google Llc Ambisonics sound field navigation using directional decomposition and path distance estimation
US10015618B1 (en) * 2017-08-01 2018-07-03 Google Llc Incoherent idempotent ambisonics rendering
CN107820166B (zh) * 2017-11-01 2020-01-07 江汉大学 一种声音对象的动态渲染方法
US10264386B1 (en) * 2018-02-09 2019-04-16 Google Llc Directional emphasis in ambisonics
US11798569B2 (en) 2018-10-02 2023-10-24 Qualcomm Incorporated Flexible rendering of audio data
WO2021021707A1 (en) * 2019-07-30 2021-02-04 Dolby Laboratories Licensing Corporation Managing playback of multiple streams of audio over multiple speakers
US12120497B2 (en) 2020-06-29 2024-10-15 Qualcomm Incorporated Sound field adjustment
EP4364436A2 (en) * 2021-06-30 2024-05-08 Telefonaktiebolaget LM Ericsson (publ) Adjustment of reverberation level
CN116582803B (zh) * 2023-06-01 2023-10-20 广州市声讯电子科技股份有限公司 扬声器阵列的自适应控制方法、系统、存储介质及终端

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889867A (en) * 1996-09-18 1999-03-30 Bauck; Jerald L. Stereophonic Reformatter
US6645261B2 (en) 2000-03-06 2003-11-11 Cargill, Inc. Triacylglycerol-based alternative to paraffin wax
US7949141B2 (en) * 2003-11-12 2011-05-24 Dolby Laboratories Licensing Corporation Processing audio signals with head related transfer function filters and a reverberator
CN1677493A (zh) * 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
EP2094032A1 (en) 2008-02-19 2009-08-26 Deutsche Thomson OHG Audio signal, method and apparatus for encoding or transmitting the same and method and apparatus for processing the same
EP2486561B1 (en) * 2009-10-07 2016-03-30 The University Of Sydney Reconstruction of a recorded sound field
TWI444989B (zh) * 2010-01-22 2014-07-11 Dolby Lab Licensing Corp 針對改良多通道上混使用多通道解相關之技術
WO2011117399A1 (en) 2010-03-26 2011-09-29 Thomson Licensing Method and device for decoding an audio soundfield representation for audio playback
NZ587483A (en) * 2010-08-20 2012-12-21 Ind Res Ltd Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions
US9271081B2 (en) * 2010-08-27 2016-02-23 Sonicemotion Ag Method and device for enhanced sound field reproduction of spatially encoded audio input signals
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
EP2451196A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Method and apparatus for generating and for decoding sound field data including ambisonics sound field data of an order higher than three

Also Published As

Publication number Publication date
US20210258708A1 (en) 2021-08-19
EP3629605B1 (en) 2022-03-02
HK1210562A1 (en) 2016-04-22
CN107071685A (zh) 2017-08-18
JP7119189B2 (ja) 2022-08-16
BR122020017399B1 (pt) 2022-05-03
US20170289725A1 (en) 2017-10-05
BR112015001128B1 (pt) 2021-09-08
BR112015001128A2 (pt) 2017-06-27
AU2017203820A1 (en) 2017-06-22
KR20230003380A (ko) 2023-01-05
JP2015528248A (ja) 2015-09-24
EP4013072B1 (en) 2023-10-11
US12108236B2 (en) 2024-10-01
US20180206051A1 (en) 2018-07-19
JP6696011B2 (ja) 2020-05-20
KR102079680B1 (ko) 2020-02-20
AU2021203484B2 (en) 2023-04-20
CN107071687B (zh) 2020-02-14
JP2019092181A (ja) 2019-06-13
AU2023203838A1 (en) 2023-07-13
CN107071685B (zh) 2020-02-14
JP7368563B2 (ja) 2023-10-24
KR102681514B1 (ko) 2024-07-05
US20200252737A1 (en) 2020-08-06
AU2017203820B2 (en) 2018-12-20
CN106658342B (zh) 2020-02-14
BR122020017389B1 (pt) 2022-05-03
EP4284026A3 (en) 2024-02-21
KR102479737B1 (ko) 2022-12-21
AU2021203484A1 (en) 2021-06-24
EP4013072A1 (en) 2022-06-15
US20180367934A1 (en) 2018-12-20
CN107071687A (zh) 2017-08-18
CN106658342A (zh) 2017-05-10
JP2021185704A (ja) 2021-12-09
US10075799B2 (en) 2018-09-11
JP6472499B2 (ja) 2019-02-20
US20150163615A1 (en) 2015-06-11
BR112015001128A8 (pt) 2017-12-05
US11451920B2 (en) 2022-09-20
JP6934979B2 (ja) 2021-09-15
KR20150036056A (ko) 2015-04-07
US20240040327A1 (en) 2024-02-01
JP2020129811A (ja) 2020-08-27
US10595145B2 (en) 2020-03-17
WO2014012945A1 (en) 2014-01-23
EP4284026A2 (en) 2023-11-29
JP2018038055A (ja) 2018-03-08
US9712938B2 (en) 2017-07-18
JP2024009944A (ja) 2024-01-23
EP3629605A1 (en) 2020-04-01
KR20210005321A (ko) 2021-01-13
KR20200019778A (ko) 2020-02-24
KR20240108571A (ko) 2024-07-09
AU2013292057A1 (en) 2015-03-05
AU2019201900B2 (en) 2021-03-04
CN107071686A (zh) 2017-08-18
CN106658343B (zh) 2018-10-19
AU2013292057B2 (en) 2017-04-13
US20190349700A1 (en) 2019-11-14
KR102201034B1 (ko) 2021-01-11
EP2873253A1 (en) 2015-05-20
CN107071686B (zh) 2020-02-14
AU2019201900A1 (en) 2019-04-11
US10306393B2 (en) 2019-05-28
US11743669B2 (en) 2023-08-29
CN106658343A (zh) 2017-05-10
EP2873253B1 (en) 2019-11-13
KR20230154111A (ko) 2023-11-07
JP2022153613A (ja) 2022-10-12
US10939220B2 (en) 2021-03-02
US20230080860A1 (en) 2023-03-16
US9961470B2 (en) 2018-05-01
CN104584588B (zh) 2017-03-29
CN104584588A (zh) 2015-04-29
KR102597573B1 (ko) 2023-11-02

Similar Documents

Publication Publication Date Title
JP6472499B2 (ja) オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20151021

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160603

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160628

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171017

R150 Certificate of patent or registration of utility model

Ref document number: 6230602

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250