JP2024514937A - 頭部関係フィルタの誤差補正 - Google Patents

頭部関係フィルタの誤差補正 Download PDF

Info

Publication number
JP2024514937A
JP2024514937A JP2023564412A JP2023564412A JP2024514937A JP 2024514937 A JP2024514937 A JP 2024514937A JP 2023564412 A JP2023564412 A JP 2023564412A JP 2023564412 A JP2023564412 A JP 2023564412A JP 2024514937 A JP2024514937 A JP 2024514937A
Authority
JP
Japan
Prior art keywords
filter
data set
extracted
filters
filter data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023564412A
Other languages
English (en)
Inventor
エルレンドゥル カールソン,
メンチウ チャン,
トフゴード, トマス ヤンソン
Original Assignee
テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エルエム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Publication of JP2024514937A publication Critical patent/JP2024514937A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Filters That Use Time-Delay Elements (AREA)
  • Complex Calculations (AREA)
  • Stereophonic System (AREA)
  • Television Signal Processing For Recording (AREA)
  • Adjustment Of The Magnetic Head Position Track Following On Tapes (AREA)
  • Networks Using Active Elements (AREA)

Abstract

最終の補正された頭部関係(HR)フィルタデータセット(A)を生成するための方法。本方法は、第1の補正されたHRフィルタデータセット(B)を取得することを含む。第1の補正されたHRフィルタデータセット(B)を取得することは、初期HRフィルタデータセット(C)を取得すること(s802)と、初期HRフィルタデータセットから抽出された、抽出されたHRフィルタデータセット(D)を取得すること(s804)と、抽出されたHRフィルタデータセット(D)のモデル(E)を取得すること(s806)と、モデル(E)を使用して、モデル化されたHRフィルタデータセット(F)を生成すること(s808)と、モデル化されたHRフィルタデータセット(F)および抽出されたHRフィルタデータセット(D)に基づいて、初期HRフィルタデータセット(C)中に含まれる1つまたは複数のHRフィルタを補正のために選択すること(s810)と、選択された1つまたは複数のHRフィルタを補正することによって、第1の補正されたHRフィルタデータセット(B)を生成すること(s812)とを含む。最終の補正されたHRフィルタデータセット(A)が、第1の補正されたHRフィルタデータセット(B)であるか、または、本方法が、第1の補正されたHRフィルタデータセット(B)を使用して、最終の補正されたHRフィルタセット(A)を生成することをさらに含む、のいずれかである。【選択図】図8

Description

頭部関係(HR:head-related)フィルタの誤差補正に関係する実施形態が開示される。
図1は、球面座標系における仰角と方位角とのペアによって指定される到来方向(DOA)からリスナーのほうへ伝搬する音波を示す。音波は、リスナーの左および右の鼓膜に達する前に、リスナーの上部胴体、頭部、外耳、および周囲の物質と相互作用する。この相互作用は、左および右の鼓膜に達する波形の時間的およびスペクトル変化を生じ、そのうちのいくつかはDOA依存である。
人間の聴覚系は、音波自体の様々な空間特性、ならびにリスナーがいる音響環境を推論するために、これらの変化を解釈することを学んでいる。この能力は、空間聴力と呼ばれ、空間聴力は、人間が、音イベント(物理音ソース)と人間が中にいる物理的環境(たとえば、小さい部屋、タイル張りの浴室、オーディトリアム、窓のない部屋(cave))によって引き起こされる音響特性とによって誘発される聴覚イベントのロケーションを推論するために、バイノーラル信号、すなわち、右および左の耳道における音信号中に埋め込まれた空間キューをどのように評価するかに関係する。空間聴力という、この人間の能力は、音の特定の空間知覚につながるであろう、空間キューをバイノーラル信号中に再導入することによって、仮想空間オーディオシーンを作成するために活用され得る。
主要な空間キューは、1)角度関係キュー:バイノーラルキュー、すなわち両耳間レベル差(ILD)および両耳間時間差(ITD)、ならびにモノラル(または、スペクトル)キューと、2)距離関係キュー:強度および直接対残響(D/R)エネルギー比とを含む。波形の短時間DOA依存時間的およびスペクトル変化の数学的表現(たとえば、1~5ミリ秒)が、いわゆる頭部関係(HR)フィルタである。それらのフィルタの周波数領域(FD)表現は、いわゆる頭部伝達関数(HRTF:head-related transfer function)であり、フィルタの時間領域(TD)表現は、頭部インパルス応答(HRIR:head-related impulse response)である。
図2は、リスナーのほうへ伝搬する音波のITDおよびスペクトルキューの一例を示す。2つのプロットは、0度の仰角および40度の方位角において取得されたHRフィルタのペアの大きさ応答を示す(データは、CIPICデータベース:対象ID28からのものである。データベースは、公開されており、リンクhttps://www.ece.ucdavis.edu/cipic/spatial-sound/hrtf-data/からアクセスされ得る)。HRフィルタベースのバイノーラルレンダリング手法が、徐々に確立されており、ここで、所望のロケーションのHRフィルタのペアを用いてオーディオソース信号を直接フィルタ処理することによって、空間オーディオシーンが生成される。この手法は、特に、多くの新生のアプリケーション、たとえば、仮想現実(VR)と拡張現実(AR)と複合現実(MR)とを含むエクステンデッドリアリティ、およびヘッドセットが通常使用される移動体通信システムとにとって魅力的である。
HRフィルタデータベースと呼ばれることもあるHRフィルタデータセットは、しばしば音響測定によって取得される、リスナーの周りの特定の球面角または方向(仰角および方位角)および他の関係メタデータにおいてサンプリングされる左および右HRフィルタの集合である。3つのステップ、すなわち、バイノーラル録音、参照録音、および後処理が、HRフィルタデータセット中のHRフィルタを取得することに関与する。
ステップ1:バイノーラル録音
HRフィルタを取得することを目的とするバイノーラル録音は、通常、無響室において行われる。録音セットアップは、ラウドスピーカーシステム、インイヤバイノーラルマイクロフォンシステム、ラウドスピーカー測位およびリスナー測位のための機械的システム、ならびにいくつかの補助デバイスおよびソフトウェアからなる。
図3は、HRフィルタバイノーラル録音のための簡略化されたセットアップを示す。リッスンする対象(たとえば、人工頭部、マネキン、または人間の対象)は、対象の頭部の中心の位置が測定原点(0,0,0)にあるように、機械的システムの中心に位置する。励起信号が生成され、一定半径の球面上の位置において配置される音エミッタ、たとえば、ラウドスピーカーを通して再生される。位置は(θ,φ,r)によって示され得、ここで、θは仰角に対応し、φは方位角に対応し、rは、リスナーの頭部の中心から音エミッタまでの距離である半径に対応する。2つの耳に到達する信号は、インイヤマイクロフォンによって録音される。この測定は、異なる次元においてリスナー、音エミッタ、またはその両方の位置を変動させることによって行われる、リスナーに対する励起信号の空間的位置を変動させることを行いながら、繰り返される。図4は、球体上のサンプリンググリッドの一例を示し、ここで、点は、録音が行われた位置を示す。
ステップ2:参照録音
生のバイノーラル録音は、HRインパルス応答だけでなく、ラウドスピーカー、バイノーラルマイクロフォン、AD/DA変換器、および増幅器を含む録音システム全体のインパルス応答をも含んでいる。次いで、参照録音が各インイヤマイクロフォンについて別々に行われる。録音プロトコルは、対象を除去し、マイクロフォンを位置(0,0,0)において配置することによって、バイノーラル録音と同様である。
ステップ3:後処理
後処理:自由場等化(Free Field Equalization)
生のバイノーラル録音から録音システムの影響を除去するための一般的なプロシージャが自由場等化である。yl/r(t;θ,Φ,r)を、励起信号が方向(θ,Φ,r)において放出されるときに左/右インイヤマイクロフォンにおいて録音される信号を示すものとする。半径rは、rが通常、HRフィルタ測定値において一定であるので、簡単のために、本開示の残りにおいて省略されることに留意されたい。s(t)を、励起信号を示すものとする。その場合、yl/r(t;θ,Φ)は、未知のインパルス応答と畳み込まれる励起信号、すなわち、yl/r(t;θ,Φ)=s(t)*hl/r(t;θ,Φ)*gl/r(t)として説明される。hl/r(t;θ,Φ)は、左/右耳HRインパルス応答を示し、gl/r(t)は、左/右インイヤマイクロフォンを使用する録音システムのインパルス応答を示す。xl/r(t)を、xl/r(t)=s(t)*gl/r(t)である参照録音とする。
各録音のフーリエ変換(FT)が行われ、Yl/r(f;θ,Φ)およびXl/r(f)を生じ、ここで、fは周波数である。参照録音のスペクトル応答は、あるレベルの正則化、たとえば、
Figure 2024514937000002
を伴うスペクトル分割を使用して、各バイノーラル録音のスペクトル応答から除外され、ここで、λは、計算雑音を回避するための正則化パラメータであり、それは周波数依存であり得る。得られた伝達関数Hl/r(f;θ,Φ)は、次いで、時間領域に変換され、それは、通常、耳、頭部、および胴体の音響効果をカバーするある長さにトランケートされる。
後処理:拡散場等化(Diffuse Field Equalization)
拡散場等化は、録音のセット内のすべての共通性を除去することを試みる。これは、あるレベルの周波数依存/非依存正則化を伴って、すべての方向にわたる平均に関して測定値を正規化することである。そのような平均は、すべての入射方向にわたる大きさ応答の平均、または、すべての方向にわたる大きさ2乗応答の平均(累乗平均)であり得る。拡散場等化の1つの目的は、HRフィルタデータセット中のHRフィルタにわたる音質の一貫性を提供することである。別の目的は、窓処理の何らかの一般的な応答、またはすべての方向について共通の後処理からの何らかの他の不要な効果を補償することである。
後処理:低周波数補償
ラウドスピーカーの制限された帯域幅および無響室の低周波数制限により、約200Hzを下回る周波数は、確実には測定され得ない。しかしながら、理論上、人間の頭部のサイズが波長よりもはるかに小さいとすれば、低周波数応答(<200Hz)は1(unity)に近いはずであり、または、低周波数利得は約0dBであるはずである。したがって、適切な低周波数応答を取得するために、低周波数補償または補正がしばしば適用される。たとえば400Hzを下回る、平坦な周波数応答および線形位相応答を拡張するために、低周波数モデルが採用され得る。たとえば、測定されたデータの低周波数コンテンツに、ある数値的にシミュレートされたデータが外挿され得る。明らかに、低周波数補償の目的は、バイノーラル化された(binauralized)オーディオの自然な低音を保証することである。
推定されたHRフィルタは、しばしば、有限インパルス応答(FIR)フィルタとして提供される。現在、HRフィルタは、通常、バイノーラルオーディオレンダラによって、それらの元の形態で直接使用されるか、または、HRフィルタのペアが、急激なスペクトルピークを防ぐために両耳間伝達関数(ITF)または修正ITFに変換され得る。代替的に、HRフィルタは、パラメトリック表現によって記述され得る。そのようなパラメータ化されたHRフィルタは、パラメトリックマルチチャネルオーディオコーダ、たとえば、ムービングピクチャエキスパートグループ(MPEG)サラウンドおよび空間オーディオオブジェクトコーディング(SAOC)と容易に統合する。
バイノーラルオーディオレンダラの性能はリスニングテストを通して主観的に評価され、ここで、判断は、通常、知覚される音品質とともに、知覚される空間品質の全体的なアセスメントである。リスナーの2つの耳道におけるバイノーラル化されたオーディオが、音がリスナーの耳によって拾われる場所において同じリスナーが有するであろうものに極めて良く対応する場合、「真正の(authentic)」再生が行われる。そのような「真正の」再生を達成するために、「真正の」HRフィルタが必要とされる。
マネキンまたは頭部および胴体シミュレータ、たとえば、KEMAR(ノウルズエレクトロニクスの音響調査用マニキン(Knowles Electronics Mannequin for Acoustics Research))、あるいは人間の対象に関する測定を使用してHRフィルタデータセットをセットアップすることに、かなりの労力が注がれた。現在、いくつかの公開されているデータセットがあり、公開されているHRフィルタデータセットから選択されたHRフィルタのセットがバイノーラルオーディオレンダラにおいて直接使用されることが一般的である。しかしながら、変動性が、HRフィルタ測定プロセスの内在する部分であり、雑音または測定誤差が不可避である。そのような測定誤差は、バイノーラルオーディオレンダリングにおいて直接使用されるとき、バイノーラル化されたオーディオの空間知覚に対する強い悪影響を有する。そのような誤差の例は、不整合誤差、および非HR反射によって引き起こされる誤差である。
不整合誤差
HRフィルタ測定では、特に人間の対象の場合、特殊な椅子が使用される。特殊な椅子は、通常、測定中の頭部の移動を最小限に抑えることを目的としてスピーカーに対する対象の頭部についての参照位置を提供する、ヘッドレストおよびバックレストをもつ構造を有するように設計される。しかしながら、しばしば、対象の頭部のわずかな傾きまたは椅子の垂直回転軸のわずかな傾きが発生し、それにより、スピーカーと頭部との間の位置の不整合を引き起こす。そのような不整合は、鼓膜における信号の到達時間(TOA)の不連続性、または言い換えると、HRフィルタの、オンセット遅延と称される周波数非依存時間遅延を生じる。オンセット遅延の不連続性は、ITDの不連続性を暗示する。たとえば、方位角0度におけるHRフィルタのITDは、0であると考えられる。しかし、不整合が発生したとき、ITDは0から逸脱する。ソースがリスナーの前で垂直線に沿って移動するオーディオシーンでは、±1サンプル程度の小さい逸脱の場合でさえ、この不整合誤差をもつHRフィルタを使用するレンダラについて不安定性(左/右のぐらつき)が知覚され得る。その上、オンセット遅延の不連続性によって引き起こされる隣接フレームの位相の不連続性も知覚され得る。
空間における恣意的なロケーションにおける音の納得のいく空間知覚につながる、空間オーディオソースをレンダリングすることは、対応するロケーションにおけるHRフィルタのペアを必要とし、したがって、球体上の細かくサンプリングされたロケーションにおけるHRフィルタのセットが必要とされる。レンダラにおいて使用されるHRフィルタセットの空間解像度は、レンダリングされた音ソースの空間解像度を決定する。2D球体上で粗くサンプリングされたHRフィルタセットを使用すると、仮想現実(VR)、拡張現実(AR)、複合現実(MR)、および/またはエクステンデッドリアリティ(XR)のユーザは、通常、移動する音の空間不連続性を報告する。そのような空間不連続性は、没入の感覚を著しく減少させるオーディオビデオ同期誤差につながる。
球体上のより密なグリッドにおけるHRフィルタセットを取得することが、問題を解決し得る。しかし、最小可聴角度(MAA:minimum audible angle)要件を満たす細かいグリッド上の入出力測定からHRフィルタセットを推定することは、極めて時間がかかり、対象と実験者の両方にとって退屈であり得る。測定解像度を増加させることなしにレンダリングを改善するために、角度補間技法が利用され得る。
最近傍方法は、バイノーラルオーディオレンダラが、通常、HRフィルタ角度補間のためにとる手法のうちの1つである。この方法は、各サンプリングされたロケーションにおけるHRフィルタが、ある有限距離までのみのエリアに影響を及ぼすことを仮定する。そのような方法では、サンプリングされていないロケーションにおけるHRフィルタは、サンプリングされていないロケーションからの、または直線2次元(2D)グリッド上の所与の数の最も近いポイントからのあるカットオフ距離内のサンプリングされたロケーションにおけるHRフィルタの加重平均として近似される。この手法は、疎にサンプリングされたHRフィルタデータセットを仮定すれば、欠落したHRフィルタに関する空間関係情報を推論するのに効率的である。しかしながら、この手法は、オンセット遅延の不連続性に敏感であり、広い意味の物体ロケーションにつながることがある。
非HR反射
非HR反射は、HRフィルタ測定において誤差を引き起こす別のソースである。上記で説明されたように、HRフィルタ測定は、一般に無響室において行われる。その上、機械的セットアップは、入射音響波に対する最小の影響を有するように、常に慎重に設計され、たとえば、ラウドスピーカーの側部が音響吸収体でラップされる、椅子の支持構造が音響吸収体によってカバーされる、などである。しかし、非HR反射は、依然として発生し得、録音においてキャプチャされ得る。そのような非HRインパルス応答は、得られたHRフィルタにおいて現れ、真正性を低下させ、たとえば、いくつかの周波数帯域におけるILDキューを無効にし、所望のロケーション以外のどこかにおいて、知覚できる「補助」ソースを生じ得る。
上記で説明されたように、バイノーラルレンダリングにおいて使用するために利用可能である元のHRフィルタセットは、一般にFIRフィルタである。これらのFIRフィルタは、通常、長さ数ミリ秒であり、ここで、各フィルタの時間スパンは、3つの連続時間領域、すなわち、プリアクティブ領域と、アクティブ領域と、ポストアクティブ領域とに分割され得る。プリアクティブ領域およびポストアクティブ領域では、フィルタタップは、0であるか、または、推定雑音によりゼロに極めて近くなり、バイノーラル化(binauralization)にほとんど寄与しない。アクティブ領域は、実際のバイノーラル化を表すフィルタタップを含んでいる。これらのフィルタタップは、アクティブ領域の始まりにおいては強いが、先細りになり、領域の最後においては0に近い値に減少する。
バイノーラルオーディオレンダリングにおいて使用されるフィルタは、元のフィルタであるか、または、フィルタの総時間スパンの異なる下位領域にわたって元のフィルタから抽出され得る。理想的には、フィルタのアクティブ領域のみを抽出し、左フィルタのアクティブ領域と右フィルタのアクティブ領域との間のITDを推定することは、メモリを節約し、フィルタ処理演算の実装をより効率的にするので、これは有益であろう。アクティブ領域にわたって抽出されたフィルタセットは、ゼロ時間遅延HRフィルタセットと呼ばれ、そのデータ表現において左HRフィルタと右HRフィルタとの間のITDを含んでいる。
現在、いくつかの課題が存在する。たとえば、特に、フィルタが、フィルタの推定から生じるプリリンギング効果を含んでいる場合、各フィルタのアクティブ領域を構成するものの良好な推定を得ることは自明でない。
HRフィルタ測定プロセスまたは下位領域抽出プロセスのいずれかからの誤差が存在するとすれば、バイノーラルオーディオレンダラの性能を保証するために、バイノーラルオーディオレンダリングにおいてフィルタを使用する前に、前もってHRフィルタにおいて両方のタイプの誤差を検出し、補正することが必要である。
したがって、一態様では、最終の補正された頭部関係(HR)フィルタデータセットHfcを生成するための方法が提供される。本方法は、第1の補正されたHRフィルタデータセットH’を取得することを含む。第1の補正されたHRフィルタデータセットH’を取得することは、初期HRフィルタデータセットHを取得することと、初期HRフィルタデータセットHから抽出された、抽出されたHRフィルタデータセットHを取得することとを含む。第1の補正されたHRフィルタデータセットH’を取得することは、抽出されたHRフィルタデータセットHのモデルMを取得することと、モデルMを使用して、モデル化されたHRフィルタデータセットHを生成することとをさらに含む。第1の補正されたHRフィルタデータセットH’を取得することは、モデル化されたHRフィルタデータセットHおよび抽出されたHRフィルタデータセットHに基づいて、初期HRフィルタデータセットH中に含まれる1つまたは複数のHRフィルタを補正のために選択することと、選択された1つまたは複数のHRフィルタを補正することによって、第1の補正されたHRフィルタデータセットH’を生成することとをさらに含む。最終の補正されたHRフィルタデータセットHfcが、第1の補正されたHRフィルタデータセットH’であるか、または、本方法が、第1の補正されたHRフィルタデータセットH’を使用して、最終の補正されたHRフィルタセットHfcを生成することをさらに含む、のいずれかである。
別の態様では、処理回路によって実行されたとき、処理回路に、上記で説明された方法を実施させる命令を備えるコンピュータプログラムが提供される。
別の態様では、最終の補正された頭部関係(HR)フィルタデータセットHfcを生成するための装置が提供される。本装置は、第1の補正されたHRフィルタデータセットH’を取得するように設定される。第1の補正されたHRフィルタデータセットH’を取得することは、初期HRフィルタデータセットHを取得することと、初期HRフィルタデータセットHから抽出された、抽出されたHRフィルタデータセットHを取得することとを含む。第1の補正されたHRフィルタデータセットH’を取得することは、抽出されたHRフィルタデータセットHのモデルMを取得することと、モデルMを使用して、モデル化されたHRフィルタデータセットHを生成することとをさらに含む。第1の補正されたHRフィルタデータセットH’を取得することは、モデル化されたHRフィルタデータセットHおよび抽出されたHRフィルタデータセットHに基づいて、初期HRフィルタデータセットH中に含まれる1つまたは複数のHRフィルタを補正のために選択することと、選択された1つまたは複数のHRフィルタを補正することによって、第1の補正されたHRフィルタデータセットH’を生成することとをさらに含む。最終の補正されたHRフィルタデータセットHfcが、第1の補正されたHRフィルタデータセットH’であるか、または、本装置が、第1の補正されたHRフィルタデータセットH’を使用して、最終の補正されたHRフィルタセットHfcを生成するようにさらに設定される、のいずれかである。
別の態様では、装置が提供される。本装置は、メモリと、メモリに結合された処理回路とを備え、本装置は、上記で説明された方法を実施するように設定される。
本開示の実施形態は、少なくとも以下の利点を提供する。
(1)HRフィルタセットにおいて、加法的確率的雑音と、HRフィルタ処理関係ではない散発性反射などの散発性誤差とを平滑化すること。
(2)モデル化の反復的プロセスと、その後に続く、誤差検出-分類-補正のプロセスとを通してHRフィルタセットを改善すること。
本明細書に組み込まれ、明細書の一部をなす添付の図面は、様々な実施形態を示している。
球面座標系における仰角と方位角とのペアによって指定される到来方向(DOA)からリスナーのほうへ伝搬する音波を示す図である。 リスナーのほうへ伝搬する音波のITDおよびスペクトルキューの一例を示す図である。 HRフィルタバイノーラル録音のための簡略化されたセットアップを示す図である。 2D球体上のサンプリンググリッドの一例を示す図である。 一実施形態による、プロセスを示す図である。 一実施形態による、プロセスを示す図である。 いくつかの実施形態による、システムを示す図である。 いくつかの実施形態による、システムを示す図である。 一実施形態による、プロセスを示す図である。 一実施形態による、装置を示す図である。
球面角のセットにわたってサンプリングされるHRフィルタセット中の各左および右HRフィルタは、真のHRフィルタと測定/抽出誤差フィルタとの和であると見なされる。これは、HRフィルタセットが、測定されたFIR HRフィルタセットを直接使用するのか、左フィルタと右フィルタとの間のITD値をもつフィルタの時間スパンの異なる下位領域にわたって抽出されたHRフィルタセットからのフィルタを使用するのかにかかわらず、適用される。
取得されたHRフィルタセット中の誤差を検出し、補正するために、空間的に近いHRフィルタ間の比較的平滑な変化を強制する単位球面上のHRフィルタセットのモデルが評価される。フィルタセットに関するモデル化誤差を最小限に抑えることによって、モデルは、フィルタ中のいくつかのタイプの測定/抽出誤差をフィルタアウトまたは除去し得る。フィルタアウトまたは除去され得る誤差のタイプの例は、(1)HRフィルタ処理の一部でない、HRフィルタにおける散発性反射の形態の誤差、および(2)特により高い周波数において顕著な、加法的確率雑音である誤差を含む。
モデルが取得されると、比較的大きいモデル化誤差をもつ個々のHRフィルタが識別され、誤差のタイプが分類される。いくつかの誤差クラスに属する誤差が補正され得る。誤差が補正可能であるとき、誤差は、それらの特定のHRフィルタについて補正され、HRフィルタのセットは、補正されたフィルタで更新される。このモデル化および誤差検出-分類-補正プロシージャを数回反復することは、はるかに改善されたHRフィルタセットを作り出し得る。上述のように、特に重要な補正可能な誤差の1つのクラスは、オンセット遅延誤差のクラスである。オンセット遅延誤差のクラスは、フィルタがフィルタの時間スパンの下位領域から抽出されるとき、測定プロセスおよび/または抽出プロセスから発生する。
本開示の実施形態は、元のHRフィルタセットと、フィルタの時間スパンの異なる下位領域から抽出されるHRフィルタとを含むすべてのタイプのHRフィルタセット(またはフィルタ)に適用可能である。
データ変数およびそれらの記法
一般的なデータ構造は、データシーケンスおよび他のデータ構造のリストとして示される。本開示の実施形態では、基本HRフィルタデータセットHは、M個の仰角および方位角{(θ[m],Φ[m]):m=1,...,M}においてサンプリングされたHRフィルタを含んでいるデータセットであり、ここで、θおよびΦはそれぞれ仰角および方位角であり、mはインデックスを示す。
データセットHは、データリストH={θ,Φ,H,H}の形態で提供され得る。
θ={θ[m]:m=1,...,M}は、仰角のシーケンスを示す。
φ={φ[m]:m=1,...,M}は、方位角のシーケンスを示す。
={h[m]:m=1,...,M}は左HRフィルタのセットを示し、ここで、h[m]=[h[1;m],...,h[N;m]]は長さNのFIRフィルタである。
={h[m]:m=1,...,M}は右HRフィルタのセットを示し、ここで、h[m]=[h[1;m],...,h[N;m]]は長さNのFIRフィルタである。
左HRフィルタの長さと右HRフィルタの長さとは、異なるかまたは同じ(すなわち、N=N)であり得る。
いくつかの実施形態では、Hは、フィルタのアクティブ領域の始まりを示すオンセット遅延のデータシーケンスをさらに含んでいることがある。たとえば、拡張されたHRフィルタデータセットはH={θ,Φ,H,H,τ,τ}であり得、ここで、τ={τ[m]:m=1,...,M}は左HRフィルタのオンセット遅延のシーケンスを示し、τ={τ[m]:m=1,...,M}は右HRフィルタのオンセット遅延のシーケンスを示す。
Hは、左および右HRフィルタのオンセット遅延から導出されたITDのデータシーケンスをも含んでいることがあり、すなわち、H={θ,Φ,H,H,τ,τ,τITD}であり、ここで、τITD={τITD[m]:m=1,...,M}は、ITDのシーケンスを示す。
いくつかの実施形態では、Hは、左および右HRフィルタのオンセット遅延から導出されたITDのデータシーケンスを含んでいることがあるが、左HRフィルタのオンセット遅延のシーケンスおよび右HRフィルタのオンセット遅延のシーケンスを含んでいないことがあり、すなわち、H={θ,Φ,H,H,τITD}である。
本開示のいくつかの実施形態では、少なくとも4つの異なるHRフィルタデータセット、すなわち、元のデータセットH、初期HRフィルタデータセットH、抽出されたデータセットH、およびモデル生成されたデータセットHが使用され得る。
元のデータセットHは、
Figure 2024514937000003
を含んでいることがある。ただし、いくつかの実施形態では、データセットは、
Figure 2024514937000004
をさらに含んでいることがある。言い換えれば、Hは、
Figure 2024514937000005
として表され得る。また、元のデータセットHは、ITDのデータシーケンスτITDを含むことも含まないこともある。
初期HRフィルタデータセットHは、反復的に誤差補正されるかまたはされることになるフィルタセットであり得る。初期HRフィルタデータセットHは、Hから
Figure 2024514937000006
により初期化され得、たとえば、
Figure 2024514937000007
である。初期HRフィルタデータセットHはまた、抽出されるべき左および右フィルタの長さ
Figure 2024514937000008
と、抽出において使用されるべき左および右フィルタについてのオンセット遅延シーケンス
Figure 2024514937000009
とを指定する抽出指定により初期化され得る。
Figure 2024514937000010
は、以下により初期化され得る。
(1)利用可能であるとき、Hから取得されたオンセット遅延シーケンス、
(2)
Figure 2024514937000011
において各フィルタのオンセットを推定することによって取得された左および右オンセット遅延シーケンス、ならびに/または
(3)単一のサンプルオンセット遅延シーケンス
Figure 2024514937000012
は、すべての左HRフィルタのために使用される所望の左オンセット遅延を指定し、
Figure 2024514937000013
は、すべての右HRフィルタのために使用される所望の右オンセット遅延を指定する。このオプションでは、フィルタは、固定の左および右オンセット遅延を伴って抽出され得る。さらに、元のHRフィルタセットが抽出されるべきであるとき、初期HRフィルタデータセットHのためのフィルタ抽出指定は、
Figure 2024514937000014
になる。
上記で説明されたように、Hは、
Figure 2024514937000015
として表され得る。反復された誤差補正プロセス中に、
Figure 2024514937000016
は、必要に応じて更新され得る。また、上記で説明されたように、
Figure 2024514937000017
は、抽出プロセスにおいて使用され得る。
いくつかの実施形態では、抽出されたHRフィルタデータセットHは、
Figure 2024514937000018
として表され得、ここで、
Figure 2024514937000019
は、
Figure 2024514937000020
に従って
Figure 2024514937000021
から抽出されたフィルタ(フィルタセット)の左および右シーケンスである。
たとえば、
Figure 2024514937000022
および
Figure 2024514937000023
であり、ここで、
Figure 2024514937000024
は、
Figure 2024514937000025
の抽出されたFIRフィルタであり、
Figure 2024514937000026
である。
Figure 2024514937000027
および
Figure 2024514937000028
であり、ここで、
Figure 2024514937000029
の抽出されたFIRフィルタであり、
Figure 2024514937000030
である。
反復されたモデルベース誤差補正では、Hは、モデルMでモデル化され得る。モデルMは、抽出されたHRフィルタデータセットH中のフィルタの空間変動をモデル化する関数であり得る。モデルMの詳細な説明が以下で提供される。モデル生成されたデータセットHは、Hを近似するモデルMによって生成されたフィルタセットである。Hは、
Figure 2024514937000031
として表され得る。H中のフィルタとH中のフィルタとの間のモデル化誤差は、どのフィルタを分類すべきかと、どのフィルタに対して誤差補正を実施すべきかとを検出するために使用され得る。
反復的誤差補正プロセスが停止したとき、プロセスの出力は、(1)(Hfcと示された)最終の補正されたHRフィルタデータセット、(2)最終の補正されたHRフィルタデータセット(Hfc)から抽出された、抽出されたHRフィルタデータセットH’の生成されたモデルM’、(3)出力指定Oにおいて指定された仰角θおよび方位角Φにおいて(2)におけるモデルM’から生成された新しいモデル化されたHRフィルタデータセットH’のうちの1つとして、出力指定Oに従って配信され得る。
反復的モデル化ベース誤差補正プロセスの概観
図5は、いくつかの実施形態による、HRフィルタの抽出されたセットを改善するための反復的モデル化ベース誤差補正方法500を示す。
方法500の入力は、元のHRフィルタデータセットH、抽出指定X、および出力指定Oであり得る。
元のHRフィルタデータセットHは、既存のファイルからのHRフィルタデータセットをHにロードすることによって取得され得る。
抽出指定Xは、Hを初期化するために使用し、後にHからHを抽出する反復ループのために使用すべき
Figure 2024514937000032
の所望の値を指定することによって取得され得る。上記で説明されたように、
Figure 2024514937000033
は、左および右の抽出されたフィルタの所望の長さを規定し、
Figure 2024514937000034
が抽出される時間インスタンスを規定し、
Figure 2024514937000035
が抽出される時間インスタンスを規定する。
所望の抽出されたHRフィルタセットが、元のHRフィルタセット、または左フィルタと右フィルタとがすべて同じオンセット遅延において抽出されるHRフィルタセットであるとき、
Figure 2024514937000036
中のすべてのエレメントは、同じ値を有する、すなわち、
Figure 2024514937000037
であるようにセットされ得、または、それらのエレメントは、すべてのM個の仰角および方位角のために
Figure 2024514937000038
が使用されるものとして、長さ1のシーケンスとして規定され得る。
所望の抽出されたHRフィルタがゼロ時間オンセット遅延HRフィルタセットであるとき、
Figure 2024514937000039
であり、各エレメントが各HRフィルタのオンセット遅延に対応する。いくつかのデータセット(たとえば、CIPICデータセット)は、
Figure 2024514937000040
として直接使用され得るオンセット遅延情報を提供する。しかしながら、データセットの大部分は、そのような情報を提供しない。そのような情報が元のデータセットにおいて提供されない場合、各HRフィルタについてオンセット遅延が推定される必要がある。このオンセット推定を行うための多くの異なる方法が存在する。オンセット推定アルゴリズムの(1つまたは複数の)例は、PCT/EP2020/079042において説明される。
出力指定Oは、所望の出力データセットの、
Figure 2024514937000041
示されるタイプ、および必要な場合、所望の角度{θ,Φ}のシーケンスを指定することによって取得され得る。
Figure 2024514937000042
出力データセットが、最終の補正されたHRフィルタデータセットHfcであるのか、最終の補正されたHRフィルタデータセットHfcから抽出された、抽出されたHRフィルタデータセットH’のモデルM’であるのか、モデルM’から生成された新しいモデル化されたHRフィルタデータセットH’であるのかを示し得る。{θ,Φ}は、モデル生成されたHRフィルタデータセットを使用してより良いレンダリング品質を取得するために、Hから直接取得されるか、または、何らかの他のやり方で、たとえば、より密にサンプリングされた球面グリッドに基づいて、および潜在的にモデル性能にも基づいて、決定され得る。
上記で説明されたように、本開示の実施形態では、出力は、改善されたHRフィルタデータセット(すなわち、最終の補正されたHRフィルタデータセットHfc)であり得、ここで、改善されたHRフィルタデータセットのHRフィルタは、Hと同じフォーマットで記憶され得るか、あるいは、改善されたHRフィルタデータセットまたはモデル生成されたHRフィルタデータセットのモデルによって表され得る。
上記で説明された、入力を取得することの後に、反復的モデル化ベース誤差補正方法500が実施され得る。方法500は、初期化プロセス502と、反復ループプロセス504と、出力プロセス506とを含んでいることがある。
いくつかの実施形態では、反復ループプロセス504は、3つのプロセス、すなわち、モデル化プロセス512と、モデル誤差検出および分類プロセス514と、HRフィルタデータセット誤差補正プロセス516とを含み得る。
方法500は、オフラインで、または、バイノーラルオーディオレンダラにHRフィルタデータセットをロードすることに関してそのレンダラ内で、稼働され得る。
反復的モデル化ベース誤差補正方法500の詳細
1.初期化プロセス
初期化プロセス502において、反復ループにおいて必要とされる一部または全部のデータ変数が初期化される。反復ループにおいて必要とされるデータ変数は、(1)元のHRフィルタデータセットHおよび抽出指定Xから取得された初期HRフィルタデータセットH、(2)誤差しきい値Tε、(3)反復条件C、ならびに(4)分類器(classifier)のリストLClassifiersのうちの1つまたは複数を含み得る。
1.1 初期HRフィルタデータセットH
いくつかの実施形態では、
Figure 2024514937000043
であり、ここで、
Figure 2024514937000044
は、元のHRフィルタデータセットHにおける対応するデータ構造により初期化され、
Figure 2024514937000045
は、抽出指定Xにおける対応するデータ構造により初期化される。
1.2 誤差しきい値Tε
εは、HRフィルタのモデル化誤差のためのしきい値に対応し得る。しきい値は、分類すべきHRフィルタの選択のために使用され得る。たとえば、HRフィルタに関連するモデル化誤差がしきい値よりも大きい場合、そのHRフィルタは、分類のために選択され得る。一例では、しきい値は0.10である。
1.3 反復条件C
は、反復ループを制御する論理式に対応し得る。反復ループは、この論理式が偽になるまで反復し得る。論理式は、それ以上、補正すべきHRフィルタがないとき、または反復の数が指定された最大値に達したとき、論理式が偽になるように、構築され得る。
1.4 分類器のリストLClassifiers
Classifiersは、モデル化誤差の分類と最終的なHRフィルタ補正とをハンドリングするために使用される分類器のリストであり得る。リスト中の各項目は、(1)分類ID、(2)モデル化誤差が特定のクラスのものであるか否かを決定するための分類方法、および(3)分類された誤差が補正され得るかどうかを示すフラグのうちの1つまたは複数を含んでいることがある。
分類された誤差が補正され得る場合、対応する項目は、クラス固有補正データ構造を提供されたとき、分類された誤差を補正するための補正方法をも含み得る。このクラス固有補正データ構造は、分類されたフィルタの
Figure 2024514937000046
中の項目に含まれ得る。
2.反復ループプロセス
反復ループプロセス504において、以下の3つのサブプロセス、すなわち、(1)モデル化サブプロセス512、(2)モデル誤差検出および分類サブプロセス514、ならびに(3)HRフィルタセット誤差補正サブプロセス516が、論理式Cが偽になるまで繰り返され得る。
2.1 モデル化
図6に示されているように、モデル化プロセス512は、3つのステップ、すなわち、ステップs602、s604、およびs606を含んでいることがある。
ステップs602は、反復ループの第1の反復において、初期HRフィルタデータセットHから、抽出されたHRフィルタデータセットHを取得することを含む。ステップs604は、抽出されたHRフィルタデータセットHのモデルMを取得することを含む。ステップs606は、モデルMから生成されたHRフィルタデータセットHを取得することを含む。
2.1.1 ステップs602-抽出されたHRフィルタデータセットHを取得すること
ステップs602は、初期HRフィルタデータセットHから、抽出されたHRフィルタデータセットHを取得することを含む。いくつかの実施形態では、
Figure 2024514937000047
であり、ここで、θ、Φは、Hにおける対応するデータ構造として取得され、
Figure 2024514937000048
は、Hにおける
Figure 2024514937000049
に従って、Hにおける
Figure 2024514937000050
から抽出され、ここで、
Figure 2024514937000051
および
Figure 2024514937000052
であり、ここで、
Figure 2024514937000053
は、
Figure 2024514937000054
の抽出されたFIRフィルタである。
同様に、いくつかの実施形態では、
Figure 2024514937000055
および
Figure 2024514937000056
であり、ここで、
Figure 2024514937000057
は、
Figure 2024514937000058
の抽出されたFIRフィルタである。
2.1.2 ステップs604-モデルMを取得すること
ステップs604は、抽出されたHRフィルタデータセットHのモデルMを取得することを含む。いくつかの実施形態では、
Figure 2024514937000059
は、別々にモデル化される。本開示における記法を簡略化するために、下付き文字および上付き文字は、特に必要とされないとき、省略される。
HRフィルタセットH中のフィルタの空間変動は、仰角および方位角の
Figure 2024514937000060
としてモデル化され得る。一般的な形態では、モデルは
Figure 2024514937000061
によって表され得、ここで、fは、すべてのモデルパラメータを含むAとすべての基底関数を含む
Figure 2024514937000062
とをもつ線形または非線形関数であり得る。基底関数は、学習可能であるか、またはあらかじめ規定され得る。一例として、P個の基底関数をもつ線形モデルでは、この関数は、
Figure 2024514937000063
によって明示的に表され得、A=[α,...,α]はモデルパラメータセットであり、ここで、α=[α,...,αは、p番目の
Figure 2024514937000064
のためのモデルパラメータベクトルである。[・]は転置演算子を示す。
Figure 2024514937000065
は基底関数のシーケンスである。
Figure 2024514937000066
は、空間変数を固定空間サンプリングポイントと区別するためにθおよびφの代わりにここで使用されることに留意されたい。線形モデルが使用されるのか非線形モデルが使用されるのかにかかわらず、
Figure 2024514937000067
は、正則化項、すなわち
Figure 2024514937000068
を含み得る選ばれた損失関数(loss function of choice)Lを最小限に抑えるAセットとして取得され得、ここで、
Figure 2024514937000069
を仮定すれば、サンプリングされた角度(θ[m],Φ[m])におけるHRフィルタの近似である。
そのような損失関数の一例は、2乗誤差損失、すなわち
Figure 2024514937000070
である。
線形モデルでは、
Figure 2024514937000071
は、線形最小2乗推定を通して取得され得る。非線形モデルでは、
Figure 2024514937000072
は、反復的勾配ベース方法を通して推定され得る。モデル化アルゴリズムの(1つまたは複数の)例は、PCT/EP2020/079042において説明される。
HRフィルタとDOAとの間の基本的な関係は、通常、連続的と見なされる。しかしながら、上記で説明されたように、雑音または測定誤差は、HRフィルタ測定プロセスにおいて不可避であり、たとえば、測定において不連続性が現れる。HRフィルタセットにおける雑音または誤差にモデルを過剰適合させることを回避するために、2つのストラテジー、すなわち、1)基底関数を、その平滑さを、HRフィルタの本質的空間変動をキャプチャするのに十分にリッチでありながら最大にするように、慎重に設計すること、および2)平滑さを強いるために損失関数にいくつかの正則化を適用することが適用され得る。
抽出されたHRフィルタのモデル表現は、
Figure 2024514937000073
との間の関係を決定するモデル化関数fとを含んでいる
Figure 2024514937000074
によって示され得る。
Figure 2024514937000075
におけるHRフィルタベクトルが計算され得る。
がゼロ時間遅延HRフィルタデータセットである場合、
Figure 2024514937000076
との間の差である
Figure 2024514937000077
の関数として、別々に、モデル化され得る。同様に、オンセット遅延τのセットのモデルは、
Figure 2024514937000078
によって表され得、ここで、gは、すべてのモデルパラメータを含むβとすべての基底関数を含むBとをもつ線形または非線形関数であり得る。基底関数は、学習可能であるか、またはあらかじめ規定され得る。一例として、線形モデルでは、この関数は、
Figure 2024514937000079
によって与えられ、ここで、βは、q番目の
Figure 2024514937000080
のモデル係数であり、Qは基底関数の数である。
HRフィルタと同様に、
Figure 2024514937000081
は、選ばれた損失関数を最小限に抑える
Figure 2024514937000082
として取得され得る。そのような損失関数の一例は、2乗誤差損失、すなわち
Figure 2024514937000083
であり、ここで、
Figure 2024514937000084
は、βおよびBを仮定すれば、サンプリングされた角度(θ[m],Φ[m])における遅延τの近似である。
遅延のモデル表現は、
Figure 2024514937000085
と、基底関数Bと、
Figure 2024514937000086
との間の関係を記述するモデル化関数gとを含んでいる
Figure 2024514937000087
によって示され得る。
によって示される、抽出されたHRフィルタデータセットHのモデル表現は、
Figure 2024514937000088
のモデル表現を含んでいることがある。適用可能なとき、Mは、左HRフィルタおよび右HRフィルタのオンセット遅延の
Figure 2024514937000089
をも含んでいることがある。反復ループ内では、オンセット遅延モデルは必要とされないことがある。
2.1.3 ステップs606-モデルMを使用してHRフィルタモデルデータセットHを生成すること
ステップs606において、
Figure 2024514937000090
が、サンプリングされた角度{θ,Φ}のシーケンスによって指定された所与のロケーションにおいて
Figure 2024514937000091
を使用して生成され得、ここで、θ={θ[m]:m=1,...,M}であり、Φ={Φ[m]:m=1,...,M}である。サンプリングされた角度{θ,Φ}は、
Figure 2024514937000092
から直接取得され得る。
いくつかの実施形態では、
Figure 2024514937000093
および
Figure 2024514937000094
の各々が、以下の3つのステップを実施することによって、それぞれ
Figure 2024514937000095
から生成され得る。
{1,...,M}中の各mについて、
1.サンプリングされた角度シーケンスθおよびφから球面角θ[m]およびΦ[m]を取得する。
2.M中の
Figure 2024514937000096
を使用して、モデル化関数fと、
Figure 2024514937000097
とを使用して(θ[m],Φ[m])において
Figure 2024514937000098
を算出する。線形モデルの場合、
Figure 2024514937000099
によって計算され得る。
3.M中の
Figure 2024514937000100
を使用して、モデル化関数fと、
Figure 2024514937000101
とを使用して(θ[m],Φ[m])において
Figure 2024514937000102
を算出する。線形モデルの場合、
Figure 2024514937000103
によって計算される。
同様に、
Figure 2024514937000104
の各々が、以下の2つのステップを実施することによって、それぞれ
Figure 2024514937000105
から生成され得る。代替または追加として、
Figure 2024514937000106
が、以下の2つのステップを実施することによって、
Figure 2024514937000107
から生成され得る。
{1,...,M}中の各mについて、
1.サンプリングされた角度シーケンスθおよびφから球面角θ[m]およびΦ[m]を取得する。
2.M中の遅延セットモデルMτを使用して、モデル化関数gと、
Figure 2024514937000108
と、基底関数Bとを使用して(θ[m],Φ[m])において遅延τ[m]を算出する。線形モデルの場合、τ[m]は
Figure 2024514937000109
によって計算され得る。
遅延データセットの生成は、反復ループプロセスにおいて必要とされない。言い換えれば、遅延データセットの生成は、反復ループプロセスにおける随意のステップである。
2.2 モデル誤差検出および分類プロセス
図6に示されているように、モデル誤差検出および分類プロセス514は、ステップs608とステップs610とを含み得る。
ステップs608は、分類すべきHRフィルタのインデックスの
Figure 2024514937000110
を取得することを含み得る。分類すべきHRフィルタは、誤差しきい値Tεを超えるモデル化誤差を有する。
ステップs610は、分類されたHRフィルタの
Figure 2024514937000111
を取得することを含み得る。
2.2.1 ステップs608-分類すべきHRフィルタのインデックスの
Figure 2024514937000112
を取得すること
分類すべきHRフィルタのインデックスのリストは、(1)H中のすべてのHRフィルタのモデル化誤差を評価することと、(2)誤差しきい値Tεを超えるモデル化誤差を見つけることと、(3)誤差しきい値Tεを超えるモデル化誤差を有するHRフィルタのインデックスを
Figure 2024514937000113
中に入れることとによって、取得され得る。左HRフィルタと右HRフィルタとについて別個のインデックスリストがあり得る。
中のすべてのHRフィルタのモデル化誤差の評価は、HおよびH中の左および右HRフィルタシーケンスを使用することによって取得され得る。たとえば、左モデル化誤差および右モデル化誤差は、以下のように算出され得る。
(1) 空である左インデックスリストi=[]および右インデックスリストi=[]を初期化すること。
(2) {1,...,M}中の各mについて、
(2-1)
Figure 2024514937000114
を評価すること。これらの誤差は、正規化されたモデル化誤差、すなわち、
Figure 2024514937000115
として評価され得、ここで、
Figure 2024514937000116
は正規化関数である。一例として、L2損失関数では、左の正規化された
Figure 2024514937000117
は、
Figure 2024514937000118
または何らかの他の形態のモデル化誤差によって与えられる。
(2-2)
Figure 2024514937000119
(3)
Figure 2024514937000120
をセットすること。
例)
Figure 2024514937000121
であるとき、ならびに
Figure 2024514937000122
に関連する誤差の各々がTεよりも大きい場合、
Figure 2024514937000123
が、1、3、および5のインデックス値を含み得る。
2.2.2 ステップs610-分類されたHRフィルタの
Figure 2024514937000124
を取得すること
分類されたHRフィルタの
Figure 2024514937000125
は分類項目のリストであり、ここで、各分類項目は、以下のうちのいずれか1つまたは複数を含んでいることがある。
(1)抽出されたHRフィルタデータセットH中に含まれる特定のHRフィルタのインデックスと、特定のHRフィルタが左HRフィルタであるのか右HRフィルタであるのかの指示とに関する情報をもつフィルタID、
(2)特定のHRフィルタに関連するモデル化誤差のクラスと、クラスの誤差が補正可能であるかどうかとを識別する分類ID、および
(3)その誤差クラスのための補正方法によって必要とされる補正情報をもつクラス固有補正データ構造。
上記で提供された例では、
Figure 2024514937000126
であり、
Figure 2024514937000127
である。また、
Figure 2024514937000128
に関連する誤差の各々がTεよりも大きく、
Figure 2024514937000129
が、1、3、および5のインデックス値を含む。
上記の例では、
Figure 2024514937000130
に関連する誤差が、補正可能誤差クラス#E1に属する場合、
Figure 2024514937000131
に関連する誤差は、非補正可能誤差クラス#E2に属し、
Figure 2024514937000132
に関連する誤差は、補正可能誤差クラス#E3に属し、分類されたフィルタの
Figure 2024514937000133
は、項目L1classifiedと、項目L2classifiedと、項目L3classifiedとを含み得、L1classifiedは、[1]のインデックス値とHRフィルタが左HRフィルタであるという指示とに関する情報をもつL1フィルタIDと、誤差クラス#E1を識別し、#E1が補正可能であることを示すL1分類IDと、クラス固有補正データ構造とを含んでいる。
同様に、L2classifiedは、[3]のインデックス値とHRフィルタが左HRフィルタであるという指示とに関する情報をもつL2フィルタIDと、誤差クラス#E2を識別し、#E2が補正可能でないことを示すL2分類IDとを含んでいる。
同様に、L3classifiedは、[5]のインデックス値とHRフィルタが左HRフィルタであるという指示とに関する情報をもつL3フィルタIDと、誤差クラス#E3を識別し、#E3が補正可能であることを示すL3分類IDと、クラス固有補正データ構造とを含んでいる。
HRフィルタモデル化誤差のいくつかのクラスでは、高い程度の信頼性で、モデル化誤差がそれらのクラスのものであるか否かを決定することができる分類方法があり得る。これらのクラスのうちのいくつかでは、誤差を直すためにHRフィルタを補正するための方法があり得る。異なるモデル化誤差クラスのための補正方法は大幅に変動し得、したがって、いくつかの実施形態では、それらの補正方法は、それらのクラスについて提供される。
分類され得るモデル化誤差のこれらのクラスを管理するために、分類のリストLClassificationsが使用され得る。そのリスト中の各項目は、以下のうちのいずれか1つまたは複数を含んでいることがある。
(1)分類ID、
(2)モデル化誤差がそのクラスのものであるか否かを決定するための分類方法、および
(3)分類された誤差が補正され得るかどうかを示すフラグ。
分類IDに対応する抽出されたHRフィルタが補正され得る場合、LClassifications中の項目は、一般に、分類されたHRフィルタの
Figure 2024514937000134
中に含まれる、クラス固有補正データ構造を提供されたとき、抽出されたHRフィルタを補正する補正方法をも含んでいることがある。
特に関心のある1つのクラスは、遅延誤差のクラスである。遅延誤差を特徴づけるものは、抽出されたフィルタの正規化されたモデル化誤差が比較的大きいということであるが、フラクショナル(fractional)サンプルシフトであり得るシフトτが存在し、したがって、このシフトがH中の対応する初期HRフィルタに適用されるとき、これが、基本的に、抽出されたHRフィルタをH中の対応するHRフィルタと整合させ、正規化されたモデル化誤差を大幅に低減することになることである。周波数領域では、遅延誤差を特徴づけるものは、抽出およびモデル化されたHRフィルタの大きさの差が小さく、2つのHRフィルタのアンラップされた(unwrapped)位相の差が、-τの傾きとほぼ線形であるはずであることである。
この種類のモデル化誤差を分類するために使用される方法が、そのような条件を満たすτを見つけたとき、その方法は、分類情報をもつ分類されたHRフィルタの
Figure 2024514937000135
に分類項目を付加する。分類項目中のこのクラスのためのクラス固有補正データ構造は、シフトτを含んでいる必要がある。分類ステップを通るHRフィルタのセットでは、それらの正規化されたモデル化誤差が、あるしきい値を上回ることがすでに確立されたことに留意されたい。
この種類のモデル化誤差を分類するために、いくつかの方法が使用され得る。2つの実施形態が提供される。一方が時間領域におけるものであり、他方が周波数領域におけるものである。一実施形態では、時間領域において動作する以下の方法、すなわち、シフトの所定のシーケンスにわたってループすることが使用される。
この方法は、フラクショナルであり得るシフトの所定のシーケンス{τ=-τ+(k-1)Δτ:k=1,...,K}にわたってループし、シフトされた抽出されたHRフィルタを取得し、それらのシフトされたHRフィルタの各々の正規化されたモデル化誤差を評価する。この方法はまた、最小の正規化されたモデル化誤差をもつシフトτを見つけ得る。最小の正規化されたモデル化誤差が十分に小さい(しきい値によって制御される)場合、この方法は、τ=τをセットし、分類情報をもつ分類されたHRフィルタの
Figure 2024514937000136
に分類項目を付加する。フラクショナルシフトは、フラクショナルシフトが、抽出されたHRフィルタのリサンプリングを必要とするので、より大きい複雑さを生じ得る。
周波数領域における実施形態を提示する前に、以下の記法が必要とされる。Fを、範囲0≦ω≦π内の第1の順序付きω値について、抽出されたHRフィルタhの高速フーリエ変換(FFT)のベクトルを示すものとし、Fを、対応するモデル化されたフィルタhについて同じベクトルを示すものとする。abs(F)をFベクトルのエレメントの絶対値のベクトルとし、abs(F)をFベクトルのエレメントの絶対値のベクトルとする。
別の実施形態では、周波数領域において動作する以下の方法が使用される。差分ベクトルabs(F)-abs(F)の正規化されたノルムが、あるしきい値を下回るとき、大きいモデル化誤差がFFTの角度または位相の差によることと、これらの角度差が、たいがい遅延誤差によって引き起こされることとは、明らかである。この方法では、第1のステップは、この条件が満たされる、分類すべきHRフィルタのリスト中のHRフィルタを識別することである。そのようなHRフィルタが見つけられると、アンラップされた角度/位相の差、すなわち、angle(F)-angle(F)が、-τω(τの遅延誤差によって引き起こされる位相の差)としてモデル化され、正規化された
Figure 2024514937000137
を最小限に抑えるτが取得される。このモデル化誤差を遅延誤差として分類する前の最終の検証として、補正された抽出されたフィルタについてのモデル化誤差が、あるしきい値を下回ることが確認される。
2.3 HRフィルタセット誤差補正プロセス
図6に示されているように、反復ループの第1の反復において、HRフィルタセット誤差補正プロセス516は、第1の補正されたHRフィルタデータセットH’を取得することを含み得る。いくつかの実施形態では、H’は、分類されたHRフィルタの
Figure 2024514937000138
中の項目を通して、および補正可能である各項目について反復することと、以下のステップを実施することとによって、取得され得る。
(1)フィルタインデックスと、対応するHRフィルタが左HRフィルタであるのか右HRフィルタであるのかとに関する情報を含んでいるフィルタIDを取得すること、
(2)補正すべきH中のHRフィルタを取得するために、取得されたフィルタIDを使用すること、
(3)分類IDを取得し、その分類IDを、リストLClassificationsから補正関数を取得するために使用すること、
(4)そのクラスのための補正関数によって必要とされる補正情報をもつクラス固有補正データ構造を取得すること、
(5)取得されたクラス固有補正データ構造を使用して、H中の取得されたHRフィルタに対して、取得された補正関数を実行すること。これは、元のHRフィルタデータセットHから余分のフィルタデータサンプルを取得することを伴うか、または、たとえば0を付加することによって、HRフィルタデータを外挿し、必要な場合、対応するオンセット遅延を更新し得る。
ステップ516の後に、条件Cが依然として真である場合、HはH’に等しくセットされ、ステップ512、514、および516が繰り返される。
3.出力プロセス
図6に示されているように、出力プロセス506は、出力指定Oに基づいて以下の出力データセットのうちの1つを出力し得る。出力指定Oは、所望の出力データセットの
Figure 2024514937000139
および/または、所望の角度{θ,Φ}のシーケンスを指定し得る。
(1)最終の補正されたHRフィルタデータセットHfc、ここで、Hfcは、ステップ516が最後に実施されたときに生成された、補正されたHRフィルタデータセットである(たとえば、ループの1つの反復のみがある場合、Hfc=H’である)、
(2)最終の補正されたHRフィルタデータセットHfcから抽出された、抽出されたHRフィルタデータセットから生成されたモデルM’
(3)出力指定Oにおいて指定された、仰角θおよび方位角ΦにおいてモデルM’から生成された、新しいモデル化されたHRフィルタデータセットH’
図7Aは、いくつかの実施形態による、例示的なシステム700を示す。システム700は、プリプロセッサ702とオーディオレンダラ704とを備える。プリプロセッサ702およびオーディオレンダラ704は、同じエンティティ中に、または異なるエンティティ中に含まれ得る。また、プリプロセッサ702中に含まれる異なるモジュール(たとえば、712および714)は、同じエンティティまたは異なるエンティティ中に含まれ得、オーディオレンダラ704中に含まれる異なるモジュール(たとえば、716および718)は、同じエンティティまたは異なるエンティティ中に含まれ得る。
プリプロセッサ702は、HRフィルタ補正モジュール712とメモリ714とを備える。HRフィルタ補正モジュール712は、HRフィルタのセットを改善するための(図5に示されている)モデル化ベース誤差補正方法500を実施するように設定され得る。したがって、HRフィルタ補正モジュール712の入力は、誤差補正方法500の入力、すなわち、元のHRフィルタデータセットH、抽出指定X、および出力指定Oであり得る。上記で説明されたように、誤差補正方法500の出力は、最終の補正されたHRフィルタデータセットHfcを表すモデルM’であり得る。したがって、一実施形態では、HRフィルタ補正モジュール712は、モデルM’に関連するHRフィルタモデル表現720を出力し得る。出力されたHRフィルタモデル表現720は、メモリ714に記憶され得る。
オーディオレンダラ704は、HRフィルタ生成器716とバイノーラルレンダラ718とを備える。HRフィルタ生成器716は、メモリ714からHRフィルタモデル表現720を読み取り、レンダリングメタデータ722を受信し得る。HRフィルタモデル表現720およびレンダリングメタデータ722を使用して、HRフィルタ生成器716は、完全なHRフィルタ表現724を生成し、出力し得る。HRフィルタ表現724は、メタデータ722中で示される1つまたは複数の所与の空間角度においてHRフィルタモデル表現720を使用して生成された1つまたは複数のHRフィルタに対応し得る。受信されたHRフィルタ表現724を使用して、バイノーラルレンダラ718は、バイノーラルオーディオ信号726を生成し得る。
図7Bは、いくつかの実施形態による、例示的なシステム750を示す。システム750は、プリプロセッサ752とオーディオレンダラ754とを備える。プリプロセッサ752およびオーディオレンダラ754は、同じエンティティ中に、または異なるエンティティ中に含まれ得る。また、プリプロセッサ752中に含まれる異なるモジュール(たとえば、762および764)は、同じエンティティまたは異なるエンティティ中に含まれ得、オーディオレンダラ754中に含まれる異なるモジュール(たとえば、766および768)は、同じエンティティまたは異なるエンティティ中に含まれ得る。
プリプロセッサ752は、HRフィルタ補正モジュール762とメモリ764とを備える。HRフィルタ補正モジュール762は、HRフィルタのセットを改善するための(図5に示されている)モデル化ベース誤差補正方法500を実施するように設定され得る。したがって、HRフィルタ補正モジュール762の入力は、誤差補正方法500の入力、すなわち、元のHRフィルタデータセットH、抽出指定X、および出力指定Oであり得る。上記で説明されたように、誤差補正方法500の出力(すなわち、HRフィルタ補正モジュール762の出力)は、ステップs516が最後に実施されたときに生成された、最終の補正されたHRフィルタデータセットであり得る。最終の補正されたHRフィルタデータセット770は、メモリ764に記憶され得る。
オーディオレンダラ754は、HRフィルタ抽出器766とバイノーラルレンダラ768とを備える。HRフィルタ抽出器766は、メモリ764から最終の補正されたHRフィルタデータセット770を読み取り、レンダリングメタデータ772を受信し得る。最終の補正されたHRフィルタデータセット770およびレンダリングメタデータ772を使用して、HRフィルタ抽出器766は、完全なHRフィルタ表現774を出力し得る。完全なHRフィルタ表現774は、メタデータ772中で示された1つまたは複数の所与の空間角度において最終の補正されたHRフィルタデータセット770から取得された(たとえば、抽出または補間された)1つまたは複数のHRフィルタに対応し得る。受信された完全なHRフィルタ表現774を使用して、バイノーラルレンダラ768は、バイノーラルオーディオ信号776を生成し得る。
図8は、最終の補正された頭部関係(HR)フィルタデータセットHfcを作り出すためのプロセス800である。プロセス800は、第1の補正されたHRフィルタデータセット(H’)を取得することを含むステップs801から始まり得る。ステップs801は、ステップs802~s812を含む。ステップs802は、初期HRフィルタデータセットHを取得することを含む。ステップs804は、初期HRフィルタデータセットHから抽出された、抽出されたHRフィルタデータセットHを取得することを含む。ステップs806は、抽出されたHRフィルタデータセットHのモデルMを取得することを含む。ステップs808は、モデルMを使用して、モデル化されたHRフィルタデータセットHを生成することを含む。ステップs810は、初期HRフィルタデータセットH初期HRフィルタデータセット中に含まれる1つまたは複数のHRフィルタを補正のために選択することを含む。ステップs812は、選択された1つまたは複数のHRフィルタを補正することによって、第1の補正されたHRフィルタデータセットH’を生成することを含む。条件が満たされない(すなわち、論理式Cが真である)場合、プロセス800は、第1の補正されたHRフィルタデータセットH’を使用して、最終の補正されたHRフィルタデータセットHfcを生成することを含むステップs814をさらに含み得る。しかしながら、条件が満たされる場合、最終の補正されたHRフィルタデータセットHfcは、第1の補正されたHRフィルタデータセットH’である。
いくつかの実施形態では、抽出されたHRフィルタデータセットHを取得することは、フィルタ抽出指定Xを取得することと、Xに基づいてHを取得することとを含む。
いくつかの実施形態では、Xは、フィルタ長を識別するフィルタ長値Nと、抽出のための開始点を識別する遅延値τのセットとを含む。
いくつかの実施形態では、モデルを取得することは、仰角および方位角の関数として、抽出されたHRフィルタデータセット中に含まれるHRフィルタの空間変動をモデル化することを含む。
いくつかの実施形態では、モデル化されたHRフィルタデータセット中に含まれるHRフィルタは、複数のサンプリングされた角度の各々においてモデルを使用してHRフィルタを算出することによって生成される。
いくつかの実施形態では、初期HRフィルタデータセット中に含まれる1つまたは複数のHRフィルタを補正のために選択することは、H中に含まれる各HRフィルタについて、i)H中に含まれる対応するHRフィルタに基づいて、HRフィルタについての誤差値を計算することと、ii)計算された誤差値に少なくとも部分的に基づいて、HRフィルタを選択すべきか否かを決定することとを含む。
いくつかの実施形態では、Hは、
Figure 2024514937000140
とを含み、Hは、
Figure 2024514937000141
とを含む。また、Hは、
Figure 2024514937000142
とを含む。
Figure 2024514937000143
を含み、ここで、mは、
Figure 2024514937000144
HRフィルタのインデックスであり、1≦m≦Mであり、Mは、
Figure 2024514937000145
HRフィルタの数を表す正の整数であり、
Figure 2024514937000146
を含む。
Figure 2024514937000147
各HRフィルタについての誤差値は、対応するmについての
Figure 2024514937000148
との間の差に基づいて計算され得る。
Figure 2024514937000149
を含み、ここで、mは、
Figure 2024514937000150
HRフィルタのインデックスであり、1≦m≦Mであり、Mは、
Figure 2024514937000151
HRフィルタの数を表す正の整数であり、
Figure 2024514937000152
を含む。
Figure 2024514937000153
各HRフィルタについての誤差値は、対応するmについての
Figure 2024514937000154
との間の差に基づいて計算される。
いくつかの実施形態では、
Figure 2024514937000155
各HRフィルタについての誤差値は、対応するmについての
Figure 2024514937000156
に基づいて計算され、
Figure 2024514937000157
各HRフィルタについての誤差値は、対応するmについての
Figure 2024514937000158
に基づいて計算される。
いくつかの実施形態では、方法は、I)
Figure 2024514937000159
各HRフィルタについての誤差値をしきい値と比較すること、およびしきい値を超える各誤差値について、(i)誤差値に関連し、
Figure 2024514937000160
HRフィルタを識別し、(ii)
Figure 2024514937000161
対応するHRフィルタをも識別するHRフィルタ識別子を、フィルタ分類リストに追加することであって、フィルタ分類リストが分類すべきフィルタを識別する、HRフィルタ識別子をフィルタ分類リストに追加することと、II)
Figure 2024514937000162
各HRフィルタについての誤差値をしきい値と比較すること、およびしきい値を超える各誤差値について、(i)誤差値に関連し、
Figure 2024514937000163
HRフィルタを識別し、(ii)
Figure 2024514937000164
対応するHRフィルタをも識別するHRフィルタ識別子を、フィルタ分類リストに追加することであって、フィルタ分類リストが分類すべきフィルタを識別する、HRフィルタ識別子をフィルタ分類リストに追加することとをさらに含む。
いくつかの実施形態では、方法は、各々が、
Figure 2024514937000165
のいずれか中に含まれる補正可能なHRフィルタを識別する、1つまたは複数のHRフィルタ識別子を、フィルタ分類リスト内に見つけることをさらに含む。初期HRフィルタデータセット中に含まれる1つまたは複数のフィルタを補正のために選択するステップは、各々が、(i)
Figure 2024514937000166
のいずれか中に含まれ、(ii)上記で見つけられた1つまたは複数のHRフィルタ識別子によって識別される、1つまたは複数のHRフィルタを、補正のために選択することを含み得る。
いくつかの実施形態では、方法は、分類リスト中に含まれるHRフィルタ識別子によって識別される各HRフィルタについて、HRフィルタが補正可能であるかどうかを決定することをさらに含み、HRフィルタが補正可能であるかどうかを決定することは、HRフィルタのためのモデル化誤差クラスを決定することと、決定されたモデル化誤差クラスが補正可能であるかどうかを決定することとを含む。
いくつかの実施形態では、方法は、HRフィルタが補正可能であると決定したことの結果として、補正可能なリストに、i)HRフィルタを識別するHRフィルタ識別子およびii)補正データ構造または補正データ構造へのポインタを追加することをさらに含み、補正データ構造が、HRフィルタを補正する際に使用するための情報を含む。
いくつかの実施形態では、選択された1つまたは複数のHRフィルタを補正することは、各々が、(i)
Figure 2024514937000167
のいずれか中に含まれ、(ii)補正可能なリスト中に含まれるHRフィルタ識別子によって識別される、1つまたは複数のHRフィルタを見つけることと、対応する補正データ構造を使用して、上記で見つけられた1つまたは複数のHRフィルタを補正することとを含む。
いくつかの実施形態では、プロセスは、第1の補正されたHRフィルタデータセットH’を使用して、最終の補正されたHRフィルタセットHfcを生成すること(ステップs814)と、第1の補正されたHRフィルタデータセットH’を使用して、最終の補正されたHRフィルタセットHfcを生成することとは、第1の補正されたHRフィルタデータセットH’から、第2の抽出されたHRフィルタデータセットを取得することと、第2の抽出されたHRフィルタデータセットの第2のモデルを取得することと、第2のモデルを使用して、第2のモデル化されたHRフィルタデータセットを生成することと、第2の抽出されたHRフィルタデータセットおよび第2のモデル化されたHRフィルタデータセットに基づいて、H’中に含まれる1つまたは複数のフィルタを補正のために選択することと、選択された1つまたは複数のHRフィルタを補正することによって、第2の補正されたHRフィルタデータセットを生成することとを含み、方法が、第2の補正されたHRフィルタデータセットを使用して、最終の補正されたHRフィルタセットHfcを生成することをさらに含むか、または最終の補正されたHRフィルタデータセットHfcが、第2の補正されたHRフィルタデータセットである。
いくつかの実施形態では、プロセスは、(1)最終の補正されたHRフィルタデータセットHfc、(2)最終の補正されたHRフィルタデータセットHfcから抽出された、抽出されたHRフィルタデータセットから生成されたモデル、および(3)(2)において生成されたモデルから生成された新しいモデル化されたHRフィルタデータセットのうちのいずれか1つまたは複数を出力することをさらに含む。たとえば、いくつかの実施形態では、プロセスは、最終の補正されたHRフィルタデータセットHfc、または最終の補正されたHRフィルタデータセットHfcから抽出された、抽出されたHRフィルタデータセットから生成されたモデルを出力することを含む。
いくつかの実施形態では、Hは、抽出されたHRフィルタ
Figure 2024514937000168
を含み、Hは、モデル化されたHRフィルタ
Figure 2024514937000169
を含む。いくつかの実施形態では、H中に含まれる1つまたは複数のHRフィルタを補正のために選択することは、シフト(たとえば、τ、τ)のセット中に含まれる各シフトについて、シフト(たとえば、τ、τ)と抽出されたHRフィルタ
Figure 2024514937000170
とを使用して、シフトされた抽出されたHRフィルタ
Figure 2024514937000171
を取得することと、シフトされた抽出されたHRフィルタの各々に関連する誤差を計算することとを含む。選択することは、計算された誤差のうち、条件を満たす誤差を識別することと、識別された誤差に基づいて、抽出されたHRフィルタおよびモデル化されたHRフィルタに関連する誤差を、補正可能である遅延誤差のクラスとして分類することとをさらに含み得る。
いくつかの実施形態では、H中に含まれる1つまたは複数のHRフィルタを補正のために選択することは、最小誤差に関連するシフトされた抽出されたHRフィルタを取得するために使用されたシフトを見つけることと、上記で見つけられたシフトを、遅延誤差のクラスについての補正パラメータとして使用することとをさらに含む。
いくつかの実施形態では、抽出されたHRフィルタデータセットHは、抽出されたHRフィルタを含み、モデル化されたHRフィルタデータセットHは、モデル化されたHRフィルタを含み、初期HRフィルタデータセットH中に含まれる1つまたは複数のHRフィルタを補正のために選択すること(s810)は、周波数領域において、抽出されたHRフィルタの大きさとモデル化されたHRフィルタの大きさとの差の測度を計算することと、計算された測度がしきい値よりも小さいかまたはそれに等しいかどうかを決定するために、計算された測度をしきい値と比較することと、少なくとも比較に基づいて、抽出されたHRフィルタおよびモデル化されたHRフィルタに関連する誤差を、補正可能である遅延誤差のクラスとして分類することとを含む。
いくつかの実施形態では、初期HRフィルタデータセットH中に含まれる1つまたは複数のHRフィルタを補正のために選択すること(s810)は、サンプル周波数において、抽出されたHRフィルタとモデル化されたHRフィルタとのアンラップされた角度および/または位相の差を計算することと、計算された差をモデル化する線形モデルを決定することと、サンプル周波数における線形モデルの計算された差および値に基づいてモデル化誤差を決定することと、モデル化誤差を誤差しきい値と比較することと、少なくともモデル化誤差と誤差しきい値との比較に基づいて、線形モデルのパラメータを、遅延誤差のクラスについての補正パラメータとして使用することとをさらに含む。
いくつかの実施形態では、Hは、抽出されたHRフィルタ
Figure 2024514937000172
を含み、Hは、モデル化されたHRフィルタ
Figure 2024514937000173
を含む。いくつかの実施形態では、H中に含まれる1つまたは複数のHRフィルタを補正のために選択することは、抽出されたHRフィルタの位相とモデル化されたHRフィルタの位相との差を計算することと、シフト(たとえば、τ、τ)のセット中に含まれる各シフトについて、位相の計算された差と、シフトに基づいて計算された比較値(たとえば、-τω)との間の誤差を計算することとを含む。選択することは、計算された誤差のうち、最小誤差を識別することと、最小誤差に基づいて、抽出されたHRフィルタおよびモデル化されたHRフィルタに関連する誤差を、補正可能である遅延誤差のクラスとして分類することとをさらに含み得る。
いくつかの実施形態では、H中に含まれる1つまたは複数のHRフィルタを補正のために選択することは、最小誤差を生じる比較値を計算するために使用されたシフトを見つけることと、上記で見つけられたシフトを、遅延誤差のクラスについてクラス固有補正データ構造中で補正パラメータとして使用することとをさらに含む。
いくつかの実施形態では、フィルタ分類リストは、前記1つまたは複数のHRフィルタ識別子が、
Figure 2024514937000174
を示すインジケータを含む。
いくつかの実施形態では、条件を満たす誤差を識別することは、計算された誤差のうちの最小誤差を識別することを含む。
図9は、図7aおよび図7bに示されているプリプロセッサ702または752を実装するための、いくつかの実施形態による、装置900のブロック図である。上記で説明されたように、プリプロセッサ702または752は、本明細書で説明されたHRフィルタ補正を実施するように設定され得るHRフィルタ補正モジュール712または762を含み得る。図9に示されているように、装置900は、1つまたは複数のプロセッサ(P)955(たとえば、汎用マイクロプロセッサ、および/または、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)など、1つまたは複数の他のプロセッサなど)を含み得る処理回路(PC)902であって、そのプロセッサが、単一のハウジングにおいてまたは単一のデータセンタにおいて共同サイト式であり得るかあるいは地理的に分散され得る(すなわち、装置900が分散コンピューティング装置であり得る)、処理回路(PC)902と、少なくとも1つのネットワークインターフェース948であって、各ネットワークインターフェース948は、装置900が、ネットワークインターフェース948が(直接または間接的に)接続されるネットワーク110(たとえば、インターネットプロトコル(IP)ネットワーク)に接続された他のノードにデータを送信し、他のノードからデータを受信することを可能にするための送信機(Tx)945および受信機(Rx)947を備える(たとえば、ネットワークインターフェース948はネットワーク110に無線で接続され得、その場合、ネットワークインターフェース948はアンテナ構成に接続される)、少なくとも1つのネットワークインターフェース948と、1つまたは複数の不揮発性記憶デバイスおよび/または1つまたは複数の揮発性記憶デバイスを含み得る1つまたは複数の記憶ユニット(別名「データ記憶システム」)908とを備え得る。PC902がプログラマブルプロセッサを含む実施形態では、コンピュータプログラム製品(CPP)941が提供され得る。CPP941はコンピュータ可読媒体(CRM)942を含み、CRM942は、コンピュータ可読命令(CRI)944を備えるコンピュータプログラム(CP)943を記憶する。CRM942は、磁気媒体(たとえば、ハードディスク)、光媒体、メモリデバイス(たとえば、ランダムアクセスメモリ、フラッシュメモリ)など、非一時的コンピュータ可読媒体であり得る。いくつかの実施形態では、コンピュータプログラム943のCRI944は、PC902によって実行されたとき、CRIが、装置900に、本明細書で説明されるステップ(たとえば、フローチャートを参照しながら本明細書で説明されるステップ)を実施させるように設定される。他の実施形態では、装置900は、コードの必要なしに本明細書で説明されるステップを実施するように設定され得る。すなわち、たとえば、PC902は、単に1つまたは複数のASICからなり得る。したがって、本明細書で説明される実施形態の特徴は、ハードウェアおよび/またはソフトウェアで実装され得る。
様々な実施形態が本明細書で説明されたが、それらの実施形態は、限定ではなく、例として提示されたにすぎないことを理解されたい。したがって、本開示の広さおよび範囲は、上記で説明された例示的な実施形態のいずれによっても限定されるべきでない。その上、本明細書で別段に示されていない限り、またはコンテキストによって明確に否定されていない限り、上記で説明されたエレメントのそれらのすべての考えられる変形形態における任意の組合せが、本開示によって包含される。
さらに、上記で説明され、図面に示されたプロセスおよびメッセージフローは、ステップのシーケンスとして示されたが、これは、説明のためにのみ行われた。したがって、いくつかのステップが追加され得、いくつかのステップが省略され得、ステップの順序が並べ替えられ得、いくつかのステップが並行して実施され得ることが企図される。

Claims (27)

  1. 最終の補正された頭部関係(HR)フィルタデータセットHfcを生成するための方法であって、前記方法が、
    第1の補正されたHRフィルタデータセットH’を取得すること
    を含み、前記取得することが、
    初期HRフィルタデータセットHを取得すること(s802)と、
    前記初期HRフィルタデータセットHから抽出された、抽出されたHRフィルタデータセットHを取得すること(s804)と、
    前記抽出されたHRフィルタデータセットHのモデルMを取得すること(s806)と、
    前記モデルMを使用して、モデル化されたHRフィルタデータセットHを生成すること(s808)と、
    前記モデル化されたHRフィルタデータセットHおよび前記抽出されたHRフィルタデータセットHに基づいて、前記初期HRフィルタデータセットH中に含まれる1つまたは複数のHRフィルタを補正のために選択すること(s810)と、
    前記選択された1つまたは複数のHRフィルタを補正することによって、前記第1の補正されたHRフィルタデータセットH’を生成すること(s812)と
    を含み、
    前記方法が、前記第1の補正されたHRフィルタデータセットH’を使用して、前記最終の補正されたHRフィルタセットHfcを生成することをさらに含むか、または
    前記最終の補正されたHRフィルタデータセットHfcが、前記第1の補正されたHRフィルタデータセットH’である、方法。
  2. 前記抽出されたHRフィルタデータセットHを取得すること(s804)が、フィルタ抽出指定Xを取得することと、Xに基づいて、前記抽出されたHRフィルタデータセットHを取得することとを含む、請求項1に記載の方法。
  3. Xが、フィルタ長を識別するフィルタ長値Nと、抽出のための開始点を識別する遅延値τのセットとを含む、請求項2に記載の方法。
  4. 前記モデルMを取得すること(s806)が、仰角および方位角の関数として、前記抽出されたHRフィルタデータセットH中に含まれる前記HRフィルタの空間変動をモデル化することを含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記モデル化されたHRフィルタデータセットH中に含まれる前記HRフィルタが、複数のサンプリングされた角度の各々において前記モデルMを使用してHRフィルタを算出することによって生成される、請求項1から4のいずれか一項に記載の方法。
  6. 前記初期HRフィルタデータセットH中に含まれる前記1つまたは複数のHRフィルタを補正のために選択すること(s810)が、
    前記抽出されたHRフィルタデータセットH中に含まれる各HRフィルタについて、i)前記モデル化されたHRフィルタデータセットH中に含まれる対応するHRフィルタに基づいて、前記HRフィルタについての誤差値を計算することと、ii)前記計算された誤差値に少なくとも部分的に基づいて、前記HRフィルタを選択すべきか否かを決定することと
    を含む、請求項1から5のいずれか一項に記載の方法。
  7. 前記初期HRフィルタデータセットHが、
    Figure 2024514937000175
    とを含み、
    前記抽出されたHRフィルタデータセットHが、
    Figure 2024514937000176
    とを含み、
    前記モデル化されたHRフィルタデータセットHが、
    Figure 2024514937000177
    とを含み、
    前記左の抽出された
    Figure 2024514937000178
    を含み、ここで、mが、前記左の抽出された
    Figure 2024514937000179
    前記HRフィルタのインデックスであり、1≦m≦Mであり、Mが、前記左の抽出された
    Figure 2024514937000180
    中に含まれるHRフィルタの数を表す正の整数であり、
    前記左のモデル化された
    Figure 2024514937000181
    を含み、
    前記左の抽出された
    Figure 2024514937000182
    中に含まれる各HRフィルタについての前記誤差値が、前記対応するmについての
    Figure 2024514937000183
    との間の差に基づいて計算され、
    前記右の抽出された
    Figure 2024514937000184
    を含み、ここで、mが、前記右の抽出された
    Figure 2024514937000185
    中に含まれる前記HRフィルタのインデックスであり、1≦m≦Mであり、Mが、前記右の抽出された
    Figure 2024514937000186
    中に含まれるHRフィルタの数を表す正の整数であり、
    前記右のモデル化された
    Figure 2024514937000187
    を含み、
    前記右の抽出された
    Figure 2024514937000188
    中に含まれる各HRフィルタについての前記誤差値が、前記対応するmについての
    Figure 2024514937000189
    との間の差に基づいて計算される、
    請求項6に記載の方法。
  8. 前記左の抽出された
    Figure 2024514937000190
    中に含まれる各HRフィルタについての前記誤差値が、
    Figure 2024514937000191
    に基づいて計算され、前記右の抽出された
    Figure 2024514937000192
    中に含まれる各HRフィルタについての前記誤差値が、
    Figure 2024514937000193
    に基づいて計算される、
    請求項7に記載の方法。
  9. 前記方法は、
    前記左の抽出された
    Figure 2024514937000194
    中に含まれる各HRフィルタについての前記誤差値をしきい値と比較することと、
    前記しきい値を超える各誤差値について、(i)前記誤差値に関連し、前記左の抽出された
    Figure 2024514937000195
    中に含まれる前記HRフィルタを識別し、(ii)前記左の
    Figure 2024514937000196
    中に含まれる対応するHRフィルタをも識別するHRフィルタ識別子を、第1のフィルタ分類リストに追加することであって、前記第1のフィルタ分類リストが、分類すべきフィルタを識別する、HRフィルタ識別子を第1のフィルタ分類リストに追加することと、
    前記右の抽出された
    Figure 2024514937000197
    中に含まれる各HRフィルタについての前記誤差値をしきい値と比較することと、
    前記しきい値を超える各誤差値について、(i)前記誤差値に関連し、前記右の抽出された
    Figure 2024514937000198
    中に含まれる前記HRフィルタを識別し、(ii)前記右の
    Figure 2024514937000199
    中に含まれる対応するHRフィルタをも識別するHRフィルタ識別子を、第2のフィルタ分類リストに追加することであって、前記第2のフィルタ分類リストが、分類すべきフィルタを識別し、さらに、前記第1のフィルタ分類リストと前記第2のフィルタ分類リストとが同じであるかまたは異なる、HRフィルタ識別子を第2のフィルタ分類リストに追加することと
    をさらに含む、請求項7または8に記載の方法。
  10. 前記方法は、
    各々が、前記左の抽出された
    Figure 2024514937000200
    または前記右の抽出された
    Figure 2024514937000201
    のいずれか中に含まれる補正可能なHRフィルタを識別する、1つまたは複数のHRフィルタ識別子を、前記第1のフィルタ分類リストまたは前記第2のフィルタ分類リスト内に見つけること
    をさらに含み、
    前記初期HRフィルタデータセット中に含まれる前記1つまたは複数のフィルタを補正のために選択するステップ(s810)は、各々が、(i)前記左の
    Figure 2024514937000202
    または前記右の
    Figure 2024514937000203
    のいずれか中に含まれ、(ii)上記で見つけられた前記1つまたは複数のHRフィルタ識別子によって識別される、1つまたは複数のHRフィルタを、補正のために選択することを含む、請求項9に記載の方法。
  11. 前記方法は、
    前記第1のフィルタ分類リストまたは前記第2のフィルタ分類リスト中に含まれるHRフィルタ識別子によって識別される各HRフィルタについて、前記HRフィルタが補正可能であるかどうかを決定すること
    をさらに含み、
    前記HRフィルタが補正可能であるかどうかを決定することは、前記HRフィルタのためのモデル化誤差クラスを決定することと、前記決定されたモデル化誤差クラスが補正可能であるかどうかを決定することとを含む、請求項9に記載の方法。
  12. 前記HRフィルタが補正可能であると決定したことの結果として、補正可能なリストに、i)前記HRフィルタを識別する前記HRフィルタ識別子およびii)補正データ構造または前記補正データ構造へのポインタを追加することをさらに含み、前記補正データ構造が、前記HRフィルタを補正する際に使用するための情報を含む、請求項11に記載の方法。
  13. 前記選択された1つまたは複数のHRフィルタを補正することは、
    各々が、(i)前記左の
    Figure 2024514937000204
    または前記右の
    Figure 2024514937000205
    のいずれか中に含まれ、(ii)前記補正可能なリスト中に含まれるHRフィルタ識別子によって識別される、1つまたは複数のHRフィルタを見つけることと、
    前記対応する補正データ構造を使用して上記で見つけられた前記1つまたは複数のHRフィルタを補正することと
    を含む、請求項12に記載の方法。
  14. 前記方法が、前記第1の補正されたHRフィルタデータセットH’を使用して、前記最終の補正されたHRフィルタセットHfcを生成することをさらに含み、
    前記第1の補正されたHRフィルタデータセットH’を使用して、前記最終の補正されたHRフィルタセットHfcを生成することが、
    前記第1の補正されたHRフィルタデータセットH’から、第2の抽出されたHRフィルタデータセットを取得することと、
    前記第2の抽出されたHRフィルタデータセットの第2のモデルを取得することと、
    前記第2のモデルを使用して、第2のモデル化されたHRフィルタデータセットを生成することと、
    前記第2の抽出されたHRフィルタデータセットおよび前記第2のモデル化されたHRフィルタデータセットに基づいて、前記H’中に含まれる1つまたは複数のフィルタを補正のために選択することと、
    前記選択された1つまたは複数のHRフィルタを補正することによって、第2の補正されたHRフィルタデータセットを生成することと
    を含み、
    前記方法が、前記第2の補正されたHRフィルタデータセットを使用して、前記最終の補正されたHRフィルタセットHfcを生成することをさらに含むか、または
    前記最終の補正されたHRフィルタデータセットHfcが、前記第2の補正されたHRフィルタデータセットである、請求項1から13のいずれか一項に記載の方法。
  15. 前記方法が、
    (1)前記最終の補正されたHRフィルタデータセットHfc、(2)前記最終の補正されたHRフィルタデータセットHfcから抽出された、抽出されたHRフィルタデータセットから生成されたモデル、および(3)(2)において生成された前記モデルから生成された新しいモデル化されたHRフィルタデータセットのうちのいずれか1つまたは複数を出力すること
    をさらに含む、請求項1から14のいずれか一項に記載の方法。
  16. 前記方法が、前記最終の補正されたHRフィルタデータセットHfc、または前記最終の補正されたHRフィルタデータセットHfcから抽出された、前記抽出されたHRフィルタデータセットから生成された前記モデルを出力することを含む、請求項15に記載の方法。
  17. 前記抽出されたHRフィルタデータセットHが、抽出されたHRフィルタを含み、
    前記モデル化されたHRフィルタデータセットHが、モデル化されたHRフィルタを含み、
    前記初期HRフィルタデータセットH中に含まれる1つまたは複数のHRフィルタを補正のために選択すること(s810)が、
    時間シフトのセットを取得することと、
    時間シフトの前記セット中に含まれる各時間シフトについて、前記時間シフトおよび前記抽出されたHRフィルタを使用して、シフトされた抽出されたHRフィルタを取得することと、
    前記シフトされた抽出されたHRフィルタの各々に関連する誤差を計算することと、
    前記計算された誤差のうち、条件を満たす誤差を識別することと、
    前記識別された誤差に基づいて、抽出されたHRフィルタおよびモデル化されたHRフィルタに関連する誤差を、補正可能である遅延誤差のクラスとして分類することと
    を含む、請求項1から16のいずれか一項に記載の方法。
  18. 前記初期HRフィルタデータセットH中に含まれる1つまたは複数のHRフィルタを補正のために選択すること(s810)が、
    前記条件を満たす前記識別された誤差に関連する前記シフトされた抽出されたHRフィルタを取得するために使用された前記時間シフトを見つけることと、
    上記で見つけられた前記時間シフトを、遅延誤差の前記クラスについての補正パラメータとして使用することと
    をさらに含む、請求項17に記載の方法。
  19. 前記抽出されたHRフィルタデータセットHが、抽出されたHRフィルタを含み、
    前記モデル化されたHRフィルタデータセットHが、モデル化されたHRフィルタを含み、
    前記初期HRフィルタデータセットH中に含まれる1つまたは複数のHRフィルタを補正のために選択すること(s810)が、
    周波数領域において、前記抽出されたHRフィルタの大きさと前記モデル化されたHRフィルタの大きさとの差の測度を計算することと、
    前記計算された測度がしきい値よりも小さいかまたはそれに等しいかどうかを決定するために、前記計算された測度を前記しきい値と比較することと、
    少なくとも前記比較に基づいて、前記抽出されたHRフィルタおよび前記モデル化されたHRフィルタに関連する誤差を、補正可能である遅延誤差のクラスとして分類することと
    を含む、請求項1から16のいずれか一項に記載の方法。
  20. 前記初期HRフィルタデータセットH中に含まれる1つまたは複数のHRフィルタを補正のために選択すること(s810)が、
    サンプル周波数において、前記抽出されたHRフィルタと前記モデル化されたHRフィルタとのアンラップされた角度および/または位相の差を計算することと、
    前記計算された差をモデル化する線形モデルを決定することと、
    前記サンプル周波数における前記線形モデルの前記計算された差および値に基づいてモデル化誤差を決定することと、
    前記モデル化誤差を誤差しきい値と比較することと、
    少なくとも前記モデル化誤差と前記誤差しきい値との前記比較に基づいて、前記線形モデルのパラメータを、遅延誤差の前記クラスについての補正パラメータとして使用することと
    をさらに含む、請求項19に記載の方法。
  21. 前記フィルタ分類リストは、前記1つまたは複数のHRフィルタ識別子が、前記左の抽出された
    Figure 2024514937000206
    に関連するのか前記右の抽出された
    Figure 2024514937000207
    に関連するのかを示すインジケータを含む、請求項10に記載の方法。
  22. 前記条件を満たす前記誤差を識別することが、前記計算された誤差のうちの最小誤差を識別することを含む、請求項17に記載の方法。
  23. 処理回路によって実行されたとき、前記処理回路に、請求項1から22のいずれか一項に記載の方法を実施させる命令を備える、コンピュータプログラム。
  24. 請求項23に記載のコンピュータプログラムを含んでいるキャリアであって、前記キャリアが、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体のうちの1つである、キャリア。
  25. 最終の補正された頭部関係(HR)フィルタデータセットHfcを生成するための装置であって、前記装置が、
    第1の補正されたHRフィルタデータセットH’を取得すること
    を行うように設定され、前記装置が、前記第1の補正されたHRフィルタデータセットを、
    初期HRフィルタデータセットHを取得すること(s802)と、
    前記初期HRフィルタデータセットHから抽出された、抽出されたHRフィルタデータセットHを取得すること(s804)と、
    前記抽出されたHRフィルタデータセットHのモデルMを取得すること(s806)と、
    前記モデルMを使用して、モデル化されたHRフィルタデータセットHを生成すること(s808)と、
    前記モデル化されたHRフィルタデータセットHおよび前記抽出されたHRフィルタデータセットHに基づいて、前記初期HRフィルタデータセットH中に含まれる1つまたは複数のHRフィルタを補正のために選択すること(s810)と、
    前記選択された1つまたは複数のHRフィルタを補正することによって、前記第1の補正されたHRフィルタデータセットH’を生成すること(s812)と
    を含むプロセスを実施することによって取得するように設定され、
    前記装置が、前記第1の補正されたHRフィルタデータセットH’を使用して、前記最終の補正されたHRフィルタセットHfcを生成するようにさらに設定されるか、または
    前記最終の補正されたHRフィルタデータセットHfcが、前記第1の補正されたHRフィルタデータセットH’である、装置。
  26. 前記装置が、請求項2から22のいずれか一項に記載の方法を実施するようにさらに設定された、請求項25に記載の装置。
  27. 装置であって、前記装置が、
    メモリと、
    前記メモリに結合された処理回路と
    を備え、前記装置が、請求項1から22のいずれか一項に記載の方法を実施するように設定された、装置。
JP2023564412A 2021-04-23 2021-04-23 頭部関係フィルタの誤差補正 Pending JP2024514937A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2021/060722 WO2022223132A1 (en) 2021-04-23 2021-04-23 Error correction of head-related filters

Publications (1)

Publication Number Publication Date
JP2024514937A true JP2024514937A (ja) 2024-04-03

Family

ID=75674841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023564412A Pending JP2024514937A (ja) 2021-04-23 2021-04-23 頭部関係フィルタの誤差補正

Country Status (6)

Country Link
US (1) US20240196151A1 (ja)
EP (1) EP4327569A1 (ja)
JP (1) JP2024514937A (ja)
CN (1) CN117178568A (ja)
AU (1) AU2021442090A1 (ja)
WO (1) WO2022223132A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024104593A1 (en) 2022-11-18 2024-05-23 Telefonaktiebolaget Lm Ericsson (Publ) Detecting outliers in a head-related filter set

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9426589B2 (en) * 2013-07-04 2016-08-23 Gn Resound A/S Determination of individual HRTFs
US10798515B2 (en) * 2019-01-30 2020-10-06 Facebook Technologies, Llc Compensating for effects of headset on head related transfer functions

Also Published As

Publication number Publication date
EP4327569A1 (en) 2024-02-28
CN117178568A (zh) 2023-12-05
US20240196151A1 (en) 2024-06-13
WO2022223132A1 (en) 2022-10-27
AU2021442090A1 (en) 2023-11-16

Similar Documents

Publication Publication Date Title
Cuevas-Rodríguez et al. 3D Tune-In Toolkit: An open-source library for real-time binaural spatialisation
JP4718559B2 (ja) モデル化によってhrtfを個別化するための方法および装置
US9681250B2 (en) Statistical modelling, interpolation, measurement and anthropometry based prediction of head-related transfer functions
US7912225B2 (en) Generating 3D audio using a regularized HRTF/HRIR filter
US8489371B2 (en) Method and device for determining transfer functions of the HRTF type
Miccini et al. A hybrid approach to structural modeling of individualized HRTFs
Durin et al. Acoustic analysis of the directional information captured by five different hearing aid styles
US20210358507A1 (en) Data sequence generation
JP2024514937A (ja) 頭部関係フィルタの誤差補正
Richter et al. Spherical harmonics based HRTF datasets: Implementation and evaluation for real-time auralization
Iida et al. Estimation of the category of notch frequency bins of the individual head-related transfer functions using the anthropometry of the listener’s pinnae
US11252525B2 (en) Compressing spatial acoustic transfer functions
WO2021043248A1 (en) Method and system for head-related transfer function adaptation
Katz et al. Advances in Fundamental and Applied Research on Spatial Audio
Hammond et al. Robust full-sphere binaural sound source localization
US12015909B2 (en) Method and system for head-related transfer function adaptation
Pörschmann et al. Spatial upsampling of individual sparse head-related transfer function sets by directional equalization
WO2023036795A1 (en) Efficient modeling of filters
Sunder 7.1 BINAURAL AUDIO TECHNOLOGIES-AN
Lee Position-dependent crosstalk cancellation using space partitioning
GB2620138A (en) Method for generating a head-related transfer function
GB2612173A (en) Determining a virtual listening environment
CN116597847A (zh) 头部相关(hr)滤波器
Carlile et al. Performance measures of the spatial fidelity of virtual auditory space: Effects of filter compression and spatial sampling
Mannerheim Visually adaptive virtual sound imaging using loudspeakers

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231228