JP2023532969A - 効率的な頭部関係フィルタ生成 - Google Patents

Abstract

オーディオレンダリングのために頭部関係（ＨＲ）フィルタを生成するための方法が提供される。本方法は、ＨＲフィルタモデルを示すＨＲフィルタモデルデータを生成することと、生成されたＨＲフィルタモデルデータに基づいて、（ｉ）１つまたは複数の基底関数をサンプリングすることと、（ｉｉ）第１の基底関数形状データと形状メタデータとを生成することとを含む。本方法は、１つまたは複数の記憶媒体に記憶するために、生成された第１の基底関数形状データと形状メタデータとを提供することをさらに含む。【選択図】図７

Description

効率的な頭部関係フィルタ（ｈｅａｄ－ｒｅｌａｔｅｄ ｆｉｌｔｅｒ）生成のための方法およびシステムに関する実施形態が開示される。

人間の聴覚系は、傾聴者のほうへ伝搬する音（オーディオ）波をキャプチャする２つの耳を備えている。本開示では、「音（ｓｏｕｎｄ）」という単語と「オーディオ（ａｕｄｉｏ）」という単語とが、互換的に使用される。図１は、球面座標系における仰角および方位角のペアによって指定される到来方向（ＤＯＡ）から傾聴者のほうへ伝搬する音波を示す。傾聴者のほうへの伝搬経路上で、各音波は、傾聴者の左および右の鼓膜に達する前に、傾聴者の上部胴、頭部、外耳、および傾聴者の周囲の物質と相互作用する。この相互作用は、左および右の鼓膜に達する音波形の時間的およびスペクトル変化を生じ、そのうちのいくらかはＤＯＡ依存である。人間の聴覚系は、音波自体の様々な空間特性、ならびに傾聴者がいる音響環境を推論するために、これらの変化を解釈することを学んでいる。この能力は、空間聴力と呼ばれ、空間聴力は、傾聴者が、音イベント（物理音ソース）と傾聴者が中にいる物理的環境（たとえば、小さい部屋、タイル張りの浴室、オーディトリアム、窓のない部屋（ｃａｖｅ））によって生じる音響特性とによって誘発される聴覚イベントのロケーションを推論するために、バイノーラル信号、すなわち、右および左耳道における音信号中に埋め込まれた空間キューをどのように評価するかに関係する。この人間の能力、すなわち、空間聴力は、音の空間知覚をもたらすであろう、空間キューをバイノーラル信号中に再導入することによって、空間オーディオシーンを作成するために活用され得る。

主要な空間キューは、（１）角度関係キュー：バイノーラルキュー、すなわち両耳間レベル差（ＩＬＤ）および両耳間時間差（ＩＴＤ）、ならびにモノラル（または、スペクトル）キューと、（２）距離関係キュー：強度および方向対残響（Ｄ／Ｒ）エネルギー比とを含む。波形の短時間（たとえば、１～５ミリ秒）ＤＯＡ依存または角度関係の時間的およびスペクトル変化の数学的表現が、いわゆる頭部関係（ＨＲ）フィルタである。ＨＲフィルタの周波数領域（ＦＤ）表現は、いわゆる頭部伝達関数（ＨＲＴＦ：ｈｅａｄ－ｒｅｌａｔｅｄ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）であり、ＨＲフィルタの時間領域（ＴＤ）表現は、いわゆる頭部インパルス応答（ＨＲＩＲ：ｈｅａｄ－ｒｅｌａｔｅｄ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ）である。図２は、傾聴者のほうへ伝搬している音波と両耳への音経路の差とを示し、この差がＩＴＤを生じる。図１４は、図２に示されている音波のスペクトルキュー（ＨＲフィルタ）の一例を示す。図１４に示されている２つのプロットは、０度の仰角（θ）と４０度の方位角（φ）とにおいて取得されたＨＲフィルタのペアの大きさ応答を示す。このデータは、画像処理および統合コンピューティングのためのセンタ（ＣＩＰＩＣ：Ｃｅｎｔｅｒ ｆｏｒ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｉｎｔｅｇｒａｔｅｄ Ｃｏｍｐｕｔｉｎｇ）データベースからのもの：対象者（ｓｕｂｊｅｃｔ）ＩＤ２８である。このデータベースは、公開されており、リンクｈｔｔｐｓ：／／ｗｗｗ．ｅｃｅ．ｕｃｄａｖｉｓ．ｅｄｕ／ｃｉｐｉｃ／ｓｐａｔｉａｌ－ｓｏｕｎｄ／ｈｒｔｆ－ｄａｔａ／からアクセスされ得る。

ＨＲフィルタベースのバイノーラルレンダリング手法が、徐々に確立されており、ここで、所望のロケーションのＨＲフィルタのペアを用いてオーディオソース信号を直接フィルタ処理することによって、空間オーディオシーンが生成される。この手法は、特に、（まとめてエクステンデッドリアリティ（ＸＲ）と呼ばれることがある）仮想現実（ＶＲ）、拡張現実（ＡＲ）、または複合現実（ＭＲ）などの多くの新生のアプリケーションと、ヘッドセットが通常使用される移動体通信システムとにとって魅力的である。

ＨＲフィルタはしばしば、傾聴する対象者（たとえば、人工頭部、マネキン、または人間の対象者）から一定の半径の球面上の仰角と方位角とのあらかじめ規定されたセットにおける、傾聴する対象者の耳チャネル内で測定され得る、元の音信号（すなわち、入力信号）を左および右耳信号（すなわち、出力信号）に変換する線形動的システムのインパルス応答としての測定から推定される。推定されたＨＲフィルタは、しばしば、有限インパルス応答（ＦＩＲ）フィルタとして提供され、直接そのフォーマットで使用され得る。効率的なバイノーラルレンダリングを達成するために、ＨＲＴＦのペアが、急激なスペクトルピークを防ぐために両耳間伝達関数（ＩＴＦ）または修正ＩＴＦにコンバートされ得る。代替的に、ＨＲＴＦは、パラメトリック表現によって記述され得る。そのようなパラメータ化されたＨＲＴＦは、パラメトリックマルチチャネルオーディオコーダ（たとえば、ＭＰＥＧサラウンドおよび空間オーディオオブジェクトコーディング（ＳＡＯＣ））と容易に統合され得る。

異なる空間オーディオレンダリング技法の品質について説明するために、最小可聴角（ＭＡＡ：Ｍｉｎｉｍｕｍ Ａｕｄｉｂｌｅ Ａｎｇｌｅ）の概念が有用であり得る。ＭＡＡは、音イベントの角変位に対する人間の聴覚系の感度を特徴づける。方位角における位置特定に関して、研究は、ＭＡＡが、広帯域雑音バーストの場合、前面および背面において最も小さく（約１度）、横方向音ソースについてはるかに大きい（約１０度）ことを報告した。正中面におけるＭＡＡは、仰角とともに増加する。仰角における平均で４度と同程度に小さいＭＡＡが、広帯域雑音バーストの場合に報告されている。

空間における恣意的なロケーションにおける音の納得のいく空間知覚につながる、オーディオの空間レンダリングは、対応するロケーションのＭＡＡ内でロケーションを表現するＨＲフィルタのペアを必要とする。ＨＲフィルタについての角度における不一致が、限度を下回る場合（すなわち、ＨＲフィルタについての角度がＭＡＡ内にある場合）、不一致は傾聴者によって気づかれない。しかしながら、不一致がこの限度よりも大きい場合（すなわち、ＨＲフィルタについての角度がＭＡＡ外にある場合）、そのようなより大きいロケーション不一致は、傾聴者が知覚する位置における対応してより顕著な不正確さにつながり得る。

ＨＲフィルタ測定は、有限の測定ロケーションにおいてとられるが、オーディオレンダリングは、傾聴者の周囲の球体（たとえば、図１中の１５０）上の任意の可能なロケーションのためのＨＲフィルタを決定することを必要とし得る。したがって、マッピングの方法は、有限の測定ロケーションにおいて行われる個別測定から、連続球面角度領域にコンバートすることが必要とされる。そのようなマッピングのためのいくつかの方法が存在する。この方法は、最も近い利用可能な測定を直接使用すること、補間方法を使用すること、および／またはモデル化技法を使用することを含む。

１． 最も近い近隣測定ポイントの直接使用

マッピングのための最も単純な技法は、測定ポイントのセットの間で最も近接した（すなわち、最も近い）ポイントにおけるＨＲフィルタを使用することである。いくつかの計算作業が、最も近い近隣測定ポイントを決定するために必要とされ得、そのような作業は、傾聴者の周囲の球体上の測定ポイントの不規則にサンプリングされたセットにとって重要に（ｎｏｎｔｒｉｖｉａｌ）なることがある。一般的なオブジェクトロケーションの場合、（オブジェクトロケーションに対応する）所望のフィルタロケーションと、最も近接した利用可能なＨＲフィルタ測定ポイントとの間に、いくらかの角度誤差があり得る。ＨＲフィルタ測定の疎にサンプリングされたセットの場合、これは、オブジェクトロケーションにおける顕著な誤差につながり得る。誤差は、測定ポイントのより密にサンプリングされたセットが使用されるとき、低減されるかまたは事実上除去され得る。移動するオブジェクトの場合、ＨＲフィルタは、意図された滑らかな移動に対応しない段階的様式で変化する。

概して、ＨＲフィルタの密にサンプリングされた測定は、人間の対象者についてとることが困難であり、これは、この測定が、対象者がデータ収集中に動かずに座っていなければならないことを必要とし、対象者の小さい偶発的移動が、達成され得る角度分解能を限定するからである。また、その測定プロセスは、対象者と技術者の両方にとって時間がかかる。そのような密にサンプリングされた測定をとることの代わりに、欠落したＨＲフィルタに関する空間関係情報を推論することは、（以下で説明される）疎にサンプリングされたＨＲフィルタデータセットを仮定すれば、より効率的であり得る。密にサンプリングされたＨＲフィルタ測定は、ダミー頭部についてキャプチャすることが容易であるが、得られたＨＲフィルタセットは、すべての傾聴者に常に好適であるとは限らず、不正確なまたはあいまいなオブジェクトロケーションの知覚につながることがある。

２． 近隣測定ポイント間の補間

サンプル測定ポイントが十分に密に離間していない場合、近隣測定ポイント間の補間が、必要とされるＤＯＡのための近似フィルタを生成するために使用され得る。補間フィルタは、個別サンプル測定ポイント間で連続的様式で変動し、上記の方法（すなわち、方法１）が使用されるときに発生し得る急激な変化を回避する。この補間方法は、補間ＨＲフィルタ値を生成する際に追加の複雑さを招き、得られたＨＲフィルタは、異なるロケーションからのフィルタを混合することにより、広がって（より少ないポイントのように）知覚されるＤＯＡを有する。また、フィルタを直接混合することから起こる位相整合問題を防ぐための措置がとられる必要があり、これは、複雑さを追加することがある。

３． モデル化ベースのフィルタ生成

ＨＲフィルタとＨＲフィルタが角度とともにどのように変動するかとにつながる基礎をなすシステムのためのモデルを構築するために、より高度な技法が使用され得る。ＨＲフィルタ測定のセットを仮定すれば、モデルパラメータが、最小誤差で測定を再生するように、およびそれにより測定ロケーションにおいてだけでなく角度空間の連続関数としてより全体的にＨＲフィルタを生成するための機構を作成するように、チューニングされる。

ＤＯＡの連続関数としてＨＲフィルタを生成するための他の方法が存在し、それらは、測定の入力セットを必要としないが、代わりに、ＨＲフィルタの挙動を予測するために傾聴者の頭部の周りの波伝搬をモデル化するために、傾聴者の頭部および耳の高分解能３Ｄ走査を使用する。

ＨＲフィルタを表現するために重み付けされた基底関数およびベクトルを利用するＨＲフィルタモデルのカテゴリーが、以下で提示される。

３．１． 重み付けされた基底ベクトルを使用するＨＲフィルタモデル－数学的フレームワーク

以下の形式をもつＨＲフィルタのためのモデルを考慮する。

ここで、

は推定されたＨＲフィルタであり、特定の（θ，φ）角度についての長さＫのベクトル、α_ｎ，ｋは、角度（θ，φ）に依存しないスカラ重み付け値のセットであり、
Ｆ_ｋ，ｎ（θ，φ）は、角度（θ，φ）に依存するスカラ値関数のセットであり、
ｅ_ｋは、

フィルタのＫ次元空間にわたる直交基底ベクトルのセットである。

モデル関数Ｆ_ｋ，ｎ（θ，φ）は、モデル設計の一部として決定され、通常、仰角および方位角次元にわたるＨＲフィルタセットの変動がうまくキャプチャされるように選定される。指定されたモデル関数では、モデルパラメータα_ｎ，ｋは、最小化された最小２乗法などのデータフィッティング法を用いて推定され得る。

ＨＲフィルタ係数のすべてのために同じモデル化関数を使用することは珍しくなく、これは、このタイプのモデルの特定のサブセットを生じ、ここで、モデル関数Ｆ_ｋ，ｎ（θ，φ）は、フィルタ内の位置ｋに依存しない。
Ｆ_ｋ，ｎ（θ，φ）＝Ｆ_ｎ（θ，φ），∀ｋ （２）

したがって、モデルは次のように表され得る。

一実施形態では、ｅ_ｋ基底ベクトルは、使用されている座標系と整合された自然基底ベクトルｅ_１＝［１，０，０，．．．０］、ｅ_２＝［０，１，０，．．．０］、．．．である。コンパクトさのために、自然基底ベクトルが使用されるとき、そのベクトルは以下に書き直され得る。

ここで、α_ｎは、長さＫのベクトルである。これは、モデルのための以下の等価な式につながる。

すなわち、パラメータα_ｎ，ｋが推定されると、

は、固定の基底ベクトルα_ｎの線形結合（ｌｉｎｅａｒ ｃｏｍｂｉｎａｔｉｏｎ）として表され得、ここで、ＨＲフィルタの角度変動は、重み付け値Ｆ_ｎ（θ，φ）においてキャプチャされる。

したがって、個々のフィルタ係数ｋが次のように取得される。

この等価な式は、単位基底ベクトルが自然基底ベクトルである場合、コンパクトな式である。しかしながら、以下の方法は、任意の領域で（非直交基底ベクトルならびに直交基底ベクトルを含む）基底ベクトルの任意の選定を使用するモデルに、（この好都合な記法なしに）適用され得る。同じ、基礎をなすモデル化技法の他の実施形態は、時間領域における（たとえば、エルミート多項式、シヌソイド（ｓｉｎｕｓｏｉｄ）など）、または周波数領域など、時間領域以外の領域における（たとえば、フーリエ変換を介した）、またはＨＲフィルタを表すことが自然である任意の他の領域における、基底ベクトルの異なる選定であろう。

は、等式（５）において指定されたモデル評価の結果であり、同じロケーションにおけるｈの測定と同様であるべきである。ｈの実測定が知られているテストポイント（θ_ｔｅｓｔ，φ_ｔｅｓｔ）について、ｈ（θ_ｔｅｓｔ，φ_ｔｅｓｔ）と

とが、モデルの品質を評価するために比較され得る。モデルが正確であると見なされた場合、モデルは、必ずしもｈが測定されたポイントのうちの１つであるとは限らない何らかの一般的なポイントについて、推定

を生成するために使用され得る。

等式（５）の等価な行列定式化は、以下の通りである。

ここで、ｆ（θ，φ）＝一方の耳のための重み付け値の行ベクトルであり、これは長さＮを有し、すなわち、ｆ（θ，φ）＝［Ｆ_１（θ，φ），Ｆ_２（θ，φ），．．．，Ｆ_Ｎ（θ，φ）］であり、α＝一方の耳のための基底関数であり、これは行列Ｋ行×Ｎ列における行として構成され、すなわち、以下である。

（参照により本明細書に組み込まれる）ＷＯ２０２１／０７４２９４において説明されるように、Ｂスプライン関数は、仰角θおよび方位角φのためのＨＲフィルタモデル化のための好適な基底関数である。これは、関数Ｆ_ｎ（θ，φ）が次のように決定され得ることを示す。
Ｆ_Ｎ（θ，φ）＝Θ_ｐ（θ）Φ_ｐ，ｑ（φ） （８）

ｐ＝１，．．．，、Ｐおよびｑ＝１，．．．，Ｑｐについて、ｎ＝（ｐ－１）Ｑ_ｐ＋ｑである。Ｐは仰角基底関数の数であり、Ｑ_ｐは、異なる仰角ｐについて変動し得る、方位角基底関数の数である。仰角の場合、標準Ｂスプライン関数が使用され得、方位角の場合、周期的Ｂスプライン関数が使用され得る。

上記で説明されたように、角度の連続領域上のＨＲフィルタを推論するための３つのタイプの方法は、計算複雑さの変動するレベルと、知覚されるロケーション精度の変動するレベルとを有する。最も近い近隣測定ポイントの直接使用は、最も単純であるが、ＨＲフィルタの密にサンプリングされた測定を必要とし、その測定は、取得することが容易でなく、通常、大量のデータを生じる。対照的に、ＨＲフィルタのためのモデルを使用する方法は、それらが、ＤＯＡが変化するにつれて滑らかに変動する、ポイントのような位置特定プロパティをもつＨＲフィルタを生成することができるという利点を有する。これらの方法はまた、よりコンパクトな形式でＨＲフィルタのセットを表現し、したがって、送信および／または（それらが使用中であるときのプログラムメモリにおける記憶を含む）記憶のためにより少ないリソースを必要とし得る。これらの利点は、数値複雑さという犠牲を払う（そのモデルは、ＨＲフィルタを生成するために、そのフィルタが使用され得る前に評価されなければならない）。そのような複雑さは、限定された計算容量をもつレンダリングシステムにとって、そのような限定された容量が、たとえば、リアルタイムオーディオシーンにおいて、レンダリングされ得るオーディオオブジェクトの数を限定するので、問題である。

空間オーディオレンダラでは、等式（５）などのモデル評価式からリアルタイムで任意の仰角－方位角のためのＨＲフィルタを評価することが可能であることが、望ましい。したがって、等式（５）において指定されるＨＲフィルタ評価は、極めて効率的に実行される必要がある。

ＨＲフィルタモデルの繰返し評価は、モデル出力を評価する際にだけでなく、モデルの基底関数を評価する際にも、複雑さという欠点がある。さらに、ある基底関数の寄与は、あるＨＲフィルタ方向の評価についてわずか（たとえば、０）であり得る。これは、フィルタ評価が不必要に複雑になることを意味する。一方、ＨＲフィルタ評価のために必要とされるメモリ消費は、特に、メモリ可能性と計算複雑さ可能性の両方が限定されるモバイルデバイスにおける利用のために、大幅に増加されないことが極めて重要である。

（たとえば、ＷＯ２０２１／０７４２９４において説明される）Ｂスプライン基底関数から、等式（５）において説明されるフィルタ評価は、Ｆ_ｎ（θ，φ）の決定を含むことになることがわかり得、

の評価における、仰角ｐごとのＰ・Ｑ_ｐ乗算と、さらには係数ｎごとのＰ・Ｑ_ｐ乗算および加算とを伴う。これらの演算は、後で、あらゆるフィルタ係数ｋごとに実行され、これは、全部でＨＲフィルタ

の評価のためのかなりの数の演算を生じる。

図３（ａ）および図３（ｂ）は、周期的Ｂスプライン基底関数を示す。

図３（ａ）は、［０，３６０］度モデル化範囲のための４つの周期的Ｂスプライン基底関数の一例を示す。ノットポイントが、０（＝３６０）度、９０度、１８０度および２７０度にある。この例では、ノットポイント間の各セグメント内のすべての基底関数が、非０である。

図３（ｂ）は、［０，３６０］度モデル化範囲のための８つの周期的Ｂスプライン基底関数の一例を示す。ノットポイントが、０（＝３６０）度、４５度、．．．、３１５度にある。この場合、各基底関数の非０部分が、モデル化範囲の１／２のみ、すなわち１８０度のみをカバーする。

図３（ａ）および図３（ｂ）に示されているように、いくつかのＢスプライン設定の場合、ほんのいくつかのＢスプライン関数が、ある方向（θ，φ）について非０である。たとえば、図３（ｂ）中の０度において開始するＢスプライン関数は、１８０～３６０度間のいずれの角度についても０になり得る。これは、等式（５）のＨＲフィルタ評価が、０成分をもつかなりの数の乗算および加算を伴い得ることを意味する。その結果は、複雑さ非効率的なモデルベースのＨＲフィルタ評価である。

本開示のいくつかの実施形態によれば、非効率的なＨＲフィルタ評価の問題は、複雑さ効率的なＨＲフィルタ評価のためのメモリ効率的な構造化された表現、ならびに／または０値成分による乗算および加算の回避によって解決され得る。

したがって、一態様では、オーディオレンダリングのために頭部関係（ＨＲ）フィルタを生成するための方法が提供される。本方法は、ＨＲフィルタモデルを示すＨＲフィルタモデルデータを生成することを含む。ＨＲフィルタモデルデータを生成することは、１つまたは複数の基底関数の少なくとも１つのセットを選択することを含む。本方法は、生成されたＨＲフィルタモデルデータに基づいて、（ｉ）前記１つまたは複数の基底関数をサンプリングすることと、（ｉｉ）第１の基底関数形状データと形状メタデータとを生成することとをも含む。第１の基底関数形状データは、前記１つまたは複数の基底関数の１つまたは複数のコンパクトな表現を識別し、形状メタデータは、前記１つまたは複数の基底関数に関する前記１つまたは複数のコンパクトな表現の構造に関する情報を含む。本方法は、１つまたは複数の記憶媒体に記憶するために、第１の生成された基底関数形状データと形状メタデータとを提供することをさらに含む。

いくつかの実施形態では、本方法は、トリガリングイベントの発生を検出することをさらに含み得る。そのようなトリガリングイベントは、オーディオレンダリングのために頭部関係（ＨＲ）フィルタが生成されるべきであることを示し得、これは、たとえば、オーディオのフレームをレンダリングするために、または後で使用するためにメモリに記憶される頭部関係（ＨＲ）フィルタの生成によってレンダリングを準備するために、頭部関係（ＨＲ）フィルタが要求されるとき、オーディオレンダラから誘起され得る。いくつかの実施形態では、トリガリングイベントは、１つまたは複数の記憶媒体から基底関数形状データおよび／または形状メタデータを取り出すという判断にすぎない。本方法は、トリガリングイベントの発生を検出したことの結果として、オーディオレンダリングのために第２の基底関数形状データと形状メタデータとを出力することをさらに含み得る。

別の態様では、オーディオレンダリングのために頭部関係（ＨＲ）フィルタを生成するための方法が提供される。本方法は、１つまたは複数の基底関数の１つまたは複数のコンパクトな表現のコンバートされたバージョンを取得すべきかどうかを示す形状メタデータを取得することを含む。本方法は、（ｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現または（ｉｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現のコンバートされたバージョンを識別する、基底関数形状データを取得することをさらに含む。本方法は、取得された形状メタデータと取得された基底関数形状データとに基づいて、（ｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現または（ｉｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現のコンバートされたバージョンを使用することによって、ＨＲフィルタを生成することをさらに含む。

別の態様では、オーディオレンダリングのために頭部関係（ＨＲ）フィルタを生成するための装置が提供される。本装置は、ＨＲフィルタモデルを示すＨＲフィルタモデルデータを生成するように適応される。ＨＲフィルタモデルデータを生成することは、１つまたは複数の基底関数の少なくとも１つのセットを選択することを含む。本装置は、生成されたＨＲフィルタモデルデータに基づいて、（ｉ）前記１つまたは複数の基底関数をサンプリングすることと、（ｉｉ）第１の基底関数形状データと形状メタデータとを生成することとを行うようにさらに適応される。第１の基底関数形状データは、前記１つまたは複数の基底関数の１つまたは複数のコンパクトな表現を識別し、形状メタデータは、前記１つまたは複数の基底関数に関する前記１つまたは複数のコンパクトな表現の構造に関する情報を含む。本装置は、１つまたは複数の記憶媒体に記憶するために、生成された第１の基底関数形状データと形状メタデータとを提供するようにさらに適応される。

本装置は、トリガリングイベントの発生を検出することと、トリガリングイベントの発生を検出したことの結果として、オーディオレンダリングのために第２の基底関数形状データと形状メタデータとを出力することとを行うようにさらに適応される。そのようなトリガリングイベントは、オーディオレンダリングのために頭部関係（ＨＲ）フィルタが生成されるべきであることを示し得、これは、たとえば、オーディオのフレームをレンダリングするために、または後で使用するためにメモリに記憶される頭部関係（ＨＲ）フィルタの生成によってレンダリングを準備するために、頭部関係（ＨＲ）フィルタが要求されるとき、オーディオレンダラから誘起され得る。いくつかの実施形態では、トリガリングイベントは、１つまたは複数の記憶媒体から基底関数形状データおよび／または形状メタデータを取り出すという判断にすぎない。一実施形態では、本装置は、処理回路と、本明細書で開示されるプロセスのいずれかを実施するように本装置を設定するための命令を記憶する記憶ユニットとを備える。

別の態様では、オーディオレンダリングのために頭部関係（ＨＲ）フィルタを生成するための装置が提供される。本装置は、１つまたは複数の基底関数の１つまたは複数のコンパクトな表現のコンバートされたバージョンを取得すべきかどうかを示す形状メタデータを取得するように適応される。本装置は、（ｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現または（ｉｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現のコンバートされたバージョンを識別する、基底関数形状データを取得するようにさらに適応される。本装置は、取得された形状メタデータと取得された基底関数形状データとに基づいて、（ｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現または（ｉｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現のコンバートされたバージョンを使用することによって、ＨＲフィルタを生成するようにさらに適応される。

別の態様では、処理回路によって実行されたとき、処理回路に、上記で説明された方法を実施させる命令を備えるコンピュータプログラムが提供される。一実施形態では、コンピュータプログラムを含んでいるキャリアが提供され、キャリアは、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体のうちの１つである。

本開示の実施形態は、たとえば、傾聴者に対する位置（ｒ，θ，φ）におけるモノソースをレンダリングするために、モデル化ベースのＨＲフィルタを利用する空間オーディオレンダラにとって知覚的に透過（非可聴）最適化を可能にし、ここで、ｒは、半径であり、（θ，φ）は、それぞれ、仰角および方位角である。

本明細書に組み込まれ、明細書の一部をなす添付の図面は、様々な実施形態を示している。

角度θ，φに位置するソースから傾聴者のほうへの音波の伝搬を示す図である。 頭部および耳と相互作用する、傾聴者のほうへ伝搬する音波と、得られたＩＴＤとを示す図である。 図３（ａ）～図３（ｂ）は、例示的な周期的Ｂスプライン基底関数を示す図である。 図４（ａ）～図４（ｃ）は、図３（ａ）～図３（ｂ）に示されている基底関数の例示的なコンパクトな表現を示す図である。 例示的な標準Ｂスプライン基底関数を示す図である。 図６（ａ）～図６（ｄ）は、図５に示されている基底関数の例示的なコンパクトな表現を示す図である。 いくつかの実施形態による、システムの図である。 いくつかの実施形態による、ＨＲフィルタを生成するためのプロセスの図である。 いくつかの実施形態による、システムの図である。 いくつかの実施形態による、装置を示す図である。 いくつかの実施形態による、装置を示す図である。 いくつかの実施形態による、プロセスの図である。 いくつかの実施形態による、プロセスの図である。 いくつかの実施形態による、装置の図である。 図２に示されている音波のＩＴＤおよびＨＲフィルタを示す図である。

本開示のいくつかの実施形態は、バイノーラルオーディオレンダラを対象とする。レンダラは、スタンドアロンで動作するか、またはオーディオコーデックとともに動作し得る。潜在的に圧縮されたオーディオ信号およびそれらの関係するメタデータ（たとえば、レンダリングされたオーディオソースの位置を指定するデータ）が、オーディオレンダラに提供され得る。レンダラはまた、頭部追跡デバイス（たとえば、加速度計、ジャイロスコープ、コンパスなどの（１つまたは複数の）インサイドアウト慣性ベースの追跡デバイス、またはＬＩＤＡＲなどの（１つまたは複数の）アウトサイドインベースの追跡デバイス）から取得された頭部追跡データを提供され得る。そのような頭部追跡データは、（たとえば、オーディオオブジェクト（ソース）が、傾聴者の頭部回転に依存せずに空間における固定位置において知覚されるように）レンダリングのために使用されるメタデータ（すなわち、レンダリングメタデータ）に影響を及ぼし得る。レンダラは、バイノーラル化（ｂｉｎａｕｒａｌｉｚａｔｉｏｎ）のために使用されるべきＨＲフィルタをも取得する。本開示の実施形態は、ＷＯ２０２１／０７４２９４または等式（１）による重み付けされた基底ベクトルに基づく、ＨＲフィルタ生成のための効率的な表現および方法を提供する。

スカラ値関数Ｆ_ｎ（θ，φ）は、Ｐ仰角基底関数のセットΘ_ｐ（θ），ｐ＝０，．．．，ｐ－１とＱ方位角基底関数のセットΦ_ｑ（φ）との関数ｇ（・）であると仮定される。ＷＯ２０２１／０７４２９４において説明されるように、方位角基底関数または仰角基底関数のセットはまた、異なるｐまたはｑについて変動し得る（たとえば、仰角関数インデックス（ｉｎｄｅｘ）ｐに依存する方位角基底関数Φ_ｐ，ｑ（θ）の数を変動させ、これは、方位角基底関数Ｑ_ｐの数がｐに依存することを意味する）。一実施形態では、Ｆ_ｎ（θ，φ）は、Θ_ｐ（θ）とΦ_ｐ，ｑ（φ）との積として選択され得る。言い換えれば、
Ｆ_ｎ（θ，φ）＝ｇ（Θ_ｐ（θ），Φ_ｐ，ｑ（φ））＝Θ_ｐ（θ）Φ_ｐ，ｑ（φ） （９）
である。

本開示のいくつかの実施形態は、（１つまたは複数の）ＨＲフィルタモデルの効率的な構造に基づき、知覚的に、仰角基底関数Θ_ｐ（θ）および方位角基底関数Φ_ｑ（φ）の空間サンプリングに基づく。

１． ＨＲフィルタモデル設計

最初に、（等式（１）に対応する）ＨＲフィルタモデルは、ＨＲフィルタ長Ｋと、仰角基底関数の数Ｐと、方位角基底関数の数Ｑ_ｐと、基底関数のセットΘ_ｐ（θ）およびΦ_ｐ，ｑ（φ）との選択によって設計され得る。各基底関数は、滑らかであり、仰角モデル化範囲および方位角モデル化範囲のいくつかのセグメント（角度）（たとえば、それぞれ、［－９０，．．．，９０］および［０，．．．，３６０］のいくつかの部分）に、より多くの重みを課し得る。したがって、モデル化範囲のいくつかのセグメントについて、ある基底関数が０であり得る。

いくつかの実施形態では、仰角基底関数および方位角基底関数が、ＨＲフィルタモデル化と効率的な構造化されたＨＲフィルタ生成とのために効率的に使用されるためのいくつかのプロパティを用いて設計／選択される。基底関数は、周期的モデル化範囲にわたって規定され得る（たとえば、図３（ａ）および図３（ｂ）に示されているように０／３６０度方位角境界において連続する、または非周期的範囲、たとえば、図５に示されているように［－９０，９０］度仰角にわたって規定される）。

したがって、いくつかの実施形態によれば、

［プロパティ１］基底関数のうちの少なくとも１つは、非０値である第１のセグメントと、０値である別のセグメントとを有する、ならびに／あるいは

［プロパティ２］基底関数のうちの前記少なくとも１つの非０部分は、
ａ． 別の基底関数の非０部分に等しい、または
ｂ． 同じ形状をもつ別の基底関数の非０部分の長さの単位分数である非０部分の長さを有し、すなわち

であり、ここで、Ｌ_１およびＬ_２は、それぞれの長さであり、ｘ＝１，２，３，．．．，である、および／または
ｃ． 対称的である、または
ｄ． 別の基底関数の非０部分のミラー（逆）である。

同じプロパティを有する基底関数がより多いと、より効率的な実装が行われ得る。しかしながら、基底関数の選定にも影響を及ぼし得る、モデル化効率および性能など、他のファクタがあり得る。たとえば、測定されたＨＲフィルタデータのサンプリンググリッドに応じて、劣決定系を得ることを回避するために異なる数の基底関数が選択されるべきである。基底関数は、一般に分析的に（たとえば、多項式によるスプラインとして）説明され得る。

いくつかの実施形態では、３次Ｂスプライン関数（すなわち、４次または次数３）が、それぞれ、方位角および仰角のための基底関数Φ_ｐ，ｑ（φ）およびΘ_ｐ（θ）として使用される。

図３（ａ）および図３（ｂ）は、方位角のための周期的Ｂスプライン基底関数を示し、図５は、仰角のための対応する標準Ｂスプライン基底関数を示す。ポイントは、図におけるより良い弁別のために異なるシンボルでマークを付けられているが、関数は、連続であり、任意の角度において評価され得る。

２． ＨＲフィルタモデル化

モデルを規定するモデル設計パラメータ（たとえば、Ｋ、Ｐ、Ｑ_ｐ、Θ_ｐ（θ）およびΦ_ｐ，ｑ（φ））は、ＨＲフィルタモデル化のために後で使用され得、ここで、モデルパラメータα_ｎ，ｋは、（たとえば、ＷＯ２０２１／０７４２９４において説明される）最小化された最小２乗法などのデータフィッティング法を用いて推定され得る。

３． 基底関数サンプリング

本開示の実施形態の一態様は、基底関数Φ_ｐ，ｑ（θ）およびΘ_ｐ（θ）の知覚的に動機付けされたサンプリングである。研究が示したように、最小可聴角（ＭＡＡ）がある。ＭＡＡよりも小さい角度変化は、知覚されない。この観測に基づいて、方位角サンプリング間隔ΔΦおよび仰角サンプリング間隔ΔΘが、選択され得る。研究は、透過品質（すなわち、非可聴損失）のためにΔΦ＝１°およびΔΘ＝４°を提案するが、ＨＲフィルタ評価のための空間精度要件およびメモリ要件および（計算に関する）複雑さ要件間の妥協点として、より大きいサンプリング間隔が選択され得る。

選定されたサンプル離間値（ｓａｍｐｌｅ ｓｐａｃｉｎｇ ｖａｌｕｅ）ΔΦ、ΔΘが、ＭＡＡよりも大きい場合、滑らかに変動する曲線を生成し、サンプルポイントの非常に粗く離間されたセットにより発生し得る階段状の変化を回避するために、補間が使用され得る（この手法は、さらにメモリ使用量を低減するが、数値複雑さを増加させる）。基底関数サンプリングは、一般に、前処理段において実施され得、ここで、ＨＲフィルタ評価のために使用されるべきサンプリングされた基底関数が生成され、メモリに記憶される。

３．１． 周期的Ｂスプライン基底関数の効率的な表現

図３（ａ）および図３（ｂ）は、方位角のための周期的Ｂスプライン関数の２つの例を示し、各々が、３６０度をカバーする基底関数のセットを示す。図に示されているように、両方の例において、基底関数のすべての等しい対称的非０部分（上記で説明されたプロパティ２ａおよび２ｃのコヒーレント）が取得され、これは、常に、ノットポイント間に一定の離間がある限り、起こる。

これは、周期的Ｂスプライン基底関数の各々が（その対称特性により）その非０形状の１／２によって効率的に表現され得ることを意味する。Ｂスプライン基底関数は、ランタイム中に計算され得るが、Ｂスプライン基底関数のあらかじめ計算された形状（すなわち、数値サンプリング）をメモリに記憶することが、計算複雑さに関してより効率的である。一方、概して、メモリ要件（すなわち、あらかじめ計算された形状を記憶するために必要とされるメモリ容量）を最小限に抑えることが望ましい。本開示の実施形態による（１つまたは複数の）Ｂスプライン基底関数の構造は、計算複雑さ要件とメモリ要件との間の良好な妥協点を提供する。

ＨＲフィルタ測定ポイントの数は、一般に、０°仰角において最高であり、±９０°に向かって減少するので、より少数の基底関数が、サンプリング球体の極エリアに向けて利用され得る。

仰角ごとの変動する数の方位角Ｂスプライン基底関数を用いて、異なるノットポイント間隔Ｉ_Ｋ（ｐ）をもつ周期的Ｂスプライン関数のセットのためのコンパクトな表現が、取得され得る。

ノットポイント間隔が整数デシメーションファクタ（ｄｅｃｉｍａｔｉｏｎ ｆａｃｔｏｒ）Ｍについて

である場合、基底関数の非０部分は、上記の本開示のセクション１において説明されたプロパティ２ｂとコヒーレントであることになり、別個の形状が記憶される必要がないが、デシメーションファクタＭのみが、形状を復元するために必要である。この場合、最大のノットポイント間隔Ｉ_Ｋ（ｐ_１）をもつ形状のＭ番目ごとのポイントが、ノットポイント間隔Ｉ_Ｋ（ｐ_２）＝Ｉ_Ｋ／Ｍをもつ形状のサンプルに対応する。これは、図４（ａ）～図４（ｃ）に示されている。

図４（ａ）～図４（ｃ）は、図３（ａ）～図３（ｂ）のＢスプライン基礎関数のコンパクトな表現を示す。周期的基底関数の非０部分が対称的であるので、完全な形状を表現するために形状の１／２のみが必要とされる。さらに、図３（ｂ）サンプルポイント（○（ｃｉｒｃｌｅ））のＢスプライン基底関数は、図３（ａ）サンプルポイント（＋（ｐｌｕｓ））のサブサンプリングによって取得される。図４（ａ）では、＋は、図３（ａ）中の基底関数のサンプルポイントの１／２を表現する。図４（ｂ）では、○は、図３（ｂ）中の基底関数のサンプルポイントの１／２を表現する。図４（ｃ）は、（ａ）と（ｂ）との重ねられた形状関数（ｏｖｅｒｌａｉｄ ｓｈａｐｅ ｆｕｎｃｔｉｏｎ）を示す。＋が［０，．．．，１８０］度の範囲を表現し、○が［０，．．．，９０］度の範囲を表現するが、形状関数（ｂ）は、形状関数（ａ）のサブサンプリングによって取得され得る。

上記で説明されたように、図４（ａ）～図４（ｃ）では、図３（ｂ）中の形状のサンプルポイント（○）は、図３（ａ）の形状のための１つおきのサンプルポイント（＋）として取得され得る。

３．２ 標準Ｂスプライン基底関数の効率的な表現

周期的Ｂスプライン基底関数に関しては、コンパクトな表現が、標準Ｂスプライン基底関数のサンプリングによって取得され得る。

図５は、Ｐ＝９の場合の標準仰角Ｂスプライン基底関数を示す。図５に示されている基底関数のうちのいくつかは、周期的Ｂスプライン基底関数（たとえば、図３（ａ）および図３（ｂ）に示されている基底関数）の場合のように対称的ではないが、（左側から）最初および最後のスプライン関数が、（上記の本開示のセクション１において説明されたプロパティ２ｄとコヒーレントな）非０部分について互いのミラー形状（ｍｉｒｒｏｒｅｄ ｓｈａｐｅ）を有することが、わかり得る。同様に、２番目および最後から２番目の非０スプライン関数は互いのミラー形状を有し、３番目および最後から３番目の非０スプライン関数は互いのミラー形状を有する。ミラー形状を有するこれらのプロパティは、基底関数のメモリ効率的な記憶を可能にする。したがって、いくつかの実施形態では、ノットポイントのための一定の間隔が、選好および使用され得る。モデル評価のために、記憶された形状が、評価されているセグメントに応じて前方にまたは後方に読み取られ得る。図５に示されている４番目～最後から４番目（４番目、５番目および６番目）のＢスプライン基底関数は、方位角Ｂスプライン基底関数と同じプロパティを保持し、すなわち、非０部分について対称的であり、等しい。

図６（ａ）～図６（ｂ）は、図５に示されている標準Ｂスプライン基底関数のコンパクトな表現を示す。

図６（ａ）は、図５の最初のおよび最後の基底関数のコンパクトな表現を示す。これは、最後の基底関数の非０部分のミラー形状に対応する。

図６（ｂ）は、図５の２番目および最後から２番目の基底関数のコンパクトな表現を示す。これは、最後から２番目の基底関数の非０部分のミラー形状に対応する。

図６（ｃ）は、図５の３番目および最後から３番目の基底関数のコンパクトな表現を示す。これは、最後から３番目の基底関数の非０部分のミラー形状に対応する。

図６（ｄ）は、図５の４番目、５番目および６番目の基底関数のコンパクトな表現を示す。これは、基底関数の対称的な非０部分の１／２に対応する。

モデル化範囲（この場合、－９０°から９０°の間）をカバーするＢスプライン基底関数の総数に依存せずに、４つの依存しない非０Ｂスプライン基底関数形状のみが必要とされる。さらに、これらの非０Ｂスプライン関数形状のうちの１つ（たとえば、図６（ｄ）に示されている関数）は、周期的スプライン関数に関して、対称的であり、したがって非０部分の１／２のみが記憶される必要がある。

３．３ メモリへの記憶

基底関数サンプリングの結果として、基底関数のコンパクトな表現（すなわち、基底関数形状）は、形状メタデータとともにメモリに記憶される。形状メタデータは、以下のいずれか１つまたは組合せを表現する情報を備え得る。
１． 基底関数の数（方位角基底関数の数は異なる仰角について異なり得る）、
２． （モデル化間隔内の）各基底関数の開始ポイント、
３． 基底関数ごとの形状インデックス（記憶された形状のうちのどれを基底関数のために使用すべきかを識別する）、
４． 基底関数ごとの形状リサンプリングファクタＭ、
５． 基底関数ごとの反転インジケータ（その特定の基底関数について、記憶された形状を反転すべきか否かを示す）、
６． Ｂスプラインなどの基底関数構造、および
７． 各基底関数の非０部分の幅。

いくつかの実施形態では、反転インジケータが、記憶された形状が反転される必要があることを示す場合、記憶媒体に記憶された形状は、反転された形状（ｆｌｉｐｐｅｄ ｓｈａｐｅ）がレンダラに提供されるように記憶媒体から後方に読み取られ得る。

いくつかのパラメータ（たとえば、反転インジケータおよび基底関数構造）は、いくつかの実施形態では（特に、モデル構造がレンダラにすでに知られているとき）、レンダラに記憶され、送信される必要がないことがある。たとえば、標準３次Ｂスプラインが、図５の場合のように利用される場合、基底関数サンプリングと構造化されたＨＲフィルタ生成との両方が最初の４つの形状（最初の３つの形状と４番目の形状の１／２）がその順番で記憶されたと仮定することが、知られている場合は、最後の３つの基底関数が反転される必要があることをシグナリングする必要がない。最初および最後の３つの基底関数の間におけるすべての基底関数が、４番目の記憶された形状によって構成され得ることが、さらに知られ得る。Ｂスプラインの場合、形状メタデータは、代わりに、ノットポイントに関する情報を含み得る。周期的Ｂスプライン関数が方位角基底関数のために使用され、標準Ｂスプライン関数が仰角のために使用されることも知られ得る。これは、形状メタデータパラメータが異なる記憶媒体に記憶され得る一例である。

さらに、ＨＲフィルタモデルパラメータα_ｎ，ｋが、基底関数形状および対応する形状メタデータとともにメモリに記憶される。他の実施形態では、ＨＲフィルタモデルパラメータ、基底関数形状、および／または形状メタデータが、異なる記憶媒体に記憶され得る。

４． ＨＲフィルタ生成

記憶された形状およびパラメータに基づいて、構造化されたＨＲフィルタ生成が、メモリから基底関数形状を読み取ることと、それらを形状メタデータに基づいて各基底関数のために正しく適用することと、不要な計算複雑さ（たとえば、不要な乗算および加算）を回避することとによって実施され得、それによりＨＲフィルタモデルパラメータα_ｎ，ｋを使用したＨＲフィルタの極めて効率的な評価を生じる。

Ｂスプライン基底関数のサンプリングは、サンプリングされた基底関数の構造化された表形式化によって、（オーディオレンダリングに関与する）計算複雑さを低減し得るが、ＨＲフィルタ生成（またはモデル評価）も、計算複雑さをさらに低減するように最適化され得る。

あらゆる方向（θ，φ）について、図３および図５による方位角基底関数および仰角基底関数（すなわち、３次Ｂスプライン基底関数）の構造を仮定すると、評価されるべきあらゆる方位角および仰角のために多くとも４つの非０Ｂスプライン基底関数が存在する。したがって、等式（８）におけるＦ_ｎ（θ，φ）の評価の場合、多くとも４・４＝１６個の非０成分があることになる。したがって、等式（５）におけるフィルタ評価は、低減されて以下の等式になり得る。

ここで、

は、Ｆ_ｎ（θ，φ）のすべての非０成分を示す。

Ｎ＝Ｐ・Ｑの完全な評価と比較して（ここで、定数の方位角基底関数、すなわち、すべてのｐについてＱ_ｐ＝Ｑを仮定する）、等式（９）に基づくＨＲフィルタ生成は、複雑さにおけるかなりの節減を提供し、これは、ＨＲフィルタデータをモデル化するためにより多くの基底関数が使用されるほど、より大きくなる。

たいていのポイントにおいて、４つの非０基底関数があるが、ノットポイントにおいて、４つよりも少ない基底関数が非０成分に寄与する。

以下は、ＨＲフィルタの生成のために最適化されたモデル評価を提供するための方法について説明する。

４．１ 周期的Ｂスプライン基底関数（方位角の場合）のための基底評価

（１） ノットセグメントインデックスＩ_ｎ（θ，φ）を決定する。

ここで、φは、評価されるべき方位角であり、Ｉ_ｍ（０）は、最初のノットポイントにおける方位角であり、Ｉ_Ｋ（ｐ）は、インデックスｐの仰角における方位角Ｂスプライン関数のためのノットポイント間隔である。

（２） 最も近いセグメントサンプルポイントを決定する。

ここで、ｒｏｕｎｄ（）は丸め関数であり、Ｎ_ｓ（ｐ）は、セグメントごとのサンプルの数であり（たとえば、

）、Ｍ（ｐ）は、インデックスｐの仰角のためのデシメーションファクタである。好適な丸め関数の一例は、以下である。

ここで、

は、その入力よりも小さいかまたはそれに等しい最も大きい整数を出力する床関数を示す。

（３） 方位角のための非０基底関数の数

を決定する。

（４） Ｂスプラインサンプル値および形状インデックスを計算する。

ここで、Ｓ_ｐは、（上記のセクション３．１において説明された）ファクタＭ（ｐ）によってサブサンプリングされる、仰角ｐにおける１／２のサンプリングされた形状関数である。記憶された形状値

のインデックス

も、記憶される。Ｑ_ｐは、仰角インデックスｐのための方位角Ｂスプライン基底関数の総数である。ｍｏｄ（・）は、評価される方位角φがノットポイント上にあるかどうかを決定するために使用されるモジュロ関数である。

４．２ 標準Ｂスプライン関数（仰角の場合）のための基底評価

（１） ノットセグメントインデックスＩ_ｎ（θ，ｐ）を決定する。

ここで、θは、評価されるべき仰角であり、Ｉ_ｍ（０）は、最初のノットポイントにおける仰角であり、Ｉ_Ｋは、仰角Ｂスプライン関数のためのノットポイント間隔である。

（２） 最も近いセグメントサンプルポイントを決定する。

ここで、ｒｏｕｎｄ（）は丸め関数であり、Ｎ_ｓは、セグメントごとのサンプルの数である（たとえば、

）。丸め関数は、周期的Ｂスプライン基底関数のために使用されたのと同じものであり得る。

（３） 非０基底関数の数

を決定する

最初および最後のノットポイントにおいて、

も利用され得る。

Ｂスプラインサンプル値および形状インデックスを計算する

ここで、Ｉ_Ｓは、仰角ｐにおける関連するサンプリングされた形状関数

を表現するインデックスである。

Ｐは、仰角Ｂスプライン基底関数の総数である。基底関数インデックス（ｉ＋Ｉ_ｎ）がＰ－４よりも大きい場合、形状は後方に読み取られる。そうではなく、対称的形状の場合に起こり得る、形状インデックスが記憶された形状の長さよりも大きい場合、形状はまた、後方に読み取られる。記憶された形状値

のインデックス

も、記憶される。ｌｅｎ（・）は、入力ベクトルの長さを決定し、ｍｉｎ（・，・）、ｍａｘ（・，・）は、それぞれ、入力引数の最小値および最大値を決定する。

４．３ ＨＲフィルタ評価

方位角Ｂスプライン基底関数および仰角Ｂスプライン基底関数が評価されると、Ｆ_ｎ（θ，φ）が、以下によって決定され得る。

次いで、各ＨＲフィルタ係数

が、次のように決定され得る。

ただし、ＨＲフィルタタップインデックスｋ＝０，．．．，Ｋ－１。

５． バイノーラルレンダリング

いくつかの実施形態では、上記で説明された方法は、ＨＲフィルタのゼロ時間遅延部分のために使用され得、すなわち、各フィルタのオンセット時間遅延、または両耳間時間差による左ＨＲフィルタと右ＨＲフィルタとの間の遅延差を除外する。上記で説明された方法は、等価な様式で、（たとえば、ＷＯ２０２１／０７４２９４において説明されるように）Ｂスプライン基底関数によって同様の様式でモデル化されている両耳間時間差を評価するために、利用され得る。そのような場合、単一のＩＴＤが決定され、すなわち、フィルタタップの数がＫ≫１であるＨＲフィルタに反して、Ｋ＝１である。次いで、得られた両耳間時間差は、生成されたＨＲフィルタ（

）の修正によって、あるいはフィルタ処理ステップ中にオフセットを適用することによって時間差を考慮に入れることによってのいずれかで、考慮に入れられ得る。

別個の重み行列

を使用するが、同一の基底関数、すなわち同一の

を使用して、それぞれ、左側および右側のためにＨＲフィルタ

が生成される。したがって、

は、更新された方向（θ，φ）ごとに１回のみ評価される。

次いで、（たとえば、よく知られている技法を使用することによって）それぞれ左ＨＲフィルタおよび右ＨＲフィルタを用いてオーディオソース信号をフィルタ処理することによって、モノソースｕ（ｎ）のためのバイノーラルオーディオ信号が取得され得る。フィルタ処理は、時間領域において通常の畳み込み技法を使用して、またはより最適化された様式で、たとえば、フィルタが長いとき、離散フーリエ変換（ＤＦＴ）領域においてオーバーラップ加算技法を用いて、行われ得る。Ｋ＝９６個のタップは、４８ｋＨｚサンプルレートの場合、２ｍｓフィルタに対応する。

本開示の実施形態は、最適化の２つの主要なカテゴリー、あらかじめ計算されたサンプリングされた基底関数と構造化されたＨＲフィルタ評価と、に基づく。いくつかの実施形態では、サンプリングされた基底関数が、前処理段において、計算され、メモリに記憶される。また、構造化されたＨＲフィルタ評価は、レンダラ内でランタイムにおいて実行され得るか、またはサンプリングされたＨＲフィルタのセットとしてあらかじめ計算され、記憶され得る。高精度方位角および仰角分解能を用いてサンプリングされたＨＲフィルタセットを記憶するために必要とされるメモリは大きいので、いくつかの実施形態では、ＨＲフィルタは、ランタイム中に評価される。

図７は、いくつかの実施形態による、例示的なシステム７００を示す。システム７００は、プリプロセッサ７０２とオーディオレンダラ７０４とを備える。プリプロセッサ７０２およびオーディオレンダラ７０４は、同じエンティティ中に、または異なるエンティティ中に含まれ得る。また、プリプロセッサ７０２中に含まれる異なるモジュール（たとえば、７１０、７１２、７１４、および／または７１６）は、同じエンティティまたは異なるエンティティ中に含まれ得、オーディオレンダラ７０４中に含まれる異なるモジュール（７１８および／または７２０）は、同じエンティティまたは異なるエンティティ中に含まれ得る。

一例では、プリプロセッサ７０２は、オーディオエンコーダ、（たとえば、クラウド中の）ネットワークエンティティ、およびオーディオデコーダ（すなわち、オーディオレンダラ７０４）のいずれかの１つの中に含まれる。オーディオレンダラ７０４は、オーディオ信号を生成することが可能な任意の電子デバイス（たとえば、デスクトップ、ラップトップコンピュータ、タブレット、モバイルフォン、ヘッドマウントディスプレイ、ＸＲシミュレーションシステムなど）中に含まれ得る。

プリプロセッサ７０２は、ＨＲフィルタモデル設計モジュール７１０と、ＨＲフィルタモデル化モジュール７１２と、基底関数サンプリングモジュール７１４と、メモリ７１６とを含む。ＨＲフィルタモデル設計モジュール７１０は、ＨＲフィルタモデル化モジュール７１２のほうへ設計データ７２０を出力するように設定される。ＨＲフィルタモデル化モジュール７１２は、ＨＲフィルタデータ７２２を受信し、受信された設計データ７２０および受信されたＨＲフィルタデータ７２２に基づいて、ＨＲフィルタモデルを取得し得る。いくつかの実施形態では、ＨＲフィルタモデルは、上記で説明されたプロパティ（１）および（２）（ａ）～（２）（ｄ）に従って設計される。

ＨＲフィルタモデルを取得することは、ある基底関数構造を選択すること、すなわち、方位角のための基底関数（「方位角基底関数」）のセットおよび／または仰角のための基底関数（「仰角基底関数」）のセットを選択することを含み得る。方位角基底関数は、モデル化範囲（たとえば、０°から３６０°の間）にわたって周期的であるように選択され得る。モデル化範囲は、ノットポイントによって画定された、Ｎ^ｓｅｇ個の等しいサイズのセグメントに分割され得る。基底関数は、少なくとも１つの基底関数が１つまたは複数のセグメントにおいて０値であるように選択され得る。また、基底関数は、多くともＮ_ｂ＜｛Ｐ，Ｑ_ｐ｝個の基底関数が、セグメントｉ内で非０である（すなわち、多くとも（Ｐよりも小さい）

個の仰角基底関数が非０であり、および／または多くとも（Ｑ_ｐよりも小さい）

個の方位角基底関数が非０である）ように選択され得、ここで、Ｐは、仰角基底関数の総数であり、Ｑ_ｐは、仰角ｐのための方位角基底関数の総数である。さらに、基底関数（方位角基底関数および／または仰角基底関数）は、本開示で説明される最適化技法を利用するために、いくつかの基底関数の非０部分が、他の基底関数の非０部分の対称的、ミラー、または、サブサンプリングされたバージョンであるように選択され得る。

ＨＲフィルタモデルを取得した後に、ＨＲフィルタモデル化モジュール７１２は、基底関数サンプリングモジュール７１４にＨＲフィルタモデルデータ７２４を出力する。ＨＲフィルタモデルデータ７２４は、取得されたＨＲフィルタモデル（すなわち、選択された基底関数構造）を示し得る。受信されたＨＲフィルタモデルデータ７２４に基づいて、基底関数サンプリングモジュール７１４は、間隔ΔΦ（方位角基底関数の場合）およびΔΘ（仰角基底関数の場合）において基底関数をサンプリングし、方位角基底関数および／または仰角基底関数の（非０部分の）コンパクトな表現を取得し得る。基底関数を表現するために基底関数のすべての部分が必要とされるとは限らないので、基底関数のコンパクトな表現が取得され得る。たとえば、基底関数の対称的な非０部分の場合、形状を表現するために基底関数の形状の１／２のみが必要とされる。基底関数のミラーまたは反転された非０部分の場合、基底関数の形状を表現するためにミラー部分のうちの１つのみが必要とされる。基底関数のサブサンプリングされた非０部分の場合、基底関数の形状を表現するために最も大きい形状のみが必要とされる。

基底関数のコンパクトな表現を取得した後、基底関数サンプリングモジュール７１４は、基底関数形状データ７２８と形状メタデータ７３０とをメモリ７１６に記憶し得る。基底関数形状データ７２８は、基底関数のコンパクトな表現の形状を示し得る。形状メタデータ７３０は、ＨＲフィルタモデル基底関数に関してコンパクトな表現の構造に関する情報を含み得る。たとえば、形状メタデータ７３０は、モデル基底関数に関して形状、配向（ｏｒｉｅｎｔａｔｉｏｎ）（たとえば、反転されるか否か）、およびサブサンプリングファクタＭに関する情報を含み得る。形状メタデータ７３０に関する詳細な情報が、上記で本開示のセクション３．３において提供された。

基底関数形状データ７２８および形状メタデータ７３０に加えて、メモリ７１６は、追加のＨＲフィルタモデルパラメータ７２６（たとえば、αパラメータ）をも記憶し得る。

オーディオレンダラ７０４は、構造化ＨＲフィルタ生成器７１８とバイノーラルレンダラ７２０とを含む。構造化ＨＲフィルタ生成器７１８は、メモリ７１６から基底関数形状データ７３２と形状メタデータ７３４と（１つまたは複数の）追加のＨＲフィルタモデルパラメータ７３６とを読み取り、レンダリングメタデータ７３８を受信する。基底関数形状データ７３２は、基底関数形状データ７２８と同じであるかまたはそれに関係し得る。同様に、形状メタデータ７３４および（１つまたは複数の）モデルパラメータ７３６は、それぞれ、形状メタデータ７３０および（１つまたは複数の）モデルパラメータ７２６と同じであるかまたはそれに関係し得る。

構造化ＨＲフィルタ生成器７１８は、（ｉ）基底関数形状データ７３２、（ｉｉ）形状メタデータ７３４、（ｉｉｉ）（１つまたは複数の）追加のＨＲフィルタモデルパラメータ７３６、および（ｉｖ）レンダリングメタデータ７３８に基づいて、ＨＲフィルタを示すＨＲフィルタ情報７４０を生成し得る。レンダリングメタデータ７３８は、評価されるべき方向（θ，φ）を規定し得る。

図８は、いくつかの実施形態による、例示的なプロセス８００を示す。プロセス８００は、オーディオレンダラ７０４中に含まれる構造化ＨＲフィルタ生成器７１８によって実施され得る。

プロセス８００は、ステップｓ８０２から始まり得る。ステップｓ８０２において、構造化ＨＲフィルタ生成器７１８は、受信されたレンダリングメタデータ７３８に基づいて、モデル化範囲中のセグメントを識別する。たとえば、レンダリングメタデータ７３８は、評価されるべき特定の方向（θ，φ）を規定し、生成器７１８は、規定された方向が属するセグメントを識別する。

ステップｓ８０２を実施した後に、ステップｓ８０４において、構造化ＨＲフィルタ生成器７１８は、ステップｓ８０２において識別されたセグメント内のサンプルポイントを識別する。

ステップｓ８０４を実施した後に、ステップｓ８０６において、生成器７１８は、基底関数形状データ７３２に基づいて、基底関数（すなわち、方位角基底関数および仰角基底関数）のコンパクトな表現を識別する。

ステップｓ８０６を実施した後に、ステップｓ８０８において、生成器７１８は、形状メタデータ７３４に基づいて、識別されたコンパクトな表現が、通常通り読み取られるべきなのか、反転されるべきなのか、サブサンプリングファクタＭに従ってサブサンプリングされるべきなのかを決定し、必要な場合、反転および／またはサブサンプリングを実施する。

ステップｓ８０８を実施した後に、ステップｓ８１０において、生成器７１８は、多くともＮ_ｂ個の基底関数を評価する。そのような評価は、識別されたセグメントのための多くともＮ_ｂ個の非０基底関数のコンパクトな表現の各々内のサンプル値を取得することを含む。基底関数がどのように評価されるかに関する詳細な説明が、上記のセクション４．１および４．２において提供された。

ステップｓ８１０を実施した後に、ステップｓ８１２において、（ｉ）取得された方位角基底関数値、（ｉｉ）取得された仰角基底関数値、および（ｉｉｉ）（１つまたは複数の）追加のモデルパラメータ７３６（たとえば、パラメータα）に基づいて、構造化ＨＲフィルタ生成器７１８は、ＨＲフィルタを生成する。ＨＲフィルタは、別々に、各フィルタタップｋのために対応するモデル重みパラメータ（α）によって重み付けされた方位角基底関数値と仰角基底関数値との乗算された値の和として生成され得る。ＨＲフィルタがどのように生成されるかに関する詳細な説明が、上記でセクション４．３において提供された。

構造化ＨＲフィルタ生成器７１８によって生成された（左側および右側のための）ＨＲフィルタは、その後、バイノーラルレンダラ７２０に提供される。

生成器７１８によって生成されたＨＲフィルタを使用して、バイノーラルレンダラ７２０は、オーディオ信号７４２をバイノーラル化する（ｂｉｎａｕｒａｌｉｚｅ）、すなわち（左側および右側のための）２つのオーディオ出力信号を生成する。

図９は、ＸＲシーンのための音を作り出すための例示的なシステム９００を示す。システム９００は、コントローラ９０１と、第１のオーディオストリーム９５１のための信号修正器９０２と、第２のオーディオストリーム９５２のための信号修正器９０３と、第１のオーディオストリーム９５１のためのスピーカー９０４と、第２のオーディオストリーム９５２のためのスピーカー９０５とを含む。２つのオーディオストリームと、２つの修正器と、２つのスピーカーとが図９に示されているが、これは、単に説明の目的であり、いかなる形でも本開示の実施形態を限定しない。たとえば、いくつかの実施形態では、レンダリングされるべきＮ個のオーディオオブジェクトに対応するＮ個のオーディオストリームがあり得、そのオーディオストリームは、単一のオーディオオブジェクトに対応する単一のモノ信号を含む。さらに、図９は、システム９００が、第１のオーディオストリーム９５１と第２のオーディオストリーム９５２とを別々に受信および修正することを示すが、システム９００は、複数のオーディオストリームを表現する単一のオーディオストリームを受信し得る。第１のオーディオストリーム９５１と第２のオーディオストリーム９５２とは、同じであるかまたは異なり得る。第１のオーディオストリーム９５１と第２のオーディオストリーム９５２とが同じである場合、単一のオーディオストリームが、単一のオーディオストリームと同等である２つのオーディオストリームにスプリットされ、それにより、第１のオーディオストリーム９５１と第２のオーディオストリーム９５２とを生成し得る。

コントローラ９０１は、１つまたは複数のパラメータを受信し、受信されたパラメータに基づいて第１のオーディオストリーム９５１および第２のオーディオストリーム９５２に対する修正を実施する（たとえば、利得関数に従ってボリュームレベルを増加または減少させる）ように修正器９０２および９０３をトリガするように設定され得る。受信されたパラメータは、（１）傾聴者の位置に関する情報９５３（たとえば、オーディオソースへの距離および方向）、および（２）オーディオソースに関するメタデータ９５４である。情報９５３は、図７に示されているレンダリングメタデータ７３８と同じ情報を含み得る。同様に、メタデータ９５４は、図７に示されている形状メタデータ７３４と同じ情報を含み得る。

本開示のいくつかの実施形態では、情報９５３は、図１０Ａに示されているＸＲシステム１０００中に含まれる１つまたは複数のセンサーから提供され得る。図１０Ａに示されているように、ＸＲシステム１０００は、ユーザによって装着されるように設定される。図１０Ｂに示されているように、ＸＲシステム１０００は、配向検知ユニット１００１と、位置検知ユニット１００２と、システム１０００のコントローラ１００１に結合された処理ユニット１００３とを備え得る。配向検知ユニット１００１は、傾聴者の配向の変化を検出し、検出された変化に関する情報を処理ユニット１００３に提供するように設定される。いくつかの実施形態では、処理ユニット１００３は、配向検知ユニット１００１によって検出された配向の検出された変化を前提として、（何らかの座標系に関する）絶対配向を決定する。配向および位置の決定のための異なるシステム、たとえば、ｌｉｇｈｔｈｏｕｓｅトラッカー（ｌｉｄａｒ）を使用するＨＴＣ Ｖｉｖｅシステムもあり得る。一実施形態では、配向検知ユニット１００１は、配向の検出された変化を前提として、（何らかの座標系に関する）絶対配向を決定し得る。この場合、処理ユニット１００３は、単に、配向検知ユニット１００１からの絶対配向データと位置検知ユニット１００２からの絶対位置データとを多重化し得る。いくつかの実施形態では、配向検知ユニット１００１は、１つまたは複数の加速度計および／または１つまたは複数のジャイロスコープを備え得る。図１０Ａおよび図１０Ｂに示されているＸＲシステム１０００のタイプおよび／またはＸＲシステム１０００の構成要素は、単に説明の目的で提供され、いかなる形でも本開示の実施形態を限定しない。たとえば、ユーザの眼を覆うヘッドマウントディスプレイを含むＸＲシステム１０００が示されているが、システムは、たとえば、オーディオのみの実装形態の場合、そのようなディスプレイを装備しないことがある。

図１１は、オーディオレンダリングのためにＨＲフィルタを生成するためのプロセス１１００を示すフローチャートである。プロセス１１００は、ステップｓ１１０２から始まり得る。

ステップｓ１１０２は、ＨＲフィルタモデルを示すＨＲフィルタモデルデータを生成することを含む。ＨＲフィルタモデルデータを生成することは、１つまたは複数の基底関数の少なくとも１つのセットを選択することを含み得る。

ステップｓ１１０４は、生成されたＨＲフィルタモデルデータに基づいて、前記１つまたは複数の基底関数をサンプリングすること（ｓ１１０４）を含む。

ステップｓ１１０６は、生成されたＨＲフィルタモデルデータに基づいて、第１の基底関数形状データと形状メタデータとを生成することを含む。第１の基底関数形状データは、前記１つまたは複数の基底関数の１つまたは複数のコンパクトな表現を識別し、形状メタデータは、前記１つまたは複数の基底関数に関する前記１つまたは複数のコンパクトな表現の構造に関する情報を含む。

ステップｓ１１０８は、１つまたは複数の記憶媒体に記憶するために、生成された第１の基底関数形状データと形状メタデータとを提供することを含む。

ステップｓ１１１０は、トリガリングイベントの発生を検出することを含む。

ステップｓ１１１２は、トリガリングイベントの発生を検出したことの結果として、オーディオレンダリングのために第２の基底関数形状データと形状メタデータとを出力することを含む。

そのようなトリガリングイベントは、オーディオレンダリングのために頭部関係（ＨＲ）フィルタが生成されるべきであることを示し得、これは、たとえば、オーディオのフレームをレンダリングするために、または後で使用するためにメモリに記憶される頭部関係（ＨＲ）フィルタの生成によってレンダリングを準備するために、頭部関係（ＨＲ）フィルタが要求されるとき、オーディオレンダラから誘起され得る。いくつかの実施形態では、トリガリングイベントは、１つまたは複数の記憶媒体から基底関数形状データおよび／または形状メタデータを取り出すという判断にすぎない。

いくつかの実施形態では、１つまたは複数の基底関数の前記少なくとも１つのセットは、以下の条件、
（ｉ） １つまたは複数の基底関数の前記少なくとも１つのセットが、モデル化範囲にわたって周期的である、
（ｉｉ） 前記少なくとも１つのセット中に含まれる少なくとも１つの基底関数が、モデル化範囲中に含まれる１つまたは複数のセグメントにおいて０値である、
（ｉｉｉ） 前記少なくとも１つのセット中に含まれる多くともＮ個の基底関数が、モデル化範囲中に含まれるセグメントにおいて非０であり、Ｎが、正の整数であり、前記少なくとも１つのセット中に含まれる基底関数の総数よりも小さい、および
（ｉｖ） 前記１つまたは複数の基底関数の少なくとも１つの非０部分が、（１）前記１つまたは複数の基底関数の別の非０部分に対して対称的またはミラー、あるいは（２）前記１つまたは複数の基底関数の別の非０部分のサブサンプリングされたバージョンのいずれか１つまたは組合せである
のいずれか１つまたは組合せが満たされるように選択される。

いくつかの実施形態では、前記１つまたは複数の基底関数のコンパクトな表現は、前記１つまたは複数の基底関数の非０部分の形状を示し、前記１つまたは複数の基底関数の前記非０部分の形状は、前記１つまたは複数の基底関数の別の非０部分の形状に対して対称的またはミラーである。

いくつかの実施形態では、形状メタデータは、以下の情報、
（ｉ） 基底関数の数と、
（ｉｉ） 各基底関数の開始ポイントと、
（ｉｉｉ） オーディオレンダリングのために使用すべき特定の形状を各々識別する、１つまたは複数の形状インデックスと、
（ｉｖ） １つまたは複数の基底関数のための形状リサンプリングファクタと、
（ｖ） １つまたは複数の基底関数のための反転インジケータであって、反転インジケータが、前記１つまたは複数の記憶媒体に記憶された前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の反転されたバージョンを取得すべきかどうかを示す、１つまたは複数の基底関数のための反転インジケータと、
（ｖｉ） 基底関数構造と、
（ｖｉｉ） 各基底関数の非０部分の幅と
のいずれか１つまたは組合せを備える。

いくつかの実施形態では、方法は、前記１つまたは複数の記憶媒体に記憶するために追加のＨＲフィルタモデルパラメータを提供することをさらに含む。

いくつかの実施形態では、方法は、オーディオレンダリングをトリガするイベントの発生より前にプリプロセッサによって実施される。

いくつかの実施形態では、方法は、オーディオレンダラとは別個で個別のネットワークエンティティ中に含まれるプリプロセッサによって実施される。

いくつかの実施形態では、第２の基底関数形状データと形状メタデータとは、ＨＲフィルタを生成するために使用される。

いくつかの実施形態では、第１の基底関数形状データと第２の基底関数形状データとは同じである。

いくつかの実施形態では、第２の基底関数形状データは、前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現のコンバートされたバージョンを識別し、前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現のコンバートされたバージョンは、前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の対称的またはミラーバージョンおよび／あるいはサブサンプリングされたバージョンである。

図１２は、オーディオレンダリングのためにＨＲフィルタを生成するためのプロセス１２００を示すフローチャートである。プロセス１２００は、ステップｓ１２０２から始まり得る。

ステップｓ１２０２は、１つまたは複数の基底関数の１つまたは複数のコンパクトな表現のコンバートされたバージョンを取得すべきかどうかを示す形状メタデータを取得することを含む。

ステップｓ１２０４は、（ｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現または（ｉｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現のコンバートされたバージョンを識別する、基底関数形状データを取得することを含む。

ステップｓ１２０６は、取得された形状メタデータと取得された基底関数形状データとに基づいて、（ｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現または（ｉｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現のコンバートされたバージョンを使用することによって、ＨＲフィルタを生成することを含む。

いくつかの実施形態では、方法は、前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現のコンバートされたバージョンをどのように取得すべきかを示す形状メタデータを取得した後に、記憶媒体から前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現に対応するデータを取得することをさらに含む。データは、前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現のコンバートされたバージョンが取得されるようにあらかじめ規定された様式で取得される。

いくつかの実施形態では、方法は、前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現を識別するデータを受信することと、別の記憶媒体に記憶するために、受信されたデータを提供することとを含む。前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現のコンバートされたバージョンを識別する基底関数形状データを取得することは、前記別の記憶媒体からあらかじめ規定された様式で、記憶された受信されたデータを読み取ることを含む。

いくつかの実施形態では、前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現のコンバートされたバージョンは、前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の対称的またはミラーバージョンおよび／あるいはサブサンプリングされたバージョンである。

いくつかの実施形態では、あらかじめ規定された様式でデータを取得することは、（ｉ）あらかじめ規定されたシーケンスでデータを取得すること、および／または（ｉｉ）部分的にデータを取得することを含む。

いくつかの実施形態では、前記１つまたは複数の基底関数のコンパクトな表現のコンバートされたバージョンは、前記１つまたは複数の基底関数のコンパクトな表現の対称的またはミラーバージョンおよび／あるいはサブサンプリングされたバージョンである。

いくつかの実施形態では、方法は、評価されるべき特定の方向またはロケーションを示すレンダリングメタデータを取得することと、取得されたレンダリングメタデータに基づいて、評価されるべき特定の方向またはロケーションに関係するサンプルポイントを識別することとをさらに含む。

いくつかの実施形態では、前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現は、前記１つまたは複数の基底関数の非０部分の形状を示し、前記１つまたは複数の基底関数の前記非０部分の形状は、前記１つまたは複数の基底関数の別の非０部分の形状に対して対称的またはミラーである。

いくつかの実施形態では、前記形状メタデータは、以下の情報、（ｉ）基底関数の数と、（ｉｉ）各基底関数の開始ポイントと、（ｉｉｉ）ＨＲフィルタ生成のために使用すべき特定の形状を各々識別する、１つまたは複数の形状インデックスと、（ｉｖ）１つまたは複数の基底関数のための形状リサンプリングファクタと、（ｖ）１つまたは複数の基底関数のための反転インジケータであって、反転インジケータが、記憶媒体に記憶された前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の反転されたバージョンを取得すべきかどうかを示す、１つまたは複数の基底関数のための反転インジケータと、（ｖｉ）基底関数構造と、（ｖｉｉ）各基底関数の非０部分の幅とのいずれか１つまたは組合せを備える。

いくつかの実施形態では、方法は、オーディオ信号を取得することと、生成されたＨＲフィルタを使用して、左側のための左オーディオ信号と右側のための右オーディオ信号とを生成するために、取得されたオーディオ信号をフィルタ処理することとをさらに含む。左オーディオ信号と右オーディオ信号とは、レンダリングメタデータによって示された特定の方向および／またはロケーションに関連付けられる。

図１３は、図７に示されているプリプロセッサ７０２またはオーディオレンダラ７０４を実装するための、いくつかの実施形態による、装置１３００のブロック図である。図１３に示されているように、装置１３００は、１つまたは複数のプロセッサ（Ｐ）１３５５（たとえば、汎用マイクロプロセッサ、および／または、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など、１つまたは複数の他のプロセッサなど）を含み得る処理回路（ＰＣ）１３０２であって、そのプロセッサが、単一のハウジングにおいてまたは単一のデータセンタにおいて共同サイト式であり得るかあるいは地理的に分散され得る（すなわち、装置１３００が分散コンピューティング装置であり得る）、処理回路（ＰＣ）１３０２と、少なくとも１つのネットワークインターフェース１３４８であって、各ネットワークインターフェース１３４８は、装置１３００が、ネットワークインターフェース１３４８が（直接または間接的に）接続されるネットワーク１１０（たとえば、インターネットプロトコル（ＩＰ）ネットワーク）に接続された他のノードにデータを送信し、他のノードからデータを受信することを可能にするための送信機（Ｔｘ）１３４５および受信機（Ｒｘ）１３４７を備える（たとえば、ネットワークインターフェース１３４８はネットワーク１１０に無線で接続され得、その場合、ネットワークインターフェース１３４８はアンテナ構成に接続される）、少なくとも１つのネットワークインターフェース１３４８と、１つまたは複数の不揮発性記憶デバイスおよび／または１つまたは複数の揮発性記憶デバイスを含み得る１つまたは複数の記憶ユニット（別名「データ記憶システム」）１３０８とを備え得る。ＰＣ１３０２がプログラマブルプロセッサを含む実施形態では、コンピュータプログラム製品（ＣＰＰ）１３４１が提供され得る。ＣＰＰ１３４１はコンピュータ可読媒体（ＣＲＭ）１３４２を含み、ＣＲＭ１３４２は、コンピュータ可読命令（ＣＲＩ）１３４４を備えるコンピュータプログラム（ＣＰ）１３４３を記憶する。ＣＲＭ１３４２は、磁気媒体（たとえば、ハードディスク）、光媒体、メモリデバイス（たとえば、ランダムアクセスメモリ、フラッシュメモリ）など、非一時的コンピュータ可読媒体であり得る。いくつかの実施形態では、コンピュータプログラム１３４３のＣＲＩ１３４４は、ＰＣ１３０２によって実行されたとき、ＣＲＩが、装置１３００に、本明細書で説明されるステップ（たとえば、フローチャートを参照しながら本明細書で説明されるステップ）を実施させるように設定される。他の実施形態では、装置１３００は、コードの必要なしに本明細書で説明されるステップを実施するように設定され得る。すなわち、たとえば、ＰＣ１３０２は、単に１つまたは複数のＡＳＩＣからなり得る。したがって、本明細書で説明される実施形態の特徴は、ハードウェアおよび／またはソフトウェアで実装され得る。

様々な実施形態が本明細書で説明されたが、それらの実施形態は、限定ではなく、例として提示されたにすぎないことを理解されたい。したがって、本開示の広さおよび範囲は、上記で説明された例示的な実施形態のいずれによっても限定されるべきでない。その上、本明細書で別段に示されていない限り、またはコンテキストによって明確に否定されていない限り、上記で説明されたエレメントのそれらのすべての考えられる変形形態における任意の組合せが、本開示によって包含される。

さらに、上記で説明され、図面に示されたプロセスおよびメッセージフローは、ステップのシーケンスとして示されたが、これは、説明のためにのみ行われた。したがって、いくつかのステップが追加され得、いくつかのステップが省略され得、ステップの順序が並べ替えられ得、いくつかのステップが並行して実施され得ることが企図される。

６．略語

Claims (30)

1. オーディオレンダリングのために頭部関係（ＨＲ）フィルタを生成するための方法（１１００）であって、前記方法は、
   ＨＲフィルタモデルを示すＨＲフィルタモデルデータを生成すること（ｓ１１０２）であって、前記ＨＲフィルタモデルデータを生成することが、１つまたは複数の基底関数の少なくとも１つのセットを選択することを含む、ＨＲフィルタモデルデータを生成すること（ｓ１１０２）と、
   前記生成されたＨＲフィルタモデルデータに基づいて、（ｉ）前記１つまたは複数の基底関数をサンプリングすること（ｓ１１０４）と、（ｉｉ）第１の基底関数形状データと形状メタデータとを生成すること（ｓ１１０６）であって、前記第１の基底関数形状データが、前記１つまたは複数の基底関数の１つまたは複数のコンパクトな表現を識別し、前記形状メタデータが、前記１つまたは複数の基底関数に関する前記１つまたは複数のコンパクトな表現の構造に関する情報を含む、第１の基底関数形状データと形状メタデータとを生成すること（ｓ１１０６）と、
   １つまたは複数の記憶媒体に記憶するために、前記生成された第１の基底関数形状データと前記形状メタデータとを提供すること（ｓ１１０８）と
   を含む、方法（１１００）。
2. 前記方法が、
   トリガリングイベントの発生を検出すること（ｓ１１１０）と、
   前記トリガリングイベントの前記発生を検出したことの結果として、前記オーディオレンダリングのために第２の基底関数形状データと前記形状メタデータとを出力すること（ｓ１１１２）と
   をさらに含む、請求項１に記載の方法。
3. １つまたは複数の基底関数の前記少なくとも１つのセットは、以下の条件、
   （ｉ）１つまたは複数の基底関数の前記少なくとも１つのセットが、モデル化範囲にわたって周期的である、
   （ｉｉ）前記少なくとも１つのセット中に含まれる少なくとも１つの基底関数が、前記モデル化範囲中に含まれる１つまたは複数のセグメントにおいて０値である、
   （ｉｉｉ）前記少なくとも１つのセット中に含まれる多くともＮ個の基底関数が、前記モデル化範囲中に含まれるセグメントにおいて非０であり、Ｎが、正の整数であり、前記少なくとも１つのセット中に含まれる基底関数の総数よりも小さい、および
   （ｉｖ）前記１つまたは複数の基底関数の少なくとも１つの非０部分が、（１）前記１つまたは複数の基底関数の別の非０部分に対して対称的またはミラー、あるいは（２）前記１つまたは複数の基底関数の別の非０部分のサブサンプリングされたバージョンのいずれか１つまたは組合せである
   のいずれか１つまたは組合せが満たされるように選択される、請求項１または２に記載の方法。
4. 前記１つまたは複数の基底関数の前記コンパクトな表現が、前記１つまたは複数の基底関数の非０部分の形状を示し、
   前記１つまたは複数の基底関数の前記非０部分の前記形状が、前記１つまたは複数の基底関数の別の非０部分の形状に対して対称的またはミラーである、
   請求項１から３のいずれか一項に記載の方法。
5. 前記形状メタデータは、以下の情報、
   （ｉ）基底関数の数と、
   （ｉｉ）各基底関数の開始ポイントと、
   （ｉｉｉ）オーディオレンダリングのために使用すべき特定の形状を各々識別する、１つまたは複数の形状インデックスと、
   （ｉｖ）１つまたは複数の基底関数のための形状リサンプリングファクタと、
   （ｖ）１つまたは複数の基底関数のための反転インジケータであって、前記反転インジケータが、前記１つまたは複数の記憶媒体に記憶された前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の反転されたバージョンを取得すべきかどうかを示す、１つまたは複数の基底関数のための反転インジケータと、
   （ｖｉ）基底関数構造と、
   （ｖｉｉ）各基底関数の非０部分の幅と
   のいずれか１つまたは組合せを備える、請求項１から４のいずれか一項に記載の方法。
6. 前記１つまたは複数の記憶媒体に記憶するために追加のＨＲフィルタモデルパラメータを提供すること
   をさらに含む、請求項１から５のいずれか一項に記載の方法。
7. 前記方法が、前記オーディオレンダリングをトリガするイベントの発生より前にプリプロセッサによって実施される、請求項１から６のいずれか一項に記載の方法。
8. 前記方法が、オーディオレンダラとは別個で個別のネットワークエンティティ中に含まれるプリプロセッサによって実施される、請求項１から７のいずれか一項に記載の方法。
9. 前記第２の基底関数形状データと前記形状メタデータとが、前記ＨＲフィルタを生成するために使用される、請求項１から８のいずれか一項に記載の方法。
10. 前記第１の基底関数形状データと前記第２の基底関数形状データとが同じである、請求項１から９のいずれか一項に記載の方法。
11. 前記第２の基底関数形状データが、前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現のコンバートされたバージョンを識別し、
    前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の前記コンバートされたバージョンが、前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の対称的またはミラーバージョンおよび／あるいはサブサンプリングされたバージョンである、
    請求項１から９のいずれか一項に記載の方法。
12. オーディオレンダリングのために頭部関係（ＨＲ）フィルタを生成するための方法（１２００）であって、前記方法が、
    １つまたは複数の基底関数の１つまたは複数のコンパクトな表現のコンバートされたバージョンを取得すべきかどうかを示す形状メタデータを取得すること（ｓ１２０２）と、
    （ｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現または（ｉｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の前記コンバートされたバージョンを識別する、基底関数形状データを取得すること（ｓ１２０４）と、
    前記取得された形状メタデータと前記取得された基底関数形状データとに基づいて、（ｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現または（ｉｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の前記コンバートされたバージョンを使用することによって、前記ＨＲフィルタを生成すること（ｓ１２０６）と
    を含む、方法（１２００）。
13. 前記方法が、
    前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の前記コンバートされたバージョンをどのように取得すべきかを示す前記形状メタデータを取得した後に、記憶媒体から前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現に対応するデータを取得すること
    をさらに含み、
    前記データが、前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の前記コンバートされたバージョンが取得されるようにあらかじめ規定された様式で取得される、
    請求項１２に記載の方法。
14. 前記方法が、
    前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現を識別するデータを受信することと、
    記憶媒体に記憶するために、前記受信されたデータを提供することと
    を含み、
    前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の前記コンバートされたバージョンを識別する基底関数形状データを取得することが、前記記憶媒体からあらかじめ規定された様式で、前記記憶されたデータを読み取ることを含む、
    請求項１２に記載の方法。
15. 前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の前記コンバートされたバージョンが、前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の対称的またはミラーバージョンおよび／あるいはサブサンプリングされたバージョンである、
    請求項１２から１４のいずれか一項に記載の方法。
16. 前記あらかじめ規定された様式で前記データを取得することが、（ｉ）あらかじめ規定されたシーケンスで前記データを取得すること、および／または（ｉｉ）部分的に前記データを取得することを含む、請求項１３から１５のいずれか一項に記載の方法。
17. 前記方法が、
    評価されるべき特定の方向またはロケーションを示すレンダリングメタデータを取得することと、
    前記取得されたレンダリングメタデータに基づいて、評価されるべき前記特定の方向またはロケーションに関係するサンプルポイントを識別することと
    をさらに含む、請求項１２から１６のいずれか一項に記載の方法。
18. 前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現が、前記１つまたは複数の基底関数の非０部分の形状を示し、
    前記１つまたは複数の基底関数の前記非０部分の前記形状が、前記１つまたは複数の基底関数の別の非０部分の形状に対して対称的またはミラーである、
    請求項１２から１７のいずれか一項に記載の方法。
19. 前記形状メタデータは、以下の情報、
    （ｉ）基底関数の数と、
    （ｉｉ）各基底関数の開始ポイントと、
    （ｉｉｉ）ＨＲフィルタ生成のために使用すべき特定の形状を各々識別する、１つまたは複数の形状インデックスと、
    （ｉｖ）１つまたは複数の基底関数のための形状リサンプリングファクタと、
    （ｖ）１つまたは複数の基底関数のための反転インジケータであって、前記反転インジケータが、前記記憶媒体に記憶された前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の反転されたバージョンを取得すべきかどうかを示す、１つまたは複数の基底関数のための反転インジケータと、
    （ｖｉ）基底関数構造と、
    （ｖｉｉ）各基底関数の非０部分の幅と
    のいずれか１つまたは組合せを備える、請求項１２から１８のいずれか一項に記載の方法。
20. 前記方法が、
    オーディオ信号を取得することと、
    前記生成されたＨＲフィルタを使用して、左側のための左オーディオ信号と右側のための右オーディオ信号とを生成するために、前記取得されたオーディオ信号をフィルタ処理することと
    をさらに含み、
    前記左オーディオ信号と前記右オーディオ信号とが、前記レンダリングメタデータによって示された前記特定の方向および／またはロケーションに関連付けられる、
    請求項１２から１９のいずれか一項に記載の方法。
21. 処理回路（１３０２）によって実行されたとき、前記処理回路に、請求項１から２０のいずれか一項に記載の方法を実施させる命令を備える、コンピュータプログラム（１３４３）。
22. 請求項２１に記載のコンピュータプログラムを含んでいるキャリアであって、前記キャリアが、電子信号、光信号、無線信号、またはコンピュータ可読記憶媒体（１３４２）のうちの１つである、キャリア。
23. オーディオレンダリングのために頭部関係（ＨＲ）フィルタを生成するための装置（１３００）であって、前記装置は、
    ＨＲフィルタモデルを示すＨＲフィルタモデルデータを生成すること（ｓ１１０２）であって、前記ＨＲフィルタモデルデータを生成することが、１つまたは複数の基底関数の少なくとも１つのセットを選択することを含む、ＨＲフィルタモデルデータを生成すること（ｓ１１０２）と、
    前記生成されたＨＲフィルタモデルデータに基づいて、（ｉ）前記１つまたは複数の基底関数をサンプリングすること（ｓ１１０４）と、（ｉｉ）第１の基底関数形状データと形状メタデータとを生成すること（ｓ１１０６）であって、前記第１の基底関数形状データが、前記１つまたは複数の基底関数の１つまたは複数のコンパクトな表現を識別し、前記形状メタデータが、前記１つまたは複数の基底関数に関する前記１つまたは複数のコンパクトな表現の構造に関する情報を含む、第１の基底関数形状データと形状メタデータとを生成すること（ｓ１１０６）と、
    １つまたは複数の記憶媒体中に記憶するために、前記生成された第１の基底関数形状データと前記形状メタデータとを提供すること（ｓ１１０８）と
    を行うように設定された、装置（１３００）。
24. 前記装置が、請求項２から１１のいずれか一項に記載の方法を実施するようにさらに設定された、請求項２３に記載の装置。
25. オーディオレンダリングのために頭部関係（ＨＲ）フィルタを生成するための装置（１３００）であって、前記装置が、
    １つまたは複数の基底関数の１つまたは複数のコンパクトな表現のコンバートされたバージョンを取得すべきかどうかを示す形状メタデータを取得すること（ｓ１２０２）と、
    （ｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現または（ｉｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の前記コンバートされたバージョンを識別する、基底関数形状データを取得すること（ｓ１２０４）と、
    前記取得された形状メタデータと前記取得された基底関数形状データとに基づいて、（ｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現または（ｉｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の前記コンバートされたバージョンを使用することによって、前記ＨＲフィルタを生成すること（ｓ１２０６）と
    を行うように設定された、装置（１３００）。
26. 前記装置が、請求項１３から２０のいずれか一項に記載の方法を実施するようにさらに設定された、請求項２５に記載の装置。
27. エクステンデッドリアリティシーンにおいてオーディオオブジェクトを表現するための装置（１３００）であって、前記装置が、
    記憶ユニット（１３０８）と、
    前記記憶ユニットに結合された処理回路（１３０２）と
    を備え、前記装置が、
    ＨＲフィルタモデルを示すＨＲフィルタモデルデータを生成すること（ｓ１１０２）であって、前記ＨＲフィルタモデルデータを生成することが、１つまたは複数の基底関数の少なくとも１つのセットを選択することを含む、ＨＲフィルタモデルデータを生成すること（ｓ１１０２）と、
    前記生成されたＨＲフィルタモデルデータに基づいて、（ｉ）前記１つまたは複数の基底関数をサンプリングすること（ｓ１１０４）と、（ｉｉ）第１の基底関数形状データと形状メタデータとを生成すること（ｓ１１０６）であって、前記第１の基底関数形状データが、前記１つまたは複数の基底関数の１つまたは複数のコンパクトな表現を識別し、前記形状メタデータが、前記１つまたは複数の基底関数に関する前記１つまたは複数のコンパクトな表現の構造に関する情報を含む、第１の基底関数形状データと形状メタデータとを生成すること（ｓ１１０６）と、
    １つまたは複数の記憶媒体に記憶するために、前記生成された第１の基底関数形状データと前記形状メタデータとを提供すること（ｓ１１０８）と
    を行うように設定された、装置（１３００）。
28. 前記記憶ユニット（１３０８）が、請求項２から１１のいずれか一項に記載の方法を実施するように前記装置を設定するための命令を記憶するメモリ（１３４２）を備える、請求項２７に記載の装置。
29. エクステンデッドリアリティシーンにおいてオーディオオブジェクトを表現するための装置（１３００）であって、前記装置が、
    記憶ユニット（１３０８）と、
    前記記憶ユニットに結合された処理回路（１３０２）と
    を備え、前記装置が、
    １つまたは複数の基底関数の１つまたは複数のコンパクトな表現のコンバートされたバージョンを取得すべきかどうかを示す形状メタデータを取得すること（ｓ１２０２）と、
    （ｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現または（ｉｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の前記コンバートされたバージョンを識別する、基底関数形状データを取得すること（ｓ１２０４）と、
    前記取得された形状メタデータと前記取得された基底関数形状データとに基づいて、（ｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現または（ｉｉ）前記１つまたは複数の基底関数の前記１つまたは複数のコンパクトな表現の前記コンバートされたバージョンを使用することによって、ＨＲフィルタを生成すること（ｓ１２０６）と
    を行うように設定された、装置（１３００）。
30. 前記記憶ユニット（１３０８）が、請求項１３から２０のいずれか一項に記載の方法を実施するように前記装置を設定するための命令を記憶するメモリ（１３４２）を備える、請求項２９に記載の装置。

Images