JP6913326B2 - 適応基準を用いた頭部追跡 - Google Patents

Description

［関連出願の相互参照］
本出願は、２０１６年５月２日に出願された米国仮特許出願第６２／３３０，２６７号に基づく優先権を主張するものであり、その全体が参照により本明細書に組み入れられる。

［技術分野］
本開示の主題は、頭部追跡に関連し、より具体的には、非静的環境における頭部追跡に関連する。

ＶＲ（仮想現実）またはＡＲ（拡張現実）またはバイノーラルオーディオのレンダリングをシミュレートする際の頭部追跡の肯定的かつ不可欠な効果はよく知られた現象である。このような効果を実行するシステムにおいて、頭部追跡データは仮想オブジェクト（例えば視覚オブジェクトまたは音響オブジェクト）をユーザの頭部の動きに合わせるために用いられ、仮想オブジェクトがユーザに追従するのではなく空間内で静止しているように見えるようにする。

ユーザが歩いているとき、電車に乗っているとき等のような非静的環境において、ユーザの基準フレームは絶えず変化している。これらの状況において、固定された基準に対する頭部の動きの追跡を行うことは、問題となり、またユーザの周囲に仮想オブジェクトを誤って配置することにつながる可能性がある。

非静的環境での頭部追跡の問題点は従来技術において認識されてきており、様々な技術が解決策を提供するために発展してきた。

例えば、米国特許公報第ＵＳ２０１１／０２９３１２９号は基準方向に対してユーザの頭部の回転角度を決定する頭部追跡システムを開示しており、そのシステムはユーザの動きに依存する。ここで、ユーザの動きは例えば横たわることやリラクゼーションチェアに座ること等のような、例えば場所、位置、または姿勢の変化を含む行為または動作のプロセスとして理解されるべきである。本発明による頭部追跡システムは、頭部の動きを表す測定値を提供するために頭部の動きを測定するためのセンシングデバイスおよび測定値から基準方向に対するユーザの頭部の回転角度を導き出すためのプロセッシング回路を含む。プロセッシング回路で用いられる基準方向はユーザの動きに依存する。基準方向をユーザの動きに依存させることの利点は、環境から独立している、すなわち環境に固定されていない頭部の回転角度を決定することにある。それゆえに、ユーザが例えば移動している最中で彼の体の部分が動きを受けるときはいつでも、基準方向はこの動きに適応する。

上で挙げられた参考文献は本開示の主題に適用可能であり得る背景情報を教示する。したがって、これらの刊行物の全内容は、追加の、または代わりの詳細、特徴および／または技術的背景の適切な教示のために、適切な場合には本明細書に参照により組み入れられる。

［一般的な説明］
頭部追跡の多くの場合において、ユーザの基準フレームもまた、例えばユーザの直線運動の方向における変化に応答して、変化を受ける。例えば、飛行機内で映画を見るためのＶＲシステムにおいて、スクリーンおよびスピーカーを備えたシネマルームがあり、そこにユーザが座っているとシミュレートする。飛行機が回転したときに映画がユーザの目の前にとどまるように、シミュレートされたシネマは地球の「北」に対して安定した状態であるよりも、ユーザに対して安定したままの状態であることが望ましい。他の例では、歩行中および／または走行中にヘッドフォンを超えて仮想化されたスピーカーを用いて音楽を聴いている。この例において、仮想化されたスピーカーの位置は、ユーザが道の角を曲がるときであってもリスナーの目の前にとどまることが望ましい。

本開示の主題は、ユーザの動きに応じた頭部追跡のために用いられる基準を調整することによって非静的環境で使用するための頭部追跡の方法およびシステムを提供することを容易にする。二つまたはそれ以上の慣性測定ユニット（ＩＭＵ）または任意の他の場所および／または動きおよび／または方向データを取得するための二つまたはそれ以上のセンサが用いられ、その中でセンサのうち少なくとも一つがユーザの頭部方向の追跡のために用いられ、また少なくとももう一つのセンサが頭部の動きを追跡する基準フレームの調整が必要である可能性を示す情報を提供するために用いられる。

本開示の主題の一つの態様によると、ユーザに関連付けられた第一の頭部方向を示す頭部データを提供するように構成された頭部センサと、第二のデータを提供するように構成された一つまたは複数の第二のセンサと、頭部センサおよび一つまたは複数の第二のセンサに動作可能なように接続されたプロセッシングユニットと、を含み、また頭部センサから頭部データを受信し、一つまたは複数の第二のセンサから第二のデータを受信し、前記第二のデータに少なくとも部分的に従って変化する量だけ適応基準方向を少なくとも部分的に前記第一の頭部方向に向かって動かすことによって前記適応基準方向を適応させ、それにより新しい適応基準方向を生成し、前記第一の頭部方向および前記新しい適応基準方向に従って、前記新しい適応基準方向に対する前記第一の頭部方向としてユーザに関連付けられた第二の頭部方向を生成するように構成された、適応基準方向に対する頭部方向を提供するためのシステムが提供される。

上記の機能に加え、本開示の主題のこの態様によるシステムは、技術的に可能な任意の所望の組み合わせまたは順序において、下記に挙げられる機能（ｉ）から（ｘｉ）のうち一つまたは複数を含むことができる。
（ｉ）量が、前記第二のデータの統計的性質の変化に少なくとも部分的に従って変化する。
（ｉｉ）適応基準方向は、前記適応基準方向と前記第一の頭部方向との間を補間することにより調整量に従って適応基準方向を回転させることで適応される。補間は四元数球面線形補間（”Ｓｌｅｒｐ”）演算を用いて実行されることができる。
（ｉｉｉ）第二のデータは、第二のデータに従って一つまたは複数の測定値を算出すること、および一つまたは複数の測定値を調整量に変換することによって、調整量を算出するためまたは導き出すために用いられることができる。
（ｉｖ）一つまたは複数の測定値は、一つまたは複数の測定値のうち一つまたは複数と、一つまたは複数の各閾値とを比較することによって調整量に変換されることができる。
（ｖ）一つまたは複数の測定値は、相対安定性、相対偏差、および／または絶対偏差のうち一つまたは複数を含むことができる。
（ｖｉ）調整量は、平滑化のためにさらに処理されることができる。
（ｖｉｉｉ）調整量は、調整量の上昇時間、ホールド時間、および衰退時間のうち一つまたは複数を制御するためにさらに処理されることができる。
（ｉｘ）第二のデータは、適応基準方向の変更が必要であることを示すデータを含む。
（ｘ）第二のデータは、三次元座標系の少なくとも一次元内のユーザに関連付けられた場所、動作、方向、速度および加速度のうち少なくとも一つを示すデータを含む。
（ｘｉ）バイノーラルオーディオは、第二の頭部方向に従ってレンダリングされることができ、またユーザが装着するヘッドフォンに伝達されることができる。
（ｘｉｉ）仮想現実（ＶＲ）ビデオおよび／または拡張現実（ＡＲ）ビデオのうち少なくとも一つが、第二の頭部方向に従ってレンダリングされることができる。

本開示の主題の別の態様によると、プロセッシングユニットによって、頭部センサから頭部データを受信し、その頭部データがユーザに関連付けられた第一の頭部方向を示すことと、一つまたは複数の第二のセンサから第二のデータを受信することと、前記第二のデータに少なくとも部分的に従って変化する量だけ適応基準方向を少なくとも部分的に前記第一の頭部方向に向かって動かすことによって適応基準方向を適応させ、それにより新しい適応基準方向を生成することと、前記第一の頭部方向および前記新しい適応基準方向に従って、前記新しい適応基準方向に対する前記第一の頭部方向としてユーザに関連付けられた第二の頭部方向を生成することと、を含む、適応基準方向に対する頭部方向を提供するコンピュータ実装方法が提供される。

本開示の主題のこの態様は、技術的に可能な任意の所望の組み合わせまたは順序において、必要な変更を加えて（ｍｕｔａｔｉｓ ｍｕｔａｎｄｉｓ）、システムに関連して上記で挙げられた機能（ｉ）から（ｘｉｉ）のうち一つまたは複数を含むことができる。

本開示の主題の別の態様によると、プロセッシングユニットによって、頭部センサから頭部データを受信し、その頭部データがユーザに関連付けられた第一の頭部方向を示すことと、一つまたは複数の第二のセンサから第二のデータを受信することと、前記第二のデータに少なくとも部分的に従って変化する量だけ適応基準方向を少なくとも部分的に前記第一の頭部方向に向かって動かすことによって適応基準方向を適応させ、それにより新しい適応基準方向を生成することと、前記第一の頭部方向および前記新しい適応基準方向に従って、前記新しい適応基準方向に対する前記第一の頭部方向としてユーザに関連付けられた第二の頭部方向を生成することと、を含む、適応基準方向に対する頭部方向を提供するための方法を実行するための、コンピュータによって実行可能なコンピュータ読み取り可能な命令を有形的に実施するコンピュータによって読み取り可能な非一過性のプログラム記録デバイスが提供される。

開示の主題のこの態様は、技術的に可能な任意の所望の組み合わせまたは順序において、必要な変更を加えて（ｍｕｔａｔｉｓ ｍｕｔａｎｄｉｓ）、システムに関連して上記で挙げられた機能（ｉ）から（ｘｉｉ）のうち一つまたは複数を任意に含むことができる。

本開示の主題の技術的な利点の中には、ユーザの基準フレームがいつ変化したかを検出するために、頭部センサとは独立して動作している一つまたは複数の第二のセンサからのデータを用いることによって非静的環境において頭部追跡を実行する機能がある。

さらなる利点の中には、頭部追跡において用いるための適応基準方向を継続的に生成する機能があり、それにより非静的環境においてユーザの頭部の周辺に仮想オブジェクトを適切に配置することが可能になる。

本発明を理解するため、また実際にはどのように実行され得るのかを示すために、添付図面を参照して、非限定的な例として表される実施形態が示される。

図１は、本開示の主題のある実施形態に即した基準調整システムのブロックダイアグラムの例を示す。 図２は、本開示の主題のある実施形態に即した、バイノーラルオーディオレンダラーのブロックダイアグラムの例を示す。 図３は、本開示の主題のある実施形態に即した、基準調整システムのフローダイアグラムの例を示す。 図４Ａは、本開示の主題のある実施形態に即した、収束していく適応基準方向のグラフの例を示す。 図４Ｂは、本開示の主題のある実施形態に即した、収束していく適応基準方向の拡大されたグラフの例を示す。 図５Ａは、本開示の主題のある実施形態に即した、等式１のグラフィカルな描写を示す。 図５Ｂは、本開示の主題のある実施形態に即した、等式３−５のグラフィカルな描写を示す。 図５Ｃは、本開示の主題のある実施形態に即した、等式６のグラフィカルな描写を示す。 図５Ｄは、本開示の主題のある実施形態に即した、等式７−１１のグラフィカルな描写を示す。 図５Ｅは、本開示の主題のある実施形態に即した、等式１２のグラフィカルな描写を示す。 図５Ｆは、本開示の主題のある実施形態に即した、等式１４のグラフィカルな描写を示す。 図６は、本開示の主題のある実施形態に即した、相対測定値の異なる値に対して計算されたサンプル調整量のグラフの例を示す。 図７は、本開示の主題のある実施形態に即した、相対頭部方向を生成するために実行される演算のシーケンスのフローチャートの例を示す。 図８は、本開示の主題のある実施形態に即した、基準方向に対する相対頭部方向を示す。

以下の詳細な説明において、本発明の十分な理解を提供するために多数の具体的な詳細が明らかにされている。しかしながら、当業者においては、本開示の主題がこれらの具体的な詳細によらずに実施され得ることが理解されるだろう。他の例において、周知の方法、手順、要素および回路は、本開示の主題を分かりにくくすることのないように、詳細には記載されていない。

特に記載の無い限り、以下の議論から明らかであるように、明細書全体を通して、用語「処理すること（ｐｒｏｃｅｓｓｉｎｇ）」、「算出すること（ｃｏｍｐｕｔｉｎｇ）」、「計算すること（ｃａｌｃｕｌａｔｉｎｇ）」、「適応すること（ａｄａｐｔｉｎｇ）」、「生成すること（ｇｅｎｅｒａｔｉｎｇ）」、等を用いる議論は、データを他のデータに操作および／または変換するコンピュータの動作および／またはプロセスを指し、前記データは電子量等の物理量として表され、および／または前記データは物理的な対象物を表すことを理解されたい。用語「コンピュータ（ｃｏｍｐｕｔｅｒ）」は、非限定的な例として本出願に開示されるプロセッシング回路を含むデータ処理機能を含む任意の種類のハードウェアベースの電子デバイスを包含するように広く解釈されるべきである。

本明細書で用いられる用語「非一過性のメモリ（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｍｅｍｏｒｙ）」および「非一過性の記録媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）」は、本開示の主題に好適な任意の揮発性または不揮発性のコンピュータメモリを包含するように広く解釈されるべきである。

本明細書の教示に即した演算は、所望の目的のために特別に構築されたコンピュータ、または非一過性のコンピュータ読み取り可能な記録媒体に格納されたコンピュータプログラムにより所望の目的のために特別に構成された汎用コンピュータによって実行されることができる。

この特許明細書において用いられる用語「ユーザ（ｕｓｅｒ）」は、頭部の動きが追跡されることを望む個人を包含するように広く解釈されるべきである。

この特許明細書において用いられる用語「頭部方向（ｈｅａｄ ｏｒｉｅｎｔａｔｉｏｎ）」は、三次元におけるユーザの頭部の回転（すなわち、転がる、傾く、向きが変わる）を（例えば、四元数、回転行列またはオイラー角の集合の形態で）表す任意の種類のデータであって、相対的に見ればいくつかの他の方向に対して表されることもできる種類のデータを包含するように広く解釈されるべきである。

この特許明細書において用いられる用語「基準フレーム（ｆｒａｍｅ ｏｆ ｒｅｆｅｒｅｎｃｅ）」は、ユーザの頭部方向が追跡される（例えば聴覚および／または視覚の）シーンを表す非数学的な用語として理解されるべきである。

この特許明細書において用いられる用語「基準方向（ｒｅｆｅｒｅｎｃｅ ｏｒｉｅｎｔａｔｉｏｎ）」は、頭部方向が表される基準フレームの回転を（例えば、四元数、回転行列またはオイラー角の集合の形態で）表す任意の種類のデータを包含するように広く解釈されるべきである。

本開示の主題の実施形態は任意の特定のプログラミング言語に関連して記載されていない。様々なプログラミング言語が本明細書に記載された本開示の主題の教示を実行するために用いられ得ることを理解されたい。

これを念頭において、本開示の主題のある実施形態に即した適応基準方向を算出するための基準調整システム（ＲＡＳ）（１００）の簡易的なブロックダイアグラムを示している図１に注目されたい。ある実施形態において、ＲＡＳ（１００）は、任意の与えられた時間におけるいくつかの固定された基準方向に対する例えばユーザの頭部方向を提供することを含む、例えばユーザに関連付けられた頭部データを提供するように構成された頭部センサ（１１４）に動作可能なように接続されたプロセッシング回路（１０２）を含むことができる。ある実施形態において、頭部センサ（１１４）は例えば、ユーザの頭部に直接的または間接的に接続された（例えばユーザが装着するヘッドフォンまたは他の装置に接続された）慣性測定ユニット（ＩＭＵ）でもよい。ある実施形態において、頭部データは図示されたデータリポジトリ（１０６）等のバッファに格納されることができる。

プロセッシング回路（１０２）は、基準方向の変更が必要であることを示す第二のデータを提供するように構成され、また頭部センサ（１１４）とは独立して動作するように構成された一つまたは複数の第二のセンサＳ₁−Ｓ_n（１１６）にさらに動作可能なように接続される。すなわち、頭部センサ（１１４）および第二のセンサ（１１６）は互いに感知しないか、または互いにデータを共有する。ある実施形態において、第二のセンサ（１１６）は、例えばＩＭＵ、加速度計、ジャイロスコープ、磁力計、またはユーザに関連付けられた場所、動作（例えば動的動作、物理的動作、三次元的動作等）、方向、速度、および／または加速度のうち少なくとも一つの変化を検出することができる他のセンサのうち一つまたは複数を含むことができる。

ある実施形態において、プロセッシング回路（１０２）は、例えばスマートフォン、タブレット等のユーザによって運ばれるモバイルデバイスに含まれることができる。ある実施形態において、第二のセンサ（１１６）（またはそれらのうちいくつか）は、ユーザのポケットの中に置かれてユーザによって運ばれる（プロセッシング回路を含むことができるモバイルデバイスと同じかまたは異なってもよい）モバイルデバイスか、またはそうでなければ、第二のセンサがユーザの動作の変化に応答するようにユーザの付近に物理的に位置したモバイルデバイスに含まれることもできる。

プロセッシング回路（１０２）は、一つまたは複数のプロセッシングユニット（１０４）をさらに含むか、またはそれに接続されることができる。プロセッシングユニット（１０４）は、例えば、プロセッサ、マイクロプロセッサ、マイクロコントローラまたは複数のおよび／または並列のプロセッシングユニットを含む任意の他のコンピューティングデバイスまたはモジュールでもよい。プロセッシング回路（１０２）は、以下でさらに詳細に説明されるように、とりわけ（ｉｎｔｅｒ ａｌｉａ）、受信した頭部データおよび／または第二のデータ、を含むデータを格納するように構成された、図示されたデータリポジトリ（１０６）等の一つまたは複数のメモリをさらに含む（またはそうでなければそれに関連付けられる）ことができる。

プロセッシング回路（１０２）は以下に挙げるモジュール、調整量計算（ＡＡＣ）モジュール（１０８）、基準方向計算（ＲＯＣ）モジュール（１１０）、および相対頭部方向計算（ＲＨＯＣ）モジュール（１１２）、のうち一つまたは複数をさらに含む（またはそうでなければそれに関連付けられる）ことができる。

ある実施形態において、ある実施形態に即したＲＡＳ（１００）のフローダイアグラムの例を示している図３を参照して以下でさらに詳細に説明されるように、ＡＡＣモジュール（１０８）は、第二のセンサ（１１６）から第二のデータを継続的に受信し、また前記データに従って調整量を示す値を算出するように構成されることができる。ある実施形態において、第二のデータのうちいくつかまたは全ては、データリポジトリ（１０６）等のバッファに格納されることができる。

ある実施形態に即したＲＡＳ（１００）のフローダイアグラムの例を示している図３を参照して以下でさらに詳細に説明されるように、ある実施形態において、ＲＯＣモジュール（１１０）は、頭部センサ（１１４）からの頭部方向、ＡＡＣモジュールからの調整量、および適応基準方向を受信し、また適応基準方向を頭部方向に向かって動かすことで適応基準方向を適応させ、それにより新しい適応基準方向を生成するように構成される。

ある実施形態において、新しい適応基準方向は、次の入力適応基準方向としてＲＯＣモジュール（１１０）にフィードバックされる。例えば、ＲＯＣモジュール（１１０）は基準方向Ｑ_ref［ｎ］および平均化のための時定数Ｔ_Cを入力として継続的に受信し、またＴ_Cに従って平滑化演算を実行することにより新しい基準方向Ｑ_ref［ｎ＋１］を継続的に出力するように構成された再帰フィルタ（例えば平滑化フィルタ、平均化フィルタ、無限インパルス応答（ＩＩＲ）フィルタ、有限インパルス応答（ＦＩＲ）フィルタ等）を含むか、またはそれに関連付けられることができる。出力基準方向Ｑ_ref［ｎ＋１］は、次の入力基準方向Ｑ_ref［ｎ］としてフィルタにさらにフィードバックされる。時定数Ｔ_Cは、以下で詳細に説明されるように、継続的に変化し得る。

ある実施形態において、ある実施形態に即したＲＡＳ（１００）のフローダイアグラムの例を示している図３を参照して以下で詳細に説明されるように、ＲＨＯＣモジュール（１１２）は、最新の適応基準方向をＲＯＣモジュールから、また最新の頭部方向を頭部センサ（１１４）から受信し、また、現在の適応基準方向に対するユーザの相対頭部方向を計算するように構成されることができる。

ある実施形態において、上記で詳細に説明されたＲＡＳ（１００）は、バイノーラルオーディオ、仮想または拡張現実シーン、またはユーザの頭部の周辺に仮想オブジェクトを配置することを要求する任意の他のアプリケーションをレンダリングするために使用されることができる。非限定的な例として、図２は、オーディオストリーム内の仮想音源の配置を調整するように構成され、また当該分野で周知のソフトウェア、ハードウェアおよび／またはプロセッシング回路の任意の組み合わせを用いて実行されることができるＲＡＳ（１００）およびオーディオコンバータ（２１０）を含む、バイノーラルオーディオレンダラー（２００）の一般化されたブロックダイアグラムを示している。例えば、その全体が本明細書に参照により組み入れられている、「Ａｕｄｉｏ ｃｏｎｔｒｏｌ ｂａｓｅｄ ｏｎ ｏｒｉｅｎｔａｔｉｏｎ」と題された米国特許第９，２７１，１０３号を参照されたい。オーディオコンバータ（２１０）は、リアルタイムに、一つまたは複数の（右または左の仮想スピーカーのような）仮想音源を含むオーディオストリームおよびＲＡＳ（１００）からのユーザの相対頭部方向を受信し、またユーザの頭部方向に応じて調整された一つまたは複数の仮想音源の場所を有する出力オーディオストリームを生成する。出力オーディオストリームはさらに、リアルタイムでも（例えばヘッドフォンまたはスピーカーを介して）ユーザへ伝達される。

当業者においては、例として図２はバイノーラルオーディオのレンダリングを記載しているが、同じ基本原理をＡＲおよび／またはＶＲビデオのレンダリングに適用することを理解されたく、また本明細書の範囲内に含まれることを理解されるべきである。

図３はある実施形態に即したＲＡＳ（１００）のフローダイアグラムの例を示しており、ＡＡＣモジュール（１０８）は第二のセンサ（１１６）から第二のデータを受信し、また基準方向を変更が必要である可能性を（例えばユーザの現在の基準フレームにおける変化の兆候を提供することにより）示す一つまたは複数の測定値（３００−１）−−−−−（３００−Ｎ）を計算する。ある実施形態において、一つまたは複数の測定値は、第二のセンサから受信した第二のデータの統計的性質の変化でもよい。統計的性質の例は、例えば分散、確率、自己相関、相互相関等を含む。ある実施形態において、一つまたは複数の測定値は、相対安定性、相対偏差、および絶対偏差のうちの一つ、またはこのうちの一つまたは複数の組み合わせを含むことができる。これらの測定値の各々は、本開示の主題の実施形態に即して、以下でより詳細に議論される。

ある実施形態において、基準方向の変更が必要であることを示す一つまたは複数の測定値（３００−１）−−−−−（３００−Ｎ）を計算した後、ＡＡＣモジュール（１０８）は、一つまたは複数の測定値を、調整量を示す値に変換する（３０２）。この変換は一つまたは複数の測定値と一つまたは複数の閾値を比較することによって実行されることができる。例えば、以下でより十分に詳細が説明され、またある例として図示されるように、調整量は一つ、または、二つまたはそれ以上の測定値の組み合わせに従って計算された０から１の間の導き出された数値でもよい。調整量は次に、例えば上昇時間、ホールド時間および減衰時間を制御するため、または平滑化のために線形または非線形にさらにフィルタリングされることができる。

調整量は、前の基準方向が単位時間あたりに頭部方向に向かって動く量である。これにより適応基準方向が頭部に追従する速度（例えば角速度）が決定される。速度は、頭部方向に向かう基準方向の適応の速さの何らかの測定値である。この速度は、第二のセンサからのデータに従って継続的に変化する。

最新の第二のデータに少なくとも部分的に従って（また第二のデータにおける変化に応答してリアルタイムで継続的に再計算されることのできる）調整量を計算した後、現在の調整量は、適応基準方向を適応させる（３０６）ために調整量および現在の頭部方向を用いるＲＯＣモジュール（１１０）にさらにフィードバックされる。

基準方向を適応させる処理は、（以下の図４Ａ−４Ｂにおいて一次元で示されるように）第二のデータにより少なくとも部分的に指示される量だけ現在の頭部方向に向かって基準方向が徐々に収束するように継続的に繰り返される。これは、例えば当業者には周知の補間（例えば線形補間を含む）技術を用いて成し遂げられることができる。

例えば、Ｑ_refが基準方向を表す四元数でありＱ_headが現在の頭部方向を表す四元数である場合、Ｑ_refは、等式１に示される一次フィードバックループにおいて球面線形補間演算（”Ｓｌｅｒｐ”）を用いて算出された「ＡｄｊｕｓｔＡｍｏｕｎｔ」に従ってＱ_headに向かって継続的に収束することができる。

等式１は、一次ＩＩＲフィルタとして示されることができる。図５Ａは、等式１のグラフィカルな描写を示す。

一般に、端点および０と１の間の補間パラメータが与えられた場合、Ｓｌｅｒｐ演算は単位半径の大円に沿った等速運動を指す（例えばＫｅｎ Ｓｈｏｅｍａｋｅ：Ａｎｉｍａｔｉｎｇ Ｒｏｔａｔｉｎｏ ｗｉｔｈ Ｑｕａｎｔｅｒｎｉｏｎ Ｃｕｒｖｅｓ．ＳＩＧＧＲＡＰＨ，Ｖｏｌｕｍｅ １９，Ｎｕｍｂｅｒ ３ （１９８５）を参照されたい）。したがってこの例において、調整量が補間パラメータである一方でＱ_refおよびＱ_headは”端点”である。

当業者においては、二方向の間の線形補間を計算するための数多くの方法があり、また等式１のＳｌｅｒｐの例はただ一つの非限定的な例ではないことを理解されるべきである。

上記で詳細に説明されたように、各時間にＲＯＣモジュール（１１０）によって新しい基準方向が生成され、その新しい基準方向は次の基準方向を生成するためにＲＯＣモジュール（１１０）にフィードバックされる。加えて、新しい基準方向は、新しい基準方向に対するユーザの相対頭部方向を決定する（３０８）ために新しい基準方向と現在の頭部方向を用いるＲＨＯＣモジュール（１１２）にもフィードバックされる。例えば、相対方向Ｑ_head/refは、等式２に示される逆四元数との乗算によって基準方向Ｑ_refおよび頭部方向Ｑ_headから決定されることができる。

図８は、ある実施形態に即した、基準方向に対する相対頭部方向の生成の例を示している。図８に示される例が一次元で提供される一方で、実際には相対頭部方向は一、二または三次元で決定されることができることを理解されるべきである。図８の例が、「度（ｄｅｇｒｅｅｓ）」によって方向を示す一方で、これは非限定的なものであり、実際には任意の他の好適な空間方向の記述子が用いられ得ることをさらに理解されるべきである。次に図８を参照すると、第一の頭部方向（８０２）は、頭部センサ（１１４）によって提供されるユーザの現在の頭部方向を示す。基準方向（８０４）は、ＲＯＣモジュール（１１０）によって直前に生成された現在の基準方向を示す。したがってこの例において、ＲＨＯＣモジュール（１１２）は、現在の基準方向に対するユーザの相対頭部方向である第二の頭部方向（８０６）を生成し得る。

上記のプロセスは、ユーザの相対頭部方向が継続的に決定されるように継続的に繰り返され、また場合によってはどのＱ_head/refが任意の移動するＶＲ、ＡＲまたはバイノーラル環境における頭部方向として用いられることができるかに応じて、ユーザの頭部の動きにリアルタイムに応答する。

上記で詳細に説明されたように、ある実施形態において、調整量は、ＲＯＣモジュール（１１０）にフィードバックされる前に、例えば、所定の最小値および／または最大値および／または基準方向の最適で自然な動きを創り出すために、上昇時間、ホールド時間、および衰退時間のうちの一つまたは複数を制御するための線形および／または非線形にフィルタリングされた値に従って調整量を制御するために、フィルタリングプロセスを実施されてもよい。例えば、ある最小量に対応する６０秒の最大時定数は、基準方向が小さな、またはゆっくりと蓄積していくドリフトを相殺するために頭部方向に向かって常にゆっくりと移動していることを保証する。別の例では、突然の短時間の過渡状態が発生した場合に、その量が直ちに応答し、ホールド時間全体を通して（急激な変化を相殺するために）基準方向が頭部にしっかりと追従できるように、その量に短い立ち上がり時間（０秒）およびより長いホールド時間および衰退時間（２秒）を設定することができる。そして、衰退時間が徐々に減少するにつれて、基準方向は最終的に静止し、通常の追跡が再開される。

図４Ａは、第二のデータに応じて変化する量だけ頭部方向に向かって移動する適応基準方向の一次元における連続した時間のグラフを示している。例えば、その量は第二のデータの統計的性質の変化に少なくとも部分的に従って変化することができる。概念を説明するために一次元で示されていることを理解されるべきである。実際には、頭部方向は追跡されることができ、また基準方向は二以上の次元、すなわち三次元（傾く、向きが変わる、転がる）までで移動させることができる。さらに、用語「方向（ｄｉｒｅｃｔｉｏｎ）」は、一次元における方向を示すために用いられる。図４Ａに示されているグラフは、第二のセンサが（例えばユーザのポケットの中のモバイルデバイス内で）ユーザの胴体に取り付けられ、胴体の動作および／または方向の変化を検出する状態をシミュレートする。グラフは、頭部データおよび第二のデータを受信する連続期間の間にＲＯＣモジュール（１１０）によって出力され得る適応基準方向のサンプルを示している。

図４Ａは、本開示の主題の概念をより良く説明するために、四つの異なる折れ線グラフ（４１０）、（４１８）、（４２０）、（４２２）に分けることができる。折れ線グラフ（４１０）は、胴体（４１４）方向が変化する（例えばユーザは歩いたり、走ったりしていてもよい）連続期間の間の異なるサンプリング時間におけるユーザの頭部（４１２）および胴体（４１４）のトップダウンビューを視覚的に示しており、ユーザの頭部（４１２）方向もまた胴体とは独立して変化する。さらに示されているのは連続期間の間の特定の時刻に生成される、特定の適応基準方向の向きに応じて異なって配置され得る仮想スピーカー（４１６）である。一般に、ユーザの胴体方向が安定している場合には、仮想スピーカーは頭部方向によらず胴体の正面に置かれ、胴体方向が変化している場合には、（４１０）から明らかにされるように、仮想スピーカーが頭部に向かって、すなわち頭部方向により緊密に対応する位置に向かって移動する。

図４Ａの折れ線グラフ（４１８）は、胴体（４１４）に取り付けられた第二のセンサから受信した第二のデータに従って任意の与えられた時間において計算され得る調整量の値を表すサンプル値を示している。例えば、グラフ（４１０）の同じ期間についても視覚的に示されているように、胴体方向が安定しているため、時刻ｔ１およびｔ２の間で、調整量は０を示している。対照的に、時刻ｔ３およびｔ４の間では、調整量はその時間における胴体方向の変化を示す第二のデータに応答して０．２まで上昇する。ｔ５からｔ６まで、調整量はｔ５およびｔ６の間の胴体方向の安定性を示す第二のデータを反映して実質的に０にとどまる。調整量の上昇は、胴体方向の安定性の実質的な変化を示す第二のデータに応答して、ｔ６においてピーク値（４２４）の０．８まで再び上昇し、またｔ７においてピーク値（４２６）の１まで再び上昇する。

図４Ａの折れ線グラフ（４２０）は、実線で連続期間の間の頭部方向を表すサンプル値を示し、点線で連続期間の間に計算され得る適応基準方向を表すサンプル値を示している。したがってｔ１およびｔ３の間で、胴体方向が安定している場合、頭部が交互に動くにもかかわらず、ｔ１およびｔ３の間は仮想スピーカー（４１６）が胴体の正面に配置されていることを反映して角度オフセットがゼロであり、（実際には頭部方向に向かって非常にゆっくりと収束しているにもかかわらず）基準方向は一定であるように見える。対照的に、時刻ｔ６およびｔ７において、（４２０）における基準方向の向きが０．８および１までの各調整量の増加に応答して頭部方向に速やかに収束しているのが見受けられる。

図４Ａの折れ線グラフ（４２２）は適応基準方向に対するユーザの相対頭部方向を示しており、これはＲＨＯＣモジュール（１１２）によって算出される。したがって例えば、ｔ３において適応基準方向の向きが実質的に頭部方向と等しい場合、ユーザの相対頭部方向（すなわちオフセット）は実質的にゼロである。また、（４１８）の調整量がｔ６およびｔ７においてそれぞれ０．８および１まで動くにつれて、（４２２）の相対頭部方向は（４２８）および（４３０）においてそれぞれゼロまで動いているのが見受けられる。（４２２）における相対頭部方向のサンプル値は、上記で詳細に説明されたように、例えばバイノーラルオーディオ、ＶＲ、ＡＲ等のレンダリングのために用いられることができる。

図４Ａに示されるように、頭部のみが動く限り基準方向は一定であり、また仮想スピーカーは空間中で固定されている（すなわち静止している）ように見える。胴体方向の変化によってのみ基準方向が変化する。これが起こるとき、胴体方向が安定するまで（仮想スピーカーが頭部を追従する動きをシミュレートしながら）基準方向は頭部方向に向かって収束する。したがって例えば折れ線グラフ（４１０）において、例えば時刻ｔ１から時刻ｔ２まで、ユーザの胴体方向は比較的変化せず、それにより第二のデータから導かれる調整量はゼロとなり、折れ線グラフ（４１０）および（４２０）に見られるようにユーザの頭部が左右に動くにもかかわらず、ほぼ一定の基準方向に変換されることがわかる。しかしながら、同じ期間の折れ線グラフ（４２２）における相対頭部方向の変化に留意されたい。（４２２）における相対頭部方向のサンプル値は、例えば上記で詳細に説明されたように、バイノーラルオーディオのレンダリングのために用いられることができる。

図４Ａに示されるグラフの拡大レベルのために（４２４）および（４２６）では（４２０）における基準方向は頭部方向に等しいように見え得るが、実際は（４２４）では調整量が１未満であるため基準方向は正確には頭部方向に等しくない。図４Ｂはしたがって図４Ａのグラフの上部および中間部と同様の拡大されたグラフを示しているが、調整量は１に近付くものの１には等しくないため、基準方向は頭部方向に近づくものの頭部方向には等しくないのが見受けられる。調整量が１に等しい場合においてのみ、基準方向は頭部方向に等しい。

ある実施形態において、上記で詳細に説明されたように、一つまたは複数の測定値は、相対安定性、相対偏差、および絶対偏差のうちの一つ、またはこのうちの一つまたは複数の組み合わせを含むことができる。これらの測定値の各々はより詳細に議論され、また例が提供される。

例＃１：相対安定性
この方法は、現在の短時間サンプル分散とそれより前の長期サンプル分散を比較し、分散における相対的増加の指標を返す。ｎ−Ｎおよびｎの間のサンプルにわたる（軸毎の）各センサの分散Ｓを、等式３を用いて示す。

（正規化されていない）軸毎の相対安定性は等式４によって与えられる。

ここでＮ₁およびＮ₂は偏差が算出されるサンプルグループ（時間窓）であり、またｎは現在のサンプルである。これを正規分布のための分散の分散を用いて分散の全分散に対して正規化することは

によって与えられ、これは

によって与えられる二つの集合のプールされた分散に変換する。したがって、軸毎のセンサ毎に正規化された相対安定性は、等式５で示すことができる。

分母は分散の全分散によって分散を正規化するため、分散は分散の変化の単位無しの測定値を得るための確率変数として用いられる。単位無しの測定値は異なるデバイスおよびセンサのタイプに対して一つの閾値を設定するために重要である。図５Ｂは等式３−５のグラフィカルな描写を示す。

最終的に、センサ毎の各軸に対して計算された相対安定性は二乗平均平方根（ＲＭＳ）によって組み合わせられ、またセンサごとに異なる重み付けを可能にするために、例えば等式６を用いて加重ＲＭＳによってセンサの間で組み合わせられることもできる。

ここでＫはセンサの数である。例えば、三軸ジャイロおよび三軸加速度計を用いた場合については、Ｋ＝２である。さらに、例えば１００Ｈｚにおいて、Ｔ₁＝０．５秒およびＴ₂＝２．０秒の場合、Ｎ₁＝５０、Ｎ₂＝２００である。この例において、現在の０．５秒（短期）の安定性は、その前の２秒（長期）の安定性と比較される。図５Ｃは、等式６のグラフィカルな描写を示す。

例＃２：相対偏差
この方法は、二つの隣接した時間範囲の間の平均基準方向を比較する。一組の四次元四元数の幾何平均四元数を算出することは、前述の’Ｓｌｅｒｐ’演算を用いることによって達成されることができる。この演算は、二つの四元数の間の補間が最短経路（すなわち大円）を介して行われることを裏付ける。Ｔ_Cの期間にわたる平均を算出するために、Ｓｌｅｒｐ演算は等式７で示されるような再帰法において用いられることができる。

ここでαは各ステップにわたるＳｌｅｒｐに対する相対量であり、また等式８のように時定数Ｔ_Cおよび追跡サンプルレートＦ_Sによって定義される。

四元数の分散を算出するために、距離平均が決定され、例えば二つの四元数の間の角度が、等式９に示すようなドット積によって算出される。

分散はさらに、等式１０のように算出されることができる。

Ｑ_meanはベクトルであるが、偏差Ｓ_Qは直角の単位で（ｉｎ ｕｎｉｔｓ ｏｆ ｓｑｕａｒｅｄ ａｎｇｌｅｓ）スカラーであることに留意されるべきである。

平均および分散は二度、一度目は最新の秒（または任意の他の期間）にわたって、そしてもう一度その前の秒（または任意の他の期間）にわたって算出される。すなわち

および

である。

Ｔは方向の平均および分散が算出された時定数である。例えば、Ｔ＝１秒の場合、現在の秒における方向はその前の秒の方向と比較される。

平均および分散を用いることによって、相対偏差は、等式１１を用いて単位無しでも算出されることができる。

図５Ｄは、等式７−１１のグラフィカルな描写を示す。

例＃３：相対安定性および相対偏差の組み合わせ
この方法は、上記で詳細に説明された相対安定性および相対偏差の測定値を組み合わせることによって算出される。これらの測定値は、例えば等式１２に示されるように二乗平均平方根を用いて組み合わせることができる。

ある実施形態において、個々の測定値（すなわち相対安定性および相対偏差）それぞれは、それぞれの重みを割り当てられることができる。図５Ｅは、等式１２のグラフィカルな描写を示す。

例＃４：絶対偏差
この方法は、前述の二つの例では捉えることのできなかったスローモーションが発生する状況に対処することを目的としている。この（角度単位において提供された）方法は第二のセンサの方向の平均といくつかの基準アンカーとを比較するが、ここでアンカーはいくつかの過去の方向である。アンカーからの偏差が閾値を超えるとき、アンカーは、等式１３に示されるように現在の第二のセンサの方向に設定される。

測定値の調整量への変換
上記で詳細に説明されたように、調整量は測定値の一つ、または二つ以上の測定値の組み合わせから導き出されることができる。例えば、上記で詳細に説明された相対安定性、相対偏差および絶対偏差の測定値の例を参照すると、調整量は等式１４のように計算されることができる。

ここでｐは電力値である。図５Ｆは等式１４のグラフィカルな描写を示す。相対閾値の値は量が１／２に等しくなる点を決定する。図６に示されるように、ｐの値は相対測定値および相対閾値の関数としてその量が０から１までどのようにシフトするかという速さを決定する。

絶対偏差測定値が（例えば度または他の方向の単位で）絶対閾値を超える場合、「ＡｄｊｕｓｔＡｍｏｕｎｔ」は１に設定され、そうでなければ、相対測定値の異なる値および電力値の異なる値に対して計算されたサンプル調整量のグラフの例を示す図６にそれぞれ示されるように、傾きの位置および形状が相対閾値およびｐそれぞれによって制御されて、ＡｄｊｕｓｔＡｍｏｕｎｔは０−１の範囲でスムーズに設定される。

上記で詳細に説明されたように、等式１において提供される線形補間演算の例は一次ＩＩＲフィルタとして表すことができる。このようなシステムにおいては、出力値が目標値の１±１／ｅの値に到達するフィルタ時定数Ｔ_Cを決定するのが典型的である。これらの定義のもと、調整量およびＴ_Cの間の関係は等式１５および１６において示される。

ここでｌｏｇは自然対数であり、Ｆ_Sはサンプルレートである。

しかしながら、調整量は第二のセンサのデータに従って変化するため、Ｔ_Cは等式１７に示されるように一定ではない。

Ｔ_C［ｎ］を用いて、基準方向は１／Ｔ_C［ｎ］に比例した速度で適応するものとして示すことができる。

図７は、ある実施形態に即したプロセッシングユニットによって実行され得る適応基準方向に対する頭部方向を提供するための演算のシーケンスのフローチャートの例を示している。ブロック７００において、プロセッシングユニットは開始基準方向として用いられる適応基準方向を初期化する。ある実施形態において、基準方向の初期化には、例えばデフォルトまたは任意の基準方向を生成すること、および１に等しい調整量を設定することを含むことができ、それにより生成された基準方向が頭部方向に速やかに収束することを保証する。

ブロック７０２において、プロセッシングユニットは頭部センサ（１１４）から頭部データを受信する。頭部データはユーザに関連付けられた第一の頭部方向を示す。ある実施形態において、頭部データは、最新の受信した頭部データがそれにより現在の第一の頭部方向を示すように、例えば所定のサンプリングレートで頭部センサから継続的に受信されることができる。

頭部データを受信することと実質的に同時に、ブロック７０４においてプロセッシングユニットは一つまたは複数の第二のセンサ（１１６）から第二のデータを受信する。ある実施形態において、第二のデータは、直近の受信した第二のデータがそれにより最新の第二のデータを表すように、例えば所定のサンプリングレートで、一つまたは複数の第二のセンサから継続的に受信される。ある実施形態において、上記で詳細に説明されたように、第二のデータは適応基準方向の変更が必要であることを示すデータ、例えば三次元座標系の少なくとも一次元内のユーザに関連付けられた場所、動作、方向、速度および／または加速度を示すデータを含む。

ブロック７０６において、プロセッシングユニット、例えばＡＡＣモジュール（１０８）は、最新の第二のデータに少なくとも部分的に従って調整量を示す値を継続的に計算する。ある実施形態において、例えば第二のデータからの（例えば第二のデータの統計的性質の変化に従って）一つまたは複数の測定値を算出すること、および一つまたは複数の測定値を調整量に変換することによって、調整量は第二のデータから導き出されるか、または算出されることができる。ある実施形態において、一つまたは複数の測定値は、測定値のうち一つまたは複数と一つまたは複数の各閾値を比較することによって調整量に変換されることができる。一つまたは複数の測定値は、例えば相対安定性、相対偏差および／または絶対偏差を含むことができる。ある実施形態において、調整量は、平滑化のため、および／または上昇時間、ホールド時間、および衰退時間のうち一つまたは複数を制御するために、さらにフィルタリングされ得る。

ブロック７０８において、プロセッシングユニット、例えばＲＯＣモジュール（１１０）は、第二のデータに少なくとも部分的に従って変化する量だけ少なくとも部分的に（頭部データにより提供される）頭部方向に向かって動かすことによって継続的に適応基準方向を適応させ、それにより新しい適応基準方向を生成する。ある実施形態において、その量は調整量によって決定されることができる。ある他の実施形態において、その量は基準方向の値が少なくとも部分的に現在の頭部方向に向かって収束していくフィルタ時定数Ｔ_Cから導き出されることができる。ある実施形態において、適応基準方向を適応させることは、ブロック７０６において計算された調整量に従って適応基準方向を回転させることを含むことができる。この回転は例えば適応基準方向および第一の頭部方向の間の四元数”Ｓｌｅｒｐ”によって達成されることができる。

ブロック７１０において、プロセッシングユニット、例えばＲＨＯＣモジュール（１１２）は、（ブロック７０２において受信した）ユーザの第一の頭部方向および（ブロック７０８において生成された）新しい適応基準方向に従ってユーザに関連付けられた第二の頭部方向を示すデータを生成し、第二の頭部方向は新しい適応基準方向に対するユーザの第一の頭部方向を示す。ある実施形態において、ユーザの第二の頭部方向はバイノーラルオーディオ、ＶＲビデオおよび／またはＡＲビデオのうち少なくとも一つをレンダリングするために用いられることができ、さらにヘッドフォン、眼、または他の聴くためまたは見るための装置を介してユーザに伝達されることができる。演算は次にブロック７０２に戻り、演算７０２−７１０のシーケンスは繰り返され、ここでブロック７１０において生成された新しい適応基準方向がブロック７０８において適応される次の基準方向を構成する。

ブロック７１０の各演算において、ユーザの最新の相対頭部方向が適応基準方向に対して生成され、それによりユーザの頭部の動きにリアルタイムに、またはユーザの頭部の動きにほぼリアルタイムで応答して、レンダリングされたオーディオおよび／またはビデオをユーザへ伝達することを可能にする。

本開示の主題の教示は図１を参照して記載されたシステムによって限定されるものではないことに留意されたい。同等の、および／または修正された機能性は、別の方法で統合または分割され、またソフトウェアとファームウェアおよび／またはハードウェアとの任意の適切な組み合わせで実装され、好適なデバイス上で実行されることができる。

本開示の主題の教示は、図７に示されたフローチャートによって限定されるものではなく、示された演算は示された順序以外にも起こり得ることに留意されたい。例えば、連続して示される演算７０２および７０４は実質的に同時に、または逆の順序で実行されることができる。フローチャートがシステム（１００）の要素を参照して記載されているが、これは決して限定するものではなく、演算は本明細書に記載された要素以外の要素によって実行されることができることにも留意されたい。

本発明は、その適用において、本明細書に含まれる記述または図面に示される記述において明らかにされた詳細に限定されるものではないことを理解されたい。本発明は他の実施形態が可能であり、様々な方法で実施または実行されることが可能である。したがって、本明細書で用いられる表現および用語は説明を目的とするものであり、限定的なものとして見なされるべきではないことを理解されたい。このように、当業者においては、本開示が基礎とする概念は、本開示の主題のいくつかの目的を実行するための他の構造、方法、およびシステムを設計するための基礎として容易に利用され得ることを理解されるであろう。

本発明によるシステムは、少なくとも部分的に、適切にプログラムされたコンピュータ上で実行され得ることもまた理解されたい。同様に、本発明は、本発明の方法を実施するためにコンピュータによって読み取り可能なコンピュータプログラムを意図している。本発明はさらに、本発明の方法を実施するためにコンピュータによって実行可能な命令のプログラムを有形的に実施する非一過性のコンピュータ読み取り可能なメモリを意図している。

当業者においては、添付の特許請求の範囲に定義された本発明の範囲から逸脱することなく、前述の本発明の実施形態に様々な修正および変更が適用できることを容易に理解されるであろう。

Claims (33)

1. プロセッシングユニットによって実行される、適応基準方向に対する頭部方向を提供するための方法であって、
   頭部センサから頭部データを受信し、前記頭部データはユーザに関連付けられた第一の頭部方向を示すことと、
   第二のセンサから第二のデータを受信することと、
   前記第二のデータに少なくとも部分的に従って変化する量だけ前記適応基準方向を少なくとも部分的に前記第一の頭部方向に向かって動かすことによって前記適応基準方向を適応させ、それにより新しい適応基準方向を生成することと、
   前記第一の頭部方向および前記新しい適応基準方向に従って、前記新しい適応基準方向に対する前記第一の頭部方向としてユーザに関連付けられた第二の頭部方向を生成することと、
   を含む、方法。
2. 前記量が、前記第二のデータの統計的性質の変化に少なくとも部分的に従って変化する、請求項１に記載の方法。
3. 前記適応基準方向が、調整量に従って前記適応基準方向を回転させることにより適応される、請求項１に記載の方法。
4. 第二のデータが、前記調整量を算出するために用いられる、請求項３に記載の方法。
5. 前記回転させることが、前記適応基準方向と前記第一の頭部方向との間を補間することによって実行される、請求項３に記載の方法。
6. 前記補間することが、四元数球面線形補間（”Ｓｌｅｒｐ”）演算を用いて実行される、請求項５に記載の方法。
7. 前記調整量が、前記第二のデータから導き出される、請求項４に記載の方法。
8. 導き出すことが、一つまたは複数の測定値を算出すること、および前記一つまたは複数の測定値を前記調整量に変換することによって実行される、請求項７に記載の方法。
9. 前記調整量が、平滑化、および前記調整量の上昇時間、ホールド時間、および衰退時間のうち一つまたは複数を制御することのうち少なくとも一つのためにさらに処理される、請求項８に記載の方法。
10. 前記一つまたは複数の測定値が、相対安定性、相対偏差、および絶対偏差のうち一つまたは複数を含む、請求項８に記載の方法。
11. 前記一つまたは複数の測定値が、前記一つまたは複数の測定値のうちの一つまたは複数と一つまたは複数の各閾値を比較することによって前記調整量に変換される、請求項８に記載の方法。
12. 前記第二のデータが、前記適応基準方向の変更が必要であることを示すデータを含む、請求項１に記載の方法。
13. 前記第二のデータが、三次元座標系の少なくとも一次元内のユーザに関連付けられた場所、動作、方向、速度および加速度のうち少なくとも一つを示すデータを含む、請求項１に記載の方法。
14. 前記第二の頭部方向に従ったバイノーラルオーディオのレンダリングをさらに含む、請求項１に記載の方法。
15. レンダリングされたバイノーラルオーディオをユーザが装着するヘッドフォンに伝達することをさらに含む、請求項１４に記載の方法。
16. 前記第二の頭部方向に従って仮想現実（ＶＲ）ビデオおよび拡張現実（ＡＲ）ビデオのうち一つをレンダリングすることをさらに含む、請求項１に記載の方法。
17. 適応基準方向に対する頭部方向を提供するシステムであって、
    ユーザに関連付けられた第一の頭部方向を示す頭部データを提供するように構成された頭部センサと、
    第二のデータを提供するように構成された一つまたは複数の第二のセンサと、
    頭部センサおよび一つまたは複数の第二のセンサに動作可能なように接続されたプロセッシングユニットであって、
    頭部センサから頭部データを受信し、
    一つまたは複数の第二のセンサから第二のデータを受信し、
    前記第二のデータに少なくとも部分的に従って変化する量だけ前記適応基準方向を少なくとも部分的に前記第一の頭部方向に向かって動かすことによって前記適応基準方向を適応させ、それにより新しい適応基準方向を生成し、
    前記第一の頭部方向および前記新しい適応基準方向に従って、前記新しい適応基準方向に対する前記第一の頭部方向としてユーザに関連付けられた第二の頭部方向を生成する、
    ように構成されたプロセッシングユニットと、
    を含む、システム。
18. 前記量が、前記第二のデータの統計的性質の変化に少なくとも部分的に従って変化する、請求項１７に記載のシステム。
19. 前記適応基準方向が、調整量に従って前記適応基準方向を回転させることにより適応される、請求項１７に記載のシステム。
20. 第二のデータが、前記調整量を算出するために用いられる、請求項１９に記載のシステム。
21. 前記回転させることが、前記適応基準方向と前記第一の頭部方向との間を補間することによって実行される、請求項１９に記載のシステム。
22. 前記補間することが、四元数球面線形補間（”Ｓｌｅｒｐ”）演算を用いて実行される、請求項２１に記載のシステム。
23. 前記調整量が、前記第二のデータから導き出される、請求項１９に記載のシステム。
24. 導き出すことが、一つまたは複数の測定値を算出すること、および前記一つまたは複数の測定値を前記調整量に変換することによって実行される、請求項２３に記載のシステム。
25. 前記調整量が、平滑化、および前記調整量の上昇時間、ホールド時間、および衰退時間のうち一つまたは複数を制御することのうち少なくとも一つのためにさらに処理される、請求項２４に記載のシステム。
26. 前記一つまたは複数の測定値が、相対安定性、相対偏差、および絶対偏差のうち一つまたは複数を含む、請求項２４に記載のシステム。
27. 前記一つまたは複数の測定値が、前記一つまたは複数の測定値のうち一つまたは複数と一つまたは複数の各閾値を比較することによって前記調整量に変換される、請求項２４に記載のシステム。
28. 前記第二のデータが、前記適応基準方向の変更が必要であることを示すデータを含む、請求項１７に記載のシステム。
29. 前記第二のデータが、三次元座標系の少なくとも一次元内のユーザに関連付けられた場所、動作、方向、速度および加速度のうち少なくとも一つを示すデータを含む、請求項１７に記載のシステム。
30. 前記第二の頭部方向に従ったバイノーラルオーディオのレンダリングをさらに含む、請求項１７に記載のシステム。
31. レンダリングされたバイノーラルオーディオをユーザが装着するヘッドフォンに伝達することをさらに含む、請求項３０に記載のシステム。
32. 前記第二の頭部方向に従って仮想現実（ＶＲ）ビデオおよび拡張現実（ＡＲ）ビデオのうち一つをレンダリングすることをさらに含む、請求項１７に記載のシステム。
33. 適応基準方向に対する頭部方向を提供するための方法を実行するためのコンピュータによって実行可能な命令のプログラムを有形的に実施する非一過性のコンピュータ読み取り可能なメモリであって、その方法が、
    頭部センサから頭部データを受信し、前記頭部データがユーザに関連付けられた第一の頭部方向を示すことと、
    第二のセンサから第二のデータを受信することと、
    前記第二のデータに少なくとも部分的に従って変化する量だけ前記適応基準方向を少なくとも部分的に前記第一の頭部方向に向かって動かすことによって前記適応基準方向を適応させ、それにより新しい適応基準方向を生成することと、
    前記第一の頭部方向および前記新しい適応基準方向に従って、前記新しい適応基準方向に対する前記第一の頭部方向としてユーザに関連付けられた第二の頭部方向を生成することと、
    を含む、非一過性のコンピュータ読み取り可能なメモリ。

Images