JP7369212B2 - 空間コンピューティングのための写実的キャラクタ構成 - Google Patents

Description

（関連出願の相互参照）
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、米国仮特許出願第６２／８５８，２５１号の利点を請求する。

本開示は、概して、複合現実環境内のオブジェクトと関連付けられる描写および相互作用に関する、システム、方法、および構成に関する。

画面上、映画内、およびゲーム内での仮想キャラクタ技術の改良が行われている。仮想キャラクタの開発における次のステップは、それらに、視認者にとってより真実味があって、視認者により没入型の体験を与える、属性を与えるための仮想キャラクタアクションおよび相互作用の改良であり得る。仮想現実、拡張現実、または複合現実環境内でより認知され、ユーザとより直接相互作用し得る、仮想キャラクタは、ユーザに、より人を引き付ける体験を提供し得る。

しかしながら、仮想キャラクタをより実物のような様式において提示することは、より多くの処理を要求し得る。より実物のような仮想キャラクタの提示を最適化することは、特に、システムの可搬性を維持するために、有限バッテリ容量および有限量の処理リソース等のハードウェア限界を有し得る、複合現実システムにとって重要であり得る。複合現実環境内における仮想キャラクタ提示の最適化は、説得力のある仮想キャラクタを作成することの高いハードルを満たすことを含む、すなわち、レンダリング、アニメーション、変形、衣類、髪、および挙動は、キャラクタが真実味がありながら、また、複合現実システムハードウェアの性能エンベロープ内に適合するためのある無形品質レベルを満たす必要があり得る。

仮想キャラクタを複合現実環境内に表示するためのシステムおよび方法が、開示される。いくつかの実施形態では、仮想キャラクタのビューは、一次関節と、ヘルパ関節とを備える、アニメーションリグに基づく。アニメーションリグは、一次関節とヘルパ関節との間の空間関係によって定義された姿勢にあり得る。ヘルパ関節の場所は、ヘルパ関節設置基準によって決定されてもよい。仮想キャラクタは、複合現実環境内で移動してもよい。いくつかのインスタンスでは、仮想キャラクタは、複合現実環境内の要素と関連付けられる関心度値の比較に基づいて、移動していてもよい。移動と関連付けられる、空間関係変換は、移動情報によって示されてもよい。いくつかの実施形態では、移動情報は、ニューラルネットワークから受信される。いくつかの実施形態では、移動情報は、回帰分析を使用して決定される。
本発明は、例えば、以下を提供する。
（項目１）
方法であって、
ウェアラブル頭部デバイスのディスプレイ上において、キャラクタのビューを複合現実環境内に表示することであって、
前記キャラクタのビューは、前記キャラクタと関連付けられるアニメーションリグに基づき、
前記アニメーションリグは、一次関節と、ヘルパ関節とを備え、
前記一次関節は、前記キャラクタの骨格関節と関連付けられ、
前記ヘルパ関節は、前記アニメーションリグの場所と関連付けられ、
第１の時間では、前記アニメーションリグは、前記一次関節と前記ヘルパ関節との間の第１の空間関係によって定義された第１の姿勢にある、ことと、
第２の時間において、前記アニメーションリグが前記第１の姿勢から第２の姿勢に移動していることを決定することであって、前記第２の姿勢は、前記一次関節と前記ヘルパ関節との間の第２の空間関係によって定義される、ことと、
移動情報に基づいて、前記ウェアラブル頭部デバイスのディスプレイ上において、前記アニメーションリグの表示を前記第１の姿勢から前記第２の姿勢に更新することであって、前記移動情報は、前記第１の空間関係から前記第２の空間関係への変換を示す、ことと
を含む、方法。
（項目２）
ニューラルネットワークに、前記アニメーションリグの移動と関連付けられる情報を伝送することと、
前記ニューラルネットワークから、前記移動情報を受信することであって、前記移動情報は、前記伝送される情報に基づく、ことと
をさらに含む、項目１に記載の方法。
（項目３）
前記ニューラルネットワークは、ＲｅＬＵ活性化関数を使用して、前記移動情報を算出する、項目２に記載の方法。
（項目４）
前記移動情報は、前記ニューラルネットワークに提示される訓練データに基づいて、算出される、項目２に記載の方法。
（項目５）
前記ヘルパ関節の場所は、手動定義および最大移動基準のうちの１つ以上のものを備えるヘルパ関節設置基準によって決定される、項目１に記載の方法。
（項目６）
前記移動情報は、前記一次関節と前記ヘルパ関節との間の回帰分析を使用して決定され、前記第２の空間関係を算出する、項目１に記載の方法。
（項目７）
前記アニメーションリグが前記第１の姿勢から前記第２の姿勢に移動していることを決定することは、前記アニメーションリグがキャラクタ不快感閾値時間より長く前記第１の姿勢にあることを決定することを含む、項目１に記載の方法。
（項目８）
前記アニメーションリグが前記第１の姿勢から前記第２の姿勢に移動していることを決定することは、前記ウェアラブル頭部デバイスと関連付けられる通視線が変化していることを決定することを含む、項目１に記載の方法。
（項目９）
前記キャラクタは、前記複合現実環境の表面上に位置付けられるように表示され、前記方法はさらに、
前記ウェアラブル頭部デバイスのセンサを用いて、前記複合現実環境の表面を感知することと、
前記感知された表面に基づいて、前記アニメーションリグおよび前記表面を整合させることであって、前記第１の姿勢は、前記アニメーションリグおよび前記表面の整合に基づいて決定される、ことと
を含む、項目１に記載の方法。
（項目１０）
前記第１の空間関係から前記第２の空間関係への変換は、前記アニメーションリグが前記第１の姿勢から前記第２の姿勢に移動しているときの前記キャラクタの筋肉の移動と関連付けられる、項目１に記載の方法。
（項目１１）
前記移動情報は、少なくとも部分的に、四元数において表され、
前記移動情報と関連付けられる損失関数は、四元数成分値の平均二乗誤差損失と前記成分値に関するペナルティとを組み合わせることを含む、
項目１に記載の方法。
（項目１２）
前記キャラクタのビューを前記複合現実環境内に表示することは、Ｆｏｒｗａｒｄ＋を使用して、前記キャラクタのビューをレンダリングすることを含む、項目１に記載の方法。
（項目１３）
前記アニメーションリグが前記第１の姿勢から前記第２の姿勢に移動していることを決定することは、前記複合現実環境の第１の要素と関連付けられる関心度値が前記複合現実環境の第２の要素と関連付けられる関心度値を超えることを決定することを含む、項目１に記載の方法。
（項目１４）
前記第１および第２の要素はそれぞれ、前記複合現実環境の無生物オブジェクトと関連付けられる視線ボックス、前記複合現実環境のイベントと関連付けられる関心面積、および前記複合現実環境内のユーザと関連付けられる社会的三角形のうちの１つと関連付けられる、項目１３に記載の方法。
（項目１５）
システムであって、
ディスプレイを備えるウェアラブル頭部デバイスと、
１つ以上のプロセッサであって、前記１つ以上のプロセッサは、
前記ディスプレイ上において、キャラクタのビューを複合現実環境内に表示することであって、
前記キャラクタのビューは、前記キャラクタと関連付けられるアニメーションリグに基づき、
前記アニメーションリグは、一次関節と、ヘルパ関節とを備え、
前記一次関節は、前記キャラクタの骨格関節と関連付けられ、
前記ヘルパ関節は、前記アニメーションリグの場所と関連付けられ、
第１の時間では、前記アニメーションリグは、前記一次関節と前記ヘルパ関節との間の第１の空間関係によって定義された第１の姿勢にある、ことと、
第２の時間において、前記アニメーションリグが前記第１の姿勢から第２の姿勢に移動していることを決定することであって、前記第２の姿勢は、前記一次関節と前記ヘルパ関節との間の第２の空間関係によって定義される、ことと、
移動情報に基づいて、前記ディスプレイ上において、前記アニメーションリグの表示を前記第１の姿勢から前記第２の姿勢に更新することであって、前記移動情報は、前記第１の空間関係から前記第２の空間関係への変換を示す、ことと
を含む方法を実行するように構成される、１つ以上のプロセッサと
を備える、システム。
（項目１６）
前記方法はさらに、
ニューラルネットワークに、前記アニメーションリグの移動と関連付けられる情報を伝送することと、
前記ニューラルネットワークから、前記移動情報を受信することであって、前記移動情報は、前記伝送される情報に基づく、ことと
を含む、項目１５に記載のシステム。
（項目１７）
前記アニメーションリグが前記第１の姿勢から前記第２の姿勢に移動していることを決定することは、前記複合現実環境の第１の要素と関連付けられる関心度値が前記複合現実環境の第２の要素と関連付けられる関心度値を超えることを決定することを含む、項目１５に記載のシステム。
（項目１８）
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
ウェアラブル頭部デバイスのディスプレイ上において、キャラクタのビューを複合現実環境内に表示することであって、
前記キャラクタのビューは、前記キャラクタと関連付けられるアニメーションリグに基づき、
前記アニメーションリグは、一次関節と、ヘルパ関節とを備え、
前記一次関節は、前記キャラクタの骨格関節と関連付けられ、
前記ヘルパ関節は、前記アニメーションリグの場所と関連付けられ、
第１の時間では、前記アニメーションリグは、前記一次関節と前記ヘルパ関節との間の第１の空間関係によって定義された第１の姿勢にある、ことと、
第２の時間において、前記アニメーションリグが前記第１の姿勢から第２の姿勢に移動していることを決定することであって、前記第２の姿勢は、前記一次関節と前記ヘルパ関節との間の第２の空間関係によって定義される、ことと、
移動情報に基づいて、前記ウェアラブル頭部デバイスのディスプレイ上において、前記アニメーションリグの表示を前記第１の姿勢から前記第２の姿勢に更新することであって、前記移動情報は、前記第１の空間関係から前記第２の空間関係への変換を示す、ことと
を含む方法を実行させる、非一過性コンピュータ可読媒体。
（項目１９）
前記方法はさらに、
ニューラルネットワークに、前記アニメーションリグの移動と関連付けられる情報を伝送することと、
前記ニューラルネットワークから、前記移動情報を受信することであって、前記移動情報は、前記伝送される情報に基づく、ことと
を含む、項目１８に記載の非一過性コンピュータ可読媒体。
（項目２０）
前記アニメーションリグが前記第１の姿勢から前記第２の姿勢に移動していることを決定することは、前記複合現実環境の第１の要素と関連付けられる関心度値が前記複合現実環境の第２の要素と関連付けられる関心度値を超えることを決定することを含む、項目１８に記載の非一過性コンピュータ可読媒体。

図１Ａ－１Ｃは、本開示の１つ以上の実施形態による、例示的環境を図示する。 図１Ａ－１Ｃは、本開示の１つ以上の実施形態による、例示的環境を図示する。 図１Ａ－１Ｃは、本開示の１つ以上の実施形態による、例示的環境を図示する。

図２Ａ－２Ｄは、本開示の実施形態による、例示的複合現実システムのコンポーネントを図示する。 図２Ａ－２Ｄは、本開示の実施形態による、例示的複合現実システムのコンポーネントを図示する。 図２Ａ－２Ｄは、本開示の実施形態による、例示的複合現実システムのコンポーネントを図示する。 図２Ａ－２Ｄは、本開示の実施形態による、例示的複合現実システムのコンポーネントを図示する。

図３Ａは、本開示の実施形態による、例示的複合現実ハンドヘルドコントローラを図示する。

図３Ｂは、本開示の実施形態による、例示的補助ユニットを図示する。

図４は、本開示の実施形態による、例示的複合現実システムの例示的機能的ブロック図を図示する。

図５は、本開示の実施形態による、複合現実環境内の例示的キャラクタを図示する。

図６は、本開示の実施形態による、複合現実システム内の例示的アニメーションリグを図示する。

図７Ａ－７Ｂは、本開示の実施形態による、例示的複合現実環境の側面を図示する。 図７Ａ－７Ｂは、本開示の実施形態による、例示的複合現実環境の側面を図示する。

図８は、本開示の実施形態による、複合現実システムの例示的方法を図示する。

図９は、本開示の実施形態による、複合現実システムの例示的方法を図示する。

実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面を参照する。他の実施例も、使用されることができ、構造変更が、開示される実施例の範囲から逸脱することなく、行われることができることを理解されたい。

全ての人々と同様に、複合現実システムのユーザは、実環境内に存在する、すなわち、「実世界」の３次元部分と、そのコンテンツの全てとが、ユーザによって知覚可能である。例えば、ユーザは、通常の人間の感覚、すなわち、視覚、音、感触、味、臭いを使用して、実環境を知覚し、実環境内で自身の身体を移動させることによって、実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができる。例えば、座標は、緯度、経度、および海抜に対する高度、基準点から３つの直交次元における距離、または他の好適な値を含むことができる。同様に、ベクトルは、座標空間内の方向および大きさを有する、量を説明することができる。

コンピューティングデバイスは、例えば、デバイスと関連付けられたメモリ内に、仮想環境の表現を維持することができる。本明細書で使用されるように、仮想環境は、３次元空間の算出表現である。仮想環境は、任意のオブジェクトの表現、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられた他の特性を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路（例えば、プロセッサ）は、仮想環境の状態を維持および更新することができる。すなわち、プロセッサは、第１の時間ｔ０において、仮想環境と関連付けられたデータおよび／またはユーザによって提供される入力に基づいて、第２の時間ｔ１における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、時間ｔ０において、第１の座標に位置し、あるプログラムされた物理的パラメータ（例えば、質量、摩擦係数）を有し、ユーザから受信された入力が、力がある方向ベクトルにおいてオブジェクトに印加されるべきであることを示す場合、プロセッサは、運動学の法則を適用し、基本力学を使用して、時間ｔ１におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境について既知の任意の好適な情報および／または任意の好適な入力を使用して、時間ｔ１における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関連するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア（例えば、スクリプト）、仮想環境内の信号（例えば、オーディオ信号）の挙動を定義するためのソフトウェア、仮想環境と関連付けられたパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を生成するためのソフトウェア、入力および出力をハンドリングするためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ（例えば、仮想オブジェクトを経時的に移動させるためのアニメーションデータ）を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。

ディスプレイまたはスピーカ等の出力デバイスは、仮想環境のいずれかまたは全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る、仮想オブジェクト（無生物オブジェクト、人々、動物、光等の表現を含み得る）を含んでもよい。プロセッサは、仮想環境のビュー（例えば、原点座標、視軸、および錐台を伴う、「カメラ」に対応する）を決定し、ディスプレイに、そのビューに対応する仮想環境の視認可能場面をレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能場面は、仮想環境内のいくつかの仮想オブジェクトを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、ユーザに１つ以上のオーディオ信号として提示され得る、オーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトは、オブジェクトの場所座標から生じる音を生成してもよい（例えば、仮想キャラクタが、発話する、または音効果を生じさせ得る）、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある、音楽キューまたは周囲音と関連付けられてもよい。プロセッサは、「聴取者」座標に対応するオーディオ信号、例えば、仮想環境内の音の合成に対応し、聴取者座標において聴取者によって聞こえるであろうオーディオ信号をシミュレートするように混合および処理される、オーディオ信号を決定し、ユーザに、１つ以上のスピーカを介して、オーディオ信号を提示することができる。

仮想環境は、算出構造として存在するため、ユーザは、直接、通常の感覚を使用して、仮想環境を知覚し得ない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触覚的出力デバイス等によって、ユーザに提示されるように、間接的に、仮想環境を知覚することができる。同様に、ユーザは、直接、仮想環境に触れる、それを操作する、または別様に、それと相互作用し得ないが、入力データを、入力デバイスまたはセンサを介して、デバイスまたはセンサデータを使用して、仮想環境を更新し得る、プロセッサに提供することができる。例えば、カメラセンサは、ユーザが仮想環境のオブジェクトを移動させようとしていることを示す、光学データを提供することができ、プロセッサは、そのデータを使用して、仮想環境内において、適宜、オブジェクトを応答させることができる。

複合現実システムは、ユーザに、例えば、透過型ディスプレイおよび／または１つ以上のスピーカ（例えば、ウェアラブル頭部デバイスの中に組み込まれ得る）を使用して、実環境および仮想環境の側面を組み合わせる、複合現実環境（「ＭＲＥ」）を提示することができる。いくつかの実施形態では、１つ以上のスピーカは、ウェアラブル頭部デバイスの外部にあってもよい。本明細書で使用されるように、ＭＲＥは、実環境および対応する仮想環境の同時表現である。いくつかの実施例では、対応する実および仮想環境は、単一座標空間を共有する。いくつかの実施例では、実座標空間および対応する仮想座標空間は、変換行列（または他の好適な表現）によって相互に関連する。故に、単一座標（いくつかの実施例では、変換行列とともに）は、実環境内の第１の場所と、また、仮想環境内の第２の対応する場所とを定義し得、その逆も同様である。

ＭＲＥでは、（例えば、ＭＲＥと関連付けられた仮想環境内の）仮想オブジェクトは、（例えば、ＭＲＥと関連付けられた実環境内の）実オブジェクトに対応し得る。例えば、ＭＲＥの実環境が、実街灯柱（実オブジェクト）をある場所座標に含む場合、ＭＲＥの仮想環境は、仮想街灯柱（仮想オブジェクト）を対応する場所座標に含んでもよい。本明細書で使用されるように、実オブジェクトは、その対応する仮想オブジェクトとともに組み合わせて、「複合現実オブジェクト」を構成する。仮想オブジェクトが対応する実オブジェクトに完璧に合致または整合することは、必要ではない。いくつかの実施例では、仮想オブジェクトは、対応する実オブジェクトの簡略化されたバージョンであることができる。例えば、実環境が、実街灯柱を含む場合、対応する仮想オブジェクトは、実街灯柱と概ね同一高さおよび半径の円筒形を含んでもよい（街灯柱が略円筒形形状であり得ることを反映する）。仮想オブジェクトをこのように簡略化することは、算出効率を可能にすることができ、そのような仮想オブジェクト上で実施されるための計算を簡略化することができる。さらに、ＭＲＥのいくつかの実施例では、実環境内の全ての実オブジェクトが、対応する仮想オブジェクトと関連付けられなくてもよい。同様に、ＭＲＥのいくつかの実施例では、仮想環境内の全ての仮想オブジェクトが、対応する実オブジェクトと関連付けられなくてもよい。すなわち、いくつかの仮想オブジェクトが、任意の実世界対応物を伴わずに、ＭＲＥの仮想環境内にのみ存在し得る。

いくつかの実施例では、仮想オブジェクトは、時として著しく、対応する実オブジェクトのものと異なる、特性を有してもよい。例えば、ＭＲＥ内の実環境は、緑色の２本の枝が延びたサボテン、すなわち、とげだらけの無生物オブジェクトを含み得るが、ＭＲＥ内の対応する仮想オブジェクトは、人間の顔特徴および無愛想な態度を伴う、緑色の２本の腕の仮想キャラクタの特性を有してもよい。本実施例では、仮想オブジェクトは、ある特性（色、腕の数）において、その対応する実オブジェクトに類似するが、他の特性（顔特徴、性格）において、実オブジェクトと異なる。このように、仮想オブジェクトは、創造的、抽象的、誇張された、または架空の様式において、実オブジェクトを表す、または挙動（例えば、人間の性格）をそうでなければ無生物である実オブジェクトに付与する潜在性を有する。いくつかの実施例では、仮想オブジェクトは、実世界対応物を伴わない、純粋に架空の創造物（例えば、おそらく、実環境内の虚空に対応する場所における、仮想環境内の仮想モンスタ）であってもよい。

いくつかの実施例では、仮想オブジェクトは、対応する実オブジェクトに類似する、特性を有し得る。例えば、仮想キャラクタは、ユーザに没入型の複合現実体験を提供するために、実物のような人形として、仮想または複合現実環境内に提示されてもよい。実物のような特性を有する、仮想キャラクタを用いることで、ユーザは、実際の人物と相互作用しているように感じ得る。そのようなインスタンスでは、仮想キャラクタの筋肉移動および視線等のアクションが自然に現れることが望ましい。例えば、仮想キャラクタの移動は、その対応する実オブジェクトに類似すべきである（例えば、仮想人間は、実際の人間のように歩行する、またはその腕を移動させるべきである）。別の実施例として、仮想人間のジェスチャおよび位置付けは、自然に現れるべきであって、仮想人間は、ユーザとの相互作用を開始することができる（例えば、仮想人間は、ユーザとの協働体験につながることができる）。実物のような特性を有する、仮想キャラクタの提示は、さらに本明細書に詳細に説明される。

ユーザに、実環境を不明瞭にしながら、仮想環境を提示する、ＶＲシステムと比較して、ＭＲＥを提示する、複合現実システムは、仮想環境が提示される間、実環境が知覚可能なままであるであるという利点をもたらす。故に、複合現実システムのユーザは、実環境と関連付けられた視覚的およびオーディオキューを使用して、対応する仮想環境を体験し、それと相互作用することが可能である。実施例として、ＶＲシステムのユーザは、本明細書に述べられたように、ユーザが、直接、仮想環境を知覚し得る、またはそれと相互作用し得ないため、仮想環境内に表示される仮想オブジェクトを知覚する、またはそれと相互作用することに苦戦し得るが、ＭＲシステムのユーザは、その自身の実環境内の対応する実オブジェクトが見え、聞こえ、触れることによって、仮想オブジェクトと相互作用することがより直感的および自然であると見出し得る。本レベルの相互作用は、ユーザの仮想環境との没入感、つながり、および関与の感覚を向上させ得る。同様に、実環境および仮想環境を同時に提示することによって、複合現実システムは、ＶＲシステムと関連付けられた負の心理学的感覚（例えば、認知的不協和）および負の物理的感覚（例えば、乗り物酔い）を低減させ得る。複合現実システムはさらに、実世界の我々の体験を拡張または改変し得る用途に関する多くの可能性をもたらす。

図１Ａは、ユーザ１１０が複合現実システム１１２を使用する、例示的実環境１００を図示する。複合現実システム１１２は、ディスプレイ（例えば、透過型ディスプレイ）と、１つ以上のスピーカと、例えば、本明細書に説明されるような１つ以上のセンサ（例えば、カメラ）とを備えてもよい。示される実環境１００は、その中にユーザ１１０が立っている、長方形の部屋１０４Ａと、実オブジェクト１２２Ａ（ランプ）、１２４Ａ（テーブル）、１２６Ａ（ソファ）、および１２８Ａ（絵画）とを備える。部屋１０４Ａは、場所座標（例えば、座標系１０８）を用いて空間的に説明され得、実環境１００の場所は、場所座標の原点（例えば、点１０６）に対して説明され得る。図１Ａに示されるように、その原点を点１０６（世界座標）に伴う、環境／世界座標系１０８（ｘ－軸１０８Ｘ、ｙ－軸１０８Ｙ、およびｚ－軸１０８Ｚを備える）は、実環境１００のための座標空間を定義し得る。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、複合現実システム１１２の電源がオンにされた場所に対応してもよい。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、動作の間、リセットされてもよい。いくつかの実施例では、ユーザ１１０は、実環境１００内の実オブジェクトと見なされ得る。同様に、ユーザ１１０の身体部分（例えば、手、足）は、実環境１００内の実オブジェクトと見なされ得る。いくつかの実施例では、その原点を点１１５（例えば、ユーザ／聴取者／頭部座標）に伴う、ユーザ／聴取者／頭部座標系１１４（ｘ－軸１１４Ｘ、ｙ－軸１１４Ｙ、およびｚ－軸１１４Ｚを備える）は、その上に複合現実システム１１２が位置する、ユーザ／聴取者／頭部のための座標空間を定義し得る。ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の１つ以上のコンポーネントに対して定義されてもよい。例えば、ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の初期較正等の間、複合現実システム１１２のディスプレイに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、ユーザ／聴取者／頭部座標系１１４空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、左耳座標１１６および右耳座標１１７が、ユーザ／聴取者／頭部座標系１１４の原点１１５に対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、左耳座標１１６および右耳座標１１７とユーザ／聴取者／頭部座標系１１４空間との間の変換を特性評価することができる。ユーザ／聴取者／頭部座標系１１４は、ユーザの頭部または頭部搭載型デバイスに対する、例えば、環境／世界座標系１０８に対する場所の表現を簡略化することができる。同時位置特定およびマッピング（ＳＬＡＭ）、ビジュアルオドメトリ、または他の技法を使用して、ユーザ座標系１１４と環境座標系１０８との間の変換が、リアルタイムで決定および更新されることができる。

図１Ｂは、実環境１００に対応する、例示的仮想環境１３０を図示する。示される仮想環境１３０は、実長方形部屋１０４Ａに対応する仮想長方形部屋１０４Ｂと、実オブジェクト１２２Ａに対応する仮想オブジェクト１２２Ｂと、実オブジェクト１２４Ａに対応する仮想オブジェクト１２４Ｂと、実オブジェクト１２６Ａに対応する仮想オブジェクト１２６Ｂとを備える。仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂと関連付けられたメタデータは、対応する実オブジェクト１２２Ａ、１２４Ａ、１２６Ａから導出される情報を含むことができる。仮想環境１３０は、加えて、仮想キャラクタ１３２を備え、これは、実環境１００内の任意の実オブジェクトに対応し得ない。実環境１００内の実オブジェクト１２８Ａは、仮想環境１３０内の任意の仮想オブジェクトに対応し得ない。その原点を点１３４（持続的座標）に伴う、持続的座標系１３３（ｘ－軸１３３Ｘ、ｙ－軸１３３Ｙ、およびｚ－軸１３３Ｚを備える）は、仮想コンテンツのための座標空間を定義し得る。持続的座標系１３３の原点１３４は、実オブジェクト１２６Ａ等の１つ以上の実オブジェクトと相対的に／それに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、持続的座標系１３３空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、持続的座標系１３３の原点１３４に対するその自身の持続的座標点を有してもよい。いくつかの実施形態では、複数の持続的座標系が存在してもよく、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、１つ以上の持続的座標系に対するその自身の持続的座標点を有してもよい。

持続的座標データは、物理的環境に対して存続する、座標データであり得る。持続的座標データは、ＭＲシステム（例えば、ＭＲシステム１１２、２００）によって使用され、持続的仮想コンテンツを設置し得、これは、その上に仮想オブジェクトが表示されている、ディスプレイの移動には結び付けられ得ない。例えば、２次元画面が、仮想オブジェクトを画面上のある位置に対して表示し得る。２次元画面が移動するにつれて、仮想コンテンツは、画面に伴って移動し得る。いくつかの実施形態では、持続的仮想コンテンツは、部屋の角に表示され得る。ＭＲユーザが、角を見ると、仮想コンテンツが見え、角から視線を逸らし（仮想コンテンツは、仮想コンテンツが、移動されるユーザの頭部の運動に起因して、ユーザの視野内からユーザの視野外の場所に移動している場合があるため、もはや可視ではなくなり得る）、角における仮想コンテンツが見えるように視線を戻し得る（実オブジェクトが挙動し得る方法に類似する）。

いくつかの実施形態では、持続的座標データ（例えば、持続的座標系および／または持続的座標フレーム）は、原点と、３つの軸とを含むことができる。例えば、持続的座標系は、ＭＲシステムによって、部屋の中心に割り当てられてもよい。いくつかの実施形態では、ユーザが、部屋を動き回り、部屋から外に出て、部屋に再進入する等し得るが、持続的座標系は、部屋の中心に留まり得る（例えば、物理的環境に対して存続するため）。いくつかの実施形態では、仮想オブジェクトは、持続的仮想コンテンツを表示することを有効にし得る、持続的座標データへの変換を使用して表示されてもよい。いくつかの実施形態では、ＭＲシステムは、同時位置特定およびマッピングを使用して、持続的座標データを生成してもよい（例えば、ＭＲシステムは、持続的座標系を空間内の点に割り当ててもよい）。いくつかの実施形態では、ＭＲシステムは、持続的座標データを規則的インターバルにおいて生成することによって、環境をマッピングしてもよい（例えば、ＭＲシステムは、持続的座標系を、持続的座標系が別の持続的座標系の少なくとも５フィート以内にあり得る、グリッド内に割り当ててもよい）。

いくつかの実施形態では、持続的座標データは、ＭＲシステムによって生成され、遠隔サーバに伝送されてもよい。いくつかの実施形態では、遠隔サーバは、持続的座標データを受信するように構成されてもよい。いくつかの実施形態では、遠隔サーバは、複数の観察インスタンスからの持続的座標データを同期させるように構成されてもよい。例えば、複数のＭＲシステムは、同一部屋と持続的座標データをマッピングし、そのデータを遠隔サーバに伝送してもよい。いくつかの実施形態では、遠隔サーバは、本観察データを使用して、規準持続的座標データを生成してもよく、これは、１つ以上の観察に基づいてもよい。いくつかの実施形態では、規準持続的座標データは、持続的座標データの単一観察より正確および／または信頼性があり得る。いくつかの実施形態では、規準持続的座標データは、１つ以上のＭＲシステムに伝送されてもよい。例えば、ＭＲシステムは、画像認識および／または場所データを使用して、それが、対応する規準持続的座標データを有する、部屋内に位置することを認識してもよい（例えば、他のＭＲシステムが、部屋を事前にマッピングしているため）。いくつかの実施形態では、ＭＲシステムは、その場所に対応する規準持続的座標データを遠隔サーバから受信してもよい。

図１Ａおよび１Ｂに関して、環境／世界座標系１０８は、実環境１００および仮想環境１３０の両方のための共有座標空間を定義する。示される実施例では、座標空間は、その原点を点１０６に有する。さらに、座標空間は、同一の３つの直交軸（１０８Ｘ、１０８Ｙ、１０８Ｚ）によって定義される。故に、実環境１００内の第１の場所および仮想環境１３０内の第２の対応する場所は、同一座標空間に関して説明されることができる。これは、同一座標が両方の場所を識別するために使用され得るため、実および仮想環境内の対応する場所を識別および表示するステップを簡略化する。しかしながら、いくつかの実施例では、対応する実および仮想環境は、共有座標空間を使用する必要がない。例えば、いくつかの実施例では（図示せず）、行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、実環境座標空間と仮想環境座標空間との間の変換を特性評価することができる。

図１Ｃは、同時に、実環境１００および仮想環境１３０の側面をユーザ１１０に複合現実システム１１２を介して提示する、例示的ＭＲＥ１５０を図示する。示される実施例では、ＭＲＥ１５０は、同時に、ユーザ１１０に、実環境１００からの実オブジェクト１２２Ａ、１２４Ａ、１２６Ａ、および１２８Ａ（例えば、複合現実システム１１２のディスプレイの透過性部分を介して）と、仮想環境１３０からの仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２（例えば、複合現実システム１１２のディスプレイのアクティブディスプレイ部分を介して）とを提示する。本明細書に説明されるように、原点１０６は、ＭＲＥ１５０に対応する座標空間のための原点として作用し、座標系１０８は、座標空間のためのｘ－軸、ｙ－軸、およびｚ－軸を定義する。

示される実施例では、複合現実オブジェクトは、座標空間１０８内の対応する場所を占有する、対応する対の実オブジェクトおよび仮想オブジェクト（例えば、１２２Ａ／１２２Ｂ、１２４Ａ／１２４Ｂ、１２６Ａ／１２６Ｂ）を備える。いくつかの実施例では、実オブジェクトおよび仮想オブジェクトは両方とも、同時に、ユーザ１１０に可視であってもよい。これは、例えば、仮想オブジェクトが対応する実オブジェクトのビューを拡張させるように設計される情報を提示する、インスタンスにおいて望ましくあり得る（仮想オブジェクトが古代の損傷された彫像の欠けた部分を提示する、博物館用途等）。いくつかの実施例では、仮想オブジェクト（１２２Ｂ、１２４Ｂ、および／または１２６Ｂ）は、対応する実オブジェクト（１２２Ａ、１２４Ａ、および／または１２６Ａ）をオクルードするように、表示されてもよい（例えば、ピクセル化オクルージョンシャッタを使用する、アクティブピクセル化オクルージョンを介して）。これは、例えば、仮想オブジェクトが対応する実オブジェクトのための視覚的置換として作用する、インスタンスにおいて望ましくあり得る（無生物実オブジェクトが「生きている」キャラクタとなる、双方向ストーリーテリング用途等）。

いくつかの実施例では、実オブジェクト（例えば、１２２Ａ、１２４Ａ、１２６Ａ）は、必ずしも、仮想オブジェクトを構成するとは限らない、仮想コンテンツまたはヘルパデータと関連付けられてもよい。仮想コンテンツまたはヘルパデータは、複合現実環境内の仮想オブジェクトの処理またはハンドリングを促進することができる。例えば、そのような仮想コンテンツは、対応する実オブジェクトの２次元表現、対応する実オブジェクトと関連付けられたカスタムアセットタイプ、または対応する実オブジェクトと関連付けられた統計的データを含み得る。本情報は、不必要な算出オーバーヘッドを被ることなく、実オブジェクトに関わる計算を可能にする、または促進することができる。

いくつかの実施例では、本明細書に説明される提示はまた、オーディオ側面を組み込んでもよい。例えば、ＭＲＥ１５０では、仮想キャラクタ１３２は、キャラクタがＭＲＥ１５０の周囲を歩き回るにつれて生成される、足音効果等の１つ以上のオーディオ信号と関連付けられ得る。本明細書に説明されるように、複合現実システム１１２のプロセッサは、ＭＲＥ１５０内の全てのそのような音の混合および処理された合成に対応するオーディオ信号を算出し、複合現実システム１１２内に含まれる１つ以上のスピーカおよび／または１つ以上の外部スピーカを介して、オーディオ信号をユーザ１１０に提示することができる。

例示的複合現実システム１１２は、ディスプレイ（接眼ディスプレイであり得る、左および右透過型ディスプレイと、ディスプレイからの光をユーザの眼に結合するための関連付けられたコンポーネントとを備え得る）と、左および右スピーカ（例えば、それぞれ、ユーザの左および右耳に隣接して位置付けられる）と、慣性測定ユニット（ＩＭＵ）（例えば、頭部デバイスのつるのアームに搭載される）と、直交コイル電磁受信機（例えば、左つる部品に搭載される）と、ユーザから離れるように配向される、左および右カメラ（例えば、深度（飛行時間）カメラ）と、ユーザに向かって配向される、左および右眼カメラ（例えば、ユーザの眼移動を検出するため）とを備える、ウェアラブル頭部デバイス（例えば、ウェアラブル拡張現実または複合現実頭部デバイス）を含むことができる。しかしながら、複合現実システム１１２は、任意の好適なディスプレイ技術および任意の好適なセンサ（例えば、光学、赤外線、音響、ＬＩＤＡＲ、ＥＯＧ、ＧＰＳ、磁気）を組み込むことができる。加えて、複合現実システム１１２は、ネットワーキング特徴（例えば、Ｗｉ－Ｆｉ能力、モバイルネットワーク（例えば、４Ｇ、５Ｇ能力）を組み込み、ＭＲＥ１５０および他の複合現実システム内における要素（例えば、仮想キャラクタ１３２）の提示と関連付けられるデータ処理および訓練データのためのニューラルネットワーク（例えば、クラウド内に）を含む、他のデバイスおよびシステムと通信してもよい。複合現実システム１１２はさらに、バッテリ（ユーザの腰部の周囲に装着されるように設計されるベルトパック等の補助ユニット内に搭載されてもよい）と、プロセッサと、メモリとを含んでもよい。複合現実システム１１２のウェアラブル頭部デバイスは、ユーザの環境に対するウェアラブル頭部デバイスの座標セットを出力するように構成される、ＩＭＵまたは他の好適なセンサ等の追跡コンポーネントを含んでもよい。いくつかの実施例では、追跡コンポーネントは、入力をプロセッサに提供し、同時位置特定およびマッピング（ＳＬＡＭ）および／またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、複合現実システム１１２はまた、ハンドヘルドコントローラ３００、および／または本明細書に説明されるように、ウェアラブルベルトパックであり得る補助ユニット３２０を含んでもよい。

いくつかの実施形態では、アニメーションリグが、仮想キャラクタ１３２をＭＲＥ１５０内に提示するために使用される。アニメーションリグが、仮想キャラクタ１３２に関して説明されるが、アニメーションリグは、ＭＲＥ１５０内の他のキャラクタ（例えば、人間キャラクタ、動物キャラクタ、抽象キャラクタ）とも関連付けられ得ることを理解されたい。アニメーションリグの移動は、さらに本明細書に詳細に説明される。

図２Ａ－２Ｄは、ＭＲＥ（ＭＲＥ１５０に対応し得る）または他の仮想環境をユーザに提示するために使用され得る、例示的複合現実システム２００（複合現実システム１１２に対応し得る）のコンポーネントを図示する。図２Ａは、例示的複合現実システム２００内に含まれるウェアラブル頭部デバイス２１０２の斜視図を図示する。図２Ｂは、ユーザの頭部２２０２上に装着されるウェアラブル頭部デバイス２１０２の上面図を図示する。図２Ｃは、ウェアラブル頭部デバイス２１０２の正面図を図示する。図２Ｄは、ウェアラブル頭部デバイス２１０２の例示的接眼レンズ２１１０の縁視図を図示する。図２Ａ－２Ｃに示されるように、例示的ウェアラブル頭部デバイス２１０２は、例示的左接眼レンズ（例えば、左透明導波管セット接眼レンズ）２１０８と、例示的右接眼レンズ（例えば、右透明導波管セット接眼レンズ）２１１０とを含む。各接眼レンズ２１０８および２１１０は、それを通して実環境が可視となる、透過性要素と、実環境に重複するディスプレイ（例えば、画像毎に変調された光を介して）を提示するためのディスプレイ要素とを含むことができる。いくつかの実施例では、そのようなディスプレイ要素は、画像毎に変調された光の流動を制御するための表面回折光学要素を含むことができる。例えば、左接眼レンズ２１０８は、左内部結合格子セット２１１２と、左直交瞳拡張（ＯＰＥ）格子セット２１２０と、左出射（出力）瞳拡張（ＥＰＥ）格子セット２１２２とを含むことができる。同様に、右接眼レンズ２１１０は、右内部結合格子セット２１１８と、右ＯＰＥ格子セット２１１４と、右ＥＰＥ格子セット２１１６とを含むことができる。画像毎に変調された光は、内部結合格子２１１２および２１１８、ＯＰＥ２１１４および２１２０、およびＥＰＥ２１１６および２１２２を介して、ユーザの眼に転送されることができる。各内部結合格子セット２１１２、２１１８は、光をその対応するＯＰＥ格子セット２１２０、２１１４に向かって偏向させるように構成されることができる。各ＯＰＥ格子セット２１２０、２１１４は、光をその関連付けられたＥＰＥ２１２２、２１１６に向かって下方に漸次的に偏向させ、それによって、形成されている射出瞳を水平に延在させるように設計されることができる。各ＥＰＥ２１２２、２１１６は、その対応するＯＰＥ格子セット２１２０、２１１４から受信された光の少なくとも一部を、接眼レンズ２１０８、２１１０の背後に定義される、ユーザアイボックス位置（図示せず）に外向きに漸次的に再指向し、アイボックスに形成される射出瞳を垂直に延在させるように構成されることができる。代替として、内部結合格子セット２１１２および２１１８、ＯＰＥ格子セット２１１４および２１２０、およびＥＰＥ格子セット２１１６および２１２２の代わりに、接眼レンズ２１０８および２１１０は、ユーザの眼への画像毎に変調された光の結合を制御するための格子および／または屈折および反射性特徴の他の配列を含むことができる。

いくつかの実施例では、ウェアラブル頭部デバイス２１０２は、左つるのアーム２１３０と、右つるのアーム２１３２とを含むことができ、左つるのアーム２１３０は、左スピーカ２１３４を含み、右つるのアーム２１３２は、右スピーカ２１３６を含む。直交コイル電磁受信機２１３８は、左こめかみ部品またはウェアラブル頭部ユニット２１０２内の別の好適な場所に位置することができる。慣性測定ユニット（ＩＭＵ）２１４０は、右つるのアーム２１３２またはウェアラブル頭部デバイス２１０２内の別の好適な場所に位置することができる。ウェアラブル頭部デバイス２１０２はまた、左深度（例えば、飛行時間）カメラ２１４２と、右深度カメラ２１４４とを含むことができる。深度カメラ２１４２、２１４４は、好適には、ともにより広い視野を網羅するように、異なる方向に配向されることができる。

図２Ａ－２Ｄに示される実施例では、画像毎に変調された光の左源２１２４は、左内部結合格子セット２１１２を通して、左接眼レンズ２１０８の中に光学的に結合されることができ、画像毎に変調された光の右源２１２６は、右内部結合格子セット２１１８を通して、右接眼レンズ２１１０の中に光学的に結合されることができる。画像毎に変調された光の源２１２４、２１２６は、例えば、光ファイバスキャナ、デジタル光処理（ＤＬＰ）チップまたはシリコン上液晶（ＬＣｏＳ）変調器等の電子光変調器を含む、プロジェクタ、または側面あたり１つ以上のレンズを使用して、内部結合格子セット２１１２、２１１８の中に結合される、マイクロ発光ダイオード（μＬＥＤ）またはマイクロ有機発光ダイオード（μＯＬＥＤ）パネル等の発光型ディスプレイを含むことができる。入力結合格子セット２１１２、２１１８は、画像毎に変調された光の源２１２４、２１２６からの光を、接眼レンズ２１０８、２１１０のための全内部反射（ＴＩＲ）に関する臨界角を上回る角度に偏向させることができる。ＯＰＥ格子セット２１１４、２１２０は、ＴＩＲによって伝搬する光をＥＰＥ格子セット２１１６、２１２２に向かって下方に漸次的に偏向させる。ＥＰＥ格子セット２１１６、２１２２は、ユーザの眼の瞳孔を含む、ユーザの顔に向かって、光を漸次的に結合する。

いくつかの実施例では、図２Ｄに示されるように、左接眼レンズ２１０８および右接眼レンズ２１１０はそれぞれ、複数の導波管２４０２を含む。例えば、各接眼レンズ２１０８、２１１０は、複数の個々の導波管を含むことができ、それぞれ、個別の色チャネル（例えば、赤色、青色、および緑色）専用である。いくつかの実施例では、各接眼レンズ２１０８、２１１０は、複数のセットのそのような導波管を含むことができ、各セットは、異なる波面曲率を放出される光に付与するように構成される。波面曲率は、例えば、ユーザの正面のある距離（例えば、波面曲率の逆数に対応する距離）に位置付けられる仮想オブジェクトを提示するように、ユーザの眼に対して凸面であってもよい。いくつかの実施例では、ＥＰＥ格子セット２１１６、２１２２は、各ＥＰＥを横断して出射する光のＰｏｙｎｔｉｎｇベクトルを改変することによって凸面波面曲率をもたらすために、湾曲格子溝を含むことができる。

いくつかの実施例では、表示されるコンテンツが３次元である知覚を作成するために、立体視的に調節される左および右眼像は、画像毎に光変調器２１２４、２１２６および接眼レンズ２１０８、２１１０を通して、ユーザに提示されることができる。３次元仮想オブジェクトの提示の知覚される現実性は、仮想オブジェクトが立体視左および右画像によって示される距離に近似する距離に表示されるように、導波管（したがって、対応する波面曲率）を選択することによって向上されることができる。本技法はまた、立体視左および右眼像によって提供される深度知覚キューと人間の眼の自動遠近調節（例えば、オブジェクト距離依存焦点）との間の差異によって生じ得る、一部のユーザによって被られる乗り物酔いを低減させ得る。

図２Ｄは、例示的ウェアラブル頭部デバイス２１０２の右接眼レンズ２１１０の上部からの縁視図を図示する。図２Ｄに示されるように、複数の導波管２４０２は、３つの導波管の第１のサブセット２４０４と、３つの導波管の第２のサブセット２４０６とを含むことができる。導波管の２つのサブセット２４０４、２４０６は、異なる波面曲率を出射する光に付与するために異なる格子線曲率を特徴とする、異なるＥＰＥ格子によって区別されることができる。導波管２４０４、２４０６のサブセットのそれぞれ内において、各導波管は、異なるスペクトルチャネル（例えば、赤色、緑色、および青色スペクトルチャネルのうちの１つ）をユーザの右眼２２０６に結合するために使用されることができる。図２Ｄには図示されないが、左接眼レンズ２１０８の構造は、右接眼レンズ２１１０の構造に対して鏡映され得る。

図３Ａは、複合現実システム２００の例示的ハンドヘルドコントローラコンポーネント３００を図示する。いくつかの実施例では、ハンドヘルドコントローラ３００は、把持部分３４６と、上部表面３４８に沿って配置される、１つ以上のボタン３５０とを含む。いくつかの実施例では、ボタン３５０は、例えば、カメラまたは他の光学センサ（複合現実システム２００の頭部ユニット（例えば、ウェアラブル頭部デバイス２１０２）内に搭載され得る）と併せて、ハンドヘルドコントローラ３００の６自由度（６ＤＯＦ）運動を追跡するための光学追跡標的として使用するために構成されてもよい。いくつかの実施例では、ハンドヘルドコントローラ３００は、ウェアラブル頭部デバイス２１０２に対する位置または配向等の位置または配向を検出するための追跡コンポーネント（例えば、ＩＭＵまたは他の好適なセンサ）を含む。いくつかの実施例では、そのような追跡コンポーネントは、ハンドヘルドコントローラ３００のハンドル内に位置付けられてもよく、および／またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ３００は、ボタンの押下状態、またはハンドヘルドコントローラ３００の位置、配向、および／または運動（例えば、ＩＭＵを介して）のうちの１つ以上のものに対応する、１つ以上の出力信号を提供するように構成されることができる。そのような出力信号は、複合現実システム２００のプロセッサへの入力として使用されてもよい。そのような入力は、ハンドヘルドコントローラの位置、配向、および／または移動（さらに言うと、コントローラを保持するユーザの手の位置、配向、および／または移動）に対応し得る。そのような入力はまた、ユーザがボタン３５０を押下したことに対応し得る。

図３Ｂは、複合現実システム２００の例示的補助ユニット３２０を図示する。補助ユニット３２０は、エネルギーを提供し、システム２００を動作するためのバッテリを含むことができ、プログラムを実行し、システム２００を動作させるためのプロセッサを含むことができる。示されるように、例示的補助ユニット３２０は、補助ユニット３２０をユーザのベルトに取り付ける等のためのクリップ２１２８を含む。他の形状因子も、補助ユニット３２０のために好適であって、ユニットをユーザのベルトに搭載することを伴わない、形状因子を含むことも明白となるであろう。いくつかの実施例では、補助ユニット３２０は、例えば、電気ワイヤおよび光ファイバを含み得る、多管式ケーブルを通して、ウェアラブル頭部デバイス２１０２に結合される。補助ユニット３２０とウェアラブル頭部デバイス２１０２との間の無線接続もまた、使用されることができる。

いくつかの実施例では、複合現実システム２００は、１つ以上のマイクロホンを含み、音を検出し、対応する信号を複合現実システムに提供することができる。いくつかの実施例では、マイクロホンは、ウェアラブル頭部デバイス２１０２に取り付けられる、またはそれと統合されてもよく、ユーザの音声を検出するように構成されてもよい。いくつかの実施例では、マイクロホンは、ハンドヘルドコントローラ３００および／または補助ユニット３２０に取り付けられる、またはそれと統合されてもよい。そのようなマイクロホンは、環境音、周囲雑音、ユーザまたは第三者の音声、または他の音を検出するように構成されてもよい。

図４は、本明細書に説明される複合現実システム２００（図１に関する複合現実システム１１２に対応し得る）等の例示的複合現実システムに対応し得る、例示的機能ブロック図を示す。ウェアラブルシステム４００の実施例が、本開示に説明される方法、動作、および特徴を実装するために使用されてもよい。図４に示されるように、例示的ハンドヘルドコントローラ４００Ｂ（ハンドヘルドコントローラ３００（「トーテム」）に対応し得る）は、トーテム／ウェアラブル頭部デバイス６自由度（６ＤＯＦ）トーテムサブシステム４０４Ａを含み、例示的ウェアラブル頭部デバイス４００Ａ（ウェアラブル頭部デバイス２１０２に対応し得る）は、トーテム／ウェアラブル頭部デバイス６ＤＯＦサブシステム４０４Ｂを含む。実施例では、６ＤＯＦトーテムサブシステム４０４Ａおよび６ＤＯＦサブシステム４０４Ｂは、協働し、ウェアラブル頭部デバイス４００Ａに対するハンドヘルドコントローラ４００Ｂの６つの座標（例えば、３つの平行移動方向におけるオフセットおよび３つの軸に沿った回転）を決定する。６自由度は、ウェアラブル頭部デバイス４００Ａの座標系に対して表されてもよい。３つの平行移動オフセットは、そのような座標系内におけるＸ、Ｙ、およびＺオフセット、平行移動行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンス、回転行列、四元数、またはある他の表現として表されてもよい。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａ、ウェアラブル頭部デバイス４００Ａ内に含まれる、１つ以上の深度カメラ４４４（および／または１つ以上の非深度カメラ）、および／または１つ以上の光学標的（例えば、本明細書に説明されるようなハンドヘルドコントローラ４００Ｂのボタン３５０またはハンドヘルドコントローラ４００Ｂ内に含まれる専用光学標的）は、６ＤＯＦ追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ４００Ｂは、本明細書に説明されるようなカメラを含むことができ、ウェアラブル頭部デバイス４００Ａは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａおよびハンドヘルドコントローラ４００Ｂはそれぞれ、３つの直交して配向されるソレノイドのセットを含み、これは、３つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれ内で受信される３つの区別可能な信号の相対的大きさを測定することによって、ハンドヘルドコントローラ４００Ｂに対するウェアラブル頭部デバイス４００Ａの６ＤＯＦが、決定され得る。加えて、６ＤＯＦトーテムサブシステム４０４Ａは、改良された正確度および／またはハンドヘルドコントローラ４００Ｂの高速移動に関するよりタイムリーな情報を提供するために有用である、慣性測定ユニット（ＩＭＵ）を含むことができる。

いくつかの実施形態では、ウェアラブルシステム４００は、マイクロホンアレイ４０７を含むことができ、これは、ヘッドギヤデバイス４００Ａ上に配列される、１つ以上のマイクロホンを含むことができる。いくつかの実施形態では、マイクロホンアレイ４０７は、４つのマイクロホンを含むことができる。２つのマイクロホンは、ヘッドギヤ４００Ａの正面上に設置されることができ、２つのマイクロホンは、頭部ヘッドギヤ４００Ａの背面に設置されることができる（例えば、１つは、左後ろに、１つは、右後ろに）。いくつかの実施形態では、マイクロホンアレイ４０７によって受信された信号は、ＤＳＰ４０８に伝送されることができる。ＤＳＰ４０８は、信号処理をマイクロホンアレイ４０７から受信された信号上で実施するように構成されることができる。例えば、ＤＳＰ４０８は、雑音低減、音響エコーキャンセル、および／またはビーム形成をマイクロホンアレイ４０７から受信された信号上で実施するように構成されることができる。ＤＳＰ４０８は、信号をプロセッサ４１６に伝送するように構成されることができる。

いくつかの実施例では、例えば、座標系１０８に対するウェアラブル頭部デバイス４００Ａ（例えば、ＭＲシステム１１２）の移動を補償するために、座標をローカル座標空間（例えば、ウェアラブル頭部デバイス４００Ａに対して固定される座標空間）から慣性座標空間（例えば、実環境に対して固定される座標空間）に変換することが必要になり得る。例えば、そのような変換は、ウェアラブル頭部デバイス４００Ａのディスプレイが、ディスプレイ上の固定位置および配向（例えば、ディスプレイの右下角における同一位置）ではなく仮想オブジェクトを実環境に対する予期される位置および配向に提示し（例えば、ウェアラブル頭部デバイスの位置および配向にかかわらず、前方に向いた実椅子に着座している仮想人物）、仮想オブジェクトが実環境内に存在する（かつ、例えば、ウェアラブル頭部デバイス４００Ａが偏移および回転するにつれて、実環境内に不自然に位置付けられて現れない）という錯覚を保存するために必要であり得る。いくつかの実施例では、座標空間間の補償変換が、座標系１０８に対するウェアラブル頭部デバイス４００Ａの変換を決定するために、ＳＬＡＭおよび／またはビジュアルオドメトリプロシージャを使用して、深度カメラ４４４からの像を処理することによって決定されることができる。図４に示される実施例では、深度カメラ４４４は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６に結合され、像をブロック４０６に提供することができる。ＳＬＡＭ／ビジュアルオドメトリブロック４０６実装は、本像を処理し、次いで、頭部座標空間と別の座標空間（例えば、慣性座標空間）との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、ＩＭＵ４０９から取得される。ＩＭＵ４０９からの情報は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６からの情報と統合され、改良された正確度および／またはユーザの頭部姿勢および位置の高速調節に関する情報をよりタイムリーに提供することができる。

いくつかの実施例では、深度カメラ４４４は、ウェアラブル頭部デバイス４００Ａのプロセッサ内に実装され得る、手のジェスチャトラッカ４１１に、３Ｄ像を供給することができる。手のジェスチャトラッカ４１１は、例えば、深度カメラ４４４から受信された３Ｄ像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。

いくつかの実施例では、１つ以上のプロセッサ４１６は、ウェアラブル頭部デバイスの６ＤＯＦヘッドギヤサブシステム４０４Ｂ、ＩＭＵ４０９、ＳＬＡＭ／ビジュアルオドメトリブロック４０６、深度カメラ４４４、および／または手のジェスチャトラッカ４１１からのデータを受信するように構成されてもよい。プロセッサ４１６はまた、制御信号を６ＤＯＦトーテムシステム４０４Ａに送信し、そこから受信することができる。プロセッサ４１６は、ハンドヘルドコントローラ４００Ｂがテザリングされない実施例等では、無線で、６ＤＯＦトーテムシステム４０４Ａに結合されてもよい。プロセッサ４１６はさらに、視聴覚コンテンツメモリ４１８、グラフィカル処理ユニット（ＧＰＵ）４２０、および／またはデジタル信号プロセッサ（ＤＳＰ）オーディオ空間化装置４２２等の付加的コンポーネントと通信してもよい。ＤＳＰオーディオ空間化装置４２２は、頭部関連伝達関数（ＨＲＴＦ）メモリ４２５に結合されてもよい。ＧＰＵ４２０は、画像毎に変調された光の左源４２４に結合される、左チャネル出力と、画像毎に変調された光の右源４２６に結合される、右チャネル出力とを含むことができる。ＧＰＵ４２０は、例えば、図２Ａ－２Ｄに関して本明細書に説明されるように、立体視画像データを画像毎に変調された光の源４２４、４２６に出力することができる。いくつかの実施例では、ＧＰＵ４２０は、仮想要素をウェアラブルシステム４００のディスプレイ上に提示されるＭＲＥ内にレンダリングするために使用されてもよい。ＤＳＰオーディオ空間化装置４２２は、オーディオを左スピーカ４１２および／または右スピーカ４１４に出力することができる。ＤＳＰオーディオ空間化装置４２２は、プロセッサ４１９から、ユーザから仮想音源（例えば、ハンドヘルドコントローラ３２０を介して、ユーザによって移動され得る）への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、ＤＳＰオーディオ空間化装置４２２は、対応するＨＲＴＦを決定することができる（例えば、ＨＲＴＦにアクセスすることによって、または複数のＨＲＴＦを補間することによって）。ＤＳＰオーディオ空間化装置４２２は、次いで、決定されたＨＲＴＦを仮想オブジェクトによって生成された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が実環境内の実音である場合に聞こえるであろうもののユーザの予期に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。

いくつかの実施形態では、複合現実環境内のグラフィック（例えば、仮想キャラクタ）は、「Ｆｏｒｗａｒｄ＋」を使用してレンダリングされてもよく、これは、Ｇ－バッファを伴わない、デスクトップレンダラのバージョンである。例示的利点として、Ｆｏｒｗａｒｄ＋は、モバイルレンダラと比較して、照明および表面陰影モデルのより広い選択肢、コンピュートシェーダ最適化スキニングおよびモーフィング後標的正規再計算、およびより多くの後処理オプションを含む。そのようなレンダラを使用して、かつエンジンソースコードへのアクセスを用いることで、キャラクタ関連エンジン特徴および陰影モデルのカスタム変更が、行われ得る。加えて、Ｆｏｒｗａｒｄ＋は、複合現実システムをＧ－バッファの欠如に起因するボトルネックから解放し、ＧＰＵ（例えば、ＧＰＵ４２０）上のそうでなければ未使用のサイクルが利用されることを可能にし得る。対照的に、完全遅延モードにおいてレンダリングし、グラフィックをステレオにおいて６０フレーム／秒で維持することは、複合現実システムに、他のランタイム算出のための余地を殆ど残し得ない。

いくつかの実施形態では、複合現実システムのハードウェアおよびソフトウェアスタックは、Ｖｕｌｋａｎ等のグラフィックアプリケーションプログラミングインターフェースをサポートする。例示的利点として、Ｖｕｌｋａｎは、ＣＰＵ上の余地を解放し、システムが、ＣＰＵおよびＧＰＵリソースの配分をシャッフルし、より良好な性能を達成させる（例えば、６０フレーム／秒ステレオを超えて）ことを可能にし得る。

図４に示されるようないくつかの実施例では、プロセッサ４１６、ＧＰＵ４２０、ＤＳＰオーディオ空間化装置４２２、ＨＲＴＦメモリ４２５、およびオーディオ／視覚的コンテンツメモリ４１８のうちの１つ以上のものは、補助ユニット４００Ｃ（本明細書に説明される補助ユニット３２０に対応し得る）内に含まれてもよい。補助ユニット４００Ｃは、バッテリ４２７を含み、そのコンポーネントを給電し、および／または電力をウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ウェアラブル頭部デバイス４００Ａのサイズおよび重量を限定することができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。

図４は、例示的ウェアラブルシステム４００の種々のコンポーネントに対応する、要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、図示されるヘッドギヤデバイス４００Ａは、プロセッサおよび／またはバッテリ（図示せず）を含んでもよい。含まれるプロセッサおよび／またはバッテリは、補助ユニット４００Ｃのプロセッサおよび／またはバッテリとともに動作する、またはその代わりに動作してもよい。概して、別の実施例として、補助ユニット４００Ｃと関連付けられるように、図４に提示される要素またはそれ関して説明される機能性が、代わりに、ヘッドギヤデバイス４００Ａまたはハンドヘルドコントローラ４００Ｂと関連付けられ得る。さらに、いくつかのウェアラブルシステムは、ハンドヘルドコントローラ４００Ｂまたは補助ユニット４００Ｃを全体的になくしてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるものとする。

図５は、本開示の実施形態による、複合現実環境内の例示的キャラクタを図示する。仮想キャラクタ５００は、「Ｍｉｃａ」として公知である、またはそのように称される、自律的かつ写実的人間キャラクタであり得る。キャラクタ５００は、複合現実システム（例えば、複合現実システム１１２、複合現実システム２００、ウェアラブルシステム４００）のディスプレイ上に提示されるように構成されてもよい。例えば、キャラクタ５００は、ＭＲＥ１５０内の仮想キャラクタ１３２であってもよい。いくつかの実施形態では、アニメーションリグは、仮想キャラクタ１３２をＭＲＥ１５０内に提示するために使用される。仮想キャラクタ５００の顔および頸部が、図５に示されるが、仮想キャラクタ５００の説明は、キャラクタの全身に適用可能であり得ることを理解されたい。

キャラクタ５００は、異なる個々の人間の合成に基づいてもよい。キャラクタ５００は、キャラクタに一意の芸術的設計を含んでもよい。キャラクタの基本３Ｄモデルおよびテクスチャは、高分解能写真測量法システム内のアクタを走査することによって入手されてもよい。走査されるモデルは、次いで、キャラクタに芸術的に彫刻されてもよい。キャラクタ５００は、パストレーサ内でオフラインでレンダリングされ得る、高品質「ＶＦＸスタイル」アセットによってアンカされる詳細度（ＬＯＤ）チェーンから導出されてもよく、キャラクタの現実性が、検証されてもよい（例えば、設計者によって）。品質制御および参照目的のために、本レベルにおけるキャラクタのための標的外観を有することが重要であり得る。例えば、キャラクタ５００に変更を行うとき、下位ＬＯＤにおいて直接変更を行うのではなく、ＬＯＤチェーンの最上位が、更新され、変更が、下位へと移行する。作成されたキャラクタは、Ｕｎｒｅａｌ Ｅｎｇｉｎｅ４等のゲームエンジンにインポートされ、キャラクタのためのアニメーションを複合現実環境（例えば、ＭＲＥ１５０）内で作成してもよい。例示的利点として、作成されたキャラクタは、異なるプラットフォームまたは異なるバージョン間のキャラクタへの実質的更新を伴わずに、異なるプラットフォームまたはプラットフォームの後のバージョンを横断して使用されてもよい。

いくつかの実施形態では、キャラクタ５００の顔幾何学形状および表現力が、キャラクタの他の特徴より強調され、コンピューティング効率を最適化する（例えば、これらの他の特徴と関連付けられる、コンピューティングリソースを低減させる）。例えば、ユーザは、キャラクタ５００と対面して立っている場合がある。ユーザは、キャラクタの笑顔の形状および眼の閃光に気付き得、したがって、これらの特徴における強調は、コンピューティング効率を維持しながら、より没入型のユーザ体験を可能にし得る。いくつかの実施形態では、大域的照明または個々の髪の毛には強調があまり置かれ得ず、これらのキャラクタ特徴の算出は、集約的であって、ユーザ体験にとってあまり利点を伴わずに、デバイス電力を消費し得る。品質を最大限にしながら、強調を低減させるために、例えば、仮想キャラクタの稠密な髪の房は、性能を改良するために、ポリゴンストリップに変換されてもよい。仮想キャラクタの髪は、動的ではあり得ないが、ポリゴン髪ストリップは、同期されるブレンドシェイプを使用して、顔の表情および頭部運動に反応し得る。ブレンドシェイプは、アニメーションリグの単一メッシュが、多数の事前に定義された形状およびこれらの形状間の任意の数の組み合わせを達成するために、変形することを可能にし得る。髪により実物のような外観を与えるために、カスタム髪シェーダが、Ｕｎｒｅａｌ Ｅｎｇｉｎｅ４等のゲームエンジンによって提供される髪シェーダの代わりに使用されてもよい。

いくつかの実施形態では、アニメーションリグは、仮想キャラクタ１３２をＭＲＥ１５０内に提示するために使用される。例えば、アニメーションリグは、Ｍａｙａ等のグラフィックアプリケーションを使用して作成されてもよい。他のグラフィックアプリケーションも、アニメーションリグを構築するために使用されてもよいことを理解されたい。グラフィックアプリケーションでは、皮膚クラスタ、カスタムブレンドシェイプノード、具体的制約、表現、カスタムメッシュ間衝突、衣類シミュレーション、髪シミュレーション、Ｄｅｌｔａ Ｍｕｓｈ変形、および制御システム、例えば、顔面動作符号化システム（ＦＡＣＳ）コンボ形状、ブレンドシェイプ加重、および関節変換等のアニメーションリグの特性が、定義される。

いくつかの実施形態では、ＦＡＣＳベースのブレンドシェイプは、キャラクタの顔特徴をアニメーション化する際に使用され、これは、１２０を超えるＦＡＣＳ形状と、１２０のＦＡＣＳ形状から組み合わせられた付加的８００の形状とを含む。アニメーションリグが作成された後、論理ノードが、カスタムルールベースのシステムを含み、これらの形状のための組み合わせ論理を管理し、設定駆動キー等の手続型関係を捕捉してもよい。論理ノードはまた、表現言語を提供し、アニメーションリグの特徴間の接続および依存性（例えば、数学的表現、姿勢座標）を捕捉する。論理ノードはまた、アニメーションリグに基づいて、Ｃ＋＋エンジンコードを生成してもよく、これは、リアルタイム実行のために（例えば、キャラクタが、複合現実環境内に提示されるとき）コンパイルされる。

眼、舌、歯、顎、頭部、および頸部の変形は、ブレンドシェイプおよび線形ブレンドスキニングによって駆動されてもよい。身体および衣類の本スキニングは、例示的姿勢および関節のセットを手動で作成し、凸四辺形プログラミングを用いて、関節位置（例えば、空間関係）および皮膚加重を求めることによって算出されてもよい。

いくつかの実施形態では、身体変形は、基礎骨格（例えば、一次関節）がより高いレベルの関節系（例えば、ヘルパ関節）を駆動する、層化スキームを使用して作成される。これらの関節は、ブレンドシェイプおよびスキニングベースの変形を駆動し得る。衣類シミュレーションが、ある範囲の運動アニメーションシーケンスを用いて起動されてもよく、結果として生じる変形の提示が、算出されてもよい。

本明細書に説明される方法および特徴は、グラフィックアプリケーション内で作成されたアニメーションリグの特性が、例えば、システムの可搬性を維持するために、電力消費要件および限定された処理リソース等のハードウェア限界を有し得る（例えば、モバイルＣＰＵが、複合現実システムを起動している場合があり、本システムは、１ｍｓ／フレーム予算を有し得る）、複合現実システム１１２、複合現実システム２００、またはウェアラブルシステム４００等の複合現実システム内に効率的に提示されることを可能にする。キャラクタ５００の生体力学挙動および変形は、没入型のユーザ体験を作成するためにより重要であり得る。したがって、処理リソースは、キャラクタの生体力学的挙動および変形の提示により焦点を当て得る。

アニメーションリグは、一次関節と、ヘルパ関節とを備えてもよい。特定の時間では、アニメーションリグは、ある姿勢にあり得、姿勢は、一次関節とヘルパ関節との間の空間関係（例えば、相互に対する距離、角度）によって定義され得る。

一次関節は、キャラクタ（例えば、キャラクタ５００）の骨格関節と関連付けられ得る。例えば、一次関節場所は、キャラクタ５００の肩、肘、手首、膝、および足首を含んでもよい。用語「関節」は、限定することを意味するものではなく、一次関節およびヘルパ関節は、非骨格関節場所（例えば、大腿部の中点、頭部の上部）に位置してもよいことを理解されたい。

図６は、本開示の実施形態による、複合現実システム内の例示的アニメーションリグ６００を図示する。アニメーションリグ６００は、ヘルパ関節６０２－６０８を含む。ヘルパ関節は、アニメーションリグの主要な骨格（例えば、一次関節６１０および６１２を含む）によって駆動され、筋肉隆起、皮膚摺動、軟質組織変形、および剛性骨変形等の二次変形を作成し得る。例えば、ヘルパ関節６０２および６０４は、キャラクタ５００の二頭筋および三頭筋と関連付けられ得る。肘が屈曲すると、ヘルパ関節の運動は、筋肉を隆起するように現れさせる。ヘルパ関節６０６および６０８は、尺骨の剛性運動と関連付けられ得る。例示的利点として、ヘルパ関節を使用することは、ブレンドシェイプを使用することと比較して、算出コストおよび電力消費を低減させるであろう一方、実物のようなアニメーションを複合現実システムのユーザに提示する。

ヘルパ関節は、ヘルパ関節設置基準によって決定される、アニメーションリグの場所と関連付けられ得る。いくつかの実施形態では、ヘルパ関節は、一次関節間の大変位と関連付けられる、場所に位置する。例えば、ヘルパ関節は、二頭筋が、肩と肘との間のキャラクタの他の場所と比較して、肩および肘と関連付けられる特定の移動に関してより大きい変位を被り得るため、手首と肘（例えば、一次関節）との間のキャラクタ５００の二頭筋の近傍に位置してもよい。別の実施例として、ヘルパ関節は、脹脛が、足首と膝との間のキャラクタの他の場所と比較して、足首および膝と関連付けられる特定の移動に関してより大きい変位を被り得るため、足首と膝（例えば、一次関節）との間のキャラクタ５００の近傍に位置してもよい。これらの実施例では、二頭筋または脹脛におけるヘルパ関節の場所は、最大移動基準によって決定されてもよい。

一次関節およびヘルパ関節の移動および相互作用が、キャラクタの四肢に関して説明されるが、これらの例示的移動および相互作用は、限定ではないことを理解されたい。例えば、一次関節およびヘルパ関節は、有利なこととして、仮想キャラクタの顔の表情を駆動し得る。

いくつかの実施例では、ブレンドシェイプは、多すぎる移動点を有し得、反転された標的は、良好に補間し得ない。全てのブレンドシェイプを使用して、仮想キャラクタ５００をアニメーション化することは、ランタイム時に大性能ペナルティを生じさせ得る。ヘルパ関節は、関節分解プロセスを使用して、ブレンドシェイプによって通常ハンドリングされる形状情報を皮膚クラスタに変換することによって、本性能影響を低減させ得る。いくつかの実施形態では、分解プロセスは、ブレンドシェイプ毎に、ヘルパ関節の位置を計算し、ブレンドシェイプ変形を合致させる。加えて、各ヘルパ関節および各ブレンドシェイプ姿勢と関連付けられる、皮膚クラスタの皮膚加重が、最適化され、変形の現実性をさらに改良し得る。皮膚クラスタは、より少ない数のブレンドシェイプとともに組み込まれ、仮想キャラクタ上の望ましくない高周波数特徴を除去し得る。より少ないブレンドシェイプとともに、ヘルパ関節および皮膚クラスタを組み込むことは、有利なこととして、類似レベルの品質を維持しながら、ブレンドシェイプを排他的に使用することと比較して、より小さい変位に起因して、システム性能および姿勢間の補間を改良し得る。

いくつかの実施形態では、ヘルパ関節は、例えば、キャラクタ５００の設計者によって、手動で定義されてもよい。例えば、設計者は、ヘルパ関節を手動で定義することが、キャラクタ５００がより「実物」のようになることを可能にするであろうことを決定し得る。

アニメーションリグは、第１の時間における第１の姿勢から第２の時間における第２の姿勢に移動することが決定され得る。例えば、複合現実システムは、キャラクタ５００が、複合現実環境（例えば、ＭＲＥ１５０）内で第１の位置から第２の位置に移動し、アクションを実施していることを決定し得る。第１の時間では、アニメーションリグは、第１の位置におけるキャラクタと関連付けられる第１の姿勢にあり得（例えば、キャラクタは、笑っていない、キャラクタは、着座している、キャラクタは、立っている）、第１の姿勢は、キャラクタの一次関節とヘルパ関節との間の第１の空間関係によって定義され得る。第２の時間では、キャラクタは、第１の位置から第２の位置に移動している場合があり（例えば、キャラクタは、笑っている、キャラクタは、立っている、キャラクタは、歩行している）、アニメーションリグは、第２の位置におけるキャラクタと関連付けられる第２の姿勢にあり得、第２の姿勢は、キャラクタの一次関節とヘルパ関節との間の第２の空間関係によって定義され得る。第１および第２の空間関係は、キャラクタの第１および第２の位置が異なるため、異なってもよい。複合現実システムの表示は、キャラクタの一次関節とヘルパ関節との間の第２の空間関係によって定義されたアニメーションリグの第２の姿勢に基づいて、キャラクタ５００を第２の位置に提示するように更新されてもよい。

アニメーションリグの第１の姿勢から第２の姿勢への変換は、移動情報によって定義されてもよい。例えば、移動情報は、一次関節およびヘルパ関節の移動と、一次関節とヘルパ関節との間の第１の姿勢から第２の姿勢へのキャラクタ特徴の移動とを定義してもよい。第１の姿勢から第２の姿勢への一次とヘルパ関節との間のキャラクタ特徴の移動は、補間されてもよく（例えば、回帰分析を使用して決定される）、補間は、本明細書に開示される方法を使用して決定されてもよい。

キャラクタの実物のような生体力学を作成するために、一次関節とヘルパ関節との間の空間関係は、複雑かつ非線形であり得る（例えば、ヘルパ関節は、グラフィックアプリケーションからの制約および表現によって駆動されてもよい）。関係は、放射基底関数（ＲＢＦ）を用いて定義され得、これは、大量のサンプルを要求し得る。例えば、三角筋－胸筋領域では、１，１００を超える姿勢が、ＲＢＦを使用して望ましい品質を達成するために、各側で要求され得る。大量のサンプルは、複合現実システムのランタイム性能に影響を及ぼし得、これは、電力およびコンピューティングリソース制約を有し得る。さらに、ＲＢＦを使用して、一次関節とヘルパ関節との間の関係を定義することは、複合現実システムの要件（例えば、フレームあたり６ｍｓ）を充足させ得ない。したがって、より効率的方法（例えば、あまり算出上集約的ではない）を使用して、仮想キャラクタを高品質様式において提示することが望ましくあり得る。

いくつかの実施形態では、アニメーションリグの移動と関連付けられる情報が、処理するために、ニューラルネットワークに伝送される。いくつかの実施形態では、アニメーションリグの移動と関連付けられる情報は、処理するために、１つを上回るニューラルネットワークに伝送される。ニューラルネットワークは、アニメーションリグの移動と関連付けられる情報を受信し、移動情報を算出し、移動情報を複合現実システムに伝送し、移動情報に基づいて、仮想キャラクタの移動をシステムのディスプレイ上に提示する。

いくつかの実施形態では、移動情報はさらに、ニューラルネットワークに提示される（例えば、リグ設計者によって、ユーザによって）、訓練データを使用して算出される。訓練データは、ある範囲の運動試験等のアニメーションデータを含んでもよい。訓練データは、仮想キャラクタが複合現実環境内で実施し得る、姿勢および移動を網羅し得る。例えば、訓練データは、膝捻転の実施例を含み、ニューラルネットワークは、膝捻転のこれらの実施例を使用して、移動情報（例えば、膝関節と関連付けられる、回転情報）を算出してもよい。いくつかの実施形態では、ヘルパ関節のセットのための訓練データは、主に、ある範囲の運動アニメーションシーケンスと、他の例示的シーケンスとを備えてもよい。使用するための隠れ次元の数が、ハイパーパラメータ調整を使用して決定されてもよい。いくつかの実施例では、隠れ次元の数は、一次関節の数およびヘルパ関節の数の最大値の１０倍であり得る。

例示的利点として、ニューラルネットワークを使用して、移動情報を算出することは、ニューラルネットワークがより少ない訓練可能パラメータ（例えば、２８分の１の低減）を含み得るため、ＲＢＦパラメータを使用することと比較して、類似高品質を有する仮想キャラクタの提示を達成するためのパラメータの数を低減させることができる。例えば、仮想キャラクタの類似品質提示のために、４５０万のパラメータが、ＲＢＦを使用して必要とされ得るが、より有意に少ない１６０，０００のパラメータが、ニューラルネットワークを使用して必要とされ得る。

いくつかの実施形態では、ニューラルネットワークは、正規化線形ユニット（ＲｅＬＵ）活性化関数を使用して、移動情報を算出する。他の活性化関数と比較して、ＲｅＬＵ関数は、より算出上効率的であって、他の利点ももたらすことができる。いくつかの実施形態では、ニューラルネットワークは、多層フィードフォワードニューラルネットワークであってもよい。ニューラルネットワークは、１つの隠れ層をネットワークの入力層と出力層との間に伴う、全結合ネットワークであってもよい。ニューラルネットワークは、平均二乗誤差（ＭＳＥ）損失を使用して、平行移動およびスケーリングを行い得る。いくつかの実施形態では、合計６６の別個のネットワークが、アニメーションリグの移動情報を算出するために使用されてもよい。関節クラスタ毎に、ネットワークはそれぞれ、平行移動、回転、およびスケーリングのために、別個に訓練されてもよい。いくつかの実施形態では、平行移動値は、ニューラルネットワークのために、０～１の範囲にスケーリングまたは正規化される。

いくつかの実施形態では、アニメーションリグと関連付けられる、回転は、四元数を用いて表され得る。四元数は、複合現実システムのディスプレイ上における複合現実環境内への仮想キャラクタの提示と関連付けられる、アニメーションシステム（例えば、Ｕｎｒｅａｌ）のために使用され得る。さらに、四元数は、機械学習のための回転をパラメータ化するためにより好適であり得る。ニューラルネットワーク内の四元数を算出するための既存の方法は、ユークリッド角度を用いて損失を測定する、または配向曖昧性を留保する。いくつかの実施形態では、四元数訓練データは、非ゼロｗ成分を有するように投じられ得る。したがって、回帰四元数は、成分値の平均二乗誤差損失と１を上回る成分値に関するペナルティを組み合わせる、新しい損失関数を要求し得、これは、以下の関数を用いて表され得る。
単位四元数が、使用されるため、いずれの成分も、１より高い値を有しないはずである。訓練はまた、ネットワークが別の極にドリフトしないように防止するために逆伝搬（例えば、勾配クリッピング）のために使用される勾配の大きさを課す。例示的利点として、本説明される方法論を使用する回帰四元数は、複合現実システムが、フレームあたり約０．９ｍｓで起動することを可能にする。いくつかの実施形態では、本方法論は、ニューラルネットワーク上または複合現実システム上で起動するＴｅｎｓｏｒＦｌｏｗ Ｌｉｔｅモデルとして実行する、ゲームエンジン内のカスタムＢｌｕｅｐｒｉｎｔオペレータとして統合されてもよい。

例示的利点として、キャラクタ５００は、システムの可搬性に起因して、最高仕様およびリアルタイム仮想キャラクタを表示するための既存のシステムと比較してより多くのハードウェア制約を有し得る、複合現実システム（例えば、複合現実システム１１２、複合現実システム２００、ウェアラブルシステム４００）のディスプレイ上に提示されるように構成されてもよい。いくつかの実施例では、複合現実システムは、バッテリ給電されてもよい。したがって、これらのハードウェア制約のうちの１つは、電力であり得る。これらのハードウェア制約を伴っても、本明細書に説明される方法は、説得力のある仮想キャラクタの作成を有効にする、すなわち、レンダリング、アニメーション、変形、衣類、髪、および挙動は、キャラクタが真実味がありながら、また、ハードウェアの性能エンベロープ内に適合するためのある無形品質レベルを満たすことが可能である。

述べられたように、ユーザの複合現実体験を改良するために、仮想キャラクタが可能な限り実物のようであることが望ましい。現実的移動に加え、仮想キャラクタは、実物のような挙動を表示するように提示されてもよい。例えば、仮想キャラクタの視線、ジェスチャ、および位置付けは、自然に現れるべきである。

いくつかの実施形態では、仮想キャラクタは、視認者をその視線内に保持することが可能である。例えば、ウェアラブル頭部デバイスと関連付けられる通視線が変化していることの決定に従って、仮想キャラクタは、第１の姿勢から第２の姿勢に移動してもよい。第１の姿勢から第２の姿勢への移動は、ウェアラブル頭部デバイスの位置に基づいてユーザの照準線に追従する、仮想キャラクタの視線であってもよい。本明細書に開示される方法および特徴を使用することで、仮想キャラクタの移動を処理および提示することは、短待ち時間を伴って実施され、キャラクタがユーザの眼を直接かつ正確に見ることを可能にすることができる。

図７Ａは、本開示の実施形態による、例示的複合現実環境７００を図示する。いくつかの実施形態では、仮想キャラクタ７０２の視線および注意は、関心インパルスによって制御されてもよい。キャラクタが視線または注意を変化させることに応答した仮想キャラクタの移動（例えば、眼を回転させる、頸部を回転させる、回転体）は、本明細書に提示される方法を使用して提示されてもよい。いくつかの実施形態では、仮想キャラクタ７０２は、仮想キャラクタ１３２または仮想キャラクタ５００である。

関心インパルスは、オブジェクト、音、および人々を表す、ソースによって生成されてもよい。関心インパルスは、オブジェクト、音、および人々に依存する、関心度および本関心度の経時的増減と関連付けられる、値を有する。要素（例えば、実または仮想オブジェクト、音、イベント、人物）の関心度は、要素が特定の時間において仮想キャラクタの注意を引き付けるであろう、可能性または確率として定義され得る。より高い関心度値を有する、第１の要素は、より低い関心度値を有する第２の要素より、仮想キャラクタの注意を引き付ける可能性が高いであろう。要素の関心度値は、経時的に変動し得る。

例えば、壁上の絵画と関連付けられる、関心度値は、壁上の時計と関連付けられる関心度値より高くあり得る。インパルスは、複合現実システムのセンサによって（随意に、複合現実システムの知覚システムを用いて）検出された仮想オブジェクトまたは実オブジェクトに関して生成される、手動で定義される、または（例えば、データベースからの）外部情報によって定義され得る。センサによって検出されたオブジェクトは、オブジェクトのデータベースと比較されてもよく、検出されたオブジェクトは、関連付けられる関心度値および経時的に変動する関心度値に関するデータベース内のオブジェクトと合致されてもよい。いくつかの実施形態では、関心度値は、仮想キャラクタの特性に依存し得る。例えば、仮想キャラクタが、音楽家である場合、本仮想キャラクタと関連付けられる音楽オブジェクトの関心度値は、非芸術家仮想キャラクタと関連付けられるものより高くなり得る。異なる識別されたオブジェクトの関心度値、仮想キャラクタの眼方向、および仮想キャラクタの頭部方向転換速度に基づいて、複合現実システムは、特定の時間における最も関心を引き付けているオブジェクト（例えば、仮想キャラクタの注意を現在占有している、オブジェクト）を決定してもよい。いくつかの実施形態では、特定の時間において最も関心を引き付けているオブジェクトが、仮想オブジェクトである場合、仮想キャラクタは、それに応答して、複合現実環境（例えば、仮想オブジェクトを移動させることによって）修正する、または複合現実環境のキャラクタの知覚を修正してもよい（例えば、その頭部を方向転換させ、別の関心を引き付けているオブジェクトを見る）。

例示的利点として、関心インパルスは、仮想キャラクタがその注意を複合現実環境内のオブジェクトと起こっているイベントとの間で偏移させることを可能にすることによって、仮想キャラクタにより実物のような品質を与え得る。

例えば、複合現実環境７００内の仮想キャラクタ７０２は、仮想キャラクタの照準の方向に基づいて、関連付けられる視野７０４を有する。仮想キャラクタの照準の方向は、アニメーションの基礎層、手続型好奇心、または他の事実によって駆動されてもよい。本実施例では、関心を引き付けるオブジェクト（例えば、ある関心度値を有する、無生物オブジェクト）は、視線ボックス７０６Ａ－７０６Ｇによって定義されてもよい。視線ボックスは、ある座標位置およびサイズを有してもよく、視野７０４内のオブジェクトと関連付けられてもよい。例えば、仮想キャラクタ７０２は、部屋内で待機している人物と同様に、壁上の異なるアイテム間で視線を動かし、次のアイテムに視線を移す前に、短い時間量にわたって、１つのものに落ち着き得る。各視線ボックスは、ある関心度値を有し得、その値は、経時的に変動（例えば、増減）し得る。例えば、アクティブ視線ボックス（例えば、仮想キャラクタが現在合焦している、視線ボックス）の関心度は、閾値まで、減弱し得る。閾値関心度に到達すると、仮想キャラクタは、その焦点を距離、視野またはビューとの交点、および確率論的選択等の組み合わせに基づいて、別の視線ボックス上に移動させ得る。

仮想キャラクタの視線および注意はまた、複合現実システムによってまたは手動で識別される、関心面積７０８によって決定されてもよい。関心面積７０８は、ドア開放、足音、または大きくかつ突然の音等のイベントと関連付けられる、音の検出（例えば、複合現実システムのセンサによって）に応答して作成されてもよい。検出された音は、音源の一般的方向において起こるイベントと関連付けられ得る。例えば、複合現実環境内のドアが、ユーザ７１０によって開放され、音を生成する。音の検出（例えば、複合現実システムのセンサによって）に応答して、仮想キャラクタ７０２は、その視線または通視線を音の一般的方向に向かって変化させてもよい。いくつかの実施形態では、関心面積の検出に応じて、仮想キャラクタは、その焦点を仮想キャラクタの注意を以前に占有していた視線ボックスから偏移させ得る。

いくつかの実施形態では、仮想キャラクタの視線および注意は、社会的三角形７１２によって決定される。図７Ｂは、ウェアラブル頭部デバイスを装着しているユーザと関連付けられ得る、社会的三角形の実施例を図示する。社会的三角形７１２は、幅７１４および高さ７１６によって定義されてもよい。社会的三角形７１２は、別の人間が、典型的には、２人の人間間の会話の間、合焦する、人間（例えば、複合現実システムのユーザ）の顔の面積と関連付けられ得る。例えば、幅７１４は、ユーザ７１０の顔の幅と関連付けられ、高さ７１６は、ユーザ７１０の顔の高さと関連付けられる。いくつかの実施形態では、社会的三角形のより広い面積は、口より眼の近くにあり得る。人間の顔の本面積は、複合現実システムのセンサによって検出されてもよい。いったん社会的三角形が、人間（例えば、複合現実システムのユーザ）の顔の検出に基づいて生成されると、仮想キャラクタの視線および注意は、検出された人間の顔に指向され得る。いくつかの実施形態では、社会的三角形の生成に応じて、仮想キャラクタは、その焦点を仮想キャラクタの注意を以前に占有していた関心面積または視線ボックスから偏移させ得る。

サッカードは、人間がオブジェクトまたは他の人々を見ているときに行い得る、高速の不随意的眼の素早い動きである。複合現実システムのユーザに提示され得ない、サッカード点が、仮想キャラクタ７０２が仮想キャラクタの現在のサッカード移動を境界するために生成されてもよい。仮想キャラクタのためのサッカードを生成することは、仮想キャラクタの人間様特徴の信憑性を増加させる。サッカード点は、仮想キャラクタの眼上に投影される、社会的三角形、関心面積、または視線ボックス等の現在最も関心を引き付けているオブジェクト（例えば、仮想キャラクタの注意を現在占有している、オブジェクト）の面積に基づいて生成されてもよい。例えば、仮想キャラクタのサッカード移動の範囲は、仮想キャラクタ７０２が視認者の眼面積の周囲に集束され得る、仮想キャラクタの眼上に投影された社会的三角形の眼の境界７１８Ａおよび７１８Ｂによって決定されてもよい。仮想キャラクタと関連付けられる、サッカードタイミングおよび振幅は、加えて、公称生理学的範囲内の値に対応してもよい。

視線ボックス７０６、関心面積７０８、および社会的三角形７１２は、図７Ａ－７Ｂに図示される具体的幾何学形状を使用して例示するが、図７Ａ－７Ｂに図示される幾何学的境界は、限定することを意味するものではないことを理解されたい。

いくつかの実施形態では、仮想キャラクタの視線は、複合現実環境内の標的によって制御される。複合現実環境内でユーザに提示され得ない、標的が、仮想キャラクタの位置に対して移動し得、仮想キャラクタの視線は、標的の移動を追跡し、実物のような眼移動（例えば、視線方向のわずかな変化）を生成する。いくつかの実施形態では、視線移動は、加えて、眼、頸部、および身体間の回転の比率によって制御され、眼が、自然平衡を中心として移動することを可能にする。例えば、視線移動は、経時的に、姿勢不快感に関して調節される。すなわち、いくつかのインスタンスでは、標的は、本調節が生じる間は、移動し得ない。いくつかの実施例では、仮想キャラクタの視線移動は、仮想キャラクタの現在の気分またはモードに基づいてもよい。例えば、仮想キャラクタが、あるタスクに集中している場合、その視線移動は、退屈している仮想キャラクタほど大きくはあり得ない。

仮想キャラクタの視線および身体配置は、不快感システムによって動的に決定されてもよく、これは、キャラクタが、長時間周期にわたって、姿勢を不自然に保持することを回避することを可能にする。いくつかの実施形態では、キャラクタと関連付けられる、アニメーションリグが、キャラクタ不快感閾値時間より長く、第１の姿勢にあるとき、アニメーションリグは、本明細書に説明されるように、第１の姿勢から第２の姿勢（例えば、より快適な位置）に移動するであろう。例示的利点として、キャラクタ不快感閾値時間を超えて第１の姿勢にあった後に第２の姿勢に移動することは、不快な時間量にわたってある位置にあった後、より快適な位置に偏移する、人間のように、仮想キャラクタがその位置を偏移させることを可能にすることによって、仮想キャラクタにより実物のような品質を与え得る。

複合現実システムは、幾何学形状に関して複合現実環境を持続的に走査し得、したがって、仮想キャラクタは、表面（例えば、床）が実際にある場所上に立っているように現れる。いくつかの実施形態では、仮想キャラクタと関連付けられる、アニメーションリグは、複合現実環境の表面（例えば、床）上に位置付けられるように表示される。複合現実システムのセンサは、複合現実環境の表面の座標を感知し得、アニメーションリグは、表面の感知された座標に基づいて、複合現実環境の表面に整合されてもよい。いくつかの実施形態では、アニメーションリグは、第１の姿勢にあって、第１の姿勢は、アニメーションリグおよび表面の整合に基づく。例示的利点として、キャラクタおよび複合現実環境の表面を整合させることは、ユーザに、仮想キャラクタおよびユーザが同一環境内に存在することの感覚をより与える。

図８は、本開示の実施形態による、複合現実システムの例示的方法８００を図示する。方法８００は、複合現実システム１１２、複合現実システム２００、またはウェアラブルシステム４００等の複合現実システムを使用して実施されてもよい。ステップは、異なる順序であってもよい、いくつかのステップは、省略されてもよい、または付加的ステップが、方法８００とともに実施されてもよいことを理解されたい。

いくつかの実施形態では、方法８００は、ウェアラブル頭部デバイス（例えば、複合現実システム１１２、複合現実システム２００、ウェアラブルシステム４００）のディスプレイ上において、キャラクタのビューを複合現実環境内に表示するステップ（ステップ８０２）を含む。キャラクタのビューは、キャラクタと関連付けられる、アニメーションリグに基づいてもよい。いくつかの実施形態では、キャラクタのビューを複合現実環境内に表示するステップは、Ｆｏｒｗａｒｄ＋を使用して、キャラクタのビューをレンダリングするステップを含む。

いくつかの実施形態では、アニメーションリグは、本明細書に説明されるように、一次関節と、ヘルパ関節とを備える。一次関節は、アニメーションリグと関連付けられる、キャラクタ（例えば、仮想キャラクタ１３２、仮想キャラクタ５００、仮想キャラクタ７０２）の骨格関節と関連付けられ得る。ヘルパ関節は、アニメーションリグの場所と関連付けられてもよい。場所は、本明細書に説明されるように、ヘルパ関節設置基準（例えば、手動定義、最大移動基準）によって決定されてもよい。第１の時間では、アニメーションリグは、一次関節とヘルパ関節との構成間の第１の空間関係によって定義される、第１の姿勢にあってもよい。

いくつかの実施形態では、方法８００は、第２の時間において、アニメーションリグが第１の姿勢から第２の姿勢に移動していることを決定するステップ（ステップ８０４）を含み、第２の姿勢は、一次関節とヘルパ関節との間の第２の空間関係によって定義されるように関連付けられる。

いくつかの実施形態では、アニメーションリグが第１の姿勢から第２の姿勢に移動していることを決定するステップは、ウェアラブル頭部デバイスと関連付けられる通視線が変化していることを決定するステップを含む。例えば、視認者に向かっている仮想キャラクタの視線が、本明細書に説明されるように、変化している。

いくつかの実施形態では、アニメーションリグが第１の姿勢から第２の姿勢に移動していることを決定するステップは、図７に関して説明されるように、複合現実環境の第１の要素と関連付けられる関心度値が複合現実環境の第２の要素と関連付けられる関心度値を超えることを決定するステップを含む。いくつかの実施形態では、関心度値は、図７Ａ－７Ｂに関して説明されるように、複合現実環境の無生物オブジェクトと関連付けられる視線ボックス、複合現実環境のイベントと関連付けられる関心面積、および複合現実環境内のユーザと関連付けられる社会的三角形のうちの１つと関連付けられる。

いくつかの実施形態では、キャラクタは、複合現実環境の表面上に位置付けられるように表示される。方法８００はさらに、ウェアラブル頭部デバイスのセンサを用いて、複合現実環境の表面を感知するステップと、感知された表面に基づいて、アニメーションリグおよび表面を整合させるステップであって、第１の姿勢は、アニメーションリグおよび表面の整合に基づいて決定される、ステップとを含んでもよい。

いくつかの実施形態では、方法８００は、移動情報に基づいて、ウェアラブル頭部デバイスのディスプレイ上において、アニメーションリグの表示を第１の姿勢から第２の姿勢に更新するステップ（ステップ８０６）を含み、移動情報は、第１の空間関係から第２の空間関係への変換を示す。いくつかの実施形態では、第１の空間関係から第２の空間関係への変換は、アニメーションリグが第１の姿勢から第２の姿勢に移動しているときのキャラクタの筋肉の移動と関連付けられる。

いくつかの実施形態では、移動情報は、少なくとも部分的に、四元数において表され、移動情報と関連付けられる、損失関数は、四元数成分値の平均二乗誤差損失と成分値に関するペナルティを組み合わせるステップを含む（例えば、方程式（１））。

いくつかの実施形態では、方法８００は、ニューラルネットワークに、本明細書に説明されるように、アニメーションリグの移動と関連付けられる情報を伝送するステップと、ニューラルネットワークから、移動情報を受信するステップであって、移動情報は、伝送される情報に基づく、ステップとを含む。ニューラルネットワークは、ＲｅＬＵ活性化関数を使用して、移動情報を算出してもよい。いくつかの実施形態では、移動情報は、本明細書に説明されるように、ニューラルネットワークに提示される、訓練データに基づいて算出される。

図９は、本開示の実施形態による、複合現実システムの例示的方法９００を図示する。方法９００は、複合現実システム１１２、複合現実システム２００、またはウェアラブルシステム４００等の複合現実システムを使用して実施されてもよい。ステップは、異なる順序であってもよい、いくつかのステップは、省略されてもよい、または付加的ステップが、方法９００とともに実施されてもよいことを理解されたい。簡潔にするために、図７Ａおよび７Ｂに関して説明される方法９００に関連する実施例は、ここでは繰り返されない。

いくつかの実施形態では、方法９００は、キャラクタのビューを複合現実環境内に表示するステップ（ステップ９０２）を含む。キャラクタは、第１の位置にあってもよい。例えば、キャラクタは、図７Ａ－７Ｂに関して説明されるように、その照準を複合現実環境内の第１の要素（例えば、オブジェクト、音、イベント、人物）上に有し得る（例えば、それを見ている、それに合焦する、それに注意を支払う）。第１の要素は、第１の時間では、第１の関心度値を有してもよい。ある関心度値を有する、オブジェクトは、視線ボックスによって示されてもよく、ある関心度値を有する、音またはイベントは、関心面積によって示されてもよく、ある関心度値を有する、人物は、社会的三角形によって示されてもよい。

いくつかの実施形態では、方法９００は、第２の時間において、複合現実環境と関連付けられる、第２の要素（例えば、別のオブジェクト、別の音、別のイベント、別の人物）と関連付けられる、第２の関心度値が、第１の関心度値を上回ることを決定するステップ（ステップ９０４）を含む。例えば、第１の関心度値は、経時的に減弱し、キャラクタは、第１の要素への関心を喪失し得る。別の実施例として、キャラクタは、第２の時間において、複合現実環境内の別の要素により関心を引き付けられることを見出し得る。

いくつかの実施形態では、方法９００は、キャラクタを第２の位置に提示するように、キャラクタの表示を更新するステップ（ステップ９０６）を含む。例えば、キャラクタは、図７Ａ－７Ｂに関して説明されるように、第２の要素が第２の時間では第１の関心度値を上回る関心度値を有することの決定に従って、その照準を複合現実環境内の第２の要素（例えば、他のオブジェクト、他の音、他のイベント、他の人物）上に有し得る（例えば、それを見ている、それに合焦する、それに注意を支払う）。

開示される実施例は、付随の図面を参照して完全に説明されたが、種々の変更および修正が、当業者に明白となるであろうことに留意されたい。例えば、１つ以上の実装の要素は、組み合わせら、削除され、修正され、または補完され、さらなる実装を形成してもよい。そのような変更および修正は、添付の請求項によって定義されるような開示される実施例の範囲内に含まれるものとして理解されるべきである。

Claims (20)

1. 方法であって、
   ウェアラブル頭部デバイスのディスプレイ上において、キャラクタのビューを複合現実環境内に表示することであって、
   前記キャラクタのビューは、前記キャラクタと関連付けられるアニメーションリグに基づき、
   前記アニメーションリグは、一次関節と、ヘルパ関節とを備え、
   前記一次関節は、前記キャラクタの骨格関節と関連付けられ、
   前記ヘルパ関節は、前記アニメーションリグの場所と関連付けられ、
   第１の時間では、前記アニメーションリグは、前記一次関節と前記ヘルパ関節との間の第１の空間関係によって定義された第１の姿勢にある、ことと、
   第２の時間において、前記アニメーションリグが前記第１の姿勢から第２の姿勢に移動していることを決定することであって、前記第２の姿勢は、前記一次関節と前記ヘルパ関節との間の第２の空間関係によって定義され、前記アニメーションリグが前記第１の姿勢から前記第２の姿勢に移動していることを決定することは、前記複合現実環境の第１の要素と関連付けられる関心度値が前記複合現実環境の第２の要素と関連付けられる関心度値を超えることを決定することを含む、ことと、
   移動情報に基づいて、前記ウェアラブル頭部デバイスのディスプレイ上において、前記アニメーションリグの表示を前記第１の姿勢から前記第２の姿勢に更新することであって、前記移動情報は、前記第１の空間関係から前記第２の空間関係への変換を示す、ことと
   を含む、方法。
2. ニューラルネットワークに、前記アニメーションリグの移動と関連付けられる情報を伝送することと、
   前記ニューラルネットワークから、前記移動情報を受信することであって、前記移動情報は、前記伝送される情報に基づく、ことと
   をさらに含む、請求項１に記載の方法。
3. 前記ニューラルネットワークは、ＲｅＬＵ活性化関数を使用して、前記移動情報を算出する、請求項２に記載の方法。
4. 前記移動情報は、前記ニューラルネットワークに提示される訓練データに基づいて、算出される、請求項２に記載の方法。
5. 前記ヘルパ関節の場所は、手動定義および最大移動基準のうちの１つ以上のものを備えるヘルパ関節設置基準によって決定される、請求項１に記載の方法。
6. 前記移動情報は、前記一次関節と前記ヘルパ関節との間の回帰分析を使用して決定され、前記第２の空間関係を算出する、請求項１に記載の方法。
7. 前記アニメーションリグが前記第１の姿勢から前記第２の姿勢に移動していることを決定することは、前記アニメーションリグがキャラクタ不快感閾値時間より長く前記第１の姿勢にあることを決定することを含む、請求項１に記載の方法。
8. 前記アニメーションリグが前記第１の姿勢から前記第２の姿勢に移動していることを決定することは、前記ウェアラブル頭部デバイスと関連付けられる通視線が変化していることを決定することを含む、請求項１に記載の方法。
9. 前記キャラクタは、前記複合現実環境の表面上に位置付けられるように表示され、前記方法は、
   前記ウェアラブル頭部デバイスのセンサを用いて、前記複合現実環境の表面を感知することと、
   前記感知された表面に基づいて、前記アニメーションリグおよび前記表面を整合させることであって、前記第１の姿勢は、前記アニメーションリグおよび前記表面の整合に基づいて決定される、ことと
   をさらに含む、請求項１に記載の方法。
10. 前記第１の空間関係から前記第２の空間関係への変換は、前記アニメーションリグが前記第１の姿勢から前記第２の姿勢に移動しているときの前記キャラクタの筋肉の移動と関連付けられる、請求項１に記載の方法。
11. 前記移動情報は、少なくとも部分的に、四元数において表され、
    前記移動情報と関連付けられる損失関数は、四元数成分値の平均二乗誤差損失と前記成分値に関するペナルティとを組み合わせることを含む、
    請求項１に記載の方法。
12. 前記キャラクタのビューを前記複合現実環境内に表示することは、Ｆｏｒｗａｒｄ＋を使用して、前記キャラクタのビューをレンダリングすることを含む、請求項１に記載の方法。
13. 前記第１および第２の要素はそれぞれ、前記複合現実環境の無生物オブジェクトと関連付けられる視線ボックス、前記複合現実環境のイベントと関連付けられる関心面積、および前記複合現実環境内のユーザと関連付けられる社会的三角形のうちの１つと関連付けられる、請求項１に記載の方法。
14. システムであって、
    ディスプレイを備えるウェアラブル頭部デバイスと、
    １つ以上のプロセッサであって、前記１つ以上のプロセッサは、
    前記ディスプレイ上において、キャラクタのビューを複合現実環境内に表示することであって、
    前記キャラクタのビューは、前記キャラクタと関連付けられるアニメーションリグに基づき、
    前記アニメーションリグは、一次関節と、ヘルパ関節とを備え、
    前記一次関節は、前記キャラクタの骨格関節と関連付けられ、
    前記ヘルパ関節は、前記アニメーションリグの場所と関連付けられ、
    第１の時間では、前記アニメーションリグは、前記一次関節と前記ヘルパ関節との間の第１の空間関係によって定義された第１の姿勢にある、ことと、
    第２の時間において、前記アニメーションリグが前記第１の姿勢から第２の姿勢に移動していることを決定することであって、前記第２の姿勢は、前記一次関節と前記ヘルパ関節との間の第２の空間関係によって定義され、前記アニメーションリグが前記第１の姿勢から前記第２の姿勢に移動していることを決定することは、前記複合現実環境の第１の要素と関連付けられる関心度値が前記複合現実環境の第２の要素と関連付けられる関心度値を超えることを決定することを含む、ことと、
    移動情報に基づいて、前記ディスプレイ上において、前記アニメーションリグの表示を前記第１の姿勢から前記第２の姿勢に更新することであって、前記移動情報は、前記第１の空間関係から前記第２の空間関係への変換を示す、ことと
    を含む方法を実行するように構成される、１つ以上のプロセッサと
    を備える、システム。
15. 前記方法は、
    ニューラルネットワークに、前記アニメーションリグの移動と関連付けられる情報を伝送することと、
    前記ニューラルネットワークから、前記移動情報を受信することであって、前記移動情報は、前記伝送される情報に基づく、ことと
    をさらに含む、請求項１４に記載のシステム。
16. 非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
    ウェアラブル頭部デバイスのディスプレイ上において、キャラクタのビューを複合現実環境内に表示することであって、
    前記キャラクタのビューは、前記キャラクタと関連付けられるアニメーションリグに基づき、
    前記アニメーションリグは、一次関節と、ヘルパ関節とを備え、
    前記一次関節は、前記キャラクタの骨格関節と関連付けられ、
    前記ヘルパ関節は、前記アニメーションリグの場所と関連付けられ、
    第１の時間では、前記アニメーションリグは、前記一次関節と前記ヘルパ関節との間の第１の空間関係によって定義された第１の姿勢にある、ことと、
    第２の時間において、前記アニメーションリグが前記第１の姿勢から第２の姿勢に移動していることを決定することであって、前記第２の姿勢は、前記一次関節と前記ヘルパ関節との間の第２の空間関係によって定義され、前記アニメーションリグが前記第１の姿勢から前記第２の姿勢に移動していることを決定することは、前記複合現実環境の第１の要素と関連付けられる関心度値が前記複合現実環境の第２の要素と関連付けられる関心度値を超えることを決定することを含む、ことと、
    移動情報に基づいて、前記ウェアラブル頭部デバイスのディスプレイ上において、前記アニメーションリグの表示を前記第１の姿勢から前記第２の姿勢に更新することであって、前記移動情報は、前記第１の空間関係から前記第２の空間関係への変換を示す、ことと
    を含む方法を実行させる、非一過性コンピュータ可読媒体。
17. 前記方法は、
    ニューラルネットワークに、前記アニメーションリグの移動と関連付けられる情報を伝送することと、
    前記ニューラルネットワークから、前記移動情報を受信することであって、前記移動情報は、前記伝送される情報に基づく、ことと
    をさらに含む、請求項１６に記載の非一過性コンピュータ可読媒体。
18. 前記ヘルパ関節の場所は、手動定義および最大移動基準のうちの１つ以上のものを備えるヘルパ関節設置基準によって決定される、請求項１４に記載のシステム。
19. 前記アニメーションリグが前記第１の姿勢から前記第２の姿勢に移動していることを決定することは、前記ウェアラブル頭部デバイスと関連付けられる通視線が変化していることを決定することを含む、請求項１４に記載のシステム。
20. 前記ヘルパ関節の場所は、手動定義および最大移動基準のうちの１つ以上のものを備えるヘルパ関節設置基準によって決定される、請求項１６に記載の非一過性コンピュータ可読媒体。
    

Images