JP2023515526A - ウェアラブルシステムのための手およびトーテム入力融合 - Google Patents

Abstract

ユーザの手と関連付けられる、手姿勢データと、ハンドヘルドデバイスと関連付けられる、ハンドヘルドデバイス姿勢データを融合させるための技法。いくつかの実施形態では、ユーザの両手が、本明細書に説明される実施形態では利用される。基準フレーム内の手の位置を含む、手姿勢データは、手姿勢センサを使用して捕捉される。基準フレーム内のハンドヘルドデバイスの位置を含む、ハンドヘルドデバイス姿勢データは、ハンドヘルドデバイス姿勢センサを使用して捕捉される。手姿勢データとハンドヘルドデバイス姿勢データとの間の姿勢相違が、決定され、姿勢相違は、少なくとも、手の位置とハンドヘルドデバイスの位置との間の位置相違を含む。融合動作は、姿勢相違に基づいて実施される。

Description

（関連出願の相互参照）
本願は、その全内容が、あらゆる目的のために、参照することによって本明細書に組み込まれる、２０２０年２月２６日に出願され、「ＨＡＮＤ ＡＮＤ ＴＯＴＥＭ ＩＮＰＵＴ ＦＵＳＩＯＮ ＦＯＲ ＷＥＡＲＡＢＬＥ ＳＹＳＴＥＭＳ」と題された、米国仮特許出願第６２／９８１，９３０号の優先権の利益を主張する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる、「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部は、現実であるように見える、またはそのように知覚され得る様式で、ユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。

これらのディスプレイ技術において成された進展にもかかわらず、当技術分野において、拡張現実システム、特に、ディスプレイシステムに関連する、改良された方法、システム、およびデバイスの必要性が、存在する。

本開示は、概して、光学システムの性能およびユーザ体験を改良するための技法に関する。より具体的には、本開示の実施形態は、ハンドヘルドデバイスがウェアラブルシステムの動作を補助するために採用される、拡張現実（ＡＲ）、仮想現実（ＶＲ）、または複合現実（ＭＲ）ウェアラブルシステムを動作させるための方法を提供する。本開示の概要が、実施例の一覧として、下記に提供される。下記に使用されるように、一連の実施例への任意の言及は、それらの実施例のそれぞれへの離接的な言及として理解されるものである（例えば、「実施例１－４」は、「実施例１、２、３、または４」として理解されるものである）。

実施例１は、手姿勢データとハンドヘルドデバイス姿勢データを融合させる方法であって、手姿勢センサを使用して、基準フレーム内の手の位置を含む、手姿勢データを捕捉するステップと、ハンドヘルドデバイス姿勢センサを使用して、基準フレーム内のハンドヘルドデバイスの位置を含む、ハンドヘルドデバイスを捕捉するステップと、手姿勢データとハンドヘルドデバイス姿勢データとの間の姿勢相違を決定するステップであって、姿勢相違は、手の位置とハンドヘルドデバイスの位置との間の位置相違を含む、ステップと、姿勢相違に基づいて、融合動作を実施するステップとを含む、方法である。

実施例２は、位置相違は、手の位置とハンドヘルドデバイスの位置との間の距離である、実施例１に記載の方法である。

実施例３は、距離が距離閾値を上回るかまたは距離閾値未満であるかを決定するステップをさらに含む、実施例２に記載の方法である。

実施例４は、距離が距離閾値を上回ることが決定される場合、融合動作を実施するステップは、ハンドヘルドデバイスが手によって保持されていないことを決定するステップを含む、実施例３に記載の方法である。

実施例５は、距離が距離閾値未満または距離閾値に等しいことが決定される場合、融合動作を実施するステップは、ハンドヘルドデバイスが手によって保持されていることを決定するステップを含む、実施例３に記載の方法である。

実施例６は、距離が距離閾値を上回ることが決定される場合、融合動作を実施するステップは、手姿勢データを抑制するステップ、またはハンドヘルドデバイス姿勢データを抑制するステップを含む、実施例３に記載の方法である。

実施例７は、距離が距離閾値未満または距離閾値に等しいことが決定される場合、融合動作を実施するステップは、手姿勢データを使用して、ハンドヘルドデバイス姿勢データを増大させるステップ、ハンドヘルドデバイス姿勢データを使用して、手姿勢データを増大させるステップ、または手姿勢データおよびハンドヘルドデバイス姿勢データを使用して、組み合わせられた姿勢データを生成するステップを含む、実施例３に記載の方法である。

実施例８は、手姿勢センサを使用して、手姿勢データを捕捉するステップは、手と関連付けられる、複数の特徴点を識別するステップと、複数の特徴点に基づいて、手の位置を決定するステップとを含む、実施例１に記載の方法である。

実施例９は、手姿勢データは、手の位置および手の配向の両方を含む、実施例１に記載の方法である。

実施例１０は、手姿勢データは、手の位置を含むが、手の配向を含まない、実施例１に記載の方法である。

実施例１１は、ハンドヘルドデバイス姿勢データは、ハンドヘルドデバイスの位置およびハンドヘルドデバイスの配向の両方を含む、実施例１に記載の方法である。

実施例１２は、ハンドヘルドデバイス姿勢データは、ハンドヘルドデバイスの位置を含むが、ハンドヘルドデバイスの配向を含まない、実施例１に記載の方法である。

実施例１３は、手姿勢データは、手の配向を含み、ハンドヘルドデバイス姿勢データは、ハンドヘルドデバイスの配向を含む、実施例１に記載の方法である。

実施例１４は、姿勢相違は、手の配向とハンドヘルドデバイスの配向との間の配向相違を含む、実施例１３に記載の方法である。

実施例１５は、配向相違は、手の配向とハンドヘルドデバイスの配向との間の角度オフセットである、実施例１４に記載の方法である。

実施例１６は、角度オフセットが角度閾値を上回るかまたは角度閾値未満であるかを決定するステップをさらに含む、実施例１５に記載の方法。

実施例１７は、ハンドヘルドデバイスの３次元（３Ｄ）モデルおよびハンドヘルドデバイスの配向に基づいて、ハンドヘルドデバイスの位置を修正するステップをさらに含む、実施例１３に記載の方法。

実施例１８は、手姿勢センサは、ハンドヘルドデバイス姿勢センサと異なる、実施例１に記載の方法である。

実施例１９は、手姿勢センサおよびハンドヘルドデバイス姿勢センサは、同一センサである、実施例１に記載の方法である。

実施例２０は、手姿勢センサは、画像捕捉デバイスである、実施例１に記載の方法である。

実施例２１は、手姿勢センサは、深度センサである、実施例１に記載の方法である。

実施例２２は、手姿勢センサは、ヘッドセットに搭載される、実施例１に記載の方法である。

実施例２３は、ハンドヘルドデバイス姿勢センサは、電磁（ＥＭ）伝送機と、ＥＭ受信機とを含む、実施例１に記載の方法である。

実施例２４は、ＥＭ伝送機は、ハンドヘルドデバイスに搭載され、ＥＭ受信機は、ヘッドセットに搭載される、実施例２３に記載の方法である。

実施例２５は、システムであって、基準フレーム内の手の位置を含む、手姿勢データを捕捉するように構成される、手姿勢センサと、基準フレーム内のハンドヘルドデバイスの位置を含む、ハンドヘルドデバイス姿勢データを捕捉するように構成される、ハンドヘルドデバイス姿勢センサと、手姿勢センサおよびハンドヘルドデバイス姿勢センサと通信する、１つまたはそれを上回るプロセッサであって、手姿勢データとハンドヘルドデバイス姿勢データとの間の姿勢相違を決定するステップであって、姿勢相違は、手の位置とハンドヘルドデバイスの位置との間の位置相違を含む、ステップと、姿勢相違に基づいて、融合動作を実施するステップとを含む、動作を実施するように構成される、１つまたはそれを上回るプロセッサとを備える、システムである。

実施例２６は、位置相違は、手の位置とハンドヘルドデバイスの位置との間の距離である、実施例２５に記載のシステムである。

実施例２７は、距離が、距離閾値を上回るか、または距離閾値未満であるか、または距離閾値に等しいかを決定するステップをさらに含む、実施例２６に記載のシステム。

実施例２８は、距離が距離閾値を上回ることが決定される場合、融合動作を実施するステップは、ハンドヘルドデバイスが手によって保持されていないことを決定するステップを含む、実施例２７に記載のシステムである。

実施例２９は、距離が距離閾値未満または距離閾値に等しいことが決定される場合、融合動作を実施するステップは、ハンドヘルドデバイスが手によって保持されていることを決定するステップを含む、実施例２７に記載のシステムである。

実施例３０は、距離が距離閾値未満であることが決定される場合、融合動作を実施するステップは、手姿勢データを抑制するステップ、またはハンドヘルドデバイス姿勢データを抑制するステップを含む、実施例２７に記載のシステムである。

実施例３１は、距離が距離閾値を上回ることが決定される場合、融合動作を実施するステップは、手姿勢データを抑制するステップ、またはハンドヘルドデバイス姿勢データを抑制するステップを含む、実施例２７に記載のシステムである。

実施例３２は、距離が距離閾値未満または距離閾値に等しいことが決定される場合、融合動作を実施するステップは、手姿勢データを使用して、ハンドヘルドデバイス姿勢データを増大させるステップ、ハンドヘルドデバイス姿勢データを使用して、手姿勢データを増大させるステップ、または手姿勢データおよびハンドヘルドデバイス姿勢データを使用して、組み合わせられた姿勢データを生成するステップを含む、実施例２７に記載のシステムである。

実施例３３は、手姿勢センサを使用して、手姿勢データを捕捉するステップは、手と関連付けられる、複数の特徴点を識別するステップと、複数の特徴点に基づいて、手の位置を決定するステップとを含む、実施例２５に記載のシステムである。

実施例３４は、手姿勢データは、手の位置および手の配向の両方を含む、実施例２５に記載のシステムである。

実施例３５は、手姿勢データは、手の位置を含むが、手の配向を含まない、実施例２５に記載のシステムである。

実施例３６は、ハンドヘルドデバイス姿勢データは、ハンドヘルドデバイスの位置およびハンドヘルドデバイスの配向の両方を含む、実施例２５に記載のシステムである。

実施例３７は、ハンドヘルドデバイス姿勢データは、ハンドヘルドデバイスの位置を含むが、ハンドヘルドデバイスの配向を含まない、実施例２５に記載のシステムである。

実施例３８は、手姿勢データは、手の配向を含み、ハンドヘルドデバイス姿勢データは、ハンドヘルドデバイスの配向を含む、実施例２５に記載のシステムである。

実施例３９は、姿勢相違は、手の配向とハンドヘルドデバイスの配向との間の配向相違を含む、実施例３８に記載のシステムである。

実施例４０は、ハンドヘルドデバイスの３次元（３Ｄ）モデルおよびハンドヘルドデバイスの配向に基づいて、ハンドヘルドデバイスの位置を修正するステップをさらに含む、実施例３８に記載のシステム。

実施例４１は、配向相違は、手の配向とハンドヘルドデバイスの配向との間の角度オフセットである、実施例３９に記載のシステムである。

実施例４２は、角度オフセットが角度閾値を上回るかまたは角度閾値未満であるかを決定するステップをさらに含む、実施例４１に記載のシステム。

実施例４３は、ハンドヘルドデバイスの３次元（３Ｄ）モデルおよびハンドヘルドデバイスの配向に基づいて、ハンドヘルドデバイスの位置を修正するステップをさらに含む、実施例３８に記載のシステム。

実施例４４は、手姿勢センサは、ハンドヘルドデバイス姿勢センサと異なる、実施例２５に記載のシステムである。

実施例４５は、手姿勢センサおよびハンドヘルドデバイス姿勢センサは、同一センサである、実施例２５に記載のシステムである。

実施例４６は、手姿勢センサは、画像捕捉デバイスである、実施例２５に記載のシステムである。

実施例４７は、手姿勢センサは、深度センサである、実施例２５に記載のシステムである。

実施例４８は、手姿勢センサは、ヘッドセットに搭載される、実施例２５に記載のシステムである。

実施例４９は、ハンドヘルドデバイス姿勢センサは、電磁（ＥＭ）伝送機と、ＥＭ受信機とを含む、実施例２５に記載のシステムである。

実施例５０は、ＥＭ伝送機は、ハンドヘルドデバイスに搭載され、ＥＭ受信機は、ヘッドセットに搭載される、実施例４９に記載のシステムである。

実施例５１は、システムであって、ユーザによって装着されるように構成される、少なくとも１つのウェアラブルコンポーネントと、その少なくとも一部が、少なくとも１つのウェアラブルコンポーネント内に含有される、またはそれに取り付けられる、複数の電子ハードウェアコンポーネントであって、コンテンツをユーザに提示するように構成される、ディスプレイと、そのうちの少なくとも１つが、画像捕捉デバイスを備える、複数のセンサと、ディスプレイ、複数のセンサ、およびユーザの手の中に保持されるように構成される、ポータブル入力デバイスと通信する、少なくとも１つのプロセッサであって、画像データを画像捕捉デバイスから受信し、データを、画像捕捉デバイスと異なる、複数のセンサのうちの１つまたはそれを上回るものから受信し、少なくとも部分的に、画像捕捉デバイスから受信された画像データと、画像捕捉デバイスと異なる、複数のセンサのうちの１つまたはそれを上回るものから受信されたデータとに基づいて、ポータブル入力デバイスが、ユーザの手から離れた少なくとも１つの閾値距離未満に位置付けられるかどうかを決定し、少なくとも部分的に、ポータブル入力デバイスが、ユーザの手から離れた少なくとも１つの閾値距離未満に位置付けられると決定されるかどうかに基づいて、ディスプレイの動作を制御するように構成される、少なくとも１つのプロセッサとを備える、複数の電子ハードウェアコンポーネントとを備える、システムである。

実施例５２は、ポータブル入力デバイスがユーザの手から離れた少なくとも１つの閾値距離未満に位置付けられるかどうかを決定し、ディスプレイの動作を制御するために、少なくとも１つのプロセッサは、少なくとも部分的に、画像捕捉デバイスから受信された画像データと、画像捕捉デバイスと異なる、複数のセンサのうちの１つまたはそれを上回るものから受信されたデータとに基づいて、ポータブル入力デバイスがユーザの手に対して画定された体積内に位置付けられるかどうかを決定し、少なくとも部分的に、ポータブル入力デバイスがユーザの手に対して画定された体積内に位置付けられると決定されたかどうかに基づいて、ディスプレイの動作を制御するように構成される、実施例５０に記載のシステムである。

実施例５３は、ユーザの手に対して画定された体積は、球状または楕円体形状である、実施例５１に記載のシステムである。

実施例５４は、少なくとも１つのプロセッサはさらに、少なくとも部分的に、画像捕捉デバイスから受信された画像データに基づいて、ユーザの手の位置および配向の一方または両方を決定し、少なくとも部分的に、画像捕捉デバイスと異なる、複数のセンサのうちの１つまたはそれを上回るものから受信されたデータに基づいて、ポータブル入力デバイスの位置および配向の一方または両方を決定するように構成され、少なくとも１つのプロセッサは、少なくとも部分的に、ユーザの手の位置、ユーザの手の配向、ポータブル入力デバイスの位置、ポータブル入力デバイスの配向、またはそれらの組み合わせに基づいて、ユーザの手に対する体積を画定するように構成される、実施例５１に記載のシステムである。

実施例５５は、少なくとも１つのプロセッサは、少なくとも部分的に、１つまたはそれを上回る要因に基づいて、体積の１つまたはそれを上回るパラメータを調節するように構成され、体積の１つまたはそれを上回るパラメータは、体積の位置、体積の配向、体積のサイズ、体積の形状、またはそれらの組み合わせを備え、１つまたはそれを上回る要因は、少なくとも１つのウェアラブルコンポーネントとポータブル入力デバイスとの間の距離、少なくとも１つのウェアラブルコンポーネントとユーザの手との間の距離、ポータブル入力デバイスまたはユーザの手が、少なくとも１つのウェアラブルコンポーネントのより近くに位置付けられると決定されるかどうか、複数のセンサのいくつかまたは全てから受信されたデータ、またはポータブル入力デバイスから受信されたデータのうちの少なくとも１つを含む、実施例５３に記載のシステムである。

実施例５６は、ユーザの手に対して画定された体積は、第１の体積を備え、少なくとも１つのプロセッサはさらに、少なくとも部分的に、画像捕捉デバイスから受信された画像データと、画像捕捉デバイスと異なる、複数のセンサのうちの１つまたはそれを上回るものから受信されたデータとに基づいて、ポータブル入力デバイスがユーザまたは少なくとも１つのウェアラブルコンポーネントに対して画定された第２の体積内に位置付けられるかどうかを決定するように構成され、少なくとも部分的に、ポータブル入力デバイスがユーザの手に対して画定された体積内に位置付けられていると決定されるかどうかに基づいて、ディスプレイの動作を制御するために、少なくとも１つのプロセッサは、少なくとも部分的に、（ｉ）ポータブル入力デバイスがユーザの手に対して画定された第１の体積内に位置付けられていると決定されるかどうか、または（ｉｉ）ポータブル入力デバイスがユーザまたは少なくとも１つのウェアラブルコンポーネントに対して画定された第２の体積内に位置付けられていると決定されるかどうかに基づいて、ディスプレイの動作を制御するように構成される、実施例５１に記載のシステムである。

実施例５７は、第２の体積は、ユーザの手と異なる、ユーザの１つまたはそれを上回る部分に対して画定され、ユーザの１つまたはそれを上回る部分は、ユーザの胸部、肩、頭部、腕、眼、またはそれらの組み合わせのうちの１つまたはそれを上回る部分を備える、実施例５５に記載のシステムである。

実施例５８は、第２の体積は、ユーザの手の届く範囲内に位置付けられる、ユーザに対する３次元空間内の場所の範囲に対応する、実施例５６に記載のシステムである。

実施例５９は、少なくとも部分的に、ポータブル入力デバイスがユーザの手から離れた少なくとも１つの閾値距離未満に位置付けられていると決定されるかどうかに基づいて、ディスプレイの動作を制御するために、少なくとも１つのプロセッサは、ポータブル入力デバイスがユーザの手から離れた少なくとも１つの閾値距離未満に位置付けられることの決定に応答して、ポータブル入力デバイスを介したディスプレイによって提示されるコンテンツのうちの少なくともいくつかとのユーザ相互作用は、有効にされ、ディスプレイによって提示されるコンテンツのうちの少なくともいくつかとの手ベースのユーザ相互作用が、限定または無効にされる、第１の動作モードに従って、ディスプレイの動作を制御し、ポータブル入力デバイスがユーザの手から離れた少なくとも１つの閾値距離未満に位置付けられていないことの決定に応答して、手ベースのディスプレイによって提示されるコンテンツのうちの少なくともいくつかとのユーザ相互作用が、有効にされ、ポータブル入力デバイスを介したディスプレイによって提示されるコンテンツのうちの少なくともいくつかとのユーザ相互作用が、限定または無効にされる、第２の動作モードに従って、ディスプレイの動作を制御するように構成される、実施例５０に記載のシステムである。

本開示のさらなる理解を提供するために含まれる、付随の図面は、本明細書に組み込まれ、その一部を成し、本開示の実施形態を図示し、詳細な説明とともに、本開示の原理を解説する役割を果たす。本開示の基本的な理解およびこれが実践され得る種々の方法に関して必要であり得るよりも詳細に、本開示の構造的詳細を示す試みは、行われない。

図１Ａおよび１Ｂは、ウェアラブルシステムの種々のコンポーネントの姿勢の実施例を図示する。 図１Ａおよび１Ｂは、ウェアラブルシステムの種々のコンポーネントの姿勢の実施例を図示する。

図２Ａおよび２Ｂは、ハンドヘルドデバイスとユーザの手との間の姿勢相違を決定する実施例を図示する。

図３Ａ－３Ｃは、決定された姿勢相違に基づいて、ハンドヘルドデバイスがユーザの手によって保持されているかどうかを決定する種々の実施例を図示する。

図４Ａ－４Ｃは、決定された姿勢相違に基づいて、ハンドヘルドデバイスがユーザの手によって保持されているかどうかを決定する種々の実施例を図示する。

図５は、ウェアラブルＡＲ／ＶＲ／ＭＲシステムの種々の可能性として考えられるコンポーネントを図示する。

図６は、ウェアラブルＡＲ／ＶＲ／ＭＲシステムによって採用され得る、電磁追跡システムの実施例を図示する。

図７は、視覚的追跡システムおよび／または電磁追跡システムがウェアラブルＡＲ／ＶＲ／ＭＲシステムの中に組み込まれ得る方法の実施例を図示する。

図８Ａ－８Ｅは、ウェアラブルデバイス、ハンドヘルドデバイス、および／またはユーザの手の姿勢を追跡するためのウェアラブルＡＲ／ＶＲ／ＭＲシステムの種々の例示的構成を図示する。 図８Ａ－８Ｅは、ウェアラブルデバイス、ハンドヘルドデバイス、および／またはユーザの手の姿勢を追跡するためのウェアラブルＡＲ／ＶＲ／ＭＲシステムの種々の例示的構成を図示する。 図８Ａ－８Ｅは、ウェアラブルデバイス、ハンドヘルドデバイス、および／またはユーザの手の姿勢を追跡するためのウェアラブルＡＲ／ＶＲ／ＭＲシステムの種々の例示的構成を図示する。 図８Ａ－８Ｅは、ウェアラブルデバイス、ハンドヘルドデバイス、および／またはユーザの手の姿勢を追跡するためのウェアラブルＡＲ／ＶＲ／ＭＲシステムの種々の例示的構成を図示する。 図８Ａ－８Ｅは、ウェアラブルデバイス、ハンドヘルドデバイス、および／またはユーザの手の姿勢を追跡するためのウェアラブルＡＲ／ＶＲ／ＭＲシステムの種々の例示的構成を図示する。

図９は、ユーザの手の捕捉された画像またはビデオに基づいて識別され得る、手特徴点のセットの実施例を図示する。

図１０は、ハンドヘルドデバイスの決定された姿勢と、ハンドヘルドデバイスの既知の３Ｄモデルとに基づいて識別され得る、ハンドヘルドデバイス特徴点のセットの実施例を図示する。

図１１は、識別され得る、手特徴点のセットおよびハンドヘルドデバイス特徴点のセットの実施例を図示する。

図１２Ａ－１２Ｆは、ウェアラブルシステムのための手およびトーテム入力融合を実施するための方法を図示する。 図１２Ａ－１２Ｆは、ウェアラブルシステムのための手およびトーテム入力融合を実施するための方法を図示する。 図１２Ａ－１２Ｆは、ウェアラブルシステムのための手およびトーテム入力融合を実施するための方法を図示する。 図１２Ａ－１２Ｆは、ウェアラブルシステムのための手およびトーテム入力融合を実施するための方法を図示する。 図１２Ａ－１２Ｆは、ウェアラブルシステムのための手およびトーテム入力融合を実施するための方法を図示する。 図１２Ａ－１２Ｆは、ウェアラブルシステムのための手およびトーテム入力融合を実施するための方法を図示する。

図１３は、コンピュータシステムを図示する。

具体的実施形態の詳細な説明
ウェアラブルシステムは、種々の入力を通してユーザによって相互作用され得る、データ要素を含み得る、双方向拡張現実（ＡＲ）、仮想現実（ＶＲ）、および／または複合現実（ＭＲ）環境を提示することができる。現代のコンピューティングシステムは、ＡＲ／ＶＲ／ＭＲ環境等のデータが豊富でかつ動的な相互作用環境において、単一直接入力に基づいて、典型的には、所与の出力を生成するように工学設計されるが（例えば、キーボードは、ユーザの指のストロークから受信されるようなテキスト入力を中継し、音声認識アプリケーションは、直接入力としてのユーザの音声に基づいて、実行可能データ文字列を作成することができ、コンピュータマウスは、ユーザの直接操作に応答して、カーソルを誘導することができる等）、高度な特異性が、特定のタスクを遂行するために望ましくあり得る。

そうでなければ、精密な入力の不在下、コンピューティングシステムは、高エラー率に悩まされ得、実施されるべき正しくないコンピュータ動作を生じさせ得る。例えば、ユーザが、タッチパッドを使用して、オブジェクトを３Ｄ空間内で移動させることを意図するとき、コンピューティングシステムは、ユーザが、タッチパッドを使用して、目的地を規定していない、またはオブジェクトを規定していない場合、移動コマンドを正しく解釈することが不可能である場合がある。別の実施例として、唯一の入力モードとして、仮想キーボードを使用して、テキストの文字列を入力すること（例えば、ユーザ入力デバイスを用いて、またはジェスチャによって、操作されるように）は、仮想キーボードがレンダリングされた、空中または物理的表面（例えば、机）上に記述されたキーをタイプするために、長期的微細な運動制御を要求するため、低速であって、物理的に疲労をもたらし得る。

多くのインスタンスでは、任意の時点で使用される、特定のセンサ入力は、ユーザが３Ｄ環境と相互作用するにつれて、動的に変化し得る。デバイスが、入力モードが、付加的情報を提供し、仮想オブジェクトの標的化を補助することを決定すると、入力モードが、動的に追加（または本明細書にさらに説明されるように、「融合」）され得、入力モードは、その入力モードがもはや関連情報を提供しない場合、動的に除去され得る。例えば、ウェアラブルシステムは、ユーザの頭部姿勢および眼視線が標的オブジェクトに指向されていることを決定し得る。デバイスは、これらの２つの入力モードを使用して、標的オブジェクトの選択を補助することができる。デバイスが、ユーザがまたトーテムを標的オブジェクトに向けていることを決定する場合、デバイスは、トーテム入力を頭部姿勢および眼視線入力に動的に追加することができ、これは、ユーザが標的オブジェクトを選択することを意図していることのさらなる確実性を提供し得る。これは、トーテム入力が、頭部姿勢入力および眼視線入力と「収束」すると言え得る。本実施例を継続すると、ユーザが、ユーザの眼視線がもはや標的オブジェクトに指向されないように、標的オブジェクトから眼を離す場合、デバイスは、眼視線入力の使用を中止する一方、トーテム入力および頭部姿勢入力を使用し続けてもよい。この場合、これは、眼視線入力が、トーテム入力および頭部姿勢入力から「発散」すると言え得る。

多くの技法が、いくつかの入力モード間で生じる収束および発散イベントを決定するために開発されているが、１つの難点は、トーテムが、ユーザの手の近くにあって、必ずしも、ユーザによって保持されていないとき、トーテム入力（例えば、ハンドヘルドデバイスの移動）とジェスチャ入力（例えば、ユーザの手の移動）との間の収束を検出することであり得る。例えば、ユーザは、トーテムをユーザの手の近くの表面上に置く、ユーザのシャツまたはズボン上のポケット内に入れ得る、またはトーテムを一方の手から別の手に持ち替え得る。多くの用途では、トーテムが実際にユーザの手の中にあるかどうかと、トーテムがどちらの手の中にあるか（またはトーテムが両手によって保持されているかどうか）とを把握することは、ユーザが相互作用する、仮想オブジェクトに影響を及ぼし得る。例えば、その中で複数のユーザが仮想ボールおよび仮想バットを用いてプレーしている、ゲームの間、ボールを打っているユーザは、仮想バットを表すトーテムを提供され得る。仮想バットがユーザの仮想手によって保持されているように現れるべきかどうかは、トーテムが実際にユーザの手の中にあるかどうかに依存するであろう。別の実施例として、トーテムがユーザの手の中にあるかどうかの決定は、トーテムおよびユーザの手に関する姿勢データがウェアラブルシステムによって使用される方法に影響を及ぼし得る。例えば、トーテムが、ユーザの手の中にある場合、手に関する姿勢データは、トーテムに関する姿勢データを増大させる（例えば、その正確度を増加させる）ために使用され得、その逆も同様である。

いくつかのインスタンスでは、トーテムがユーザの手の中にあるとき、ユーザの手に関する姿勢データを抑制し、代わりに、トーテムに関する姿勢データに実質的に依拠することが有利であり得る。例えば、トーテムに関する姿勢データを決定するために採用される電磁追跡システムは、ユーザの手に関する姿勢データを決定するために採用される視覚的追跡システムより正確な推定をもたらし得る。したがって、ユーザの手に関する姿勢データを使用して、トーテムに関する姿勢データを組み合わせる、または増大させる、任意の試みは、その正確度を減少させ得る。

正確な姿勢情報は、ウェアラブルシステムによって実施される多くのタスクのために重要である。例えば、頭部姿勢の検出が、仮想オブジェクトがユーザにとって意味を成す様式において実世界内の空間を占有しているように見えるように、ディスプレイシステムがそれらをレンダリングするように促進することができる。加えて、ユーザの頭部またはウェアラブルシステムに関連した、ハンドヘルドデバイス（また、本明細書では、トーテム、ポータブル入力デバイス、またはコントローラとも称され得る）、触覚デバイス、または他の実際の物理的オブジェクト等の実オブジェクトの姿勢の検出もまた、ユーザに表示情報を提示し、ユーザがＡＲ／ＶＲ／ＭＲシステムのある側面と効率的に相互作用することを可能にするステップにおいて、ディスプレイシステムを促進してもよい。少なくともＡＲ用途に関して、物理的オブジェクトとの空間関係の中への仮想オブジェクトの設置（例えば、２または３次元において物理的オブジェクトに空間的に近接して出現するように提示される）は、些細ではない問題であり得る。

例えば、頭部の移動が、周囲環境のビューの中への仮想オブジェクトの設置を有意に複雑にし得る。それは、ビューが周囲環境の画像として捕捉され、次いで、エンドユーザに投影または表示されるかどうか、またはエンドユーザが周囲環境のビューを直接知覚するかどうかにかかわらず、当てはまる。例えば、頭部の移動が、エンドユーザの視野を変化させる可能性が高く、これは、種々の仮想オブジェクトがエンドユーザの視野内に表示される場所に対する更新を要求する可能性が高くなるであろう。

加えて、頭部の移動は、多種多様な範囲および速度内で生じ得る。頭部の移動速度は、異なる頭部移動の間でだけではなく、単一の頭部移動の範囲内で、またはそれを横断しても変動し得る。例えば、頭部の移動速度は、最初に始点から（例えば、線形または非線形に）増加し得、終点に到達するにつれて、減少し、頭部移動の始点と終点との間のどこかで最大速度を取得し得る。急速な頭部移動はさらに、エンドユーザに均一に、および／または平滑な運動として見える画像をレンダリングするための特定の表示または投影技術の能力を超過し得る。

正確な姿勢推定の目的のために、トーテムと手のジェスチャ入力を融合するための現在のアプローチは、満足の行く速度または精度規格において実施されていない。したがって、ＡＲ／ＶＲ／ＭＲデバイスの状況では、より優れたシステム、方法、および他の技法の必要性が、存在する。以下の説明において、種々の実施形態が、説明されるであろう。解説の目的のために、具体的な構成および詳細が、実施形態の徹底的な理解を提供するために記載される。しかしながら、実施形態が、具体的な詳細を伴わずに実践され得ることもまた、当業者に明白になるであろう。さらに、周知の特徴が、説明されている実施形態を不明瞭にしないために省略または簡略化されてもよい。

本明細書で使用されるように、用語「姿勢」は、コンポーネントの位置および／または配向を指し得るが、別様に示されない限り、必ずしも、位置および配向の両方を含意するわけではない。例えば、本明細書で使用されるようなコンポーネントの「姿勢を決定する」とは、概して、コンポーネントの位置を決定すること、および／またはコンポーネントの配向を決定することを指し得る。別の実施例として、コンポーネントの「姿勢を決定する」とは、概して、コンポーネントの位置または配向のうちの少なくとも１つを決定することを指し得る。別の実施例として、コンポーネントの「位置を含む、姿勢を決定する」とは、概して、コンポーネントの位置、随意に、配向を決定することを指し得る。別の実施例として、コンポーネントの「配向を含む、姿勢を決定する」とは、概して、コンポーネントの配向、随意に、位置を決定することを指し得る。

図１Ａおよび１Ｂは、ウェアラブルデバイス１０２、ハンドヘルドデバイス１０４、およびユーザの手１０６を含む、ウェアラブルシステムの種々のコンポーネントの姿勢の実施例を図示する。図１Ａを参照すると、ウェアラブルデバイス１０２は、基準フレームに対して（Ｘ_ＷＰ、Ｙ_ＷＰ、Ｚ_ＷＰ）として画定される、位置（「ウェアラブル位置」）と、基準フレームに対して（Ｘ_ＷＯ、Ｙ_ＷＯ、Ｚ_ＷＯ）として画定される、配向（「ウェアラブル配向」）とを有してもよい。ウェアラブルデバイス１０２の位置は、可能性の中でもとりわけ、Ｘ、Ｙ、およびＺデカルト値、または経度、緯度、および高度値で表されてもよい。ウェアラブルデバイス１０２の配向は、可能性の中でもとりわけ、ピッチ角、ヨー角、およびロール角値で表されてもよい。

同様に、ハンドヘルドデバイス１０４は、基準フレームに対して（Ｘ_ＤＰ、Ｙ_ＤＰ、Ｚ_ＤＰ）として画定される、位置（「ハンドヘルド位置」）と、基準フレームに対して（Ｘ_ＤＯ、Ｙ_ＤＯ、Ｚ_ＤＯ）として画定される、配向（「ハンドヘルド配向」）とを有してもよい。ハンドヘルドデバイス１０４の位置は、可能性の中でもとりわけ、Ｘ、Ｙ、およびＺデカルト値、または経度、緯度、および高度値で表されてもよい。ハンドヘルドデバイス１０４の配向は、可能性の中でもとりわけ、ピッチ角、ヨー角、およびロール角度値で表されてもよい。同様に、手１０６は、基準フレームに対して（Ｘ_ＨＰ、Ｙ_ＨＰ、Ｚ_ＨＰ）として画定される、位置（「手位置」）と、基準フレームに対して（Ｘ_ＨＯ、Ｙ_ＨＯ、Ｚ_ＨＯ）として画定される、配向（「手配向」）とを有してもよい。手１０６の位置は、可能性の中でもとりわけ、Ｘ、Ｙ、およびＺデカルト値、または経度、緯度、および高度値で表されてもよい。手の配向１０６は、可能性の中でもとりわけ、ピッチ角、ヨー角、およびロール角値で表されてもよい。

いくつかの実施形態では、位置および配向毎の基準フレームは、世界基準フレームであってもよい。いくつかの実施形態では、ウェアラブルデバイス１０２の位置および配向は、ウェアラブルデバイス１０２の位置が、（０、０、０）として設定され得、ウェアラブルデバイス１０２の配向が、（０°、０°、０°）として設定され得るように、基準フレームとして使用されてもよい。故に、ハンドヘルドデバイス１０４および手１０６の位置および配向は、ウェアラブルデバイス１０２の位置および配向に対して決定されてもよい。

図１Ｂは、ハンドヘルドデバイス１０４をその手の中に保持し、ハンドヘルドデバイス１０４および手１０６の位置を相互に近付けさせている、ウェアラブルシステムのユーザの実施例を示す。したがって、本開示のいくつかの実施形態では、ハンドヘルドデバイス１０４および手１０６の位置間の類似性（例えば、近接度）は、ハンドヘルドデバイス１０４がユーザの手の中にあることを示し得る。さらに、ユーザの手が、概して、ハンドヘルドデバイス１０４と係合されると、特定の方向に配向されるため、ハンドヘルドデバイス１０４および手１０６の配向間の類似性もまた、ハンドヘルドデバイス１０４がユーザの手の中にあることを示し得る。

ハンドヘルドデバイス１０４および手１０６の位置および配向類似性（または同一論理に従って、位置および配向不同性または相違）およびウェアラブルデバイス１０２に対するその関係の組み合わせは、ウェアラブルシステムに、ユーザがハンドヘルドデバイス１０４を保持しているかどうかを知らせることができ、これは、入力モード選択およびハンドリングに関する決定に影響を及ぼし得る。

図２Ａおよび２Ｂは、ハンドヘルドデバイス１０４と手１０６との間の姿勢相違を決定する実施例を図示する。姿勢相違は、図２Ａを参照して示される、位置相違２０２と、図２Ｂを参照して示される、配向相違２０４の組み合わせとして計算されてもよい。いくつかの実施形態では、位置相違２０２は、ハンドヘルドデバイス１０４および手１０６の位置間の距離として計算され、故に、フィートまたはメートル等の任意の長さの単位で表されてもよい。いくつかの実施形態では、配向相違２０４は、ハンドヘルドデバイス１０４および手１０６の配向間の角度として計算され、故に、ラジアンまたは度等の角度を測定するための任意の単位で表されてもよい。

図３Ａ－３Ｃは、決定された姿勢相違に基づいて、ハンドヘルドデバイス１０４が手１０６によって保持されているかどうかを決定する種々の実施例を図示する。いくつかの実施形態では、距離閾値３０２は、その中でハンドヘルドデバイス１０４が手１０６によって保持されているであろうことが予期される、ハンドヘルドデバイス１０４および手１０６の位置間の最大距離として使用されてもよい。距離閾値３０２は、体積（例えば、球体、楕円体、または同等物）の外面に沿った１つまたはそれを上回る場所と、ハンドヘルドデバイス１０４の位置または手１０６の位置と一致し得る、体積内の場所との間の距離に対応し得る。例えば、距離閾値３０２は、位置のいずれかに中心合わせされ得る、球体に関する半径として使用されてもよい。図３Ａを参照すると、距離閾値３０２に等しい半径を有する、球体が、ハンドヘルドデバイス１０４の位置に中心合わせされる。手１０６の位置が、球体の外側にあるため、ハンドヘルドデバイス１０４が手１０６によって保持されていないことが決定される。

図３Ｂを参照すると、距離閾値３０２に等しい半径を有する、球体が、手１０６の位置に中心合わせされる。ハンドヘルドデバイス１０４の位置が、球体の外側にあるため、ハンドヘルドデバイス１０４が手１０６によって保持されていないことが決定される。図３Ｃを参照すると、球体は、ハンドヘルドデバイス１０４の位置に中心合わせされ、ここでは、手１０６の位置は、球体の内側にあり、故に、ハンドヘルドデバイス１０４が手１０６によって保持されていると決定される。

図４Ａ－４Ｃは、決定された姿勢相違に基づいて、ハンドヘルドデバイス１０４が手１０６によって保持されているかどうかを決定する種々の実施例を図示する。図４Ａを参照すると、ウェアラブルデバイス１０２、ハンドヘルドデバイス１０４、および手１０６のそれぞれの姿勢が、決定されてもよく、距離閾値３０２に等しい半径を有する、球体が、手１０６の位置に中心合わせされる。ハンドヘルドデバイス１０４の位置は、図４Ａでは、球体内にあるが、球体は、図４Ｂでは、ウェアラブルデバイス１０２および手１０６の位置間の関係に基づいて、楕円体に変形されている。図示される実施例では、楕円体は、ウェアラブルデバイス１０２の位置から離れるよりも、ウェアラブルデバイス１０２の位置に向かってさらに延在し、ユーザによって保持されていないとき、ハンドヘルドデバイス１０４がユーザからより遠くにある（例えば、テーブルまたは机上にある）傾向を考慮する。ハンドヘルドデバイス１０４の位置が、楕円体と比較されるとき、位置が楕円体の外側にあって、したがって、ハンドヘルドデバイス１０４が手１０６によって保持されていないことが決定され得る。

いくつかの実施形態では、第１の体積（例えば、球体、楕円体、または同等物）が、手１０６に対して画定されてもよく（例えば、手１０６の位置に位置合わせされ）、第２の体積が、ウェアラブルデバイス１０２（例えば、ウェアラブルデバイス１０２の位置に位置合わせされる）またはユーザの手１０６以外の１つまたはそれを上回る部分（例えば、ユーザの胸部または肩の推定される位置に位置合わせされる）に対して画定されてもよい。これらの実施形態のうちのいくつかでは、ハンドヘルドデバイス１０４の位置が、第１の体積および第２の体積の両方内にあると決定される（例えば、３次元空間内の第１の体積と第２の体積との間の重複の領域内にあると決定される）と、ハンドヘルドデバイス１０４が手１０６によって保持されていることが決定され得る。しかしながら、これらの実施形態のうちの少なくともいくつかでは、ハンドヘルドデバイス１０４の位置が、第１の体積および第２の体積の一方または両方の外側にあると決定される（例えば、３次元空間内の第１の体積と第２の体積との間の重複の領域の外側にあると決定される）と、ハンドヘルドデバイス１０４が手１０６によって保持されていないことが決定され得る。そのような実施形態では、第１の体積と第２の体積との間の重複の立体領域の位置、配向、サイズ、および／または形状は、図４Ｂを参照して上記に説明される楕円体体積のものに類似するように挙動し得る。

いくつかの実施例では、第２の体積は、ユーザの手が届く範囲内にある、３次元空間内の場所の範囲に対応し得る。すなわち、いくつかの実施例では、第２の体積の１つまたはそれを上回る外面は、少なくとも部分的に、ユーザの腕の一方または両方の推定または仮定される長さ、径間、または最大到達距離に基づいて、画定されてもよい。これらの実施例では、１つまたはそれを上回るそのような推定または仮定されるパラメータは、少なくとも部分的に、ウェアラブルデバイス１０２の１つまたはそれを上回るセンサ（例えば、１つまたはそれを上回る外向きに向いたカメラ、１つまたはそれを上回る電磁（ＥＭ）センサ、１つまたはそれを上回る深度カメラまたはセンサ等）によって入手された画像データ、ハンドヘルドデバイス１０４を通して、および／またはウェアラブルデバイス１０２の１つまたはそれを上回るユーザインターフェースコンポーネントを通して提供される、ユーザ入力（例えば、１つまたはそれを上回るパラメータに関する値を規定するユーザ入力）を示す、データ、ハンドヘルドデバイス１０４の１つまたはそれを上回るセンサ（例えば、１つまたはそれを上回るカメラ、１つまたはそれを上回る慣性測定ユニット（ＩＭＵ）、または同等物）によって入手または出力される、データ、１つまたはそれを上回る通信ネットワークを経由して受信されたデータ、および同等物に基づいて、決定されてもよい。

いくつかの実装では、第１の体積は、手１０６に対して画定されなくてもよく、代わりに、ハンドヘルドデバイス１０４に対して画定される（例えば、ハンドヘルドデバイス１０４の位置に位置合わせされる）。そのような実装では、ハンドヘルドデバイス１０４は、手１０６の位置が、第１の体積および第２の体積の両方内にあると決定される（例えば、３次元空間内の第１の体積と第２の体積との間の重複の領域内にあると決定される）と、手１０６によって保持されていることが決定され得、手１０６の位置が、第１の体積および第２の体積の一方または両方の外側にあると決定される（例えば、３次元空間内の第１の体積と第２の体積との間の重複の領域の外側にあると決定される）と、ハンドヘルドデバイス１０４が手１０６によって保持されていないことが決定され得る。いくつかの実施形態では、ハンドヘルドデバイス１０４または手１０６の位置は、３次元空間内の２つまたはそれを上回る（例えば、３つ、４つ、５つ等）異なる体積間の重複の領域と比較されてもよい。他の構成も、可能性として考えられる。

図４Ｃを参照すると、いくつかの実施形態では、ウェアラブルデバイス１０２の位置とハンドヘルドデバイス１０４および手１０６の位置との間の距離が、決定され、ハンドヘルドデバイス１０４が手１０６によって保持されているかどうかの決定を補助するために使用されてもよい。例えば、いくつかの実施形態では、２つの距離は、相互に比較され、ハンドヘルドデバイス１０４または手１０６がウェアラブルデバイス１０２からより離れているかどうかを決定してもよい。いくつかのインスタンスでは、ハンドヘルドデバイス１０４がさらに、手１０６よりウェアラブルデバイス１０２から離れている（すなわち、ウェアラブルデバイス１０２および手１０６の位置間の距離が、ウェアラブルデバイス１０２およびハンドヘルドデバイス１０４の位置間の距離未満である）場合のみ、ハンドヘルドデバイス１０４が手１０６によって保持されていないことが決定され得る。いくつかの実施形態では、第２の距離閾値が、ハンドヘルドデバイス１０４がさらに、少なくとも第２の距離閾値、手１０６よりウェアラブルデバイス１０２から離れている（すなわち、ウェアラブルデバイス１０２および手１０６の位置間の距離が、少なくとも第２の距離閾値、ウェアラブルデバイス１０２およびハンドヘルドデバイス１０４の位置間の距離未満である）かどうかを決定するために使用されてもよい。

図５は、ウェアラブルＡＲ／ＶＲ／ＭＲシステム５００の種々の可能性として考えられるコンポーネントを図示する。図示される実施形態では、ユーザの眼の正面に位置付けられるディスプレイシステム５６２に結合されるフレーム５６４構造を特徴とする、頭部搭載型コンポーネント５５８を装着する、ウェアラブルシステムユーザ５６０が、描写される。スピーカ５６６が、描写される構成内のフレーム５６４に結合され、ユーザの外耳道に隣接して位置付けられる（一実施形態では、示されていない、別のスピーカが、ユーザの他の外耳道に隣接して位置付けられ、ステレオ／調節可能な音制御を提供する）。ディスプレイシステム５６２は、有線導線または無線コネクティビティ等によって、ローカル処理およびデータモジュール５７０に（５６８によって示されるように）動作可能に結合され、これは、フレーム５６４に固定して取り付けられる、ヘルメットまたは帽子に固定して取り付けられる、ユーザ５６０の胴体にリュック式構成において除去可能に取り付けられる、またはベルト結合式構成においてユーザ５６０の腰部に除去可能に取り付けられる等、種々の構成において搭載されてもよい。

ローカル処理およびデータモジュール５７０は、電力効率の高いプロセッサまたはコントローラ、およびフラッシュメモリ等のデジタルメモリを含んでもよく、その両方とも、（１）（カメラ等）画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等、フレーム５６４に動作可能に結合され得る、センサから捕捉されるデータ、および／または（２）可能性として、遠隔処理モジュール５７２および／または遠隔データリポジトリ５７４を使用して、処理または読出の後のディスプレイシステム５６２への通過のために入手および／または処理される、データの処理、キャッシュ化、および記憶を補助するために利用され得る。

ローカル処理およびデータモジュール５７０は、これらの遠隔モジュール５７２、５７４が、相互に動作可能に結合され、ローカル処理およびデータモジュール５７０へのリソースとして利用可能であるように、１つまたはそれを上回る有線または無線通信リンク等を介して、（５７６、５７８によって示されるように）遠隔処理モジュール５７２および遠隔データリポジトリ５７４に動作可能に結合されてもよい。一実施形態では、遠隔処理モジュール５７２は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回る比較的に強力なプロセッサまたはコントローラを含んでもよい。一実施形態では、遠隔データリポジトリ５７４が、比較的に大容量のデジタルデータ記憶設備を含んでもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。一実施形態では、全てのデータが、ローカル処理およびデータモジュールの中に記憶され、全ての算出が、そこで実施され、任意の遠隔モジュールからの完全に自律的な使用を可能にする。

図６は、ウェアラブルシステム５００によって採用され得る、電磁追跡システム６００の実施例を図示する。電磁追跡システム６００は、Ｂｉｏｓｅｎｓｅ（ＲＴＭ） ｄｉｖｉｓｉｏｎ ｏｆ Ｊｏｈｎｓｏｎ ＆ Ｊｏｈｎｓｏｎ Ｃｏｒｐｏｒａｔｉｏｎ， Ｐｏｌｈｅｍｕｓ（ＲＴＭ）， Ｉｎｃ．（Ｃｏｌｃｈｅｓｔｅｒ， Ｖｅｒｍｏｎｔ）等の組織によって開発され、Ｓｉｘｅｎｓｅ（ＲＴＭ） Ｅｎｔｅｒｔａｉｎｍｅｎｔ， Ｉｎｃ．（Ｌｏｓ Ｇａｔｏｓ， Ｃａｌｉｆｏｒｎｉａ）および他の追随会社等によって製造されたものに類似し得る。１つまたはそれを上回る実施形態では、電磁追跡システム６００は、既知の磁場を放出するように構成される、電磁場エミッタ６０２を含む。図６に示されるように、電磁場エミッタ６０２は、電力供給源６１０（例えば、電流、バッテリ等）に結合され、電磁場エミッタ６０２に電力を提供してもよい。

１つまたはそれを上回る実施形態では、電磁場エミッタ６０２は、磁場を発生させる、いくつかのコイル（例えば、相互に対して垂直に位置付けられ、Ｘ、Ｙ、およびＺ方向に場を生産する、少なくとも３つのコイル）を含む。これらの磁場は、本システムが既知の磁場に関連したセンサの位置をマッピングし、センサの位置および／または配向を決定することに役立つことを可能にする、座標空間を確立するために使用される。１つまたはそれを上回る実施形態では、電磁センサ６０４Ａ、６０４Ｂ等が、１つまたはそれを上回る実オブジェクトに取り付けられてもよい。電磁センサ６０４は、電流が放出される電磁場を通して誘発され得る、より小さいコイルを含んでもよい。

概して、電磁場センサ６０４のコンポーネントは、電磁場エミッタ６０２によって放出される磁場から入射する磁束を捕捉するように位置付けられる／配向される、立方体または他の容器等の小型の構造内にともに結合される、３つの異なるように配向される（すなわち、相互に対して直交して配向される等）コイルのセット等の、小型のコイルまたはループを含んでもよく、これらのコイルを通して誘発される電流を比較し、相互に対するコイルの相対的な位置付けおよび配向を把握することによって、エミッタに対するセンサの相対位置および配向が、計算されてもよい。

図７を参照してさらに説明されるであろうように、ＩＭＵ等の１つまたはそれを上回る移動センサが、電磁場エミッタ６０２および電磁場センサ６０４のそれぞれに動作可能に結合され、相互に対する、および／または座標系に対する各コンポーネントの位置および配向を検出してもよい。１つまたはそれを上回る実施形態では、（可能性として、ＩＭＵを含む）複数のセンサが、電磁場エミッタ６０２および電磁場センサ６０４に関連して使用され、各コンポーネントの位置および配向を検出してもよい。いくつかのインスタンスでは、電磁追跡システムは、３つの方向（すなわち、Ｘ、Ｙ、および、Ｚ方向）における、さらに、２つまたは３つの配向角における位置を提供してもよい。いくつかの実施形態では、ＩＭＵの測定値が、コイルの測定値と比較され、センサの位置および配向を決定してもよい。１つまたはそれを上回る実施形態では、カメラ、深度センサ、および他のセンサ等のデータの種々の他の源に加えて、ＥＭデータおよび移動データが両方とも、組み合わせられ、位置および配向を決定してもよい。本情報が、（例えば、無線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を通して）処理ユニット６０６に伝送されてもよい。いくつかの実施形態では、姿勢が、従来のシステムにおいて、比較的高いリフレッシュレートにおいて報告されてもよい。

従来、電磁エミッタが、テーブル、手術台、壁、または天井等の比較的に安定し、大きいオブジェクトに結合され、１つまたはそれを上回るセンサが、医療用デバイス、ハンドヘルドゲーム用コンポーネント、または同等物等のより小さいオブジェクトに結合される。代替として、電磁追跡システムの種々の特徴が、より安定している大域的座標系に対して空間内で移動する２つのオブジェクトの間の位置および／または配向の変化または差分が、追跡され得る、構成を生産するために採用されてもよい。例えば、電磁追跡システムの変形例が、頭部搭載型コンポーネントとハンドヘルドコンポーネントとの間の位置および配向の差分を追跡するために利用され得る一方、大域的座標系（例えば、ユーザにローカルな部屋環境）に対する頭部姿勢が、本システムの頭部搭載型コンポーネントに結合され得る、外向き捕捉カメラを使用した、同時位置特定およびマッピング（ＳＬＡＭ）技法等によって、別様に決定される、構成が、図７に示される。

処理ユニット６０６は、電磁場エミッタ６０２を制御してもよく、また、種々の電磁場センサ６０４からデータを捕捉してもよい。本システムの種々のコンポーネントが、任意の電気機械または無線手段を通して、相互に結合され得ることを理解されたい。処理ユニット６０６はまた、既知の磁場、およびその磁場に関連する座標空間に関するデータを含んでもよい。本情報は、次いで、既知の電磁場に対応する座標空間に関連する、センサの位置および配向を検出するために使用される。

電磁追跡システムの１つの利点は、それらが最小限の待ち時間と、高分解能とを伴う、非常に正確な追跡結果を生産することである。加えて、電磁追跡システムは、必ずしも光学追跡器に依拠するわけではなく、ユーザの視線内に存在しないセンサ／オブジェクトが、容易に追跡され得る。電磁場の強度が、コイル伝送機（例えば、電磁場エミッタ６０２）からの距離の三次関数として降下することを理解されたい。したがって、処理ユニット６０６が、測定された強度に基づいて距離を予測するアルゴリズム等のある関数を実行し、電磁場エミッタ６０２から離れた可変距離におけるセンサ／オブジェクトの位置および配向を決定するように構成されてもよい。

電磁エミッタからより遠くに離れるように移動するにつれた電磁場の強度の急速な低下を前提として、正確度、効率、および短い待ち時間の観点からの最良な結果が、より近接した距離において達成され得る。典型的な電磁追跡システムにおいて、電磁場エミッタは、電流（例えば、プラグ差込型の電力供給源）によって給電され、電磁場エミッタから離れた２０フィートの半径内に位置する、センサを有する。センサと場エミッタとの間のより短い半径が、ＡＲ用途を含む多くの用途においてより望ましくあり得る。

図７は、視覚的追跡システムおよび／または電磁追跡システムが、ウェアラブルデバイス７０２（例えば、ヘッドセット）と、ハンドヘルドデバイス７０４（例えば、コントローラ）とを有する、ウェアラブルＡＲ／ＶＲ／ＭＲシステムの中に組み込まれて得る方法の実施例を図示する。いくつかの実施形態では、ハンドヘルドデバイス７０４は、ユーザが入力をウェアラブルシステムに提供することを可能にする、ハンドヘルドコントローラであってもよい。例えば、ハンドヘルドデバイス７０４は、ゲーム用シナリオ内で使用されるためのトーテムであってもよい。ハンドヘルドデバイス７０４は、触知デバイスであってもよく、種々のセンサタイプを利用する、１つまたはそれを上回る触知表面を含んでもよい。ウェアラブルシステムの動作の間、ユーザは、ハンドヘルドデバイス７０４を能動的に把持することによって、および／または取付機構をユーザの手に固着させる（例えば、ストラップをその周囲に巻き付ける）ことによって、ハンドヘルドデバイス７０４をその左または右手の中に保持してもよい。

ハンドヘルドデバイス７０４は、基点が、ハンドヘルドデバイス７０４の外部の結像デバイスの視野内にあり得るように、ハンドヘルドデバイス７０４の１つまたはそれを上回る外部表面に沿って位置付けられる、１つまたはそれを上回る基点（本明細書では、ハンドヘルド基点７２２と称される）を含んでもよい。ハンドヘルド基点７２２は、ハンドヘルド基点７２２のうちの１つまたはそれを上回るものの画像を捕捉することによって、結像デバイスが、ハンドヘルドデバイス７０４に対するその位置および／または配向を決定し得るように、相互に対して既知の関係を有してもよい。ハンドヘルド基点７２２は、動的、静的、電気給電式、非給電式であってもよく、いくつかの実施形態では、相互から区別可能であってもよい。例えば、第１の基点は、第１の波長を有する、発光ダイオード（ＬＥＤ）であってもよく、第２の基点は、第２の波長を有する、ＬＥＤであってもよい。代替として、または加えて、異なる基点は、異なる明度を有してもよく、および／または異なる周波数でパルス化してもよい（例えば、第１の基点は、１００Ｈｚでパルス化してもよく、第２の基点は、１５０Ｈｚでパルス化してもよい）。

ハンドヘルドデバイス７０４は、ハンドヘルドデバイス７０４がユーザによって保持されているとき、ウェアラブルデバイス７０２および／またはハンドヘルドデバイス７０４の周囲におけるいくつかの特徴が、結像デバイスの視野内にあるように位置付けられる、１つまたはそれを上回る結像デバイス（本明細書では、ハンドヘルド結像デバイス７２６と称される）を含んでもよい。例えば、正面ハンドヘルド結像デバイス７２６Ａは、その視野が、ユーザから離れるように、ハンドヘルドデバイス７０４の周囲における１つまたはそれを上回る特徴に向かって配向されるように位置付けられてもよく、背面ハンドヘルド結像デバイス７２６Ｂは、その視野がウェアラブルデバイス７０２に向かって配向されるように位置付けられてもよい。ハンドヘルド結像デバイス７２６は、１つまたはそれを上回る正面に向いた結像デバイスおよび／または１つまたはそれを上回る背面に向いた結像デバイスを含み、所望の累積視野を作成してもよい。いくつかの実施形態では、ハンドヘルド結像デバイス７２６は、カメラ等の光学デバイスであってもよく、静止または動画を捕捉してもよい。

ハンドヘルドデバイス７０４は、ハンドヘルドデバイス７０４の回転および線形移動が同様にハンドヘルドＩＭＵ７２４によって被られるように、ハンドヘルドデバイス７０４内にしっかりと固着される、ＩＭＵ（本明細書では、ハンドヘルドＩＭＵ７２４と称される）を含んでもよい。いくつかのインスタンスでは、ハンドヘルドＩＭＵ７２４は、１つまたはそれを上回る加速度計（例えば、３つ）、１つまたはそれを上回るジャイロスコープ（例えば、３つ）、１つまたはそれを上回る磁力計（例えば、３つ）、および／または未加工測定値を処理されたデータに変換するためのデジタル信号処理ハードウェアおよびソフトウェアを含んでもよい。例えば、ハンドヘルドＩＭＵ７２４は、３つの軸毎に、加速度計、ジャイロスコープ、および磁力計を含んでもよい。軸毎に、ハンドヘルドＩＭＵ７２４は、線形位置、線形速度、線形加速、回転位置、回転速度、および／または回転加速のうちの１つまたはそれを上回るものを出力してもよい。代替として、または加えて、ハンドヘルドＩＭＵ７２４は、未加工データを出力してもよく、そこから上記に述べられた形態の処理されたデータのいずれかが、計算されてもよい。

ハンドヘルドデバイス７０４は、ハンドヘルド基点７２２、ハンドヘルド結像デバイス７２６、ハンドヘルドＩＭＵ７２４、電磁場エミッタ７３２、およびハンドヘルドデバイス７０４の任意の他のコンポーネントに給電する、再充電可能および／または交換可能バッテリ７２８または他の電力供給源を備えてもよい。図７に図示されないが、ハンドヘルドデバイス７０４は、ウェアラブルデバイス７０２および／またはベルトパック７４０との無線通信を有効にするための回路網を含んでもよい。例えば、ハンドヘルド結像デバイス７２６およびハンドヘルドＩＭＵ７２４を使用して、データの検出または捕捉に応じて、ハンドヘルドデバイス７０４は、未加工または処理されたデータをウェアラブルデバイス７０２および／またはベルトパック７４０に伝送してもよい。

ウェアラブルデバイス７０２は、基点が背面ハンドヘルド結像デバイス７２６Ｂの視野内にあり得るように、ウェアラブルデバイス７０２の１つまたはそれを上回る外部表面に沿って位置付けられる、１つまたはそれを上回る基点（本明細書では、ウェアラブル基点７０６と称される）を含んでもよい。ウェアラブル基点７０６は、ウェアラブル基点７０６のうちの１つまたはそれを上回るものの画像を捕捉することによって、結像デバイスが、ウェアラブルデバイス７０２に対するその位置および／または配向を決定し得るように、相互に対して既知の関係を有してもよい。ウェアラブル基点７０６は、動的、静的、電気給電式、非給電式であってもよく、いくつかの実施形態では、相互から区別可能であってもよい。例えば、第１の基点は、第１の波長を有する、ＬＥＤであってもよく、第２の基点は、第２の波長を有する、ＬＥＤであってもよい。代替として、または加えて、異なる基点は、異なる明度を有してもよく、および／または異なる周波数でパルス化してもよい。

ウェアラブルデバイス７０２は、ハンドヘルドデバイス７０４がユーザによって保持されているとき、ハンドヘルドデバイス７０４（具体的には、ハンドヘルド基点７２２）が結像デバイスの視野内にあるように位置付けられる、１つまたはそれを上回る結像デバイス（本明細書では、ウェアラブル結像デバイス７１０と称される）を含んでもよい。例えば、１つまたはそれを上回るウェアラブル結像デバイス７１０は、ウェアラブルデバイス７０２の光学シースルーコンポーネントの上方、下方、および／または側方において、ウェアラブルデバイス７０２上で正面に向いて位置付けられてもよい。一実施形態では、２つのウェアラブル結像デバイス７１０が、ウェアラブルデバイス７０２の光学シースルーコンポーネントの対向側上に位置付けられてもよい。いくつかの実施形態では、ウェアラブル結像デバイス７１０は、カメラ等の光学デバイスであってもよく、静止または動画を捕捉してもよい。

ウェアラブルデバイス７０２は、ウェアラブルデバイス７０２の回転および線形移動が同様にウェアラブルＩＭＵ７０８によって被られるように、ウェアラブルデバイス７０２内にしっかりと固着される、ＩＭＵ（本明細書では、ウェアラブルＩＭＵ７０８と称される）を含んでもよい。いくつかのインスタンスでは、ウェアラブルＩＭＵ７０８は、１つまたはそれを上回る加速度計（例えば、３つ）、１つまたはそれを上回るジャイロスコープ（例えば、３つ）、１つまたはそれを上回る磁力計（例えば、３つ）、および／または未加工測定値を処理されたデータに変換するためのデジタル信号処理ハードウェアおよびソフトウェアを含んでもよい。例えば、ウェアラブルＩＭＵ７０８は、３つの軸毎に、加速度計、ジャイロスコープ、および磁力計を含んでもよい。軸毎に、ウェアラブルＩＭＵ７０８は、線形位置、線形速度、線形加速、回転位置、回転速度、および／または回転加速のうちの１つまたはそれを上回るものを出力してもよい。代替として、または加えて、ウェアラブルＩＭＵ７０８は、未加工データを出力してもよく、そこから上記に述べられた形態の処理されたデータのいずれかが、計算されてもよい。

いくつかの実施形態では、ウェアラブルシステムは、ベルトパック７４０を含んでもよく、これは、ウェアラブルデバイス７０２に対するハンドヘルドデバイス７０４の位置特定を実施するためのコンピューティング装置（例えば、１つまたはそれを上回るプロセッサおよび関連付けられるメモリ）を含んでもよい。代替として、または加えて、コンピューティング装置は、ウェアラブルデバイス７０２自体またはさらにハンドヘルドデバイス７０４内に常駐してもよい。コンピューティング装置は、未加工または処理されたデータをウェアラブルＩＭＵ７０８、ウェアラブル結像デバイス７１０、ハンドヘルドＩＭＵ７２４、およびハンドヘルド結像デバイス７２６のそれぞれから受信してもよく（有線および／または無線接続を介して）、ハンドヘルドデバイス７０４の地理的空間位置（ウェアラブルデバイス７０２の地理的空間位置に対する）と、ハンドヘルドデバイス７０４の配向（ウェアラブルデバイス７０２の配向に対する）とを算出してもよい。コンピューティング装置は、ひいては、マッピングデータベース７４２（例えば、パス可能世界モデル、座標空間等）を備え、姿勢を検出し、実オブジェクトおよび仮想オブジェクトの座標を決定してもよく、さらに、１つまたはそれを上回る実施形態では、クラウドリソースおよびパス可能世界モデルに接続してもよい。いくつかの実施形態では、ウェアラブル結像デバイス７１０および／またはハンドヘルド結像デバイス７２６を使用して捕捉される、画像が、パス可能世界モデルを構築するために使用されてもよい。例えば、特徴が、捕捉された画像内で検出されてもよく、収集されたデータ（例えば、疎点）が、それ以外において、パス可能世界モデルまたは環境マップを構築するために使用されてもよい。

ウェアラブルシステムは、ハンドヘルドデバイス７０４の一部として組み込まれる、電磁場エミッタ７３２を含んでもよい。いくつかの実施形態では、電磁場エミッタ７３２は、ベルトパック４７０またはウェアラブルデバイス７０２の一部として組み込まれてもよい。いくつかの実施形態では、ＩＭＵまたは他の移動センサからのデータは、電磁場エミッタ７３２の位置および／または配向を決定することを補助し得る。これは、電磁場エミッタ７３２および電磁場センサ７３４の両方がモバイル式である場合、有益であり得る。電磁場エミッタ７３２を、ベルトパックではなく、ハンドヘルドコントローラ内に設置することは、図７の実施例に示されるように、電磁場エミッタが、ベルトパックにおいて、リソースに関して競合せず、しかし、代わりに、ハンドヘルドデバイス７０４において、バッテリ７２８を使用することを確実にすることができる。

いくつかの実施形態では、電磁センサ７３４は、ウェアラブルデバイス７０２上の１つまたはそれを上回る場所および／またはベルトパック７４０上の１つまたはそれを上回る場所に設置される等、ウェアラブルデバイス７０２に対して位置付けられてもよい。電磁センサ７３４は、小型であるように工学設計され得るため（故に、ある場合には、あまり敏感ではない場合がある）、複数のセンサを有することは、効率および精度を改良し得る。

多くのインスタンスでは、従来の電磁エミッタは、ウェアラブルデバイスに関して嵩張りすぎ得る。したがって、電磁場エミッタは、従来的なシステムと比較してより小さいコイルを使用して、小型になるように工学設計されてもよい。しかしながら、電磁場の強度が、場エミッタから離れる距離の三次関数として減少することを前提として、電磁場センサ７３４と電磁場エミッタ７３２との間のより短い半径（例えば、約３～３．５フィート）が、従来のシステムと比較して電力消費量を低減させ得る。本側面は、ハンドヘルドコントローラ７０４および電磁場エミッタ７３２に給電し得る、バッテリ７２８の寿命を延長させるためにも利用されてもよい。いくつかの実施形態では、本側面は、電磁場エミッタ７３２において磁場を発生させるコイルのサイズを縮小させるために利用されてもよい。しかしながら、磁場の同一の強度を得るために、電力が、増加される必要があり得る。これは、ハンドヘルドデバイス７０４においてコンパクトにフィットし得る、小型の電磁場エミッタ７３２を可能にする。

ＡＲデバイスのために電磁追跡システムを使用するときに、いくつかの他の変更が、行われ得、これは、他の用途より効率的な姿勢報告率から利益を享受し得る。例えば、移動ベースまたはＩＭＵベースの姿勢追跡が、採用されてもよい。多くの場合では、ＩＭＵの向上された安定性が、姿勢検出プロセスの効率の向上につながり得る。ＩＭＵは、それらが最高５０～１００ミリ秒安定したままであるように工学設計されてもよい。いくつかの実施形態が、姿勢の更新が１０～２０Ｈｚのレートにおいて報告されることを可能にし得る、外部姿勢推定器モジュールを利用し得る（例えば、ＩＭＵが、経時的にドリフトし得る）ことを理解されたい。合理的なレートにおいてＩＭＵを安定した状態に保つことによって、姿勢更新のレートが、（従来のシステムにおけるより高い周波数と比較して）１０～２０Ｈｚに減少され得る。

電磁追跡システムが、１０％のデューティサイクルにおいて起動され得る（例えば、１００ミリ秒毎のグランドトゥルースに関してのみｐｉｎｇする）場合、これは、ウェアラブルシステムにおいて電力を節約するための付加的な方法であろう。これは、電磁追跡システムが、１００ミリ秒毎に１０ミリ秒毎ウェイクアップし、姿勢推定値を発生させることを意味するであろう。これは、電力の消費節約に直接つながり、これは、ひいては、ウェアラブルシステムのサイズ、バッテリ寿命、およびコストに影響を及ぼし得る。１つまたはそれを上回る実施形態では、デューティサイクルの本低減は、１つのみではなく、２つのハンドヘルドデバイス（図示せず）を提供することによって、方略的に利用され得る。例えば、ユーザは、２つのトーテム等を要求するゲームを行ってもよい。または、マルチユーザゲームでは、２人のユーザが、ゲームを行うための自分自身のトーテム／ハンドヘルドコントローラを有してもよい。１つではなく２つのコントローラ（例えば、手毎に対称的なコントローラ）が、使用されるとき、コントローラは、オフセットデューティサイクルにおいて動作してもよい。同一の概念はまた、例えば、マルチプレーヤゲームを行う２人の異なるユーザによって利用される、コントローラにも適用され得る。

図８Ａ－８Ｄは、ウェアラブルデバイス８０２、ハンドヘルドデバイス８０４、および／または手８３０の姿勢を追跡するためのウェアラブルＡＲ／ＶＲ／ＭＲシステムの種々の例示的構成を図示する。図８Ａは、ウェアラブルシステム８００Ａの例示的構成を図示し、その中では、ウェアラブルデバイス８０２は、少なくとも部分的に、かつ少なくとも一時的に、ハンドヘルド基点８２２を含む、視野を有する、１つまたはそれを上回るウェアラブル結像デバイス８１０を含み、ハンドヘルドデバイス８０４は、１つまたはそれを上回るハンドヘルド基点８２２を含む。ウェアラブルシステム８００は、ハンドヘルドＩＭＵ８２４等のハンドヘルドデバイス８０４に搭載される、付加的センサを含んでもよい。そのような構成の１つの利点は、ハンドヘルドデバイス８０４の単純性および低電力消費であり得る。ウェアラブルシステム８００は、ウェアラブルＩＭＵ８０８等のウェアラブルデバイス８０２に搭載される、付加的センサを含んでもよい。

図８Ｂは、ウェアラブルシステム８００Ｂの例示的構成を図示し、その中では、ウェアラブルデバイス８０２は、１つまたはそれを上回るウェアラブル基点８０６を含み、ハンドヘルドデバイス８０４は、少なくとも部分的に、かつ少なくとも一時的に、ウェアラブル基点８０６を含む、視野を有する、１つまたはそれを上回る背面に面したハンドヘルド結像デバイス８２６を含む。ウェアラブルシステム８００Ｂは、ハンドヘルドＩＭＵ８２４等のハンドヘルドデバイス８０４に搭載される、付加的センサを含んでもよい。そのような構成の１つの利点は、ハンドヘルドデバイス８０４が、ウェアラブルデバイス８０２に対してそれ自体の位置特定を実施するために必要とされる、全てのデータを有し、それによって、ウェアラブルデバイス８０２上の処理負荷を低減させることであり得る。ウェアラブルシステム８００Ｂは、ウェアラブルＩＭＵ８０８等のウェアラブルデバイス８０２に搭載される、付加的センサを含んでもよい。

図８Ｃは、ウェアラブルシステム８００Ｃの例示的構成を図示し、その中でハンドヘルドデバイス８２６は、ハンドヘルドデバイス８０４がユーザによって保持されている間、少なくとも部分的に、かつ少なくとも一時的に、１つまたはそれを上回る周囲特徴８４４を含む、視野を有する、正面ハンドヘルド結像デバイス８２６Ａと少なくとも部分的に、かつ少なくとも一時的に、１つまたはそれを上回るウェアラブル基点８０６を含む、視野を有する、背面ハンドヘルド結像デバイス８２６Ｂとを含む。例示的構成では、複数のウェアラブル基点８２２が、ウェアラブルデバイス８０２に添着される。ウェアラブルシステム８００Ｃは、ハンドヘルドＩＭＵ８２４等のハンドヘルドデバイス８０４に搭載される、付加的センサを含んでもよい。そのような構成の１つの利点は、複数の結像デバイスによって提供される、増加された正確度であり得る。ウェアラブルシステム８００Ｃは、ウェアラブルＩＭＵ８０８等のウェアラブルデバイス８０２に搭載される、付加的センサを含んでもよい。

図８Ｄは、ウェアラブルシステム８００Ｄの例示的構成を図示し、その中では、ウェアラブルデバイス８０２は、電磁センサ８３４を含み、ハンドヘルドデバイス８２６は、電磁場エミッタ８３２を含み、ウェアラブルデバイスおよび／またはハンドヘルドデバイス８０４の姿勢の決定を可能にする。図８Ｅは、ウェアラブルシステム８００Ｅの例示的構成を図示し、その中では、ウェアラブルデバイス８０２は、少なくとも部分的に、かつ少なくとも一時的に、手８３０を含む、視野を有し、手８３０の姿勢の決定を可能にする、１つまたはそれを上回るウェアラブル結像デバイス８１０を含む。

図９は、ユーザの手９０２の捕捉された画像またはビデオに基づいて識別され得る、手特徴点９０４のセットの実施例を図示する。手特徴点９０４は、例えば、標識された画像のセットを使用して、機械学習モデル（例えば、ニューラルネットワーク）を訓練すること等によって、種々の画像分析技法を使用して識別されてもよい。訓練後、機械学習モデルは、画像または画像のストリームを入力として受信し、手特徴点９０４を生産してもよい。いくつかの実施形態では、手特徴点９０４は、手９０２の位置を決定するために使用されてもよい。例えば、手９０２の位置は、手特徴点９０４のうちの１つとして設定されてもよい、または手特徴点９０４は、質量中心等の手に沿った異なる位置を算出するために使用されてもよい。

図１０は、ハンドヘルドデバイス１００２の決定された姿勢と、ハンドヘルドデバイス１００２の既知の３Ｄモデルとに基づいて識別され得る、ハンドヘルドデバイス特徴点１００４のセットの実施例を図示する。例えば、ハンドヘルドデバイス１００２の決定された位置は、電磁場エミッタ１００８またはエミッタ位置１００６の位置であり得、そこからハンドヘルドデバイス特徴点１００４が、決定されることができる。いくつかの実施形態では、ハンドヘルドデバイス特徴点１００４は、図９に図示される手特徴点９０４等のその対応する手特徴点に最も近い、ハンドヘルドデバイス１００２に沿った場所に対応し得る。

図１１は、識別され得る、手特徴点１１０２のセットおよびハンドヘルドデバイス特徴点１１０４のセットの実施例を図示する。いくつかの実施形態では、位置相違１１０６が、それらの間の距離として、２つの対応する特徴点（例えば、手特徴点１１０２からの１つの特徴点およびハンドヘルドデバイス特徴点１１０４からの１つの特徴点）間で計算されてもよい。いくつかの実施形態では、複数の位置相違１１０６は、対応する特徴点間で計算されてもよく、これは、総位置相違に組み合わせられてもよい。いくつかの実施形態では、位置相違１１０６は、対応する特徴点間の最大、最小、または平均距離として、計算されてもよい。他の可能性も、検討される。

図１２Ａ－１２Ｆは、ＡＲ／ＶＲ／ＭＲシステム等のウェアラブルシステムのための手およびトーテム入力融合を実施するための方法１２００を図示する。方法１２００の１つまたはそれを上回るステップは、方法１２００の実施の間、省略されてもよく、方法１２００のステップは、示される順序で実施される必要はない。方法１２００の１つまたはそれを上回るステップは、ローカル処理およびデータモジュール５７０または遠隔処理モジュール５７２内に含まれるもの等の１つまたはそれを上回るプロセッサによって実施されてもよい。

図１２Ａを参照すると、方法１２００のステップ１２０２では、手姿勢データが、捕捉される。いくつかの実施形態では、手姿勢データは、基準フレーム内の手の位置を含む。いくつかの実施形態では、手姿勢データは、基準フレーム内の手の配向を含む。いくつかの実施形態では、手姿勢データは、手姿勢センサを使用して捕捉される。いくつかの実施形態では、手姿勢データを捕捉するステップは、手姿勢センサを使用して、センサデータを捕捉するステップと、捕捉されたセンサデータに基づいて、手姿勢データを生成するステップとを含んでもよい。例えば、図１２Ｂを参照すると、サブステップ１２０２－１では、センサデータは、手姿勢センサを使用して捕捉される。サブステップ１２０２－２では、手の位置は、例えば、センサデータを処理および分析することによって、センサデータに基づいて決定される。サブステップ１２０２－３では、手の配向が、センサデータを処理および分析することによって、センサデータに基づいて決定される。

図１２Ａを参照すると、ステップ１２０４では、ハンドヘルドデバイス姿勢データが、捕捉される。いくつかの実施形態では、ハンドヘルドデバイス姿勢データは、基準フレーム内のハンドヘルドデバイスの位置を含む。いくつかの実施形態では、ハンドヘルドデバイス姿勢データは、基準フレーム内のハンドヘルドデバイスの配向を含む。いくつかの実施形態では、ハンドヘルドデバイス姿勢データは、ハンドヘルドデバイス姿勢センサを使用して捕捉される。いくつかの実施形態では、ハンドヘルドデバイス姿勢データを捕捉するステップは、ハンドヘルドデバイス姿勢センサを使用して、センサデータを捕捉するステップと、捕捉されたセンサデータに基づいて、ハンドヘルドデバイス姿勢データを生成するステップとを含んでもよい。例えば、図１２Ｃを参照すると、サブステップ１２０４－１では、センサデータが、ハンドヘルドデバイス姿勢センサを使用して捕捉される。サブステップ１２０４－２では、ハンドヘルドデバイスの位置が、センサデータを処理および分析することによって、センサデータに基づいて決定される。サブステップ１２０４－３では、ハンドヘルドデバイスの配向が、センサデータを処理および分析することによって、センサデータに基づいて決定される。

いくつかの実施形態では、手姿勢センサおよびハンドヘルドデバイス姿勢センサは、同一センサである。例えば、ヘッドセットに搭載される、画像捕捉デバイスは、両デバイスの姿勢についての情報を集めてもよく、故に、手姿勢センサおよびハンドヘルドデバイス姿勢センサであってもよい。いくつかの実施形態では、手姿勢センサおよびハンドヘルドデバイス姿勢センサは、相互に異なる。例えば、手姿勢センサは、画像捕捉デバイスであってもよく、ハンドヘルドデバイス姿勢センサは、電磁伝送機および電磁受信機であってもよい。

図１２Ａを参照すると、ステップ１２０６では、手姿勢データとハンドヘルドデバイス姿勢データとの間の姿勢相違が、決定される。いくつかの実施形態では、姿勢相違は、手およびハンドヘルドデバイスの位置間の位置相違を含む。例えば、図１２Ｄを参照すると、サブステップ１２０６－１では、手およびハンドヘルドデバイスの位置間の位置相違が、決定される。位置相違は、２つの位置間の距離または２つの位置に基づくある他の距離メトリックであってもよい。いくつかの実施形態では、姿勢相違は、手およびハンドヘルドデバイスの配向間の配向相違を含む。例えば、図１２Ｄを参照すると、サブステップ１２０６－２では、手およびハンドヘルドデバイスの配向間の配向相違が、決定される。配向相違は、２つの配向間の角度オフセットまたは、２つの配向に基づく角度オフセットのある他の測定値であってもよい。いくつかの実施形態では、角度オフセットは、単一角度に限定されず、角度オフセットは、１つを上回る角度を含み得る。

図１２Ａを参照すると、ステップ１２０８では、融合動作が、姿勢相違に基づいて実施される。いくつかの実施形態では、融合動作は、手およびハンドヘルドデバイスの位置間の距離が、距離閾値を上回るかまたは距離閾値未満であるかに基づいてもよい。例えば、図１２Ｅを参照すると、サブステップ１２０８－１では、距離が、距離閾値を上回るかまたは距離閾値未満であるかが決定される。距離が距離閾値を上回ることが決定される場合、方法１２００は、サブステップ１２０８－２に進む。距離が距離閾値未満であることが決定される場合、方法１２００は、サブステップ１２０８－４に進む。サブステップ１２０８－２では、ハンドヘルドデバイスが手によって保持されていないことが決定される。サブステップ１２０８－３では、手姿勢データは、融合動作を実施するステップが、手姿勢データを抑制するステップを含むように、抑制される。いくつかの実施形態では、手姿勢データを抑制するステップは、処理モジュールへの直接入力として、手姿勢データを使用および／または考慮しないステップを含む。いくつかの実施形態では、手姿勢データを抑制するステップは、ハンドヘルドデバイスの位置および／または配向の任意の決定に関して、手姿勢データを使用および／または考慮しないステップを含む。

サブステップ１２０８－４では、ハンドヘルドデバイスが手によって保持されていることが決定される。サブステップ１２０８－５では、手姿勢データが、融合動作を実施するステップが、手姿勢データを使用して、ハンドヘルドデバイス姿勢データを増大させるステップを含むように、ハンドヘルドデバイス姿勢データを増大させるために使用される。いくつかの実施形態では、手姿勢データを使用して、ハンドヘルドデバイス姿勢データを増大させるステップは、ハンドヘルドデバイスの位置および／または配向の任意の決定において、手姿勢データを使用するステップを含む。

別の実施例として、図１２Ｆを参照すると、サブステップ１２０８－１、１２０８－２、および１２０８－４は、図１２Ｅを参照して説明されるものと同様に実施される。サブステップ１２０８－６では、ハンドヘルドデバイス姿勢データが、融合動作を実施するステップが、ハンドヘルドデバイス姿勢データを抑制するステップを含むように、抑制される。いくつかの実施形態では、ハンドヘルドデバイス姿勢データを抑制するステップは、処理モジュールへの直接入力として、ハンドヘルドデバイス姿勢データを使用および／または考慮しないステップを含む。いくつかの実施形態では、ハンドヘルドデバイス姿勢データを抑制するステップは、手の位置および／または配向の任意の決定に関してハンドヘルドデバイス姿勢データを使用および／または考慮しないステップを含む。

サブステップ１２０８－７では、ハンドヘルドデバイス姿勢データが、融合動作を実施するステップが、ハンドヘルドデバイス姿勢データを使用して、手姿勢データを増大させるステップを含むように、手姿勢データを増大させるために使用される。いくつかの実施形態では、ハンドヘルドデバイス姿勢データを使用して、手姿勢データを増大させるステップは、手の位置および／または配向の任意の決定において、ハンドヘルドデバイス姿勢データを使用するステップを含む。

図１３は、本明細書に説明される実施形態による、簡略化されたコンピュータシステム１３００を図示する。図１３に図示されるようなコンピュータシステム１３００は、本明細書に説明されるデバイスの中に組み込まれてもよい。図１３は、種々の実施形態によって提供される方法のステップの一部または全てを実施し得る、コンピュータシステム１３００の一実施形態の概略図を提供する。図１３が、種々のコンポーネントの一般化された図示を提供することのみを意味し、そのいずれかまたは全てが、適宜、利用され得ることに留意されたい。図１３は、したがって、広義には、個々のシステム要素が比較的に分離された様式または比較的により統合された様式において実装され得る方法を図示する。

コンピュータシステム１３００は、適宜、バス１３０５を介して電気的に結合され得る、または別様に通信し得る、ハードウェア要素を含むように示される。ハードウェア要素は、限定ではないが、デジタル信号処理チップ、グラフィック加速プロセッサ、および／または同等物等の、１つまたはそれを上回る汎用目的プロセッサおよび／または１つまたはそれを上回る特殊目的プロセッサを含む、１つまたはそれを上回るプロセッサ１３１０と、限定ではないが、マウス、キーボード、カメラ、および／または同等物を含み得る、１つまたはそれを上回る入力デバイス１３１５と、限定ではないが、ディスプレイデバイス、プリンタ、および／または同等物を含み得る、１つまたはそれを上回る出力デバイス１３２０とを含んでもよい。

コンピュータシステム１３００はさらに、限定ではないが、ローカルおよび／またはネットワークアクセス可能記憶装置を含み得る、および／または、限定ではないが、プログラム可能である、フラッシュ更新可能である、および／または同等であり得る、ディスクドライブ、ドライブアレイ、光学記憶デバイス、ランダムアクセスメモリ（「ＲＡＭ」）等のソリッドステート記憶デバイス、および／または読取専用メモリ（「ＲＯＭ」）を含み得る、１つまたはそれを上回る非一過性記憶デバイス１３２５を含む、および／またはそれと通信してもよい。そのような記憶デバイスは、限定ではないが、種々のファイルシステム、データベース構造、および／または同等物を含む、任意の適切なデータストアを実装するように構成されてもよい。

コンピュータシステム１３００はまた、限定ではないが、Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス、８０２．１１デバイス、ＷｉＦｉデバイス、ＷｉＭａｘデバイス、セルラー通信設備等、および／または同等物等のモデム、ネットワークカード（無線または有線）、赤外線通信デバイス、無線通信デバイス、および／またはチップセットを含み得る、通信サブシステム１３１９を含んでもよい。通信サブシステム１３１９は、１つまたはそれを上回る入力および／または出力通信インターフェースを含み、データが、一実施例として挙げるために下記に説明されるネットワーク、すなわち、他のコンピュータシステム、テレビ、および／または本明細書に説明される任意の他のデバイス等のネットワークと交換されることを可能にしてもよい。所望の機能性および／または他の実装懸念点に応じて、ポータブル電子デバイスまたは類似デバイスが、通信サブシステム１３１９を介して、画像および／または他の情報を通信してもよい。他の実施形態では、ポータブル電子デバイス、例えば、第１の電子デバイスが、コンピュータシステム１３００、例えば、電子デバイスの中に入力デバイス１３１５として組み込まれてもよい。いくつかの実施形態では、コンピュータシステム１３００はさらに、上記に説明されるようなＲＡＭまたはＲＯＭデバイスを含み得る、作業メモリ１３３５を含むであろう。

コンピュータシステム１３００はまた、種々の実施形態によって提供されるコンピュータプログラムを含み得る、および／または本明細書に説明されるような他の実施形態によって提供される方法を実装する、および／またはシステムを構成するように設計され得る、オペレーティングシステム１３４０、デバイスドライバ、実行可能ライブラリ、および／または１つまたはそれを上回るアプリケーションプログラム１３４５等の他のコードを含む、作業メモリ１３３５内に現在位置するものとして示される、ソフトウェア要素を含むことができる。単に、実施例として、上記に議論される方法に関して説明される１つまたはそれを上回るプロシージャは、コンピュータおよび／またはコンピュータ内のプロセッサによって実行可能なコードおよび／または命令として実装され得、ある側面では、次いで、そのようなコードおよび／または命令は、説明される方法に従って１つまたはそれを上回る動作を実施するように汎用目的コンピュータまたは他のデバイスを構成および／または適合させるために使用されることができる。

これらの命令および／またはコードのセットは、上記に説明される記憶デバイス１３２５等の非一過性コンピュータ可読記憶媒体上に記憶されてもよい。ある場合には、記憶媒体は、コンピュータシステム１３００等のコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体は、コンピュータシステムと別個である、例えば、コンパクトディスク等のリムーバブル媒体である、および／または記憶媒体が、汎用目的コンピュータをその上に記憶される命令／コードを用いてプログラム、構成、および／または適合させるために使用され得るように、インストールパッケージ内に提供され得る。これらの命令は、コンピュータシステム１３００によって実行可能である、実行可能コードの形態をとり得る、および／または、例えば、種々の概して利用可能なコンパイラ、インストールプログラム、圧縮／解凍ユーティリティ等のうちのいずれかを使用したコンピュータシステム１３００上へのコンパイルおよび／またはインストールに応じて、次いで、実行可能コードの形態をとる、ソースおよび／またはインストール可能コードの形態をとり得る。

実質的な変形例が、具体的要件に従って作製され得ることが、当業者に明白となるであろう。例えば、カスタマイズされたハードウェアもまた、使用され得る、および／または特定の要素が、ハードウェア、アプレット等のポータブルソフトウェアを含む、ソフトウェア、または両方内に実装され得る。さらに、ネットワーク入力／出力デバイス等の他のコンピューティングデバイスへの接続も、採用されてもよい。

上記に述べられたように、一側面では、いくつかの実施形態は、コンピュータシステム１３００等のコンピュータシステムを採用し、本技術の種々の実施形態による方法を実施してもよい。一式の実施形態によると、そのような方法のプロシージャの一部または全ては、プロセッサ１３１０が、オペレーティングシステム１３４０の中に組み込まれ得る、１つまたはそれを上回る命令の１つまたはそれを上回るシーケンス、および／または作業メモリ１３３５内に含有される、アプリケーションプログラム１３４５等の他のコードを実行することに応答して、コンピュータシステム１３００によって実施される。そのような命令は、記憶デバイス１３２５のうちの１つまたはそれを上回るもの等の別のコンピュータ可読媒体から作業メモリ１３３５の中に読み取られてもよい。単に、実施例として、作業メモリ１３３５内に含有される命令のシーケンスの実行は、プロセッサ１３１０に、本明細書に説明される方法の１つまたはそれを上回るプロシージャを実施させ得る。加えて、または代替として、本明細書に説明される方法の一部は、特殊化ハードウェアを通して実行されてもよい。

本明細書で使用されるような、用語「機械可読媒体」および「コンピュータ可読媒体」は、機械を具体的方式で動作させるデータを提供することに関与する、任意の媒体を指す。コンピュータシステム１３００を使用して実装される、ある実施形態では、種々のコンピュータ可読媒体は、実行のために命令／コードをプロセッサ１３１０に提供することに関わり得る、および／またはそのような命令／コードを記憶および／または搬送するために使用され得る。多くの実装では、コンピュータ可読媒体は、物理的および／または有形記憶媒体である。そのような媒体は、不揮発性媒体または揮発性媒体の形態をとってもよい。不揮発性媒体は、例えば、記憶デバイス１３２５等の光学および／または磁気ディスクを含む。揮発性媒体は、限定ではないが、作業メモリ１３３５等の動的メモリを含む。

一般的形態の物理的および／または有形コンピュータ可読媒体は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、またはコンピュータが命令および／またはコードを読み取り得る、任意の他の媒体を含む。

種々の形態のコンピュータ可読媒体が、実行のための１つまたはそれを上回る命令の１つまたはそれを上回るシーケンスをプロセッサ１３１０に搬送することに関わってもよい。単に、実施例として、命令は、最初に、遠隔コンピュータの磁気ディスクおよび／または光学ディスク上で搬送されてもよい。遠隔コンピュータは、命令をその動的メモリの中にロードし、コンピュータシステム１３００によって受信および／または実行されるべき伝送媒体を経由して、命令を信号として送信し得る。

通信サブシステム１３３９および／またはそのコンポーネントは、概して、信号を受信し、バス１３０５が、次いで、信号および／または信号によって搬送されるデータ、命令等を作業メモリ１３３５に搬送し得、そこから、プロセッサ１３１０が、命令を読み出し、実行する。作業メモリ１３３５によって受信された命令は、随意に、プロセッサ１３１０による実行前または後のいずれかにおいて、非一過性記憶デバイス１３２５上に記憶されてもよい。

上記に議論される方法、システム、およびデバイスは、実施例である。種々の構成は、適宜、種々のプロシージャまたはコンポーネントを省略、代用、または追加してもよい。例えば、代替構成では、本方法は、説明されるものと異なる順序で実施されてもよい、および／または種々の段階は、追加される、省略される、および／または組み合わせられてもよい。また、ある構成に関して説明される特徴は、種々の他の構成において組み合わせられてもよい。構成の異なる側面および要素は、類似様式で組み合わせられてもよい。また、技術は、進歩するものであって、したがって、要素の多くは、実施例であって、本開示または請求項の範囲を限定するものではない。

具体的詳細が、実装を含む、例示的構成の徹底的な理解を提供するために説明に与えられる。しかしながら、構成は、これらの具体的詳細を伴わずに実践されてもよい。例えば、周知の回路、プロセス、アルゴリズム、構造、および技法は、構成を不明瞭にすることを回避するために、不必要な詳細を伴わずに示されている。本説明は、例示的構成のみを提供し、請求項の範囲、可用性、または構成を限定するものではない。むしろ、構成の前述の説明は、当業者に説明される技法を実装するための有効な説明を提供するであろう。種々の変更が、本開示の精神または範囲から逸脱することなく、要素の機能および配列に行われてもよい。

また、構成は、概略フローチャートまたはブロック図として描写される、プロセスとして説明され得る。それぞれ、順次プロセスとして動作を説明し得るが、動作の多くは、並行して、または同時に実施されることができる。加えて、動作の順序は、再配列されてもよい。プロセスは、図内に含まれない付加的ステップを有してもよい。さらに、本方法の実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、または任意のそれらの組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコード内に実装されるとき、必要タスクを実施するためのプログラムコードまたはコードセグメントは、記憶媒体等の非一過性コンピュータ可読媒体内に記憶されてもよい。プロセッサは、説明されるタスクを実施してもよい。

いくつかの例示的構成が説明されたが、種々の修正、代替構築物、および均等物が、本開示の精神から逸脱することなく、使用されてもよい。例えば、上記の要素は、より大きいシステムのコンポーネントであってもよく、他のルールが、本技術の用途に優先する、または別様にそれを修正してもよい。また、いくつかのステップが、上記の要素が検討される前、間、または後に行われてもよい。故に、上記の説明は、請求項の範囲を束縛するものではない。

本明細書および添付の請求項で使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明確に別様に示さない限り、複数の指示物を含む。したがって、例えば、「ユーザ」の言及は、そのようなユーザのうちの１人またはそれを上回る人を含み、「プロセッサ」の言及は、１つまたはそれを上回るプロセッサおよび当業者に公知のその均等物等の言及を含む。

また、単語「ｃｏｍｐｒｉｓｅ（～を備える）」、「ｃｏｍｐｒｉｓｉｎｇ（～を備えている）」、「ｃｏｎｔａｉｎｓ（～を含有する）」、「ｃｏｎｔａｉｎｉｎｇ（～を含有している）」、「ｉｎｃｌｕｄｅ（～を含む）」、「ｉｎｃｌｕｄｉｎｇ（～を含んでいる）」、および「ｉｎｃｌｕｄｅｓ（～を含む）」は、本明細書および以下の請求項で使用されるとき、述べられた特徴、整数、コンポーネント、またはステップの存在を規定することを意図するが、それらは、１つまたはそれを上回る他の特徴、整数、コンポーネント、ステップ、行為、またはグループの存在または追加を除外するものではない。

また、本明細書に説明される実施例および実施形態が、例証目的のみのためのものであって、それに照らして、種々の修正または変更が、当業者に示唆され、本願の精神および権限および添付の請求項の範囲内に含まれるものであることを理解されたい。

Claims (20)

1. 手姿勢データとハンドヘルドデバイス姿勢データを融合させる方法であって、前記方法は、
   手姿勢センサを使用して、基準フレーム内の手の位置を含む前記手姿勢データを捕捉することと、
   ハンドヘルドデバイス姿勢センサを使用して、前記基準フレーム内のハンドヘルドデバイスの位置を含む前記ハンドヘルドデバイスを捕捉することと、
   前記手姿勢データと前記ハンドヘルドデバイス姿勢データとの間の姿勢相違を決定することであって、前記姿勢相違は、前記手の位置と前記ハンドヘルドデバイスの位置との間の位置相違を含む、ことと、
   前記姿勢相違に基づいて、融合動作を実施することと
   を含む、方法。
2. 前記位置相違は、前記手の位置と前記ハンドヘルドデバイスの位置との間の距離である、請求項１に記載の方法。
3. 前記距離が距離閾値を上回るかまたは距離閾値未満であるかを決定することをさらに含む、請求項２に記載の方法。
4. 前記距離が前記距離閾値を上回ることが決定される場合、前記融合動作を実施することは、
   前記ハンドヘルドデバイスが前記手によって保持されていないことを決定すること
   を含む、請求項３に記載の方法。
5. 前記距離が前記距離閾値未満または前記距離閾値に等しいことが決定される場合、前記融合動作を実施することは、
   前記ハンドヘルドデバイスが前記手によって保持されていることを決定すること
   を含む、請求項３に記載の方法。
6. 前記距離が前記距離閾値を上回ることが決定される場合、前記融合動作を実施することは、
   前記手姿勢データを抑制すること、または
   前記ハンドヘルドデバイス姿勢データを抑制すること
   を含む、請求項３に記載の方法。
7. 前記距離が前記距離閾値未満または前記距離閾値に等しいことが決定される場合、前記融合動作を実施することは、
   前記手姿勢データを使用して、前記ハンドヘルドデバイス姿勢データを増大させること、
   前記ハンドヘルドデバイス姿勢データを使用して、前記手姿勢データを増大させること、または
   前記手姿勢データおよび前記ハンドヘルドデバイス姿勢データを使用して、組み合わせられた姿勢データを生成すること
   を含む、請求項３に記載の方法。
8. 前記手姿勢センサを使用して、前記手姿勢データを捕捉することは、
   前記手と関連付けられる複数の特徴点を識別することと、
   前記複数の特徴点に基づいて、前記手の位置を決定することと
   を含む、請求項１に記載の方法。
9. システムであって、
   基準フレーム内の手の位置を含む手姿勢データを捕捉するように構成される手姿勢センサと、
   前記基準フレーム内のハンドヘルドデバイスの位置を含むハンドヘルドデバイス姿勢データを捕捉するように構成されるハンドヘルドデバイス姿勢センサと、
   前記手姿勢センサおよび前記ハンドヘルドデバイス姿勢センサと通信する１つまたはそれを上回るプロセッサであって、前記１つまたはそれを上回るプロセッサは、
   前記手姿勢データと前記ハンドヘルドデバイス姿勢データとの間の姿勢相違を決定することであって、前記姿勢相違は、前記手の位置と前記ハンドヘルドデバイスの位置との間の位置相違を含む、ことと、
   前記姿勢相違に基づいて、融合動作を実施することと
   を含む動作を実施するように構成される、１つまたはそれを上回るプロセッサと
   を備える、システム。
10. 前記位置相違は、前記手の位置と前記ハンドヘルドデバイスの位置との間の距離である、請求項９に記載のシステム。
11. 前記距離が、距離閾値を上回るか、または距離閾値未満であるか、または距離閾値に等しいかを決定することをさらに含む、請求項１０に記載のシステム。
12. 前記距離が前記距離閾値を上回ることが決定される場合、前記融合動作を実施することは、
    前記ハンドヘルドデバイスが前記手によって保持されていないことを決定すること
    を含む、請求項１１に記載のシステム。
13. 前記距離が前記距離閾値未満または前記距離閾値に等しいことが決定される場合、前記融合動作を実施することは
    前記ハンドヘルドデバイスが前記手によって保持されていることを決定すること
    を含む、請求項１１に記載のシステム。
14. 前記距離が前記距離閾値未満であることが決定される場合、前記融合動作を実施することは、
    前記手姿勢データを抑制すること、または
    前記ハンドヘルドデバイス姿勢データを抑制すること
    を含む、請求項１１に記載のシステム。
15. 前記距離が前記距離閾値を上回ることが決定される場合、前記融合動作を実施することは、
    前記手姿勢データを抑制すること、または
    前記ハンドヘルドデバイス姿勢データを抑制すること
    を含む、請求項１１に記載のシステム。
16. 前記距離が前記距離閾値未満または前記距離閾値に等しいことが決定される場合、前記融合動作を実施することは、
    前記手姿勢データを使用して、前記ハンドヘルドデバイス姿勢データを増大させること、
    前記ハンドヘルドデバイス姿勢データを使用して、前記手姿勢データを増大させること、または
    前記手姿勢データおよび前記ハンドヘルドデバイス姿勢データを使用して、組み合わせられた姿勢データを生成すること
    を含む、請求項１１に記載のシステム。
17. 前記手姿勢センサを使用して、前記手姿勢データを捕捉することは、
    前記手と関連付けられる複数の特徴点を識別することと、
    前記複数の特徴点に基づいて、前記手の位置を決定することと
    を含む、請求項９に記載のシステム。
18. 非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を備え、前記命令は、１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、手姿勢データとハンドヘルドデバイス姿勢データを融合させるための動作を実施させ、前記動作は、
    手姿勢センサを使用して、基準フレーム内の手の位置を含む前記手姿勢データを捕捉することと、
    ハンドヘルドデバイス姿勢センサを使用して、前記基準フレーム内のハンドヘルドデバイスの位置を含む前記ハンドヘルドデバイスを捕捉することと、
    前記手姿勢データと前記ハンドヘルドデバイス姿勢データとの間の姿勢相違を決定することであって、前記姿勢相違は、前記手の位置と前記ハンドヘルドデバイスの位置との間の位置相違を含む、ことと、
    前記姿勢相違に基づいて、融合動作を実施することと
    を含む、非一過性コンピュータ可読媒体。
19. 前記位置相違は、前記手の位置と前記ハンドヘルドデバイスの位置との間の距離である、請求項１８に記載の非一過性コンピュータ可読媒体。
20. 前記距離が距離閾値を上回るかまたは距離閾値未満であるかを決定することをさらに含む、請求項１９に記載の非一過性コンピュータ可読媒体。

Images