JPWO2020214272A5 - - Google Patents

Description

本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の詳細な説明のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本発明は、例えば、以下を提供する。
（項目１）
ウェアラブルシステムであって、
頭部搭載型ディスプレイと、
慣性測定ユニット（ＩＭＵ）を備えるハンドヘルドユーザ入力デバイスと、
電磁（ＥＭ）追跡システムであって、
前記ハンドヘルドユーザ入力デバイス内または上に配置されるＥＭエミッタであって、前記ＥＭエミッタは、ＥＭ場を生成するように構成される、ＥＭエミッタと、
前記頭部搭載型ディスプレイ内または上に配置されるＥＭセンサであって、前記ＥＭセンサは、前記ＥＭ場を感知するように構成される、ＥＭセンサと
を備え、前記ＥＭエミッタに対する前記ＥＭセンサの推定される姿勢と関連付けられるＥＭ場行列を出力するように構成される、ＥＭ追跡システムと、
ハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記ＩＭＵからのＩＭＵデータにアクセスすることであって、前記ＩＭＵデータは、前記ハンドヘルドユーザ入力デバイスと関連付けられる基準フレーム内の前記ハンドヘルドユーザ入力デバイスの推定される姿勢を表す、ことと、
前記ＥＭ追跡システムから前記ＥＭ場行列にアクセスすることと、
前記ウェアラブルシステムの環境と関連付けられる世界基準フレーム内の前記ハンドヘルドユーザ入力デバイスの予測される姿勢を表す予測されるＥＭ場行列を計算することと、
少なくとも部分的に、前記ＥＭ場行列および前記予測されるＥＭ場行列に基づいて、誤差状態を生成することであって、前記誤差状態は、前記ＩＭＵ内のバイアスまたは雑音または前記ハンドヘルドユーザ入力デバイスの基準フレームと前記世界基準フレームとの間のオフセットのうちの少なくとも１つを表す、ことと、
前記誤差状態に基づいて、カルマンフィルタを前記ＩＭＵデータに適用することと、
前記カルマンフィルタを使用して、前記世界基準フレーム内の前記ハンドヘルドユーザ入力デバイスの姿勢を決定することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルシステム。
（項目２）
前記ＩＭＵは、加速度計またはジャイロスコープのうちの少なくとも１つを備える、項目１に記載のウェアラブルシステム。
（項目３）
前記予測されるＥＭ場行列を計算するために、前記ハードウェアプロセッサは、
前記世界基準フレーム内の前記ＥＭエミッタ姿勢に関する推定値を計算することと、
前記世界基準フレーム内の前記ＥＭセンサ姿勢に関する推定値を計算することと、
前記世界基準フレーム内の前記ＥＭエミッタ姿勢と前記世界基準フレーム内の前記ＥＭセンサ姿勢との間の相対的姿勢を計算することと
を行うようにプログラムされる、項目１または項目２に記載のウェアラブルシステム。
（項目４）
前記世界基準フレーム内の前記ＥＭエミッタ姿勢に関する推定値を計算するために、前記ハードウェアプロセッサは、
前記世界基準フレーム内の前記ハンドヘルドユーザ入力デバイスの姿勢にアクセスすることと、
前記ハンドヘルドユーザ入力デバイスの基点位置に対する前記ＥＭエミッタの位置を調節するように構成されるＥＭ伝送機付帯性質を適用することと
を行うようにプログラムされる、項目３に記載のウェアラブルシステム。
（項目５）
前記ＥＭ伝送機付帯性質は、前記ＥＭエミッタの位置と前記ハンドヘルドユーザ入力デバイスの基点位置との間の変位を備える、項目４に記載のウェアラブルシステム。
（項目６）
前記世界基準フレーム内の前記ＥＭセンサに関する推定値を計算するために、前記ハードウェアプロセッサは、
前記頭部搭載型ディスプレイに関する姿勢に関する推定値にアクセスすることと、
前記頭部搭載型ディスプレイの基点位置に対する前記ＥＭセンサの位置を調節するように構成される、ＥＭ受信機付帯性質を適用することと
を行うようにプログラムされる、項目３－５のいずれか１項に記載のウェアラブルシステム。
（項目７）
前記ＥＭ受信機付帯性質は、前記ＥＭセンサの位置と前記頭部搭載型ディスプレイの基点位置との間の変位を備える、項目６に記載のウェアラブルシステム。
（項目８）
前記ハードウェアプロセッサはさらに、
前記ＥＭ追跡システムから決定される姿勢に基づいて、前記ハンドヘルドユーザ入力デバイスの予測される姿勢を計算すること、または
前記ハンドヘルドユーザ入力デバイスの配向における曖昧性を解決すること
のうちの１つ以上のものを含む初期化プロシージャを実施するようにプログラムされる、項目１－７のいずれか１項に記載のウェアラブルシステム。
（項目９）
前記ハンドヘルドユーザ入力デバイスの配向における曖昧性を解決するために、前記ハードウェアプロセッサは、
前記ハンドヘルドユーザ入力デバイスの初期配向が第１の半球内に位置する第１のスレッドを実行することであって、前記第１のスレッドは、前記世界基準フレーム内の前記ハンドヘルドユーザ入力デバイスの姿勢の第１の推定値を決定する、ことと、
前記ハンドヘルドユーザ入力デバイスの前記初期配向が前記第１の半球と反対の第２の半球内に位置する第２のスレッドを実行し、前記第２のスレッドは、前記世界基準フレーム内の前記ハンドヘルドユーザ入力デバイスの姿勢の第２の推定値を決定することと
を行うようにプログラムされる、項目８に記載のウェアラブルシステム。
（項目１０）
前記ハードウェアプロセッサは、それぞれ、前記第１の推定値または前記第２の推定値が、前記ハンドヘルドユーザ入力デバイスの真の姿勢から発散するとき、前記第１のスレッドまたは前記第２のスレッドのいずれかの実行を終了するようにプログラムされる、項目９に記載のウェアラブルシステム。
（項目１１）
前記ハードウェアプロセッサは、誤差検出ルーチンを実施するようにプログラムされ、誤差の決定に応答して、前記システムは、補正アクションを実施する、項目１－１０のいずれか１項に記載のウェアラブルシステム。
（項目１２）
前記誤差検出ルーチンは、前記ＥＭエミッタと前記ＥＭセンサとの間の距離が閾値距離を超えることを決定することを含む、項目１１に記載のウェアラブルシステム。
（項目１３）
前記補正アクションは、前記システムを再初期化することを含む、項目１１または項目１２に記載のウェアラブルシステム。
（項目１４）
前記ハードウェアプロセッサはさらに、
前記頭部搭載型ディスプレイを介して、仮想コンテンツを前記ウェアラブルシステムのユーザに提示する、または
少なくとも部分的に、前記ハンドヘルドユーザ入力デバイスの移動または回転に基づいて、前記ウェアラブルシステムの環境との相互作用を有効にする
ようにプログラムされる、項目１－１３のいずれか１項に記載のウェアラブルシステム。
（項目１５）
ウェアラブルシステムであって、
頭部搭載型ディスプレイと、
慣性測定ユニット（ＩＭＵ）を備えるハンドヘルドユーザ入力デバイスと、
電磁（ＥＭ）追跡システムであって、
ＥＭ場を生成するように構成される１つ以上のＥＭエミッタと、
前記ＥＭ場を感知するように構成される１つ以上のＥＭセンサと
を備え、前記ＥＭ追跡システムは、前記１つ以上のＥＭエミッタに対する前記１つ以上のＥＭセンサの推定される姿勢と関連付けられるＥＭ場行列を出力するように構成される、ＥＭ追跡システムと、
慣性ナビゲーションシステム（ＩＮＳ）であって、
前記ＩＭＵからのＩＭＵデータにアクセスすることと、
前記ＥＭ追跡システムからの前記ＥＭ場行列にアクセスすることと、
データ融合アルゴリズムを前記ＩＭＵデータおよび前記ＥＭ場行列に適用し、前記ウェアラブルシステムと関連付けられる世界フレーム内の前記ハンドヘルドユーザ入力デバイスの予測される姿勢を生成することと
を行うように構成される、ＩＮＳと
を備える、ウェアラブルシステム。
（項目１６）
前記１つ以上のＥＭエミッタは、前記ハンドヘルドユーザ入力デバイス内または上に配置され、前記１つ以上のＥＭセンサは、前記頭部搭載型ディスプレイ内または上に配置される、項目１５に記載のウェアラブルシステム。
（項目１７）
前記１つ以上のＥＭセンサは、前記頭部搭載型ディスプレイの左側上に位置付けられる第１のＥＭセンサと、前記頭部搭載型ディスプレイの右側上に位置付けられる第２のＥＭセンサとを備える、項目１５または項目１６に記載のウェアラブルシステム。
（項目１８）
前記ＥＭ場行列は、前記第１のＥＭセンサと関連付けられる第１の加重と、前記第２のＥＭセンサと関連付けられる第２の加重とに基づいて決定される、項目１７に記載のウェアラブルシステム。
（項目１９）
前記加重は、前記センサと前記ハンドヘルドユーザ入力デバイスとの間の個別の距離に基づいて決定される、項目１８に記載のウェアラブルシステム。
（項目２０）
前記データ融合アルゴリズムは、カルマンフィルタを備える、項目１５または項目１６に記載のウェアラブルシステム。
（項目２１）
前記ＩＮＳは、前記ＥＭ場行列と前記ハンドヘルドユーザ入力デバイスの予測される姿勢を表す予測されるＥＭ場行列の比較に基づいて、誤差状態を生成するように構成される、項目１５－１９のいずれか１項に記載のウェアラブルシステム。
（項目２２）
前記予測される姿勢は、６自由度姿勢を備える、項目１５－１８のいずれか１項に記載のウェアラブルシステム。
（項目２３）
ウェアラブルシステムのためのハンドヘルドユーザ入力デバイスの姿勢を計算する方法であって、前記方法は、
コンピュータハードウェアを備える慣性ナビゲーションシステム（ＩＮＳ）の制御下で、
前記ハンドヘルドユーザ入力デバイスと関連付けられる姿勢センサからの姿勢データにアクセスすることと、
前記ハンドヘルドユーザ入力デバイスと関連付けられるＥＭ追跡システムと関連付けられる電磁（ＥＭ）追跡データにアクセスすることと、
データ融合技法を適用し、前記姿勢データと前記ＥＭ追跡データを組み合わせることと、
前記ウェアラブルシステムの環境と関連付けられる基準フレーム内の前記ハンドヘルドユーザ入力デバイスの姿勢を決定することと
を含む、方法。
（項目２４）
前記姿勢センサは、慣性測定ユニットを備える、項目２３に記載の方法。
（項目２５）
前記姿勢センサは、加速度計、ジャイロスコープ、磁力計、または光学センサを備える、項目２３または項目２４に記載の方法。
（項目２６）
前記ＥＭ追跡システムは、ＥＭエミッタと、ＥＭセンサとを備える、項目２３－２５のいずれか１項に記載の方法。
（項目２７）
前記ＥＭエミッタは、前記ユーザ入力デバイス内または上に配置される、項目２６に記載の方法。
（項目２８）
前記データ融合技法は、カルマンフィルタを備える、項目２３－２７のいずれか１項に記載の方法。
（項目２９）
項目２０－２５のいずれか１項に記載の方法を実施するように構成される、ＩＮＳ。
（項目３０）
ウェアラブルシステムであって、
前記ハンドヘルドユーザ入力デバイスと、
前記ＥＭ追跡システムと、
項目２６に記載のＩＮＳと、
を備える、ウェアラブルシステム。

Claims (7)

1. ウェアラブルシステムであって、
   頭部搭載型ディスプレイと、
   慣性測定ユニット（ＩＭＵ）を備えるハンドヘルドユーザ入力デバイスであって、前記ＩＭＵは、加速度計データまたはジャイロスコープデータのうちの１つ以上のものを備えるＩＭＵデータを生成するように構成される、ハンドヘルドユーザ入力デバイスと、
   ＥＭ場を生成するように構成される１つ以上のＥＭエミッタと、
   前記ＥＭ場を感知するように構成される１つ以上のＥＭセンサと、
   １つ以上のコンピュータプロセッサであって、
   前記１つ以上のＥＭセンサによって感知された前記ＥＭ場に少なくとも基づいて、前記１つ以上のＥＭエミッタに対する前記１つ以上のＥＭセンサの推定される姿勢を決定することと、
   前記ＩＭＵデータにアクセスすることと、
   データ融合アルゴリズムを前記ＩＭＵデータおよび前記推定される姿勢に適用し、前記ウェアラブルシステムと関連付けられる世界基準フレーム内の前記ハンドヘルドユーザ入力デバイスの予測される姿勢を生成することと、
   前記推定される姿勢と前記予測される姿勢との間の差異に少なくとも基づいて、誤差状態を生成することと
   を行うように構成される、１つ以上のコンピュータプロセッサと
   を備える、ウェアラブルシステム。
2. 前記予測される姿勢を計算するために、前記１つ以上のコンピュータプロセッサは、
   前記世界基準フレーム内の推定されるＥＭエミッタ姿勢を計算することと、
   前記世界基準フレーム内の推定されるＥＭセンサ姿勢を計算することと、
   前記世界基準フレーム内の前記推定されるＥＭエミッタ姿勢と前記世界基準フレーム内の前記推定されるＥＭセンサ姿勢との間の相対的姿勢を計算することと
   を行うようにプログラムされる、請求項１に記載のウェアラブルシステム。
3. 前記世界基準フレーム内の前記推定されるＥＭエミッタ姿勢を計算することは、
   前記世界基準フレーム内の前記ハンドヘルドユーザ入力デバイスの姿勢にアクセスすることと、
   前記ハンドヘルドユーザ入力デバイスの基点位置に対する前記ＥＭエミッタの位置を調節するように構成されるＥＭ伝送機付帯性質を適用することと
   を含む、請求項２に記載のウェアラブルシステム。
4. 前記ＥＭ伝送機付帯性質は、前記ＥＭエミッタの位置と前記ハンドヘルドユーザ入力デバイスの前記基点位置との間の変位を備える、請求項３に記載のウェアラブルシステム。
5. 前記１つ以上のコンピュータプロセッサは、
   前記頭部搭載型ディスプレイを介して、仮想コンテンツを前記ウェアラブルシステムのユーザに提示すること、または
   前記ハンドヘルドユーザ入力デバイスの移動または回転に少なくとも部分的に基づいて、前記ウェアラブルシステムの環境との相互作用を可能にすること
   を行うようにさらに構成される、請求項１に記載のウェアラブルシステム。
6. 前記誤差状態は、前記ＥＭエミッタと前記ＥＭセンサとの間の距離が閾値距離を超えることの決定に少なくとも基づいて、計算される、請求項１に記載のウェアラブルシステム。
7. コンピューティングシステムによって実施されるコンピュータ化された方法であって、前記コンピューティングシステムは、１つ以上のハードウェアコンピュータプロセッサと、ソフトウェア命令を記憶する１つ以上の非一過性コンピュータ可読記憶デバイスとを備え、前記ソフトウェア命令は、前記コンピュータ化された方法を実施するように前記コンピューティングシステムによって実行可能であり、前記コンピュータ化された方法は、
   頭部搭載型ディスプレイシステムのＥＭセンサによって感知されたＥＭ場に少なくとも基づいて、前記頭部搭載型ディスプレイシステムのＥＭエミッタに対する前記ＥＭセンサの推定される姿勢を決定することと、
   ハンドヘルドユーザ入力デバイスからＩＭＵデータにアクセスすることであって、前記ＩＭＵデータは、加速度計データまたはジャイロスコープデータのうちの１つ以上のものを備える、ことと、
   データ融合アルゴリズムを前記ＩＭＵデータおよび前記推定される姿勢に適用し、前記頭部搭載型ディスプレイシステムと関連付けられる世界フレーム内の前記ハンドヘルドユーザ入力デバイスの予測される姿勢を生成することと、
   前記推定される姿勢と前記予測される姿勢との間の差異に少なくとも基づいて、誤差状態を生成することと
   を含む、コンピュータ化された方法。