JP6986003B2 - トラッキングシステム及びそのトラッキング方法 - Google Patents

Description

本発明は、トラッキングシステム及びトラッキング方法に関連し、より具体的には、ユーザのより低い体の挙動を可視化する能力のあるトラッキングシステム及びトラッキング方法に関連する。

技術の進歩と発展によって、コンピュータゲームとユーザとの間の相互作用（interaction：インタラクション）の要望が増加している。人間・コンピュータ相互作用技術、例えば、体性感覚ゲーム（somatosensory games）、仮想現実（ＶＲ：virtual reality）環境、拡張現実（ＡＲ：augmented reality）環境及びエクステンデッドリアリティ（ＸＲ：extended reality）環境は、その生理学的及び娯楽的な機能により人気を得ている。従来のＸＲ技術は、アウトサイドイン（outside-in）又はインサイドアウト（inside-out）のトラッキング方法によってユーザの動きをトラッキングすることによってユーザを可視化し、それは、リアルタイムで、動くオブジェクトのシーン座標（scene coordinates）をトレースし、例えば、ヘッドマウントディスプレイ（ＨＭＤｓ：head-mounted displays）、モーションコントローラ周辺装置又はカメラである。このように、仮想環境でユーザに同時に相互作用を提供するために、ＨＭＤ、モーションコントローラ周辺装置又はカメラは、一緒に動作し、仮想環境においてユーザによるジェスチャーに対して反応することができる。

しかしながら、ユーザの体の動きは、３つの直交する軸に関して、フォワード／バックワード（forward/backward）（すなわち、サージ（surge））、アップ／ダウン（up/down）（すなわち、ヒーブ（heave））、レフト／ライト（left/right）（すなわち、スウェイ（sway））の移動（translation）として、位置を自由に変化させ、それは、３つの直交する軸に関する回転を通して方向（orientation）における変化と結合される。仮想環境における従来のトラッキングシステムは、ユーザの体の動きを感知（sense）するために少なくとも４つのセンサ、アウトサイドイン又はインサイドアウトのトラッカ及びカメラを装着する必要があり、それは、仮想環境で体験するとき、ユーザにとっては、不便な結果となる。

したがって、本発明は、ユーザにより良い使用シナリオを提供するトラッキングシステム（tracking system）及びトラッキング方法（tracking method）を提供する。

本発明は、ユーザの頭に装着され仮想環境においてユーザの体の動きを視覚化するように構成されたヘッドマウントディスプレイ（ＨＭＤ）と、ユーザの足に装着され、ユーザの体の動きにしたがってユーザの体の情報を決定し、決定された体の情報をＨＭＤに送信するように構成された複数のセンサであって、ＨＭＤは、決定された体の情報にしたがって、ユーザの体の動きを可視化する、複数のセンサとを備え、体の情報は、複数のセンサとＨＭＤとの間の複数の相互関係（mutual relationships）に関連する、トラッキングシステムを開示する。

本発明は、ヘッドマウントディスプレイ（ＨＭＤ）に対するトラッキング方法を開示し、ＨＭＤは、仮想環境においてユーザの体の動きを視覚化する。このトラッキング方法は、複数のセンサによって、ユーザの体の動きにしたがって、ユーザの体の情報を決定することと、複数のセンサによって決定された体の情報をＨＭＤに送信することとを含み、ＨＭＤは、決定された体の情報にしたがってユーザの体の動きを視覚化し、体の情報は、複数のセンサとＨＭＤとの間の複数の相互関係に関連し、ＨＭＤは、ユーザの頭に装着され、複数のセンサは、ユーザの足に装着される。

本発明のこれらの及び他の目的は、いくつかの図面に説明された好ましい実施形態の以下の詳細な説明を読んだ後に、当業者にとって明らかになることを確信する。

本発明の実施形態によるトラッキングシステムの概略図である。 本発明の実施形態によるトラッキングシステムの実装例の概略図である。 本発明の実施形態によるトラッキングプロセスの概略図である。

本発明の実施形態によるトラッキングシステム１０の概略図である図１を参照する。トラッキングシステム１０は、ヘッドマウントディスプレイ（ＨＭＤ）１０２と複数のセンサ１０４を含む。ＨＭＤ１０２は、ユーザの頭に装着され、仮想環境においてユーザの体の動きを視覚化するように構成することができる。センサ１０４は、ユーザの足に装着され、ユーザの体の動きにしたがってユーザの体の情報を決定し、ＨＭＤ１０２に決定された体の情報を送信するように構成することができ、それによって、ＨＭＤ１０２は、決定された体の情報にしたがってユーザの体の動きを視覚化することができる。例としては、三次元空間において、ユーザの体の動きを視覚化するように、センサ１０４は、６自由度（ＤＯＦ：degrees-of-freedom）センサでも良い。実施形態において、ＨＭＤ１０２とセンサ１０４との間の第１の接続Ｃ１は、ブルートゥース（登録商標）であり、センサ間の第２の接続Ｃ２は、超音波（ultrasonic）、レーザ（laser）、又は磁力（magnetic force）であるが、これらに限定されるものではない。特に、体の情報は、センサ１０４とＨＭＤ１０２との間の複数の相互関係に関連する。したがって、本発明のトラッキングシステム１０は、ユーザ体験を向上されるために、追加のアウトサイドイン又はインサイドアウトカメラ又はトラッカを実装すること無く、リアルタイムでユーザの体の動きを可視化する。

上述の例は、本発明のトラッキングシステム１０がアウトサイドイン又はインサイドアウトカメラ又はトラッカを実装せずにユーザの体の動きを視覚化することを簡単に説明する。特に、当業者は、適切な変更を行うことができる。例えば、第１の接続Ｃ１と第２の接続Ｃ２は、これらに制限されることなく、本発明の範囲に属する、互いに通信できる任意の別の方法で実装しても良い。

本発明のセンサ１０４は、第１のセンサ１０４＿１と第２のセンサ１０４＿２とを備える。詳細には、第１のセンサ１０４＿１と第２のセンサ１０４＿２は、さらに、第１のセンサ１０４＿１の第１の座標と、第２のセンサ１０４＿２の第２の座標をシミュレートする第１の慣性計測装置（ＩＭＵ：inertial measurement unit）１０６＿１と第２の慣性計測装置（ＩＭＵ）１０６＿２を、それぞれ備える。第１のセンサ１０４＿１と第２のセンサ１０４＿２は、超音波、レーザ、又は磁力を介して互いに接続されても良いので、各センサの座標は、共用され、そして、センサの正確な位置を知る。言い換えれば、第１のセンサ１０４＿１は、第２のセンサ１０４＿２の相対位置と相対距離を知り、第２のセンサ１０４＿２は、第１のセンサ１０４＿１の相対位置と相対距離を知る。その上、実施形態において、センサ１０４は、ブルートゥースを経由して、ＨＭＤ１０２と接続しても良く、ＨＭＤ１０２とセンサ１０４との間の相対位置と相対距離が分かる。それ故に、ＨＭＤ１０２とセンサ１０４の相互の位置は、互いに知っており、そのため、ＨＭＤ１０２及びセンサ１０４がユーザによって装着されたとき、ユーザによって生成された体の動きは、センサ１０４によって検知された体の情報にしたがってそれぞれ決定することができる。このように、本発明のセンサ１０４は、追加のアウトサイドイン又はインサイドアウトのカメラ又はトラッカを実装すること無しにリアルタイムでユーザの体の動きを可視化する。

実施形態において、図２を参照すると、それは、本発明の実施形態によるトラッキングシステムの実装例の概略図である。図２に示されるように、ユーザが仮想環境にいて、ＨＭＤ１０２とセンサ１０４を装着しているとき、トラッキングシステム１０は、ユーザの体の動きをトラッキングするためのアウトサイドイン又はインサイドアウトのカメラ又はトラッカから開放されている。それに加えて、ＨＭＤ１０２は、第１の接続Ｃ１を介してセンサ１０４に接続され、センサ１０４によって相対位置と相対距離を知ることができる。その上、センサ１０４は、相互に接続され、相互に座標を受け取ることができるので、第１の座標と第２の座標は、センサの位置を校正するために利用することができ、それによって、体の情報の精度が向上する。すなわち、本発明のトラッキングシステム１０は、アウトサイドイン又はインサイドアウトのカメラ又はトラッカ無しで、ユーザの体の動きをトラッキングし、大いにユーザ体験を向上させる。

異なるアプリケーションと設計コンセプトに基づいて、本発明のトラッキングシステム１０は、あらゆる種類の方法として実装することができる。さらに、トラッキングシステム１０の動作プロセスは、図３に示されるトラッキングプロセス３０で終了しても良く、以下のステップを含む：

ステップ３０２：開始。

ステップ３０４：センサ１０４は、ユーザの体の動きにしたがってユーザの体の情報を決定する。

ステップ３０６：センサ１０４は、決定された体の情報をＨＭＤへ送信する。

ステップ３０８：終了。

トラッキングプロセス３０の詳細は、トラッキングシステム１０の上述の実施形態を参照することができ、簡潔さのために本明細書では述べない。

特に、上述の実施形態は、本発明の概念を説明し、当業者であれば、これらに制限されず、それに応じて、適切に変更することができる。磁気計測器（magnetic meter）又は球面アンテナアレイ（spherical antenna array）は、センサの位置を校正するためにセンサに追加することができ、それによって、ユーザの体の動きの可視化の精度を向上し、さらに、ユーザ体験を向上する。

要するに、本発明は、アウトサイドイン又はインサイドアウトのトラッキングデバイス無しで仮想環境においてトラッキングシステム及びトラッキング方法を提供し、より具体的には、ユーザが仮想現実環境を体験するとき、より良い体験を提供する。

当業者は、本発明の教示にとどまる間、本装置と本方法の数多くの変更及び修正が可能であることに容易に気づく。それに応じて、上述の開示は、添付請求項の境界や限度によってのみ制限されると解釈されるべきである。

Claims (14)

1. トラッキングシステムであって、
   ユーザの頭に装着され、仮想環境において前記ユーザの体の動きを仮想化するように構成された、ヘッドマウントディスプレイ（ＨＭＤ）と、
   前記ユーザの足に装着され、前記ユーザの前記体の動きにしたがって、前記ユーザの体の情報を決定し、前記決定された体の情報を前記ＨＭＤに送信するように構成された複数のセンサであって、前記複数のセンサの各々が、第１の接続を介して前記ＨＭＤに接続され、前記複数のセンサは、第２の接続を介して相互に直接接続され、前記複数のセンサのうち各２つのセンサ間、及び、前記複数のセンサの各々と前記ＨＭＤとの間の複数の相互関係が知らされ、前記複数のセンサの各々が、座標を作製するために前記センサの動きを検出する慣性計測装置を含み、前記複数のセンサの各々が、前記複数のセンサの各々の座標を、前記第２の接続を介して相互に、及び、前記第１の接続を介して前記ＨＭＤと共用し、前記ＨＭＤは、前記決定された体の情報にしたがって、前記ユーザの前記体の動きを仮想化する、複数のセンサと、
   を備え、
   前記体の情報は、前記複数のセンサのうち各２つのセンサ間、及び、前記複数のセンサの各々と前記ＨＭＤとの間の前記複数の相互関係に関連し、
   複数のセンサの１つが、前記第２の接続を介した前記共用された座標及び前記第１の接続を介した前記共用された座標にしたがって、前記複数の相互関係のうち前記複数のセンサの１つと別のセンサとの間の相対距離及び相対位置を校正し、前記複数のセンサのうち２つのセンサ間の相対位置及び相対距離が前記複数のセンサのうちの１つのセンサによって知らされる、トラッキングシステム。
2. 前記複数のセンサは、第１のセンサと第２のセンサを備え、前記第１のセンサは、前記第１のセンサの動きを検出する第１の慣性計測装置（ＩＭＵ）を備え、前記第２のセンサは、前記第２のセンサの動きを検出する第２のＩＭＵを備え、前記動きは、前記センサの座標を得るために使用される、請求項１に記載のトラッキングシステム。
3. 前記複数の相互関係は、前記第１のセンサ、前記第２のセンサ及び前記ＨＭＤとの間の複数の相対距離、及び前記第１のセンサ、前記第２のセンサ及び前記ＨＭＤとの間の相対位置を含む、請求項２に記載のトラッキングシステム。
4. 前記第１のセンサの座標と、前記第２のセンサの座標は、相互に及び前記ＨＭＤと共用されている、請求項２に記載のトラッキングシステム。
5. 前記ＨＭＤは、ブルートゥース（登録商標）を介して、前記複数のセンサに接続されている、請求項１に記載のトラッキングシステム。
6. 前記複数のセンサは、６自由度（ＤＯＦ）センサである、請求項１に記載のトラッキングシステム。
7. 前記複数のセンサは、超音波、レーザ、又は磁力を介して相互に接続されている、請求項１に記載のトラッキングシステム。
8. ヘッドマウントディスプレイ（ＨＭＤ）システムに対するトラッキング方法であって、前記ＨＭＤは、仮想環境においてユーザの体の動きを仮想化し、前記トラッキング方法は、
   複数のセンサによって、前記ユーザの前記体の動きにしたがって、前記ユーザの体の情報を決定することと、
   前記複数のセンサによって、前記決定された体の情報を前記ＨＭＤに送信することと、
   を含み、
   前記ＨＭＤは、前記決定された体の情報にしたがって前記ユーザの前記体の動きを仮想化し、
   前記体の情報は、前記複数のセンサのうち各２つのセンサ間、及び、前記複数のセンサの各々と前記ＨＭＤとの間の複数の相互関係に関連し、
   前記ＨＭＤは、前記ユーザの頭に装着され、前記複数のセンサは、前記ユーザの足に装着され、前記複数のセンサの各々が、第１の接続を介して前記ＨＭＤに接続され、前記複数のセンサは、第２の接続を介して相互に直接接続され、前記複数のセンサのうち各２つのセンサ間、及び、前記複数のセンサの各々と前記ＨＭＤとの間の前記複数の相互関係が知らされ、前記複数のセンサの各々が、座標を作製するために前記センサの動きを検出する慣性計測装置を含み、前記複数のセンサの各々が、前記複数のセンサの各々の座標を、前記第２の接続を介して相互に、及び、前記第１の接続を介して前記ＨＭＤと共用し、
   複数のセンサの１つが、前記第２の接続を介した前記共用された座標及び前記第１の接続を介した前記共用された座標にしたがって、前記複数の相互関係のうち前記複数のセンサの１つと別のセンサとの間の相対距離及び相対位置を校正し、前記複数のセンサのうち２つのセンサ間の相対位置及び相対距離が前記複数のセンサのうちの１つのセンサによって知らされる、トラッキング方法。
9. 前記複数のセンサは、第１のセンサと第２のセンサを備え、前記第１のセンサは、前記第１のセンサの動きを検出する第１の慣性計測装置（ＩＭＵ）を備え、前記第２のセンサは、前記第２のセンサの動きを検出する第２のＩＭＵを備え、前記動きは、前記センサの座標を得るために使用される、請求項８に記載のトラッキング方法。
10. 前記複数の相互関係は、前記第１のセンサ、前記第２のセンサ及び前記ＨＭＤとの間の複数の相対距離、及び前記第１のセンサ、前記第２のセンサ及び前記ＨＭＤとの間の相対位置である、請求項９に記載のトラッキング方法。
11. 前記第１のセンサの座標と、前記第２のセンサの座標は、相互に及び前記ＨＭＤと共用されている、請求項９に記載のトラッキング方法。
12. 前記ＨＭＤは、ブルートゥース（登録商標）を介して、前記複数のセンサに接続されている、請求項８に記載のトラッキング方法。
13. 前記複数のセンサは、６自由度（ＤＯＦ）センサである、請求項８に記載のトラッキング方法。
14. 前記複数のセンサは、超音波、レーザ、又は磁力を介して相互に接続されている、請求項８に記載のトラッキング方法。

Images