JP7162898B2 - 着用可能な動作追跡システム - Google Patents

Description

本発明は、ユーザの第１の身体部位、好ましくは頭部又は胴部と、ユーザの第２の身体部位、好ましくは上肢、手首又は手との間の相対的な位置を捕捉するための着用可能な動作追跡システム（wearable motion tracking system：ウエアラブルモーショントラッキングシステム）に関する。さらに、本発明は、第１の身体部位に対して第２の身体部位の位置を追跡するために、第１の身体部位と第２の身体部位との間の相対的な位置を捕捉するための方法に関する。結果として得られたデータを、好ましくはリアルタイムで（短い待ち時間で）、仮想環境に実装することができる。本発明を、人間から仮想環境へのリンクを確立するために使用することができる。

人体の動作の追跡は、多種多様な用途において使用されている。撮影業界では、映画において仮想のキャラクタをレンダリングするために動きが捕捉される。スポーツでは、特定の動作を捕捉することによって、その特定の動作の正確さについてのフィードバックを提供することができる。健康管理では、動作データによって、患者の健康状態についての情報を提供することができる。また、動作データを、自然なやり方での仮想環境との対話のために使用することができる。

外部基準を使用して動作を捕捉することを目的としたシステムが幾つか存在する。特許文献１では、ユーザの四肢に取り付けられたリトロリフレクタの位置を捕捉する、ユーザの周囲環境に配置された一連のカメラが使用されている。このアプローチは、三角測量によって四肢の位置を計算するための正確かつ高速な方式を提供する。しかしながら、固定された変更の利かない配置構成では、空間及び遮蔽物のない視線が必要となり、したがってユーザの移動性が制限されるので、家庭用消費者製品ではそのようなシステムの魅力は低下する。さらに、要求される較正は、非専門的な用途に適していないことは明白である。

特許文献２、特許文献３、特許文献４及び特許文献５においても、同様のアプローチが使用されている。つまり、複数のセンサ（例えばイメージセンサ及び／又は超音波トランスデューサ）を整列させたものから成り、手持式コントローラに取り付けられたそれらのセンサの対応部品を追跡することができる、外部基準デバイスが配置される。上述の外部基準デバイスの制限に加えて、それらのアプローチは、さらにユーザに対して、デバイスを手に持つことを要求するので、仮想環境への没入感が弱まり、経験の質も低くなる。

着用可能なセンサシステム（wearable sensor system：ウエアラブルセンサシステム）を使用することによって、上述の制限を克服することを試みているシステムも幾つか存在する。特許文献６、特許文献７、特許文献８、特許文献９及び特許文献１０では、人体の種々の四肢に慣性計測装置（ＩＭＵ：inertial measurement unit）が配置されている。慣性データは、ワールド座標系におけるセンサの向きを計算するために使用することができる。したがって、大部分の四肢にＩＭＵを装着することで、順運動学及び逆運動学を使用して、姿勢を計算することができる。しかしながら、ユーザが種々の身体部位に多数のセンサを配置しなければならないということは、多くの家庭用消費者製品には適していない。

それらのＩＭＵの加速度データを二重積分することで、向きに加えて位置も計算することもでき、これによって、四肢の一部分のみの姿勢を捕捉することが可能になる。しかしながら、各座標系において、位置が先行の位置を基礎として計算されるので、誤差が累積され、その結果、ＩＭＵベースのそれらのアプローチに共通して、計算された位置には典型的なドリフトが生じる。このドリフトを補正するために、特許文献１１では、人の骨格によって暗黙的に示される制約が使用されており、それに対し、特許文献１２及び特許文献１３では、音響トランスデューサを配置して、（特許文献１４に記載されているように）四肢間の距離を測定し、それによって、ドリフトを補正するための付加的な制約を課している。しかしながら、未だなお、多数のそのような制約を満たすことが必要であり、着用するセンサの数は増大する。さらに、センサフュージョンは通常、ステートレスではなく、したがって誤差が累積されやすく、実践においては扱いにくく、また使用されるフィルタに応じて、待ち時間及び視覚的なアーチファクトをもたらすことがある。

特許文献１５に記載及び詳述されているような種々のセンサから成るシステムは、ＧＰＳ信号が利用できない場合に、可能な限り正確にユーザの周囲環境を評価するために使用される。そのシステムは、相互に相対的なユーザの四肢の３次元の位置及び／又は向きを決定又は計算することに適していないか又は指定されておらず、身体全体の位置を推定することしかできない。

ごく一部のシステムでは、入力デバイスとして使用するために、手の姿勢に焦点を当てている。特許文献１６では、指及び手の向きが追跡され、仮想環境との対話のために使用されるジェスチャが認識されている。しかしながら、それらのシステムでは手の位置特定が行われておらず、したがって、手の位置が既知となる必要のない用途との対話は制限される。

別のデバイスが、特許文献１７及び特許文献１８によって展開されている。純粋な光学システム（例えば、特許文献１９）に記載されているような光学的深さセンシング）が、通常は頭部に取り付けられる撮像デバイスの前方にある手の位置、向き及び姿勢を捕捉する。それらのデバイスは、外部基準を必要とせず、したがってシステムは着用可能であってよく、特に軽量である。この実現形態はステートレスで達成することができるので、各位置は、先行の計算に依存することなく各座標系において計算され、これによってアプローチはより安定する。しかしながら、純粋な光学システムは、位置及び姿勢を推定するために、パラメータ設定及び大きい計算量を必要とし、これは、待ち時間を増加させ、また仮想環境への没入感を低下させる。

仮想環境を扱う用途の数の増加に伴い、改善された自然な方式でユーザが仮想現実と対話することができる入力デバイスの需要が高まっている。最も自然な方式は、現実環境と対話する方式と同一の方式で、即ち手等の身体部位を使用することで対話を行うことである。対話に加えて、ユーザが自身の腕部及び手を仮想環境において見ることができるように上肢を視覚化することも重要である。これによって、自身の動作についての視覚的なフィードバックが提供され、また没入できる体験が向上する。

上述のアプローチのいずれも、ユーザによる多数のセンサの着用を必要とすることなく、僅かな待ち時間で四肢を追跡するための、着用可能、安定的かつ非侵入的な方式を提供するものではないか、又は前述のシステムは、周囲環境についての有意な知識を必要とし、かつ／又は、没入感／能力を制限する。

米国特許第７，６３３，５２１号明細書 米国特許出願公開第２０１６ ０１３１７６１号明細書 米国特許出願公開第２００８ ０２６１６９３号明細書 米国特許出願公開第２００９ ００５４１４７号明細書 米国特許出願公開第２００９ ０１７０６０１号明細書 米国特許出願公開第２００８ ０２８５８０５号明細書 国際公開第１９９９ ０５３８３８号 米国特許出願公開第２００２ ０１０３６１０号明細書 欧州特許出願公開第３ ０６７ ７８３号明細書 米国特許第７，６２８，０７４号明細書 米国特許出願公開第２００８ ０２８５８０５号明細書 国際公開第１９９９ ０５３８３８号 米国特許第７，６２８，０７４号明細書 米国特許第５，１４２，５０６号明細書 米国特許出願公開第２００３ ０１８２０７７号明細書 国際公開第２０１６ ０２９１８３号 米国特許第８，６３８，９８９号明細書 米国特許出願公開第２０１６ ０２０２７７０号明細書 米国特許出願公開第２０１６ ０２９５１９８号明細書

したがって、本発明の目的は、ユーザの第１の身体部位とユーザの第２の身体部位との間の相対的な位置を捕捉するための改良した着用可能な動作追跡システムを規定することである。

この目的は、請求項１に記載の着用可能な動作追跡システムによって解決される。これによれば、ユーザの第１の身体部位と、前記ユーザの第２の身体部位との間の相対的な位置を捕捉するための着用可能な動作追跡システムが定められ、前記着用可能な動作追跡システムは、前記第１の身体部位に取り付け可能な少なくとも１つの第１の測定デバイスと、前記第２の身体部位に取り付け可能な少なくとも１つの第２の測定デバイスと、を備える。そのうえ、システムは、第１の測定デバイスと第２の測定デバイスとの間での測定の測定データ、即ち基準点として第１の測定デバイス及び第２の測定デバイスの一方を含む測定値に関する測定データを検索するために、第１の測定デバイス及び第２の測定デバイスの少なくとも一方と通信することができる計算装置を備える。

前記計算装置は、システムの別個のコンポーネントであってもよいし、前記第１の測定デバイス又は前記の第２の測定デバイスに統合されてもよいと解される。

前記課題は、前記少なくとも１つの第１の測定デバイス、前記少なくとも１つの第２の測定デバイス及び前記計算装置が、前記計算装置によって前記第１の測定デバイスと前記第２の測定デバイスとの間の複数の測定値が取得されるように構成され、前記第１の測定デバイスと前記第２の測定デバイスとの間の前記複数の測定値が、前記第１の測定デバイスと前記第２の測定デバイスとの間の少なくとも１つの距離測定値を含み、前記計算装置が、前記第１の身体部位に対して相対的な前記第２の身体部位の位置を追跡するために、前記複数の測定値を使用して、前記第１の測定デバイスに対して相対的な前記第２の測定デバイスの位置を３次元で計算するように構成されることによって解決される。

換言すれば、前記課題は、前記少なくとも１つの第１の測定デバイス、前記少なくとも１つの第２の測定デバイス及び前記計算装置が、
ｉ）計算装置によって、前記第１の測定デバイスと前記第２の測定デバイスとの間の少なくとも１つの距離測定値を取得し、かつ
ｉｉ）計算装置によって、同一の前記第１の測定デバイスと同一の前記第２の測定デバイスとの間の少なくとも１つの別の測定値を取得するように、構成され、
前記計算装置が、前記距離測定値及び前記別の測定値を使用して、第１の測定デバイスに対して相対的な第２の測定デバイスの位置を３次元で計算するように構成されていることによって、即ち前記計算装置が距離ベクトルを３次元で計算することによって解決される。

本発明のコンテキストにおいて、用語「着用可能なシステム（wearable system：ウエアラブルシステム）」とは、例えば仮想環境において活動している間に、人間（又は他のユーザ、下記参照）が着用することができるシステムと解される。着用可能な動作追跡システム（wearable motion tracking system：ウエアラブルモーショントラッキングシステム）は、非侵入的であり、ユーザが気に留めることはほとんどない。着用が容易であり、動きやすいため、ユーザはその動作が制限されない。そのうえ、ユーザの仮想的な複製及び／又はユーザの動きの仮想的な表現が実際にユーザを示していることをユーザに納得させるには、応答時間及び待ち時間が最小限であるのがよいが、システムの更新速度が速ければ有利である。したがって、過度の計算努力は不利である。

本発明のコンテキストにおいて、用語「動作追跡システム（motion tracking system：モーショントラッキングシステム」とは、第１の測定デバイスと第２の測定デバイスとを結ぶ３次元距離ベクトルを追跡することを可能にするデバイス、つまりマルチコンポーネント装置と解され、前記距離ベクトルは、一部の例では、動作中に、第１の測定デバイス及び第２の測定デバイスそれぞれが取り付けられた第１の身体部位と第２の身体部位との間の相対的な位置の変化に関する尺度である。着用可能な動作追跡システムによって生成された追跡データを、例えば、仮想現実に組み込むことができる。

本発明のコンテキストにおいて、用語「第１の身体部位及び第２の身体部位」とは、互に相対的に動かすことができる身体、好ましくは人体の２つの部位と解される。第１の身体部位は、頭部又は胴部のような身体部位、若しくは四肢のような他の任意の身体部位であってよく、第２の身体部位は、四肢の一部、特に上肢又はその一部、例えば（親指を含む）指、手、手首、上腕又は下腕、若しくは肘であってよい。勿論、下肢又はその一部、例えばつま先、足、足首又は下腿又は上腿等が第２の身体部位であってもよい。しかしながら、第２の身体部位は、胴部又は頭部のような他の任意の身体部位であってもよいと解される。したがって、第１の身体部位及び第２の身体部位は、互に相対的に移動又は変化させることができる身体の任意の２つの部位である。好ましくは、着用可能な動作追跡システムを人間によって使用することができるが、しかしながらその一方で、自身の物理的な外見の姿勢を変化させる他の物体もユーザと解することができる。

本発明のコンテキストにおいて、用語「第１の測定デバイスと第２の測定デバイスとの間での測定」とは、第１の測定デバイスが基準であり、第２の測定デバイスの位置（また好ましくは向き）が、前記基準に対して相対的に測定される測定であると解される。

したがって、本発明は、好ましくは無線方式で、通信チャネルを介してリンクされており、また着用可能な動作追跡システムに統合されている少なくとも２つの測定デバイスが配置されることで、一方の測定デバイスが、前記通信リンクを介した他方のデバイスの位置決め及び位置特定を行うための基準座標系を提供する実現形態を基礎としており、例えば、相当な計算量で可視の環境を評価する純粋な光学システムに依存する公知の実現形態、又は固定の配置構成を要求する公知の実現形態、又は位置を収集しながら、その位置を後に更なる測定値を用いて補正するＩＭＵに依存する公知のシステムに比べて、より効率的なシステムを実現することができる。

本発明によるトラッキングシステムは、ステートレスな実現形態を使用する。即ち、第１の測定デバイスに対して相対的な第２の測定デバイスの各位置がリアルタイムで、また一連のトラッキングにおける先行の計算に依存することなく計算される。

一部の実施形態においては、前記第１の測定デバイスと前記第２の測定デバイスとの間の前記複数の測定値は、前記第１の測定デバイスと前記第２の測定デバイスとの間の少なくとも１つの方向測定値を含む。それらの実施形態においては、方向測定値が、距離測定値と組み合わされて、第１の測定デバイスに関する第２の測定デバイスの３次元の位置を直接的にもたらす。つまり、本発明の教示は既に、２つのセンサ、及び第１の測定デバイスと第２の測定デバイスとの間の２つの測定値で機能する。このことは、公知のアプローチと比較して要求されるビーコン、ハードウェア及び計算が少なくて済むことから有利である。

さらに、本発明は、複数のセンサからの測定値及び異なるタイプのセンサからの測定値を結合させるために、拡張カルマン・フィルタ等の複雑なセンサフュージョンアルゴリズムを必要としない。本発明によるシステムによって取得される測定値（例えば１つの距離測定値、例えば音響受信器／送信器ペアによって取得される１つの距離測定値、及び例えば受光器／送光器ペアによって取得される１つの方向測定値）を使用して、全ての自由度を直接的に排除することができ、また他の任意の第３のセンサデバイス又は第４のセンサデバイスを必要とすることなく、第１の測定デバイスと第２の測定デバイスとの間の相対的な位置を直接的に計算する。これによって、計算は少なくなり、待ち時間は短くなり、かつ安定性が高くなる。一例を挙げると、公知のアプローチにより、頭部に対して相対的な手の位置を推定するには、頭部における１つのセンサ、手における１つのセンサ、及び頭部又は他の身体部位における更に２つのセンサ（着用しにくいセンサ）が必要とされるのに対し、本発明の実施形態によれば、頭部における１つの測定デバイス及び手における１つの測定デバイスしか必要とされない。

本発明によれば、２つのノード間で、即ち、独立して取り付け可能な２つの別個の測定デバイス間での複数の測定が使用される。慣性測定ユニット（ＩＭＵ）による測定を使用する代わりに、ノード間での、即ち、測定デバイス間での少なくとも１つの付加的な測定が使用される。ＩＭＵによる測定は、位置特定のためには使用されず、向きの計算に使用される。

以下では、さらに、本発明によって解決される動作追跡（motion tracking:モーショントラッキング）の問題を要約して説明する。空間内のある点の向きが既知であるという前提のもとで、第１の点に対して相対的な第２の点の位置を発見する必要がある。一般性を失うことなく、第１の点はｘｙｚ座標系の原点に位置しており、前方において正のＺ軸に向いていると仮定することができる。この座標系は、第１の点のいわゆる物体座標系である。既述のトラッキングの問題を解決するために、第１の点のこの物体座標系において表される第２の点のｘ座標、ｙ座標及びｚ座標が必要となる。これらの座標を、このフォーマットにおいて表す必要はないが、他の値によって表現することができる。

別の表現では、２つの角度及び動径が、球面座標に関する２つの点の相対的な位置を表すことができる。

第２の点が常に第１の点の前に位置するケースでは、その相対的な位置を、さらに、２つの点間の距離と組み合わされた、（第２の点への方向を表す）一方のｚ値における仮想ｘｙ平面における２つの座標によって表すことができる。この表現は、平面が自然にカメラセンサの像平面を表し、また平面座標が画素座標に対応するので、コンピュータビジョンにおいて使用されることが多い。

さらに別の表現は、原点（ｚ値＝０）に位置するｘｙ平面における３つの固定の点を選択することであり、これによって、３つの固定の点までの３つの距離によって第２の点の位置が表される。これは勿論、第１の点及び第２の点を表す３つの固定の点間で生じた３つの距離測定値を表す。

全ての表現を、一方から他方に変換することができる。

例を挙げると、３つの固定の点において行われた３つの距離測定を、三辺測量によってｘｙｚ座標を計算するために使用することができる。

したがって、点間の相対位置の表現は、本発明の範囲を限定するものではない。距離測定、方向測定又は他の測定の任意の組み合わせを、それらの表現に依存することなく、相対的な位置の自由度を排除するために使用することができる。例を挙げると、方向測定によって、球面座標表現の２つの角度をもたらすことができる。第３の自由度である動径を、距離測定によって排除することができる。

一部の実施形態においては、前記第１の測定デバイスが、第１の音響通信デバイスを含み、前記第２の測定デバイスが、第２の音響通信デバイスを含む。第１の通信デバイス及び第２の通信デバイスは、相互間に音響リンク、例えば超音波リンクを確立するように構成されている。このリンクは、第１の測定デバイスと第２の測定デバイスとの間での音響測定のオプションを提供する。第１の測定デバイス及び第２の測定デバイスの一方は、音響送信器を含むことができ、他方は、音響受信器を含むことができる。したがって、第１の測定デバイスに対して相対的な第２の測定デバイスの相対的な位置の計算の基礎となる前記複数の測定は、前記第１の音響通信デバイスと前記第２の音響通信デバイスとの間の少なくとも１つの音響測定を含む。音響リンクによって、安定して信頼性が高く、また低コストで高速な測定が可能になる。

一部の実施形態においては、前記音響リンクが、第１の測定デバイスと第２の測定デバイスとの間の距離を決定するために使用される。したがって、少なくとも１つの距離測定は、前記少なくとも１つの音響測定であるのがよい。

一部の実施形態においては、複数の音響受信器が、アレイとして又は他の公知の形態で第１のデバイスに配置され、これによって第２のデバイスにおける音響送信器と共に複数の音響測定が行われる。

第１のデバイスにおける音響受信器間での受信信号の相対的な遅延は、第１のデバイスに対して相対的な第２のデバイスの方向に直接的に関係する。

特に、音響信号は、単一の送信器によって出されるので、送信器に最も近い受信器が、信号を最初に受信する。

第２の受信器が信号を捕捉するまでの時間遅延は、送信器と第１の受信器とが成す角度及び第１の受信器と第２の受信器とが成す角度に比例する。複数の受信器によって精度が高まり、また２次元での角度の測定が可能になる。

したがって、第１のデバイスと第２のデバイスとの間での方向測定は、音響測定であってよい。

音響方向測定は、指向性マイクロフォン又はマイクロフォンアレイとしても公知である。

本発明は、音響受信器のアレイを使用することによって限定されるものではなく、本発明はどんな指向性マイクロフォンによっても実現できることは明らかである。

一部の実施形態においては、音響リンクに加えて、又は音響リンクの代わりに、光リンクを、前記第１の測定デバイスと前記第２の測定デバイスとの間に確立することができる。したがって、前記第１の測定デバイスは、第１の光通信デバイスを含み、前記第２の測定デバイスは、第２の光通信デバイスを含む。したがって、第１の通信デバイス及び第２の通信デバイスは、相互間に光リンクを確立するように構成されている。前記複数の測定は、前記第１の光通信デバイスと前記第２の光通信デバイスとの間での少なくとも１つの光測定を含む。

一部の実施形態においては、前記第１の光通信デバイス及び前記第２の光通信デバイスの一方が、第１の光通信デバイス又は第２の光通信デバイスとしてのイメージセンサを含み、それに対し、前記第１の光通信デバイス及び第２の光通信デバイスの他方が、第２の光通信デバイスとしての追跡可能な装置、好ましくは発光ダイオード（ＬＥＤ）のような放射源、例えば赤外線ＬＥＤを含んでおり、この場合、好ましくは、追跡可能な装置の大きさ及び／又は色及び／又は光度が、着用可能な動作追跡システムに既知であり、また極座標系に関して、第２の測定デバイスの角度座標の位置特定のために、着用可能な動作追跡システムによって使用される。上記において考察したように、方向の他の任意の表現も使用できることは明らかである。追跡可能な装置は、ＬＥＤのアレイ等のような、複数の機構を整列させたものであってもよく、これは、追跡可能な装置の大きさが、例えばイメージセンサと追跡可能な装置との間の相対的な距離の測定において評価される場合には特に有利である。

この場合、動径座標は、相応に特徴付けられた第１の測定デバイス及び第２の測定デバイスを用いて実施される音響測定、光測定又は超広帯域測定であってよい、少なくとも１つの距離測定から得ることができる。追跡可能な装置の相対的な大きさを分析することによって、距離情報を取得することができ、また光距離測定値として使用することができる。例えば、既知のカメラパラメータを使用することによって、投影された機構の大きさ（例えば、各隅にＬＥＤが設けられている四角形の一辺の長さ）を使用して、距離を計算することができる。

一部の実施形態においては、前記光リンクを、第１の測定デバイスと第２の測定デバイスとの間の距離を決定するために使用することができる。したがって、少なくとも１つの距離測定は、前記少なくとも１つの光測定であってよい。

一部の実施形態においては、音響リンク及び／又は光リンクに加えて、若しくは音響リンク及び／又は光リンクの代わりに、超広帯域リンクを、前記第１の測定デバイスと前記第２の測定デバイスとの間に確立することができる。したがって、前記第１の測定デバイスは、第１の超広帯域通信デバイスを含み、前記第２の測定デバイスは、第２の超広帯域通信デバイスを含む。つまり、第１の通信デバイス及び第２の通信デバイスは、相互間に超広帯域リンクを確立するように構成されている。前記複数の測定は、前記第１の超広帯域通信デバイスと前記第２の超広帯域通信デバイスとの間での少なくとも１つの超広帯域測定を含む。

上記の方向音響測定と同様に、超広帯域距離測定のアレイも、方向測定を実現するために使用することができる。

受信器間の時間遅延を使用する代わりに、相対的な位相シフトを使用して、送信器と任意の２つの受信器とが成す角度を決定することができる。

音響リンクの代わりに、光リンク及び／又は超広帯域リンクを使用することもできる。

一部の実施形態においては、前記第１の身体部位が前記ユーザの胴部又は頭部である。したがって、着用可能な動作追跡システムは、頭部装着型及び／又は胴部装着型のシステムであってよい。

好ましくは、前記第２の身体部位が前記ユーザの上肢及び／又は手首及び／又は手である。

一部の実施形態においては、前記計算装置が、少なくとも部分的に、基準ユニットに統合されており、基準ユニットは、ユーザの第１の身体部位に取り付け可能であり、さらに少なくとも１つの第１の測定デバイスを含んでいる。

一部の実施形態においては、前記計算装置が、少なくとも部分的に、被追跡ユニットに統合されており、被追跡ユニットは、ユーザの第２の身体部位に取り付け可能であり、少なくとも１つの第２の測定デバイスを更に備える。

したがって、計算装置を、別個に統合することができるか、又は第１の測定デバイスと共に基準ユニットに統合することができるか、又は第２の測定デバイスと共に被追跡ユニットに統合することができるか、又は計算装置のコンポーネントを、第１の測定デバイス及び第２の測定デバイス両方と共に統合することができる。

一部の実施形態においては、一方の第１の測定デバイス又は一方の基準ユニットを頭部に、例えばヘッドマウントディスプレイデバイス内に取り付けることができ、他方の第１の測定デバイス又は他方の基準ユニットを胴部又は他の身体部位に取り付けることができ、それに対し、１つ以上の第２の測定デバイス又は追跡ユニットを、四肢に、好ましくは上肢及び／又は（一方又は両方の）手及び／又は（一方又は両方の）手首又は他の身体部位に取り付けることができる。

一部の好適な実施形態においては、前記複数の測定は、３つの距離測定又はそれより多い前記距離測定から成る。好ましくは、３つの音響距離測定を、３つの受信器及び少なくとも１つの、例えば３つの送信器を用いて、又は３つの送信器及び少なくとも１つの、例えば３つの受信器を用いて実施することができ、（１つ以上の）受信器は、第１の測定デバイス及び第２の測定デバイスの一方に統合されており、それに対し（１つ以上の）送信器は、第１の測定デバイス及び第２の測定デバイスの他方に統合されている。したがって、共通の送信器又は共通の受信器を配置して、協働する３つのセンサ部分と通信することができる。ここでは、同一のデバイスにおける送信器（又は受信器）の相対的な位置の知識のもとで、３つ又はそれ以上の距離測定値を使用して、３次元空間での第２の測定デバイスの位置を三角測量することができる。

一部の実施形態においては、前記第１の測定デバイス及び／又は前記第２の測定デバイスが、少なくとも部分的に、第１の測定デバイスに対して相対的な第２の測定デバイスの向き又は第２の測定デバイスの絶対的な向きを決定して追跡するための１つ以上の別の測定デバイスを含む。一部の好適な実施形態においては、前記１つ以上の別の測定デバイスがＩＭＵである。

一部の実施形態においては、１つから３つの直交軸におけるそれ自体の向きを決定することができる、それらの付加的なセンサ（例えばＩＭＵ）を、例えば、手及び／又は指の各節に配置して、手及び／又は指の各節の姿勢及びジェスチャを、本発明によって計算された上肢又は手の位置を基礎として、順運動学を用いて計算することができる。したがって、センサを、手袋に統合することができる。同様に、同一のタイプのセンサを、例えば下腕及び／又は上腕に取り付けて、順運動学及び／又は逆運動学によって、上肢の姿勢を計算することができる。全く同一のやり方で、本発明の２つのデバイスの一方が胴部に取り付けられており、またそのような向きを決定できるデバイスが頭部に取り付けられている場合には、手又は他の四肢の姿勢及び向きを計算することができる。

例えば、上肢、手及び／又は手首の姿勢及びジェスチャを使用して、ユーザの仮想アバターをレンダリングすることができ、また例えば仮想現実メガネ、拡張現実メガネ又は他のヘッドマウントディスプレイ（head mount display:頭部装着型表示装置）によってユーザに晒される仮想環境と対話させることができる。

本発明の別の課題は、ユーザの第１の身体部位と前記ユーザの第２の身体部位との間の相対的な位置を追跡するための改善された方法を規定することである。

この別の課題は、請求項１２に記載の方法によって解決される。これによれば、ユーザの第１の身体部位と前記ユーザの第２の身体部位との間の相対的な位置を追跡するための方法であって、前記方法は、
前記第１の身体部位に取り付け可能な少なくとも１つの第１の測定デバイス、前記第２の身体部位に取り付け可能な少なくとも１つの第２の測定デバイス及び計算装置を使用し、前記計算装置において、アプリケーションを実行し、
ｉ）前記第１の測定デバイスと前記第２の測定デバイスとの間での複数の第１の測定を実施し、但し、前記第１の測定デバイスと前記第２の測定デバイスとの間での前記複数の第１の測定は、前記第１の測定デバイスと前記第２の測定デバイスとの間での少なくとも１つの距離測定を含み、
ｉｉ）前記複数の第１の測定を使用して、前記第１の測定デバイスに対して相対的な前記第２の測定デバイスの第１の位置を３次元で計算し、
ｉｉｉ）前記第１の測定デバイスと前記第２の測定デバイスとの間での１つ以上の後続の測定を実施し、但し、前記第１の測定デバイスと前記第２の測定デバイスとの間での前記複数の第１の測定は、前記第１の測定デバイスと前記第２の測定デバイスとの間での少なくとも１つの距離測定を含み、
ｉｖ）前記第１の身体部位に対して相対的な前記第２の身体部位の前記位置を追跡するために、１つ以上の別の測定を使用して、前記第１の測定デバイスに対して相対的な前記第２の測定デバイスの１つ以上の後続の位置を３次元で計算する、ことを含む。

この場合、位置及び後続の位置は軌跡を形成し、この軌跡を仮想環境に実装することができる。

本発明による方法の一部の実施形態においては、前記第１の身体部位が前記ユーザの胴部及び／又は頭部である。

本発明による方法の一部の実施形態においては、前記第２の身体部位が前記ユーザの上肢及び／又は手である。

本発明による方法の一部の実施形態においては、前記複数の第１の測定及び／又は前記１つ以上の後続の測定が、前記少なくとも１つの距離測定として、音響測定、光測定及び超広帯域測定から成るグループから選択された少なくとも１つの測定を含む。

本発明による方法の一部の実施形態においては、前記第１の身体部位に対して相対的な前記第２の身体部位の前記追跡した位置が仮想環境において使用される。

したがって本発明は、上肢、手首及び／又は手等の身体部位の、胴部及び／又は頭部等の別の身体部位に対して相対的な位置をリアルタイムで計算することができ、それと同時に、位置の決定が、少なくとも１つの距離測定を含む複数の測定に依存する、着用可能なセンサ又は動作追跡システム（a wearable sensor or motion tracking system：ウエアラブルセンサ又はモーショントラッキングシステム）を開示する。

１つの好適な実施形態においては、第１の測定デバイスが胴部又は頭部のいずれかに取り付けられている。１つの第２の測定デバイスが、追跡する必要がある四肢、手首又は手に取り付けられている。２つの測定デバイスがリンクを介して相互に通信し、また交換される情報が、好ましくは、一方の測定デバイスの３次元位置を、好ましくは他方の測定デバイスの物体座標系内の座標で表される３次元位置を計算するために使用される。

追跡した四肢の位置特定を、種々の方式で達成することができる。本発明は、少なくとも１つの距離測定デバイスを使用し、距離測定デバイスの送信器は一方の身体部位に取り付けられたデバイスの一部であり、それに対し受信器は他方の身体部位に取り付けられたデバイスの一部であるか、又はそれとは反対に、距離測定デバイスの受信器は一方の身体部位に取り付けられたデバイスの一部であり、それに対し送信器は他方の身体部位に取り付けられたデバイスの一部である。

本明細書において詳述したように、１つの好適なアプローチにおいては、本発明が、同一の測定デバイスに統合された少なくともあと２つの距離測定センサを使用する。それらの距離測定センサは、オプションとして、共通の送信器又は共通の受信器を共有することができる。同一のデバイスにおける送信器の相対的な位置が既知であれば、３つ以上の距離測定を使用して、被追跡デバイスの位置を３次元で三角測量することができる。

本明細書において詳述したように、別の好適なアプローチにおいては、イメージセンサが２つの測定デバイスのいずれか一方に取り付けられており、追跡可能な装置が他方のデバイスに取り付けられている。機構の追跡した像座標を使用して、イメージセンサと機構とが成す相対的な角度を計算し、また距離測定と組み合わせて、２つのデバイス間の相対的な位置を定義することができる。

上記において概要を述べた種々の実施形態の特徴を相互に自由に組み合わせることができると解される。

本発明の好適な実施形態を、下記において図面を参照しながら説明するが、各図は、本発明の提示した好適な実施形態を例示することを目的としており、本発明を限定することを目的としていない。

第１の測定デバイス及び第２の測定デバイスを用いる、本発明による着用可能な動作追跡システムの第１の実施形態を示す。 第１の測定デバイス及び第２の測定デバイスを用いる、本発明による着用可能な動作追跡システムの第１の実施形態を示す。 図１又は図２による、第１の測定デバイス及び第２の測定デバイスの第１の実施形態をより詳細に示す。 図１又は図２による、第１の測定デバイス及び第２の測定デバイスの第２の実施形態をより詳細に示す。 上肢及び手のあらゆる姿勢を追跡する別の実施形態を示す。 上肢及び手のあらゆる姿勢を追跡するさらに別の実施形態を示す。

以下の説明及び例は、本発明を更に例示するものであるが、本発明の範囲を限定するものとして解されるべきではない。図１～図６を参照して、好適な実施形態を説明する。図面は、好適な実施形態の概略図を示す。図面における同一の参照符号は、同一のコンポーネント又は同一の技術的効果を有するコンポーネントを表す。

図１は、本発明による着用可能な動作追跡システム１２の第１の実施形態を示す。着用可能な動作追跡システム１２は、ユーザ１００の頭部１０１である、ユーザ１００の第１の身体部位におけるヘッドマウントディスプレイ１３０に取り付けられた、例えば統合された、第１の測定デバイス１２０ａ（追跡デバイス）を備える。第１の実施形態において、ヘッドマウントディスプレイ１３０は、追跡が実施される基準座標系を設定する基準ユニットである。第２の測定デバイス１２１ａ（被追跡デバイス）は、ユーザ１００の手首１０３である第２の身体部位に配置されたリストバンド１１１に取り付けられる。リストバンド１１１の代わりに、他の典型的なアタッチメント手段、例えばガントレットグローブ又はテープ又は衣類に統合されたものを使用することができる。第１の測定デバイス１２０ａ及び第２の測定デバイス１２１ａは、情報を交換するための通信リンクを介して相互に結合されている。この場合、前記情報は、第１の測定デバイス１２０ａに対して相対的な第２の測定デバイス１２１ａの位置を３次元で計算するための基礎として使用され、これによって、頭部１０１に対して相対的な手首１０３の位置が決定される。交換される情報は、複数の測定値を含み、この複数の測定値は、第１の測定デバイス１２０ａと第２の測定デバイス１２１ａとの間の相対的な距離の少なくとも１つの測定値を含み、計算装置１５０に対する入力としての距離測定値を含む前記複数の測定値を使用することによって、距離ベクトルが、３次元で計算される。計算装置１５０は、好ましくは、システム１２の頭部装着型のコンポーネントに統合され、前記入力を受信するように、また更なる使用のために、例えばヘッドマウントディスプレイ１３０に表示される仮想現実への実装のために計算結果を提供するように接続される。計算装置１５０を手に配置することもでき、それどころか分散させることもでき、その場合には、例えば、第１の測定デバイス１２０ａ、１２０ｂ及び第２の測定デバイス１２１ａ、１２１ｂの一方の部分、及び第１の測定デバイス１２０ａ、１２０ｂ及び第２の測定デバイス１２１ａ、１２１ｂの他方の部分において計算が実施される。例えば、計算装置の一方の部分は、イメージセンサ（例えば、カメラ）を備えた各測定デバイスに設置することができ、また極座標を決定する。計算装置の他方の部分は、他の身体部位における音響受信器に設置することができ、また動径座標を計算する。各計算装置は、自身のデータをホストに送信することができ、ホストにおいては、それらのデータが結合されて、例えば仮想現実に実装される。

一部の実施形態においては、計算装置１５０を、別個に統合することができる。つまり、一部の実施形態においては、計算装置１５０を、第１の測定デバイス１２０ａ、１２０ｂと共に基準ユニット１４０に統合することができるか、又は第２の測定デバイス１２１ａ、１２１ｂと共に、被追跡ユニット１４１に統合することができる。一部の実施形態においては、計算装置１５０のコンポーネントを、第１の測定デバイス１２０ａ、１２０ｂ及び第２の測定デバイス１２１ａ、１２１ｂの両方と共に統合することができるか、又はオプションとして、システム１２の別のコンポーネントに統合することもできる。図２は、本発明による着用可能な動作追跡システム１２の第２の実施形態を示す。システム１２は、ベルト１１２又は類似のアタッチメント手段を用いてユーザ１００の胴部１０４に取り付けられた第１の測定デバイス１２０ｂを備える。第２の実施形態によれば、第１の身体部位は胴部１０４である。第２のデバイス１２１ｂは、手袋１１０又は類似のものを用いて手１０２に取り付けられている。第２の実施形態によれば、第２の身体部位は手１０２である。第１の測定デバイス１２０ｂ及び第２の測定デバイス１２１ｂは、２つのデバイス１２０ｂ、１２１ｂ間で複数の測定を実施する際に用いる通信リンクを介して結合されている。ここでは、コンピューティングシステム１２が、好ましくは、システム１２の胴部装着型のコンポーネント又は頭部装着型のコンポーネントに統合され、また前記複数の測定に基づいて、胴部１０４に取り付けられた第１の測定デバイス１２０ｂに対して相対的な第２の測定デバイス１２１ｂの位置を３次元で計算するように構成される。したがって、第２の実施形態においては、第２の測定デバイス１２１ｂを追跡するための基準座標系が、胴部１０４の測定デバイスであり、また計算装置１５０を、第１の測定デバイス１２０ｂ及び第２の測定デバイス１２１ｂから隔てて、ヘッドマウントディスプレイ１３０に設けることができる。

さらには、いずれの実施形態においても、第２の身体部位１０３及び１０２それぞれの位置、即ち第２の測定デバイス１２１ａ及び１２１ｂそれぞれの位置を、計算装置１５０によって、３次元空間で計算することができ、またヘッドマウントディスプレイ１３０に表示される仮想環境にレンダリングすることができるか、又は仮想環境との対話のために使用することができる。

一般的に、種々の第２の測定デバイスを、第１の測定デバイスの基準座標系において同時に追跡することができると解される。

図３は、図１における第１の測定デバイス１２０ａ及び第２の測定デバイス１２１ａのペア、又は図２における第１の測定デバイス１２０ｂ及び第２の測定デバイス１２１ｂのペアをどのように実現するかについての１つの実施形態を示す。

第１の音響通信デバイス２００ａには、音響送信器２０１ａ及び第１の即時通信デバイス２０２ａ、例えば無線周波数モジュールが配置されている。

第２の音響通信デバイス２００ｂには、既知の相対的な位置を有する少なくとも３つの音響受信器２０１ｂ及び第２の即時通信デバイス２０２ｂが配置されている。

音響送信器２０１ａを備えた第１の音響通信デバイス２００ａ及び音響受信器２０１ｂを備えた第２の音響通信デバイス２００ｂは、相互間に音響リンクａＬ、より正確には、３つの音響リンクを確立することができる。

第１の即時通信デバイス２０２ａ及び第２の即時通信デバイス２０２ｂは、相互間に即時リンクｉＬを確立することができる。

動作時に、第１の即時通信デバイス２０２ａは、音響送信器２０１ａの音響パルスを報知し、音響パルスをトリガする。第２の即時通信デバイス２０２ｂは、報知を受信し、タイマを始動させ、また音響受信器２０１ｂにおける聴取を開始する。パルスが送信器２０１ａによって送信された時間、及びパルスが各受信器２０１ｂにおいて検出された３つの別個の時間を、第１の測定デバイス１２０ａ、１２０ｂと第２の測定デバイス１２１ａ、１２１ｂとの間の相対的な位置を、３次元で三角測量するために使用することができる。

第１の音響通信デバイス２００ａを、第１の測定デバイス１２０ａ、１２０ｂ及び第２の測定デバイス１２１ａ、１２１ｂの一方に統合することができ、第２の音響通信デバイス２００ｂを、第１の測定デバイス１２０ａ、１２０ｂ及び第２の測定デバイス１２１ａ、１２１ｂの他方に統合することができる。

図４は、図１における第１の測定デバイス１２０ａ及び第２の測定デバイス１２１ａのペア、又は図２における第１の測定デバイス１２０ｂ及び第２の測定デバイス１２１ｂのペアをどのように実現するかについての別の実施形態を示す。

第１の光音響通信デバイス２００ｃには、音響受信器２０１ｃ、第１の即時通信デバイス２０２ａ及び赤外線発光ダイオード２０３ａが配置されている。

第２の光音響通信デバイス２００ｄには、音響送信器２０１ｄ、第２の即時通信デバイス２０２ｂ及び赤外線撮像デバイス２０３ｂが配置されている。

第１の光通信デバイスとしての赤外線発光ダイオード２０３ａ及び第２の光通信デバイスとしての赤外線撮像デバイス２０３ｂは、相互間に光リンクｏＬを確立することができる。

動作時に、音響送信器２０１ｃ及び受信器２０１ｄは、第１の即時通信デバイス２０２ａ及び第２の即時通信デバイス２０２ｂと共に使用されて、上記において説明したような音響信号の飛行時間（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ）測定によって、第１の測定デバイス１２０ａ、１２０ｂと第２の測定デバイス１２１ａ、１２１ｂとの間の距離を測定する。撮像デバイス２０３ｂ及び赤外線ＬＥＤ２０３ａは、第１の測定デバイス１２０ａ、１２０ｂと第２の測定デバイス１２１ａ、１２１ｂとの間の角度座標を計算するために使用される。角度座標及び距離は、第１の測定デバイス１２０ａ及び１２０ｂそれぞれに対して相対的な第２の測定デバイス１２１ａ及び１２１ｂそれぞれの位置を決定する。

第１の光音響通信デバイス２００ｃを、第１の測定デバイス１２０ａ、１２０ｂ及び第２の測定デバイス１２１ａ、１２１ｂの一方に統合することができ、第２の光音響通信デバイス２００ｄを、第１の測定デバイス１２０ａ、１２０ｂ及び第２の測定デバイス１２１ａ、１２１ｂの他方に統合することができる。

図５は、上肢１０７、１０８（図１を参照されたい）及び手１０２のあらゆる姿勢をどのように取得するかについての１つの実施形態を示す。図１に示したように、第２の測定デバイス１２１ａは、リストバンド１１１又は類似のものを使用して、ユーザ１００の手首１０３に取り付けられている。さらに、それ自体の向きを決定することができる別の測定デバイス３０４ａ（例えばＩＭＵ）も、リストバンド１１１に取り付けられている。第２の測定デバイス１２１ａを用いて決定された位置及び３０４ａを用いて決定された向きは、３次元空間において、第２の身体部位、ここでは下腕１０７（図１参照）を位置決めするために使用される。

逆運動学は、上腕１０８（図２参照）の位置及び向きを発見するために使用することができる。それ自体の向きを決定することができる別のデバイス３０４ｂが、手に取り付けられており、また類似の複数のデバイス３０５が、指１０６の各節に取り付けられている。１２１ａ及び３０４ａから供給される位置及び向きを基礎として、順運動学は、デバイス３０４ｂ及び３０５から供給された向きについて、手１０２及び指１０６の姿勢及びジェスチャを計算することができる。

図６は、上肢１０７、１０８（図１参照）及び手１０２のあらゆる姿勢をどのように取得するかについての別の実施形態を示す。図２に示したように、デバイス１２１ｂは、手袋１１０又は同様のものを使用して、ユーザの手１０２に取り付けられている。さらに、それ自体の向きを決定することができる別の測定デバイス３０４ｂ（例えばＩＭＵ）も、１１０に取り付けられている。１２１ａから供給される位置及び３０４ａの向きは、空間における手１０２を位置決めするために使用される。それ自体の向きを決定することができる複数の別のデバイス３０５（例えばＩＭＵ）は、指１０６の各節に取り付けられている。順運動学は、デバイス３０５から供給された向きについて、手１０２の姿勢及びジェスチャを計算するために使用することができる。

この構成では、それ自体の向きを計算することができる、リストバンド１１１に取り付けられたオプションのデバイス３０４ａを、逆運動学と組み合わせて使用して、下腕１０７及び上腕１０８の姿勢を計算することができる。

したがって、本発明では、物理的に分離されているが相互に通信することができる、少なくとも２つの測定デバイス１２０ａ、１２０ｂ及び１２１ａ、１２１ｂ、即ち別個のユニットが配置される。それら測定デバイスの一方である、第１の測定デバイス１２０ａ及び１２０ｂは、それぞれ、胴部１０４（例えば、図２に図示したように、ベルトを用いて臀部又は胸部）に、又は頭部１０１（例えば、図１に示したように、額、又はユーザが着用したヘッドマウントディスプレイ１３０）に取り付けられた基準デバイスとして機能する。しかしながら、他の身体部位を第１の身体部位として選択することもできる。少なくとも１つの別のデバイスである、第２の測定デバイス１２１ａ及び１２１ｂは、それぞれ、上肢に取り付けられており、より正確には、例えばリストバンド１１１によって、又は手袋１１０に含ませることで、（図１に図示したように）手首１０３又は（図２から見て取れるように）手１０２に取り付けられており、また、基準デバイス１２０ａ及び１２０ｂそれぞれの位置に対して相対的な自身の位置が追跡される。オプションとして、別の第２のデバイス１２１ａ、１２１ｂ及び／又は別の測定デバイス３０４、３０４ｂ（例えばＩＭＵ）を、同一の身体部位又は別の身体部位に取り付け、同一の四肢又は別の四肢、例えば他方の手又は他方の手首において追跡することができる。

用途に応じて、仮想環境は、ユーザ１００の視点から見ているように、ユーザ１００に晒される。このシナリオにおいて、頭部１０１の物体座標系は当然、ヘッドマウントディスプレイ１３０における仮想カメラに対応するので、基準デバイス（即ち第１の測定デバイス１２０ａ、１２０ｂ）が、典型的にはユーザ１００の頭部１０１に装着され、また仮想環境をレンダリングするために使用される。

仮想コンテンツが第三者視点で晒される用途においては、基準デバイス１２０ｂを、胴部１０４に着用することができる。しかしながら、基準デバイス１２０ｂが胴部１０４に取り付けられる場合には、それ自体の向きを決定することができるデバイス３０４（例えばＩＭＵ）を頭部１０１に取り付けることができ、また向きを使用して、追跡した位置を、胴部１０４の基準物体座標系から頭部１０１の物体座標系に変換することができる。ヘッドマウントディスプレイは、典型的には、そのような向きを決定するデバイス３０４を既に含んでおり、したがって、この特定のケースにおいては、付加的なセンサは必要とされない。

反対に、基準デバイス１２０ａが頭部１０１に取り付けられる場合には、向きを決定することができるデバイスを胴部１０４に取り付け、類似の結果を達成することができる。

本発明の被追跡デバイス、即ち第２のデバイス１２１ａ、１２１ｂは、それぞれ、そのような向きを決定することができるデバイス３０４をさらに含むことができ、それによって、四肢の位置だけでなく向きも、１つ以上の軸において、好ましくは３つ全ての軸において既知となる。

さらに、そのような向きを決定することができるデバイスが、隣接する四肢に取り付けられる場合には、順運動学を使用して、それら隣接する四肢の位置及び向きを決定することができる。例えば、本発明の追跡可能なデバイスが手首に取り付けられ、また向きを決定することができるデバイス３０４、例えばＩＭＵが、（図５に示したように）手首、手及び指の各節に取り付けられる場合には、順運動学を使用して、手首１０３の位置及び向きを基礎として、手１０２のあらゆる姿勢及びジェスチャを計算することができる。

さらに、逆運動学を使用して、上腕１０８の姿勢及び向きを計算することができ、したがって、腕１０７、１０８全体及び手１０２の姿勢が既知となる。

手首デバイス１２１ａ及び手１０２におけるセンサ３０４、３０４ｂ、３０５をいずれも手袋１１０に統合することができるので、ユーザ１００は最小限のアイテムのセットを着用すれば済み、それでもなお、上半身全体の動きを追跡することができる。

同様に、前記追跡可能なデバイス、即ち第２の測定デバイス１２１ｂを、図６に図示したように、手首１０３の代わりに手１０２に取り付けることができ、同一の結果を達成することができる。

図１及び図２において２つのケースしか図示していないにもかかわらず、胴部１０４及び／又は頭部１０１に取り付けられる基準デバイス１２０ａ、１２０ｂと、上肢１０７、１０８及び／又は手１０２に取り付けられる追跡可能なデバイス１２１ａ、１２１ｂとのあらゆる組み合わせも十分同様に機能することは明らかである。

四肢の位置特定を、種々の方式で達成することができる。本発明の１つの実施形態においては、１つ以上の音響送信器及び一方の即時通信デバイス（例えば無線周波数モジュール）が、第１の身体部位に取り付けられた第１の測定デバイスに配置されており、１つ以上の音響受信器及び他方の即時通信デバイスが、第２の身体部位に取り付けられた第２の測定デバイスに配置されている。一方が基準デバイスとして機能し、他方が被追跡デバイスとして機能するという役割を入れ替えられることは自明である。

システムにおける各送信器に関して、音響パルスは、同一のデバイスにおける通信デバイスによって報知され、またパルスはその直後にトリガされる。音響受信器を備えたデバイスにおける通信デバイスが報知を受信すると、タイマが始動され、音響受信器が到来するパルスを検出するまでの時間が測定される。飛行時間は、音響信号の既知の速度と共に、２つのデバイス間の距離を計算するために使用される。（例えば、超広帯域信号又は視覚信号を使用して）距離を計算することができる別のデバイスを、この実施形態において説明した音響デバイスに置換できることは自明である。

少なくとも３つの音響送信器が、少なくとも１つの音響受信器と組み合わされて相前後してパルスを送出するか、又は少なくとも１つの音響送信器及び３つの音響受信器が、３つの異なる距離測定値を提供する。一方のデバイスに固定的に取り付けられた少なくとも３つの送信器の相対的な位置が既知であることで、距離測定値と共に、三角測量を用いてデバイス間の相対的な位置を計算するための十分な情報が提供される。１つの送信器が３つの受信器によって共有されるケースが、図３に図示されている。送信器及び受信器の任意の組み合わせを、一方のデバイス又は他方のデバイスに配置できることは自明である。

別の実施形態においては、例えば球面座標で表される基準デバイスと被追跡デバイスとの間の相対的な方向を定義する角度を決定することができる別のユニットによって、距離測定ユニットが補完される。そのようなユニットの一例は、基準デバイス又は被追跡デバイスに取り付けられたイメージセンサ及び他方のデバイスに取り付けられた追跡可能な装置、例えばＬＥＤである。イメージセンサは、イメージセンサの中心からＬＥＤまでのベクトルとイメージセンサの法線との間の２つの角度を定義するＬＥＤの投影像の像座標を追跡することができる。イメージセンサからＬＥＤまでのそのようにして定義された方向は、距離測定ユニットによって提供された距離と共に、２つのデバイス間の相対的な位置を定義する。

本発明は、例えば可視スペクトルで動作する追跡可能な装置、例えばＬＥＤ及びイメージセンサだけを保護するのではなく、他の任意の波長（例えば、赤外線）も同様に保護すると解される。さらに、単一のＬＥＤを使用する代わりに、複数のＬＥＤを整列させたもの又は他の任意の追跡可能な装置を使用して、アプローチの安定性をさらに高めることができる。

機構のパターンが既知である場合には、コンピュータビジョンのアプローチを使用して、例えばイメージ空間における機構の大きさを分析することによって、距離を計算することができる。これによって、機構の大きさが距離測定値として使用され、また機構の位置が別の測定値として使用され、デバイス間の相対的な位置を計算するための十分な情報が提供される、別のアプローチがもたらされる。

代替的に、光学的距離測定に付随して、別の距離測定を実施することもできる。

添付の特許請求の範囲の主たる対象は、上記において説明した特定の特徴に必ずしも限定されるものではない。上記の実施例及び実施形態は、特許請求の範囲に記載の事項の考えられる実現形態であり、他の特徴も特許請求の範囲に含まれることが意図されている。

１００ ユーザ
１０１ 第１の身体部位、１００の頭部
１０２ 第２の身体部位、１００の手
１０３ 第２の身体部位、１００の手首
１０４ 第１の身体部位、胴部
１０６ 指（親指を含む）
１０７ 下腕
１０８ 上腕
１１０ 手袋
１１１ リストバンド
１２ 着用可能な動作追跡システム
１２０ａ、１２０ｂ 第１の測定デバイス
１２１ａ、１２１ｂ 第２の測定デバイス
１３０ 基準ユニット、ヘッドマウントディスプレイ
１４０ 基準ユニット
１４１ 被追跡ユニット
１５０ 計算装置
２００ａ 第１の音響通信デバイス
２００ｂ 第２の音響通信デバイス
２００ｃ 第１の光音響通信デバイス
２００ｄ 第２の光音響通信デバイス
２０１ａ、２０１ｄ 音響送信器／送信器
２０１ｂ、２０１ｃ 音響受信器
２０２ａ 第１の即時通信デバイス
２０２ｂ 第２の即時通信デバイス
２０３ａ 送信デバイス、赤外線ＬＥＤ
２０３ｂ 光学撮像デバイス、赤外線撮像デバイス
３０４、３０４ａ、３０４ｂ 向きを決定できる別の測定デバイス、例えばＩＭＵ
ａＬ 音響リンク
ｉＬ 即時リンク
ｏＬ 光リンク

Claims (17)

1. ユーザ（１００）の第１の身体部位（１０１；１０４）と、前記ユーザ（１００）の第２の身体部位（１０２、１０３、１０６～１０８）との間の相対的な位置を捕捉するための着用可能な動作追跡システム（１２）であって、
   前記着用可能な動作追跡システム（１２）は、
   前記第１の身体部位（１０１；１０４）に取り付け可能な少なくとも１つの第１の測定デバイス（１２０ａ；１２０ｂ）と、
   前記第２の身体部位（１０２；１０３；１０６～１０８）に取り付け可能な少なくとも１つの第２の測定デバイス（１２１ａ；１２１ｂ）と、
   計算装置（１５０）と、
   を備える、着用可能な動作追跡システム（１２）において、
   前記少なくとも１つの第１の測定デバイス（１２０ａ；１２０ｂ）及び前記少なくとも１つの第２の測定デバイス（１２１ａ；１２１ｂ）が、前記第１の測定デバイスと前記第２の測定デバイスとの間での測定の測定データを取得するように、前記第１の測定デバイスと前記第２の測定デバイスとの間での複数の測定を行うように形成され、
   前記計算装置（１５０）は、前記計算装置（１５０）によって前記第１の測定デバイス（１２０ａ；１２０ｂ）と前記第２の測定デバイス（１２１ａ；１２１ｂ）との間の前記複数の測定の複数の測定値が取得されるように構成され、
   前記第１の測定デバイス（１２０ａ；１２０ｂ）と前記第２の測定デバイス（１２１ａ；１２１ｂ）との間の前記複数の測定値は、前記第１の測定デバイス（１２０ａ；１２０ｂ）と前記第２の測定デバイス（１２１ａ；１２１ｂ）との間の少なくとも１つの距離測定値を含み、
   前記第１の測定デバイス（１２０ａ；１２０ｂ）と前記第２の測定デバイス（１２１ａ；１２１ｂ）との間の前記複数の測定値は、前記第１の測定デバイス（１２０ａ；１２０ｂ）と前記第２の測定デバイス（１２１ａ；１２１ｂ）との間の少なくとも１つの方向測定値を含み、
   前記計算装置（１５０）は、前記第１の身体部位（１０１；１０４）に対して相対的な前記第２の身体部位（１０２；１０３；１０６～１０８）の位置を追跡するために、前記複数の測定値を使用して、前記第１の測定デバイス（１２０ａ；１２０ｂ）に対して相対的な前記第２の測定デバイス（１２１ａ；１２１ｂ）の位置を３次元で計算するように構成され、
   前記第１の測定デバイスは、基準座標系を設定する基準デバイスとして機能し、前記第２の測定デバイスの位置は、前記基準座標系に対して測定される
   ことを特徴とする、着用可能な動作追跡システム（１２）。
2. 前記第１の測定デバイス（１２０ａ；１２０ｂ）は、第１の音響通信デバイス（２００ａ）を構成し、前記第２の測定デバイス（１２１ａ；１２１ｂ）は、第２の音響通信デバイス（２００ｂ）を構成し、
   前記第１の音響通信デバイス（２００ａ）及び前記第２の音響通信デバイス（２００ｂ）は、相互間に音響リンク（ａＬ）を確立するように形成成され、
   前記複数の測定値は、前記第１の音響通信デバイス（２００ａ）と前記第２の音響通信デバイス（２００ｂ）との間の少なくとも１つの音響測定値を含む、請求項１記載の着用可能な動作追跡システム（１２）。
3. 前記少なくとも１つの距離測定値及び／又は前記少なくとも１つの方向測定値は、前記少なくとも１つの音響測定値であるか、又は前記少なくとも１つの音響測定値に含まれる、請求項２記載の着用可能な動作追跡システム（１２）。
4. 前記第１の測定デバイス（１２０ａ；１２０ｂ）は、第１の光通信デバイス（２０３ａ）を構成し、前記第２の測定デバイス（１２１ａ；１２１ｂ）は、第２の光通信デバイス（２０３ｂ）を構成し、
   前記第１の光通信デバイス（２０３ａ）及び前記第２の光通信デバイス（２０３ｂ）は、相互間に光リンク（ｏＬ）を確立するように構成され、
   前記複数の測定値は、前記第１の光通信デバイス（２０３ａ）と前記第２の光通信デバイス（２０３ｂ）との間の少なくとも１つの光測定値を含む、請求項１～３のいずれか１項記載の着用可能な動作追跡システム（１２）。
5. 前記第１の光通信デバイス及び前記第２の光通信デバイスの一方の光通信デバイス（２０３ｂ）は、イメージセンサを構成し、前記第１の光通信デバイス及び前記第２の光通信デバイスの他方の光通信デバイス（２０３ａ）は、追跡可能な装置、好ましくは放射源を含み、好ましくは、前記追跡可能な装置の大きさは、前記着用可能な動作追跡システム（１２）に既知であり、かつ前記着用可能な動作追跡システム（１２）によって使用される、請求項４記載の着用可能な動作追跡システム（１２）。
6. 前記少なくとも１つの距離測定値及び／又は前記少なくとも１つの方向測定値は、前記少なくとも１つの光測定値であるか、又は前記少なくとも１つの光測定値に含まれ、好ましくは、前記距離測定値は音響測定値であり、前記少なくとも１つの方向測定値は光測定値である、請求項４又は５記載の着用可能な動作追跡システム（１２）。
7. 前記第１の測定デバイス（１２０ａ；１２０ｂ）は、第１の超広帯域通信デバイスを構成し、前記第２の測定デバイスは、第２の超広帯域通信デバイスを構成し、
   前記第１の超広帯域通信デバイス及び前記第２の超広帯域通信デバイスは、相互間に超広帯域リンクを確立するように構成されており、
   前記複数の測定値は、前記第１の超広帯域通信デバイスと前記第２の超広帯域通信デバイスとの間の少なくとも１つの超広帯域測定値を含む、請求項１～６のいずれか１項記載の着用可能な動作追跡システム（１２）。
8. 前記第１の身体部位（１０１；１０４）は、前記ユーザ（１００）の胴部（１０４）及び／又は頭部（１０１）であり、及び／又は、前記第２の身体部位（１０２；１０３；１０７；１０８）は、前記ユーザ（１００）の上肢（１０７、１０８）及び／又は手（１０２）である、請求項１～７のいずれか１項記載の着用可能な動作追跡システム（１２）。
9. 前記計算装置（１５０）は、少なくとも部分的に、基準ユニット（１４０）に統合され、前記基準ユニット（１４０）は、前記ユーザ（１００）の前記第１の身体部位（１０１；１０４）に取り付け可能であり、前記少なくとも１つの第１の測定デバイス（１２０ａ；１２０ｂ）を更に備え、
   及び／又は、
   前記計算装置（１５０）は、少なくとも部分的に、被追跡ユニット（１４１）に統合され、前記被追跡ユニット（１４１）は、前記ユーザ（１００）の前記第２の身体部位（１０２；１０３；１０７；１０８）に取り付け可能であり、前記少なくとも１つの第２の測定デバイス（１２１ａ；１２１ｂ）を更に備える、請求項１～８のいずれか１項記載の着用可能な動作追跡システム（１２）。
10. 前記複数の測定値は、前記第１の測定デバイス（１２０ａ；１２０ｂ）と前記第２の測定デバイス（１２１ａ；１２１ｂ）との間の１つの距離測定値及び１つの方向測定値から成るか、又は前記第１の測定デバイス（１２０ａ；１２０ｂ）と前記第２の測定デバイス（１２１ａ；１２１ｂ）との間の１つの距離測定値及び１つの方向測定値を含むか、又は３つ以上の前記距離測定値から成るか、又は３つ若しくはそれ以上の前記距離測定値を含む、請求項１～９のいずれか１項記載の着用可能な動作追跡システム（１２）。
11. 前記第１の測定デバイス（１２０ａ；１２０ｂ）及び／又は前記第２の測定デバイス（１２１ａ；１２１ｂ）は、少なくとも部分的に、前記第１の測定デバイス（１２０ａ；１２０ｂ）に対して相対的な第２の測定デバイス（１２１ａ；１２１ｂ）の向き又は前記第２の測定デバイス（１２１ａ；１２１ｂ）の絶対的な向きを決定して追跡するための１つ以上の別の測定デバイス（３０４；３０４ａ；３０４ｂ）を備え、
    好ましくは、前記１つ以上の別の測定デバイス（３０４；３０４ａ；３０４ｂ）は、慣性計測装置である、請求項１～１０のいずれか１項記載の着用可能な動作追跡システム（１２）。
12. ユーザ（１００）の第１の身体部位（１０１；１０４）と、前記ユーザ（１００）の第２の身体部位（１０２；１０３；１０６～１０８）との間の相対的な位置を追跡するための方法において、
    前記方法は、
    前記第１の身体部位（１０１；１０４）に取り付け可能な少なくとも１つの第１の測定デバイス（１２０ａ；１２０ｂ）、前記第２の身体部位（１０２；１０３；１０６～１０８）に取り付け可能な少なくとも１つの第２の測定デバイス（１２１ａ；１２１ｂ）、及び計算装置（１５０）を使用し、前記計算装置（１５０）において、アプリケーションを実行し、
    ｉ）前記第１の測定デバイスと前記第２の測定デバイスとの間での測定の測定データを取得するように、前記第１の測定デバイス（１２０ａ；１２０ｂ）と前記第２の測定デバイス（１２１ａ；１２１ｂ）との間での複数の第１の測定を行い、前記第１の測定デバイス（１２０ａ；１２０ｂ）と前記第２の測定デバイス（１２１ａ；１２１ｂ）との間での前記複数の第１の測定は、前記第１の測定デバイス（１２０ａ；１２０ｂ）と前記第２の測定デバイス（１２１ａ；１２１ｂ）との間での少なくとも１つの距離測定を含み、
    ｉｉ）前記複数の第１の測定を使用して、前記第１の測定デバイス（１２０ａ；１２０ｂ）に対する前記第２の測定デバイス（１２１ａ；１２１ｂ）の第１の位置を３次元で計算し、
    ｉｉｉ）前記第１の測定デバイスと前記第２の測定デバイスとの間での測定の測定データを取得するように、前記第１の測定デバイス（１２０ａ；１２０ｂ）と前記第２の測定デバイス（１２１ａ；１２１ｂ）との間での１つ以上の後続の測定を実施し、前記第１の測定デバイス（１２０ａ；１２０ｂ）と前記第２の測定デバイス（１２１ａ；１２１ｂ）との間での前記複数の第１の測定は、前記第１の測定デバイス（１２０ａ；１２０ｂ）と前記第２の測定デバイス（１２１ａ；１２１ｂ）との間での少なくとも１つの距離測定を含み、
    ｉｖ）前記第１の身体部位（１０１；１０４）に対する前記第２の身体部位（１０２；１０３；１０６～１０８）の前記位置を追跡するために、前記１つ以上の後続の測定を使用して、前記第１の測定デバイス（１２０ａ；１２０ｂ）に対する前記第２の測定デバイス（１２１ａ；１２１ｂ）の１つ以上の後続の位置を３次元で計算する
    ことを有し、
    前記第１の測定デバイス（１２０ａ；１２０ｂ）と前記第２の測定デバイス（１２１ａ；１２１ｂ）との間での前記複数の第１の測定及び／又は前記１つ以上の後続の測定は、前記第１の測定デバイス（１２０ａ；１２０ｂ）と前記第２の測定デバイス（１２１ａ；１２１ｂ）との間での少なくとも１つの方向測定を含み、
    前記第１の測定デバイスは、基準座標系を設定する基準デバイスとして機能し、前記第２の測定デバイスの位置は、前記基準座標系に対して測定される 、方法。
13. 前記複数の第１の測定及び／又は前記１つ以上の後続の測定は、前記少なくとも１つの方向測定として、音響測定、光測定及び超広帯域測定から成るグループから選択された少なくとも１つの測定を含む、請求項１２記載の方法。
14. 前記複数の第１の測定及び／又は前記１つ以上の後続の測定は、前記少なくとも１つの距離測定として、音響測定、光測定及び超広帯域測定から成るグループから選択された少なくとも１つの測定を含む、請求項１２～１３のいずれか１項記載の方法。
15. 前記第１の測定デバイス（１２０ａ；１２０ｂ）と前記第２の測定デバイス（１２１ａ；１２１ｂ）との間での前記複数の第１の測定及び／又は前記１つ以上の後続の測定は、前記第１の測定デバイス（１２０ａ；１２０ｂ）と前記第２の測定デバイス（１２１ａ；１２１ｂ）との間での１つ距離測定及び１つの方向測定から成る、請求項１２～１４のいずれか１項記載の方法。
16. 前記第１の身体部位（１０１；１０４）は、前記ユーザ（１００）の胴部（１０４）又は頭部（１０１）であり、及び／又は、
    前記第２の身体部位（１０２；１０３；１０６～１０８）は、前記ユーザ（１００）の上肢（１０７、１０８）又は手首（１０３）又は手（１０２）である、請求項１２～１５のいずれか１項記載の方法。
17. 前記第１の身体部位（１０１；１０４）に対する前記第２の身体部位（１０２；１０３；１０６～１０８）の前記追跡した位置を仮想環境において使用する、請求項１２～１６のいずれか１項記載の方法。

Images