JP6526026B2 - 物体の動作判定方法及びシステム - Google Patents

Description

関連出願の相互参照
本出願は、米国特許法第１１９条（ｅ）の下で２０１３年１０月２０日に提出した米国仮出願第６１／８９３，２２２号の利益を主張するものである。前記仮出願は、全ての目的に対して、その全体が参照により本明細書に援用される。

本開示は、概して、動作データの収集及び処理を通じて、物体の動作を判定する方法及びシステムに関する。ある実施形態において、本方法及びシステムは、物体に配置されたモーションセンサタグを使用することを含み、動作データはモーションセンサタグによって収集されて、収集データ一式を処理するために無線周波数信号で送信される。収集データ一式は、動作データ、到来方向データ、振幅データ、及び、位相データを含む。

モーションキャプチャの方法としては、カメラ式システムが知られており、身体に装着された反射マーカーを複数のカメラで観測し、各カメラによる２次元画像を三角測量することによって、３次元の位置が再構築できる。これに対して、磁気式追跡装置は、対象の近辺に配置した磁気源が発する磁場を計測し、磁気源に対するセンサの位置、向き、加速、及び／又は、速度を計算する。その他には、身体に配置され、３次元空間における身体の位置、向き、加速、及び／又は、速度データを捕捉する慣性測定装置（ＩＭＵ）、又は、角度計を使用するシステムがある。しかしながら、このようなシステムでは一般的にドリフトやノイズ誤差が発生し、動作データの正確な処理に影響を及ぼしていた。一部の方法では、所定の運動計算、及び／又は、身体が外界に接することで生成される所定のデータを使用するが、動作データをこのように更新する方法は、モーションセンサ自体によって作成されていない、或いは、リアルタイムに作成されていない制限事項に依拠することから、精度に問題があった。そこで、物体の３次元位置、向き、加速、及び／又は、速度をより正確に捕捉する性能を有するモーションセンサの方法及びシステムの開発が求められている。

本明細書は、３次元空間における物体の動作を捕捉するシステム及び方法を記載する。ある実施形態では、本方法は、
物体に配置された複数のモーションセンサタグから動作データを収集することと、
少なくとも一つの無線周波数信号で、動作データを送信することと、
動作データを受信し、動作データを受信することによって、無線周波数信号から到来方向データ、振幅データ、及び、位相データが更に提供されることと、
動作データ、到来方向データ、振幅データ、及び、位相データを含む収集データ一式を処理し、前記処理は、３次元空間における物体の位置、向き、加速、及び／又は、速度を含む３次元データを提供することと
を含む。

ある実施形態では、本システムは、
物体から動作データを収集するよう構成された複数のモーションセンサタグと、
動作データを無線周波数信号で送信するよう構成された、少なくとも一つの無線周波数送信器と、
無線周波数信号から動作データを受信し、無線周波数信号の受信によって到来方向データ、振幅データ、及び、位相データを引き出すよう構成された少なくとも一つの受信アンテナと、
動作データ、到来方向データ、振幅データ、及び、位相データを含む収集データ一式を処理することによって、３次元空間における物体の位置、向き、加速、及び／又は、速度を含む３次元データを提供するよう構成された少なくとも一つの信号プロセッサと
を含む。

また、本明細書は、対象プラットフォームの動作を監視するシステム及び方法を記載し、対象プラットフォームは無線周波数送信の使用を実装する。ある実施形態では、本方法は、
対象プラットフォームの動作データを、対象プラットフォームによって生成された無線周波数送信から傍受し、無線周波数送信から動作データを受信することによって、無線周波数送信から、到来方向データ、振幅データ、及び、位相データが更に提供されることと、
動作データ、到来方向データ、振幅データ、及び、位相データを含む収集データ一式を処理し、前記処理は、３次元空間における対象プラットフォームの位置、向き、加速、及び／又は、速度を含む３次元データを提供することと
を含む。

例示的なモーションセンサシステムの正面図を提供する。 例示的なモーションセンサシステムを説明するブロック図である。 例示的なモーションセンサタグの構成要素を説明するブロック図である。 例示的な受信アンテナ、受信器、及び主処理装置の構成要素を説明するブロック図である。 例示的なアンテナアレイの正面図である。 例示的な主処理装置の分解斜視図である。 例示的なモーションセンサタグの分解斜視図である。 処理後の動作データを表示する例示的な汎用ユーザインタフェース（ＧＵＩ）である。 例示的な無線周波数（ＲＦ）ネットワーク図の副操作を説明し、モーションセンサタグのレイトレースがアンテナアレイに送信される様子を図示している。 モーションセンサタグのアンテナを受信アンテナの方向に、或いは、反対方向に相対運動させた場合の例示的な位相変調効果を示す。 均一に配置された矩形アレイの１次元の断面を表す、例示的な直線状の受信アンテナアレイと、一つの送信器素子とを示す。 各タグの到来方向データを判定するための、受信アンテナアレイに対する腕（手首、肘、肩）及び脚（足首、膝、腰）に装着されたモーションセンサタグの角度構造を示す。 各タグの到来方向データを判定するための、受信アンテナアレイに対する腕（手首、肘、肩）及び脚（足首、膝、腰）に装着されたモーションセンサタグの角度構造を示す。

本明細書は、３次元空間における物体の動作を捕捉するシステム及び方法を記載する。ある実施形態では、本方法は、
物体に配置された複数のモーションセンサタグから動作データを収集することと、
少なくとも一つの無線周波数信号で、動作データを送信することと、
動作データを受信し、動作データを受信することによって、更に、無線周波数信号から到来方向データ、振幅データ、及び、位相データが提供されることと、
動作データ、到来方向データ、振幅データ、及び、位相データを含む収集データ一式を処理し、前記処理は、３次元空間における物体の位置、向き、加速、及び／又は、速度を含む３次元データを提供することと
を含む。

ある実施形態では、本システムは、
物体から動作データを収集するよう構成された複数のモーションセンサタグと、
動作データを無線周波数信号で送信するよう構成された、少なくとも一つの無線周波数送信器と、
無線周波数信号から動作データを受信し、無線周波数信号の受信によって到来方向データ、振幅データ、及び、位相データを引き出すよう構成された少なくとも一つの受信アンテナと、
動作データ、到来方向データ、振幅データ、及び、位相データを含む収集データ一式を処理することによって、３次元空間における物体の位置、向き、加速、及び／又は、速度を含む３次元データを提供するよう構成された少なくとも一つの信号プロセッサと
を含む。

また、本明細書は、対象プラットフォームの動作を監視するシステム及び方法を記載し、対象プラットフォームは無線周波数送信の使用を実装する。ある実施形態では、本方法は、
対象プラットフォームの動作データを、前記対象プラットフォームによって生成された無線周波数送信を介して傍受し、無線周波数送信を介して動作データを受信することによって、更に、無線周波数送信より到来方向データ、振幅データ、及び、位相データが提供されることと、

動作データ、到来方向データ、振幅データ、及び、位相データを含む収集データ一式を処理し、前記処理は、３次元空間における対象プラットフォームの位置、向き、加速、及び／又は、速度を含む３次元データを提供することと
を含む。

本明細書中に記載の方法及びシステムが適用されうる「物体」は、動いている、又は、動かすことができるいかなる物体をも含む。ある実施形態では、物体は乗物を含む。例示的な乗物は、民間又は軍用の乗物、船舶、又は、航空機を含むがこれらに限られない。ある実施形態では、物体は、野生動物、ペット、又は人間などの動物を含む。ある実施形態では、物体は２以上の部分を備えることがある。本明細書中で、「部分」という用語は、概して、３次元空間において、物体のその他の部分とは独立して特異に動作するよう構成された物体の一部を意味する。加えて、２以上の部分は、各部分の特異で独立した動作が可能になるように結合していることがある。例示的な部分は、上肢及び下肢などの動物の身体部位を含むが、これらに限られない。ある実施形態では、部分は、それぞれ肘、及び、膝と結合している上腕及び前腕、及び、上脚部及び下脚部から選択される。ある実施形態では、物体は２以上の部分を備える。ある実施形態では、少なくとも一つのモーションセンサタグが各部分に配置され、各部分に関する動作データが収集される。

ある実施形態では、本明細書に記載される方法とシステムは、無線周波数送信によって、自己の動作データを生成する対象プラットフォームの動きを追跡又は監視するよう実装されてもよい。例示的な対象プラットフォームは、無人航空機（ＵＡＶ又は「ドローン」）を含む、船舶又は航空機など、無線周波数送信を行ういかなる可動物体をも含む。ある実施形態では、本方法を、衝突感知及び回避のため、対象プラットフォームを監視するように用いてもよい。ある実施形態では、ＵＡＶシステムなどの対象プラットフォームで採用する無線周波数送信は、通信ダウンリンク信号、又は、ＵＡＶから発信されるその他の無線周波数信号を含むようにしてもよく、これによって、ＵＡＶにモーションセンサタグを配備したり、ＵＡＶをモノスタティックレーダで照射したりする必要性を回避し、ＵＡＶの電力要求を減少させることができる。

ある実施形態では、本明細書に記載の方法とシステムは、仮想現実ゲーム又は軍事演習で特有の用途に使用してもよい。例えば、モーションセンサタグ（又は、単に「タグ」）を、兵士の一以上の肢に配置し、野外演習中の兵士を動的に監視してもよい。このような使用には、平伏、かがむ、膝を付く、武器を扱う、及び、武器を向けるなどを含む、搭乗していない兵士の身体の位置を監視することを含めることができる。同様に、モーションセンサタグは、プレイヤーの位置、向き、加速、及び／又は、速度を判定するため、個人に配置してもよく、このようなデータは、仮想現実ヘッドセット又はゴーグルの使用を実装する遠隔のコンピューティング装置に転送される。ある実施形態では、遠隔のコンピューティング装置が仮想現実のギアに有線又は無線接続で接続されてもよく、仮想現実ギアは、データを更に操作するオンボードの処理性能を含むようにしてもよい。従って、ある実施形態では、モーションセンサタグが人間の身体の一以上の肢に配置され、選択肢として、一以上の追加のタグが第二の物体（例、銃）に配置されてもよい。

ある実施形態では、各モーションセンサタグは独立して慣性測定装置（ＩＭＵ）を備える。ある実施形態では、ＩＭＵは配置された物体の一部から動作データを収集するよう構成される。例示的なＩＭＵは、一以上の加速度計、ジャイロスコープ、及び／又は、磁気計を備えるようにしてもよい。ある非限定的な例では、ＩＭＵは、少なくとも一つの物体部分から、ヨーデータ、ピッチデータ、及び／又は、ロールデータなどの動作データを収集するようにしてもよい。或いは、又は、それに加えて、各モーションセンサタグは、独立してレーザ送信器と２次元フォトダイオードアレイ受信器とを備え、その場合、動作データは到来方向及び位相データを備え、及び／又は、超音波センサを備え、その場合、動作データは飛行時間データを含む。ある実施形態では、各モーションセンサタグは、更に少なくとも一つの電池を備える。ある実施形態では、各モーションセンサタグは、更に少なくとも一つのマイクロプロセッサを備え、動作データをフォーマットするよう構成してもよい。ある実施形態では、各モーションセンサタグは、更に局部発振器の使用を含む。ある実施形態では、局部発振器は、受信アンテナアレイに関連付けられた局部発振器に位相を同期させるよう構成される。

概して、ＩＭＵは、ドリフトのために短時間で位置誤差が生じることがある。本明細書に記載の方法及びシステムにおいて、物体のモーションキャプチャの精度（例えば、位置及び向き）は、無線周波数測位システムを介した位置修正により強化されたＩＭＵデータを提供することで、スタンドアロンのＩＭＵベースのシステムよりも改善できる。この無線周波数測位システムにおいては、無線周波数送信器を含むモーションセンサタグは、例えば、人間の肢に装着されるか、及び／又は、携帯する物体に取り付けられる。これらタグは連続波（ＣＷ）無線周波数信号を送信することができ、前記信号は、身体の胸部又はその他の場所に装着されるＭＰＵに含まれるアンテナアレイによって受信される。ある実施形態では、ＩＭＵによって収集され、無線周波数信号で送信される動作データに加えて、無線周波数ネットワークは、各タグから受信したベースバンド波形の位相データ及び振幅データによって判定される、アンテナアレイと各モーションセンサタグ間の到来方向（ＤＯＡ）及び範囲情報を提供する。

ある実施形態では、動作データの送信は、少なくとも一つの無線送信器の使用を含む。ある実施形態では、各モーションセンサタグは、動作データを送信するために少なくとも一つの無線周波数送信器を備える。ある実施形態では、送信された動作データは、アンテナアレイなどの少なくとも一つの受信アンテナの使用を含む様式で受信される。ある実施形態では、収集データ一式の処理は、デジタル信号プロセッサの使用を含む。ある実施形態では、デジタル信号プロセッサは、有線又は無線信号を介すなどして、少なくとも一つの受信アンテナから動作データ、到来方向データ、振幅データ、及び、位相データを受信するように構成される。ある実施形態では、デジタル信号プロセッサはセンサ融合器を備える。ある実施形態では、センサ融合器は、動作データ、到来方向データ、位相データ、及び／又は、振幅データを組み合わせるように構成されたセンサ融合器アルゴリズムの使用を実装する。

ある実施形態では、本明細書に記載のシステム及び方法は、更に主処理装置の使用を含む。主処理装置は、一以上のモーションセンサタグから受信した動作データを処理するよう構成されてもよい。ある実施形態では、デジタル信号プロセッサは、主処理装置に含まれる。ある実施形態では、主処理装置は、充電式リチウムイオン電池などの、少なくとも一つの電池を動力とする。主処理装置は、更に、遠隔のコンピューティング装置への接続を含むことがあり、３次元空間における物体の位置、向き、加速、及び／又は、速度を含む３次元データを遠隔のコンピューティング装置に送信するよう実装されることがある。ある実施形態では、接続は、３Ｇ、４Ｇ、及び／又は、ＷｉＦｉ性能を有する無線アンテナなどの、無線接続を含むようにしてもよい。

ある実施形態では、処理のための収集データ一式は、更に、所定の制約データを含むようにしてもよい。本明細書で用いられる場合、「所定の制約データ」には、リアルタイムでは生成されず、処理のために収集された動作データに関するパラメータを定義するために採用される、アルゴリズム上の制限事項などの所定の制限事項が含まれる。所定の制約データは、物体から収集された動作データに関連付けられることがあるドリフト及び／又はノイズ誤差を修正するために適用することができる。つまり、ある実施形態では、所定の制約データは、一以上のモーションセンサタグによって生成されたものではない。ある実施形態では、制約は所定の身体力学的制約データを含むことがあり、特定の所定の身体力学的制限事項は、人体のような物体に適用される。例えば、ある実施形態では、関節に一定の柔軟性（例えば、弛緩性）を考慮し、膝及び肩などの関節に対して定義された身体力学的制約などの、各種関節の種類に対して異なる身体力学的特性を提供する身体力学モデルに従って、モーションセンサタグの示度が相関付けられてもよい。従って、所定の関節の制約データなどの所定の身体力学的制約モデルによって、身体動作を推測するのにより高い精度を得ることが可能になる。関節柔軟性データなどの所定の身体力学的制約データは、Ｚａｔｓｉｏｒｓｋｙによる「Ｋｉｎｅｍａｔｉｃｓ ｏｆ Ｈｕｍａｎ Ｍｏｔｉｏｎ」Ｈｕｍａｎ Ｋｉｎｅｔｉｃｓ（１９９８）に記載された各種関節の種類に関連したデータなど、通常の技術を有する当業者に知られる情報源から得ることができる。上記文献は、全ての目的に対して、その全体が参照により本明細書に援用される。

しかしながら、ある実施形態では、本明細書に記載の方法及びシステムは、所定の制約データの使用を実装しない。特定の理論に限られず、ある実施形態においては、動作データ、到来方向データ、振幅データ、及び位相データを含む、又は、本質的にこれらからなる収集データ一式を処理することで、３次元空間における物体の位置、向き、加速、及び／又は、速度を含む詳細で正確な３次元データが意外にも充分に提供されることを出願人は発見した。つまり、所定の制約データは、正確な３次元データを提供するのに必要でないことがある。そこで、ある実施形態では、収集データ一式は、所定の制約データを含まない。ある実施形態では、収集データ一式は、所定の関節制約データを含まない。ある実施形態では、収集データ一式は、所定の関節柔軟性データを含まない。

ある実施形態では、本明細書に記載の方法及びシステムは、外部接点データの使用を実装する。本明細書における「外部接点データ」は、物体のメッシュモデルと、物体が存在する空間のメッシュモデルとの交点を備え、空間における物体の動作から派生した動作データに際限なく発生することがある統合誤差を制限するよう実装することができる。いくつかの実施形態では、外部接点データは、物体、及び／又は、一以上の部分の位置、速度、及び／又は、加速などのデータを含む。いくつかの実施形態では、外部接点データは予め定められ、リアルタイムに収集されたものではない、つまり、収集データ一式の処理中に集められたものではない以前のデータ点に基づいている。ある実施形態では、外部接点データは所定のデータであって、一つ以上のモーションセンサタグによって収集されることがある。その他の実施形態では、外部接点データは接触覚センサによって収集される。

しかしながら、ある実施形態では、本明細書に記載の方法及びシステムは、外部接点データの使用を実装しない。特定の理論に限られず、ある実施形態においては、動作データ、到来方向データ、振幅データ、及び、位相データを含む、或いは、主成分とする収集データ一式を処理することで、３次元空間における物体の位置、向き、加速、及び／又は、速度を含む詳細で正確な３次元データが、意外にも充分に提供できることを出願人は発見した。つまり、外部接点データは、正確な３次元データを提供するのに必要でないことがある。そこで、ある実施形態では、収集データ一式は、外部接点データを含まない。

下記実施形態は例示のみであり、本開示の範囲を制限すると見なされるべきではない。

図１は、モーションセンサタグを備える例示的な動作センサシステムの正面図を提供する。モーションセンサタグ１００は物体（人体）の部分（肢）に装着され、ＩＭＵ及び無線周波数送信器を含む。モーションセンサタグ１００は、粘着剤やパッチなど、当業者に知られるどのような適切な手段で身体に配置されてもよい。モーションセンサタグ１００は、衣服に装着されるか、服又は制服のポケットに挿入されるか、或いは、マジックテープ（登録商標）で装着されてもよい。ＭＰＵ２００は、身体の胴体に配置されてもよい。ＭＰＵ２００は、人が置かれている正確な位置、速度、及び、加速情報を提供する胸部又は他の任意の場所に装着することができるアンテナアレイを備える。モーションセンサタグ１００は、携帯された物体に取り付けられた場合、携帯された物体の向きも測定し、精緻で正確な取り扱い及び／又は方向付けの精度を可能にする。測定中の物体のモーションセンサデータは、遠隔のコンピューティング装置３００に表示される。

図２は、例示的なモーションセンサシステムを説明するブロック図であり、モーションセンサシステムは、モーションセンサタグ（モーションセンサタグ１００（タグ１）及びタグｎ）、ＭＰＵ２００、及び、遠隔のコンピューティング装置３００を備える。モーションセンサタグ１００は、無線周波数送信器１０１を含有し、更に、無線周波数アンテナ１０５を備える。モーションセンサタグ１００は、更に、マイクロプロセッサ１０２及びＩＭＵ１０４を含む。ＭＰＵ２００は、受信アンテナアレイ２０１を含み、受信アンテナアレイ２０１は、受信器２０２、Ａ/Ｄ変換器２０３、ベースバンドプロセッサ２０４、電池及び電池管理回路２０５、及び、ＷｉＦｉ通信モジュール２０６と関連付けられている。

図３は、モーションセンサタグ内での信号の流れ及び処理を説明するブロック図である。ＩＭＵ加速度計、ジャイロスコープ、及び、磁気計のデータは、例えば、周辺装置インタフェース（ＳＰＩ）、又は、Ｉｎｔｅｒ ＩＣ（Ｉ２Ｃ）などのシリアルデータバスを介してデジタル／アナログ変換器（ＤＡＣ）に、及び／又は、直接マイクロプロセッサ１０２に転送してもよい。マイクロプロセッサはベースバンド波形を生成し、収集されたＩＭＵ動作データを副搬送波で多重送信する。電源管理もマイクロプロセッサにて行われる。続いて、ベースバンド動作データはアップコンバートされ、無線周波数送信器１０１によって送信される。モーションセンサタグの電子装置は全て充電式電池１０４が動力になる。

図４は、ＭＰＵ２００を説明するブロック図である。アンテナアレイ２０１（フェーズドアレイでもよく、選択的に、切り替えフェーズドアレイアンテナでもよい）は、それぞれのアンテナ素子の各動作センサから無線周波数信号を受信する。アレイは、均一な矩形アレイ、又は、均一な円形アレイでもよい。ある実施形態では、アレイは胸部に装着されてもよく、別の実施形態では、アレイはより広い視界を提供するためにヘルメットのつばに内蔵されてもよい。アレイは、図５に示されるアンテナアレイ２０１でもよく、各アンテナ素子は、ハードウェアコストを削減するために一つのコヒーレント受信器によって順にサンプリングされ、処理される。図５は、４つの切り替え４素子サブアレイを備える例示的な平面切り替えアンテナアレイ２０１を示し、４つのサブアレイ間で更に切り替えられて１６素子アレイを形成する。図６は例示的なＭＰＵの斜視展開図であり、一つの基盤上に平面切り替えアンテナアレイ２０１及び受信器２０２と、Ａ/Ｄ変換器２０３、ベースバンドプロセッサ２０４、電池及び電池管理回路２０５、及び、ＷｉＦｉ通信モジュール２０６を含むメインプロセッサボードとを含むＭＰＵハウジングを示す。

図７は、モーションセンサタグ１００の展開上部斜視図であり、マイクロプロセッサ１０２、ＩＭＵ１０４、及び、充電式電池１０３と一体化した、無線周波数アンテナ１０５を含む無線周波数送信器１０１を図示する。操作では、モーションセンサタグ１００が収集された動作データを収集、処理し、処理された動作データを無線周波数送信器を介して受信アンテナアレイ２０１に送信し、処理された情報を、ＷｉＦｉ接続で、ＭＰＵから遠隔コンピューティング装置３００に転送し、遠隔コンピューティング装置３００はグラフィカルユーザインタフェース（ＧＵＩ）上に動作データを表示する。図９は、無線周波数ネットワークの副操作を説明し、ＤＯＡ及び範囲判定のために、モーションセンサタグ１００から受信アンテナアレイ２０１へのレイトレースを図示する。

図１０は、無線周波数アンテナの、受信アンテナ方向又は反対方向への相対運動による位相変調効果を示す。軸方向距離の変化は、受信信号のＲＦ相の変化につながり、以下のように数学的に表すことができる。

Δｘは、軸方向変位量、λはＲＦ信号の波長、Δθは軸方向変位量によるＲＦ相の変化である。Δθは、通信システムの複素ベースバンドモデルの標準表現による、ダウンコンバート後のベースバンドで計測される。

ｓ（ｔ）は、同相（Ｉ）及び直交（Ｑ）構成要素を備える、時間領域の複素ベースバンド信号である。

図１１は、直線状の受信器アンテナアレイ及び一つの送信器素子を示す。各受信器素子は、距離の変化によって少しずつ異なる位相で信号を受信する。ＤＯＡは図１１で定義される。素子ｋから受信した信号の複素ベースバンドモデルは以下のように計算される。

ｄは素子の間隔、ｋは素子番号、φはＤＯＡである。

図１２及び図１３は、各タグのＤＯＡを判定するための、受信アンテナアレイに対する腕（手首、肘、肩）及び脚（足首、膝、腰）に装着されたモーションセンサタグの角度構造を図示する。

受信アンテナは、複数のモーションセンサタグからの無線周波数信号を傍受し、傍受した情報を使用して各個別のタグの位置を引き出す。ある実施形態では、Ｍｕｌｔｉｐｌｅ Ｓｉｇｎａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ （ＭＵＳＩＣ）及びＭｉｎｉｍｕｍ Ｖａｒｉａｎｃｅ Ｄｉｓｔｏｒｔｉｏｎｌｅｓｓ Ｒｅｓｐｏｎｓｅ（ＭＶＤＲ）アルゴリズムなどの公開された技術を含む、高解像度のＤＯＡ判定方法を使用して、各個別の無線周波数送信器から受信した無線周波数信号のＤＯＡを１度未満の角度空間解像度性能で位置決めできる。各無線周波数アンテナが送信する無線周波数信号は、物体の動きにより変調され、このような動きは受信信号のベースバンド位相の相関変調となる。そして、受信信号はＭＰＵ２００によって復調され、モーションセンサタグから距離を引き出すのに使用され得る。加えて、ＩＭＵによって生成された動作データは、アンテナアレイ２０１で受信した信号を多重分離した後、各素子から引き出される。ＩＭＵから、ＤＯＡ及び位相復調方法によって取得された位置データは、モーションセンサタグによって生成された信号の組み合わせから正確な加速、速度、及び、位置を生成するため、カルマンフィルタによって処理される。ある実施形態では、無線周波数信号に何らかの妨害があると、無線周波数信号が回復するまで、システムはＩＭＵ動作データに依存する。回復時に、ＤＯＡデータ、位相データ、及び、振幅データから得られた位置修正が、カルマンフィルタに伝えられる。

ある実施形態では、アンテナアレイ２０１を人間の胸部などの移動体に装着すると、呼吸毎に胸部が動く自然傾向のため、誤った示度を引き起こす可能性がある。これを補うため、出願人はこのばらつきを考慮した新規の方法を実装した。胸部が静止している際には、各モーションセンサタグに報告される距離はコンピュータディスプレイ上で正確にプロットされ、グラフ化できる。しかし、胸部が動いている際には、計算された各タグまでの距離は、胸部の動きのたびに変動する。この動きを無効にするため、ある実施形態では、システムが各モーションセンサタグまでの距離を計測するが、その距離を他のタグまでの距離の基準として使用する。アンテナアレイ２０１は、各タグに対して同じずれを有するため、報告された各モーションセンサタグ間の距離は同じままである。各モーションセンサタグ間の距離を使用して、ユーザの四肢の動的位置が正確に再構築され、ディスプレイ上にマッピングできる。独立成分分析（ＩＣＡ）などの信号処理方法が、モーションセンサタグの動きから胸部の動きを判別するのに使用できる。ある実施形態では、この方法はアンテナアレイのどのような動きにも通用し、正確で安定した測定を提供する。

本明細書に記載されたシステムのある実施形態は、レーダの比較的弱い後方散乱に依存することなく、モーションセンサタグからの実際の受信信号に依存しており、受信信号は後方散乱信号よりもかなり強力である。あるいは、接近する航空機又はＵＡＶ物体の位置を判定する場合、物体の位置を判定するのに対象から発せられるＲＦ信号が使用されてもよい。加えて、モーションセンサタグ１００を使用することで、モーションセンサタグが装着された身体部位又は携帯される物体の確実な識別が促進される。各タグは、２．４ＧＨｚ、５.８ＧＨｚ、又は、その他の周波数帯域の低電力変調連続波（ＣＷ）信号を生成する。この無線周波数信号は、対象者の胸部又は身体のその他の部位、又は、ＵＡＶプラットフォームに装着された複数素子の平面パッチアンテナアレイで受信される。アンテナアレイは、隣接アンテナ素子間の位相差を比較することで、受信信号のＤＯＡの測定を可能にする。アレイの複雑さとコストを削減するため、ある実施形態では、切り替えアンテナ構成によって各アレイアンテナ素子を一つのＲＦ供給源に多重化し、これによって、一つのチャネル受信器がアンテナアレイ全体を復調することが求められる。平面アンテナアレイは、プリント回路板（ＰＣＢ）にエッチングされてもよく、コンパクトなフォームファクタにも適している。アンテナ給電ネットワークもＰＣＢにエッチングされていてもよい。加えて、ＲＦフロントエンドは、同じアンテナ基盤に配置されてもよく、同軸ケーブルや接続の必要性がなくなる。

図面を参照して、無線周波数信号は、受信器２０２の表面実装技術（ＳＭＴ）の構成要素及びチップセットを使用して、フィルタリングされ、ベースバンドにダウンコンバートされる。デジタル信号プロセッサ２０４は、各モーションセンサタグから受信した波形を処理するデジタル信号処理（ＤＳＰ）コードをホストするベースバンドプロセッサを備える。各モーションセンサタグにＤＯＡを提供するのに加えて、ＤＳＰアルゴリズムは、受信した波形の変調位相を局部発振器（ＬＯ）によって生成された参照信号の位相と比較することで、各タグの瞬間的範囲を決定する。

ＩＭＵ１０４、マイクロプロセッサ１０２、無線周波数送信器１０１、充電式電池１０３、及び、無線周波数アンテナ１０５は、身体に装着されるモーションセンサタグ１００にパッケージ化されている。防水、耐衝撃性のタグは、アンテナ及び、各モーションセンサタグに特異の周波数で変調ＣＷ波形をブロードキャストする無線周波数送信器を含む。このように、各タグはその周波数によって一意に識別できる（例えば、タグ１は周波数ｆ₁、タグ２は周波数ｆ₂など）。ＩＭＵデータ出力は、各タグの副搬送波で送信されてもよい。図９参照。

上述したように、各モーションセンサタグは、身体の各種場所に装着され、連続波（ＣＷ）無線周波数信号を送信する変調ＲＦ測位センサと組み合わされた９自由度（ＤＯＦ）Ｍｉｃｒｏ−Ｅｌｅｃｔｒｏ−Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ（ＭＥＭＳ）ＩＭＵを含む。９ ＤＯＦ ＭＥＭＳ ＩＭＵは、３軸加速度計、３軸ジャイロスコープ、３軸磁気計を含むようにしてもよい。この無線周波数信号は、各タグから身体に装着された受信器アレイまでのＤＯＡ及び範囲情報を計算するのに使用してもよい。この例示的なハイブリッドの組み合わせは、各技術の性能の利点を活用するロバスト解を提供し、それによって、モーションキャプチャシステムに、高度に正確で頑強な動力学的測定及び追跡性能を提供することができる。一部のＩＭＵは位置ドリフトが生じやすいため、これらの誤差はＲＦ信号によって生成されたデータ（ＤＯＡ、位相、及び、振幅など）を、処理される収集データ一式に取り込むことで補償できる。

ある実施形態では、モーションセンサタグ１００は、特に、マイクロプロセッサ１０２と、スモールフォームファクタチップ又は無線周波数アンテナ１０５（例えば、ＰＣＢトレースアンテナ）を備える。ある実施形態では、マイクロプロセッサ１０２は、中央処理装置（ＣＰＵ）及びデジタル／アナログ変換器（ＤＡＣ）を備える。ＣＰＵは、ＩＭＵからの情報を集め、情報を内部で生成された位相変調（ＰＭ）ベースバンド信号と組み合わせ、送信のために無線周波数アップコンバータに送る。内部で生成された無線周波数搬送信号は、アンテナアレイ２０１で受信信号のベースバンド位相を復調することで、無線周波数位置回復にも使用される。ある実施形態では、ＩＭＵ動作データは、二位相偏移変調（ＢＰＳＫ）又は周波数偏移変調（ＦＳＫ）で周波数ｆ_subcarrierの副搬送波に変調される。次に、ベースバンド位相変調信号及びＢＰＳＫ/ＦＳＫで変調されたＩＭＵ動作データが追加され、アップコンバート及び送信のためにＲＦ回路に送られる。副搬送波周波数は、ＰＭベースバンド情報を妨害しないように選択することができる。或いは、ＩＭＵデータはＢＰＳＫ又はＦＳＫで主搬送波に変調され、位置回復のために位相情報を伝達するのには別の副搬送波が使用される。

図８はＧＵＩスクリーンショットを表し、代表的な再構築された骨格画像と、データ表示を選択する、ユーザが選択可能なボタンとを示す。選択可能なボタン機能は、校正３０１、記録３０２、リスタート３０３、エクスポート３０４、及び、タグ選択３０５を含む。主表示画面３００：主表示画面は、ユーザを表すモーションセンサタグを示す。データは３次元ベクトルとして表示される。これによって、様々な位置からユーザを表示するために、いかなる角度にも画面を回転できる。隣接部分の角度も表示される。ユーザが携帯する物体に装着されたタグもまた、リアルタイムで表示される。データは１００Ｈｚのレートで更新され、滑らかで正確な画像を提供する。

校正３０１：校正ボタンを用いてタグを初期化するようにしてもよい。ソフトウェアがどのセンサタグがどこにあるかを判定する短い時間、ユーザは固定位置に立っている。この間に、主表示画面上でタグ間に線が描かれ、ユーザを表す基本的なワイヤフレーム骨格が作成される。

記録３０２：記録ボタンをクリックすることにより、記録プロセスを開始するようにしてもよい。記録プロセスは、ＧＵＩによって表される全てのデータを記録する。これには、各タグの加速、速度、及び、相対位置を含む。データは、ローカルでＴｘｔ又はＣｓｖファイルとして保存される。

リスタート３０３：リスタートボタンを用いて、記録プロセスを再び開始し、（適切なユーザプロンプト及びファイル上書きの注意を表示した上で）以前のデータの上書きを行うようにしてもよい。

エクスポート３０４：エクスポートを用いて、全ての記録されたデータをＴｘｔ又はＣｓｖファイルとして保存するようにしてもよい。このデータは、後処理のために、Ｅｘｃｅｌ又はＭａｔｌａｂに直接インポートできる。

タグ選択３０５：タグ選択ボタンを用いて、それぞれのタグデータを選択してグラフ領域に表示するための、ドロップダウンメニューを開くようにしてもよい。

グラフ３０６：タグ選択ボタンによって選択されたタグを表すグラフがここに表示されるようにしてもよい。グラフは、リアルタイムで更新された各タグの加速、速度、又は、位置を視覚化する。全てのタグからのデータは、後から後処理を行うため、エクスポート機能を使用してローカルで保存される。

ＧＵＩ表示は、監視される対象者の近辺、又は、遠隔の場所に位置してもよい。

アンテナアレイは、ＭＰＵ内に配置してもよく、より適切なタグの視界が得られるよう、均一な円形アンテナアレイをつばに含む帽子又はヘルメットのようなヘッドギアに組み込むことができる。或いは、ヘルメットに付加される重さを低減するために、ＭＰＵ信号プロセッサ及び電池を身体の他の部位に配置してもよい。この変形例では、アンテナアレイが胸部に装着された際に、モーションセンサタグが身体の影になる状況を防げる。

本明細書に記載される実施形態の操作において、ユーザはＩＭＵ、送信用電子機器、及び電池を含むタグを手首、肘、肩、腰、膝、足首、及び、頭に装着することが可能になる。ＭＰＵは、胸部に装着するか、又は、ヘルメットに一体化してもよい。モーションセンサタグの起動の際、ＭＰＵはシステムを校正し、各タグから受信した無線周波数信号を処理し、各タグの加速、速度、及び、位置を判定する。この情報は、続いて、タグを装着しているユーザの身体位置、速度、及び、加速を表示する外部コンピュータに送信される。上述のように、このようなシステムは、現在のゲームシステムで多くみられるように、ユーザが位置測定システムに束縛されたり、カメラ又はセンサベースシステムの視界内に留まるよう制限されることなく、自由に歩き回るのを可能にする。

本明細書に記載され、説明された事項は、いくつかの変形例を伴う本発明の実施形態である。本明細書に記載の用語、表現、数字は、説明のためにのみ記載され、限定を課すことを意図しない。当業者は、発明の精神と範囲内で多くの変形が可能であり、他に断りのない限り、全ての用語は、最も広い、合理的な解釈が意図されることを理解するであろう。本明細書内の項目名は、便宜上記載されるものにすぎず、法的又は限定する効力を持たない。

Claims (20)

1. 少なくとも二つの部分を備える物体の前記少なくとも二つの部分それぞれに少なくとも一つ配置された複数のモーションセンサタグから、ヨーデータ、ピッチデータ、及びロールデータの少なくとも１つを含む動作データを収集することと、
   少なくとも一つの無線周波数信号で、前記動作データを送信することと、
   前記物体に配置された少なくとも一つの平面切り替えアンテナアレイで前記動作データを受信し、前記動作データを受信することによって、更に、前記無線周波数信号から到来方向データ、振幅データ、及び、位相データが提供されることと、
   前記動作データ、前記到来方向データ、前記振幅データ、及び、前記位相データを含む収集データ一式を処理し、前記処理は、３次元空間における前記物体の位置、向き、加速、及び速度の少なくとも１つを含む３次元データを提供することと
   を含む方法。
2. 前記物体は動物を含む、請求項１に記載の方法。
3. 前記物体は人間を含む、請求項１又は２に記載の方法。
4. 前記少なくとも２つの部分は動物の身体の部分を含む、請求項１から３の何れか１項に記載の方法。
5. 各モーションセンサタグは慣性測定装置を備える、請求項１から４の何れか一項に記載の方法。
6. 各モーションセンサタグは、前記動作データを送信するために、少なくとも一つの無線周波数送信器を備える、請求項１から５の何れか一項に記載の方法。
7. 各モーションセンサタグはマイクロプロセッサを備える、請求項１から６の何れか一項に記載の方法。
8. 前記マイクロプロセッサは、少なくとも一つの無線周波数送信器に前記動作データをアップコンバートすることにより前記動作データをフォーマットするよう構成された、請求項７に記載の方法。
9. 各モーションセンサタグは局部発振器の使用を含む、請求項１から８の何れか一項に記載の方法。
10. 前記収集データ一式の処理は、デジタル信号プロセッサの使用を含む、請求項１から９の何れか一項に記載の方法。
11. 前記デジタル信号プロセッサは、前記収集データ一式の前記処理で実装されるセンサ融合アルゴリズムを含む、請求項１０に記載の方法。
12. 前記デジタル信号プロセッサは、主処理装置に含有される、請求項１０又は１１に記載の方法。
13. 前記主処理装置は、無線接続を更に備える、請求項１２に記載の方法。
14. 前記無線接続はＷｉＦｉを備える、請求項１３に記載の方法。
15. 遠隔のコンピューティング装置に無線接続で前記３次元データを送信することを更に含む、請求項１３又は１４に記載の方法。
16. 前記遠隔のコンピューティング装置は前記３次元データを表示する、請求項１５に記載の方法。
17. 前記遠隔のコンピューティング装置は仮想現実ヘッドセット又は仮想現実ゴーグルを備える、請求項１６に記載の方法。
18. 前記遠隔のコンピューティング装置は仮想現実ヘッドセット又は仮想現実ゴーグルと通
    信する、請求項１６に記載の方法。
19. 前記収集データ一式は所定の関節柔軟性データの使用を必要とせず、前記所定の関節柔軟性データは、一又は複数の前記モーションセンサタグによって生成されたものではないアルゴリズム上の制限事項である、請求項１から１８の何れか一項に記載の方法。
20. 前記収集データ一式は外部接点データの使用を必要とせず、前記外部接点データは、一つ又は複数の部分の位置、速度、又は、加速の少なくとも一つに基づいて、前記物体の所定の周囲に対する前記物体の外部接点に関するデータを含む、請請求項１から１９の何れか一項に記載の方法。

Images