JPWO2019129355A5 - - Google Patents

Description

方法１００は、さらに、オブジェクトの位置及びオブジェクトの向きを用いた運動モデルに基づいてオブジェクトの運動軌跡を外挿すること１０６を含む。運動モデルは、オブジェクトの位置に対して第１の重み係数を使用し、オブジェクトの向きに対して第２の重み係数を使用する。運動モデルは、運動軌跡によってオブジェクトの動きを記述するモデルであり、空間を通るオブジェクトの動きを時間の関数として記述する。運動モデルは、オブジェクトの特別な運動特性を考慮してもよい。例えば、オブジェクトが人間である場合、運動モデルは、人間が視線の方向に歩く傾向があり、視覚に沿って運動を適合させることを考慮してもよい。

慣性センサ、例えば、加速度計又はジャイロスコープは、短期的には、更新周波数が高く（例えば、２００Ｈｚの更新周波数）、高精度である。しかし、加速度計又はジャイロスコープは、センサのドリフトにより、長期的な安定性に欠ける。位置センサ、例えば、無線周波数信号を利用した位置センサは、更新周波数が低い（例えば、５Ｈｚの更新周波数）が、短期的及び長期的に安定しているだけでなく、高精度である。位置センサ及び慣性センサの寄与を重み付けして運動軌跡を外挿することができる運動モデルを使用すると、一方のセンサの欠点を他の（複数の）センサで補うことができる。これにより、全体的な性能、すなわち、運動推定の精度及び安定性（長期及び短期）を改善することができる。

したがって、オブジェクトの運動軌跡を外挿することは、重み付けされたオブジェクトの位置と、重み付けされたオブジェクトの向きとに基づいて多項式を接線方向に外挿することを含んでもよい。運動軌跡を接線方向に外挿する方法により、運動軌跡の方向への伸長によって、人間の視線の方向と運動の方向を得ることが可能になる。例えば、位置に対する第１の重み係数は２５％であり、向きに対する第２の重み係数は７５％であってもよい。これにより、接線が多項式に接する角度を調整することができる。

また、オブジェクトの運動状態を用いて運動モデルを調整してもよい。運動状態は、オブジェクトによる特定の種類の運動を表す。例えば、運動状態は、静止（立っている）、運動、歩行、ランニング、静止からランニング／歩行への変化、ランニング／歩行から静止への変化、回転中に静止等である。したがって、方法１００は、さらに、第１の時系列データ及び／又は第２の時系列データに基づいてオブジェクトの運動状態を判断することを含んでもよい。例えば、加速度計及びジャイロスコープを慣性センサとして使用する場合、加速度計及びジャイロスコープのいずれもオブジェクトの（線形）加速度を示さなければ、オブジェクトが静止している（すなわち、位置変化なし）と判断することができる。例えば、運動状態は、グラウンドトゥルースのモーメントであってもよい。また、加速度の活性化閾値を使用して、ジッタを含んだ位置データを最適化してもよい。１つ以上の閾値を使用することにより、無線周波数を利用したオブジェクトの位置信号がオン／オフしてしまうのを平滑化し、防止することができる。すなわち、加速度センサと無線周波数を利用した位置信号を使用することにより、動きの大きさに基づいてジッタを除去することができる。したがって、方法１００は、運動状態に基づいて第１の重み係数及び第２の重み係数を調整することを含んでもよい。例えば、運動状態が物体の静止を表している場合は、位置変化が起こる可能性が低いので、第１の重み係数を小さくしてもよい。したがって、例えば、第１の時系列データ(すなわち、位置データ)がノイズを含んでいても、運動軌跡を高精度に外挿することができる。

運動接線を適切に外挿するために、方法１００は、現在の、胴体対頭部の姿勢（人間の向き及び位置によって記述される）に基づく接線関数の重み付けを用いる。通常の動きの状態においては、視線の方向（すなわち、向き）によって、現在の接線関数に最も高い重みが与えられてもよい。胴体対頭部の姿勢は、例えば、検出されたグラウンドトゥルースのモーメントから導出される。

すなわち、方法１００は、位置を予測するとともに、現在の向きを推定する。例えば、ＴＣＢスプラインにおける現在の外挿接線関数に対して、現在の向きを最も強く重み付けしてもよい。上記のように、（例えば、経時的なセンサドリフト、磁気干渉等により）現在の向き推定に確信がない／信用できない場合、外挿方法において、位置の重み付けを強くしてもよい。したがって、運動モデルは外挿によって構成される。

高度にパラメータ化可能なＴＣＢスプラインにより、人間のゆっくりとした、速い、静的な、又は動的な動きを正確に表現することができる。したがって、このタスクのパラメータの数をできる限り低く保ちながら、運動モデルをできる限りパラメータ化することができる。ＶＲアプリケーションにおいては、方法１００により、さらに、人間に失敗を気づかせることなく、将来のモーメントを外挿、すなわち、予測することができる。

Claims (14)

1. オブジェクトの動きを予測する方法であって、
   前記オブジェクトに取り付けられた位置センサの第１の時系列データに基づいて前記オブジェクトの位置を判断することと、
   前記オブジェクトに取り付けられた少なくとも１つの慣性センサの第２の時系列データに基づいて前記オブジェクトの向きを判断することと、
   前記オブジェクトの前記位置と前記オブジェクトの前記向きとを用いた運動モデルであって、時間の関数として空間を通過する前記オブジェクトの運動を記述する運動軌跡によって前記オブジェクトの運動を記述し、前記オブジェクトの前記位置に対して第１の重み係数を使用し、前記オブジェクトの前記向きに対して第２の重み係数を使用する運動モデルに基づいて、前記オブジェクトの運動軌跡を外挿して前記オブジェクトの将来の位置を予測することと
   を含む
   予測方法。
2. 請求項１に記載の予測方法であって、さらに、
   前記オブジェクトの前記位置の第１の信頼レベルを判断することと、
   前記オブジェクトの前記向きの第２の信頼レベルを判断することと、
   前記第１の信頼レベルに基づいて前記第１の重み係数を調整することと、
   前記第２の信頼レベルに基づいて前記第２の重み係数を調整することと
   を含む
   予測方法。
3. 請求項２に記載の予測方法であって、さらに、
   前記オブジェクトの前記動きに関連するコンテキスト情報に基づいて前記第１の重み係数の値の範囲及び／又は前記第２の重み係数の値の範囲を調整することを含む
   予測方法。
4. 請求項１乃至３のいずれか１つに記載の予測方法であって、
   前記運動モデルは、少なくとも３次の多項式に基づいている
   予測方法。
5. 請求項４に記載の予測方法であって、
   前記多項式は、コチャネク－バーテルズ（Kochanek-Bartels）スプライン又はキュービックエルミートスプラインである
   予測方法。
6. 請求項４又は５に記載の予測方法であって、
   前記オブジェクトの前記運動軌跡を外挿することは、前記オブジェクトの前記重み付けされた位置及び前記オブジェクトの前記重み付けされた向きに基づいて前記多項式を接線方向に外挿することを含む
   予測方法。
7. 請求項１乃至６のいずれか１つに記載の予測方法であって、さらに、
   前記第１の時系列データ及び／又は前記第２の時系列データに基づいて前記オブジェクトの運動状態を判断することと、
   前記運動状態に基づいて前記第１の重み係数及び前記第２の重み係数を調整することと
   を含む
   予測方法。
8. 請求項１乃至７のいずれか１つに記載の予測方法であって、
   前記第２の時系列データは、３次元加速度データ、３次元回転速度データ、３次元磁場強度データ、及び／又は気圧データのうち少なくとも１つを含む
   予測方法。
9. 請求項１乃至８のいずれか１つに記載の予測方法であって、
   前記第１の時系列データは、３次元位置データを含む
   予測方法。
10. ユーザ用の仮想現実ビューを生成する方法であって、
    請求項１乃至９のいずれか１つに記載の予測方法に従って前記ユーザの動きを判断することと、
    前記ユーザの前記動きに基づいて前記仮想現実ビューを生成することと、
    前記仮想現実ビューを前記ユーザに表示することと
    を含む
    生成方法。
11. 請求項１０に記載の生成方法であって、さらに、
    前記ユーザの所定の動きに対する前記位置センサの予想される第１の時系列データを計算することと、
    前記ユーザに前記所定の動きを実行するよう促すために、前記ユーザに対して、前記仮想現実ビューを変化させ、音声を出力し、かつ／あるいは、匂いを発することと、
    前記予想される第１の時系列データに対する前記ユーザの前記所定の動きの前記位置センサの実際の第１の時系列データの誤差を判断することと
    を含む
    生成方法。
12. 請求項１１に記載の生成方法であって、さらに、
    前記誤差に基づいて前記運動モデルを調整すること、及び／又は、
    前記誤差に基づいて前記仮想現実ビューを連続的に変化させること
    を含み、
    前記誤差による前記仮想現実ビューの連続フレーム間の変化は、前記ユーザの知覚閾値未満である
    生成方法。
13. 請求項１０に記載の生成方法であって、さらに、
    前記仮想現実ビューにおける向きの誤差及び／又は位置の誤差を判断することと、
    前記ユーザに所定の動きを実行するよう促すために、前記ユーザに対して、前記仮想現実ビューを変化させ、音声を出力し、かつ／あるいは、匂いを発することと、
    前記ユーザが前記所定の動きを実行している間、前記向きの誤差及び／又は前記位置の誤差に基づいて前記仮想現実ビューを連続的に変化させることと
    を含み、
    前記向きの誤差及び／又は前記位置の誤差による前記仮想現実ビューの連続フレーム間の変化は、前記ユーザの知覚閾値未満である
    生成方法。
14. 請求項１１又は１３に記載の生成方法であって、
    前記仮想現実ビューを変化させることは、前記仮想現実ビューにおける視線の方向を変化させること又は前記仮想現実ビューの中にある少なくとも１つのオブジェクトの形状を変化させることを含み、
    前記仮想現実ビューの連続フレーム間の前記視線の方向の変化又は前記少なくとも１つのオブジェクトの前記形状の変化は、前記ユーザの知覚閾値未満である
    生成方法。