JP6968906B2 - 装着機器の方位推定方法 - Google Patents

Description

本発明は、方位情報を検出するための少なくとも第１のセンサと加速度センサとを備える装着機器の空間的な方位に依存して視覚情報を表示するための方法、及びこのような方法を実施するための装着機器に関する。

特に仮想現実又は拡張現実を表示する場合には、視覚情報を表示するための装着機器は、頭部に固定された撮像機器を介して仮想表現の画像をユーザに示すか、又は、例えば観察する物体に情報を加えることによって現実の画像撮影を補足する。ユーザの頭部動作時には、頭部動作に応じて画像が装着用機器内で移動される。正しい適合のためには頭部の方位を常に特定する必要がある。これは、通常、回転速度センサ及び３軸加速度センサを介して行われる。しかしながら、回転速度センサの測定値は誤っていることも多く、実際の向きと計算された向きとが異なっている場合もある。加速度センサのデータを参照して補正値を計算することができる。しかしながら、通常、加速度センサは、重力加速度と、装着機器が動いた場合に生じる加速度とを区別することができない。さらにそれぞれのセンサは、測定値をさらに歪ませる恒常的な背景雑音にさらされる。これらのセンサ測定データを補正するためには、データの複雑なフィルタ処理、並びにさらなる複雑な計算が必要であり、補正されたセンサ測定データを表示にフィードバックする必要がある。表示の頻繁な補正は、高いエネルギー消費をもたらすこともある。特にユーザが固定位置に留まっている場合には、連続的な補正はユーザにとって煩わしいと感じられることがある。

本発明の基礎をなす課題は、センサによって空間内の機器の方位の推定値を効率的に、エネルギー節約及びデータ節約して補正することを可能にする方法及び装着機器を提供することである。

この課題は、独立請求項のそれぞれの対象によって解決される。本発明の有利な構成がそれぞれの従属請求項の対象である。

本発明の一態様によれば、装着機器の空間的な方位に依存して視覚情報を表示する方法が提供される。装着機器は、少なくとも、方位情報を検出するための第１のセンサと加速度センサとを備える。装着機器では、検出された方位情報に基づいて装着機器の空間的な方位が推定され、この方位推定は、加速度センサによって検出されたセンサ計測データによって補正される。

本発明によれば、検出されたセンサ測定データに基づいて、装着機器が停止フェーズにあるのか、又は動作フェーズにあるのかが決定され、停止フェーズで決定された方位推定と、この停止フェーズで検出された加速度センサの測定データとに基づいて方位推定におけるエラーが決定される。停止フェーズでは、それぞれ現在の方位推定が、変更されずに視覚情報の表示の基礎をなし、本発明による方法では、停止フェーズで決定された方位推定時のエラーが後続の動作フェーズで考慮され、連続的に補正され、動作フェーズでは、それぞれ現在の補正された方位推定が視覚情報の表示の基礎をなす。

停止フェーズでは、ユーザの頭部、したがってユーザの頭部に配置された装着機器は安定して１つの位置に留まる。停止フェーズでは、方位推定の補正、したがって視覚情報の表示は行われない。特に頭部が１つの位置に固定されている場合又はゆっくりと動いた場合には、方位推定及び方位推定に基づいた視覚情報の表示の補正は、動作が素早く行われた場合よりもユーザによってより明確に知覚される場合がある。停止フェーズでは、加速度センサのセンサ測定データが測定され、重力加速度の測定されたベクトルが決定される。続いて、加速度センサにより測定された重力加速度のベクトル又は測定されたセンサ測定データを用いて、方位推定のエラーを決定することができる。エラーの計算は、方位推定によって得られる重力加速度のベクトルと測定された重力加速度のベクトルとのずれに基づいて行われる。

これに対して、動作フェーズではユーザは頭部を動かし、ひいては装着機器も動かす。例えば、装着機器は、上方又は下方へ、又は一方側へ回転されることもある。この場合、動作に起因する加速度が重力加速度の測定に重ねられる。動作フェーズでは加速度センサを停止するか、加速度センサの測定の周期を遅くすることができる。その代わりに、決定され、記憶されている補正値だけ、方位推定値と、方位測定値に基づいた視覚情報、例えば画像などの表示とを動作フェーズで補正することができる。方位推定値の補正は、できるだけゆっくりと行うことができる。「ゆっくり」とは、方位推定に基づいた視覚情報の適合が、ユーザが動作時に補正を知覚することができないように、表示を急激に変更せずに徐々に行われることと理解されたい。

この方法では、それぞれのフェーズの利点を利用している。停止フェーズでは、ユーザの頭部動作に起因する装着機器の線形加速度に妨害されることなしに重力加速度を正確に測定することができ、したがって重力加速度のベクトルの測定精度を高めることができる。これにより補正値の精度を高めることもできる。ユーザの頭部が１つの位置に留まっている場合には同様に画像を移動させてはならない。なぜなら、人間の眼は頭部を停止させた位置で画像の軽微な回転又は揺れを十分に確認することができるからである。

動作フェーズでは、ユーザが表示の適合もしくは移動を知覚することは難しい。それにもかかわらず、方位の適合を素早く行うことができ、表示の長期の遅延又は画像の「残像」を防止することができる。表示の遅延は、ユーザのめまいの感覚を誘発することもある。既知の方法とは対照的に、加速度センサのセンサ測定データを連続的に決定する必要はなく、停止フェーズにおいてのみ測定し、評価すればよい。方位推定の補正を停止フェーズと動作フェーズとに分割することによって、装着機器は方法に基づいて特に計算効率良く、エネルギーを節約して動作することができる。

この方法の例示的な実施形態によれば、カメラ、回転速度センサ、マイクロフォン、及び／又は磁気センサを使用して方位情報を検出する。したがって、多数の可能なセンサによって方位情報を決定することができる。特に、例えばカメラなどの光学センサはセンサ測定データを検出することもでき、例えば、複数の画像を分析することによって、装着機器の動き及び空間内の装着機器の向きについての情報を提供することができる。

方法の別の例示的な実施形態によれば、停止フェーズ及び動作フェーズの決定は、方位情報を検出するための少なくとも１つの第１のセンサ及び／又は少なくとも１つの加速度センサのセンサ測定データに基づいて行われる。例えば、回転速度センサの規格化された信号を使用して、停止フェーズと動作フェーズとの間で切換を行うことができる。例えば、センサ測定値が所定の閾値よりも高い場合には、装着機器が動いていると仮定することができ、そうでない場合には停止フェーズであると仮定することができる。代替的又は付加的に、加速度センサの信号を検出のために使用することができる。例えば、現在の加速度値と、例えば、最後の１００ミリ秒の平均加速度値との差が、定義された閾値よりも大きい場合には、装着機器が動いていると仮定することができ、そうでない場合には装着機器の停止フェーズを仮定することができる。上述の２つの条件及びセンサの組み合わせを使用することもできる。しかしながら、代替的に又は付加的に、カメラシステムを用いて方位を決定することもできる。

方法の別の例示的な実施形態によれば、停止フェーズで決定されたエラーに基づいて、後続の動作フェーズでこのエラーを連続的に補正するための少なくとも１つの補正値が決定される。動作フェーズ又は頭部の動作時に、補正値の形式で方位推定の補正を連続的に行うことができる。補正値は、それぞれの段階において方位推定に影響を及ぼすことができる。例えば、補正値を回転角度として定義することもでき、推定された方位をこの回転角度だけ補正のために回転する必要がある。補正値を選択する目的は、ユーザが補正を知覚できることを回避するために、方位推定の推定エラーが生じた場合に穏やかな補正を行うことである。補正値は、例えば、実際の推定エラーの一部又は係数であってもよい。方位推定値の補正、したがって表示の補正は、実際の推定エラーが完全に補正されるまで、表示のいくつかの段階又は更新ステップにわたって補正値を用いて行うことができる。動作フェーズで推定エラーが完全に補正された場合には、補正値はゼロに等しく設定され、次の停止フェーズまでさらなる補正は行われない。

この方法の別の実施形態によれば、現在の補正値はそれぞれ装着機器の動きに適合される。ユーザが方位推定値の補正にできるだけ気付かないように、補正値によって動作に応じて補正を行うことができる。装着機器もしくはユーザの頭部の動作に必要な補正もしくは補正値を重ねことができる。このために、エラー補正は、装着機器が動いた場合に直ちに完全に行うのではなく、機器の動きの強さに応じて選択し、いくつかの段階にわけて行う。例えば、加速度センサのセンサ測定データから重力加速度を差し引いた値に比例した補正値を定義することができる。

この方法の別の実施形態によれば、補正値を適合する場合には装着機器の回転速度が考慮される。したがって補正値は、回転速度センサのセンサ測定データに線形に、又は２乗で比例し、ユーザの頭部の回転動作に基づいて、連続的に補正された方位推定は視覚情報の表示の基礎をなすことができる。

この方法の別の実施形態によれば、加速度センサは、動作フェーズでは停止フェーズよりも低いサンプリングレートで作動される。この場合、加速度センサを補助的に接続することができる。特に、この措置により、加速度センサはセンサ測定データを連続的に決定せず、したがって電気エネルギーを連続的に供給する必要がないので、装着機器のエネルギー消費を低減することができる。

この方法の別の実施形態によれば、加速度センサは、動作フェーズで停止される。加速度センサのセンサ測定データの読み出し、及び推定される方位のエラーの計算は、装着機器が停止フェーズにある場合にのみ行えばよい。したがって、この方法によって、エネルギー効率よく方位推定の補正を行うことができる。加速度センサは、好ましくは、移動フェーズでは完全にスイッチオフすることができる。これにより、加速度センサは停止フェーズにおいてのみ高精度でデータを取得することができる。したがって、停止フェーズで収集されたこれらのデータは、線形加速度によって歪んでいる恐れのある、動作フェーズにおいて収集された可能性のあるデータによって影響されることはない。さらに、動作フェーズにおいて加速度センサをスイッチオフにすることによって、データ量を大幅に低減することができる。

本発明の別の態様によれば、本発明の前述の態様にしたがった方法により空間的な方位に依存して視覚情報を表示するための装着機器が提供される。装着機器は、方位情報を検出するための少なくとも１つの第１のセンサと加速度センサとを含む。

装着機器は、好ましくは、ユーザの頭部に配置又は固定することができる。頭部の動きに応じて、装着機器の停止フェーズ又は動作フェーズを決定することができる。例えば、ユーザの頭部がほとんど動かないか、又は動かない場合には、少なくとも１つのセンサ及び／又は加速度センサのセンサ測定データに基づいて、停止フェーズであると決定することができる。

停止フェーズでは、加速度センサのセンサ測定データに基づいて、実際の重力加速度との比較により加速度センサのエラーが決定される。このエラーは、停止フェーズにメモリに記憶することができる。例えば、装着機器の動作フェーズが検出された場合には、記憶されたエラーに基づいて、補正された方位推定値を計算することができ、この方位推定値は、視覚情報の補正された表示のための基礎として使用することができる。例えば、加速度センサは、移動フェーズに停止してもよいし、又はより少ないセンサ測定データを検出してもよい。これにより、エネルギーをさらに節約して装着機器を構成することができる。さらに、評価する必要のあるセンサ測定データが少なくなり、これにより、装着機器の計算能力を低減することができる。

次に、著しく簡略化された概略図に基づいて本発明の好ましい例示的な実施形態を詳細に説明する。

第１の実施形態による方法の概略図である。 第２の実施形態による方法の概略的なフロー図である。 第１の実施形態による方法を実施するための装着機器の概略図である。

図１は、第１の実施形態による方法１の概略図もしくはブロック図を示す。この場合、ユーザの頭部動作に画像を適合させるために方位推定２を行う。異なる動作センサデータを使用してユーザの頭部動作を計算する。この実施形態によれば、３軸式の回転速度センサ６が方位推定２のためのセンサ測定データ８を作成するために使用される。回転速度センサ６は、方法１を実施するための装着機器Ｇ（図３に示す）の方位推定２のための主要情報源として利用される。装着機器Ｇの初期位置が既知である場合には、センサ測定データ８の構成要素である回転速度１０を測定し、数値的に積分することによって装着機器Ｇの方位２を計算することができる。この計算は、推定された方位２のレイテンシをできるだけ短くするために短い時間間隔をおいて行われる。回転速度センサ６のセンサ測定データ１０は、ずれもしくはオフセットによってエラーが伴っており、したがって装着機器Ｇを長期に使用した場合には、装着機器Ｇの実際の方位と計算した方位２とが異なることがある。このずれもしくはオフセットはエラー値１２の原因となる場合がある。３軸加速度センサ４のセンサ測定データ１４がエラー値１２を計算するために使用され、これによりエラー値１２を計算することができる。したがって、エラー値１２は、測定された重力加速度１６と、計算した方位２から取り出し、推定した重力加速度ｇのベクトルとの差から得られる。しかしながら、加速度センサ４のセンサ測定データ１４は、ユーザの頭部動作の線形加速度によって歪む。さらに、装着機器Ｇの画像表示の補正が停止フェーズ２０にユーザによって登録され、とりわけ、ユーザのめまいを誘発する場合がある。したがって、加速度センサ４による重力加速度の測定１６の前にまず動作検出１８が行われる。動作検出１８は、回転速度センサ６又は他のセンサによって代替的又は補助的に行うこともできる。動作検出１８により、ユーザの頭部動作の停止フェーズ２０と動作フェーズ２２とを区別することができる。動作検出部１８、回転速度センサ６の測定データ１０と加速度センサ４の測定データ１４とに基づいて、装着機器Ｇが停止フェーズ２０にあるか動作フェーズ２２にあるかを判定する。

動作検出１８によって停止フェーズ２０が検出された場合には、加速度センサ４によって重力加速度１６の測定が開始され、推定された重力加速度ｇのエラー値１２が決定される。引き続いて、このエラー値１２から、装着機器Ｇによって伝送された画像を適合するための補正値２４がエラーメモリ２６に記憶される。

動作検出部１８によって動作フェーズ２２が検出された場合には、エラーメモリ２６からの補正値２４に基づいて補正係数２８が決定される。この実施形態では、補正係数２８は装着機器Ｇの動きの強さに応じて設定される。引き続いて補正係数２８に補正値２４を乗算し、その解３０を装着機器Ｇの方位推定２に適用して、補正された方位推定値３２を計算し、これにより、画像の補正された向きとして、ユーザの動作に対して画像もしくは視覚的な情報３３の表示の適合３４を行うことができる。補正３０の後、エラーメモリ２６に記憶されたエラー値２４は、補正３０に適用された補正係数２８だけ低減される。エラーメモリ２６内の補正値２４がゼロに等しくなるまで、補正係数２８だけ補正３０を繰り返すことができる。方位推定値２のゆっくりとした補正３０と、装着機器Ｇの画像の連続的な適合３４とによって、動作フェーズ２２ではユーザによって登録されない穏やかな補正を実現することができる。

重力加速度ｇの方向に直交するユーザの頭部の動作、いわゆる「ヘディング」Ｈの方位推定のエラーもしくはずれは、加速度センサ４によって補正することができない。この補正のために、方法１では３軸磁気センサ３６を使用する。この磁気センサ３６は、地球の磁気的なＮ極Ｎ（図３に示す）を検出し、「ヘディング」Ｈについて機器Ｇの回転差３８もしくはエラー３８を決定することができる。決定されたこのエラー３８を用いて、「ヘディング」Ｈのための補正係数４０を計算することができる。補正係数４０は、方位推定２の補正３０のために付加的に使用することができる。磁気センサ３６の測定は装着機器Ｇの動き及び加速度によって極わずかにしか影響されないので、重力加速度ｇの方向に直交する装着機器Ｇの動きに対して磁気センサ３６を使用する場合には、停止フェーズ２０と動作フェーズ２２とへの分割、及びエラーメモリ２６の使用は随意である。しかしながら、ユーザが補正を知覚することを防止するために、補正は動作フェーズにおいてのみ行うことが望ましい。

図２は、概略的なフロー図を用いて第２の例示的な実施形態による方法１を示す。方法１は反復的に実行することができる。第１のステップでは、センサ測定データ８，１０，１４に基づいて、装着機器Ｇを停止フェーズ２０又は動作フェーズ２２に割り当てることができるかどうかが決定される。センサ測定データ８，１０，１４に基づいて停止フェーズ２０であると決定することができる場合には、方位推定値２と、この停止フェーズ２０において検出されたセンサ測定データ８，１０，１４とに基づいて方位推定値２のエラー１２が決定される。引き続き、エラー値１２は、次の動作フェーズ２２で使用するためにエラーメモリ２６に記憶される。原則として、停止フェーズ２０の後に動作フェーズ２２を続けることができる。停止フェーズ２０では方位推定値２は変更も補正もされない。むしろ、変更されていない方位推定値２に基づいて視覚情報３３の表示が出力される。これに対して、動作フェーズ２２が確認された場合には、停止フェーズ２０で決定されたエラー値１２に基づいて方位推定値２の補正３０が行われる。この場合、補正３０は連続的に行われ、方位推定２は、ユーザにできるだけ気づかれないように行ことができる。これに対応して、エラーメモリ２６に記憶された補正値２４は、既に行われた方向推定値２の補正３０にしたがって適合される（２７）。エラーメモリ２６に記憶された補正値２４は、例えば、所定の係数又は値だけ減少させることができる。行われた方位推定値２の補正３０に基づいて、補正された方位推定値３２が決定される。動作フェーズ２２では、補正された方位推定値３２は視覚情報３３の表示の基礎をなす。

補正された方位推定は、さらなる段階において代替的又は付加的に、第１のセンサ６もしくはこの実施形態によれば回転速度センサ６を用いて方位推定２を決定するための基礎として使用することができる。補正された方位推定値３２は、例えば、ヨーレートセンサ６の回転速度との時間積分のための出力値として使用することができる。

図３は、第１の例示的な実施形態による方法１を実施するための装着機器Ｇの概略図を示す。この実施形態によれば、装着機器Ｇはユーザの頭部で固定可能なホルダ４２を有する。ホルダ４２は、弾性的なベルト４４を介してユーザの頭部に適合し、固定してもよい。ホルダ４２は撮像機器４８を有する。ホルダ４２は光学系（図示しない）を有し、電子機器及びセンサを備えている。ホルダ４２は、加速度センサ４と、回転軸センサ６と、磁気センサ３６とを有している。重力加速度ｇの方向に直交する、もしくは装着機器Ｇの回転軸線Ｒを中心としたユーザの頭部の動作は「ヘディング」Ｈである。磁気センサ３６は磁石のＮ極Ｎを登録し、磁石のＮ極Ｎからの装着機器Ｇの回転のずれを検出することができる。

Claims (8)

1. 装着機器（Ｇ）の空間的な方位に依存して視覚情報（３３）を表示する方法（１）であって、装着機器（Ｇ）が、少なくとも、方位情報を検出するための第１のセンサ（６）と、加速度センサ（４）とを備え、
   検出された方位情報（２）に基づいて装着機器（Ｇ）の空間的な方位が推定され、
   この方位推定（２）が、加速度センサ（４）によって検出されたセンサ測定データ（８，１４，１６）によって補正される方法において、
   検出されたセンサ測定データ（８）に基づいて、装着機器（Ｇ）が停止フェーズ（２０）にあるのか、又は動作フェーズ（２２）にあるのかを決定し、
   停止フェーズ（２０）で決定された方位推定と、この停止フェーズ（２０）で検出された加速度センサ（４）のセンサ測定データ（８，１４，１６）とに基づいて方位推定におけるエラー（１２）を決定し、
   停止フェーズ（２０）では、それぞれ現在の方位推定が、変更されずに視覚情報の表示（３３）の基礎をなし、
   停止フェーズ（２０）で決定した前記エラー（１２）に基づいて、後続の動作フェーズ（２２）で該エラー（１２）を連続的に補正するための少なくとも１つの補正値（２４）を決定し、
   動作フェーズ（２２）では、前記少なくとも１つの補正値（２４）に基づいて補正された前記エラー（１２）に基づいて該動作フェーズ（２２）における方位推定の結果を補正し、補正された方位推定の結果に基づいて視覚情報（３３）を表示することを特徴とする方法。
2. 請求項１に記載の方法において、
   カメラ、回転速度センサ（６）、マイクロフォン、及び／又は磁気センサを使用して方位情報を検出する方法。
3. 請求項１又は２に記載の方法において、
   方位情報を検出するための少なくとも１つの第１のセンサ（６）及び／又は少なくとも１つの加速度センサ（４）のセンサ測定データ（８，１０）に基づいて、前記停止フェーズ（２０）及び前記動作フェーズ（２２）の決定を行う方法。
4. 請求項３に記載の方法において、
   現在の前記補正値（２４）をそれぞれ前記装着機器（Ｇ）の動きに適合させる方法。
5. 請求項４に記載の方法において、
   前記補正値（２４）を適合する場合に前記装着機器（Ｇ）の回転速度を考慮する方法。
6. 請求項１から５までのいずれか１項に記載の方法において、
   前記動作フェーズ（２２）で、前記停止フェーズ（２０）よりも低いサンプリングレートで前記加速度センサ（４）を作動する方法。
7. 請求項１から５のいずれか１項に記載の方法において、
   前記動作フェーズ（２２）で前記加速度センサ（４）を停止する方法。
8. 請求項１から７までのいずれか一項に記載の方法（１）により空間的な方位（２）に依存して視覚情報を表示するための装着機器（Ｇ）において、
   方位情報を検出するための少なくとも１つの第１のセンサ（６）と、
   加速度センサ（４）と
   を含む装着機器（Ｇ）。

Images