JP5987247B2 - データ融合によるモーションキャプチャポインタ - Google Patents

データ融合によるモーションキャプチャポインタ Download PDF

Info

Publication number
JP5987247B2
JP5987247B2 JP2011515397A JP2011515397A JP5987247B2 JP 5987247 B2 JP5987247 B2 JP 5987247B2 JP 2011515397 A JP2011515397 A JP 2011515397A JP 2011515397 A JP2011515397 A JP 2011515397A JP 5987247 B2 JP5987247 B2 JP 5987247B2
Authority
JP
Japan
Prior art keywords
pointing
sensor
angular velocity
state
kalman filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011515397A
Other languages
English (en)
Other versions
JP2011526019A (ja
Inventor
バッサムピエール、シンディ
カリトゥ、ヤニス
フラマン、ブルーノ
ヴァシレフ、アンドレア
Original Assignee
モベア エス.アー
モベア エス.アー
コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ
コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to FR0803632 priority Critical
Priority to FR0803632A priority patent/FR2933212B1/fr
Application filed by モベア エス.アー, モベア エス.アー, コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ, コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ filed Critical モベア エス.アー
Priority to PCT/EP2009/058024 priority patent/WO2009156499A1/fr
Publication of JP2011526019A publication Critical patent/JP2011526019A/ja
Application granted granted Critical
Publication of JP5987247B2 publication Critical patent/JP5987247B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor

Description

本発明は、運動センサが取り付けられた物体の利用に関し、この物体を携行するユーザの運動を平面内の点の運動に変換するために使用される。この物体は用語「ポインタ」により総称的に示される。ユーザは通常、自分の手の中にポインタを保持するが、アプリケーションに依存して他の携行様式(携行者(carrier)の頭または手足の1つに固定すること等)が容易に考えられる。ポインタは、特には、以下の多様な機能を有する。
−ポインタがメニューから選択されるプログラムまたは機能であるオーディオ機器(テレビ、ディスク読み取り/記録器、ハイファイシステム)のリモコン、
−ポインタが家電製品を指定しそれに機能を実行させる家電製品のリモコン、
−ポインタがコンピュータにより実行されるアプリケーションの機能としてプログラムされたコンピュータリモコン、
−ゲームに依存してポインタがユーザにより操作される物体(ゴルフクラブ、テニスラケット、ボウリングボール、拳銃、ヒップガン(hip gun)、またはライフル等)であってよいコンピュータゲームインターフェース、
−運動能力低下者用のマンマシンインターフェースまたはリモコンの補助装置(例えば、運動欠陥を有する人、すなわち画面にポインタを向けるために従来の携帯型マウスを使用できない人を支援するためのポインタの頭への固定具、眼鏡、イヤホーン、あるいは頭の運動に結び付けられた他の任意の部品)。一般的には、ポインタは命令の選択を可能にするボタンを装備している。このボタンは、機能(またはサービス)を実行するようにあるいは指し示すジェスチャ中に異なるポインタ状態を関連付けるようにプログラムされてよい(「押されたボタンに伴う軌跡」対「離されたボタンに伴う軌跡」。例えば、画面上の点の状態だけではなく、それ自体が行為等に関連付けられ得るカーソルの軌跡も情報としてとることができる)。空間上のポインタの運動は回転と平行移動を含む。これらの運動は様々なタイプのセンサにより測定されてよく、例えば、
−イメージセンサは、連続画像の比較と幾何学的変換により同一時間に回転と平行移動を測定することができる。
−磁力計、加速度計、または単軸ジャイロメータは、単軸の回りの回転を測定することができる。
−磁力計、加速度計、および/またはジャイロメータの組み合わせは、平行移動およびいくつかの軸の回りの回転を測定することができる。
−上述のタイプのセンサの組み合わせは、測定精度と、信頼区間の判別を可能にする冗長度とを改善することができる。
−上記組み合わせは、1つまたは複数のカメラといくつかの磁力センサ、加速度センサおよび/またはジャイロセンサを含むことができる。
加速度に反応しない別の回転センサは輝度センサであってもよい。センサが光電管である場合、この光電管により受光される光量はその受光面積とその法線に対する光線の傾斜角の余弦とに比例することが知られている。光源は、太陽、あるいは動作経験全体にわたってその放射光線が互いに平行と考えられる十分離れて位置する他の(電球形)擬似点光源であってよい。変わりやすい周囲輝度の問題を回避するために、「ハエの眼」多面型センサ(受光角方向は、最も高い光束を測定する面である)を利用できると有利である。
これら運動感知ポインタのアプリケーションが解決しなければならない一般的な問題は、ユーザがポインタを保持するやり方、特に空間上のポインタの配向を考慮することである。実際、ポインタが水平に保持される代わりに例えば45°で保持される場合、ポインタの水平または垂直方向運動は、ポインタが対角運動により指し示す画面上に伝達されることになる。この現象は「傾き(tilt)」または「ねじれ(torsion)」という名で知られている。したがって、「傾き」または「ねじれ」は、ポインタが利用可能となるように補正されなければならない。
この問題を解決するための第1の手順は、ユーザがポインタにねじれ運動を与えたときにセンサが画面の基準系のほぼ固定された位置のままであるように、機械的手段を設けることである。したがって、その基部が、ポインタに与えられるねじれ運動にもかかわらずほぼ固定されたままであるのに十分な慣性を有する振り子のやり方でポインタ内で移動できる1つまたは複数のセンサを設けることが可能である。このような装置は米国特許第5,453,758号明細書に開示されている。船または航空機上のコンパスの場合のように、回転軸によりポインタに結び付けられた一対の球からなる安定化装置内にセンサを密閉することも可能である。このような装置は米国特許第5,440,326号明細書に開示されている。ポインタのねじれを補償するためのこれら機械装置の第1の欠点は、これら機械装置がねじれ角および変位速度の制限範囲に限定されるということである。第2の欠点は、これらの装置がかさばるということである。第3の欠点は、これらの装置の機械的慣性と誘起される水平方向の位置合わせの遅れとにあり、したがってこれらの装置は実時間のポインティングアプリケーションから除外される。
ポインタのこのねじれを補償するための第2の手順は、ポインタ上に埋め込まれたセンサ(特に加速度計)のいくつかの測定結果を使用することによりねじれ角を計算し、その後この測定結果にその係数が1つまたは複数のねじれ角に依存する1つまたは複数の回転行列を適用することにより他のセンサの測定結果をポインタの基準系から画面の基準系へと変換することである。このような手順は特には、主センサがジャイロメータであり、ねじれ角を計算するためのセンサが加速度計である米国特許第5,902,968号明細書、主センサが加速度計に結合されたカメラであり、そのカメラの組み合わせにより傾き補正を可能にする米国特許出願公開第2004/0075650号明細書、主センサがGPS受信機であり、傾き補正センサが一組の加速度計である米国特許出願公開第2002/0140745号明細書、および主センサが1つまたは複数のジャイロメータからなり、傾き補正センサが1つまたは複数の加速度計からなる米国特許第7,158,118号明細書に開示されている。この手順は、ねじれ角がいくつかのセンサだけの測定結果により計算される限り雑音のある結果を与えるという欠点がある。
本発明は、ポインタに与えられる配向を広い動作範囲で補償することができる小型装置を提供することにより、従来技術により解決されなかった問題を解決する。したがって、本発明は、データ融合に基づき様々な解決手順を実施することができる。このような手順の第1の群は観測器を使用し、第2の群は最適化基準を用いる。
この目的のため、本発明は、ユーザが平面内の可動要素で指し示すためのポインティング装置を開示する。本ポインティング装置は、少なくともその2つの直交軸(Y,Z)の回りの装置の角速度(ω,ω)を測定するための少なくとも1つの第1のセンサと、2つの軸(Y,Z)と1つの第3の直交軸(X)に関連して装置の線形変位を測定するための少なくとも1つの第2のセンサと、空間上のポインタの変位(X,Y,Z)の関数として平面内の可動要素に与えられる変位(y,z)を計算するためのモジュールであって、第1と第2のセンサの出力に適用されるデータ融合アルゴリズムを実施することにより、ポインティング装置に与えられたねじれを補償するためのサブモジュールを含む計算モジュールと、を含む。ここで、データ融合アルゴリズムは下記条件:その状態ベクトルはオイラー角と四元数(quaternions)からなる群から選択されるねじれの少なくとも1つの表現を含む;その状態モデルは上記表現の少なくとも1つの一次微分方程式を含む;その測定ベクトルは、少なくとも軸X,Y,Zに関する第2のセンサの測定結果を含む;のうちの少なくとも1つを満たす少なくとも1つの非線形演算子を含む。
有利には、第1のセンサは2軸ジャイロメータである。
有利には、第1のセンサは3軸ジャイロメータである。
有利には、第2のセンサは出力a、a、aを生成する3軸加速度計である。
有利には、データマージアルゴリズムは拡張カルマンフィルタである。
有利には、カルマンフィルタは、下記条件:その状態ベクトル(x)はポインティング装置の少なくとも1つのねじれ角(θ、ψ)を含む;その状態モデルはねじれ角(θ、ψ)の少なくとも1つの関数として少なくともポインティング装置の角速度(ω)の表現を含む;その測定ベクトルは少なくとも第2のセンサの出力(a,a,a)を含む;のうちの少なくとも1つを満たす。
有利には、カルマンフィルタの状態ベクトルは事前選択された状態[θψ]に初期化され、カルマンフィルタサンプリング工程kにおける状態ベクトル
の事前推定は下記式を介し計算される。
ここでTはフィルタサンプリング期間である。
有利には、カルマンフィルタサンプリング工程kにおける測定結果
の事前推定は下記式を介し計算される。
有利には、カルマンフィルタの利得Gは以下の式を介し計算される。
有利には、カルマンフィルタサンプリング工程kにおいて事前推定される状態の補正は下記式を介し計算される。
有利には、ユーザの基準系における角速度の成分ωとωは下記式を介し計算される。
有利には、カルマンフィルタは、下記条件:状態(x)の初期値に合致する信頼度の行列Pは10−2程度の選択値を含む;その状態モデルに合致した信頼度の行列Qはその最大が第1のセンサの測定結果の雑音の標準偏差よりわずかに大きい選択値を含む;カルマンフィルタの測定モデルに合致した信頼度の行列Rはその最大が第2のセンサの測定結果の雑音の標準偏差よりわずかに大きい選択値を含む;のうちの少なくとも1つを満たす。
有利には、カルマンフィルタは、下記条件:その状態ベクトル(x)は[cosα/2,sinα/2u,sinα/2u,α/2u]形式の四元数である;その状態モデルは下記形式である;
その測定ベクトルは、少なくとも第2のセンサの出力(a,a,a)を含む;のうちの少なくとも1つを満たす。
有利には、ユーザの基準系の角速度の成分ωとωは下記式を介し計算される。
有利には、カルマンフィルタは下記条件:その状態ベクトル(x)は[a,b,c,d]=[sinθ,cosθ,sinψ,cosψ]形式である;その状態モデルは下記形式である;
その測定モデルは下記形式である;
のうちの少なくとも1つを満たす。
有利には、ユーザの基準系の角速度の成分ωとωは下記式を介し計算される。
有利には、カルマンフィルタ(x)の状態ベクトルは[θ,ψ,ωu,ωv,ω]形式であり、その測定ベクトルは[ax,,a,ω,ω,ω]形式である。
有利には、カルマンフィルタの状態モデルは下記形式である。
ここで、τは角速度の発展モデル(evolution model)の時定数であり、測定モデルは以下の形式の1つである。
または
有利には、最適解決手順は基準として次の関数を有する最適化である。
ここで、一対のベクトル(measurementssensors、measurementsestimated)は下記群から選択される。
本発明はまた、空間上の物体であって、少なくとも2つの軸に関する物体の変位の角速度と少なくとも2つの角度に関するそのねじれとの情報表現を提供する少なくとも1つのセンサを装備する物体の運動および/または配向を特徴づけるパラメータを推定する方法を提供する。本方法では、観測器と最適解決手順との群から選択されるデータ融合アルゴリズムは、下記条件:その状態ベクトルはオイラー角と四元数からなる群から選択されるねじれの少なくとも1つの表現を含む;その状態モデルは上記表現の少なくとも1つの一次微分方程式を含む;その測定ベクトルは上記ねじれの少なくとも1つの情報表現を含む;のうちの少なくとも1つを満たす。
有利には、データ融合アルゴリズムは拡張カルマンフィルタを実施する。
有利には、カルマンフィルタは下記条件:その状態ベクトル(x)は物体のねじれ(θ、ψ)の少なくとも1つの角度を含む;その状態モデルは物体のねじれ角(θ、ψ)の少なくとも1つの関数として少なくとも物体の角速度(ω)の表現を含む;その測定ベクトルは少なくとも物体の線形加速度(a,a,a)を含む;のうちの少なくとも1つを満たす。
有利には、カルマンフィルタ(x)の状態ベクトルは[θ,ψ,ω,ω,ω]形式であり、その測定ベクトルは[a,a,a,ω,ω,ω]形式である。
有利には、非線形演算子は最適解決手順を実施する。
本発明の別の利点は、ロール角とピッチ角を補償できるようにすることである(たいていの従来技術文書の場合のように前者だけでなく)。さらに、本発明は、その構成を特にアプリケーションの目標コストと規定された性能の関数として選択することができるいくつかのタイプのセンサと互換性がある。また、付加的な利点は、傾き補償アルゴリズムのパラメータを目的コストと規定された性能の関数として調整することができるということである。
いくつかの例示的な実施形態の以下の説明とその添付図面から本発明はさらに良く理解され、その様々な特性と利点が浮かび上がる。
本発明の実施形態によるポインタのハードウェアアーキテクチャを単純化されたやり方で表す。 本発明の一実施形態における、画面上のポインタとカーソルの運動が計算される様々な基準系の定義を示す。 図2の様々な基準系を切り替えるための関係を示す。 本発明の説明に用いられる座標およびロール角とピッチ角について説明する。 3軸ジャイロメータを含む一実施形態におけるポインティング装置を表す。 本発明のいくつかの実施形態における処理タスクのフローチャートである。
図1は、本発明の一実施形態によるポインタのハードウェアアーキテクチャを簡略的に表す。
ポインティング装置10すなわちポインタは、TVリモコンの形式および形状(すなわち、細長くかつユーザの手に保持され得る形式)を有すると有利である。あるいは、ポインティング装置10は特にゲームアプリケーションではユーザの手足の1つに固定されてもよい。ポインタは、平面(例えば、画面または書き込み面)内で動くことができる可動要素に関連付けられる。この可動要素の運動はポインタの運動により制御される。ポインタは、リモコンによりアクセスが可能となる機能を制御するためにその面のいくつかにボタンを備えると有利である。ポインタは電源60と制御対象用の送信チャネル70とを含む。高周波送信は、ブルートゥース波形およびプロトコル、あるいはWi−Fi波形およびプロトコル(標準規格802.11g)により実行されてよい。送信は、赤外線または高周波により実行されてよい。送信信号は、一方ではポインタの本体上に存在するボタンのうちの1つの押し下げ(機能の実行をトリガする)に対応し、他方では制御対象の制御画面上のカーソルの運動を制御するようにポインタの運動を感知することに対応する命令である。これらの制御信号は、ユーザによりポインタに与えられるねじれを補償するためのサブモジュール50を含む計算モジュール40により生成される。この計算モジュールは、マイクロプロセッサ(例えば、計算時間という点で最も厳しいアプリケーションに対してはDSP Texas Instruments TMS320VC5509)、あるいはARMコア(例えば、STR9ファミリー(特には、STMのSTR9F12FAW32)の1つ)を有する32ビットマイクロコントローラを含む。計算モジュールはまた、実行すべきコードと必要とする永久データとを格納するのに必要なフラッシュメモリと、ダイナミックワークメモリとを含むことが好ましい。計算モジュールは入力として2つのタイプのセンサからの出力を受信する。一方、角速度センサ20は、2軸または3軸に関するポインタの回転を測定する機能を有する。これらのセンサは好ましくはジャイロメータである。これらは2軸ジャイロメータまたは3軸ジャイロメータであってよい。これらの2つの実施形態のそれぞれの長所については、図5に関する解説に関連して本明細書のさらに先で検討される。例えば、Analog Devicesにより提供されるジャイロメータ(参考としてADXRS300)を使用することができる。しかしながら、角速度を測定することができる任意のセンサも使用可能である。具体的には、その画像処理が平行移動と回転の組み合わせである変位を推定するように連続画像を比較するカメラが考えられる。しかしながら、この場合、ジャイロメータに必要とされるものよりかなり大きな計算能力を有する必要がある。また、地磁界に対するその変位の測定がこの磁場の基準系に対する回転を測定できるようにする磁力計を使用することもできる。例えば、参考としてHoneywell社のHMC1001またはHMC1052あるいはNXP社のKMZ41を有する磁力計を使用することができる。いずれのセンサが使用されても、それらの測定結果はポインタの基準系において読み取られる。この基準系がユーザの基準系およびポインタの基準系と(位置変換範囲内で)同一でない場合、測定は、可動要素の不整合変位を生じさせる偏位に悩まされる。このため、計算モジュール40内には、その機能がポインタを保持するユーザの手足の変位の関数(この関数は、ユーザによりポインタに与えられるねじれの影響に対し補正される)として平面内の可動要素の変位を計算することである補償サブモジュール50が設けられる。補償サブモジュールは、入力として、ポインタの線形加速度a、a、aを測定する第2のセンサ30からの出力を受信する。好ましくは、センサ30は3軸加速度計である。センサ20と30は両方とも、随意的に1つの同じ回路内にMEMS(微小電気機械システム:Micro Electro Mechanical System)技術により作製される(例えば、参考加速度計としてAnalog DevicesのADXL103、ThomsonのLIS302DL、参考ジャイロメータとしてMelixisのMLX90609、Analog DevicesのADXRS300)と有利である。妥当ならば、MEMSモジュールは、特定の実施形態(図5により示すものなど)が異なる位置決めを正当化する場合を除き、ポインティング装置の重心の近くに位置することになる。しかしながら、画像処理装置が追加されたカメラはまた、2つのセンサ20と30を置き換えることができ、ポインタの変位の角速度と線形加速度は連続画像の相関から推定可能であることに留意されたい。
図2には、ねじれを回避できるようにする基準系の変換を示す。
我々は、用語「画面基準系」により、画面に結び付けられた直交基準系(xyz)(ここで、z軸は下方向向き)を定義する。可動要素の変位は軸yとzに沿ったこの基準系内で定義される。第2の基準系は装置の基準系(XYZ)に対応し、Xはポインティングの主方向であり、Yは装置の右方向に向い、Zは装置の下方向に向かう。携行者基準系と名付けられた最後の基準系(uvw)はポインティング動作を生じる体の一部に関連付けられる。この基準系は、基準系(XYZ)を水平面に対応させて戻すことにより定義される。したがって、携行者の基準系から装置の基準系への切り換えは、2つの連続的な回転(ピッチθ、ロールψ)を介し実行される。また、携行者は必ずしも画面に対向していないので、この基準系から画面基準系(xyz)への切り換えは回転(ヨーφ)を介し実行される。
図3には、図2の様々な基準系間の切り替えの関係を示す。我々はここでは、可動要素の水平変位として携行者の水平運動(回転を有する)と、可動要素の垂直変位として携行者の垂直運動(回転を有する)を伝達しようとする。直観的に、我々は、ユーザが画面に対向していなく(非零ヨー角)ても運動は常に水平および垂直的やり方で行われるのでその結果は修正されないということがわかる。結局、回転は画面基準系ではなく携行者の基準系において測定されなければならない。したがって、画面基準系から携行者の基準系へ回転を伝達するヨー角は問題を生じない。
したがって、可動要素の水平変位はωにより測定される軸w回りの回転により定義され、垂直変位はωにより測定される軸v回りの回転により定義される。
我々は、装置の標準位置を、基準系(uvw)と(XYZ)が整合する(すなわち、ピッチとロール角が零である)位置であると定義する。このとき、装置は、ヨー角により画面基準系に対して回転された水平面内に位置する。
装置がこの位置にあるとき、2軸ジャイロメータにより測定される角速度(ωとω)はそれぞれωとωに等しい。これら2つの値は、ヨー角が何であれ、水平変位(ωにより表される軸w回りの回転)と垂直変位(ωにより表される軸v回りの回転)と、したがって画面上の可動要素の変位(dとd)とに関する直接情報を与える。
他方で、装置がもはや標準位置になく(ロールおよび/またはピッチ角が非零位置にあり、したがって基準系(uvw)と(XYZ)が整合しない)、携行者が垂直および水平変位(軸vとw回りの回転)を行う場合、測定結果ωとωはωとωとは異なる。したがって、それらを画面上の可動要素の変位に直接関連付けることはできない。このとき、ジャイロメータ測定結果ωとωを携行者の基準系(uvw)に対応させ、変位dとdをそこから推定するためには、携行者の基準系(水平面)に対する装置の基準系の配向(したがってピッチおよびロール角)を知る必要がある。
本発明の装置により、ピッチおよびロール角を考慮しつつ(適切であれば)角速度ωとωを決定することができる。
図4は本発明の説明に使用される座標とロールおよびピッチ角について説明する。基準系(uvw)から基準系(XYZ)へ切り替えるための回転を表現する回転行列Rは式1で表現される。
加速度センサとジャイロセンサは、ポインティング装置の基準系(XYZ)において(a,a,a)と(ω,ω)で表される測定結果をそれぞれ戻す。したがって、解決すべき問題は基準系(uvw)においてこれらの測定結果を表現することである。
基準系のこの変更を行うための従来技術で提案された解決策(特には、MEMSマイクロ加速度計およびマイクロジャイロメータを採用する米国特許第7158118号明細書により開示されたもの)は、以下の2つの要点により特徴づけられる。
−画面上の可動要素の変位への影響を除去するために携行者に対する装置のロール角を補償する。これは一般的には加速度測定により行われる。他方では、ピッチ角はロール角と同様に外乱を引き起こすが、これは補償されない。
−基準系を変更するための式の解析解。この場合、センサ測定結果は前処理なしに使用され、ロール角は加速度測定結果だけに基づいて決定される。したがって、画面上のカーソルの変位は、振動外乱が存在する場合(環境震動、低振幅の手の震えは測定雑音の増加、故障センサと等価である)あるいは突然の動作がなされた場合に、損なわれることがある。実際、これらの現象は加速度計により直接測定されるがそれにもかかわらず解析式により補正されなく、したがって結果の品位は低下する。したがってこの実施形態は余り頑強ではない。
本発明の好ましい実施形態では、ロール角とピッチ角の推定は同時であり、データ融合手順により行われ、これにより携行者に対する装置の配向に関する画面上での可動要素の変位の頑強性を改善することができる。2種類の解決手順、すなわち観測器を呼び出す手順と最適化基準を使用する手順とが使用可能である。第1の群では、好ましい実施形態は拡張カルマンフィルタ(EKF)を呼び出す。フィルタの利得により修正する測定ベクトルに基づき計算される技術革新であるカルマンフィルタでは、状態モデルにより事前推定される状態ベクトルがサンプリング周波数で挿入される。カルマンフィルタの拡張バージョンは、非線形の状態および測定モデルを使用できるようにする。この手順については、本明細書のさらに先で詳細に説明する。このフィルタ技術を採用することにより、ロール角とピッチ角を推定するように加速度測定結果とジャイロ測定結果をマージすることが可能になった。このようにして、測定結果に存在する誤差(測定雑音、外乱等)は互いに補正される。センサ測定結果を平滑化する操作がこのように行なわれ、これにより最適でありしたがって振動外乱に対して頑強な解に至る。これは、いかなる震動もない画面上での可動要素の変位を生成することによる本装置を採用することの明確な利点を表す。例示的な最適化手順は、本明細書のさらに先で示される。
図5は3軸ジャイロメータを含む実施形態のポインティング装置を表す。上に示したように、角速度センサは2軸または3軸を有することができる。第1の場合、角速度センサは2つの単一軸センサまたは2軸センサを必要とする。本発明によれば、ピッチ角(30°未満)の小さな値のポインタの運動に基づき平面内の可動要素の変位を計算することができる。この条件は、恐らく、運動の振幅が特に著しいゲームを除くたいていのポインタアプリケーションにおいて満足される。2つの測定軸を有するジャイロメータの選択は、3軸ジャイロメータに基づく解より実施するのが簡単でかつそれほど高価でない解である。この第2の解では、ポインティング装置は例えば、3軸加速度計MEMSセンサ20と、3つの単一軸あるいは1つの単一軸と1つの2軸からなる3軸ジャイロメータMEMSセンサ30とを含む。第3番目のジャイロメータ軸は、ピッチ角の値に関する制約を回避できるようにする。ピッチ角とロール角の補償は完全であり、このとき画面上のカーソルの変位は携行者上の装置の配向と無関係になる。例示的アプリケーションを図5に示す。センサは、その配向が携行者により保持される底面部とは異なる装置の最上部に位置する。センサ軸は基準系(X,Y,Z)により定義される。装置の携行者が軸w回りの回転を行なうと、装置の傾斜部に置かれたジャイロメータは、ピッチ角θに依存して、軸XとZの回りの回転を検知する。このとき軸XとZの回りの角速度の測定の知識を加味した角度θの決定により、軸w回りの角速度を推定することができる。3軸ジャイロメータ測定の利点はまた、その形状が基準配向を定義できない装置(例えば、その基準系が配向を決定できない球状の装置)に関し強調することができる。
図6は本発明の一実施形態における処理タスクのフローチャートである。実行される処理タスクは、第1の場合ではポインティング装置の軸X回りの角速度が零に等しくなるようにとられしたがってモデルと計算から削除されるということだけにより、上に示された2つの実施形態(2軸または3軸ジャイロメータ)では区別される。示された実施形態ではねじれ補償演算は、2つの工程、すなわちEKFによるピッチ角θとロール角ψを推定する工程1と、ユーザの基準系に対する可動要素の変位に関係する角速度成分ω、ωを計算する工程2と、で実行される。
EKFはカルマンフィルタの非線形バージョンである。例えば、KALMAN R.E.A new approach to linear filtering and prediction problems.Transactions of the ASME−Journal of Basic Engineering,82,p.35−45,1960;WELCH G.,BISHOP G.,An introduction to the Kalman Filter.SIGGRAPH 2001を参照。問題は、推定誤差共分散を最小化することにより、統計的やり方でこのフィルタファミリーにより解決される。結局、その初期形態で使用されるカルマンフィルタは最適解決手順である。問題が非線形なやり方(EKF)で定義された場合、状態変数の誤差の共分散の伝搬は状態変数の現在値で定義されるヤコビアン行列により計算される。したがって、線形化が各計算工程で必要であり、これは数値的不安定性の源、したがって解の発散の源となることがある。それにもかかわらず、EKFは、その頑強性と得られる結果の品質を前提として、物理的方法では最も広く採用されるフィルタである。このフィルタの実施は、Barraud(BARRAUD A.Outils d’analyse numerique pour l’automatique [Numerical analysis tools for automation].Published by Hermes−Lavoisier,Paris,2002)により提案されたEKFの頭文字語「QR」により知られたタイプの因数分解を使用することにより、好ましいやり方で行われる。この実施は、EKFの標準的な実施より良好な分散行列の安定性を提供するという利点を発揮する。このアルゴリズムは以下のように簡潔に考えられる。
我々はシステムの状態を代表する変数を含む状態ベクトルの初期化から始める。
ここで、
:初期状態誤差に結び付けられた共分散行列
0_f:状態誤差(P=P0_f .P0_f)の共分散の行列Pの因数分解形式
E[x]は数学的期待値である。
Tは転移行列演算子である。
以下の他の表記に基づいて:
f,h:状態モデルの関数、測定モデルの関数
次に、状態ベクトルと測定ベクトルの発展を予測するための以下の2つのモデルが定義される。
次に、モデル化雑音(Q)の共分散と測定雑音(R)の共分散を考慮して、状態ベクトルに適用される補正を以下のように定義する。
ここで
HM:直交因数分解によるMの三角化(triangularization)
,:測定雑音の共分散の行列Rの因数分解形式(R=R .R
,:モデル化雑音の共分散の行列Qの因数分解形式(Q=Q .Q
Gはカルマンフィルタにおける利得と一般的に呼ばれる量である。行列は実際には各サンプリング工程において計算されることに留意されたい。但し、指標kは式を読み易くするために上では省略された。
第1の実施形態では、問題を解決するために選択された状態ベクトルはx=[θψ]。ここでθとψはそれぞれピッチ角とロール角である。測定ベクトルはy=[a](1または複数の加速度計の測定結果)。状態モデルの式は角速度の表現に基づいて得られる。
ここで、角度φは、基準系(uvw)から基準系(XYZ)への切り替えを可能にするヨー角を表す。しかしながら、これらの基準系の定義を前提とすると、この角度は零でありしたがってその微分係数も零である。
ωの表現は、
したがって、θの発展を伝達する3つの関係が存在する。
ここでα=±1。
我々は、2つまたは3つのジャイロ測定結果を含むことができる式15を使用することを選択し、これによりフィルタの頑強性を高める(ジャイロメータと加速度計の測定結果を併用する)。次に、パラメータαは他の2つの表現の1つにより決定される。したがって、ジャイロ測定結果はモデルの入力変数として使用される。また、ωはロール角の微分係数に等しいということに留意されたい。
したがって、状態モデルの式は
2つの軸に関する角速度のセンサを有する実施形態では、ω=0と仮定される。
測定モデルの式は
最終的に、ユーザの基準系における角速度は以下の関係により決定される。
次に、カルマンフィルタにおいて実施されるアルゴリズムの様々な工程を以下に詳述する。
初期化工程では、初期状態ベクトルxは零に等しくなるようにあるいは事前選択された状態[θψ]にとられる。
=[00] またはX=[θψ] 式20
次に、ねじれの推定は以下の計算の連続により拡張カルマンフィルタ内で行なわれる。
−選択された動的モデル(以下の式では、Tはサンプリング周期である)の数値積分法による状態ベクトルの事前推定:
−測定結果の事前推定:
−式7、8、9により定義されたカルマンフィルタの利得Gの計算(QRタイプのEKFの因数分解形式を使用)。
次に、成分ωとωは下記式により計算することができる。
EKFのアルゴリズムを実施するためには、初期状態に与えられる信頼度に関する一連のパラメータ(これらは行列P内でグループ化される)、状態モデルに与えられる信頼度に関する一連のパラメータ(これらは行列Q内でグループ化される)、測定モデルに与えられる信頼度に関する一連のパラメータ(これらは行列R内でグループ化される)を決定する必要がある。
次に、これらのパラメータは試行錯誤により調節される。それにもかかわらず、いくつかの一般的指示を与えることができる。行列Pは、状態の初期値に与えられる信頼度を伝達する。初期状態は零であると仮定されるが、これは現実とはかなりかけ離れているかもしれない。したがって、初期状態に過度に高い信頼度を与える必要はない(したがって、比較的高いP値10−2程度でよい)。
行列Qは、状態モデルに与えられる信頼度を伝達する。θの発展方程式の不正確性は、式の積分中の数値的不正確性からだけでなくジャイロ測定の雑音からも生じる。したがって、行列Qのθ関連要素に関し選択される値は、ジャイロメータの測定結果雑音の標準偏差よりわずかに大きい。ψ関連要素に関し選択される値はさらに小さく(約10−2の割合)なる。
行列Rは測定モデルに与えられる信頼度を伝達する。後者の不正確性は、測定結果雑音だけでなく加速度計により測定される固有の加速度(手の震え、突然の動き等)にも関係する。したがって、この行列に関し選択される値は加速度計の測定結果雑音の標準偏差よりわずかに大きい。
いくつかの変形実施形態が可能である。いくつかの実施形態に関し、カルマンフィルタの状態変数の数を最小化することができる2段階アルゴリズムを保有すると有利である。
第1の変形実施形態の本質は、ねじれ角θとψを同じねじれの四元数公式(quaternion formulation)により置換することにある。この変形は、計算パワーの点で大食いなピッチ角とロール角の正弦および余弦計算を回避するという利点を発揮する。一般的に、回転四元数は4つの要素により定義される。
ここで、αは回転角度であり、
は、この回転の軸である。
次の状態ベクトルが選択される。
x=[q
状態モデルは次の通りである。
は2つの四元数の乗算を表わす。
2つの測定軸を有する角速度のセンサの場合はω=0
測定モデルはY=[a
角速度ωとωはその後下記式により得られる。
はqの共役四元数である(すなわち、q=q0+q1.i+q2.j+q3.kならば
2つの工程を有するアルゴリズムの第2の変形は、上に説明した第1の実施形態に対して、ピッチ角とロール角の直接計算を削除する。これにより計算時間を節約することもできる。それにもかかわらず、この変形では、カルマンフィルタにおけるジャイロメータ測定結果と加速度計測定結果を結合させることはない。したがって、震動に対する抗力が低下するかもしれない。以下の状態ベクトルが使用される。
状態モデルは、
測定モデルは、
これらのモデルは、2軸および3軸に関する角速度のセンサを有する装置に等しく適用される。角速度ωとωはその後、角速度の2軸測定の場合には下記式により得られる。
角速度の3軸測定の場合には、
式32は、他の変形で見られるようにωを零にとることにより2軸測定の場合には式31となる。
上述の実施形態では、アルゴリズムは、2つの主工程に分解され、状態ベクトルの次元を減少させるとともにフィルタにおける計算を簡単にするという利点を有する。それにもかかわらず、変形の本質は、単一工程における問題の解決にある。このとき、状態ベクトルと測定ベクトルは次のようになる。
x=[θψωωω
y=[aωωω
2つの測定軸を有する角速度のセンサの場合にはω=0。この変形では、我々は角度θとψを、基準系(XYZ)から基準系(uvw)への切り換えを伝える回転角度(先の場合とは逆の回転)であると定義することを提案する。これにより、基準系(uvw)において表現される角速度ベクトルに基づいてθとψを表現することができる。したがって、状態変数は状態モデルの式により関連付けられ、したがってこの公式化をより頑強にする。
状態モデルは次のようになる。
ここで、τ:角速度の発展モデルの時定数。
測定モデルは、角速度センサの2つの軸または3つの軸の測定結果が使用されるかに依存して異なる。2軸の場合、
3軸の場合、
この公式化は調整パラメータの数の増加を引き起こすということに留意されたい。また、いかなる物理法則も装置の携行者の「無秩序運動」を記述することができないので、角速度の発展モデルの選択は一般的には厄介である。それにもかかわらず、この実施形態は、必ずしも測定結果ωを使用することなく角速度の成分ωの推定値を利用できるという利点を発揮する。
拡張カルマンフィルタは非線形観測器の範疇に入る。このフィルタは一般的には、その頑強性および得られる結果の品質のために採用される。それにもかかわらず、このフィルタは数値的不安定性問題および収束の証明の欠如を起こす傾向があるかもしれない。他の観測器、例えばその収束が数学的に立証可能な高利得観測器またはスライディングホリゾン観測器(sliding−horizon observers)を使用してもよい。これらの観測器はまた、限定された数の調整パラメータにしたがって実施の容易さを発揮する。上述の状態および測定モデルを使用することにより後者を実行することができる。
状態発展および測定モデルについて記述するためのEKFを含む本発明の実施形態において考慮された先の情報はまた、コストまたは誤差が最小化された非線形演算子を含む手順の場合に利用することができる。測定モデルは一般的に、時点tにおける実際の測定結果と時点t−1における状態の推定値を知るモデルにより予測された測定結果との相違を大域的に測定する誤差規範内で考慮される。状態の発展のモデルはその一部として、一般的には、これらの誤差最小化手順の出発値を定めるために利用される。発展関数は以前の状態推定に適用され、これにより最適化関数の起動データとして次の状態を予測することが可能になる。
したがって、ねじれ角の補償はまた、観測器を呼び出さない最適解決手順を介し実行されてもよい。このタイプの最適化手順としては、例えば傾斜降下、ニュートン最適化、または準ニュートンと称する最適化手順等が挙げられる。カルマンフィルタの場合のように、以下の2つの異なる処理を実施することができる。
−変数θψωωωの同時最適化
−連続的な2工程(最適化による角度[θψ]の推定および式19を使用したωとωの解析的計算)における推定。
これら両方の場合、最適化基準は以下のように定義される。
第1の処理(1工程解決)の場合、
そして第2の処理(2工程解決)の場合、
計算能力の節約が震動および加速度測定の他の外乱の平滑化より重要であるいくつかのアプリケーションでは、解析的解決手順は最適解決手順より好ましい場合があるということに留意されたい。
この場合、解析的解決は次の2工程で行われる。
−加速度測定結果の式(式2)に基づき配向θおよびψのcos/sinの計算(次式が導出される)。
我々は、角度θが
存在するという仮定をし、これにより
の符号の不確定性を除去することができる。
−ωとωの計算
上述の例は本発明の実施形態の例示として挙げられた。これらは、以下の特許請求の範囲により定義される本発明の範囲を決して制限しない。

Claims (23)

  1. ユーザが平面内の可動要素で指し示すためのポインティング装置(10)であって、
    少なくともその2つの直交軸(Y,Z)の回りの前記装置の角速度(ω,ω)を測定するための少なくとも1つの第1のセンサ(20)と、
    前記2つの軸(Y,Z)と1つの第3の直交軸(X)に関連して前記装置の線形加速度(a,a,a)を測定するための少なくとも1つの第2のセンサ(30)と、
    空間上の前記ポインティング装置の回転の関数として前記平面内の前記可動要素に与えられる変位(y,z)を計算するためのモジュールであって、データ融合アルゴリズムを実施することにより、前記ポインティング装置に与えられたねじれを補償するためのサブモジュール(50)を含む、計算モジュール(40)と
    を含み、
    前記データ融合アルゴリズムは、
    i)少なくとも前記第1のセンサにより測定された角速度(ω,ω)と前記第2のセンサにより測定された線形加速度(a,a,a)とを入力として受け付けること、
    ii)該受け付けた入力からポインティング装置に与えられたユーザの基準系の平面に関するねじれを表す変数と可動要素の変位(y,z)を表すユーザの基準系におけるポインティング装置の角速度(ω,ωとを含む状態ベクトルを評価すること
    から構成されることを特徴とするポインティング装置。
  2. 前記状態ベクトルは、ユーザの基準系における前記角速度(ω,ω)をさらに含むことを特徴とする請求項1に記載のポインティング装置。
  3. 前記第1のセンサは2軸ジャイロメータであることを特徴とする請求項1に記載のポインティング装置。
  4. 前記第1のセンサは3軸ジャイロメータであることを特徴とする請求項1に記載のポインティング装置。
  5. 前記角速度(ω,ω)は、前記ねじれを表す変数を用いて、前記第1のセンサが測定した角速度から計算されることを特徴とする請求項4に記載のポインティング装置。
  6. 前記第2のセンサは出力(a、a、a)を生成する3軸加速度計であることを特徴とする請求項1に記載のポインティング装置。
  7. 前記データ融合アルゴリズムがカルマンフィルタを実施することを特徴とする請求項1に記載のポインティング装置。
  8. 前記カルマンフィルタは、下記条件:その状態ベクトル(x)は前記ポインティング装置の少なくとも1つのねじれ角(θ、ψ)を含む;その状態モデルは前記ねじれ角(θ、ψ)の少なくとも1つの関数として少なくとも前記ポインティング装置の角速度(ω)の表現を含む;その測定ベクトルは少なくとも前記第2のセンサの出力(a、a、a)を含む;のうちの少なくとも1つを満たすことを特徴とする請求項7に記載のポインティング装置。
  9. 前記カルマンフィルタの前記状態ベクトルは事前選択された状態[θψ]に初期化され、カルマンフィルタサンプリング工程kにおける状態ベクトル
    の事前推定は下記式:
    (式中、Tはフィルタサンプリング期間である)
    を介し計算されることを特徴とする請求項8に記載のポインティング装置。
  10. 前記カルマンフィルタサンプリング工程kにおける測定結果
    の前記事前推定値は下記式:
    を介し計算されることを特徴とする請求項8に記載のポインティング装置。
  11. 前記カルマンフィルタの利得Gは下記式:
    を介し計算されることを特徴とする請求項8に記載のポインティング装置。
  12. 前記カルマンフィルタサンプリング工程kにおいて事前推定される状態の補正は、下記式:
    を介し計算されることを特徴とする請求項8に記載のポインティング装置。
  13. 前記ユーザの基準系の前記角速度の成分ωとωは下記式:
    を介し計算されることを特徴とする請求項8に記載のポインティング装置。
  14. 前記カルマンフィルタは下記条件:状態(x)の初期値に合致する信頼度の行列Pは10−2程度の選択値を含む;その状態モデルに合致した信頼度の行列Qはその最大が前記第1のセンサの測定結果の雑音の標準偏差よりわずかに大きい選択値を含む;前記カルマンフィルタの測定モデルに合致した前記信頼度の行列Rはその最大が前記第2のセンサの測定結果の雑音の標準偏差よりわずかに大きい選択値を含む;のうちの少なくとも1つを満足することを特徴とする請求項8に記載のポインティング装置。
  15. 前記カルマンフィルタは下記条件:その状態ベクトル(x)は[cosα/2、sinα/2u、sinα/2u、α/2u]形式の四元数である;その状態モデルは下記形式である;
    その測定ベクトルは少なくとも前記第2のセンサ(a、a、a)の出力を含む;のうちの少なくとも1つを満たすことを特徴とする請求項7に記載のポインティング装置。
  16. 前記ユーザの基準系における前記角速度の成分ωとωは下記式:
    を介し計算されることを特徴とする請求項15に記載のポインティング装置。
  17. 前記カルマンフィルタは、下記条件:その状態ベクトル(x)は[a,b,c,d]=[sinθ,cosθ,sinψ,cosψ]の形式である;その状態モデルは下記形式である;
    その測定モデルは下記形式である;
    のうちの少なくとも1つを満たすことを特徴とする請求項7に記載のポインティング装置。
  18. 前記ユーザの基準系における前記角速度の成分ωとωは下記式:
    により計算されることを特徴とする請求項17に記載のポインティング装置。
  19. 前記カルマンフィルタの前記状態ベクトルは[θ,ψ,ω,ω,ω]の形式であり、その測定ベクトルは[a,a,a,ω,ω,ω]の形式であることを特徴とする請求項7に記載のポインティング装置。
  20. 前記カルマンフィルタの状態モデルは下記形式:
    であり、式中、τは前記角速度の発展モデルの時定数であること、および、測定モデルは以下の形式:
    または、
    の1つであることを特徴とする請求項19に記載のポインティング装置。
  21. 前記データ融合アルゴリズムは最適解決手順を実施することを特徴とする請求項1に記載のポインティング装置。
  22. 前記最適解決手順は基準として次の関数を有する最適化であり、
    本関数は以下の群
    から選択される一対のベクトル(measurementssensors、measurementsestimated)を有することを特徴とする請求項21に記載のポインティング装置。
  23. 三次元空間を自由に移動可能な物体であって、該物体の少なくとも2つの直交軸(Y,Z)の回りの角速度(ω,ω)を測定するための少なくとも1つの第1のセンサと、前記2つの軸(Y,Z)と1つの第3の直交軸(X)に関連して線形加速度(a,a,a)を測定するための少なくとも1つの第2のセンサとを備えた物体の変位を制御する方法であって、
    i)少なくとも前記第1のセンサにより測定された角速度(ω,ω)と前記第2のセンサにより測定された線形加速度(a,a,a)とを入力として受け付けるステップと、
    ii)該受け付けた入力から前記物体に与えられたユーザの基準系の平面に関するねじれを表す変数と平面における前記物体の変位(y,z)を表すユーザの基準系における前記物体の角速度(ω,ω)とを含む状態ベクトルを評価するステップと
    から構成されるデータ融合アルゴリズムを実行することを特徴とする方法。
JP2011515397A 2008-06-27 2009-06-26 データ融合によるモーションキャプチャポインタ Active JP5987247B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
FR0803632 2008-06-27
FR0803632A FR2933212B1 (fr) 2008-06-27 2008-06-27 MOVING CAPTURE POINTER RESOLVED BY DATA FUSION
PCT/EP2009/058024 WO2009156499A1 (fr) 2008-06-27 2009-06-26 Pointeur a capture de mouvement resolue par fusion de donnees

Publications (2)

Publication Number Publication Date
JP2011526019A JP2011526019A (ja) 2011-09-29
JP5987247B2 true JP5987247B2 (ja) 2016-09-07

Family

ID=40344583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011515397A Active JP5987247B2 (ja) 2008-06-27 2009-06-26 データ融合によるモーションキャプチャポインタ

Country Status (7)

Country Link
US (1) US9261980B2 (ja)
EP (1) EP2307943B1 (ja)
JP (1) JP5987247B2 (ja)
KR (1) KR101778807B1 (ja)
CN (1) CN102171628B (ja)
FR (1) FR2933212B1 (ja)
WO (1) WO2009156499A1 (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8576169B2 (en) 2008-10-20 2013-11-05 Sensor Platforms, Inc. System and method for determining an attitude of a device undergoing dynamic acceleration
US8515707B2 (en) 2009-01-07 2013-08-20 Sensor Platforms, Inc. System and method for determining an attitude of a device undergoing dynamic acceleration using a Kalman filter
US8587519B2 (en) 2009-01-07 2013-11-19 Sensor Platforms, Inc. Rolling gesture detection using a multi-dimensional pointing device
WO2011070138A1 (en) 2009-12-10 2011-06-16 Movea S.A Gyroscopic exercise ball
US9760186B2 (en) 2010-01-06 2017-09-12 Cm Hk Limited Electronic device for use in motion detection and method for obtaining resultant deviation thereof
TW201130304A (en) * 2010-02-24 2011-09-01 Hon Hai Prec Ind Co Ltd System and method for remotely switching TV channels
US20110230238A1 (en) * 2010-03-17 2011-09-22 Sony Ericsson Mobile Communications Ab Pointer device to navigate a projected user interface
EP2383984B1 (en) * 2010-04-27 2019-03-06 LG Electronics Inc. Image display apparatus and method for operating the same
KR101000063B1 (ko) * 2010-04-27 2010-12-10 엘지전자 주식회사 영상표시기기 및 그 동작방법
WO2012044964A2 (en) * 2010-10-01 2012-04-05 Hillcrest Laboratories, Inc. Apparatuses and methods for estimating the yaw angle of a device in a gravitational reference system using measurements of motion sensors and a magnetometer attached to the device
US8957909B2 (en) 2010-10-07 2015-02-17 Sensor Platforms, Inc. System and method for compensating for drift in a display of a user interface state
US20130238269A1 (en) * 2010-11-17 2013-09-12 Hillcrest Laboratories, Inc. Apparatuses and methods for dynamic tracking and compensation of magnetic near field
WO2012068362A2 (en) 2010-11-17 2012-05-24 Hillcrest Laboratories, Inc. Apparatuses and methods for calibrating magnetometer attitude-independent parameters
JP5829020B2 (ja) 2010-12-22 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
FR2976275B1 (fr) * 2011-06-09 2014-04-11 Schneider Electric Ind Sas Systeme de pilotage intuitif de pont roulant
KR101789683B1 (ko) * 2011-06-13 2017-11-20 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법, 그리고 리모컨 장치
KR101815938B1 (ko) 2011-06-22 2018-02-22 삼성전자주식회사 센서 융합 기반으로 3차원 위치와 방향을 추정하는 장치 및 방법
JP5816032B2 (ja) * 2011-09-09 2015-11-17 任天堂株式会社 入力装置、入力処理プログラム、入力処理方法、入力処理システム
FR2980005A1 (fr) 2011-09-09 2013-03-15 Movea METHOD FOR CONTROLLING A CURSOR BY ATTITUDE MEASUREMENTS OF A POINTER AND POINTER USING THE SAME
CN102435192B (zh) * 2011-11-25 2013-10-09 西北工业大学 基于角速度的欧拉角任意步长正交级数指数型近似输出方法
CN102457687A (zh) * 2011-12-12 2012-05-16 康佳集团股份有限公司 全键盘3d空中鼠标遥控器
US9459276B2 (en) 2012-01-06 2016-10-04 Sensor Platforms, Inc. System and method for device self-calibration
US9316513B2 (en) 2012-01-08 2016-04-19 Sensor Platforms, Inc. System and method for calibrating sensors for different operating environments
CN102645974B (zh) * 2012-02-24 2014-10-22 姜展伟 三维动作的定位识别系统
US9228842B2 (en) 2012-03-25 2016-01-05 Sensor Platforms, Inc. System and method for determining a uniform external magnetic field
KR101956173B1 (ko) * 2012-03-26 2019-03-08 삼성전자주식회사 3차원 위치/방향 추정 시스템의 보정 장치 및 방법
US9915550B2 (en) 2012-08-02 2018-03-13 Memsic, Inc. Method and apparatus for data fusion of a three-axis magnetometer and three axis accelerometer
CN103677225A (zh) * 2012-09-03 2014-03-26 联想(北京)有限公司 一种数据处理方法与第一终端设备
CN103065037B (zh) * 2012-11-13 2015-10-07 杭州电子科技大学 非线性系统基于分散式容积信息滤波的目标跟踪方法
CN104101341A (zh) * 2013-04-02 2014-10-15 广州三星通信技术研究有限公司 移动终端间的定位方法及采用该方法的移动终端
US9952684B2 (en) * 2013-05-09 2018-04-24 Samsung Electronics Co., Ltd. Input apparatus, pointing apparatus, method for displaying pointer, and recordable medium
US9625884B1 (en) * 2013-06-10 2017-04-18 Timothy Harris Ousley Apparatus for extending control and methods thereof
DE102013219195B4 (de) 2013-09-24 2016-03-31 Siemens Aktiengesellschaft Fernbedienung und Verfahren zur Steuerung eines Gerätes mit zumindest einem Bewegungsfreiheitsgrad
EP2887184A1 (en) * 2013-12-23 2015-06-24 Movea Air pointer with improved user experience
CN103822645B (zh) * 2014-03-03 2016-08-17 上海电力学院 一种角度融合算法验证校正方法
DE102014210897A1 (de) 2014-06-06 2015-12-17 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Strahlerpositionierung
GB2528245A (en) * 2014-07-04 2016-01-20 Jaguar Land Rover Ltd Apparatus and method for determining an intended target
KR101484916B1 (ko) * 2014-08-25 2015-01-22 주식회사 트레이스 위치 확인의 정확도를 높인 디지타이저
KR101637241B1 (ko) * 2015-02-12 2016-07-07 (주)기술과가치 포인팅 디바이스 및 포인터 제어 방법
US9747740B2 (en) 2015-03-02 2017-08-29 Ford Global Technologies, Llc Simultaneous button press secure keypad code entry
KR101689335B1 (ko) * 2015-04-24 2016-12-23 성균관대학교산학협력단 복수 개의 불확실성 또는 상호 상관성이 있을 수 있는 데이터를 융합하는 방법 및 장치
US9568320B2 (en) * 2015-05-05 2017-02-14 King Fahd University Of Petroleum And Minerals Method and apparatus for estimation of center of gravity using accelerometers
US9967717B2 (en) 2015-09-01 2018-05-08 Ford Global Technologies, Llc Efficient tracking of personal device locations
US9622159B2 (en) 2015-09-01 2017-04-11 Ford Global Technologies, Llc Plug-and-play interactive vehicle interior component architecture
US9914418B2 (en) 2015-09-01 2018-03-13 Ford Global Technologies, Llc In-vehicle control location
US9860710B2 (en) 2015-09-08 2018-01-02 Ford Global Technologies, Llc Symmetrical reference personal device location tracking
US9744852B2 (en) 2015-09-10 2017-08-29 Ford Global Technologies, Llc Integration of add-on interior modules into driver user interface
US10046637B2 (en) 2015-12-11 2018-08-14 Ford Global Technologies, Llc In-vehicle component control user interface
US10156907B2 (en) * 2015-12-14 2018-12-18 Invensense, Inc. Device for analyzing the movement of a moving element and associated method
CN105371872B (zh) * 2015-12-24 2017-11-14 哈尔滨工业大学 基于扩展高增益观测器的陀螺飞轮系统扰动估计方法
US10082877B2 (en) 2016-03-15 2018-09-25 Ford Global Technologies, Llc Orientation-independent air gesture detection service for in-vehicle environments
US9914415B2 (en) 2016-04-25 2018-03-13 Ford Global Technologies, Llc Connectionless communication with interior vehicle components
CN106092141B (zh) 2016-07-19 2019-03-01 纳恩博(常州)科技有限公司 一种改善相对位置传感器性能的方法及装置
CN107376351B (zh) * 2017-07-12 2019-02-26 腾讯科技(深圳)有限公司 对象的控制方法和装置
CN107707955A (zh) * 2017-08-30 2018-02-16 上海与德科技有限公司 一种显示器上的光标控制方法及智能设备
WO2020264507A1 (en) * 2019-06-28 2020-12-30 Ceva Technologies, Inc. Methods, apparatus and systems using motion of various input devices for controlling consumer devices
US20210034171A1 (en) * 2019-07-31 2021-02-04 Stmicroelectronics S.R.L. Low-power tilt-compensated pointing method and corresponding pointing electronic device

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5440326A (en) 1990-03-21 1995-08-08 Gyration, Inc. Gyroscopic pointer
US5181181A (en) * 1990-09-27 1993-01-19 Triton Technologies, Inc. Computer apparatus input device for three-dimensional information
US5453758A (en) 1992-07-31 1995-09-26 Sony Corporation Input apparatus
US5902968A (en) 1996-02-20 1999-05-11 Ricoh Company, Ltd. Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement
US7707082B1 (en) 1999-05-25 2010-04-27 Silverbrook Research Pty Ltd Method and system for bill management
JP2003501738A (ja) * 1999-06-09 2003-01-14 マルバーン サイエンティフィック ソリューションズ リミテッド 通信システム及び通信方法
US7031875B2 (en) 2001-01-24 2006-04-18 Geo Vector Corporation Pointing systems for addressing objects
US6691074B1 (en) * 2001-02-08 2004-02-10 Netmore Ltd. System for three dimensional positioning and tracking
AT537528T (de) * 2002-11-20 2011-12-15 Koninkl Philips Electronics Nv Benutzerschnittstellensystem auf der basis eines zeigegeruts
US20040140962A1 (en) * 2003-01-21 2004-07-22 Microsoft Corporation Inertial sensors integration
US20050240347A1 (en) * 2004-04-23 2005-10-27 Yun-Chun Yang Method and apparatus for adaptive filter based attitude updating
JP5053078B2 (ja) * 2004-04-30 2012-10-17 ヒルクレスト・ラボラトリーズ・インコーポレイテッド ハンドヘルドポインティングデバイス及びその作動方法
US7809214B2 (en) * 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Device and a method for identifying movement patterns
KR100827236B1 (ko) * 2006-05-23 2008-05-07 삼성전자주식회사 포인팅 디바이스, 포인터 이동 방법 및 상기 포인터를디스플레이하는 디스플레이 장치
KR100711261B1 (ko) * 2006-06-21 2007-04-25 (주)마이크로인피니티 입력 장치의 공간 인식 방법 및 그 장치
TWI319539B (en) * 2006-11-29 2010-01-11 Ind Tech Res Inst Pointing device
TWI317498B (en) * 2006-12-12 2009-11-21 Ind Tech Res Inst Inertial input apparatus with six-axial detection ability and the opearting method thereof
US8010313B2 (en) * 2008-06-27 2011-08-30 Movea Sa Hand held pointing device with roll compensation

Also Published As

Publication number Publication date
CN102171628A (zh) 2011-08-31
CN102171628B (zh) 2014-08-13
JP2011526019A (ja) 2011-09-29
FR2933212B1 (fr) 2013-07-05
KR20110030639A (ko) 2011-03-23
FR2933212A1 (fr) 2010-01-01
EP2307943A1 (fr) 2011-04-13
WO2009156499A1 (fr) 2009-12-30
EP2307943B1 (fr) 2016-10-19
US9261980B2 (en) 2016-02-16
KR101778807B1 (ko) 2017-09-14
US20110199298A1 (en) 2011-08-18

Similar Documents

Publication Publication Date Title
Valenti et al. A linear Kalman filter for MARG orientation estimation using the algebraic quaternion algorithm
US9703102B2 (en) Information processing device including head mounted display
US9604101B2 (en) Golf swing analysis device and golf swing analysis method
US9292102B2 (en) Controlling and accessing content using motion processing on mobile devices
US20180335843A1 (en) Tracking finger movements to generate inputs for computer systems
US8788249B2 (en) Gyrocompass modeling and simulation system (GMSS) and method thereof
US8907893B2 (en) Rolling gesture detection using an electronic device
Weiss et al. Real-time metric state estimation for modular vision-inertial systems
JP5948011B2 (ja) 運動解析装置
Du et al. Human–manipulator interface based on multisensory process via Kalman filters
Lobo et al. Relative pose calibration between visual and inertial sensors
JP5204224B2 (ja) 傾斜角情報と結合したビデオ入力を用いたオブジェクト検出
Bo et al. Joint angle estimation in rehabilitation with inertial sensors and its integration with Kinect
JP4325707B2 (ja) 入力装置、制御装置、制御システム及び制御方法
JP5032887B2 (ja) ポインター移動方法及び記録媒体
JP5508122B2 (ja) プログラム、情報入力装置、及びその制御方法
EP1521165B1 (en) Orientation data conversion method and apparatus
US6993451B2 (en) 3D input apparatus and method thereof
USRE44396E1 (en) Gyro-stabilized platforms for force-feedback applications
US5645077A (en) Inertial orientation tracker apparatus having automatic drift compensation for tracking human head and other similarly sized body
Roetenberg et al. Estimating body segment orientation by applying inertial and magnetic sensing near ferromagnetic materials
US8442661B1 (en) Remotely controlled self-balancing robot including a stabilized laser pointer
CN102246125B (zh) 具有运动姿态识别的移动设备
JP3748483B2 (ja) 姿勢入力装置、姿勢入力機能を備えるペン型入力装置及びそのペン型入力装置を有するペン型入力システム
EP2353064B1 (en) Method and device for inputting force intensity and rotation intensity based on motion sensing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120524

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131008

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140210

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140306

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140314

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140407

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140410

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140501

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140327

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140306

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141028

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150227

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150608

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20150904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160722

R150 Certificate of patent or registration of utility model

Ref document number: 5987247

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250