JP5016698B2 - 携帯身振りユーザインターフェースを安定化する方法、装置、およびシステム - Google Patents

携帯身振りユーザインターフェースを安定化する方法、装置、およびシステム Download PDF

Info

Publication number
JP5016698B2
JP5016698B2 JP2010076067A JP2010076067A JP5016698B2 JP 5016698 B2 JP5016698 B2 JP 5016698B2 JP 2010076067 A JP2010076067 A JP 2010076067A JP 2010076067 A JP2010076067 A JP 2010076067A JP 5016698 B2 JP5016698 B2 JP 5016698B2
Authority
JP
Japan
Prior art keywords
portable device
multidimensional information
movement
gesture
mid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010076067A
Other languages
English (en)
Other versions
JP2010246109A (ja
Inventor
エル. グラウマン、デーヴィッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2010246109A publication Critical patent/JP2010246109A/ja
Application granted granted Critical
Publication of JP5016698B2 publication Critical patent/JP5016698B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)

Description

本願発明の実施形態は、全般的に電子デバイスの間の通信の分野、およびより詳細には、携帯デバイスの間の身振りを介した通信方法、装置、およびシステムに関する。
携帯デバイスが、株式取引、Eメールへのアクセス、電話、デジタルカメラおよびビデオ、全地球測位システム(GPS)、テキストメッセージング等のためのアプリケーションを含むより多くのアプリケーションを有するにつれ、他のタスクを実行している間にそれらのアプリケーションにアクセスするとともに実行することが面倒になっている。例えば、人は走っている間にヘッドフォンまたはブルートゥース(登録商標)が使用可能なイヤホンを介して携帯電話上で話しうるが、話しているおよび走っている間は、特定のテキストメッセージを容易に送信することはできず、また証券会社の自分の口座にログインして、証券取引所で公開取引されている会社の特定の数の株式を売却するような、通常は直接の手動アクセスを必要とする自分の携帯デバイス上の特定のアプリケーションにアクセスすることもできない。同様に、もし人が、走っている、歩いている等の他の行動を実行している間に自分の携帯デバイス上のアプリケーションへの即時アクセスを望むのであれば、おそらくは止まるとともに当該アプリケーションに手動でアクセスする必要がおきる。
アプリケーションへの容易な即時アクセスが提供されない限り、携帯デバイスを保持する人が走っている、歩いている、運転している等の他の活動を実行している間は、携帯デバイス上の殆どのアプリケーションが使用されない(または実行されない)。 Palm(登録商標)ハンドヘルドデバイスのような携帯デバイス、iPhone(登録商標)のような携帯電話、および携帯インターネットデバイス(MID)と総称される他の携帯デバイス上でアプリケーションに即時アクセスする1つの方法は、ユーザの姿勢または身振り運動を介する。即時アクセスの例は、オーディオ再生からクリップ情報を抽出すること、5秒間のToDoリストリマインダーを記録および分類すること、ユーザの環境における位置および物をタグ付けすること、インスタントメッセージ(登録商標)プログラムに迅速な「定型」返答メッセージを送信すること、耳元で人名を迅速に思い出させること、ユーザのMP3再生機を迅速にミュートにすること、電話またはEメール連絡先に「5分後に電話する」メッセージを送信すること、等である。
しかしながら、ユーザが運動している間に、姿勢または身振り運動に基づく機能的な運動ベースのユーザインターフェースを実現するための大きな障壁がある。この障壁には、姿勢および身振り運動内に存在するUIに関連しないユーザの物理運動が含まれる。これらのUIに関連しない物理運動は、歩いている、ライディングしている、運転している、走っている、等の間の、精度の良いMID機能の選択(またはMID上のアプリケーションを選択する能力)を不安定化させる。
本願発明の実施形態は、本願発明の様々な実施形態についての以降の詳細な説明および添付図面からより充分に理解されるが、以降の詳細な説明および添付図面は、本願発明を特定の実施形態に限定すると解されるべきではなく、説明および理解のみを目的とする。
本願発明の一実施形態に係る、身振りを介して携帯インターネットデバイス(MID)と通信するために使用される通信インターフェースを伴う装身された腕時計のような無線または有線の周辺機器を説明するシステムモデルである。
本願発明の一実施形態に係る身振りの20度回転運動によって各アプリケーションが分離される、身振りに基づくユーザインターフェースである。
本願発明の一実施形態に係る、身振り運動を分離かつ安定化することを説明する詳細なアルゴリズムである。
本願発明の一実施形態に係る、装身デバイスの生の加速度計データおよびMIDの生の加速度計データの比較である。
本願発明の一実施形態に係る、開示された方法によって達成される安定化かつ分離された身振り運動である。
本願発明の一実施形態に係る、携帯インターネットデバイスのハイレベルアーキテクチャである。
本願発明の実施形態は、運動に基づくユーザインターフェース(UI)によってMID(または他の携帯デバイス)上のアプリケーションに即時アクセスする方法、装置、およびシステムを説明する。一実施形態において、システムは、UIに関連する物理運動からUIに関連しないユーザの物理運動(基礎運動)をフィルタリングして、MIDが実行する複数のアプリケーションからアプリケーションを選択するための、安定したUIに関連する物理運動を達成する。
図1は、本願発明の一実施形態に係る、身振りに基づくUI安定化の、システムレベル動作を示す。システム100は、携帯インターネットデバイス(例えばMID)102のような携帯デバイスに身振りを伝えうるデバイスの集合体101a−nを備える。集合体からの身振りは、選択部107によってメニュー項目106の少なくとも1つを選択するのに使用される。メニュー項目を選択するのに身振りが適用されうる前に、集合体101a−nおよびMID106内において、身振り運動は非身振り運動から特定され、分離され、かつ安定化される。この処理は、システムレベルブロック103および104によって示される。上記処理の詳細は、図3を参照して後に説明される。身振り運動は、次いで105において、MID上のアプリケーションまたはタスクのメニューに関連付けられたメニューインデックスに変換される。 用語身振りおよび身振り運動は、本願明細書中で交換可能に使用されることに留意すべきである。
一実施形態において、MIDは、他のデバイスで実行されるアプリケーションのメニューにアクセスしてもよい。安定化された身振りから選択されたメニューは、聴覚または視覚109、または両方のような信号に帰着する。一実施形態において、この信号は、身振りを行ったユーザに伝えられる。この身振りは、一実施形態において、複数のアプリケーションからアプリケーションを選択し、かつユーザに対してさらなる聴覚または視覚のコミュニケーションを生成することなく、選択されたアプリケーションを実行する。例えば、身振りは株式取引を実行してもよい。
本願発明の実施形態を不明瞭にしない理由から、以下の説明は、デバイスの集合体100a−nの代わりに、単一の装身デバイス101aを仮定する。同じ理由により、単一のMID102が仮定される。一実施形態において、複数のMIDがあってもよい。しかしながら、同じアルゴリズム、方法、およびシステムが、デバイス101a−nの集合体およびMIDの集合体に適用可能である。
一実施形態において、多次元のデバイス加速度を測定できる複数のMIDまたは類似デバイスは、同じシステムの一部であり、複数のMIDまたは類似デバイスは、装身携帯デバイスに対して運動する。一実施形態においては、類似デバイスは、他の装身デバイスまたは身体に結合されたデバイスを含む。そのような実施形態によって、MIDまたは図3において説明される安定化アルゴリズムを実行するデバイスは、装身デバイスからの身振り運動内で、基礎運動をより正確に複数のデバイスから判定できる。
図2は、本願発明の一実施形態に係る、20度の角度によって分離されたアプリケーションメニューを示す。メニューは、人の手首に装着されたデバイスに関連付けられる。一実施形態において、装身デバイスは腕時計でもよい。他の実施形態において、装身デバイスは、指輪でもよい。
一実施形態において、図2に示される身振りに基づくUIは、上方、下方、および中間の3つの領域に分割される。他の実施形態において、MID上のまたはMIDを介した様々なアプリケーションにアクセスするために、リストされた3つの領域よりも、少ないまたは多くの領域が定義されてもよい。中間域は、一実施形態において、様々な選択可能メニューアプリケーションを有する。中間域のアプリケーションにアクセスするためには、手首が地球表面に対して平行に位置される。平行位置は、概平行位置である、即ち手首は厳密に平行である必要はないことに留意すべきである。手首を反時計回りに回転させることによって、手首に装着された腕時計も、反時計回りに回転する。腕時計の回転は、身体の他の非身振り運動から安定化およびフィルタリングされた身振りを生成する。一実施形態において、安定化された身振りは、メニューから適切なアプリケーションを選択する電子信号に変換される。
本実施例の第1の応用は、時刻アプリケーションである。手首、ひいては手首に取り付けられた時計の回転によって生成された身振りは、MID上の時刻(Time)アプリケーションを選択する。一実施形態において、当該アプリケーションが選択されることに応じて、アプリケーションは実行される。この特定の実施例において、身振り運動を送信した腕時計も装着しているユーザのヘッドフォンに時刻が送信される。一実施形態において、身振りは、ヘッドフォンにいかなる信号も送信されることなく、ユーザに時刻が告げられることを引き起こす。
手首のさらなる20度の反時計回り運動は、MIDに送信されたときにメニュー内の時刻アプリケーションの後の次のアプリケーションを選択する身振りを生成する。一実施形態において、20度の増分に代えて80度だけ直接手首を回転させることによってボリュームアプリケーションが選択される。そのような大きな角度の直接の回転によって、ユーザの手首を回転する身振りをもって、アプリケーションのメニューからユーザが即時におよび直接にアプリケーションを選択することが可能になる。上記の場合、ユーザは、手首、ひいては時計を回転させることによって直線的にMIDのアプリケーションをスクロールする必要はなく、所望のアプリケーションに即時にアクセスできる。
一実施形態において、上方域および下方域は、手首の回転に関連付けられた他のアプリケーション群を有していてもよい。一実施形態において、前腕は地面から離れる方向を指している(空を指している)とともに、前腕が地面から離れる方向を指している場合の手首の回転は、上方域内のアプリケーションへのアクセスを可能にする。同様に、一実施形態において、MIDの下方域は、前腕が地面を指しているときにアクセスされる。前腕の下方域の位置で手首を回転させることによって、ユーザはMIDの下方域のアプリケーションにアクセスすることができる。上記のアプリケーションは、走っている、歩いている、またはユーザの他の運動とともに、身振りを介して即時にアクセスされるのが好ましい。
図3は、本願発明の一実施形態に係る、身振りに基づくUIのアルゴリズムを説明する。このアルゴリズムは、身振り運動からUIに関連しない運動をフィルタリングして、それによって同時に安定化されている身振り運動を分離する。装身デバイスおよびMIDは、加速度計またはジャイロスコープまたは両方を備える。加速度計およびジャイロスコープの目的は、デバイス上の加速度測定値を提供することである。位置実地携帯において、加速度測定値は、デバイス上の重力引力の角度を含む。しかしながら、図3のアルゴリズムは、デバイスが加速度計またはジャイロスコープまたは両方の組み合わせであるかどうかを含めて、加速度のような運動の影響を測定するためのいかなるデバイスとともにも動作する。次の図3の説明において、本願発明の実施形態をより簡潔な用語で説明するために、ジャイロスコープに代えて加速度計が使用される。
301および302において、加速度計の3軸(x、y、およびz)の生の測定値が決定される。一実施形態において、x軸はユーザの前腕回転軸にマッピングされ、他方で直交y軸およびz軸は、ユーザの加速を測定するために使用される。一実施形態において、装身デバイスからの加速度計測定値は、MIDに送信される。上記で言及したように、一実施形態において、複数の装身デバイス(デバイスの集合体)があり、ひいては、複数の装身デバイスの各々からの複数の加速度計の測定値がMIDによって受信される。他の実施形態において、様々な装身デバイスからの加速度計測定値を受信できる複数のMIDがある。
加速度計測定値の転送は、一実施形態において、ブルートゥース(登録商標)技術、双極アンテナ等を含む無線手段によって実行される。他の実施形態において、測定値の送信は、USB(ユニバーサルシリアルバス)ケーブルを含む有線手段によって実行される。一実施形態において、有線および無線手段の両方が、MIDおよび装身デバイスの間の通信に利用可能である。
一実施形態において、MIDは、装身デバイスを装着するのと同一の人に繋げられてもよい。例えば、MIDは、財布、札入れ、ポケットに位置してもよく、または身振りを行う人に繋がっているベルトに取り付けられていてもよい。MIDは、MIDの3次元加速度計測定値(x、y、およびz)を生成する、MID自体の加速度計も含む。
装身デバイスはMIDから離れているので、装身デバイスからMIDまで加速度計測定値を転送する間に固有の遅延がある。MIDの加速度計からの測定値と装身デバイスの加速度計からの測定値とを比較するために、アルゴリズム300において遅延303が説明される。一実施形態において、MIDに基づく加速度計測定値に高速フーリエ変換(FFT)が適用される前に、アルゴリズム処理のMID側に遅延が加算される。一実施形態において、この遅延は、装身デバイスからMIDへの加速度計測定値の送信遅延に等しい。遅延は、装身デバイスおよびMIDの位置に基づき計算される。一実施形態において、遅延は、所定の遅延数内または所定の遅延数である。例えば、一実施形態において、遅延はMID加速度計測定値から100ms内である。
一実施形態において、各加速度計測定値は、±2g−forceにおいて100Hzで測定値をサンプリングすることにより生成され、ここで、g−forceは重力である。一実施形態において、デバイスの直線運動を区別するために、加速度計測定値を表すのに14ビットの分解能が使用される。他の実施形態においては、加速度計測定値を表すのに、異なるサンプリング速度および分解能が使用されても良い。
304および305において、ハニングウィンドウが加速度計測定値に適用される。ハニングウィンドウは、両デバイスからの加速度計測定値の最初の2、3および最後の2、3のサンプルを減衰する。FFTが加速度計測定値に適用される前にサンプルの荒れた端部が除かれるので、減衰によって滑らかなFFT作用が可能になる。
306および307において、FFTは、ウィンドウ化された加速度計測定値に適用される。一実施形態において、64ポイントFFTが適用され、64個のFFT周波数ビンの結果になる。
上記で言及したように、一実施形態において、加速度計およびジャイロスコープの組み合わせによって、デバイス(MIDおよび装身デバイス)のより正確な加速角度を計算するための加速度情報(例えば重力情報を含む)が提供される。そのような実施形態において、3軸(x、y、およびz)に沿ったジャイロスコープの測定値のサンプリングレートは、加速度計のサンプリングレートの倍数に一致する。ジャイロスコープは回転角速度を測定するので、ジャイロスコープ信号(測定値)のグラディエントは、対応する軸の前回値から、ジャイロスコープの新しい測定値サンプルの各々を減算することによって、デルタ値ストリームを生成するのに使用される。3軸ジャイロスコープから導出された3つのデルタ値の各々は、次いで二乗されるとともに、全3軸が合計されて単一の値が生成される。一実施形態において、生成された値は、次いで加速度計からの直線加速度測定値と組み合わされる。
当該組み合わせは、一実施形態において、生成された値を、(ハニングウィンドウに先立ち)それらのデバイスの加速度計ストリーム(測定値)に直接加算することによって実行される。
一実施形態において、発信デバイスに関連付けられた多次元ストリームに対応する、ジャイロスコープ、加速度計等を含む、複数の加速度測定デバイスからの総計強度が、FFT(例えば306および307)に入力される。
MIDおよび装身デバイスの間の共通運動の存在を判定するために、各デバイスの間の加速度計測定値の強度に対して、二乗コヒーレンス(MSC)が適用される。MSCは、装身デバイスのFFT(306)出力の複素共役318にMIDデバイスのFFT(307)出力を乗算し、次いで正規化ブロック311によって示されるような各信号の自己相関関数の合成積(resultant product)で除算することによって確立される。一実施形態において、正規化311は、MIDおよび装身デバイスからの加速度計測定値の間の位相の差分を分離するとともに、ついで差分を最大位相で除算することによって実行される。MSC処理は、ブロック308から311によって示される。308a−cにおいて、(FFT後の)周波数領域信号の強度が決定される。一実施形態において、周波数領域信号の強度は、FFT信号の平方値を計算することによって決定される。ブロック309および310は、一実施形態において、それぞれ位相関係を伴うおよび伴わない両信号の合計正規化出力を確立する、複素乗算器である。
一実施形態において、もし装身デバイスおよびMIDの運動が小さいならば、正規化された値を計算するために適用される強度が小さいことは、単位元(即ち、コヒーレンス1)付近での誤ったコヒーレンス測定値をもたらす。この問題を緩和するために、正規化されたサンプル済みウィンドウの移動平均が、ブロック312によって取得される。一実施形態において、正規化されたサンプル済みウィンドウはMSCである。平均化312は、一実施形態において、正規化された値を積分することによって達成される。平均化された、正規化済みの結果は、0および1の間の連続的なコヒーレンス測定値を生成する。
一実施形態において、ゼロ値のコヒーレンスは、MIDの位相が装身デバイスの位相と関連していないことを意味する。ゼロコヒーレンスは、身振りストリーム内に運動ノイズがないことも意味している。一実施形態において、64個のFFT周波数ビンの1つにおける1のコヒーレンスは、装身デバイスおよびMIDデバイスの間に位相の相違がないとともに、両デバイスが同じ基礎運動を経験している、即ちデバイスは共通モードを経験していることを指示している。
313において、平均化信号内の各周波数は、次いでビン(bin)閾値と比較される。一実施形態において、閾値は、e−|delta_radians|を単位にして固定値0.6に設定され、ここで、e=2.718281828である。delta_radiansがゼロであるならば、コヒーレンスは1である。delta_radiansが0.5であるならば、コヒーレンスは0.6である。これらの値は、MSC算出から自然に導出されるとともに、明示的に計算される必要はない。他の実施形態において、閾値は、周波数に亘って漸減させてもよい。
一実施形態において、時計デバイスのような装身デバイスの3軸(x、y、およびz)の各々に対して、閾値レベルを超えるコヒーレンス測定値は、その周波数ビンでのノッチフィルタの適用を引き起こす。逆FFTに先立ち、当該周波数内の減衰トラフとして、ノッチフィルタが適用される。ノッチフィルタのトラフは、一実施形態において、装身デバイスからの生の単一軸加速度計測定値のFFT内の共通モードの幅と、MID内の加速度計測定値の強度とを比較することによって確立される。一実施形態において、MID値の強度が共通モードを発見するのに使用される一方で、極値および位相は、ノッチを確立するために直接使用されない。それに代えて、ノッチフィルタは、一実施形態において、最強コヒーレント信号(即ちコヒーレンス1)と装身デバイスの個々の加速度計ストリームの各々に発見される前のおよび次の調波とを減衰し、それによって運動上の櫛フィルタを構成する。一実施形態において、ノッチフィルタの帯域幅(トラフサイズ、trough size)は2FFTビンである。
装身デバイスからの加速度計測定値へのFFT作用からの317x−zでの結果は、314x−zにおいて、閾値部313からの信号に個々に乗算される。乗算の結果は、装身デバイスの3軸の各FFT上の減衰共通モードである。
315x−zにおいて、一実施形態によると、3つの装身デバイスのFFTストリームの各々に、逆FFTが個別に適用される。逆FFT作用には、一実施形態において、316x−z内での重ね合わせおよび加算再構成方法が続く。重ね合わせおよび加算処理の出力は安定化された身振り運動信号であるとともに、MIDインターフェースに対して意図される身振り運動の継続的な監視のために使用される。一実施形態において、安定化された身振りは、MID身振りUIを介してMID上のアプリケーションを選択する。
装身デバイスによってMIDに送信された身振りから、一度非UI運動(または基礎運動)が除去されると、身振り運動が分離される。一実施形態において、x軸のまわりの回転によって引き起こされた身振りまたは姿勢は、ArcTan(AccelZ/AccelY)から絶対値角度テータを計算することによって決定される。他の実施形態において、身振りまたは姿勢は、隠れマルコフモデル(HMM)を介して身振りに基づく角度を計算することによって決定される。HMMは、一実施形態において、HMMは、ノイズを有する加速度計測定値が与えられると、それぞれ20度の角度の楔(図2に図示)が実際の(または真の)角度である確率を生成する。最も高い確率で正しい角度が、身振り運動によって意図された最終の実際の(真の)角度として選択される。
一実施形態において、身振り角度からMIDのメニュー選択へのマッピングをさらに安定化するためにヒステリシスが適用される。低レイテンシのオーディオクリップが、一実施形態において、ユーザに、MIDのメニュー選択上の現在のメニュー位置を通知するために使用されてもよい。一実施形態において、腕時計上のボタンのクリックに応じてメニューが選択される。選択されたメニューに関連付けられたアプリケーションは、一実施形態において、クリックに応じて実行される。選択されたメニューに関連するアプリケーションは、次いで、安定化された身振りによって選択されたメニュー位置が特定されたときに実行される。
図3によって説明された安定化アルゴリズムを介して、UIに関連しない他の運動から身振り運動が特定されたのと同様に、一実施形態において、ユーザの運動を特定するために、UIに関連しない運動が使用される。例えば、UIに関連しない運動、または基礎運動は、運転すること、歩くこと、走ること等の1つであってもよい。一実施形態では、基礎運動から身振り運動が除かれた後に、基礎運動を検出するために隠れマルコフモデル(HMM)が使用される。
図4および5は、身振り運動に対して安定化を適用した、および適用していない、身振りUIの動作を示す。図4は、本願発明の一実施形態に係る、時間領域における全3軸x、y、およびzの生の加速度計データを示す。プロットの左側半分は、歩いている間の、手首上の装身デバイス(例えば時計)の加速度計測定値に対応する。装身デバイスのx、y、およびzの加速度計測定値が(ユーザのポケット、財布等の中であってもよい)MIDのx、y、およびzの加速度計測定値に一致しない理由は、ユーザが歩いているときは、両デバイスが互いに対して異なる向きにあるからである。2つのデバイスは、デバイスの基礎運動の異なる強度および調和(harmonics)を体験しているので、y軸上にプロットされた重力の強度は装身デバイスおよびMIDの間で異なる。一実施形態において、MIDのx、y、およびz加速度計測定値は、装身デバイスのためのノッチフィルタを構成するために使用される。
図5は、図3内で説明された安定化アルゴリズムが適用された場合および止められた場合の、身振りを含む運動データを比較する。点線の曲線は、安定化が適用された場合の運動データを表し、他方、実線の曲線は、安定化が止められた場合の運動データを表す。プロット上のx軸は、0.05秒の増分を伴う時間であり、他方y軸は角度である。この実施例においては、ユーザは、位置1から位置2に歩いている間に、ユーザは(時計のような)装着された装身デバイスを伴う自分の手首を回転した。この説明において、ユーザは300から400の0.05秒増分からなる時間範囲の間に位置1にとどまり、かつ同様に、500から750の0.05秒増分の間に位置2にとどまった。これらの位置1および2の時間範囲の間、ユーザは、歩いている(基礎運動)間に、手首の回転角を安定に維持した。歩いている間の加速度計測定値はノイズが多く、それによって位置1でなされた身振り(手首の回転)および位置2でなされたものとの間を区別するのが困難になるので、安定化を適用しないと、デバイス(装身デバイスおよびMID)の加速度計測定値をもって計算された手首の回転角は、MID上のメニュー位置の選択に使用できない。
しかしながら、デバイスの加速度計測定値をもって計算された回転角度は、安定化を伴うことによって、高いメニュー選択分解能を可能にする。この実施形態において、安定化処理は、身振り運動(手首の回転)によって3から5度のメニュー選択能力を達成する。このことは、歩く間に安定化をオンにして手首を5度だけ回転することによって、ユーザはMID上で異なるメニュー位置を選択できることを意味する。
上述の実施形態における身振り運動は、手首の回転によって説明されてきたが、運動している間にMIDと通信するために、他の身振り運動も使用できる。例えば、身振りは、軽くはじくこと(flick)、手首の回転、および装身デバイスが繋がりうる他の身体部分の運動を含む。
図6は、本願発明の一実施形態に係るMIDのハイレベルアーキテクチャを示す。一実施形態において、安定化モジュール604は、図3内で説明されたアルゴリズムを有する。一実施形態において、安定化モジュールは、メモリ603のような格納領域に常駐する。プロセッサ601は、一実施形態において、安定化モジュール604を実行する。図6に図示されていない装身デバイスまたはデバイスの集合体は、一実施形態において、通信部602を介してMIDと通信する。通信部602は、一実施形態において、無線および/または無線手段を介して外部デバイスと通信できる。一実施形態において、無線手段は、ブルートゥース(登録商標)無線技術を含む。一実施形態において、無線技術は双極アンテナを含む。MIDは、一実施形態において、直線加速度を測定するための、(x、y、およびz軸に沿った)3次元測定値を提供する加速度計605を含む。他の実施形態において、加速度計に代えてジャイロスコープが使用されてもよい。さらなる他の実施形態において、直線および角重力加速度を計算するために、加速度計およびジャイロスコープの組み合わせがMID内で使用される。他の実施形態において、いかなる加速度デバイス(部)が605のために使用されてもよい。デバイス601−603および605は、一実施形態において、システムバスを介して互いに通信する。
一実施形態において、601から605を含む図6の全ての構成要素は、個別のデバイス601−605の機能を実行可能な単一のプロセッサ上にある。
図6内で示されるとともに上記で説明されたアーキテクチャは、一実施形態において、装身デバイスにも適用可能である。指輪を含むより小さいおよびコンパクトな装身デバイスに対しては、一実施形態において、プロセッサ601およびメモリ603のようないくつかの構成要素が除去される。コンパクトな装身デバイスの他の実施形態においては、図6内で説明された全ての構成要素が単一のコンパクトなプロセッサ内にある。
実施形態の構成要素は、コンピュータ可読命令を格納するための機械可読媒体としても構成される。機械可読媒体は、(図6のメモリ603のような)フラッシュメモリ(登録商標)、光ディスク、CD−ROM、DVD−ROM、ROM、RAM、EPROM、EEPROM(登録商標)、磁気または光カード、あるいは、電子またはコンピュータ可読命令を格納するのに適した他のタイプの機械可読媒体を含んでもよいが、これらに限定されない。例えば、本願発明の実施形態は、通信リンク(例えばモデムまたはネットワーク接続)を介したデータ信号を利用して、リモートコンピュータ(例えばサーバ)から要求コンピュータ(例えばクライアント)に転送されうるコンピュータプログラムとしてダウンロードされてもよい。
本願発明は、特定の実施形態を伴って説明されてきたが、上述の説明を踏まえて、多くの代替例、修正例、および変形例が当業者に明らかである。本願発明の実施形態は、添付の特許請求の範囲の広範な範囲に該当する全てのそのような代替例、修正例、および変形例を含むことを意図している。

Claims (20)

  1. 第1の携帯デバイスの運動を測定するために、第1の多次元情報を決定する段階と、
    第2の携帯デバイスの運動を測定するために、前記第1の携帯デバイスが第2の多次元情報を受信する段階と、
    前記第1および前記第2の多次元情報に基づいて前記第2の携帯デバイスの基礎運動から身振り運動をフィルタリングして、前記基礎運動から前記身振り運動を分離する段階と、
    分離された前記身振り運動に応じて第1の携帯デバイスの動作を指示する段階とを備える方法。
  2. 前記第1の携帯デバイスの前記動作を指示する段階は、前記第1の携帯デバイスのアプリケーションを選択する段階を有する請求項1に記載の方法。
  3. 前記第1の携帯デバイスの選択された前記アプリケーションを実行する段階をさらに備える請求項2に記載の方法。
  4. 前記基礎運動は、歩くこと、走ること、運転すること、およびライディングを含む請求項1からの3のいずれか1項に記載の方法。
  5. 前記第2の携帯デバイスは、前記第1の携帯デバイスに対して運動している複数の携帯デバイスを含む請求項1からの4のいずれか1項に記載の方法。
  6. 前記第1の携帯デバイスは、複数の携帯デバイスを含む請求項1からの5のいずれか1項に記載の方法。
  7. 前記第2および前記第1の携帯デバイスの間の共通運動の存在を判定する段階をさらに備える請求項1からの6のいずれか1項に記載の方法。
  8. 前記第2の多次元情報の受信時刻に一致させる時間遅延だけ、前記第1の多次元情報を遅延させる段階をさらに備える請求項1からの7のいずれか1項に記載の方法。
  9. 前記第2および前記第1の多次元情報は、加速度計によって生成される請求項1からの8のいずれか1項に記載の方法。
  10. 前記第2および前記第1の多次元情報はジャイロスコープによって生成される請求項1からの9のいずれか1項に記載の方法。
  11. 前記第2および前記第1の多次元情報は、加速度計およびジャイロスコープによって生成される請求項1からの10のいずれか1項に記載の方法。
  12. 第1の携帯デバイスの運動を測定するために、第1の多次元情報を決定する段階と、
    第2の携帯デバイスの運動を測定するために、第2の多次元情報を受信する段階と、
    前記第1および前記第2の多次元情報に基づいて、前記第2の携帯デバイスの基礎運動から身振り運動をフィルタリングして、前記基礎運動から前記身振り運動を分離する段階と、
    分離された前記身振り運動に応じて前記第1の携帯デバイスの動作を指示する段階と
    をコンピュータに実行させる、プログラム。
  13. 前記動作を指示する段階は、前記第1の携帯デバイスのアプリケーションを選択する段階を有する請求項12に記載のプログラム。
  14. 前記第1の携帯デバイスの選択された前記アプリケーションを実行する段階をさらにコンピュータに実行させる請求項13に記載のプログラム。
  15. 前記第2および前記第1の携帯デバイスの間の共通運動の存在を判定する段階をさらにコンピュータに実行させる請求項12からの14のいずれか1項に記載のプログラム。
  16. 前記第2の多次元情報の受信時刻に一致させる時間遅延だけ、前記第1の多次元情報を遅延させる段階をさらにコンピュータに実行させる請求項12から15のいずれか1項に記載のプログラム。
  17. 装置であって、
    前記装置の運動を測定するための第1の多次元情報を提供する加速度測定部と、
    運動している第2の携帯デバイスの第2の多次元情報を受信する通信部と、
    前記加速度測定部および前記通信部に接続され、前記第1および前記第2の多次元情報に基づいて、前記第2の携帯デバイスの基礎運動から身振り運動をフィルタリングするプロセッサとを備え、前記第2の多次元情報は第2の携帯デバイスの運動を測定するためである、装置。
  18. 前記第2の携帯デバイスは装身デバイスである請求項17に記載の装置。
  19. 前記加速度測定部はジャイロスコープである請求項17または18に記載の装置。
  20. 前記加速度測定部は加速度計である請求項17から19のいずれか1項に記載の装置。
JP2010076067A 2009-03-31 2010-03-29 携帯身振りユーザインターフェースを安定化する方法、装置、およびシステム Expired - Fee Related JP5016698B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/416,011 2009-03-31
US12/416,011 US8502704B2 (en) 2009-03-31 2009-03-31 Method, apparatus, and system of stabilizing a mobile gesture user-interface

Publications (2)

Publication Number Publication Date
JP2010246109A JP2010246109A (ja) 2010-10-28
JP5016698B2 true JP5016698B2 (ja) 2012-09-05

Family

ID=42783472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010076067A Expired - Fee Related JP5016698B2 (ja) 2009-03-31 2010-03-29 携帯身振りユーザインターフェースを安定化する方法、装置、およびシステム

Country Status (4)

Country Link
US (1) US8502704B2 (ja)
JP (1) JP5016698B2 (ja)
CN (1) CN101866216B (ja)
TW (1) TWI485575B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150026326A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 스마트 와치 및 제어 방법

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7841967B1 (en) 2006-04-26 2010-11-30 Dp Technologies, Inc. Method and apparatus for providing fitness coaching using a mobile device
US8902154B1 (en) 2006-07-11 2014-12-02 Dp Technologies, Inc. Method and apparatus for utilizing motion user interface
US8949070B1 (en) 2007-02-08 2015-02-03 Dp Technologies, Inc. Human activity monitoring device with activity identification
US7753861B1 (en) 2007-04-04 2010-07-13 Dp Technologies, Inc. Chest strap having human activity monitoring device
US8555282B1 (en) 2007-07-27 2013-10-08 Dp Technologies, Inc. Optimizing preemptive operating system with motion sensing
US8996332B2 (en) 2008-06-24 2015-03-31 Dp Technologies, Inc. Program setting adjustments based on activity identification
US8872646B2 (en) 2008-10-08 2014-10-28 Dp Technologies, Inc. Method and system for waking up a device due to motion
US9529437B2 (en) * 2009-05-26 2016-12-27 Dp Technologies, Inc. Method and apparatus for a motion state aware device
US10572721B2 (en) 2010-08-09 2020-02-25 Nike, Inc. Monitoring fitness using a mobile device
CN108509038B (zh) 2010-08-09 2022-06-07 耐克创新有限合伙公司 用于记录和追踪运动活动的系统和方法
US9532734B2 (en) 2010-08-09 2017-01-03 Nike, Inc. Monitoring fitness using a mobile device
US8825436B2 (en) * 2011-03-09 2014-09-02 Moog Inc. Inertial sensing with spatially distributed sensor array and two dimensional data processing
TWI475468B (zh) * 2011-03-23 2015-03-01 Acer Inc 可攜式裝置、資料傳輸系統及其相關顯示共享方法
US9094813B2 (en) 2011-04-02 2015-07-28 Open Invention Network, Llc System and method for redirecting content based on gestures
EP2797796A4 (en) * 2011-12-29 2015-09-16 Intel Corp SYSTEMS, METHOD AND DEVICE FOR CONTROLLING GESTURE INITIATIONS AND TERMINATIONS
US9715282B2 (en) 2013-03-29 2017-07-25 Microsoft Technology Licensing, Llc Closing, starting, and restarting applications
KR102127927B1 (ko) * 2013-07-30 2020-07-09 엘지전자 주식회사 이동 단말기, 스마트 워치 및 이동 단말기와 스마트 워치간 보안 인증방법
JP6269316B2 (ja) * 2014-01-08 2018-01-31 富士通株式会社 入力装置、入力方法および入力プログラム
JP2015146058A (ja) * 2014-01-31 2015-08-13 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP6667233B2 (ja) * 2014-09-02 2020-03-18 ナイキ イノベイト シーブイ モバイル装置を用いた健康の監視
US20170074641A1 (en) * 2015-09-14 2017-03-16 Michael Dean Tschirhart Translating natural motion to a command
US10678337B2 (en) * 2016-01-04 2020-06-09 The Texas A&M University System Context aware movement recognition system
CN108920228B (zh) 2018-05-28 2021-01-15 云谷(固安)科技有限公司 一种控制指令输入方法和输入装置
IT201900019037A1 (it) * 2019-10-16 2021-04-16 St Microelectronics Srl Metodo perfezionato per rilevare un gesto di inclinazione del polso e unita' elettronica e dispositivo elettronico indossabile che implementano il medesimo
US11457861B1 (en) 2019-12-31 2022-10-04 Express Scripts Strategic Development, Inc. Systems and methods for using wearable computing devices to detect gestures of patient prescription adherence

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529144B1 (en) * 2000-09-22 2003-03-04 Motorola Inc. Method and apparatus for motion activated control of an electronic device
JP2002358149A (ja) * 2001-06-01 2002-12-13 Sony Corp ユーザ入力装置
JP2004201081A (ja) * 2002-12-19 2004-07-15 Citizen Watch Co Ltd 携帯電話システム
US7903084B2 (en) * 2004-03-23 2011-03-08 Fujitsu Limited Selective engagement of motion input modes
US8684839B2 (en) * 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
US20060061469A1 (en) * 2004-09-21 2006-03-23 Skyfence Inc. Positioning system that uses signals from a point source
JP4353907B2 (ja) * 2005-02-17 2009-10-28 シチズンホールディングス株式会社 携帯型電子機器
TWI412392B (zh) * 2005-08-12 2013-10-21 Koninkl Philips Electronics Nv 互動式娛樂系統及其操作方法
US20080136679A1 (en) * 2006-12-06 2008-06-12 Newman Mark W Using sequential taps to enter text
JP5183982B2 (ja) * 2007-06-25 2013-04-17 楽天株式会社 情報提供装置および方法、プログラム、並びに情報提供システム
US8121640B2 (en) * 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150026326A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 스마트 와치 및 제어 방법
KR102163915B1 (ko) 2013-09-02 2020-10-12 엘지전자 주식회사 스마트 와치 및 제어 방법

Also Published As

Publication number Publication date
CN101866216B (zh) 2013-03-27
CN101866216A (zh) 2010-10-20
US8502704B2 (en) 2013-08-06
JP2010246109A (ja) 2010-10-28
TWI485575B (zh) 2015-05-21
TW201044219A (en) 2010-12-16
US20100245131A1 (en) 2010-09-30

Similar Documents

Publication Publication Date Title
JP5016698B2 (ja) 携帯身振りユーザインターフェースを安定化する方法、装置、およびシステム
US11166104B2 (en) Detecting use of a wearable device
KR101834374B1 (ko) 시간 기준 특징들의 시간적 스케일링을 이용한 활동 분류를 위한 방법들, 디바이스들 및 장치들
US8531414B2 (en) Bump suppression
KR101573196B1 (ko) 모바일 디바이스에서의 우도 함수 값들의 결합을 사용하여 사용자 활동을 분류하기 위한 시스템들, 방법들 및 장치들
US20130046505A1 (en) Methods and apparatuses for use in classifying a motion state of a mobile device
US11589183B2 (en) Inertially stable virtual auditory space for spatial audio applications
KR20160124889A (ko) 웨어라블 장치의 착용상태의 처리방법 및 장치
US11131562B2 (en) Pedestrian pace estimation with pace change updating
US11675423B2 (en) User posture change detection for head pose tracking in spatial audio applications
US20210400418A1 (en) Head to headset rotation transform estimation for head pose tracking in spatial audio applications
KR20150033902A (ko) 스마트 와치 및 제어 방법
US20210400414A1 (en) Head tracking correlated motion detection for spatial audio applications
US11582573B2 (en) Disabling/re-enabling head tracking for distracted user of spatial audio application
US20220103965A1 (en) Adaptive Audio Centering for Head Tracking in Spatial Audio Applications
US20210400419A1 (en) Head dimension estimation for spatial audio applications
US20210396779A1 (en) User posture transition detection and classification
WO2021051200A1 (en) User interface control based on elbow-anchored arm gestures
US11051720B2 (en) Fitness tracking for constrained-arm usage
US9983693B2 (en) Spatial motion-based user interactivity
Zeng et al. A novel step counting algorithm based on acceleration and gravity sensors of a smart-phone
Ge et al. EHTrack: Earphone-Based Head Tracking via Only Acoustic Signals
US20160356804A1 (en) Pedestrian Velocity Estimation
US11758350B2 (en) Posture transition detection and classification using linked biomechanical model
US11689841B2 (en) Earbud orientation-based beamforming

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120515

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120608

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees