JP5675627B2 - 身振り認識を伴うモバイルデバイス - Google Patents
身振り認識を伴うモバイルデバイス Download PDFInfo
- Publication number
- JP5675627B2 JP5675627B2 JP2011532265A JP2011532265A JP5675627B2 JP 5675627 B2 JP5675627 B2 JP 5675627B2 JP 2011532265 A JP2011532265 A JP 2011532265A JP 2011532265 A JP2011532265 A JP 2011532265A JP 5675627 B2 JP5675627 B2 JP 5675627B2
- Authority
- JP
- Japan
- Prior art keywords
- electronic device
- portable electronic
- motion
- sensor data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
- G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
- G06F2200/163—Indexing scheme relating to constructional details of the computer
- G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
- G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
- G06F2200/163—Indexing scheme relating to constructional details of the computer
- G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
関連出願のクロスリファレンス
本出願は、２００８年１月１８日に出願された、米国暫定特許出願第６１／０２２，１４３号“Ｍｏｔｉｏｎ Ｓｅｎｓｉｎｇ Ａｐｐｌｉｃａｔｉｏｎ Ｉｎｔｅｒｆａｃｅ”の利益を請求する。
本出願は、２００８年１月１８日に出願された、米国暫定特許出願第６１／０２２，１４３号“Ｍｏｔｉｏｎ Ｓｅｎｓｉｎｇ Ａｐｐｌｉｃａｔｉｏｎ Ｉｎｔｅｒｆａｃｅ”の利益を請求する。
この出願は、２００８年４月２１日に出願された、米国特許出願第１２／１０６，９２１号（４３６０Ｐ）“Ｉｎｔｅｒｆａｃｉｎｇ Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｓ ａｎｄ Ｍｏｔｉｏｎ Ｓｅｎｓｏｒｓ ｏｆ ａ Ｄｅｖｉｃｅ”の継続出願である。
これらはすべて、全体的にここに引用されている。
技術分野
本発明は一般的に動作検出デバイスに関するものであり、特に、動作検出デバイスの動作センサに基づく身振り認識に関する。
本発明は一般的に動作検出デバイスに関するものであり、特に、動作検出デバイスの動作センサに基づく身振り認識に関する。
加速度計やジャイロスコープといった慣性センサなどの動作センサは、電子デバイスに使用することができる。加速度計は線形加速度の測定に使用することができ、ジャイロスコープは移動する物体の加速度の測定に使用することができる。動作センサ市場には、移動電話、ビデオゲームコントローラ、ＰＤＡ、移動インターネットデバイス（ＭＩＤ）、パーソナルナビゲーションデバイス（ＰＮＤ）、デジタルスチルカメラ、デジタルビデオカメラ、などが含まれる。例えば、携帯電話は加速度計を使用して空間内のデバイスの傾きを検出することができ、これによって映像をその傾斜に応じた方向に表示することができる。ビデオゲームコンソールのコントローラに加速度計を使用して、ゲームに入力を提供するハンドコントローラの動きを検出することができる。写真や映像の安定化は、レンズあるいは画像センサがシフトして手振れをジャイロスコープで検出して補正するものであり、低性能あるいは中程度の性能のデジタルカメラにおいても重要な特性である。全地球測位システム（ＧＰＳ）と位置情報サービス（ＬＢＳ）のアプリケーションは、デバイスの正確な位置決めに依存しており、ＧＰＳ信号が減衰したり入らなかったりした場合、あるいはＧＰＳ位置検出の精度を上げるためには、動作センサがしばしば必要である。
現在の携帯用（移動）電子デバイスのほとんどが、「ピーク検出」あるいは定常状態検出を行う加速度計のような、非常に基本的な動作センサのみを使用する傾向にある。例えば、現在の移動電話は、定常状態での重力測定を用いて検出できるデバイスの傾きを検出するのに加速度計を用いている。このような単純な検出は、例えば、ジャイロスコープなどのより高機能なアプリケーションや、正確なタイミング必要条件があるその他のアプリケーションには使用することができない。デバイスにジャイロスコープを具えることなくしては、デバイスの傾きと加速が確実に検出されない。また、デバイスの動きは常に直線的、あるいは地面に平行であるわけではないので、より正確な検出には、加速度計あるいはジャイロスコープを使用した様々な移動軸の測定が必要である。
より高機能な動作センサは、通常、電子デバイスには使用されていない。ある種の動きを伴う動作の検出といった特定のアプリケーションでは、より高機能の動作センサを必要とする試みがなされてきた。しかし、これらの試みのほとんどが失敗するか、製品として十分なロバスト性がなかった。これは、動作を取り出す動作センサの使用が複雑なためである。例えば、ジャイロスコープを使用する場合、デバイスの傾斜あるいは動きを特定することは些細なことではない。画像安定化用、位置検出用、あるいはその他のより高機能なアプリケーション用に動作センサを使用するには、移動センサを掘り下げて理解することが必要であり、これが、動作検出の設計を非常に難しいものにしている。
更に、消費者市場用の平凡な携帯可能なコンシューマ電子デバイスは、低価格であることが求められる。更に、ジャイロスコープや加速度計といった最も信頼性が高く正確な慣性センサは、通常多くのコンシューマ製品には通常高価すぎる。低価格の慣性センサを用いても、携帯電子デバイスに多くの動作検出特性をもたらすことができる。しかしながら、このような低価格のセンサの精度は、より洗練された機能性についての要因を制限するものである。
このような機能性には、例えば動作検出デバイスに実装された身振り認識が含まれる。これはユーザがデバイスを動かすことによってコマンドあるいはデータを入力することができ、さもなければデバイスにユーザの動きを検出させることができる。例えば、ゼスチュア認識によって、ユーザは単に動く、震える、デバイスをトントン叩くことによって、特定のデバイス機能を容易に選択することができる。以前の動作検出デバイス用のゼスチュア認識は、通常、ジャイロスコープ又は加速度計からのデータなどの生のセンサデータを分析するステップと、この生のデータを探すハードコーディングパターンか、あるいは、このデータからパターンを学習するマシン学習技術（ニューラルネットワーク又はサポートベクターマシンなど）の使用と、からなっていた。いくつかの場合は、ゼスチュアを学習するのにまずマシン学習を使用することと、次いで、このマシン学習アルゴリズムの結果をハードコーディングして最適化することによって、マシン学習を用いたゼスチュアの検出に必要な処理リソースを減らすことができる。
これらの従来技術にはいくつかの問題点がある。問題の一つは、携帯可能なデバイスに実装した場合そのアプリケーションと機能性においてゼスチュアが非常に限定されていることである。もう一つの問題は、ゼスチュアが時には信頼性を持って認識されないことである。例えば、生のセンサデータは、ゼスチュアを調べるのに最も良いデータではない。なぜなら、このデータは、特定のゼスチュアについてユーザによって大きく変わることがあるからである。このような場合、一人のユーザが学習システムをトレーニングするかあるいはそのユーザのゼスチュア用にパターン検出器をハードコード化すると、別のユーザがこのデバイスを使用するときにこれらのゼスチュアは正しく認識されないからである。この一例は、腕の回転運動である。あるユーザは、手首を回転させることなくそのデバイスを用いて空中でパターンを描くことができるが、別のユーザはそのパターンを描きながら手首を回転させることがある。結果としての生データは、ユーザによって非常に異なって見えるであろう。典型的な解決策は、あるゼスチュアの可能性のあるバリエーションをすべてハードコード化するか、トレーニングすることであるが、このソリューションは処理時間に費用がかかるうえ、実装が困難である。
従って、変化に富み、ロバスト性が高く、正確なゼスチュア認識を低コストの慣性センサで提供するシステムと方法が多くのアプリケーションで望まれている。
本出願の発明は、身振り認識を提供する移動デバイスに関する。一の態様では、携帯可能な電子デバイスを制御するために動作を処理する方法であり、デバイスの動作センサから取り出した検出した動作データをデバイスで受信するステップを具え、この検出動作データが携帯可能な電子デバイスの空中での動きに基づいている。動作センサは、６軸の動作検出を提供し、少なくとも３つの回転動作センサと、少なくとも３つの加速度計を具える。デバイスの動きが生じる間は特定の動作モードがアクティブになるよう決定され、この特定の動作モードは、デバイスの動作中に入手可能な複数の異なる動作モードの一つである。一又はそれ以上の身振りが動作データから認識され、この一又はそれ以上の身振りは、デバイスがアクティブ動作モードにあるとき認識可能な身振りセットから認識される。デバイスの様々な動作モードは、各々、アクティブであるときに、認識可能な別の身振りセットを有する。このデバイスの一又はそれ以上の状態は一又はそれ以上の認識された身振りに基づいて変化する。この変化にはデバイスのディスプレイ画面の出力を変えることが含まれる。
本発明の別の態様においては、動作検出デバイスを使用しているユーザによって実行されたゼスチュアを認識する方法であって、デバイスの動作を表わすデバイス座標における動作センサデータを受信するステップを具え、複数の回転動作センサと線形動作センサを具える動作検出デバイスの複数の動作センサから受信される。この動作センサデータはデバイス座標からワールド座標へ変換される。デバイス座標中の動作センサデータはデバイスの基準フレームに対するデバイスの動作を示すものであり、ワールド座標中の動作センサデータは、デバイス外の基準フレームに対するデバイスの動作を示す。ゼスチュアは、ワールド座標中の動作センサデータから検出される。
本発明の別の態様では、ゼスチュア検出システムが、動作センサデータを提供する複数の動作センサを具え、この動作センサは、複数の回転動作センサと線形動作センサを具える。少なくとも一の特徴検出器がそれぞれ動作して、動作センサデータから取り出した関連するデータ特徴を検出し、各データ特徴は、動作センサデータの特性であり、各特徴検出器は、検出したデータ特徴を示す特徴値を出力する。少なくとも一のゼスチュア検出器がそれぞれ動作して、特徴値に基づいて、ゼスチュア検出器に関連するゼスチュアを検出する。
本発明の態様は、移動可能なあるいはハンドヘルドの動作検出デバイスの慣性センサから、よりフレキシブルで、多様性があり、ロバスト性が高く正確な身振り認識を提供する。複数の回転動作センサと線形動作センサが使用されており、デバイスの様々な動作モードで、適宜のゼスチュアセットを認識することができる。検出した動作データにワールド座標を使用することで、ゼスチュアを入力する間のユーザによる動作のわずかな違いを、多大な追加の処理を行うことなく同じゼスチュアとして認識することができる。動作センサデータにデータ特徴を使用することによって、すべての動作センサデータを処理する場合に比べて少ない処理でゼスチュアを認識することができる。
本発明は、一般的に、動作検出システムに関し、特に、動作検出デバイスの動作センサを用いた身振りの認識に関する。以下の記載は、当業者が本発明を製造し使用することができるようになされており、本出願のコンテキストと要求において、提供されている。好ましい実施例の様々な変形例と、ここに記載されている一般的原理と特徴は、当業者には自明である。従って、本発明はここに示す実施例に限定することを意図するものではなく、ここに述べた原理と特徴に合致した最も広範囲に一致するものである。
本発明の特徴をより詳細に述べるために、以下の記載と共に図１乃至１８を参照されたい。
図１は、本発明の使用に適した身振り検出システム又はデバイス１０の一例を示すブロック図である。デバイス１０は、ユーザによって空中で移動できる携帯デバイスなどのデバイス又は装置として実装することができ、その空中での動作及び／又はオリエンテーションを検出することができる。例えば、このような携帯デバイスは、移動電話、パーソナルデジタルアシスタント（ＰＤＡ）、ビデオゲームプレーヤ、ビデオゲームコントローラ、ナビゲーションデバイス、モバイルインターネットデバイス（ＭＩＤ）、パーソナルナビゲーションデバイス（ＰＮＤ）、デジタルスチルカメラ、デジタルビデオカメラ、双眼鏡、望遠レンズ、あるいはその他の携帯可能なデバイス、あるいはこれらのデバイスの一又はそれ以上の組み合わせである。いくつかの実施例では、デバイス１０は、入力デバイスに加えて、自身のディスプレイ及びその他の出力デバイスを具えている、内蔵型デバイスである。その他の実施例では、携帯可能なデバイス１０は、例えばネットワークコネクションを介して移動可能なあるいは携帯可能なデバイス１０と通信できる、デスクトップコンピュータ、電子テーブルトップデバイス、サーバコンピュータ、などの非携帯可能なデバイスと共働してのみ機能する。
デバイス１０は、アプリケーションプロセッサ１２と、メモリ１４と、インターフェースデバイス１６と、動作処理ユニット２０と、アナログセンサ２２と、デジタルセンサ２４と、を具える。アプリケーションプロセッサ１２は、一又はそれ以上のマイクロプロセッサ、中央処理ユニット（ＣＰＵ）、あるいはデバイス１０でソフトウエアプログラムを稼働するその他のプロセッサであっても良い。例えば、メニューナビゲーションソフトウエア、ゲーム、カメラ機能コントロール、ナビゲーションソフトウエア、電話又は広範囲にわたるその他ソフトウエア及び機能インターフェースなどの様々なソフトウエアアプリケーションプログラムが考えられる。いくつかの実施例では、複数の異なるアプリケーションを単一のデバイス１０に設けることができ、これらの実施例のいくつかは、複数のアプリケーションをデバイス１０で同時に稼働させることができる。いくつかの実施例では、デバイス１０に複数の異なる動作モードを実装しており、アプリケーションプロセッサが各モードによって異なるアプリケーションセットをデバイス上で使用することができ、別のゼスチュアセットを検出することができる。この点については、図９を参照して後により詳細に述べる。
アプリケーションプロセッサ１２と共に使用するために、電子メモリ、あるいはハードディスク、光ディスクといったその他のストレージ媒体などのコンピュータで読み取り可能な媒体に多重ソフトウエアを設けることができる。例えば、オペレーティングシステム層をデバイス１０に提供して、システムリソースをリアルタイムで制御及び管理することができ、アプリケーションソフトウエアの機能とその他の層を有効にし、デバイス１０のその他のソフトウエアと機能にアプリケーションプログラムをインターフェースすることができる。動作アルゴリズム層は、動作センサ及びその他のセンサからの生のセンサデータを低レベルで処理する動作アルゴリズムを提供できる。センサデバイス駆動層は、デバイス１０のハードウエアセンサとインターフェースを取るソフトウエアを提供することができる。
これらの層のいくつかあるいはすべては、プロセッサ１２のソフトウエア１３において提供することができる。例えば、いくつかの実施例では、プロセッサ１２は、動作処理ユニット（ＭＰＵ（商標））２０（以下に述べる）からのセンサ入力に基づいて、ここで述べているゼスチュア処理と認識を実行することができる。その他の実施例では、いくつかの層（低レベルソフトウエア層など）がＭＰＵに提供されており、使用するアプリケーション及び／又はハードウエアに適しているため、ＭＰＵ２０とプロセッサ１２の間で処理を分割することができる。例えば、ＭＰＵ２０による処理を行っている実施例では、ＡＰＩ層をプロセッサ１２の層１３に実装して、プロセッサ１２で稼働しているアプリケーションプログラムのステータスをＭＰＵ２０並びにＡＰＩコマンド（例えば、バス２１を介して）に通信させて、ＭＰＵ２０がここに述べるゼスチュア処理及び認識のいくつかあるいはすべてを実行できるようにする。動作検出デバイスにおけるＡＰＩ実装のいくつかの実施例は、同時継続中の米国特許出願第１２／１０６，９２１号に記載されている。この出願は全体がここに引用されている。
デバイス１０は又、メモリ１４（ＲＡＭ、ＲＯＭ、フラッシュ、その他）及びインターフェースデバイス１６など、アプリケーションプロセッサ１２を支援する構成部品を具える。インターフェースデバイス１６は、ディスプレイスクリーン、オーディオスピーカ、ボタン、タッチスクリーン、ジョイスティック、スライダ、ノブ、プリンタ、スキャナ、カメラ、コンピュータネットワークＩ／Ｏデバイス、その他の接続周辺機器等、ユーザに入力及び／又は出力を提供する様々なデバイスである。例えば、多くの実施例に設けられている一のインターフェースデバイス１６は、ユーザが見ることができる画像を出力するディスプレイスクリーン１６ａである。メモリ１４とインターフェースデバイス１６は、バス１８によってアプリケーションプロセッサ１２に接続することができる。
デバイス１０は又、動作処理ユニット（ＭＰＵ（商標））２０を具えている。ＭＰＵは、デバイス１０（あるいはその一部）の空中での動作を測定する動作センサを具えるデバイスである。例えば、ＭＰＵは、一又はそれ以上の回転軸と一又はそれ以上のデバイスの加速軸を測定することができる。好ましい実施例では、少なくともいくつかの動作センサがジャイロスコープ及び／又は加速度計などの慣性センサである。いくつかの実施例では、これらの機能を実行する構成要素が単一パッケージに集積されている。ＭＰＵ２０は動作センサデータを、例えば、１２Ｃ又はシリアル周辺インターフェース（ＳＰＩ）バスなどのインターフェースバス２１に通信することができる。このバスには、アプリケーションプロセッサ１２も接続されている。一の実施例では、プロセッサ１２がバス２１のコントローラ又はマスタである。いくつかの実施例では、バス１８をインターフェースバス２１と同じバスにすることができる。
ＭＰＵ２０は、一又はそれ以上の回転動作センサ２６と一又はそれ以上の線形動作センサ２８を含む動作センサを具える。例えば、いくつかの実施例では慣性センサが用いられており、ここでは回転動作センサがジャイロスコープであり、線形動作センサが加速度計である。ジャイロスコープ２６は、ジャイロスコープ２６を収納しているデバイス１０の角速度（又はその一部）を測定することができる。特定の実施例で検出が望まれる動作に応じて、通常１乃至３のジャイロスコープが設けられている。加速度計２８は、加速度計２８を収納しているデバイス１０の線形加速度（又はその一部）を測定することができる。特定の実施例で検出が望まれる動作に応じて、通常１乃至３の加速度計が設けられている。例えば、３つのジャイロスコープ２６と３つの加速度計２８が使用されている場合、６軸検出デバイスが提供され、全部で６の自由度で検出を行うことができる。
いくつかの実施例では、ジャイロスコープ２６及び／又は加速度計２８を、Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ（ＭＥＭＳ）として実装することができる。ストレージレジスタなどの動作センサ２６及び２８からのデータの支援ハードウエアも提供されている。
いくつかの実施例では、ＭＰＵ２０もハードウエア処理ブロック３０を具えていてもよい。ハードウエア処理ブロック３０も、ハードウエアで動作センサデータの処理を行うロジック又はコントローラを具えていても良い。例えば、いくつかの実施例ではブロック３０によって、及び／又は、ここに述べたゼスチュア認識の一部あるいはすべてによって、動作アルゴリズム、あるいはアルゴリズムの一部を実装することができる。このような実施例では、アプリケーションプロセッサ１２用にＡＰＩを設けて、上述したように所望のセンサ処理タスクをＭＰＵ２０に通信することができる。いくつかの実施例は、ブロック３０にハードウエアバッファを設けて、動作センサ２６及び２８から受信したセンサデータを保存することができる。以下に詳細に述べるように、いくつかの実施例ではボタンなどの動作コントロール３６を設けて、電子デバイス１０へのゼスチュアの入力を制御することができる。
ＭＰＵ２０の一例を、図２を参照して以下に述べる。本発明の使用に適したＭＰＵのその他の例は、２００７年７月６日に出願された、同時継続中の米国特許出願第１１／７７４，４８８号“Ｉｎｔｅｇｒａｔｅｄ Ｍｏｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＭＰＵ）Ｗｉｔｈ ＭＥＭＳ Ｉｎｅｒｔｉａｌ Ｓｅｎｓｉｎｇ ａｎｄ Ｅｍｂｅｄｄｅｄ Ｄｉｇｉｔａｌ Ｅｌｅｃｔｒｏｎｉｃｓ”に記載されている。この出願は全体がここに引用されている。デバイス１０におけるＭＰＵ２０の好適な実装は、Ｓｕｎｎｙｖａｌｅ，ＣＡ所在のＩｎｖｅｎｓｅｎｓｅ，Ｉｎｃ．社から入手することができる。
デバイス１０は、その他のタイプのセンサも具えていても良い。アナログセンサ２２及びデジタルセンサ２４を用いて、デバイス１０がおかれている環境周辺の追加のセンサデータを提供することができる。例えば、一又はそれ以上のバロメータ、コンパス、温度センサ、光センサ（カメラセンサ、赤外線センサ等）、超音波センサ、無線周波数センサ、あるいはその他のタイプのセンサといったセンサを設けることができる。図に示す実装例では、デジタルセンサ２４が、インターフェースバス２１に直接的にセンサデータを提供しており、一方で、アナログセンサはアナログ−デジタルコンバータ（ＡＤＣ）３４にセンサデータを提供して、デジタル形式でのセンサデータをインターフェースバス２１に供給している。図１に示す例では、ＡＤＣ３４がＭＰＵ２０に設けられており、ＡＤＣ３４が変換したデジタルデータをＭＰＵのハードウエアプロセッサ３０あるいはバス２１に提供するようにしている。その他の実施例では、ＡＤＣ３４をデバイス１０のどこに実装しても良い。
図２は、ここに述べる発明に好適に使用できる動作処理ユニット（ＭＰＵ）２０の一実施例を示す。図２０のＭＰＵ２０は、演算論理装置（ＡＬＵ）３６を具えており、センサデータ上で処理を行う。ＡＬＵ３６は、プログラムＲＡＭ（ランダムアクセスメモリ）３７に保存されているあるいはこのプログラムから取り出した一又はそれ以上のプログラムによって知的に制御されている。ＡＬＵ３６は、ジャイロスコープ２６及び加速度計２８並びに温度センサ３９といったその他のセンサなどの動作センサからのダイレクトメモリアクセス（ＤＭＡ）ブロック３８を制御することができる。ＤＭＡブロック３８は、ＡＬＵ３６又はその他の処理ユニットのセンサデータを個別に読み取ることができる。いくつかのあるいはすべてのセンサは、ＭＰＵ２０内に、あるいはＭＰＵ２０に外付けして設けることができる。例えば、加速度計２８は、ＭＰＵ２０の外付けしたものが図２に示されている。ＤＭＡ３８は、読取あるいは書き込み動作のステータスに関する中断をＡＬＵへ提供することができる。ＤＭＡ３８は、センサから読み取ったセンサデータをデータＲＡＭ４０に提供して保存することができる。データＲＡＭ４０は、ＡＬＵ３６にデータを提供して処理を行い、ＡＬＵ３６は、処理済みデータを含む出力をデータＲＡＭ４０に提供して保存する。バス２１（これも図１に示す）は、データＲＡＭ４０及び／又はＦＩＦＯバッファ４２の出力に接続されており、アプリケーションプロセッサ１２がＭＰＵ２０によって読みだされた及び／又は処理されたデータを読み取ることができる。
ＦＩＦＯ（先入れ、先出し）バッファ４２をセンサデータの保存用ハードウエアバッファとして使用することができる。このバッファには、バス２１を介してアプリケーションプロセッサ１２がアクセスできる。バッファ４２などのハードウエアバッファの使用が、以下のいくつかの実施例に記載されている。例えば、マルチプレクサ４４を用いて、生のセンサデータをＦＩＦＯバッファ４２に書き込むＤＭＡ３８か、ＦＩＦＯバッファ４２に処理したデータ（例えば、ＡＬＵ３６で処理したデータ）を書き込むデータＲＡＭ４０かを選択することができる。
従って図２に示すようなＭＰＵ２０は、ここに述べるゼスチュア処理及び認識を含む動作センサデータの処理の一又はそれ以上の実装をサポートしている。例えば、ＭＰＵ２０は、生のセンサデータを完全に処理することができ、プログラムＲＡＭ３７のプログラムがＡＬＵ３６を制御して、センサデータを知的に処理してアプリケーションプロセッサ１２とそこで稼働しているアプリケーションプログラムに高レベルのデータを提供する。あるいは、ＡＬＵ３６を用いて生のセンサデータをＭＰＵ２０で予め処理する、あるいは部分的に処理をすることができ、この場合処理したデータをアプリケーションプロセッサ１２を用いてＭＰＵ２０によって取り出して、結果としての高レベルの情報をアプリケーションプログラムへ提供する前に、アプリケーションプロセッサ１２で追加の低レベルの処理を行うようにしても良い。あるいは、生のセンサデータをＭＰＵ２０で単にバッファしておき、アプリケーションプロセッサ１２によってこの生のセンサデータを低レベルの処理用に取り出すようにしても良い。いくつかの実施例では、同じデバイス１０で稼働している異なるアプリケーションあるいはアプリケーションプログラムを用いて、これらの処理方法のうちの異なるものをこのアプリケーションあるいはプログラムに最も適したものとして使用することができる。
動作ゼスチュアの認識
図３Ａ及び３Ｂは、ユーザがゼスチュアを行うことによって生じる、空中におけるデバイス１０の様々な動作を示す図である。ここで使用されている「ゼスチュア」又は「身振り」は、予め決められたデバイスの動作あるいは動作セットであり、デバイスによる認識が生じたときに、デバイスの一又はそれ以上の関連する機能をトリガする。この動作は、震える又は円を描く動作といった、含まれている動作セットであってもよく、あるいは、特定の軸あるいは角度においてデバイスを傾けるといったデバイスの単純な動きであってもよい。関連する機能には、例えば、デバイスのディスプレイスクリーン上に表示されたリストあるいはメニューを特定の方向にスクロールすること、表示されたアイテム（ボタン、メニュー、コントロール）を選択する及び／又は操作すること、所望のコマンド又はデータ（文字、その他など）といった入力をプログラム又はデバイスのインターフェースに提供すること、デバイスの主電源を入れるあるいは切ること、などが含まれる。
図３Ａ及び３Ｂは、ユーザがゼスチュアを行うことによって生じる、空中におけるデバイス１０の様々な動作を示す図である。ここで使用されている「ゼスチュア」又は「身振り」は、予め決められたデバイスの動作あるいは動作セットであり、デバイスによる認識が生じたときに、デバイスの一又はそれ以上の関連する機能をトリガする。この動作は、震える又は円を描く動作といった、含まれている動作セットであってもよく、あるいは、特定の軸あるいは角度においてデバイスを傾けるといったデバイスの単純な動きであってもよい。関連する機能には、例えば、デバイスのディスプレイスクリーン上に表示されたリストあるいはメニューを特定の方向にスクロールすること、表示されたアイテム（ボタン、メニュー、コントロール）を選択する及び／又は操作すること、所望のコマンド又はデータ（文字、その他など）といった入力をプログラム又はデバイスのインターフェースに提供すること、デバイスの主電源を入れるあるいは切ること、などが含まれる。
本発明の一態様は、座標システムを変更する、あるいはその他の物理的パラメータに変換することによって、デバイス１０の生のセンサデータを予め処理して、結果として「拡張データ」が、ユーザの動きを小さく何気ない違いに関係なく、すべてのユーザについて同じに見えるようにする。次いで、この拡張データを用いて、学習システムあるいはハードコードパターン認識者を訓練し、よりロバスト性の高いゼスチュア認識を行う。これは、低コストの慣性センサからの動作センサデータを用いて、反復可能でありロバスト性のあるゼスチュア認識を提供する費用対効果のある方法である。
本発明のいくつかの実施例では、ジャイロスコープ及び／又は加速度計などの慣性センサを使用している。ジャイロスコープはデバイス座標における角速度を出力し、加速度計はデバイス座標における線形加速度と重力による傾きの和を出力する。ジャイロスコープと加速度計の出力は、ユーザによって、又は同じユーザが使用している間でも、ユーザが同じゼスチュアを行うあるいは繰り返しているにもかかわらず、しばしば同じではない。例えば、ユーザがデバイスを縦方向に回転させる場合に、Ｙ軸ジャイロスコープがその動きを検出することができるが、Ｚ軸ジャイロスコープは、ユーザの手首の方向性の違いを用いてその動きを検出する。
デバイスの傾きに応じて（この傾きは加速度計とＸ軸ジャイロスコープから抽出される）ジャイロスコープ信号に様々に応答するようにシステムをトレーニングすることは、非常に困難である。しかし、デバイス座標からワールド座標に座標変換することが、この問題を簡単にする。異なるデバイスの傾きを提供している二人のユーザが、デバイス外のワールドに対して下側にデバイスを回転させている。ワールド座標において拡張データの角速度を使用する場合、センサデータは両方のユーザに対して同じに見るように処理されているので、システムはより簡単にトレーニングするあるいはハードコード化することができる。
図３Ａ及び３Ｂに示す例では、ゼスチュアとしてあるいはゼスチュアの一部として、デバイス１０が「下にさがる」動きをする間に、一人のユーザは図３Ａに示す線形移動を使用し、別のユーザは図３Ｂに示す傾いた動きを用いるであろう。
図３Ａに示す動作を検出する場合、ジャイロスコープは大きな検出信号を有しており、加速度計は重力に応答するであろう。図３Ｂの動作を検出する場合は、ジャイロスコープには検出信号がなく、加速度計は線形加速度に応答するが、これは重力とは大きく異なって見える。両ユーザは、同じ動きをしていると考えるが、これは、彼らがそれぞれ、下に動いているデバイスの先端を見ているからである。
２つのスタイルの動きを行って、まず、デバイス座標からワールド座標へセンサデータを変換して拡張データを提供することによって、同じに見せることができる。図４Ａは、ピボット点を中心にした回転運動の場合を示しており、ここでは、デバイス１０が外側に突出してデバイス先端１００の線形動作を見つけている。この場合、ゼスチュア認識者への入力として使用されている増強したデータは、回転情報をモーメントアームに対してスケーリングすることによって得たデバイス先端の線形軌道１０１である。ジャイロスコープの導関数から得た角加速度を重力の影響を取り除いた後、加速度計から得た線形化速度と比較することによって、このモーメントアームを概算することができる。図４Ｂは、線形移動の場合を示しており、デバイス１０の先端１０２の線形軌道１０１は、デバイス上で加速度計を読み出すことによって直接得ることができる。従って、デバイスが回転しているか線形に移動しているかにかかわらず、線形軌道１０１を示す拡張データは同じになり、この動作にマッピングされたゼスチュアを動作のタイプから認識することができ、デバイスの一又はそれ以上の関連する機能を選択するのに使用することができる。
いくつかの場合、ワールド座標のみに関連するゼスチュアの認識が、所望の増大されたデータを生成しなくてもよい。携帯可能なデバイス１０を使用する場合、ユーザは、ワールド座標に対して動作ゼスチュアを行うことを意図していないことがある。例えば、図５Ａ、５Ｂ及び５Ｃに示すように、ユーザは、きちんと座るゼスチュアを行って（図５Ａ）、後にベッドに横たわる（図５Ｃ）動作を行う。この例では、きちんと座る縦のゼスチュアは、後にベッドにあるときのワールド座標に対して水平方向に行われる。別の例では、一のユーザは真っ直ぐ座っている間（図５Ａ）、縦（ワールド座標に対して）のゼスチュアを行い、別のユーザは、前かがみ（図５Ｂ）の間にゼスチュアを行い、真っ直ぐ座っているときよりも、ワールド座標に対してデバイス１０を水平に近づけるようにしている。
これらの問題を避ける一つの方法は、ユーザがしようとしていることを分析することである。ユーザは、自身の身体に対してゼスチュアを行っており、これが縦方向あるいは水平方向である。これは、「人体座標」と呼ばれる。「人体座標」を表わすもう一つの方法は、「ローカルワールド座標」である。図６Ａ、６Ｂ、及び６Ｃは、ワールド座標（図６Ａ）、デバイス座標（図６Ｂ）、及びローカルワールド座標（図６Ｃ）を示す。
しかしながら、ユーザの身体にセンサをつけずに、直接ローカルワールド座標を測定することはできない。同じ課題を遂行する間接的な方法は、ゼスチュアが意図されているときに、ユーザの身体に対してデバイスがユーザによる特定の方法で保持されていることを仮定して、ユーザの身体位置をデバイス位置に基づいて概略のローカルワールド座標と推定できるという方法である。デバイスがゆっくり移動する場合、ローカルワールド座標システムが更新されて、デバイスが移動している間に移動し、ローカルワールド座標システムがユーザの身体の方向を追跡する。ゆっくりとした動作は、ユーザはなんらゼスチュアを入力しようとすることなく、単にデバイスを見ているか調整しているかであると仮定し、ローカルワールド座標システムはユーザのオリエンテーションを追跡しなければならない。ゆっくりとした動きは、所定のスレッシュホールド速度あるいはその他の動作関連スレッシュホールドの下での動きであると決定することができる。例えば、デバイス１０の角速度（ジャイロスコープのデータから決定される）は、スレッシュホールド角速度の下であり、デバイス１０の線形速度（加速度計のデータから決定される）は、スレッシュホールド線形化速度の下であり、動きはローカルワールド座標システムをデバイスの動きを用いて更新するのに十分にゆっくりとしていると考えられる。代替的に、角速度あるいは線形速度の一方をこの目的のために調べることができる。
しかしながら、デバイスが早く動く場合（スレッシュホールドを超えて）、この動きは、ゼスチュアを入力するものであると仮定され、ローカルワールド座標システムは、デバイスが移動している間固定され続ける。従って、ゼスチュア用のローカルワールド座標システムは、ゼスチュアが始まる直前にローカルワールド座標システムとなり、この仮定は、ゼスチュアが始まる前にデバイスのスクリーンをユーザが直接的に見ており、ユーザがゼスチュアの間ほとんど同じ位置にいることである。従って、デバイスが静止しているか、ゆっくり移動している間に「ワールド座標」が更新され、デバイスが速く移動するときは、ゼスチュアは最後に更新された「ワールド座標」あるいは「ローカルワールド座標」に対して分析される。
このようにして、デバイス座標の動作センサデータをデバイスのセンサから受信する。デバイス座標のデータは、デバイスの基準フレームに対するデバイスの動作を表わしている。デバイス座標のデータは、ローカルワールド座標などのワールド座標において、拡張動作センサデータに変換される。ここで、ワールド座標のデータは、デバイス外の基準フレームに対するデバイスの動作を示す。ローカルワールド座標の場合は、基準フレームはユーザの身体である。ゼスチュアは、ワールド座標の動作センサデータからより精度良くかつ高いロバスト性で検出される。
図７は、身振りを認識するための上述の増強されたデータを生成する本発明のシステム１５０を示すブロック図である。システム１５０は、デバイス１０、例えばプロセッサ１２及び／又はＭＰＵ２０に実装されており、ジャイロスコープ２６と加速度計２８からの生のセンサデータを用いて、デバイスの動作を決定し、その動作から増強されたデータを取り出して、動作データからより精度よくゼスチュアの認識ができるようにしている。
システム１５０は、ジャイロスコープ２６から生センサデータを受信するジャイロスコープキャリブレーションブロック１５２を具え、データをキャリブレートして精度を上げる。キャリブレーションブロック１５２の出力はデバイス座標１７０の角速度であり、システム１５０によって提供される増強されたセンサデータの一部として考えることができる。
システム１５０は、また、加速度計キャリブレーションブロック１５４を具え、加速度計２８からの生センサデータを受信して、このデータをキャリブレートして精度を上げる。例えば、このようなキャリブレーションは、特定の加速度計あるいはデバイス１０について決定した既知の定数を減算するあるいは加算することである。重力除去ブロック１５６は、このキャリブレートした加速度計データを受信して、センサデータから重力の影響を取り除き、デバイス１０の線形加速度を表わすデータを残す。この線形加速度データ１８０は、システム１５０によって適用された増強センサデータの一部である。重力の除去は、以下に述べるように、その他の構成部品から得た重力加速度を使用している。
重力基準ブロック１５８でも、キャリブレーションブロック１５４からキャリブレートした加速度データを受け取って、ジャイロスコープキャリブレーションブロック１５２と３Ｄ集積ブロック１６０に重力ベクトルを提供する。３−Ｄ集積ブロック１６０は、重力基準ブロック１５８から重力ベクトルを、キャリブレーションブロック１５２からキャリブレートしたジャイロスコープデータを受け取る。３−Ｄ集積ブロックは、このジャイロスコープデータと加速度データを組み合わせて、ワールド座標を用いてデバイスのオリエンテーションモデルを作る。このデバイスオリエンテーションの結果的モデルは、四元数／回転行列１７４であり、システム１５０によって提供された増強したセンサデータの一部である。行列１７４を用いて、現存のデバイス座標からセンサデータのワールド座標を提供することができる。
座標変換ブロック１６２は、キャリブレーションブロック１５２からキャリブレートしたジャイロスコープデータ、並びに、３−Ｄ集積ブロック１６０からモデルデータを受け取って、ワールド座標におけるデバイスの角速度１７２を作る。これは、システム１５０によってできた増強されたセンサデータの一部である。座標変換ブロック１６４は、除去重力ブロック１５６からのキャリブレートした線形加速度データ、並びに、３−Ｄ集積ブロック１６０からモデルデータを受け取って、ワールド座標におけるデバイスの線形加速度１７６を作る。これは、システム１５０によってできた増強されたセンサデータの一部である。
デバイス座標における重力加速度データ１７８は、システム１５０の増強されたセンサデータの一部として作られる。加速度データ１７８は、四元数／回転行列１７４によって提供され、重力加速度データを得るためのジャイロスコープデータと加速度データとの組み合わせである。加速度データ１７８は、除去重力ブロック１５６にも設けられており、加速度データから重力加速度を除去できるようにしている（線形加速度データ１８０を得るため）。
一例では、ジャイロスコープデータと加速度データを組み合わせる３−Ｄ集積ブロックに従って、ワールド座標を用いてデバイスのオリエンテーションモデルを作る。その他の方法を他の実施例に使用することもできる。
デバイスのオリエンテーションは、四元数形式と、回転行列形式の両方で保存される。四元数を更新するには、まず、前回の回転行列を用いて生の加速度データをワールド座標に回転させる：
ａ’＝ Ｒａ
ａ’＝ Ｒａ
ベクトルａは、生の加速時計データを含み、Ｒはデバイスのオリエンテーションを表す回転行列であり、ａ’は、ワールド座標における結果としての加速度タームである。フィードバックタームは、重力を表すベクトルａと、ａ’の外積から生じる：
ｆ ＝ ｋ（ａ Ｘ ｇ）
ｆ ＝ ｋ（ａ Ｘ ｇ）
定数ｋは時定数であり、加速度データを使用するタイムスケールを決定する。四元数更新タームは、現四元数に乗算することで、以下の式から生成される：
ｑａｃｃｅｌｅｒｏｍｅｔｅｒ ＝ ｆｑ
ｑａｃｃｅｌｅｒｏｍｅｔｅｒ ＝ ｆｑ
同様に、四元数積分を用いてジャイロスコープデータから更新タームが生成される：
ｑｇｙｒｏｓｃｏｐｅ ＝ ０．５ｑｗ（ｄｔ）
ｑｇｙｒｏｓｃｏｐｅ ＝ ０．５ｑｗ（ｄｔ）
ベクトルｗは、生のジャイロスコープデータを含み、ｑは、現在の四元数であり、ｄｔは、センサデータのサンプリング時間である。四元数は以下のように更新される：
ｑ’ ＝ ｎｏｒｍａｌｉｚｅ（ｑ ＋ ｑａｃｃｅｌｅｒｏｍｅｔｅｒ ＋ ｑｇｙｒｏｓｃｏｐｅ ）
ｑ’ ＝ ｎｏｒｍａｌｉｚｅ（ｑ ＋ ｑａｃｃｅｌｅｒｏｍｅｔｅｒ ＋ ｑｇｙｒｏｓｃｏｐｅ ）
この新しい四元数が、「現在の四元数」になり、回転行列に変換される。加速度計とジャイロスコープからの角速度は以下のようにして得られる：
Ｗｄｅｖｉｃｅ ＝ ｑ−１ （ｑａｃｃｅｌｅｒｏｍｅｔｅｒ ＋ ｑｇｙｒｏｓｃｏｐｅ ／（０．５ｄｔ））
Ｗｄｅｖｉｃｅ ＝ ｑ−１ （ｑａｃｃｅｌｅｒｏｍｅｔｅｒ ＋ ｑｇｙｒｏｓｃｏｐｅ ／（０．５ｄｔ））
ワールド座標における角速度は以下の通り得られる：
ｗｗｏｒｌｄ ＝ Ｒｗｄｅｖｉｃｅ
ｗｗｏｒｌｄ ＝ Ｒｗｄｅｖｉｃｅ
ワールド座標における線形加速度は以下の通り得られる：
ａｗｏｒｌｄ ＝ ａ’ − ｇ
ａｗｏｒｌｄ ＝ ａ’ − ｇ
デバイス座標における線形加速度は以下の通り得られる：
Ａｄｅｖｉｃｅ＝ Ｒ−１ ａｗｏｒｌｄ
Ａｄｅｖｉｃｅ＝ Ｒ−１ ａｗｏｒｌｄ
改善されたゼスチュア認識用のその他の技術
動作データにおける特徴の相対的タイミングを用いて、ゼスチュア認識を改良することができる。異なるユーザがゼスチュアを互いに対してより速くあるいはより遅く行うことがあり、これがゼスチュア認識を困難にすることがある。いくつかのゼスチュアでは、センサデータの特別な特徴（すなわち、特性）が、特定のシークエンスで、特定のタイミングを持って生じることが必要である。例えば、ゼスチュアは、順次生じる３つの特徴として規定することができる。一のユーザについて、特徴２は、特徴１の１００ｍｓ後に生じ、特徴３は特徴２の２００ｍｓ後に生じるであろう。このゼスチュアをよりゆっくり行っている別のユーザでは、特徴２は、特徴１の２００ｍｓ後に生じ、特徴３は特徴２の４００ｍｓ後に生じる。必要なタイミング値がハードコード化されている場合は、様々な異なるレンジの値を保存する必要が生じ、生じ得るユーザの変化とシナリオを全てカバーすることが困難となるであろう。
動作データにおける特徴の相対的タイミングを用いて、ゼスチュア認識を改良することができる。異なるユーザがゼスチュアを互いに対してより速くあるいはより遅く行うことがあり、これがゼスチュア認識を困難にすることがある。いくつかのゼスチュアでは、センサデータの特別な特徴（すなわち、特性）が、特定のシークエンスで、特定のタイミングを持って生じることが必要である。例えば、ゼスチュアは、順次生じる３つの特徴として規定することができる。一のユーザについて、特徴２は、特徴１の１００ｍｓ後に生じ、特徴３は特徴２の２００ｍｓ後に生じるであろう。このゼスチュアをよりゆっくり行っている別のユーザでは、特徴２は、特徴１の２００ｍｓ後に生じ、特徴３は特徴２の４００ｍｓ後に生じる。必要なタイミング値がハードコード化されている場合は、様々な異なるレンジの値を保存する必要が生じ、生じ得るユーザの変化とシナリオを全てカバーすることが困難となるであろう。
ゼスチュアの特徴タイミングにおける変化を考慮したよりフレキシブルなゼスチュア認識を提供するために、本発明の一態様では、相対的タイミング必要条件を用いてゼスチュアを認識している。従って、動作データ中の異なる特徴間のタイミングは、そのゼスチュアで使用されている基本時間ピリオドの倍数及び／又は一部に基づいて表し、検出することができる。この基本時間ピリオドは、例えば、２つのデータ特徴間の時間であっても良い。例えば、相対タイミングを使用する場合、ゼスチュアの特徴１と特徴２との間にタイミングｔ１が存在するものは何であれ、特徴２及び３の間のタイミングをほぼ二倍のタイミングｔ１であると規定することができる。これによって、異なるユーザが、異なるレートで、ＣＰＵ時間内に高価なＤｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇなどのアルゴリズムを必要とすることなくゼスチュアを行うことができる。
動作センサデータの相対的なピークあるいは振幅を使用して、ゼスチュア認識を改善することもできる。上述したようにゼスチュアが異なるユーザによって異なるタイミングで行われる場合のタイミングの特徴の変化と同様に、一人のユーザが、ゼスチュアを行う、あるいは、別のユーザより一層大きいエネルギィ、又は速度、又は早さを伴う、又は、異なるタイミングで変化を伴う特徴を提供する。例えば、第１のユーザが動作を行って、ジャイロスコープによって検出される第１の特徴を、秒あたり１００度として生じさせ、ジャイロスコープによって検出される第２の特徴を、秒当たり２００度として生じさせる。一方で、第２のユーザが動作を行って、第１の特徴を、秒あたり２００度として生じさせ、第２の特徴を、秒当たり４００度として生じさせる。認識を行うために３つの値をハードコード化するには、システムをあらゆる可能性のある組み合わせトレーニングする必要がある。本発明の一の態様は、複数の基本ピーク大きさあるいはその部分を、ゼスチュア中の互いに関連するピーク値（最大あるいは最小）として特徴を表現している。このように、ゼスチュアの第1のピークが、振幅ｐ１として検出されると、第２のピークは、このゼスチュアの要求を満たすよう認識するには、ほぼ２倍の振幅ｐ１を有する必要がある。
ゼスチュア認識におけるノイズの排除
図８Ａ及び８Ｂは、デバイス１０の回転運動を示す図であり、ユーザがゼスチュアを入力しようとしているかどうかを示している。ゼスチュア認識における生のセンサノイズは、良好な動作センサでは通常無視できるが、人間の動きからのノイズは有意なことがある。このノイズは、ユーザの意図しない手の震えによって、デバイス上でのユーザのグリップの調整から、あるいはその他の偶発的な動作から生じることがあり、大きな角運動とスパイクがセンサデータに現れることがある。非常に繊細なゼスチュアについては、ゼスチュアを意図しない偶発的な動きと、関連するデバイス機能をトリガするゼスチュアを意図した動きを区別することは困難である。
図８Ａ及び８Ｂは、デバイス１０の回転運動を示す図であり、ユーザがゼスチュアを入力しようとしているかどうかを示している。ゼスチュア認識における生のセンサノイズは、良好な動作センサでは通常無視できるが、人間の動きからのノイズは有意なことがある。このノイズは、ユーザの意図しない手の震えによって、デバイス上でのユーザのグリップの調整から、あるいはその他の偶発的な動作から生じることがあり、大きな角運動とスパイクがセンサデータに現れることがある。非常に繊細なゼスチュアについては、ゼスチュアを意図しない偶発的な動きと、関連するデバイス機能をトリガするゼスチュアを意図した動きを区別することは困難である。
検出した動作がゼスチュアを意図したものであるかどうかをより正確に決定する本発明の一方法は、角度ゼスチュアを線形加速度に関連づけることである。線形加速度の存在は、手の中でデバイスを調整しているだけではなく、ユーザが手首あるいは肘を使ってデバイスを動かしていることをを示している。
図８Ａは、線形加速度が存在しないデバイス１０の純粋な回転１９０を示しており、ユーザが例えばデバイス上で手首を調整することから生じる。図８Ｂは、付随する線形動作１９２に関連する回転１９０を表しているデバイス１０を示す図であり、これは、意図的なゼスチュアにより対応している。線形加速度を生じるデバイスの動きの存在は、ジャイロスコープセンサデータを微分すること、角速度を得ること、及び角速度を線形加速度と比較することによって検出することができる。それぞれの比率は、それを中心にデバイスが回転しているモーメントアーム１９４を表わすことができる。このパラメータをチェックとして有することで、ゼスチュアエンジンは、ユーザがデバイスを調整することによって生じる全て（あるいはほぼ全て）の回転である動作を排除することができる。
別の方法では、ゼスチュアを含むことがある動作センサデータを、ゼスチュアが検出されない間に取得したバックグラウンドノイズフロアと比較する。このノイズフロアは、手が震えるユーザによって生じた動作、あるいは、例えば汽車の中など、多くのバックグラウンド動作がある環境によって生じた動作を除去することができる。ノイズに起因してゼスチュアがトリガされることを防ぐためには、動作センサデータの信号対ノイズ比が、予め決められた条件、あるいは現在検出された条件に基づいて動的に検出されたノイズフロア値（例えば、現在のノイズレベルは、所定の時間動作センサデータをモニタすることによって検出することができる）を上回らなければならない。バックグラウンドノイズが大きい場合は、ユーザはゼスチュアを送出することができるが、そのゼスチュアを実行するときにより多くのパワーを用いる必要がある。
ゼスチュア及び動作モード
図９は、携帯可能な電子デバイス１０の動作モードに基づいてゼスチュアを認識する本発明の方法２００を示す図である。方法２００は、デバイス１０にハードウエア及び／又はソフトウエア、例えば、プロセッサ１２及び／又はＭＰＵ２０で実装することができる。
図９は、携帯可能な電子デバイス１０の動作モードに基づいてゼスチュアを認識する本発明の方法２００を示す図である。方法２００は、デバイス１０にハードウエア及び／又はソフトウエア、例えば、プロセッサ１２及び／又はＭＰＵ２０で実装することができる。
この方法は、ステップ２０２で始まり、ステップ２０３で検出した動作データを、上述した複数のジャイロスコープ（又は他の回転センサ）と加速時計を含むセンサ２６及び２８が受け取る。この動作データは、空中におけるデバイス１０の動きに基づいている。ステップ２０４では、デバイス１０のアクティブ動作モード、すなわち、動作データが受信された時にアクティブであった動作モードが検出される。
デバイスの「動作モード」は、そのモードに基づくユーザに対する機能と出力セットを提供し、ここでは、デバイス１０上で複数の動作モードを得ることができ、各動作モードがユーザに対して異なる機能セットを提供している。いくつかの実施例では、各動作モードによって異なるアプリケーションセットをデバイスで使用することができる。例えば、一の動作モードは、電話モードであっても良く、電話機能用のアプリケーションプログラムを提供するが、一方別の動作モードは、デバイス１０のディスプレイスクリーン１６ａで使用する写真あるいは映像ビューアを提供することができる。いくつかの実施例では、動作モードは、ゲーム、画像捕捉及び処理、位置検出（例えば、同時継続出願第１２／１０６，９２１号に記載されている）など、広くアプリケーションに対応している。代替的に、別の実施例では、動作モードをその他の機能又はアプリケーションプログラムに基づいて、より狭く規定することができる。
アクティブ動作モードは、動作データを受信した場合の方法２００の目的のために選択された一動作モードであり、このモードは、一又はそれ以上のデバイス動作特性に基づいて決定することができる。例えば、このモードは、モード選択ボタンあるいはコントロールの事前選択、あるいはユーザからの検出した身振り、あるいは空中におけるデバイス１０のその他の動き及び／又はオリエンテーション、といったユーザ入力に基づいて決めることができる。このモードは、代替的にあるいは追加で、以前生じた事象あるいは現在生じている事象に基づいて決めることができる。例えば、デバイス１０が電話コールあるいはテキストメッセージを受け取ったとき、および、ユーザがこのコールに答えている間に、携帯電話動作モードは自動的にアクティブ動作モードに指定される。
ステップ２０５で、ゼスチュアセットが選択され、このゼスチュアセットはアクティブ動作モードにおいて認識することができる。好ましい実施例では、デバイス１０の少なくとも２つの異なる動作モードが、そのモードがアクティブであるときに認識可能な別のゼスチュアセットを有する。例えば、一の動作モードは、特性ゼスチュアと震えるゼスチュアを取り入れようとするが、別の動作モードは、震えるゼスチュアのみを取り入れようとする。
ステップ２０６では、受信した動作データ（及びその他の関係するデータ）を分析して、このようなゼスチュアが存在して正しく認識されている場合、一又はそれ以上の身振りを動作データにおいて認識する。認識されたゼスチュアは、アクティブ動作モードで入手できるゼスチュアセットに含まれる。ステップ２０７では、デバイス１０の一又はそれ以上のステータスが、認識された身振りに基づいて変化する。このデバイスのステータスの変更は、ステータス又は表示、機能の選択、及び／又は機能又はプログラムの実行又は活性化の変更であっても良い。例えば、ディスプレイスクリーン１６ａの更新、電話の呼び出しへの応答、別のデバイスへのデータの送信、新しい動作モードの入力、その他の、ゼスチュア認識の基礎になる、デバイスの一又はそれ以上の機能を実行することができる。このプロセス２００は、ステップ２０８において完了する。
デバイス１０の使用に適した身振りタイプの例を以下に述べる。
震えるゼスチュア
震えるゼスチュアは、通常、ユーザが動作検出デバイスを一の角度方向に意図的に振動させて、デバイスの一又はそれ以上の関連する機能をトリガすることを含む。例えば、このデバイスは、一のジャイロスコープ軸のみに現れるピークを伴って、「ヨー方向」に振動することがある。ユーザがある交差軸エラーを伴って振動すると（例えば、一のジャイロスコープ軸以外の別の軸における動作）、別の軸に沿ってもピークが生じる。この２つのピークは同時に生じ、ゼロクロス（振動している間の動作検出デバイスの方向の変化に対応する）も同時に生じる。３本の回転軸（ロール、ピッチ、及びヨー）があるので、各軸を別の振えコマンドとして使用することができる。
震えるゼスチュアは、通常、ユーザが動作検出デバイスを一の角度方向に意図的に振動させて、デバイスの一又はそれ以上の関連する機能をトリガすることを含む。例えば、このデバイスは、一のジャイロスコープ軸のみに現れるピークを伴って、「ヨー方向」に振動することがある。ユーザがある交差軸エラーを伴って振動すると（例えば、一のジャイロスコープ軸以外の別の軸における動作）、別の軸に沿ってもピークが生じる。この２つのピークは同時に生じ、ゼロクロス（振動している間の動作検出デバイスの方向の変化に対応する）も同時に生じる。３本の回転軸（ロール、ピッチ、及びヨー）があるので、各軸を別の振えコマンドとして使用することができる。
例えば、図１０Ａは、振えの大部分がヨー軸に生じるヨー振えゼスチュアを形成する線形ヨー振え動作データ２１４を示すグラフ２１２である。ピッチ軸における振幅が小さい交差軸動作がピッチ動作データ２１６を提供しており、ここでは、ヨーとピッチの出力が同相でありピークとゼロクロスが同時に生じる。図１０Ｂは、振えの大部分がピッチ軸にあるピッチ振えゼスチュアを形成するピッチ振え動作データ２１８を示すグラフ２１７である。ヨー動作データ２１９で示すように、ピッチ軸動作と同相である交差軸動作がヨー軸においても生じる。
図１０Ａ乃至１０Ｆは、ゼスチュア認識の振幅ピークをグラフで示す。振えゼスチュアは、ユーザによる様々な意図的なデバイス１０の振えであってもよい。振動ゼスチュアとして認めるのに必要な振えは、振幅が少なくともバックグラウンドノイズレベルより大きいスレッシュホールドレベルにあり、意図的な振えが意図的でない振えから区別されることが必要である。振えゼスチュアは、所定の数の方向変更あるいはゼロクロス（例えば、角度のあるあるいは線形の移動）を有することと規定することができる。振えゼスチュアは、追加の大きな振幅パルスが検出されない所定の時間ピリオドが経過したら完了すると規定することができる。
図１０Ａでは、振えゼスチュア２２０の基本波形の一例が示されており、これは、軸の周りのデバイス１０の時計回り方向の回転（ジャイロスコープで測定される）を含み、次いで、この軸の周りをデバイスが反時計回り方向に回転する（その他の振えゼスチュアの実施例は、類似のピークを作る、異なる軸に沿った線形移動を含むものでも良い）。ピーク（縦線２２２と２２４で示す）と、回転が方向を変換するゼロクロス（縦線２２６で示す）を探す特徴検出器によってこのゼスチュアが処理される。この例では、角回転において正のピークと負のピークの両方が検出され、両方ともスレッシュホールド振幅を超えている場合にゼスチュアをトリガできる。
図１０Ｂには、図１０Ａと同様のゼスチュア２２８が示されているが、このゼスチュアは、ユーザによってより素早く実行され、ピーク２３０と２３２、及びゼロクロス２３４がより速く、及び互いにより近くで行われている。この場合に使用する従来の標準的な技術は、Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇであり、ここでは時間内にデータをワープさせたり引き延ばしたりすること、及び、結果を予め規定したゼスチュアデータのデータベースと比較することによって、大量に処理される。大量処理が必要となるため、これはほとんどの携帯可能なデバイスで実行できる解決策ではない。本発明では、これに代えて、ピーク及びゼロクロスなどの各特徴が生じる時期を選ぶことができる。例えば、各タイマーが一の特徴に関連しているデータ特徴用の一揃いのタイマーを用いることができる。この特徴が互いに所定の時間内に生じた場合はゼスチュアが認識されたと考えられ、トリガされるであろう。このことは、Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇと同じ結果をもたらすが、処理がより少なく、メモリの使用が最小で済む。
図１０Ｃは、ゼスチュア２４０を形成する動作データを示しており、これは図１０Ａ及び１０Ｂに示すものより大きなパワーで実行される、すなわち、ピーク２４２と２４４がより高い（より大きな振幅を有する）。また、同じグラフに重畳されている破線カーブ２４６で示すように、誤ったゼスチュアが現れる。この誤ったゼスチュアは、ユーザの動きがあまり正確でないために、所望のゼスチュアに対する誤った軸で検出された動作データである。誤ったゼスチュアは最初に上側スレッシュホールド２４８と交差しているため、ゼスチュアエンジンがうまく実装されていない場合は、最初にトリガが生じることがある。従って、本発明は、デバイスの動きが終わってゼロになる（あるいは、スレッシュホールドの下でゼロになる）まで、ゼスチュアのトリガを遅らせ、次いで、検出された最初のピークが正しいピークではないかも知れないため、ゼスチュア認識用に最も高いピークを選択する。
図１０Ｄは、動作データ中の最も高いピークを単純に検出することが当てにならない例を示している。動作データ２５０中の最も高いピーク２５２は、所望のゼスチュアに対して誤った方向にある。すなわち、ピークが正でなく負である。このように最も高いピークが正しいピークではなく、ゼスチュアが認識されないので、図１０Ｃに示す例に用いる方法はこの例では機能しない。このような場合の誤検出を減らすために、本発明は、少なくとも一の以前のピーク認識方法を覚えておき、最も高いピークが同じ軸の以前のピークを有するかどうかを決定することができる。この以前のピークは、この場合ピーク２５２であり、このピークを調べてゼスチュアの基準を満たしているかどうかを決定する。
図１０Ｅは、動作データ２６０中の最も高いピーク２６２が所望のゼスチュア用の認識に正しいピークであるが、最も高いピークの前にピーク２６４が生じている例を示す。このような以前のピークは「ワインドアップ」動作として良く生じることがあり、この動作は、時々、所望のゼスチュアを送る前にユーザによって無意識に行なわれる。この場合、３つのピークの全てが、最も高いピークとして調べられている（負のピークを含む）。一のピークが他のピークより高い場合、より低いピークが、意図したピークの前の「ワインドアップ」動作、あるいは意図したピーク後の「引き戻し」動作などの意図していない動作であると仮定され、最も振幅が大きいピークが唯一の意図したゼスチュアデータとして選択されると仮定される。しかしながら、一又はそれ以上のピークの振幅が互いに近い場合、各ピークは、意図したゼスチュアデータであると仮定することができる。典型的には、ワインドアップ及び引き戻し動作によって、意識された所望のゼスチュアのピークと特徴に関連する小さなピークとデータ特徴が生じる。スレッシュホールドを使用して、ピークが意図したものとして求められるかどうかを決定することができる。例えば、最も高いピークに対する一のピーク（最初のピークなど）の比を、スレッシュホールド比と比較することができ、ここでは、スレッシュホールド比を下回って落ちているピークは、意図的なものではないと考えられ、無視される。
図１０Ｆは、ユーザが、ゼスチュアをトリガする意図なくしてデバイスを移動させたため、長く、混沌とした数連のピークとゼロクロスを有する動作データ２７０を示す。図１０Ａ乃至Ｅに示すデータ特徴と同様の特徴が、破線で示すボックス２７２に示されている。これは、関連するゼスチュアが誤ってトリガされるほど十分にデータ特徴に似ている。このような結果を減らすために、「中断条件」と「トリガ条件」のセットを加えることができ、関連するデバイスが機能して実際にトリガ（実行）するためには、この条件を試験してこの条件が回避されるかあるいは満たされていなければならない。この場合、トリガ条件には、ゼスチュアが有意な動きが生じない所定の期間の前にあるいは後に生じなくてはならないとの条件が含まれる。多すぎる動きがある場合、ゼスチュアのトリガを防止する中断条件を設定することができる。中断条件は、例えばデバイスがゼスチュアを容易に受信するときに唯一見ることができる、例えばアイコンを介してユーザと通信することができる。
タップゼスチュア
タップゼスチュアは、通常、ユーザが指、手、あるいは大きなパルスで空中でのデバイスを動かすのに十分なものを用いて、デバイス１０をたたくあるいはタッピングすることを含む。このタップゼスチュアを用いて、デバイスの様々な機能を制御することができる。
タップゼスチュアは、通常、ユーザが指、手、あるいは大きなパルスで空中でのデバイスを動かすのに十分なものを用いて、デバイス１０をたたくあるいはタッピングすることを含む。このタップゼスチュアを用いて、デバイスの様々な機能を制御することができる。
図１１Ａと１１Ｂは、タップゼスチュアの動作データの２つの例を示すグラフである。これらの例において、タップゼスチュアの検出は、動作センサデータを調べて上述したバックグラウンドノイズフロアに関連するゼスチュアを検出することによって行われる。図１１Ａは、デバイス１０がユーザの手の中に緩く保持されている場合のタップゼスチュアによる波形２８０を示す図であり、振幅が大きいパルスとして示す、検出したタップパルス２８２を含む。この場合、パルス２８４で表示される多くのバックグラウンドノイズがあり、タップゼスチュアを誤ってトリガすることがある。しかしながら、実際に意図されたタップゼスチュアは、上述のノイズレベル２８４とはかけ離れたパルス振幅２８２を作る。なぜなら、デバイスが緩く保持されているため、タップゼスチュアが空中でデバイスを大きく移動させるためである。これに対して、図１１Ｂは、デバイス１０が机又はその他の堅い表面の上に置かれてタップされた場合のタップゼスチュアから生じる波形２８８を示す。このタップゼスチュアは、デバイスがタップに応答してそれほど大きく空中で動くことができないので、振幅がより小さいパルス２９０ができる。従って、この場合の実際のタップは大きな音響応答になるであろう。なお、検出されたタップ２９０は、通常、ノイズレベル２９２上でかけ離れている。従って、タップ検出においてバックグラウンドノイズレベルを考慮する場合、より高いロバスト性でタップゼスチュアを検出することができる。
タッピング以外の動きによる動作センサデータ中のスパイクを除去することは困難である。この除去をより高いロバスト性をもって行う一の方法では、デバイスの動きの終端で有意な振幅を有するスパイクが生じる場合にこれを除去する（例えば、調べている動作データ部分の端部）。この過程は、タップゼスチュアが生じる前はデバイス１０に比較的動きがないことであり、タップゼスチュアが、動作の開始時にスパイクを引き起こすことである。しかしながら、ユーザによってデバイスが突然止められるため、スパイクは動作の端部においても現れる。この端部スパイクは、除去すべきである。
図１２Ａ及び１２Ｂは、動作データ中の特定のスパイクを除去することによるタップゼスチュアの検出を示す。図１２Ａでは、スパイク２９４は、デバイスの動きを示す動作データの波形カーブ２９６の前に生じている。図１２Ｂでは、スパイク２９８は、この波形のカーブ２９９の後に生じている。タップ検出は、図１２Ｂに示すように、カーブ２９９の後に生じる、及び／又は、調べた動きの端部において、あるいはその近傍（スレッシュホールド内）で生じるスパイク２９８を除去することによって、本発明において改善される。これは、動きの端部におけるデバイス１０の動きの中断を示しており、意図されたゼスチュアではない。このようなスパイクは、通常、デバイスの停止と、意図的なゼスチュアではないことを示す。図１２Ａに示すように、スパイク２９４がカーブ２９６の前に生じる場合、スパイクはタップゼスチュアとして検出され、後に振幅が小さい動き（カーブ）が生じる意図されたスパイクを表示している。このスパイクとカーブは、様々なセンサに、あるいはデバイスの動作軸に生じることがある。
タップゼスチュアは、デバイス上で稼働しているアプリケーションやその他のプログラムにおいて、デバイス機能を開始する様々な方法に使用することができる。例えば、一の実施例では、タッピングは、画像セットをディスプレイスクリーン上で移動させ、予め見ることができるあるいは強調された画像が移動して、次の画像が強調されるかあるいは見ることができるように構成することができる。タッピングは、タッピングに関連する方向がないため、このタップ検出は、どの方向に画像が動くべきかを決定する追加の入力方向検出と組み合わせることができる。例えば、デバイスが左方向に傾いている場合、画像はディスプレイスクリーン上を左に移動する。デバイスが後方向に傾いている場合、画像は後に動く。例えば、シミュレートされた三次元深さにおいて、スクリーンの「中に」移動する。この特徴によって、ユーザは画像（あるいはその他の表示された物体）の移動時間と画像の移動方向を傾き及びタップゼスチュアを用いて同時に制御することができる。
その他のゼスチュア
本発明の使用に適したその他のゼスチュアの例をいくつか以下に述べる。
本発明の使用に適したその他のゼスチュアの例をいくつか以下に述べる。
図１３は、円を描くゼスチュアの動作データの一例を示すグラフ３００である。このゼスチュアでは、ユーザは、空中で動作検出デバイスを素早くほぼ円運動するように動かす。振幅のピークは、例えば図１３に示すようなピッチ３０２とヨー３０４など、２本の軸に現れる。図に示すように、ピークとゼロクロスは、円ゼスチュアの位相から外れており、異なる時間で生じている。
図１４は、文字ゼスチュアの例を示すグラフ３１０である。文字ゼスチュアは、特定の文字の形をほぼなぞる空中でのデバイス１０の動作によって作られる。この身振りは、特別な特性として認識され、この特性に応じた機能を活性化することができる。例えば、特定のアプリケーションプログラムにおけるコマンドは、いくつかの実施例では、ある文字に対応するキーボード上のキーを押すことによって活性化される。代替的に、同じ特性として検出される身振りを、単独であるいはデバイスへのいくつかのその他の入力と組み合わせて入力することによってこのようなコマンドをアクティブにすることもできる。
特性（文字、数字、及びその他のシンボルを含む）は、デバイス１０の線形及び円運動の組み合わせとして考えることができる。線及び円の検出アルゴリズムを組み合わせることによって、この特性を検出することができる。通常、正確な角度動作をユーザの一部で行うことができないので、この表示は概算することができる。
図１４に、いくつかの実施例を示す。線形ピッチのゼスチュア３１２、線形ヨーのゼスチュア３１４、及び半円ゼスチュア３１６を個別に検出して、組み合わせて文字を作ることができる。例えば、「１」の数字３２０は、線形ピッチゼスチュアとして検出することができる。「２」の数字３２２は、半円の後に水平なラインが続くとして規定することができる。「３」の数字３２４は、２つの半円ゼスチュアとして規定することができる。同じ表示を有する他のゼスチュアがない限り、この表示は、十分に正確であり、ユーザに不明確な動作に対する余裕を与える。その他のゼスチュアを検出して、三角、円、ホック、角度、その他、所望の特性のその他の部分を提供することができる。様々なゼスチュアを様々な特性に規定して、デバイスが空間を移動してこれらの特性を追跡するときに認識することができる。
その他のゼスチュアも所望するように規定することができる。特定のゼスチュアは、上述のゼスチュア、あるいはその他のタイプのゼスチュアの一又はそれ以上を、様々に組み合わせて規定することができる。例えば、デバイス１０の基本的なヨー、ピッチ、及びロール動作についてのゼスチュアを、これらの各軸における動作として規定することができる。これらのゼスチュアをその他のゼスチュアと組み合わせて、複合ゼスチュアを規定することもできる。
更に、いくつかの実施例では、ロバスト性をあげる、すなわち、意図したゼスチュアが確実に検出されるようにするために、ゼスチュアを複数回入力して検出することが必要とされる。例えば、３回の震えるゼスチュアは続けて検出して、この３回を単独のゼスチュアとして検出し、この震えるゼスチュアに関連する機能を実装することが要求される。あるいは、１回ではなく３回のタップゼスチュアを検出することが要求される。
動作コントロールを用いたアプリケーション
正確に身振りを検出する能力を高める本発明の特徴の一つは、ゼスチュア（デバイスの動作）を動作検出デバイス１０の入力制御デバイスから検出した入力と組み合わせて使用することである。入力制御デバイスはデバイスについての表示を提供して、ゼスチュア入力のためにユーザが意図するデバイス動作が行われている間ゼスチュアを検出する。例えば、ここで「動作コントロール」３６と呼ばれる（図１に示す）、ボタン、スイッチ、ノブ、ホイール、あるいはその他の入力制御デバイスは、動作検出デバイス１０のハウジングに設けて、ユーザが押すあるいは活性化することができる。専用のハードウエアコントロールを使用する、あるいは、代替的にソフトウエア／表示コントロール（例えば、表示ボタン又はタッチスクリーン上のコントロール）を動作コントロールとして使用することもできる。
正確に身振りを検出する能力を高める本発明の特徴の一つは、ゼスチュア（デバイスの動作）を動作検出デバイス１０の入力制御デバイスから検出した入力と組み合わせて使用することである。入力制御デバイスはデバイスについての表示を提供して、ゼスチュア入力のためにユーザが意図するデバイス動作が行われている間ゼスチュアを検出する。例えば、ここで「動作コントロール」３６と呼ばれる（図１に示す）、ボタン、スイッチ、ノブ、ホイール、あるいはその他の入力制御デバイスは、動作検出デバイス１０のハウジングに設けて、ユーザが押すあるいは活性化することができる。専用のハードウエアコントロールを使用する、あるいは、代替的にソフトウエア／表示コントロール（例えば、表示ボタン又はタッチスクリーン上のコントロール）を動作コントロールとして使用することもできる。
デバイスの動作コントロールを用いて、デバイスが「動作モード」にあるかどうかを決定することができる。デバイスが動作モードにある場合、デバイス１０のプロセッサあるいはその他のコントローラによってデバイスの動作を検出して、例えばゼスチュアとして検出されたデバイスの状態を変更することができる。例えば、ユーザによってアクティブにされて保持されていない場合など動作コントロールが不活性状態にあるときは、ユーザはデバイスの状態を変更することなくデバイスを自然に動かす。しかしながら、ユーザによって動作コントロールがアクティブになっている間は、デバイスが移動してデバイスの一又はそれ以上の状態を変更する。このデバイスの状態の変更は、機能の選択及び／又は機能又はプログラムの実行又は活性化である。例えば、機能は、動作モード中に受け取る動作データからのゼスチュア検出に応じてデバイス上で実行することができる。検出された終了事象に基づいてデバイスは動作モードを終了する。例えば、この実施例では、動作コントロールがユーザによって解除され、動作コントロールからの活性信号が検出されなくなったときに終了事象が生じる。いくつかの実施例における動作データに基づくデバイスの状態の変更は、例えば、この実施例では、ボタンが解除された後といった、動作モードが終了した後にのみ生じる。動作モードにない場合は、デバイス（例えば、プロセッサあるいはデバイス内のその他の適用可能なコントローラ）は、身振り認識のための入力検出動作データを無視する。いくつかの実施例では、検出した動作データをまだ入力することができ、上述したようなデバイスのオリエンテーションモデルを計算する、といった他の機能あるいは目的に使用することができる。あるいは、例えば、いくつかの実施例においては動作コントロールの実施例と共に使用するとうまく機能しないことがあるタップゼスチュアなど、特定のあらかじめ決められたタイプのゼスチュアあるいはその他の動作のみを入力及び／又は認識することができる。その他の実施例では、例えばセンサをオフにするなどの動作モードにない場合は、検出した動作データはどのような目的に対してもすべて無視される。例えば、ボタンを解除することによってスパイクがデバイス動作で検出されることがあるが、このスパイクはボタンの解除後に生じているため無視される。
デバイスの動作モードの操作は、デバイスの動作モードに依存させてもよい。例えば、動作モードに入るための動作コントロールを活性化するには、デバイスがいくつかの動作モードにある間にユーザが動作ゼスチュアを入力することが要求されるが、デバイスのその他の動作モードでは動作コントロールの活性化は不要である。例えば、デバイスの移動に基づいてディスプレイスクリーン１６ａ上でデバイスの画像セットあるいはその他の物体をスクロールすることができる画像ディスプレイ動作モードの場合は、動作モードの活性化が必要である（例えば、ユーザが動作コントロールを押し下げるなど）。しかし、ユーザが携帯電話をかけるあるいは応答する電話モードの場合は、電話に応答したり、デバイス１０のその他の電話機能を実行するのにユーザは身振りを入力して動作モードの活性化や動作コントロールの活性化を行う必要はない。更に、デバイス１０の様々な動作モードは動作コントロールや動作モードを様々な方法で用いることができる。例えば、一の動作モードでは、ユーザが動作コントロールを不活性化することによってのみ動作モードを終了させることができ、一方、別の動作モードでは、ユーザが特定の身振りを入力することで動作モードを終了させることができる。
一例として、動作コントロールがアクティブでない間はデバイスの動きによって影響を受けないアイコンセットをデバイスのディスプレイスクリーンに表示する。デバイスの動作コントロールが押されると、動作センサによって検出されるデバイスの動作を用いて、例えば、カーソル又はインディケータを様々なアイコンに移動させるなど、どのアイコンが強調されているかを決定することができる。この動作は、例えば、特定の軸、あるいは一以上の軸における回転（回転ゼスチュアと考えられる）として検出することができる。ここでは、デバイスが空中で回転するが、代替的に、デバイスが空中で線形に移動する場合は線形動作あるいは線形ゼスチュアと考えられる。動作コントロールが解除されると、解除時に強調されているアイコンが実行され、例えば、強調されているアイコンに関連するアプリケーションプログラムを開始するといった関連する機能を実行して、デバイスの一又はそれ以上の状態を変化させる。ユーザのアイコン選択を支援するために、アイコンからアイコンへ直接移動する個別移動インディケータ又はカーソルに加えてアイコンの上に乗せた連続的に移動するカーソルを含める、あるいはアイコンを連続的に少し（デバイスの動作に比例して）移動させて動作コントロールが解除されたら特定のアイコンが選択される、といったデバイスの動作に関連する更なる視覚的フィードバックを提供することができる。
別のアプリケーションでは、画像セットをディスプレイスクリーン上に一列に表示することができる。動作コントロールが押されると、ユーザは、例えばデバイスを前（ユーザがデバイスを見ているときはユーザの方向に）あるいは後に（ユーザから遠くへ）傾ける、あるいは線形移動させるといったゼスチュアとしてデバイスを正方向あるいは負の方向に移動させることとでこの画像セットを前後に操作することができる。ユーザが所定のスレッシュホールド振幅を超えてデバイスを移動させると（例えば、所定量以上デバイスを傾ける）、ユーザからの追加の入力なしでスクリーン上で画像が連続的に移動する。動作コントロールが解除されると、デバイス１０は画像の移動を止めるように制御する。
別のアプリケーションでは、ボタンを押すと、デバイスのディスプレイスクリーンに表示された画像、マップ、ウエブページ内でパニングあるいはズーミングが開始される。異なる軸に沿ってデバイスを回転させることで、対応する軸に沿ってディスプレイスクリーンの画面をパニングさせたり、これらの軸に沿ってズーミングさせることができる。様々な動きによって様々な機能をトリガすることができ、あるいは様々なボタンを用いて機能をトリガするようにしても良い。例えば、一の動作コントロールでパニングを行い、別の動作コントロールでズーミングを行うことができる。タイプが異なる動作を用いる場合、スレッシュホールドを使用することで、どの機能をトリガするべきかを決定する際の支援となる。例えば、パニング動作が一軸でデバイスを動かしており、ズーミング動作が別の一軸でデバイスを動かしている場合、デバイスを両方の軸に沿って同時に移動させることで、パニングとズーミングの両方を行うことができる。しかしながら、パニング動作が所定のスレッシュホールド動作量を超えて行われた場合、デバイスはパニングのみを行って、ズーミング軸上での動きは無視する。
いくつかの実施例では、デバイスの動作モードを活性化するのに、ユーザは動作コントロールを保持する必要がない、及び／又は、終了事象は動作コントロールの解除ではない。例えば、動作コントロールを「クリック」、すなわち活性化（例えば、押す）させてすぐに解除することで、動作モードを活性化して、デバイス動作によってデバイスの一又はそれ以上の状態を変更することができる。動作コントロールがクリックされた後は、デバイスはその動作モードを維持する。所望の予め規定された終了事象を用いて、事象検出時に動作モードを終了させて、デバイス動作がデバイスの状態をそれ以上変更しないようにすることができる。例えば、動作データから、あるいはユーザによって提供された動作（所定数の振動を有する震えゼスチュアなど）から特定の震えゼスチュアを検出することができ、検出したら、動作モードを終了する。その他の実施例ではその他のタイプのゼスチュアを用いて動作モードを終了させることができる。更に別の実施例では、終了事象がユーザの動作に基づいていない。例えば、検出したゼスチュアの完了（ゼスチュアがデバイスで正しく検出される場合）など、その他の基準に基づいて動作モードを自動的に終了させることができる。
ゼスチュア認識用のデータ特徴
デバイス１０で人間の動作を分解して処理するためには、センサデータを高速で得ることが必要である。例えば、１００Ｈｚといったサンプリングレートが必要になる。一秒のゼスチュアについて及び６軸の動作センサをデバイスに設けるには、このようなサンプリングレートでは、６の動作自由度について６００のデータポイントを処理する必要がある。しかしながら、人間の動作は、動作波形のピーク振幅、あるいはゼロクロスの特定の回数などの重要な特徴をセンサデータから抽出することによって減らすことができるので、６００のデータポイントすべてを処理しなければならないことはまれである。このようなデータ特徴は、ユーザがゼスチュアを行っている場合、通常、約２Ｈｚで生じる。従って、例えば、４つの特徴を６の各自由度について調べる場合、一秒の動作を行う間のデータポイント総数は、４８ポイントになる。従って、動作データの特定の特徴にのみ集中することによって、全動作についてのすべてのデータポイントを処理するのではない処理すべきデータ量は１０倍以上少なくなる。
デバイス１０で人間の動作を分解して処理するためには、センサデータを高速で得ることが必要である。例えば、１００Ｈｚといったサンプリングレートが必要になる。一秒のゼスチュアについて及び６軸の動作センサをデバイスに設けるには、このようなサンプリングレートでは、６の動作自由度について６００のデータポイントを処理する必要がある。しかしながら、人間の動作は、動作波形のピーク振幅、あるいはゼロクロスの特定の回数などの重要な特徴をセンサデータから抽出することによって減らすことができるので、６００のデータポイントすべてを処理しなければならないことはまれである。このようなデータ特徴は、ユーザがゼスチュアを行っている場合、通常、約２Ｈｚで生じる。従って、例えば、４つの特徴を６の各自由度について調べる場合、一秒の動作を行う間のデータポイント総数は、４８ポイントになる。従って、動作データの特定の特徴にのみ集中することによって、全動作についてのすべてのデータポイントを処理するのではない処理すべきデータ量は１０倍以上少なくなる。
ハードウエアを用いてデバイスプロセッサで必要なデータのサンプリングレートを減らして動作センサの特徴を見つけるいくつかの例示的方法は、同時継続中の特許出願第１２／１０６，９２１号に記載されている。この出願はここに引用されている。
図１５は、ゼスチュア用に処理できるデバイス動作のデータ特徴セットの一例を示すグラフである。波形３５０は、時間軸（水平軸）におけるデバイスの動きの大きさ（垂直軸）を示す。デッドゾーン３５２は、ゼスチュアのデータ特徴を検出時の所望の振幅で示すことができ、ここでこのデッドゾーンは、典型的なあるいは決められたノイズ振幅レベルとほぼ等しい正の値及び負の値を示している。デッドゾーン内でこれらの値の間に入る動作データはすべて、バックグラウンドノイズと区別できないとして無視される（ユーザが意図しないでデバイス１０を振動させるなど）。
ここで言うデータ特徴は、波形３５０から検出できる動作センサデータの波形３５０の特性であり、これを用いて特定のゼスチュアが行われたことを認識することができる。データ特徴は、例えば、波形３５０の最大（又は最小）高さ（又は振幅）３５４と、最大高さ３５４が生じる時間であるピーク時の値３５６などを含む。更なるデータ特徴には、波形３５０がゼロクロスとなる時間３５８（すなわち、正の値から負の値への、あるいはその逆の遷移といった、動作軸における動作方向の変更）が含まれる。更なるデータ特徴には、図１５に示すような２つのゼロクロス３５８間のインターバルの積分値などの、波形３５０の特定の領域を提供する積分３６０が含まれる。更なるデータ特徴には、特定のゼロクロス３５８における波形３５０の微分が含まれる。これらのデータ特徴は、動作センサデータから抽出して波形の全動作センサをゼスチュア認識用に保存して処理するより、より迅速かつ容易に処理することができる。動作波形３５０の曲率（例えば、異なるポイントにおいて、波形がどれだけ滑らかであるか）など、その他のデータ特徴を別の実施例に使用することができる。いくつかの実施例では、調べている特定のデータ特徴がデバイス１０の現在の動作モードに基づいており、ここでは、特定の動作モードで稼働しているアプリケーションに応じて、異なる動作モードが異なるデータ特徴を抽出して処理する必要がある。
図１６は、ゼスチュアを認識して処理するシステム３７０の一例を示すブロック図であり、図１５を参照して上述したデータ特徴を具える。システム３７０は、デバイス１０に、ＭＰＵ２０に、あるいはプロセッサ１２に設けられており、あるいは別のユニットとして設けるようにしても良い。
システム３７０は生データと前処理ブロック３７２を具え、センサからの生データを受け取って、図７を参照して上述した通り、例えばデバイス座標とワールド座標に関連するデータといった、増大させたデータを提供する、あるいは受け取る。生のセンサデータと拡張センサデータは、ゼスチュア認識の基礎として使用することができる。例えば、前処理ブロック３７２は、図７を参照して上述したシステム１５０の全部あるいは一部を具えていても良い。
ブロック３７２から生データと拡張データを複数の低レベルデータ特徴検出器３７４に提供する。ここで、各検出器３７４はセンサデータ中の異なる特徴を検出する。例えば、ブロック３７４ａの特徴１は動作波形のピークを検出し、ブロック３７４ｂの特徴２は動作波形のゼロクロスを検出し、ブロック３７４ｃの特徴３は波形下の領域の積分値を検出して決定することができる。追加の特徴検出器を様々な実施例で用いることができる。各特徴検出器３７４は検出したデータ特徴に近い時間値を表わすタイマー値３７６を提供し、検出したデータ特徴（ピーク振幅、積分値、その他）に近い振幅を表示する振幅値３７８を提供する。
タイマー値及び振幅値３７８及び３７６は高レベルのゼスチュア検出器３８０に提供される。ゼスチュア検出器３８０は、全特徴検出器３７４からのタイミングと振幅値３７８及び３７６を用いて、その検出器に関連する特定のゼスチュアが生じたかどうかを検出する。例えば、ゼスチュア検出器３８０ａは、ピーク特徴検出器３７４ａなどの特徴検出器３７４から適宜の時間と振幅データを調べることによって、タップゼスチュアである特定のゼスチュア１を検出する。同様に、ゼスチュア検出器３８０ｂは特定のゼスチュア２を検出し、ゼスチュア検出器３８０ｃは特定のゼスチュア３を検出する。デバイス１０で認識することが望まれるタイプの異なるゼスチュアを検出するだけの多くのゼスチュア検出器３８０が設けられている。
各ゼスチュア検出器３８０は、ゼスチュアが検出された時間を表わすタイマー値３８２を提供し、検出されたゼスチュアのデータ特徴（ピーク、積分値、等）を示す振幅値である振幅値３８４を提供する。
生及び拡張データ３７２は、デバイス１０の状態及び中断条件をモニタするモニタ３９０にも提供される。モニタ３９０は、処理ブロック３７２からのこの生の及び拡張データを用いてデバイス１０のオリエンテーションを決めるオリエンテーションブロック３９２を具える。このデバイスオリエンテーションは、水平、垂直、あるいは望ましいその他の状態で表示することができる。このオリエンテーションはゼスチュア検出器３８０に提供され、適宜のゼスチュア（特定のデバイスオリエンテーション、又は、一のオリエンテーションから別のオリエンテーションに変更を必要とするゼスチュア）を検出するのに使用される。モニタ３９０はまた、ブロック３７２からの生及び拡張センサデータを用いて例えば角運動あるいは線運動など、デバイス１０が空中で動いた動作量を決定する動作ブロック３９４を具える。この動作量はゼスチュア検出器３８０に提供されて、ゼスチュア（デバイス１０の最少量の動作を必要とするゼスチュアなど）の検出に使用される。
中断条件３９６もモニタ３９０に含まれており、デバイス１０の動きを用いて潜在的に認識されたゼスチュアを中断するかどうかを決定する。この中断条件は、実行された場合に、特定のデバイスの動作がゼスチュアでないことを表示する条件を含む。例えば、上述したバックグラウンドノイズを測定して、このノイズの振幅内の動作が、中断条件３９６を用いて無視されるようにすることができる。別の例では、図１２Ａ及び１２Ｂを参照して上述したようなカーブに続いて生じるスパイクなど、動作のある種のスパイクを無視する、すなわち、そのスパイクについてゼスチュア認識を中断させることができる。別の例では、全部のゼスチュア検出器３８０で、小さなあるいは微細な動きを調べている場合、中断条件３９６を用いて所定のスレッシュホールド振幅を超える大きな動きを無視することができる。中断条件ブロック３９６は、センサデータの現在の（あるいは指定された）部分に対応する中断表示をゼスチュア検出器３８０に送り、更に、最終ゼスチュア出力ブロック３９８にも中断表示を送ることができる。
最終ゼスチュア出力ブロック３９８は、ゼスチュア検出器３８０からのタイマー値及び振幅値をすべて受け取ると共に、中断条件ブロック３９６からの中断表示も受け取る。最終ゼスチュアブロック３９８は、ゼスチュア検出器３８０で認識された非中断ゼスチュアについてのデータを出力する。この出力データは、このゼスチュアを処理して認識したゼスチュアに応じて機能を実行するデバイス１０の構成要素（ソフトウエア及び／又はハードウエア）へ送ることができる。
図１７は、図１６に示すゼスチュア認識システム３５０の機能を分配する一例を示す図４００である。この例では、６軸の動作センサ出力（例えば、３つのジャイロスコープ２６と３つの加速度計２８）が、配線で接続されたハードウエア４０２として提供されている。動作センサは、その生のセンサデータを拡張データとして出力して、ブロック４０４のデータ特徴として処理する。この特徴処理ブロック４０４も、配線で接続されたハードウエアブロック４０２に含まれている。このように、ゼスチュア認識システム３７０のいくらかあるいは全部を、各動作センサ自体（ジャイロスコープ及び／又は加速度計）のハードウエアに含めることができる。例えば、動作センサは、デバイス座標からワールド座標への座標変換など、拡張データを計算するハードウエアアクセレレータを具えていてもよい。ハードウエアアクセレレータは、変換したデータを出力する。ハードウエアアクセレレータは、拡張データを更に小さくしてデータ特徴にする追加の処理を含むものでもよい。代替的に、アクセレレータは、配線で接続されたブロック４０２からの変換データを出力することができる。
ブロック４０４からの特徴は、デバイス１０のプログラム可能なブロック４０８に含まれている動作ロジック処理ブロック４０６に出力される。プログラム可能なブロック４０８は、例えば、プロセッサ又はコントローラによって実装されるソフトウエア及び／又はファームウエアとして実装することができる。動作ロジックは、数値の出力を含み、いくつかの実施例では、ゼスチュアの出力を含む。
代替の実施例では、ゼスチュアシステム３７０全体を、動作センサ及び配線で接続されたブロック４０２から生のデータを受け取る外部プロセッサで稼働するようにしても良い。いくつかの実施例では、ゼスチュアシステム３７０全体が、動作センサ上の、あるいは動作センサを伴う、配線で接続されたハードウエアで稼働するものでも良い。
上述した技術及びシステムの多くは、上述のジャイロスコープ及び／又は加速度計以外の、追加のあるいは代替のセンサを用いて実装することができる。例えば、上述のゼスチュア認識技術を含む６軸の動作検出デバイスは、３つの加速度計と３つのコンパスを具えていても良い。その他のタイプの使用できるセンサには、光学センサ（可視型、赤外線、紫外線、その他）、磁気センサ、その他が含まれる。
図に示す実施例に従って本発明を説明したが、当業者であれば、この実施例の変形例があり、これらの変形例は本発明の精神及び範囲内にあることを容易に認識することができる。従って、多くの変形例は、特許請求の範囲の精神及び範囲から外れることなく、当業者によって製作することができる。
Claims (39)
- 携帯可能な電子デバイスの動作を処理して当該携帯可能な電子デバイスを制御する方法において：
前記携帯可能な電子デバイス上で、前記携帯可能な電子デバイスの動作センサから取り出した検出動作データを受信するステップであって、当該検出したデータが前記携帯可能な電子デバイスの空中での動作に基づくものであり、前記動作センサが６軸動作検出を提供するとともに、少なくとも３つの回転動作センサと少なくとも３つの加速度計を具える、受信ステップと；
前記携帯可能な電子デバイスのオリエンテーションを決定するために前記検出動作データを利用するステップであって、当該利用ステップは：
前記少なくとも３つの回転動作センサから検出動作データを受信するステップと；
前記検出動作データをキャリブレートして精度を上げて、前記携帯可能な電子デバイスの角速度および拡張センサデータの第１の部分を提供するステップと；
前記少なくとも３つの加速度計から検出動作データを受信するステップと；
前記検出動作データをキャリブレートして精度を上げて、前記携帯可能な電子デバイスの加速を提供するステップと；
前記キャリブレートした検出動作データから重力の影響を取り除き、拡張センサデータの第２の部分を提供するステップであって、前記拡張センサデータの第１および第２の部分を組み合わせて前記携帯可能な電子デバイスのオリエンテーションモデルを作成する、提供ステップとを具え、
前記拡張センサデータの第１および第２の部分を処理して単一パッケージの拡張センサデータを提供し、前記拡張センサデータはデバイス座標からワールド座標に座標変換することによって提供される、利用ステップと；
前記携帯可能な電子デバイス上で前記携帯可能な電子デバイスの動作が生じる間にアクティブである特定の動作モードを決定するステップであって、当該特定の動作モードが前記携帯可能な電子デバイスの動作において可能な複数の異なる動作モードのうちの一つである、決定ステップと；
前記携帯可能な電子デバイスの上で前記拡張センサデータから一又はそれ以上の身振りを認識するステップであって、当該一又はそれ以上の身振りが前記携帯可能な電子デバイスのアクティブ動作モードにおいて認識できる複数の身振りセットから認識され、前記携帯可能な電子デバイスの異なる動作モードが各々アクティブなときに、認識可能な異なる身振りセットを有する、認識ステップと；
前記一又はそれ以上の認識された身振りに基づいて前記携帯可能な電子デバイスの一又はそれ以上の状態を変更するステップであって、前記携帯可能な電子デバイスのディスプレイスクリーンの出力の変更を含む、変更ステップと；
を具えることを特徴とする方法。 - 請求項１に記載の方法において、前記一又はそれ以上の身振りが、震えるゼスチュアを具え、当該震えるゼスチュアが前記携帯可能な電子デバイスの動作を一の角度方向において表わし、少なくともバックグラウンドノイズレベルを超えるスレッシュホールドレベルである振幅を具える、前記拡張センサデータから検出される、ことを特徴とする方法。
- 請求項１に記載の方法において、前記一又はそれ以上の身振りが、タップゼスチュアを具え、当該タップゼスチュアが、前記携帯可能な電子デバイスの動作を空中の前記デバイスの動きのパルスとして表わす前記拡張センサデータから検出される、ことを特徴とする方法。
- 請求項３に記載の方法において、前記タップゼスチュアのパルスが、前記拡張センサデータにおけるバックグラウンドノイズを超えるピークを調べることによって検出され、前記タップゼスチュアが、少なくとも前記バックグラウンドノイズを超えるスレッシュホールドレベルにある振幅を有し、前記ゼスチュアに対応する前記携帯可能な電子デバイスの動きの終端において前記拡張センサデータ中のスパイクを除去するステップを具える、ことを特徴とする方法。
- 請求項１に記載の方法において、前記一又はそれ以上の身振りが円形ゼスチュアを具え、当該円形ゼスチュアが空中におけるほぼ円形の動作で前記携帯可能な電子デバイスの動作を表わす前記拡張センサデータから検出されることを特徴とする方法。
- 請求項１に記載の方法において、前記一又はそれ以上の身振りが特性ゼスチュアを具え、当該特性ゼスチュアが空中における前記携帯可能な電子デバイスの少なくとも一の線形動作と、少なくとも一のほぼ円形の動作の組み合わせを表わす前記拡張センサデータから検出されることを特徴とする方法。
- 請求項１に記載の方法が更に：
前記携帯可能な電子デバイスの動作コントロールがユーザによって活性化されたことを表示する入力モード制御信号を受信するステップと；
前記入力モード制御信号の受信に応答して、前記拡張センサデータを前記一又はそれ以上の身振りの認識に使用できるようにする、前記携帯可能な電子デバイスの動作モードを入力するステップと；
前記携帯可能な電子デバイスによって決定された終了事象に基づいて前記携帯可能な電子デバイスの動作モードを終了するステップと；
を具えることを特徴とする方法。 - 請求項７に記載の方法が更に、前記動作センサから取り出した追加の検出動作データを、前記携帯可能な電子デバイスが動作モードにない間に、当該追加の検出動作データから身振りを検出する目的で無視するステップと、を具えることを特徴とする方法。
- 請求項８に記載の方法において、前記携帯可能な電子デバイスが、前記入力モード制御信号がユーザによって前記動作コントロールをアクティブに維持されている場合のみ前記動作モードにとどまり、前記動作モードは、終了モード制御信号の受信に応じて終了し、当該終了モード制御信号が前記動作コントロールをユーザが解除することに対応する、ことを特徴とする方法。
- 請求項７に記載の方法において、前記携帯可能な電子デバイスが、前記ユーザが動作コントロールをクリックした後は動作モードにとどまり、前記終了事象が前記拡張センサデータ内の予め規定した終了ゼスチュアを検出していることを特徴とする方法。
- 請求項７に記載の方法において、前記携帯可能な電子デバイスが、前記ユーザが動作コントロールをクリックした後は動作モードにとどまり、前記終了事象が一又はそれ以上の身振りの一つの完了であることを特徴とする方法。
- 請求項１に記載の方法において、前記検出した一又はそれ以上の身振りを用いて、前記携帯可能な電子デバイスのディスプレイスクリーン上で画像を移動させ、当該画像が前記拡張センサデータで検出した前記携帯可能な電子デバイスの動く方向に対応する方向に移動することを特徴とする方法。
- 身振り検出用携帯可能な電子デバイスにおいて：
前記携帯可能な電子デバイスの空中での動きに基づいて検出したデータを提供する複数の動作センサであって、６軸の動作検出を提供し、少なくとも３つの回転動作センサと少なくとも３つの加速度計を具える、複数の動作センサと；
ディスプレイスクリーンと；
一又はそれ以上のプロセッサと；を具え、
当該一又はそれ以上のプロセッサが：
前記動作センサによって提供された検出されたデータから取り出した動作センサデータを受け取って；
前記動作センサデータを利用して、
前記少なくとも３つの回転動作センサから動作センサデータを受信し；
前記動作センサデータをキャリブレートして精度を上げて、前記携帯可能な電子デバイスの角速度および拡張センサデータの第１の部分を提供し；
前記少なくとも３つの加速度計から動作センサデータを受信し；
前記動作センサデータをキャリブレートして精度を上げて、前記携帯可能な電子デバイスの加速を提供し；
前記キャリブレートした動作センサデータから重力の影響を取り除き、拡張センサデータの第２の部分を提供し、前記拡張センサデータの第１および第２の部分を組み合わせて前記携帯可能な電子デバイスのオリエンテーションモデルを作成することによって、前記携帯可能な電子デバイスのオリエンテーションを決定し；
前記拡張センサデータの第１および第２の部分を処理して単一パッケージの拡張センサデータを提供し、前記拡張センサデータはデバイス座標からワールド座標に座標変換することによって提供され；
前記携帯可能な電子デバイスに動きが生じている間アクティブである特定の動作モードを決定し、ここで、当該特定の動作モードが前記携帯可能な電子デバイスの動作中に入手可能な複数の異なる動作モードの一つであり；
前記拡張センサデータから一又はそれ以上の身振りを認識し、ここで、当該一又はそれ以上の身振りが前記携帯可能な電子デバイスのアクティブな動作モードにおいて認識可能な複数の身振りセットから認識され、前記携帯可能な電子デバイスの前記異なる動作モードが各々アクティブである場合に、認識可能な異なる身振りセットを有し；
前記ディスプレイスクリーンの出力を変更することを含めて、前記一又はそれ以上の認識された身振りに基づいて前記携帯可能な電子デバイスの一又はそれ以上の状態を変更する；
ことを特徴とする携帯可能な電子デバイス。 - 請求項１３に記載の携帯可能な電子デバイスにおいて、前記一又はそれ以上の身振りが震えるゼスチュアを具え、当該震えるゼスチュアが、前記携帯可能な電子デバイスの動作を一の角度方向において表わし、少なくともバックグラウンドノイズレベルを超えるスレッシュホールドレベルである振幅を具える、前記拡張センサデータから検出されることを特徴とする携帯可能な電子デバイス。
- 請求項１３に記載の携帯可能な電子デバイスにおいて、前記一又はそれ以上の身振りがタップゼスチュアを具え、当該タップゼスチュアが、前記携帯可能な電子デバイスの動作を空中の前記デバイスの動きのパルスとして表わす前記拡張センサデータから検出され、前記タップゼスチュアのパルスが、少なくともバックグラウンドノイズレベルを超えるスレッシュホールドレベルにある振幅を有し、前記拡張センサデータ中の振幅のスパイクが、携帯可能な電子デバイスの空中での動きの終端で発生した場合に、タップジェスチュアとして除去される、ことを特徴とする携帯可能な電子デバイス。
- 請求項１３に記載の携帯可能な電子デバイスにおいて、前記一又はそれ以上の身振りが円形ゼスチュアを具え、当該円形ゼスチュアが空中におけるほぼ円形の動作で前記携帯可能な電子デバイスの動作を表わす前記拡張センサデータから検出されることを特徴とする携帯可能な電子デバイス。
- 請求項１３に記載の携帯可能な電子デバイスにおいて、前記一又はそれ以上の身振りが特性ゼスチュアを具え、当該特性ゼスチュアが、空中における前記携帯可能な電子デバイスの少なくとも一の線形動作と、少なくとも一のほぼ円形の動作の組み合わせを表わす前記拡張センサデータから検出されることを特徴とする携帯可能な電子デバイス。
- 請求項１３に記載の携帯可能な電子デバイスが更に、前記携帯可能な電子デバイスのユーザによって活性化できる動作コントロールを具え、前記一又はそれ以上のプロセッサの少なくとも一つが：
前記携帯可能な電子デバイスの動作コントロールがユーザによって活性化された事を表示する入力モード制御信号を受信し；
前記入力モード制御信号の受信に応答して、前記拡張センサデータを前記一又はそれ以上の身振りの認識に使用できるようにする、前記携帯可能な電子デバイスの動作モードを入力し；
前記プロセッサによって決定された終了事象に基づいて前記携帯可能な電子デバイスの動作モードを終了し；
前記少なくとも一つのプロセッサが、前記動作センサから取り出した追加の検出動作データを、前記携帯可能な電子デバイスが動作モードにない間に当該追加の検出動作データから身振りを検出する目的で無視する；
ことを特徴とする携帯可能な電子デバイス。 - 請求項１８に記載の携帯可能な電子デバイスにおいて、少なくとも一のプロセッサが、前記入力モード制御信号がユーザによって前記動作コントロールをアクティブに維持されている場合のみ前記動作モードで携帯可能な電子デバイスを維持し、前記少なくとも一のプロセッサが前記動作コントロールをユーザが解除することに対応して動作モードを終了する、ことを特徴とする携帯可能な電子デバイス。
- 請求項１４に記載の携帯可能な電子デバイスにおいて、前記検出した一又はそれ以上の身振りを用いてディスプレイスクリーン上で画像を移動させ、当該画像が前記拡張センサデータで検出した前記携帯可能な電子デバイスの動く方向に対応する方向に移動することを特徴とする携帯可能な電子デバイス。
- 携帯可能な電子デバイスの動作検出デバイスを用いてユーザが実行するゼスチュアを認識する方法において：
前記デバイスの動きを表わすデバイス座標における動作センサデータを受け取るステップであって、当該動作センサデータが前記動作検出デバイスの複数の動作センサから受信され、前記動作センサが複数の回転動作センサと複数の線形動作センサを具える、受け取りステップと；
前記携帯可能な電子デバイスのオリエンテーションを決定するために検出動作データを利用するステップであって、当該利用するステップは：
少なくとも３つの回転動作センサから検出動作データを受信するステップと；
前記検出動作データをキャリブレートして精度を上げて、前記携帯可能な電子デバイスの角速度および拡張センサデータの第１の部分を提供するステップと；
少なくとも３つの加速度計から検出動作データを受信するステップと；
前記検出動作データをキャリブレートして精度を上げて、前記携帯可能な電子デバイスの加速を提供するステップと；
前記キャリブレートした検出動作データから重力の影響を取り除き、拡張センサデータの第２の部分を提供するステップであって、前記拡張センサデータの第１および第２の部分を組み合わせて前記携帯可能な電子デバイスのオリエンテーションモデルを作成する、提供ステップとを具え、
前記拡張センサデータの第１および第２の部分を処理して単一パッケージの拡張センサデータを提供し、前記拡張センサデータはデバイス座標からワールド座標に座標変換することによって提供される、利用するステップと；
前記デバイス座標中の拡張センサデータをワールド座標の拡張センサデータに変換するステップであって、前記デバイス座標中の拡張センサデータが前記デバイス内の基準フレームに対する前記デバイスの動きを表わしており、前記ワールド座標中の拡張センサデータが前記デバイスに外付けした基準フレームに対する前記デバイスの動きを表わしている、変換ステップと；
前記ワールド座標における前記拡張センサデータからゼスチュアを検出するステップと；
を具えることを特徴とする方法。 - 請求項２１に記載の方法が更に、前記拡張センサデータを、前記ワールド座標からローカルワールド座標へ変換するステップを具え、前記ローカルワールド座標の前記拡張センサデータが前記デバイスのユーザの身体に対する動きを表わしていることを特徴とする方法。
- 請求項２２に記載の方法において、前記ローカルワールド座標が前記ワールド座標を更新して、前記動作検出デバイスが、所定のスレッシュホールドを下回る速度で移動するときの前記動作検出デバイスの動きを追跡することで決定されることを特徴とする方法。
- 請求項２３に記載の方法において、前記所定のスレッシュホールドを下回る速度が、前記動作検出デバイスの角速度と前記動作検出デバイスの先鋭速度から得られることを特徴とする方法。
- 請求項２３に記載の方法において、前記ゼスチュアを行う間に上記所定のスレッシュホールドを上回る速度での前記動作検出デバイスの移動に応答して、前記ローカルワールド座標が前記ゼスチュアを行う間固定されたままであり、前記ワールド座標が前記ゼスチュアが開始したことを決定する前に少なくとも前記動作検出デバイスの最終位置とオリエンテーションで固定される、ことを特徴とする方法。
- 請求項２１に記載の方法において、前記ゼスチュアが、前記拡張センサデータからの一又はそれ以上のデータ特徴を抽出して、前記一又はそれ以上のデータ特徴を処理して前記ゼスチュアを検出することによって検出され、前記データ特徴が、前記データ特徴を含む前記拡張センサデータの一部の上に前記拡張センサデータより少ないデータポイントを具える、ことを特徴とする方法。
- 請求項２６に記載の方法において、前記少なくとも一又はそれ以上のデータ特徴が：
前記拡張センサデータの最大振幅あるいは最小振幅と；
正の値から負の値へ、あるいは負の値から正の値への、前記拡張センサデータのゼロクロスと；
前記拡張センサデータのグラフによって規定される、インターバルの積分値と；
を具えることを特徴とする方法。 - 請求項２６に記載の方法において、前記ゼスチュアが、一又はそれ以上のデータ特徴について以下の一又はそれ以上の観点から前記拡張センサデータを調べることによって検出され、前記観点が：
一又はそれ以上の動作特徴間の相対的タイミング；
前記一又はそれ以上のデータ特徴間の相対的振幅；
であることを特徴とする方法。 - 請求項２６に記載の方法において、前記ゼスチュアが、前記一又はそれ以上のデータ特徴の各々をタイミング付け、かつ、互いに対して所定の時間内に生じるデータ特徴に応じて前記ゼスチュアを認識することによって、検出されることを特徴とする方法。
- 請求項２６に記載の方法において、前記複数のデータ特徴が前記拡張センサデータ中のピークであり、前記ゼスチュアが：
前記拡張センサデータ中の最大ピークのみを選択すること；及び
前記拡張センサデータ中の最大ピークの前のピークを調べること；
のいずれか一方によって、検出されることを特徴とする、方法。 - 請求項２１に記載の方法が更に、ゼスチュアを検出した後に前記動作検出デバイスの機能をトリガするステップであって、前記機能が前記検出したゼスチュアに関連しているトリガステップと、更に当該関連する機能をトリガする前に少なくとも一の中断条件を試験するステップとを具え、前記中断条件が合う場合は前記関連する機能がトリガされず、前記中断条件が前記ゼスチュアの前及び後に最小時間があり、その時間に前記動作検出デバイスの有意な動きが生じないことを特徴とする方法。
- 請求項２１に記載の方法において、前記ゼスチュアを検出するステップが、前記動作検出デバイスの動作の間の角速度を前記動作検出デバイスの線形加速度と関係づけるステップと、当該関係を用いて実質的にすべて回転である前記動作検出デバイスのノイズ動作を除去するステップと、を具えることを特徴とする方法。
- 携帯可能な電子デバイスにおける身振りを検出するシステムにおいて：
動作センサデータを提供する複数の動作センサであって、複数の回転動作センサと複数の線形動作センサを具える動作センサと；
少なくとも一の特徴検出器であって、各特徴検出器が前記動作センサデータから取り出した関連するデータ特徴を検出するよう動作し、各データ特徴が前記動作センサデータの特性であり、各特徴検出器が前記検出したデータ特徴を表す一又はそれ以上の特徴値を出力する、特徴検出器と、
少なくとも一のゼスチュア検出器であって、当該ゼスチュア検出器が前記一又はそれ以上の特徴値に基づいてゼスチュア検出器に関連するゼスチュアを検出するよう動作する、ゼスチュア検出器と；を具えており、
前記動作センサデータを利用して、
前記少なくとも３つの回転動作センサから動作センサデータを受信し；
前記動作センサデータをキャリブレートして精度を上げて、前記携帯可能な電子デバイスの角速度および拡張センサデータの第１の部分を提供し；
前記少なくとも３つの加速度計から動作センサデータを受信し；
前記動作センサデータをキャリブレートして精度を上げて、前記携帯可能な電子デバイスの加速を提供し；
前記キャリブレートした動作センサデータから重力の影響を取り除き、拡張センサデータの第２の部分を提供し、前記拡張センサデータの第１および第２の部分を組み合わせて前記携帯可能な電子デバイスのオリエンテーションモデルを作成することによって、前記携帯可能な電子デバイスのオリエンテーションを決定し；
前記拡張センサデータの第１および第２の部分を処理して単一パッケージの拡張センサデータを提供し、前記拡張センサデータはデバイス座標からワールド座標に座標変換することによって提供される、ことを特徴とするシステム。 - 請求項３３に記載のシステムにおいて、前記少なくとも一の特徴検出器が前記拡張センサデータにおけるピークを検出するよう動作するピーク特徴検出器を具えることを特徴とするシステム。
- 請求項３３に記載のシステムにおいて、前記少なくとも一の特徴検出器が前記拡張センサデータにおけるゼロクロスを検出するよう動作するゼロクロス特徴検出器を具え、前記ゼロクロスが動作軸における動作の方向の変化を表わすことを特徴とするシステム。
- 請求項３３に記載のシステムにおいて、前記拡張センサデータが更に前記携帯可能な電子デバイスの追加センサからのセンサデータを具えており、当該追加センサが、温度センサ、圧力センサ、及びコンパスのうちの少なくとも一つを具えることを特徴とするシステム。
- 請求項３３に記載のシステムにおいて、前記回転動作センサが、ジャイロスコープ又はコンパスを具え、前記線形動作センサが加速度計を具えることを特徴とするシステム。
- 複数の身振り反応性動作モードで動作可能な携帯型電子デバイスにおいて、少なくとも１つの認識可能な身振りが各身振り反応性動作モードに対応しており、当該電子デバイスが：
少なくとも３軸周りの回転速度および少なくとも３軸に沿った線形加速度を検出する一セットの動作センサと；
ディスプレイと；
前記電子デバイスの物理的動きに反応する前記動作センサの少なくとも１つから取り出した動作データおよび前記電子デバイスのその時のアクティブ動作モードに基づいて、前記物理的動きに相当する少なくとも１つのタップゼスチュアを認識し、前記電子デバイスの少なくとも１つの動作モードを変更することがきる処理ロジックと；を具えており、
前記検出した動作データを利用して、
前記少なくとも３つの回転動作センサから検出動作データを受信し；
前記検出動作データをキャリブレートして精度を上げて、前記携帯可能な電子デバイスの角速度および拡張センサデータの第１の部分を提供し；
前記少なくとも３つの加速度計から検出動作データを受信し；
前記検出動作データをキャリブレートして精度を上げて、前記携帯可能な電子デバイスの加速を提供し；
前記キャリブレートした検出動作データから重力の影響を取り除き、前記拡張センサデータの第２の部分を提供し、前記拡張センサデータの第１および第２の部分を組み合わせて前記携帯可能な電子デバイスのオリエンテーションモデルを作成することによって、前記携帯可能な電子デバイスのオリエンテーションを決定し、
前記拡張センサデータの第１および第２の部分を処理して単一パッケージの拡張センサデータを提供し、前記拡張センサデータはデバイス座標からワールド座標に座標変換することによって提供されるように構成されていることを特徴とする電子デバイス。 - 身振りを検出するための携帯可能な電子デバイスにおいて、当該携帯可能な電子デバイスが：
前記携帯可能な電子デバイスの空中での動きに基づいて検出したデータを提供する複数の動作センサであって、６軸の動作検出を提供し、少なくとも３つの回転動作センサと少なくとも３つの加速度計を具える、複数の動作センサと；
ディスプレイスクリーンと；
一又はそれ以上のプロセッサと；を具え、
当該一又はそれ以上のプロセッサが：
前記動作センサによって提供された検出されたデータから取り出した検出動作データを受け取って；
前記検出動作データを利用して、
前記少なくとも３つの回転動作センサから検出動作データを受信し；
前記検出動作データをキャリブレートして精度を上げて、前記携帯可能な電子デバイスの角速度および拡張センサデータの第１の部分を提供し；
前記少なくとも３つの加速度計から前記検出動作データを受信し；
前記検出動作データをキャリブレートして精度を上げて、前記携帯可能な電子デバイスの加速を提供し；
前記キャリブレートした検出動作データから重力の影響を取り除き、前記拡張センサデータの第２の部分を提供し、前記拡張センサデータの第１および第２の部分を組み合わせて前記携帯可能な電子デバイスのオリエンテーションモデルを作成することによって、前記携帯可能な電子デバイスのオリエンテーションを決定し；
前記拡張センサデータの第１および第２の部分を処理して単一パッケージの拡張センサデータを提供し、前記拡張センサデータはデバイス座標からワールド座標に座標変換することによって提供され；
前記携帯可能な電子デバイスに動きが生じている間アクティブである特定の動作モードを決定し、ここで、当該特定の動作モードが前記携帯可能な電子デバイスの動作中に入手可能な複数の異なる動作モードの一つであり；
前記拡張センサデータから一又はそれ以上の身振りを認識し、ここで、当該一又はそれ以上の身振りが前記携帯可能な電子デバイスのアクティブな動作モードにおいて認識可能な複数の身振りセットから認識され、前記携帯可能な電子デバイスの前記異なる動作モードが各々アクティブである場合に、認識可能な異なる身振りセットを有し；
前記ディスプレイスクリーンの出力を変更することを含めて、前記一又はそれ以上の認識された身振りに基づいて前記携帯可能な電子デバイスの一又はそれ以上の状態を変更し；
動作制御ボタンを具え、当該動作制御ボタンがアクティブである場合に前記携帯可能な電子デバイスを動作モードにし、前記携帯可能な電子デバイスが動作モードである場合には、前記携帯可能な電子デバイスの動作は身振りとして検出することができ、前記携帯可能な電子デバイスが動作モードでない場合には、前記携帯可能な電子デバイスの動作は身振りとして検出することができないことを特徴とする携帯可能な電子デバイス。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/252,322 | 2008-10-15 | ||
| US12/252,322 US20090265671A1 (en) | 2008-04-21 | 2008-10-15 | Mobile devices with motion gesture recognition |
| PCT/US2009/060908 WO2010045498A1 (en) | 2008-10-15 | 2009-10-15 | Mobile devices with motion gesture recognition |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012506100A JP2012506100A (ja) | 2012-03-08 |
| JP5675627B2 true JP5675627B2 (ja) | 2015-02-25 |
Family
ID=41202164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011532265A Expired - Fee Related JP5675627B2 (ja) | 2008-10-15 | 2009-10-15 | 身振り認識を伴うモバイルデバイス |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20090265671A1 (ja) |
| EP (1) | EP2350782B1 (ja) |
| JP (1) | JP5675627B2 (ja) |
| CN (1) | CN102246125B (ja) |
| WO (1) | WO2010045498A1 (ja) |
Families Citing this family (286)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006062398A2 (en) * | 2004-12-07 | 2006-06-15 | Applied Nanosystems B.V. | Methods for the production and secretion of modified peptides |
| US7702608B1 (en) | 2006-07-14 | 2010-04-20 | Ailive, Inc. | Generating motion recognizers for arbitrary motions for video games and tuning the motion recognizers to the end user |
| US7636645B1 (en) | 2007-06-18 | 2009-12-22 | Ailive Inc. | Self-contained inertial navigation system for interactive control using movable controllers |
| US9405372B2 (en) * | 2006-07-14 | 2016-08-02 | Ailive, Inc. | Self-contained inertial navigation system for interactive control using movable controllers |
| US8462109B2 (en) | 2007-01-05 | 2013-06-11 | Invensense, Inc. | Controlling and accessing content using motion processing on mobile devices |
| US7636697B1 (en) | 2007-01-29 | 2009-12-22 | Ailive Inc. | Method and system for rapid evaluation of logical expressions |
| US20090221368A1 (en) * | 2007-11-28 | 2009-09-03 | Ailive Inc., | Method and system for creating a shared game space for a networked game |
| US10296874B1 (en) | 2007-12-17 | 2019-05-21 | American Express Travel Related Services Company, Inc. | System and method for preventing unauthorized access to financial accounts |
| US20090315766A1 (en) | 2008-06-19 | 2009-12-24 | Microsoft Corporation | Source switching for devices supporting dynamic direction information |
| US8467991B2 (en) | 2008-06-20 | 2013-06-18 | Microsoft Corporation | Data services based on gesture and location information of device |
| US8655622B2 (en) * | 2008-07-05 | 2014-02-18 | Ailive, Inc. | Method and apparatus for interpreting orientation invariant motion |
| KR101737829B1 (ko) * | 2008-11-10 | 2017-05-22 | 삼성전자주식회사 | 휴대 단말기의 모션 입력 장치 및 그의 운용 방법 |
| KR101390045B1 (ko) * | 2008-12-24 | 2014-04-30 | 에릭슨엘지엔터프라이즈 주식회사 | 통화 장치 및 그 제어 장치 |
| KR101521932B1 (ko) * | 2009-01-19 | 2015-05-20 | 엘지전자 주식회사 | 단말기 및 그 제어 방법 |
| US8339367B2 (en) | 2009-02-27 | 2012-12-25 | Research In Motion Limited | System and method for analyzing movements of an electronic device using rotational movement data |
| KR101581883B1 (ko) * | 2009-04-30 | 2016-01-11 | 삼성전자주식회사 | 모션 정보를 이용하는 음성 검출 장치 및 방법 |
| KR20100125927A (ko) * | 2009-05-22 | 2010-12-01 | 삼성전자주식회사 | 휴대용 단말기의 화면 전환 장치 및 방법 |
| US20100315439A1 (en) * | 2009-06-15 | 2010-12-16 | International Business Machines Corporation | Using motion detection to process pan and zoom functions on mobile computing devices |
| US8970475B2 (en) * | 2009-06-19 | 2015-03-03 | Apple Inc. | Motion sensitive input control |
| US8427508B2 (en) * | 2009-06-25 | 2013-04-23 | Nokia Corporation | Method and apparatus for an augmented reality user interface |
| US8872767B2 (en) * | 2009-07-07 | 2014-10-28 | Microsoft Corporation | System and method for converting gestures into digital graffiti |
| US9690386B2 (en) | 2009-07-14 | 2017-06-27 | Cm Hk Limited | Method and apparatus for performing motion recognition using motion sensor fusion, and associated computer program product |
| KR20110011002A (ko) * | 2009-07-27 | 2011-02-08 | 삼성전자주식회사 | 웹 브라우징 방법 및 장치 |
| JP5489572B2 (ja) * | 2009-07-29 | 2014-05-14 | キヤノン株式会社 | 加速度検出装置及びその制御方法、プログラム |
| JP4823342B2 (ja) * | 2009-08-06 | 2011-11-24 | 株式会社スクウェア・エニックス | タッチパネル式ディスプレイを持った携帯型コンピュータ |
| US9174123B2 (en) * | 2009-11-09 | 2015-11-03 | Invensense, Inc. | Handheld computer systems and techniques for character and command recognition related to human movements |
| WO2011059404A2 (en) * | 2009-11-12 | 2011-05-19 | Nanyang Polytechnic | Method and system for interactive gesture-based control |
| TW201118517A (en) * | 2009-11-20 | 2011-06-01 | Askey Computer Corp | A starting device and method of an electronic product |
| US8543917B2 (en) | 2009-12-11 | 2013-09-24 | Nokia Corporation | Method and apparatus for presenting a first-person world view of content |
| JP5434638B2 (ja) * | 2010-01-29 | 2014-03-05 | ソニー株式会社 | 情報処理装置および情報処理方法 |
| US9901405B2 (en) | 2010-03-02 | 2018-02-27 | Orthosoft Inc. | MEMS-based method and system for tracking a femoral frame of reference |
| US20110223974A1 (en) * | 2010-03-10 | 2011-09-15 | Sony Ericsson Mobile Communications Ab | Mobile communication device and method for operating a mobile communication device |
| JP5392157B2 (ja) * | 2010-03-19 | 2014-01-22 | 富士通株式会社 | モーション判定装置、モーション判定方法、およびコンピュータプログラム |
| US9122735B2 (en) * | 2010-04-30 | 2015-09-01 | Lenovo (Singapore) Pte. Ltd. | Method and apparatus for modifying a transition to an altered power state of an electronic device based on accelerometer output |
| US8180208B2 (en) * | 2010-05-19 | 2012-05-15 | Eastman Kodak Company | Identifying a photographer |
| US8200076B2 (en) * | 2010-05-19 | 2012-06-12 | Eastman Kodak Company | Estimating gender or age of a photographer |
| US8180209B2 (en) * | 2010-05-19 | 2012-05-15 | Eastman Kodak Company | Determining camera activity from a steadiness signal |
| DE102010029565A1 (de) * | 2010-06-01 | 2011-12-01 | Robert Bosch Gmbh | Verfahren zum Betrieb einer Sensoranordnung und Sensoranordnung |
| US8456329B1 (en) | 2010-06-03 | 2013-06-04 | The United States Of America As Represented By The Secretary Of The Navy | Wand controller for aircraft marshaling |
| WO2012001464A1 (en) * | 2010-07-02 | 2012-01-05 | Nokia Corporation | An apparatus and method for detecting a rocking movement of an electronic device and execute a function in response to the detected movement |
| US20120016641A1 (en) * | 2010-07-13 | 2012-01-19 | Giuseppe Raffa | Efficient gesture processing |
| US20120032877A1 (en) * | 2010-08-09 | 2012-02-09 | XMG Studio | Motion Driven Gestures For Customization In Augmented Reality Applications |
| US20120036485A1 (en) * | 2010-08-09 | 2012-02-09 | XMG Studio | Motion Driven User Interface |
| US9164542B2 (en) * | 2010-08-31 | 2015-10-20 | Symbol Technologies, Llc | Automated controls for sensor enabled user interface |
| US8988365B2 (en) * | 2010-09-01 | 2015-03-24 | Telefonaktiebolaget L M Ericsson (Publ) | Input precision method for minimizing erroneous entries stemming from instability of a mobile device using an accelerometer and apparatus to detect a shake and apparatus and computer program thereof |
| CN102457674A (zh) * | 2010-10-27 | 2012-05-16 | 赛龙通信技术（深圳）有限公司 | 一种摄像头模拟重力感应器的方法 |
| TWI439947B (zh) * | 2010-11-11 | 2014-06-01 | Ind Tech Res Inst | 辨識人體移動行為之方法及系統 |
| US8866735B2 (en) | 2010-12-16 | 2014-10-21 | Motorla Mobility LLC | Method and apparatus for activating a function of an electronic device |
| US8982045B2 (en) | 2010-12-17 | 2015-03-17 | Microsoft Corporation | Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device |
| WO2012080964A1 (en) * | 2010-12-17 | 2012-06-21 | Koninklijke Philips Electronics N.V. | Gesture control for monitoring vital body signs |
| US8994646B2 (en) | 2010-12-17 | 2015-03-31 | Microsoft Corporation | Detecting gestures involving intentional movement of a computing device |
| US8660978B2 (en) * | 2010-12-17 | 2014-02-25 | Microsoft Corporation | Detecting and responding to unintentional contact with a computing device |
| US8988398B2 (en) | 2011-02-11 | 2015-03-24 | Microsoft Corporation | Multi-touch input device with orientation sensing |
| US9244545B2 (en) | 2010-12-17 | 2016-01-26 | Microsoft Technology Licensing, Llc | Touch and stylus discrimination and rejection for contact sensitive computing devices |
| US8786547B2 (en) * | 2010-12-23 | 2014-07-22 | Microsoft Corporation | Effects of gravity on gestures |
| US9090214B2 (en) | 2011-01-05 | 2015-07-28 | Orbotix, Inc. | Magnetically coupled accessory for a self-propelled device |
| US9429940B2 (en) | 2011-01-05 | 2016-08-30 | Sphero, Inc. | Self propelled device with magnetic coupling |
| US9218316B2 (en) | 2011-01-05 | 2015-12-22 | Sphero, Inc. | Remotely controlling a self-propelled device in a virtualized environment |
| US10281915B2 (en) | 2011-01-05 | 2019-05-07 | Sphero, Inc. | Multi-purposed self-propelled device |
| US8751063B2 (en) * | 2011-01-05 | 2014-06-10 | Orbotix, Inc. | Orienting a user interface of a controller for operating a self-propelled device |
| US20120179965A1 (en) * | 2011-01-12 | 2012-07-12 | Whitney Taylor | Gesture-based navigation system for a mobile device |
| US9244530B1 (en) | 2011-01-31 | 2016-01-26 | Google Inc. | Virtual artifacts using mobile devices |
| US9201520B2 (en) | 2011-02-11 | 2015-12-01 | Microsoft Technology Licensing, Llc | Motion and context sharing for pen-based computing inputs |
| US8912877B2 (en) | 2011-02-18 | 2014-12-16 | Blackberry Limited | System and method for activating an electronic device using two or more sensors |
| US8688403B2 (en) * | 2011-02-28 | 2014-04-01 | Blackberry Limited | Portable electronic device adapted to provide an improved attitude matrix |
| US9619035B2 (en) | 2011-03-04 | 2017-04-11 | Microsoft Technology Licensing, Llc | Gesture detection and recognition |
| US20120244969A1 (en) | 2011-03-25 | 2012-09-27 | May Patents Ltd. | System and Method for a Motion Sensing Device |
| US20120254809A1 (en) * | 2011-03-31 | 2012-10-04 | Nokia Corporation | Method and apparatus for motion gesture recognition |
| US9094813B2 (en) * | 2011-04-02 | 2015-07-28 | Open Invention Network, Llc | System and method for redirecting content based on gestures |
| US9436231B2 (en) | 2011-04-07 | 2016-09-06 | Qualcomm Incorporated | Rest detection using accelerometer |
| US8873841B2 (en) * | 2011-04-21 | 2014-10-28 | Nokia Corporation | Methods and apparatuses for facilitating gesture recognition |
| US9063704B2 (en) * | 2011-05-05 | 2015-06-23 | Net Power And Light, Inc. | Identifying gestures using multiple sensors |
| US9110510B2 (en) | 2011-06-03 | 2015-08-18 | Apple Inc. | Motion pattern classification and gesture recognition |
| US20120313847A1 (en) * | 2011-06-09 | 2012-12-13 | Nokia Corporation | Method and apparatus for contextual gesture recognition |
| US8235285B1 (en) | 2011-06-24 | 2012-08-07 | American Express Travel Related Services Company, Inc. | Systems and methods for gesture-based interaction with computer systems |
| US8714439B2 (en) | 2011-08-22 | 2014-05-06 | American Express Travel Related Services Company, Inc. | Methods and systems for contactless payments at a merchant |
| US8849605B2 (en) * | 2011-08-23 | 2014-09-30 | Qualcomm Incorporated | Method and apparatus for sensor based pedestrian motion detection in hand-held devices |
| KR101822581B1 (ko) | 2011-09-05 | 2018-01-26 | 삼성전자주식회사 | 움직임에 기반하여 애플리케이션 속성의 조절이 가능한 단말기 및 그 방법 |
| KR101830966B1 (ko) * | 2011-09-21 | 2018-02-22 | 엘지전자 주식회사 | 전자 기기 및 전자 기기의 컨텐츠 생성 방법 |
| WO2013048469A1 (en) * | 2011-09-30 | 2013-04-04 | Intel Corporation | Detection of gesture data segmentation in mobile devices |
| US9710048B2 (en) | 2011-10-03 | 2017-07-18 | Google Technology Holdings LLC | Method for detecting false wake conditions of a portable electronic device |
| US8949745B2 (en) * | 2011-10-21 | 2015-02-03 | Konntech Inc. | Device and method for selection of options by motion gestures |
| KR101880968B1 (ko) * | 2011-10-27 | 2018-08-20 | 삼성전자주식회사 | 터치스크린 휴대 기기에서 사용자 인터페이스 개체를 배치하는 방법 및 장치 |
| US9454245B2 (en) | 2011-11-01 | 2016-09-27 | Qualcomm Incorporated | System and method for improving orientation data |
| KR20130051098A (ko) * | 2011-11-09 | 2013-05-20 | 삼성전자주식회사 | 화면 회전 제어 방법 및 이를 지원하는 단말기 및 터치 시스템 |
| US8966404B2 (en) | 2011-11-11 | 2015-02-24 | Apollo Education Group, Inc. | Hierarchy-indicating graphical user interface for discussion threads |
| US20130125061A1 (en) | 2011-11-11 | 2013-05-16 | Jongwoo LEE | Efficient Navigation Of Hierarchical Data Displayed In A Graphical User Interface |
| US8869041B2 (en) | 2011-11-11 | 2014-10-21 | Apollo Education Group, Inc. | Dynamic and local management of hierarchical discussion thread data |
| ITTO20111144A1 (it) * | 2011-12-13 | 2013-06-14 | St Microelectronics Srl | Sistema e metodo di compensazione dell'orientamento di un dispositivo portatile |
| US9410809B2 (en) | 2011-12-16 | 2016-08-09 | Microsoft Technology Licensing, Llc | Applying a correct factor derivative method for determining an orientation of a portable electronic device based on sense gravitation component linear accelerate filter data obtained |
| US9554251B2 (en) | 2012-02-06 | 2017-01-24 | Telefonaktiebolaget L M Ericsson | User terminal with improved feedback possibilities |
| US8902181B2 (en) | 2012-02-07 | 2014-12-02 | Microsoft Corporation | Multi-touch-movement gestures for tablet computing devices |
| US20130211843A1 (en) * | 2012-02-13 | 2013-08-15 | Qualcomm Incorporated | Engagement-dependent gesture recognition |
| US20130254674A1 (en) * | 2012-03-23 | 2013-09-26 | Oracle International Corporation | Development mode activation for a mobile device |
| CN103369383A (zh) * | 2012-03-26 | 2013-10-23 | 乐金电子(中国)研究开发中心有限公司 | 空间遥控器的控制方法、装置、空间遥控器及多媒体终端 |
| JP2013210906A (ja) * | 2012-03-30 | 2013-10-10 | Sony Corp | 制御方法、制御装置及びプログラム |
| US9833173B2 (en) | 2012-04-19 | 2017-12-05 | Abraham Carter | Matching system for correlating accelerometer data to known movements |
| DE102012103911A1 (de) * | 2012-05-04 | 2013-11-07 | Carl Mahr Holding Gmbh | Messvorrichtung für dimensionelle Mess- und Kenngrößen mit separater Steuereinrichtung |
| US9827487B2 (en) | 2012-05-14 | 2017-11-28 | Sphero, Inc. | Interactive augmented reality using a self-propelled device |
| US9280717B2 (en) | 2012-05-14 | 2016-03-08 | Sphero, Inc. | Operating a computing device by detecting rounded objects in an image |
| US9244499B2 (en) | 2012-06-08 | 2016-01-26 | Apple Inc. | Multi-stage device orientation detection |
| US8532675B1 (en) | 2012-06-27 | 2013-09-10 | Blackberry Limited | Mobile communication device user interface for manipulation of data items in a physical space |
| US9147057B2 (en) | 2012-06-28 | 2015-09-29 | Intel Corporation | Techniques for device connections using touch gestures |
| JP2014029522A (ja) * | 2012-07-06 | 2014-02-13 | Funai Electric Co Ltd | 電子情報端末および電子情報端末の表示方法 |
| KR20140027579A (ko) * | 2012-07-06 | 2014-03-07 | 삼성전자주식회사 | 단말기의 사용자인증 수행 장치 및 방법 |
| US10056791B2 (en) | 2012-07-13 | 2018-08-21 | Sphero, Inc. | Self-optimizing power transfer |
| CN103543842B (zh) | 2012-07-16 | 2017-05-24 | 联想(北京)有限公司 | 终端设备 |
| KR101978967B1 (ko) * | 2012-08-01 | 2019-05-17 | 삼성전자주식회사 | 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치와 제스처 인식 방법 |
| CN102750107A (zh) * | 2012-08-02 | 2012-10-24 | 深圳市经纬科技有限公司 | 一种大屏幕手持电子设备单手操作的方法及装置 |
| US9291695B2 (en) * | 2012-08-06 | 2016-03-22 | Fluke Corporation | Real-time RF signal visualization device |
| CN103631469B (zh) * | 2012-08-21 | 2016-10-05 | 联想(北京)有限公司 | 显示图标的处理方法、装置及电子设备 |
| CN102867190B (zh) * | 2012-08-30 | 2016-04-27 | 南京大学 | 一种利用移动设备内置传感器进行行为识别的方法 |
| KR102147203B1 (ko) * | 2012-09-10 | 2020-08-25 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| KR20140042280A (ko) * | 2012-09-28 | 2014-04-07 | 엘지전자 주식회사 | 포터블 디바이스 및 그 제어 방법 |
| CN103632133B (zh) * | 2012-10-25 | 2017-05-24 | 上海理工大学 | 人体姿态识别方法 |
| CN102929392B (zh) * | 2012-10-25 | 2015-09-30 | 三星半导体(中国)研究开发有限公司 | 基于多传感器的用户操作识别方法和使用该方法的设备 |
| EP2915157B1 (en) | 2012-10-30 | 2019-05-08 | Truinject Corp. | System for injection training |
| US9792836B2 (en) | 2012-10-30 | 2017-10-17 | Truinject Corp. | Injection training apparatus using 3D position sensor |
| US20140141889A1 (en) | 2012-11-19 | 2014-05-22 | 2343127 Ontario Inc. | Systems and Methods for Capture and Use of Local Elements in Gameplay |
| CN103841246B (zh) * | 2012-11-20 | 2018-04-27 | 联想(北京)有限公司 | 一种信息处理方法、系统及一种移动终端 |
| KR102206044B1 (ko) | 2012-12-10 | 2021-01-21 | 삼성전자주식회사 | 뱅글 타입의 모바일 디바이스와 그 제어 방법 및 ui 표시 방법 |
| WO2014092437A1 (en) * | 2012-12-10 | 2014-06-19 | Samsung Electronics Co., Ltd. | Mobile device of bangle type, control method thereof, and ui display method |
| US20140168057A1 (en) * | 2012-12-13 | 2014-06-19 | Qualcomm Incorporated | Gyro aided tap gesture detection |
| US9746926B2 (en) | 2012-12-26 | 2017-08-29 | Intel Corporation | Techniques for gesture-based initiation of inter-device wireless connections |
| CN103051841B (zh) * | 2013-01-05 | 2016-07-06 | 小米科技有限责任公司 | 曝光时间的控制方法及装置 |
| KR102049475B1 (ko) * | 2013-01-08 | 2020-01-08 | 삼성전자주식회사 | 입력 장치, 디스플레이 장치 및 제어 방법 |
| US9119068B1 (en) * | 2013-01-09 | 2015-08-25 | Trend Micro Inc. | Authentication using geographic location and physical gestures |
| EP2765477A3 (en) * | 2013-02-08 | 2014-10-08 | Cywee Group Limited | Method and apparatus for performing motion recognition using motion sensor fusion, and associated computer program product |
| JP6332262B2 (ja) * | 2013-02-13 | 2018-05-30 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
| US9052746B2 (en) | 2013-02-15 | 2015-06-09 | Microsoft Technology Licensing, Llc | User center-of-mass and mass distribution extraction using depth images |
| KR102330889B1 (ko) * | 2013-02-22 | 2021-11-26 | 페이스북 테크놀로지스, 엘엘씨 | 제스처-기반 제어를 위해 근활성도 센서 신호와 관성 센서 신호를 결합하는 방법 및 기기 |
| US9135516B2 (en) | 2013-03-08 | 2015-09-15 | Microsoft Technology Licensing, Llc | User body angle, curvature and average extremity positions extraction using depth images |
| US9442570B2 (en) | 2013-03-13 | 2016-09-13 | Google Technology Holdings LLC | Method and system for gesture recognition |
| EP2972687A4 (en) | 2013-03-13 | 2016-11-09 | Bosch Gmbh Robert | SYSTEM AND METHOD FOR PERFORMING A TRANSITION BETWEEN OPERATING MODES OF A DEVICE ON BOARD IN A VEHICLE USING GESTURES |
| US9092657B2 (en) | 2013-03-13 | 2015-07-28 | Microsoft Technology Licensing, Llc | Depth image processing |
| US9367145B2 (en) | 2013-03-14 | 2016-06-14 | Qualcomm Incorporated | Intelligent display image orientation based on relative motion detection |
| US10203815B2 (en) | 2013-03-14 | 2019-02-12 | Apple Inc. | Application-based touch sensitivity |
| US9142034B2 (en) | 2013-03-14 | 2015-09-22 | Microsoft Technology Licensing, Llc | Center of mass state vector for analyzing user motion in 3D images |
| US9159140B2 (en) | 2013-03-14 | 2015-10-13 | Microsoft Technology Licensing, Llc | Signal analysis for repetition detection and analysis |
| US10845452B2 (en) | 2013-05-08 | 2020-11-24 | Cm Hk Limited | Hybrid positioning method, electronic apparatus and computer-readable recording medium thereof |
| US11029414B2 (en) | 2013-05-08 | 2021-06-08 | Cm Hk Limited | Electronic devices and methods for providing location information |
| US10725064B2 (en) | 2013-05-08 | 2020-07-28 | Cm Hk Limited | Methods of motion processing and related electronic devices and motion modules |
| US9798390B2 (en) * | 2013-07-19 | 2017-10-24 | Cm Hk Limited | Electronic device and method of motion processing |
| US9885734B2 (en) | 2013-05-08 | 2018-02-06 | Cm Hk Limited | Method of motion processing and related mobile device and microcontroller unit |
| US10551211B2 (en) | 2013-05-08 | 2020-02-04 | Cm Hk Limited | Methods and devices with sensor time calibration |
| CN104142791A (zh) * | 2013-05-09 | 2014-11-12 | 腾讯科技（深圳）有限公司 | 资源更换方法、装置及终端 |
| WO2014186370A1 (en) | 2013-05-13 | 2014-11-20 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices that accommodate different user forms |
| CN103340634B (zh) * | 2013-06-17 | 2015-11-18 | 无锡市中安捷联科技有限公司 | 一种基于加速度变化检测人运动状态的方法 |
| CN103473692A (zh) * | 2013-06-17 | 2013-12-25 | 展讯通信（上海）有限公司 | 一种三维购物平台显示系统 |
| EP2818074A1 (fr) | 2013-06-28 | 2014-12-31 | Babyliss Faco S.P.R.L. | Dispositif de coiffure |
| US9372103B2 (en) * | 2013-07-12 | 2016-06-21 | Facebook, Inc. | Calibration of grab detection |
| US9134818B2 (en) * | 2013-07-12 | 2015-09-15 | Facebook, Inc. | Isolating mobile device electrode |
| US9342113B2 (en) * | 2013-07-18 | 2016-05-17 | Facebook, Inc. | Movement-triggered action for mobile device |
| US9645721B2 (en) * | 2013-07-19 | 2017-05-09 | Apple Inc. | Device input modes with corresponding cover configurations |
| KR102033077B1 (ko) | 2013-08-07 | 2019-10-16 | 나이키 이노베이트 씨.브이. | 제스처 인식 및 전력 관리를 갖는 손목 착용 운동 디바이스 |
| US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
| US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
| US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
| US10188309B2 (en) | 2013-11-27 | 2019-01-29 | North Inc. | Systems, articles, and methods for electromyography sensors |
| KR20150026056A (ko) * | 2013-08-30 | 2015-03-11 | 삼성전자주식회사 | 곡면 바닥을 가지는 전자 장치 및 그 동작 방법 |
| TWI567592B (zh) * | 2013-09-03 | 2017-01-21 | 緯創資通股份有限公司 | 手勢辨識方法及穿戴式裝置 |
| CN104700832B (zh) * | 2013-12-09 | 2018-05-25 | 联发科技股份有限公司 | 语音关键字检测系统及方法 |
| JP6314394B2 (ja) * | 2013-09-13 | 2018-04-25 | 富士通株式会社 | 情報処理装置、設定方法、設定プログラム、システムおよび管理装置 |
| TWI723271B (zh) * | 2013-09-18 | 2021-04-01 | 日商半導體能源研究所股份有限公司 | 顯示裝置、顯示裝置的驅動方法、程式以及儲存介質 |
| JP6178741B2 (ja) * | 2013-09-24 | 2017-08-09 | 京セラドキュメントソリューションズ株式会社 | 電子機器 |
| US10152136B2 (en) | 2013-10-16 | 2018-12-11 | Leap Motion, Inc. | Velocity field interaction for free space gesture interface and control |
| CN103619090A (zh) * | 2013-10-23 | 2014-03-05 | 深迪半导体(上海)有限公司 | 基于微型惯性传感器舞台灯光自动定位和追踪系统和方法 |
| CN105659195A (zh) * | 2013-10-24 | 2016-06-08 | 朱春生 | 空中掌控输入装置和方法 |
| KR102233728B1 (ko) * | 2013-10-31 | 2021-03-30 | 삼성전자주식회사 | 전자 장치의 제어 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
| CN103605701A (zh) * | 2013-11-07 | 2014-02-26 | 北京智谷睿拓技术服务有限公司 | 通信对象的确定方法及确定装置 |
| JP5613314B1 (ja) * | 2013-11-14 | 2014-10-22 | Ｊｆｅシステムズ株式会社 | ジェスチャー検出装置、ジェスチャー検出プログラム、ジェスチャー認識装置およびジェスチャー認識プログラム |
| US9613202B2 (en) | 2013-12-10 | 2017-04-04 | Dell Products, Lp | System and method for motion gesture access to an application and limited resources of an information handling system |
| US9372543B2 (en) * | 2013-12-16 | 2016-06-21 | Dell Products, L.P. | Presentation interface in a virtual collaboration session |
| US9891712B2 (en) | 2013-12-16 | 2018-02-13 | Leap Motion, Inc. | User-defined virtual interaction space and manipulation of virtual cameras with vectors |
| US9971412B2 (en) | 2013-12-20 | 2018-05-15 | Lenovo (Singapore) Pte. Ltd. | Enabling device features according to gesture input |
| US9829882B2 (en) | 2013-12-20 | 2017-11-28 | Sphero, Inc. | Self-propelled device with center of mass drive system |
| US8856948B1 (en) | 2013-12-23 | 2014-10-07 | Google Inc. | Displaying private information on personal devices |
| FR3016046B1 (fr) * | 2013-12-31 | 2017-02-17 | Commissariat Energie Atomique | Procede et dispositif de detection de manipulation d'un appareil portable |
| US8811951B1 (en) | 2014-01-07 | 2014-08-19 | Google Inc. | Managing display of private information |
| CA2972754A1 (en) | 2014-01-17 | 2015-07-23 | Clark B. Foster | Injection site training system |
| TWI531957B (zh) * | 2014-01-29 | 2016-05-01 | 拓連科技股份有限公司 | 動作導向之使用者介面操控方法及系統，及相關電腦程式產品 |
| WO2015122879A1 (en) | 2014-02-11 | 2015-08-20 | Bodhi Technology Ventures Llc | Detecting the limb wearing a wearable electronic device |
| US10827268B2 (en) | 2014-02-11 | 2020-11-03 | Apple Inc. | Detecting an installation position of a wearable electronic device |
| US9009516B1 (en) | 2014-02-19 | 2015-04-14 | Google Inc. | Adjusting a power mode of a wearable computing device based on motion data |
| US10290231B2 (en) | 2014-03-13 | 2019-05-14 | Truinject Corp. | Automated detection of performance characteristics in an injection training system |
| JP6230452B2 (ja) * | 2014-03-17 | 2017-11-15 | シャープ株式会社 | 情報処理装置及び情報処理方法 |
| US10199008B2 (en) | 2014-03-27 | 2019-02-05 | North Inc. | Systems, devices, and methods for wearable electronic devices as state machines |
| US9320440B2 (en) * | 2014-04-01 | 2016-04-26 | Xerox Corporation | Discriminating between atrial fibrillation and sinus rhythm in physiological signals obtained from video |
| WO2015164820A1 (en) * | 2014-04-24 | 2015-10-29 | Idis Technology Ip Ltd | Private messaging application and associated methods |
| CN106164982B (zh) * | 2014-04-25 | 2019-05-03 | 谷歌技术控股有限责任公司 | 基于影像的电子设备定位 |
| TWI590640B (zh) * | 2014-04-25 | 2017-07-01 | 緯創資通股份有限公司 | 通話方法及其電子裝置 |
| US20150312402A1 (en) * | 2014-04-29 | 2015-10-29 | Samsung Electronics Co., Ltd. | Computing system with control mechanism and method of operation thereof |
| US10845884B2 (en) * | 2014-05-13 | 2020-11-24 | Lenovo (Singapore) Pte. Ltd. | Detecting inadvertent gesture controls |
| ES2552881B1 (es) * | 2014-06-02 | 2016-07-12 | Samsung Electronics Iberia, S.A.U. | Dispositivo portable y método de control mediante gestos |
| US10222868B2 (en) * | 2014-06-02 | 2019-03-05 | Samsung Electronics Co., Ltd. | Wearable device and control method using gestures |
| US10429408B2 (en) * | 2014-06-04 | 2019-10-01 | Danlaw Inc. | Vehicle monitoring module |
| US9958946B2 (en) | 2014-06-06 | 2018-05-01 | Microsoft Technology Licensing, Llc | Switching input rails without a release command in a natural user interface |
| US9870083B2 (en) | 2014-06-12 | 2018-01-16 | Microsoft Technology Licensing, Llc | Multi-device multi-user sensor correlation for pen and computing device interaction |
| US9727161B2 (en) | 2014-06-12 | 2017-08-08 | Microsoft Technology Licensing, Llc | Sensor correlation for pen and touch-sensitive computing device interaction |
| US9880632B2 (en) | 2014-06-19 | 2018-01-30 | Thalmic Labs Inc. | Systems, devices, and methods for gesture identification |
| WO2016028629A1 (en) * | 2014-08-16 | 2016-02-25 | Google Inc. | Identifying gestures using motion data |
| US10660039B1 (en) | 2014-09-02 | 2020-05-19 | Google Llc | Adaptive output of indications of notification data |
| US10540348B2 (en) | 2014-09-22 | 2020-01-21 | At&T Intellectual Property I, L.P. | Contextual inference of non-verbal expressions |
| US9952675B2 (en) * | 2014-09-23 | 2018-04-24 | Fitbit, Inc. | Methods, systems, and apparatuses to display visibility changes responsive to user gestures |
| US20160091965A1 (en) * | 2014-09-30 | 2016-03-31 | Microsoft Corporation | Natural motion-based control via wearable and mobile devices |
| WO2016066422A1 (en) | 2014-10-28 | 2016-05-06 | Koninklijke Philips N.V. | Method and apparatus for reliable detection of opening and closing events |
| US9684405B2 (en) * | 2014-11-12 | 2017-06-20 | Rakuten Kobo, Inc. | System and method for cyclic motion gesture |
| KR20170102233A (ko) | 2014-12-01 | 2017-09-08 | 트루인젝트 코프 | 전방향성 광을 발산하는 주입 훈련 도구 |
| US10500600B2 (en) * | 2014-12-09 | 2019-12-10 | Rai Strategic Holdings, Inc. | Gesture recognition user interface for an aerosol delivery device |
| CN104596510A (zh) * | 2014-12-23 | 2015-05-06 | 深圳市金立通信设备有限公司 | 一种终端 |
| CN104536567B (zh) * | 2014-12-23 | 2018-03-13 | 深圳市金立通信设备有限公司 | 一种方向检测方法 |
| TW201624262A (zh) * | 2014-12-31 | 2016-07-01 | 富智康（香港）有限公司 | 取消資料夾的方法及系統 |
| EP3243120A4 (en) * | 2015-01-09 | 2018-08-22 | Razer (Asia-Pacific) Pte Ltd. | Gesture recognition devices and gesture recognition methods |
| US10039975B2 (en) | 2015-01-13 | 2018-08-07 | Disney Enterprises, Inc. | Techniques for representing imaginary participants in an immersive play environment |
| US9855497B2 (en) | 2015-01-20 | 2018-01-02 | Disney Enterprises, Inc. | Techniques for providing non-verbal speech recognition in an immersive playtime environment |
| US10265621B2 (en) | 2015-01-20 | 2019-04-23 | Disney Enterprises, Inc. | Tracking specific gestures relative to user movement |
| US20160259488A1 (en) | 2015-03-06 | 2016-09-08 | Alibaba Group Holding Limited | Navigation user interface for compact mobile devices |
| US10001505B2 (en) * | 2015-03-06 | 2018-06-19 | Samsung Electronics Co., Ltd. | Method and electronic device for improving accuracy of measurement of motion sensor |
| US9710128B2 (en) * | 2015-03-17 | 2017-07-18 | Google Inc. | Dynamic icons for gesture discoverability |
| US20160282949A1 (en) * | 2015-03-27 | 2016-09-29 | Sony Corporation | Method and system for detecting linear swipe gesture using accelerometer |
| US10078435B2 (en) | 2015-04-24 | 2018-09-18 | Thalmic Labs Inc. | Systems, methods, and computer program products for interacting with electronically displayed presentation materials |
| US20170299388A9 (en) * | 2015-05-22 | 2017-10-19 | InvenSense, Incorporated | Systems and methods for synthetic sensor signal generation |
| US9939923B2 (en) * | 2015-06-19 | 2018-04-10 | Microsoft Technology Licensing, Llc | Selecting events based on user input and current context |
| US9804679B2 (en) | 2015-07-03 | 2017-10-31 | Google Inc. | Touchless user interface navigation using gestures |
| CN106371505A (zh) * | 2015-07-24 | 2017-02-01 | 中兴通讯股份有限公司 | 一种实现显示的方法、装置和可穿戴设备 |
| KR102354586B1 (ko) * | 2015-08-11 | 2022-01-24 | 삼성전자주식회사 | 전자 장치 상태에 따른 제어 방법 및 그 장치 |
| US10500340B2 (en) | 2015-10-20 | 2019-12-10 | Truinject Corp. | Injection system |
| US10386203B1 (en) * | 2015-11-05 | 2019-08-20 | Invensense, Inc. | Systems and methods for gyroscope calibration |
| US10359929B2 (en) * | 2015-11-09 | 2019-07-23 | Analog Devices, Inc. | Slider and gesture recognition using capacitive sensing |
| US20170177929A1 (en) * | 2015-12-21 | 2017-06-22 | Intel Corporation | Crowd gesture recognition |
| KR20170084558A (ko) * | 2016-01-12 | 2017-07-20 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
| CN114019990A (zh) * | 2016-02-24 | 2022-02-08 | 深圳市大疆创新科技有限公司 | 用于控制可移动物体的系统和方法 |
| WO2017151441A2 (en) | 2016-02-29 | 2017-09-08 | Truinject Medical Corp. | Cosmetic and therapeutic injection safety systems, methods, and devices |
| WO2017151716A1 (en) | 2016-03-02 | 2017-09-08 | Truinject Medical Corp. | System for determining a three-dimensional position of a testing tool |
| EP3423972A1 (en) | 2016-03-02 | 2019-01-09 | Truinject Corp. | Sensory enhanced environments for injection aid and social training |
| CN105915990B (zh) * | 2016-05-25 | 2022-11-15 | 歌尔光学科技有限公司 | 一种虚拟现实头盔及其使用方法 |
| CN106092134B (zh) * | 2016-05-30 | 2020-01-31 | 河北建筑工程学院 | 一种基于自适应算法的运动警报方法以及运动警报装置 |
| US10565554B2 (en) | 2016-06-10 | 2020-02-18 | Walmart Apollo, Llc | Methods and systems for monitoring a retail shopping facility |
| US20190121306A1 (en) | 2017-10-19 | 2019-04-25 | Ctrl-Labs Corporation | Systems and methods for identifying biological structures associated with neuromuscular source signals |
| WO2020112986A1 (en) | 2018-11-27 | 2020-06-04 | Facebook Technologies, Inc. | Methods and apparatus for autocalibration of a wearable electrode sensor system |
| CN106406516A (zh) * | 2016-08-26 | 2017-02-15 | 兰州理工大学 | 一种智能手机本地实时的运动轨迹特征提取与识别方法 |
| US10650703B2 (en) | 2017-01-10 | 2020-05-12 | Truinject Corp. | Suture technique training system |
| EP3596721B1 (en) | 2017-01-23 | 2023-09-06 | Truinject Corp. | Syringe dose and position measuring apparatus |
| US10802572B2 (en) * | 2017-02-02 | 2020-10-13 | Stmicroelectronics, Inc. | System and method of determining whether an electronic device is in contact with a human body |
| US10311249B2 (en) | 2017-03-31 | 2019-06-04 | Google Llc | Selectively obscuring private information based on contextual information |
| CN107169525B (zh) * | 2017-06-01 | 2020-05-19 | 腾云天宇科技（北京）有限公司 | 一种确定移动终端应用场景的方法、装置和移动终端 |
| CN107368725B (zh) * | 2017-06-16 | 2020-04-10 | Oppo广东移动通信有限公司 | 虹膜识别方法、电子装置和计算机可读存储介质 |
| JP2019016925A (ja) * | 2017-07-07 | 2019-01-31 | ソニーセミコンダクタソリューションズ株式会社 | 通信装置、通信方法および通信システム |
| US20190063950A1 (en) * | 2017-08-28 | 2019-02-28 | Microsoft Technology Licensing, Llc | Techniques for reducing power consumption in magnetic tracking system |
| CN107689074A (zh) * | 2017-08-31 | 2018-02-13 | 重庆环漫科技有限公司 | 一种基于三维实时渲染引擎的动感设备运动计算方法 |
| ES2963483T3 (es) | 2017-09-05 | 2024-03-27 | Apple Inc | Dispositivo electrónico usable con electrodos para detectar parámetros biológicos |
| WO2019051082A1 (en) * | 2017-09-06 | 2019-03-14 | Georgia Tech Research Corporation | SYSTEMS, METHODS AND DEVICES FOR GESTURE RECOGNITION |
| EP3459447A3 (en) | 2017-09-26 | 2019-07-10 | Apple Inc. | Optical sensor subsystem adjacent a cover of an electronic device housing |
| RU2017144578A (ru) * | 2017-12-19 | 2019-06-20 | Александр Борисович Бобровников | Способ ввода-вывода информации в пользовательское устройство и конструктивное его выполнение |
| CN109976625B (zh) * | 2017-12-28 | 2022-10-18 | 中兴通讯股份有限公司 | 一种终端控制方法、终端及计算机可读存储介质 |
| US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
| US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
| US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
| US11150730B1 (en) | 2019-04-30 | 2021-10-19 | Facebook Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
| US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
| US20190244062A1 (en) * | 2018-02-04 | 2019-08-08 | KaiKuTek Inc. | Gesture recognition method, gesture recognition system, and performing device therefore |
| US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
| CN108920228B (zh) | 2018-05-28 | 2021-01-15 | 云谷（固安）科技有限公司 | 一种控制指令输入方法和输入装置 |
| US11099647B2 (en) * | 2018-08-05 | 2021-08-24 | Pison Technology, Inc. | User interface control of responsive devices |
| WO2020033110A1 (en) * | 2018-08-05 | 2020-02-13 | Pison Technology, Inc. | User interface control of responsive devices |
| EP3853698A4 (en) | 2018-09-20 | 2021-11-17 | Facebook Technologies, LLC | NEUROMUSCULAR TEXT ENTRY, WRITING AND DRAWING IN SYSTEMS WITH EXTENDED REALITY |
| US11422692B2 (en) * | 2018-09-28 | 2022-08-23 | Apple Inc. | System and method of controlling devices using motion gestures |
| EP3861780A4 (en) | 2018-10-02 | 2022-05-18 | Hewlett-Packard Development Company, L.P. | DEVICES FOR REDUCING THE USE OF COMPUTER RESOURCES |
| CN109933192A (zh) * | 2019-02-25 | 2019-06-25 | 努比亚技术有限公司 | 一种凌空手势的实现方法、终端及计算机可读存储介质 |
| CN109691992A (zh) * | 2019-03-04 | 2019-04-30 | 深圳星脉医疗仪器有限公司 | 一种血压检测信号的修正方法和血压检测装置 |
| CN110187767B (zh) * | 2019-05-31 | 2022-09-16 | 奥佳华智能健康科技集团股份有限公司 | 一种按摩椅手势控制系统及方法 |
| CN112868029A (zh) | 2019-07-25 | 2021-05-28 | 苹果公司 | 基于机器学习的手势识别 |
| US11026051B2 (en) * | 2019-07-29 | 2021-06-01 | Apple Inc. | Wireless communication modes based on mobile device orientation |
| CN110876613B (zh) * | 2019-09-27 | 2022-07-22 | 深圳先进技术研究院 | 一种人体运动状态识别方法、系统及电子设备 |
| IT201900019037A1 (it) * | 2019-10-16 | 2021-04-16 | St Microelectronics Srl | Metodo perfezionato per rilevare un gesto di inclinazione del polso e unita' elettronica e dispositivo elettronico indossabile che implementano il medesimo |
| CN110674801B (zh) * | 2019-12-04 | 2020-03-20 | 展讯通信（上海）有限公司 | 基于加速度计识别用户运动模式的方法、装置及电子设备 |
| KR20210078283A (ko) * | 2019-12-18 | 2021-06-28 | 삼성전자주식회사 | 센서 신호로부터 사용자의 제스처를 인식하는 전자 장치 및 이를 이용한 제스처 인식 방법 |
| GB202003961D0 (en) * | 2020-03-19 | 2020-05-06 | Nicoventures Trading Ltd | Electronic aerosol provision system |
| JP2023530872A (ja) * | 2020-06-29 | 2023-07-20 | ジェイティー インターナショナル エス．エイ． | 要求によるバッテリレベル表示 |
| CN112274872B (zh) * | 2020-10-20 | 2022-01-28 | 金书易 | 一种基于云端的智能核桃运动模式识别方法及系统 |
| ES2920649A1 (es) * | 2021-02-05 | 2022-08-08 | Cecotec Res And Development S L | Sistema de monitorizacion inteligente para aparato secador de cabello y metodo asociado |
| US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
| IT202100008897A1 (it) * | 2021-04-09 | 2022-10-09 | St Microelectronics Srl | Sistema di rilevamento di un gesto di tocco di un utilizzatore, dispositivo comprendente il sistema, e metodo |
| CN114138110A (zh) * | 2021-11-05 | 2022-03-04 | 成都映潮科技股份有限公司 | 一种基于安卓系统的手势录制方法、系统及存储介质 |
| GB202206940D0 (en) * | 2022-05-12 | 2022-06-29 | Nicoventures Trading Ltd | Electronic aerosol provision system |
| US20230398437A1 (en) * | 2022-06-09 | 2023-12-14 | Wizard Tag LLC | Method and apparatus for game play |
Family Cites Families (113)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4303978A (en) * | 1980-04-18 | 1981-12-01 | The Boeing Company | Integrated-strapdown-air-data sensor system |
| US4510802A (en) * | 1983-09-02 | 1985-04-16 | Sundstrand Data Control, Inc. | Angular rate sensor utilizing two vibrating accelerometers secured to a parallelogram linkage |
| GB2146776B (en) * | 1983-09-16 | 1986-07-30 | Ferranti Plc | Accelerometer systems |
| US4736629A (en) * | 1985-12-20 | 1988-04-12 | Silicon Designs, Inc. | Micro-miniature accelerometer |
| US4783742A (en) * | 1986-12-31 | 1988-11-08 | Sundstrand Data Control, Inc. | Apparatus and method for gravity correction in borehole survey systems |
| US4841773A (en) * | 1987-05-01 | 1989-06-27 | Litton Systems, Inc. | Miniature inertial measurement unit |
| EP0359595B1 (en) * | 1988-06-22 | 1994-06-01 | Fujitsu Limited | Small size apparatus for measuring and recording acceleration |
| US5083466A (en) * | 1988-07-14 | 1992-01-28 | University Of Hawaii | Multidimensional force sensor |
| US5440326A (en) * | 1990-03-21 | 1995-08-08 | Gyration, Inc. | Gyroscopic pointer |
| US5128671A (en) * | 1990-04-12 | 1992-07-07 | Ltv Aerospace And Defense Company | Control device having multiple degrees of freedom |
| US5205171A (en) * | 1991-01-11 | 1993-04-27 | Northrop Corporation | Miniature silicon accelerometer and method |
| JP2938989B2 (ja) * | 1991-01-29 | 1999-08-25 | キヤノン株式会社 | 角加速度センサ |
| US5396797A (en) * | 1991-02-08 | 1995-03-14 | Alliedsignal Inc. | Triaxial angular rate and acceleration sensor |
| US5635639A (en) * | 1991-09-11 | 1997-06-03 | The Charles Stark Draper Laboratory, Inc. | Micromechanical tuning fork angular rate sensor |
| US5377544A (en) * | 1991-12-19 | 1995-01-03 | Motorola, Inc. | Rotational vibration gyroscope |
| US5359893A (en) * | 1991-12-19 | 1994-11-01 | Motorola, Inc. | Multi-axes gyroscope |
| US5313835A (en) * | 1991-12-19 | 1994-05-24 | Motorola, Inc. | Integrated monolithic gyroscopes/accelerometers with logic circuits |
| US5251484A (en) * | 1992-04-03 | 1993-10-12 | Hewlett-Packard Company | Rotational accelerometer |
| US5367631A (en) * | 1992-04-14 | 1994-11-22 | Apple Computer, Inc. | Cursor control device with programmable preset cursor positions |
| US5290521A (en) * | 1992-09-04 | 1994-03-01 | Destefano Jr Albert M | Lab-top work station |
| FR2697628B1 (fr) * | 1992-10-29 | 1995-02-03 | Sextant Avionique | Capteur d'une grandeur physique orientée. |
| JPH06258341A (ja) * | 1993-03-03 | 1994-09-16 | Zexel Corp | 加速度センサ |
| DE69426232T2 (de) * | 1993-06-04 | 2001-05-17 | Sarnoff Corp | System und verfahren zur elektronischen bildstabilisierung |
| US5734373A (en) * | 1993-07-16 | 1998-03-31 | Immersion Human Interface Corporation | Method and apparatus for controlling force feedback interface systems utilizing a host computer |
| US5444639A (en) * | 1993-09-07 | 1995-08-22 | Rockwell International Corporation | Angular rate sensing system and method, with digital synthesizer and variable-frequency oscillator |
| US5574221A (en) * | 1993-10-29 | 1996-11-12 | Samsung Electro-Mechanics Co., Ltd. | Angular acceleration sensor |
| US5581484A (en) * | 1994-06-27 | 1996-12-03 | Prince; Kevin R. | Finger mounted computer input device |
| DE19547642A1 (de) * | 1994-12-20 | 1996-06-27 | Zexel Corp | Beschleunigungssensor und Verfahren zu dessen Herstellung |
| SE9500729L (sv) * | 1995-02-27 | 1996-08-28 | Gert Andersson | Anordning för mätning av vinkelhastighet i enkristallint material samt förfarande för framställning av sådan |
| US5757360A (en) * | 1995-05-03 | 1998-05-26 | Mitsubishi Electric Information Technology Center America, Inc. | Hand held computer control device |
| DE19519488B4 (de) * | 1995-05-27 | 2005-03-10 | Bosch Gmbh Robert | Drehratensensor mit zwei Beschleunigungssensoren |
| US5635638A (en) * | 1995-06-06 | 1997-06-03 | Analog Devices, Inc. | Coupling for multiple masses in a micromachined device |
| US5698784A (en) * | 1996-01-24 | 1997-12-16 | Gyration, Inc. | Vibratory rate gyroscope and methods of assembly and operation |
| US5703623A (en) * | 1996-01-24 | 1997-12-30 | Hall; Malcolm G. | Smart orientation sensing circuit for remote control |
| US5825350A (en) * | 1996-03-13 | 1998-10-20 | Gyration, Inc. | Electronic pointing apparatus and method |
| US6374255B1 (en) * | 1996-05-21 | 2002-04-16 | Immersion Corporation | Haptic authoring |
| US5955668A (en) * | 1997-01-28 | 1999-09-21 | Irvine Sensors Corporation | Multi-element micro gyro |
| US6252583B1 (en) * | 1997-11-14 | 2001-06-26 | Immersion Corporation | Memory and force output management for a force feedback system |
| JP3399336B2 (ja) * | 1997-12-22 | 2003-04-21 | 株式会社豊田中央研究所 | 検出器 |
| JPH11237402A (ja) * | 1998-02-19 | 1999-08-31 | Akebono Brake Ind Co Ltd | 半導体加速度センサ及びその自己診断法 |
| US6176837B1 (en) * | 1998-04-17 | 2001-01-23 | Massachusetts Institute Of Technology | Motion tracking system |
| US6279043B1 (en) * | 1998-05-01 | 2001-08-21 | Apple Computer, Inc. | Method and system for script access to API functionality |
| US6647352B1 (en) * | 1998-06-05 | 2003-11-11 | Crossbow Technology | Dynamic attitude measurement method and apparatus |
| US6573883B1 (en) * | 1998-06-24 | 2003-06-03 | Hewlett Packard Development Company, L.P. | Method and apparatus for controlling a computing device with gestures |
| JP2000148351A (ja) * | 1998-09-09 | 2000-05-26 | Matsushita Electric Ind Co Ltd | ユ―ザ動作の種類に応じて操作指示をする操作指示出力装置及びコンピュ―タ読み取り可能な記録媒体 |
| US6424356B2 (en) * | 1999-05-05 | 2002-07-23 | Immersion Corporation | Command of force sensations in a forceback system using force effect suites |
| DE19938206A1 (de) * | 1999-08-12 | 2001-02-15 | Bosch Gmbh Robert | Mikromechanischer Drehbeschleunigungssensor |
| JP3646599B2 (ja) * | 2000-01-11 | 2005-05-11 | ヤマハ株式会社 | 演奏インターフェイス |
| US7183480B2 (en) * | 2000-01-11 | 2007-02-27 | Yamaha Corporation | Apparatus and method for detecting performer's motion to interactively control performance of music or the like |
| JP3525862B2 (ja) * | 2000-05-22 | 2004-05-10 | トヨタ自動車株式会社 | センサ素子及びセンサ装置 |
| US6685844B2 (en) * | 2001-02-14 | 2004-02-03 | Delphi Technologies, Inc. | Deep reactive ion etching process and microelectromechanical devices formed thereby |
| US6834249B2 (en) * | 2001-03-29 | 2004-12-21 | Arraycomm, Inc. | Method and apparatus for controlling a computing system |
| US20020189351A1 (en) * | 2001-06-14 | 2002-12-19 | Reeds John W. | Angular rate sensor having a sense element constrained to motion about a single axis and flexibly attached to a rotary drive mass |
| JP2003004450A (ja) * | 2001-06-25 | 2003-01-08 | Matsushita Electric Ind Co Ltd | 角速度および加速度検出用複合センサ |
| JP2003248015A (ja) * | 2002-02-25 | 2003-09-05 | Fujitsu Media Device Kk | 加速度センサ |
| US6666092B2 (en) * | 2002-02-28 | 2003-12-23 | Delphi Technologies, Inc. | Angular accelerometer having balanced inertia mass |
| JP2004258837A (ja) * | 2003-02-25 | 2004-09-16 | Nippon Hoso Kyokai <Nhk> | カーソル操作装置、その方法およびそのプログラム |
| US7280435B2 (en) * | 2003-03-06 | 2007-10-09 | General Electric Company | Switching circuitry for reconfigurable arrays of sensor elements |
| JP2004294332A (ja) * | 2003-03-27 | 2004-10-21 | Denso Corp | 半導体力学量センサ |
| JP2004326242A (ja) * | 2003-04-22 | 2004-11-18 | Nec Tokin Corp | 姿勢角度および位置情報の入力装置およびその入力方法 |
| US7233316B2 (en) * | 2003-05-01 | 2007-06-19 | Thomson Licensing | Multimedia user interface |
| US7040922B2 (en) * | 2003-06-05 | 2006-05-09 | Analog Devices, Inc. | Multi-surface mounting member and electronic device |
| US7243561B2 (en) * | 2003-08-26 | 2007-07-17 | Matsushita Electric Works, Ltd. | Sensor device |
| US7154477B1 (en) * | 2003-09-03 | 2006-12-26 | Apple Computer, Inc. | Hybrid low power computer mouse |
| US6892575B2 (en) * | 2003-10-20 | 2005-05-17 | Invensense Inc. | X-Y axis dual-mass tuning fork gyroscope with vertically integrated electronics and wafer-scale hermetic packaging |
| US7028546B2 (en) * | 2003-10-21 | 2006-04-18 | Instrumented Sensor Technology, Inc. | Data recorder |
| US6981416B2 (en) * | 2003-11-21 | 2006-01-03 | Chung-Shan Institute Of Science And Technology | Multi-axis solid state accelerometer |
| US20060074558A1 (en) * | 2003-11-26 | 2006-04-06 | Williamson Walton R | Fault-tolerant system, apparatus and method |
| US7104129B2 (en) * | 2004-02-02 | 2006-09-12 | Invensense Inc. | Vertically integrated MEMS structure with electronics in a hermetically sealed cavity |
| CN100576159C (zh) * | 2004-02-23 | 2009-12-30 | 希尔克瑞斯特实验室公司 | 实时增量缩放方法 |
| US7365736B2 (en) * | 2004-03-23 | 2008-04-29 | Fujitsu Limited | Customizable gesture mappings for motion controlled handheld devices |
| EP1728142B1 (en) * | 2004-03-23 | 2010-08-04 | Fujitsu Ltd. | Distinguishing tilt and translation motion components in handheld devices |
| US20060061545A1 (en) * | 2004-04-02 | 2006-03-23 | Media Lab Europe Limited ( In Voluntary Liquidation). | Motion-activated control with haptic feedback |
| TWI376520B (en) * | 2004-04-30 | 2012-11-11 | Hillcrest Lab Inc | Free space pointing devices and methods |
| EP2343699A1 (en) * | 2004-04-30 | 2011-07-13 | Hillcrest Laboratories, Inc. | Methods and devices for identifying users based on tremor |
| US7158118B2 (en) * | 2004-04-30 | 2007-01-02 | Hillcrest Laboratories, Inc. | 3D pointing devices with orientation compensation and improved usability |
| TWI255341B (en) * | 2004-06-10 | 2006-05-21 | Chung Shan Inst Of Science | Miniature accelerator |
| FI119746B (fi) * | 2004-06-24 | 2009-02-27 | Nokia Corp | Elektronisen laitteen ohjaaminen |
| JP4220943B2 (ja) * | 2004-07-15 | 2009-02-04 | ソフトバンクモバイル株式会社 | 電子機器 |
| JP2006105598A (ja) * | 2004-09-30 | 2006-04-20 | Honda Motor Co Ltd | 加速度・角速度センサユニット |
| EP1804472A4 (en) * | 2004-10-19 | 2009-10-21 | Vodafone Plc | FUNCTION CONTROL METHOD AND TERMINAL DEVICE |
| US20060097983A1 (en) | 2004-10-25 | 2006-05-11 | Nokia Corporation | Tapping input on an electronic device |
| EP1834477A4 (en) * | 2005-01-05 | 2016-12-28 | Hillcrest Lab Inc | SCALING AND LAYOUT METHODS AND SYSTEMS FOR HANDLING ONE OR MORE OBJECTS |
| US7159442B1 (en) * | 2005-01-06 | 2007-01-09 | The United States Of America As Represented By The Secretary Of The Navy | MEMS multi-directional shock sensor |
| KR102058832B1 (ko) * | 2005-03-04 | 2019-12-23 | 애플 인크. | 다기능 휴대용 장치 |
| US7442570B2 (en) * | 2005-03-18 | 2008-10-28 | Invensence Inc. | Method of fabrication of a AL/GE bonding in a wafer packaging environment and a product produced therefrom |
| JP4364157B2 (ja) * | 2005-04-22 | 2009-11-11 | トレックス・セミコンダクター株式会社 | 落下検出装置 |
| KR100651549B1 (ko) * | 2005-05-13 | 2007-02-28 | 삼성전자주식회사 | 이동체의 속력 측정 장치 및 방법 |
| JP2006323599A (ja) * | 2005-05-18 | 2006-11-30 | Toshiba Corp | 空間操作入力装置及び家電機器システム |
| US7222533B2 (en) * | 2005-06-06 | 2007-05-29 | Bei Technologies, Inc. | Torsional rate sensor with momentum balance and mode decoupling |
| US7617728B2 (en) * | 2006-05-17 | 2009-11-17 | Donato Cardarelli | Tuning fork gyroscope |
| US7562573B2 (en) * | 2005-07-21 | 2009-07-21 | Evigia Systems, Inc. | Integrated sensor and circuitry and process therefor |
| JP4926424B2 (ja) * | 2005-08-01 | 2012-05-09 | 旭化成エレクトロニクス株式会社 | 携帯機器及びその描画処理制御方法 |
| US7352567B2 (en) * | 2005-08-09 | 2008-04-01 | Apple Inc. | Methods and apparatuses for docking a portable electronic device that has a planar like configuration and that operates in multiple orientations |
| US7275008B2 (en) * | 2005-09-02 | 2007-09-25 | Nokia Corporation | Calibration of 3D field sensors |
| US7586032B2 (en) * | 2005-10-07 | 2009-09-08 | Outland Research, Llc | Shake responsive portable media player |
| JP4556831B2 (ja) * | 2005-10-13 | 2010-10-06 | トヨタ自動車株式会社 | 走行装置及びその制御方法 |
| US7237437B1 (en) * | 2005-10-27 | 2007-07-03 | Honeywell International Inc. | MEMS sensor systems and methods |
| US7258011B2 (en) * | 2005-11-21 | 2007-08-21 | Invensense Inc. | Multiple axis accelerometer |
| US7331212B2 (en) * | 2006-01-09 | 2008-02-19 | Delphi Technologies, Inc. | Sensor module |
| CN102269592B (zh) * | 2006-03-15 | 2015-11-25 | 高通股份有限公司 | 基于传感器的定向系统 |
| JP2007286812A (ja) * | 2006-04-14 | 2007-11-01 | Sony Corp | 携帯型電子機器、ユーザインターフェイス制御方法、プログラム |
| US7437931B2 (en) * | 2006-07-24 | 2008-10-21 | Honeywell International Inc. | Medical application for no-motion sensor |
| TWI317898B (en) * | 2006-12-12 | 2009-12-01 | Ind Tech Res Inst | Inertial sensing input apparatus and method |
| US8047075B2 (en) * | 2007-06-21 | 2011-11-01 | Invensense, Inc. | Vertically integrated 3-axis MEMS accelerometer with electronics |
| US7779689B2 (en) * | 2007-02-21 | 2010-08-24 | Freescale Semiconductor, Inc. | Multiple axis transducer with multiple sensing range capability |
| US7552636B2 (en) * | 2007-04-17 | 2009-06-30 | Ut-Battelle, Llc | Electron/hole transport-based NEMS gyro and devices using the same |
| JP4582116B2 (ja) * | 2007-06-06 | 2010-11-17 | ソニー株式会社 | 入力装置、制御装置、制御システム、制御方法及びそのプログラム |
| CN101563582B (zh) * | 2007-09-19 | 2011-08-24 | 株式会社村田制作所 | 复合传感器及加速度传感器 |
| US7677099B2 (en) * | 2007-11-05 | 2010-03-16 | Invensense Inc. | Integrated microelectromechanical systems (MEMS) vibrating mass Z-axis rate sensor |
| US7784344B2 (en) * | 2007-11-29 | 2010-08-31 | Honeywell International Inc. | Integrated MEMS 3D multi-sensor |
| US8587515B2 (en) * | 2008-08-05 | 2013-11-19 | Apple Inc. | Systems and methods for processing motion sensor generated data |
| US8717283B1 (en) * | 2008-11-25 | 2014-05-06 | Sprint Communications Company L.P. | Utilizing motion of a device to manipulate a display screen feature |
-
2008
- 2008-10-15 US US12/252,322 patent/US20090265671A1/en not_active Abandoned
-
2009
- 2009-10-15 EP EP09821282.2A patent/EP2350782B1/en active Active
- 2009-10-15 WO PCT/US2009/060908 patent/WO2010045498A1/en active Application Filing
- 2009-10-15 JP JP2011532265A patent/JP5675627B2/ja not_active Expired - Fee Related
- 2009-10-15 CN CN200980149970.5A patent/CN102246125B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20090265671A1 (en) | 2009-10-22 |
| WO2010045498A1 (en) | 2010-04-22 |
| EP2350782A4 (en) | 2014-04-30 |
| EP2350782B1 (en) | 2019-04-10 |
| JP2012506100A (ja) | 2012-03-08 |
| CN102246125B (zh) | 2015-02-18 |
| CN102246125A (zh) | 2011-11-16 |
| EP2350782A1 (en) | 2011-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5675627B2 (ja) | 身振り認識を伴うモバイルデバイス | |
| US10545584B2 (en) | Virtual/augmented reality input device | |
| EP3488321B1 (en) | Detecting user range of motion for virtual reality user interfaces | |
| EP2353065B1 (en) | Controlling and accessing content using motion processing on mobile devices | |
| USRE47070E1 (en) | Input apparatus, control apparatus, control system, and control method | |
| EP2901246B1 (en) | Remote control with 3d pointing and gesture recognition capabilities | |
| JP5201146B2 (ja) | 入力装置、制御装置、制御システム、制御方法及びハンドヘルド装置 | |
| US20090262074A1 (en) | Controlling and accessing content using motion processing on mobile devices | |
| JP6062621B2 (ja) | 物理モデルに基づくジェスチャ認識 | |
| JPWO2009072583A1 (ja) | 入力装置、制御装置、制御システム、制御方法及びハンドヘルド装置 | |
| JP2012508416A (ja) | 動き感知に基づくユーザ命令入力方法およびデバイス | |
| JP2008305044A (ja) | 入力装置、制御装置、制御システム、制御方法及びそのプログラム | |
| US9383824B2 (en) | Gesture recognition method and wearable apparatus | |
| US20100313133A1 (en) | Audio and position control of user interface | |
| EP2538308A2 (en) | Motion-based control of a controllled device | |
| JP2011065512A (ja) | 情報処理システム、情報処理プログラム、操作認識システム、および操作認識プログラム、 | |
| CN106873762A (zh) | 一种基于惯性传感器的人机交互输入技术 | |
| CN115857700A (zh) | 虚拟交互系统、方法、装置、设备、存储介质及程序产品 | |
| Heukers | A Smartphone-based Controller for Virtual Reality Applications | |
| Kasun et al. | Accelerometer-based swinging gesture detection for an electronic handbell |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120822 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130911 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140205 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140225 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140304 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140819 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141224 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5675627 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |