JP5670384B2 - 傾き補償および向上した使いやすさを備えた自由空間ポインティングデバイス - Google Patents

傾き補償および向上した使いやすさを備えた自由空間ポインティングデバイス Download PDF

Info

Publication number
JP5670384B2
JP5670384B2 JP2012126909A JP2012126909A JP5670384B2 JP 5670384 B2 JP5670384 B2 JP 5670384B2 JP 2012126909 A JP2012126909 A JP 2012126909A JP 2012126909 A JP2012126909 A JP 2012126909A JP 5670384 B2 JP5670384 B2 JP 5670384B2
Authority
JP
Japan
Prior art keywords
rotation
output
user
coordinate system
acceleration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012126909A
Other languages
English (en)
Other versions
JP2012190479A (ja
Inventor
マシュー・ジー・リバティー
Original Assignee
ヒルクレスト・ラボラトリーズ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=35320764&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5670384(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by ヒルクレスト・ラボラトリーズ・インコーポレイテッド filed Critical ヒルクレスト・ラボラトリーズ・インコーポレイテッド
Publication of JP2012190479A publication Critical patent/JP2012190479A/ja
Application granted granted Critical
Publication of JP5670384B2 publication Critical patent/JP5670384B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Switches With Compound Operations (AREA)

Description

関連出願
本出願は、参照により開示が本明細書に組み込まれている、「Freespace Pointing Device」という名称の2004年4月30日に出願した米国特許仮出願第60/566,444号に関連し、第60/566,444号の優先権を主張する。また、本出願は、参照により開示が本明細書に組み込まれている、「Free Space Pointing Devices and Methods」という名称の2004年9月23日に出願した米国特許仮出願第60/612,571号にも関連し、第60/612,571号の優先権も主張する。また、本出願は、参照により開示が本明細書に組み込まれている、「Freespace Pointing Devices and Methods for Using Same」という名称の2005年1月5日に出願した米国特許仮出願第60/641,410号にも関連し、第60/641,410号の優先権も主張する。また、本出願は、すべて同時に出願し、すべて参照により本明細書に組み込まれている、「Methods and Devices for Removing Unintentional Movement in Free Space Pointing Devices」、「Methods and Devices for Identifying Users Based on Tremor」、「Free Space Pointing Devices and Methods」という名称の米国特許出願第11/119,987号、第11/119,688号、および第11/119,663号にも関連する。
本発明は、おおむね、ハンドヘルドポインティングデバイスに関し、より具体的には、３Ｄポインティングデバイス、ならびに３Ｄポインティングデバイスに関連する傾き補償および向上した使いやすさのための技術に関する。
情報通信に関連する技術は、ここ数十年の間に急速に進化している。テレビ、セルラー電話機、インターネット、およびオプションの通信技術(いくつかだけを挙げると)が一緒になってもたらす利用可能な情報、およびエンターテイメントオプションの洪水に、消費者は見舞われている。テレビを例にとると、この30年間に、ケーブルテレビサービス、衛星テレビサービス、従量料金制の映画およびビデオオンデマンドが導入されている。1960年代のテレビ視聴者は、おそらく4つ、または5つの放送TVチャネルを通常、受信することができたのに対して、今日のTV視聴者は、数百チャネル、数千チャネル、また、場合により、数百万チャネルのショーおよび情報から選択する機会を有する。ホテルなどで現在、主に使用されているビデオオンデマンド技術は、数千の映画タイトルからのホームエンターテイメント選択の可能性を提供する。
エンドユーザにそれほど多くの情報およびコンテンツを提供する技術能力は、機会とともに課題も、システム設計者およびサービスプロバイダにもたらす。1つの課題は、エンドユーザが、より少ない選択肢ではなく、より多くの選択肢を有することを通常、選好する一方で、この選好は、選択プロセスが迅速であるとともに簡単であることの欲求と天秤に掛けられる。残念ながら、エンドユーザがメディアアイテムにアクセスするシステムおよびインタフェースの進展は、迅速でも簡単でもない選択プロセスをもたらしている。テレビ番組の例を再び考慮されたい。テレビの揺籃期には、いずれの番組を観るかを決めることは、選択肢の数が少なかったことに主に起因して、比較的簡単なプロセスであった。人は、例えば、(1)近くのテレビチャネル、(2)それらのチャネルで送信される番組、および(3)日付と時刻の間の対応を示す一連の列と行としてフォーマットされた、印刷された案内を調べた。テレビが、チューナノブを調整することによって所望のチャネルにチューニングが合わせられ、視聴者は、選択された番組を観た。後に、視聴者が、テレビを離れたところからチューニングすることを可能にするリモコンデバイスが導入された。このユーザ‐テレビインタフェースの追加は、視聴者が、いくつかのチャネルで放送されている短いセグメントを敏速に観て、任意の所与の時点でどのような番組が選択可能であるかを素早く知ることができる、「チャネルサーフィン」として知られる現象を生じさせた。
チャネルの数、および視聴可能なコンテンツの量が劇的に増加したことにもかかわらず、テレビに関する一般に利用可能なユーザインタフェース、コントロールデバイスオプション、およびフレームワークは、ここ30年間であまり変化していない。印刷された案内が、依然として、番組情報を伝えるための最も普及した機構である。上向き矢印と下向き矢印を有する複数ボタンリモコンが、依然として、最も普及しているチャネル/コンテンツ選択機構である。利用可能なメディアコンテンツの増加に対する、TVユーザインタフェースを設計し、実施する人々の反応は、既存の選択手続きおよびインタフェースオブジェクトの単純明快な拡張であった。このため、印刷された案内における行の数は、より多くのチャネルに対応するように増やされた。リモコンデバイス上のボタンの数は、例えば、図1に示されるとおり、さらなる機能およびコンテンツの取り扱いをサポートするように増やされた。しかし、このアプローチは、視聴者が、利用可能な情報を点検するのに要求される時間と、選択を実施するのに要求されるアクションの複雑さをともに大幅に増大させた。消費者は、消費者が既に、遅すぎ、複雑すぎると見なしているインタフェースの複雑さを増大させる新たなサービスに抵抗を示すので、既存のインタフェースの面倒な性質は、一部のサービス、例えば、ビデオオンデマンドの商業的実施を阻害してきたといえる。
帯域幅とコンテンツの増加に加えて、ユーザインタフェースがネックとなる問題は、技術の集約によって悪化させられている。消費者は、いくつかの分離されたコンポーネントよりはむしろ、統合されたシステムを購入するオプションを有することに肯定的に反応している。この傾向の例が、3つの以前は独立していたコンポーネントが、今日では、しばしば、統合されたユニットとして販売される、一体型のテレビ/VCR/DVDである。この傾向は、続く可能性が高く、家庭で現在、見られる、すべてではないにしても、ほとんどの通信デバイスが、統合されたユニットとして、例えば、テレビ/VCR/DVD/インターネットアクセス/ラジオ/ステレオユニットとして一緒にひとまとめにされるという最終結果がもたらされる可能性がある。別々のコンポーネントを購入しつづける人々でさえ、それらの別々のコンポーネントのシームレスな制御、および相互動作を所望する可能性が高い。この向上した集約には、ユーザインタフェースがより複雑になる可能性が伴う。例えば、いわゆる「汎用」リモートユニットが、例えば、TVリモートユニットとVCRリモートユニットの機能を組み合わせるように導入された際、それらの汎用リモートユニット上のボタンの数は、TVリモートユニット上、またはVCRリモートユニット上で個々に存在するボタンの数より、通常、多かった。この増えたボタン数および機能により、TVまたはVCRの最も単純な諸態様以外は何であれ、リモート上の厳密に正しいボタンを探し求めることなしに、制御することが非常に困難になる。多くの場合、それらの汎用リモートは、一部のTVに固有である多くのレベルの制御または機能にアクセスする十分なボタンを提供しない。それらのケースでは、元のデバイスリモートユニットが、依然として、必要とされ、集約の複雑さから生じるユーザインタフェース問題に起因して、複数のリモートを扱う元の煩わしさは、そのままである。一部のリモートユニットは、エキスパートコマンドでプログラミングされることが可能な「ソフト」ボタンを追加することにより、この問題に対処している。それらのソフトボタンは、ときとして、それらのボタンのアクションを示す、付随するLCDディスプレイを有する。それらのリモートユニットも、TVから目を離してリモコンに目を向けることなしに使用するのが困難であるという欠点を有する。それらのリモートユニットのさらに別の欠点は、ボタンの数を減らそうとして複数のモードを使用することである。それらの「モード付き」汎用リモートユニットでは、TV、DVDプレーヤ、ケーブルセットトップボックス、VCR、その他のいずれとリモートが通信するかを選択する特別なボタンが存在する。このことは、誤ったデバイスにコマンドを送信すること、リモートが正しいモードになっていることを確かめるためにユーザがリモートを見ることを余儀なくすることを含め、多くの操作性問題を生じさせ、複数のデバイスの統合を簡単にすることを全くもたらさない。それらの汎用リモートデバイスの最も進んだものは、複数のデバイスに対するコマンドシーケンスを、ユーザがリモートにプログラミングするのを可能にすることにより、ある程度の統合をもたらす。これは、あまりにも難しい作業であるため、多くのユーザは、ユーザの汎用リモートユニットをプログラミングするのにプロのインストール技術者を雇う。
また、エンドユーザとメディアシステムの間のスクリーンインタフェースを近代化するいくつかの試みも行われてきた。しかし、それらの試みは、いくつか欠点があるなかで、とりわけ、メディアアイテムの大きい集まりと、メディアアイテムの小さい集まりの間で用意にスケーリングを行うことができないという欠点を通常、抱えている。例えば、アイテムのリストに依拠するインタフェースは、メディアアイテムの小さい集まりの場合には、うまく機能するが、メディアアイテムの大きい集まりの場合は、ブラウズするのが面倒である。階層型ナビゲーション(例えば、ツリー構造)に依拠するインタフェースは、メディアアイテムの大きい集まりの場合、リストインタフェースよりも迅速に目を通すことできる可能性があるが、メディアアイテムの小さい集まりに直ちに適用可能ではない。加えて、ユーザは、ツリー構造において3つ以上のレイヤをユーザが通らなければならない選択プロセスには、関心を失う傾向がある。以上のケースのすべてに関して、現在のリモートユニットは、リストまたは階層を移動するのにアップボタンおよびダウンボタンをユーザが繰り返し押し下げることを余儀なくすることにより、以上の選択プロセッサをさらに面倒にしている。ページアップおよびページダウンのような選択スキップコントロールが利用可能な場合、ユーザは、通常、リモートを見て、それらの特別なボタンを見つけるか、またはそれらのボタンが存在していることすら知るのに、訓練されなければならない。したがって、ユーザとメディアシステムの間のコントロールインタフェースおよびスクリーンインタフェースを単純化するとともに、選択プロセスをスピードアップする一方で、ユーザへの多数のメディアアイテム、および新たなサービスの供給を円滑にすることにより、サービスプロバイダが、エンドユーザ機器に利用可能な帯域幅の増加を活用することを同時に可能にする、編成フレームワーク、編成技術、および編成システムが、参照により開示が本明細書に組み込まれている、「A Control Framework with a Zoomable Graphical User Interface for Organizing, Selecting and Launching Media Items」という名称の2004年1月30日に出願した、米国特許出願第10/768,432号で提案されている。
本明細書の特別な関心対象は、そのようなフレームワーク、ならびにその他のアプリケーションおよびシステムと対話するのに使用可能なリモートデバイスである。前段で組み込まれた出願で述べられるとおり、例えば、トラックボール、「マウス」タイプのポインティングデバイス、ライトペン、その他を含め、様々な異なるタイプのリモートデバイスが、そのようなフレームワークとともに使用されることが可能である。しかし、そのようなフレームワーク(および他のアプリケーション)とともに使用されることが可能な別のカテゴリのリモートデバイスは、３Ｄポインティングデバイスである。「３Ｄポインティング」という句は、本明細書では、入力デバイスが、例えば、ディスプレイスクリーンの前方の空中で、3(またはそれより多くの)次元で動く能力、およびユーザインタフェースが、それらの動きを、直接ユーザインタフェースコマンドに、例えば、ディスプレイスクリーン上のカーソルの動きに変換する、対応する能力を指す。３Ｄポインティングデバイス間のデータの転送は、無線で、または３Ｄポインティングデバイスを別のデバイスに接続する配線を介して実行されることが可能である。このため、「３Ｄポインティング」は例えば、表面、例えば、デスクトップ表面またはマウスパッドを代理表面として使用して、その表面から、マウスの相対的動きが、コンピュータディスプレイスクリーン上のカーソルの動きに変換される、従来のコンピュータマウスポインティング技術とは異なる。３Ｄポインティングデバイスの実施例は、米国特許第5,440,326号で見ることができる。
第'326号特許は、とりわけ、コンピュータのディスプレイ上のカーソルの位置を制御するためのポインティングデバイスとして使用されるように適合された垂直ジャイロスコープを説明している。ジャイロスコープのコアにおけるモータが、ハンドヘルドコントローラデバイスからの2対の直交するジンバルによって吊り下げられ、振子デバイスによってスピン軸を公称で垂直に配向されている。電気光学シャフト角エンコーダが、ユーザによってハンドヘルドコントローラデバイスが操作されると、デバイスの向きを感知し、結果の電気出力が、コンピュータディスプレイのスクリーン上のカーソルの動きを制御するのにコンピュータが使用できるフォーマットに変換される。
しかし、３Ｄポインタに関連する使用の自由度は、さらなる課題を生じさせる。例えば、３Ｄポインティングデバイスが置かれる代理表面は、一般に、全く存在しないので、ハンドヘルド制御デバイスの向きは、ユーザごとに、または使用のたびにさえ、相当に異なる可能性がある。３Ｄポインティングデバイスが、例えば、スクリーン上に表示されたカーソルの動きを制御するのに使用される場合、ハンドヘルドデバイスの検出された動きと、スクリーン上のカーソルの動きの間で、いくらかのマッピングが実行される。
このマッピングを実行するための1つの技術は、３Ｄポインティングデバイスの検出された動きを、カーソルの意図される動きにマップするための座標系として、デバイスのボディ座標を使用することである。「ボディ座標」という用語は、以下により詳細に説明するとおり動かされる物体の筐体に関連する軸のセットを指す。しかし、ボディ座標系を使用して、マッピングを実行することは、いくつかの欠点を有する。例えば、そうすることは、ユーザが所望するカーソルの動きを得るために、ユーザが、デバイスをある向きで把持することを要求する。例えば、ユーザが、デバイスを側部で把持し、デバイスを左から右に動かした場合、カーソルは、スクリーン上で、水平にではなく、垂直に動く。
米国特許仮出願第60/566,444号 米国特許仮出願第60/612,571号 米国特許仮出願第60/641,410号 米国特許出願第11/119,987号 米国特許出願第11/119,688号 米国特許出願第11/119,663号 米国特許出願第10/768,432号 米国特許第5,440,326号
J.Jakubowski、K.Kwiatos、A.Chwaleba、S.Osowski、「Higher Order Statistics and Neural Network For Tremor Recognition」、IEEE Transactions on Biomedical Engineering、vol.49、no.2、152〜159頁、IEEE、2002年2月 P.Navarrete、J.Ruiz-del Solar、「Eigenspace-Based Recognition of Faces: Comparisons and a New Approach」、Image Analysis and Processing、2001年 C.Liu、H.Wechsler、「Enhanced Fisher Linear Discriminant Models for Face Recognition」という題名の論文、Proc.14th International Conference on Pattern Recognition、Qeensland Australia、August、17〜20頁、1998年
したがって、本発明は、従来の３Ｄポインティングデバイスに関連する以上、およびその他の問題に対処する形で、センサから受け取られたデータを処理するための方法およびデバイスを説明する。
本発明によるシステムおよび方法は、感知された動きデータを、第1の座標系(例えば、３Ｄポインティングデバイスの筐体)から第2の座標系(例えば、ユーザの座標系)に変換することにより、使いやすさを向上させる３Ｄポインティングデバイスを説明する。本発明の1つの例示的な実施形態は、３Ｄポインティングデバイスがユーザによって把持されている傾きの向きに関連する効果を除去する。
本発明の例示的な実施形態によれば、ハンドヘルドポインティングデバイスは、第1の軸を中心とするポインティングデバイスの回転を測定して、その回転に関連する第1の回転出力を生成するための第1の回転センサと、第2の軸を中心とするポインティングデバイスの回転を測定して、その回転に関連する第2の回転出力を生成するための第2の回転センサと、ポインティングデバイスの加速度を測定して、その加速度に関連する加速度出力を出力するための加速度計と、第1の回転出力および第2の回転出力、および加速度出力を受け取るため、および(a)ユーザが、ハンドヘルドポインティングデバイスを把持している形に関連する傾きの効果を除去するために、第1の回転出力および第2の回転出力、および加速度出力を、ハンドヘルドポインティングデバイスに関連するボディ座標系からユーザの座標系に変換し、(b)スクリーンカーソルの動きに関連するx座標とy座標に関連する、変換された第1の回転出力および第2の回転出力、および変換された加速度出力に基づくデータを算出するための処理ユニットとを含み、変換するステップは、スクリーンカーソルの動きを、ユーザがハンドヘルドデバイスを把持している向きとは実質的に独立にレンダリングする。
本発明の別の例示的な実施形態によれば、３Ｄポインティングデバイスを使用するための方法が、３Ｄポインティングデバイスの動きを検出するステップと、検出された動きを、３Ｄポインティングデバイスに関連するボディ座標系から慣性座標系に変換することにより、検出された動きを補償するステップとを含む。
本発明のさらに別の例示的な実施形態によれば、３Ｄハンドヘルドデバイスが、３Ｄポインティングデバイスの動きを検出するための少なくとも1つのセンサと、検出された動きを、３Ｄポインティングデバイスに関連するボディ座標系から慣性座標系に変換することにより、検出された動きを補償するための処理デバイスとを含む。
添付の図面は、本発明の例示的な諸実施形態を示す。
エンターテイメントシステムのための従来のリモコンユニットを示す図である。 本発明の例示的な諸実施形態が実施されることが可能な、例示的なメディアシステムを示す図である。 本発明の例示的な実施形態による３Ｄポインティングデバイスを示す図である。 2つの回転センサと、1つの加速度計とを含む図4の３Ｄポインティングデバイスを示す破断図である。 本発明の例示的な実施形態による３Ｄポインティングデバイスに関連するデータの処理を示すブロック図である。 傾きの効果を示す図である。 傾きの効果を示す図である。 傾きの効果を示す図である。 傾きの効果を示す図である。 本発明の例示的な実施形態による３Ｄポインティングデバイスのハードウェアアーキテクチャを示す図である。 本発明の例示的な実施形態による静止検出機構を示す状態図である。 本発明の例示的な実施形態による、感知された動きデータの、第1の座標系から第2の座標系への変換を示すブロック図である。 本発明の例示的な実施形態による、感知された動きデータの、第1の座標系から第2の座標系への変換を示すグラフである。
本発明の以下の詳細な説明は、添付の図面を参照する。異なる図面における同一の符号は、同一または同様の要素を識別する。また、以下の詳細な説明は、本発明を限定しない。代わりに、本発明の範囲は、添付の特許請求の範囲によって定義される。
以下の説明のいくらかの文脈を提供するため、本発明が実施されることが可能な例示的な集約されたメディアシステム200をまず、図2に関連して説明する。しかし、本発明は、そのタイプのメディアシステムにおける実施に限定されず、より多い、またはより少ないコンポーネントがシステムに含まれることも可能であることが、当業者には理解されよう。システム200では、入出力(I/O)バス210が、メディアシステム200内のシステムコンポーネントを一緒に接続している。I/Oバス210は、メディアシステムコンポーネント間で信号を転送するための、いくつかの異なる機構および技術のいずれかを表す。例えば、I/Oバス210には、オーディオ信号を転送する適切な数の独立したオーディオ「パッチ」ケーブル、ビデオ信号を転送する同軸ケーブル、制御信号を転送する2線シリアル回線または無線周波数トランシーバ、その他のタイプの信号を転送する光ファイバまたは任意の他のルーティング機構が含まれることが可能である。
この例示的な実施形態では、メディアシステム200は、I/Oバス210に結合されたテレビ/モニタ212、ビデオカセットレコーダ(VCR)214、デジタルビデオディスク(DVD)レコーダ/再生デバイス216、オーディオ/ビデオチューナ218、およびコンパクトディスクプレーヤ220を含む。VCR214、DVD216、およびコンパクトディスクプレーヤ220は、単一のディスク、または単一のカセットデバイスであることが可能であり、あるいは代替的に、複数のディスク、または複数のカセットデバイスであってもよい。VCR214、DVD216、およびコンパクトディスクプレーヤ220は、独立したユニットであっても、一緒に一体化されてもよい。さらに、メディアシステム200は、マイク/スピーカシステム222、ビデオカメラ224、および無線I/O制御デバイス226を含む。本発明の例示的な実施形態によれば、無線I/O制御デバイス226は、以下に説明する例示的な諸実施形態の1つによる３Ｄデバイスである。無線I/O制御デバイス226は、例えば、IRまたはRFの送信機またはトランシーバを使用してエンターテイメントシステム200と通信することができる。代替として、I/O制御デバイスは、配線を介してエンターテイメントシステム200に接続されることも可能である。
また、エンターテイメントシステム200は、システムコントローラ228も含む。本発明の1つの例示的な実施形態によれば、システムコントローラ228は、複数のエンターテイメントシステムデータソースから利用可能なエンターテイメントシステムデータを格納して、表示し、システムコンポーネントのそれぞれに関連する多種多様な機能を制御するように動作する。図2に示されるとおり、システムコントローラ228は、I/Oバス210を介して、必要に応じて、システムコンポーネントのそれぞれに直接に、または間接的に結合される。1つの例示的な実施形態では、I/Oバス210に加えて、またはI/Oバス210の代わりに、システムコントローラ228は、IR信号またはRF信号を介してシステムコンポーネントと通信することができる無線通信送信機(またはトランシーバ)を備えて構成される。制御媒体にかかわらず、システムコントローラ228は、以下に説明するグラフィカルユーザインタフェースを介してメディアシステム200のメディアコンポーネントを制御するように構成される。
図2にさらに示されるとおり、メディアシステム200は、様々なメディアソースおよびサービスプロバイダからメディアアイテムを受信するように構成されることが可能である。この例示的な実施形態では、メディアシステム200は、以下のソースのいずれか、またはすべてからメディア入力を受信し、オプションとして、以下のソースのいずれか、またはすべてに情報を送信する。すなわち、ケーブルブロードキャスト230、衛星ブロードキャスト232(例えば、サテライトディッシュを介する)、ブロードキャストテレビネットワーク234の超短波(VHF)または極超短波(UHF)の無線周波数通信(例えば、アンテナを介する)、電話網236、およびケーブルモデム238(またはインターネットコンテンツの別のソース)である。図2に関連して示され、説明されるメディアコンポーネントおよびメディアソースは、単に例示的であり、メディアシステム200は、この両方をより少なく、またはより多く含むことも可能であることが当業者には理解されよう。例えば、システムに対する他のタイプの入力には、AM/FMラジオおよび衛星ラジオが含まれる。
以上の例示的なエンターテイメントシステム、およびこのシステムに関連するフレームワークに関するさらなる詳細は、前段で参照により組み込まれている米国特許出願、「A Control Framework with a Zoomable Graphical User Interface for Organizing, Selecting and Launching Media Items」で見ることができる。代替として、本発明によるリモートデバイスは、他のシステム、例えば、例えば、ディスプレイ、プロセッサ、およびメモリシステムを含むコンピュータシステムと一緒に、または他の様々なシステムおよびアプリケーションと一緒に使用されることが可能である。
「背景技術」のセクションで述べたとおり、３Ｄポインタとして動作するリモートデバイスが、本明細書の特別な関心対象である。そのようなデバイスは、動き、例えば、ジェスチャを、ユーザインタフェースに対するコマンドに変換することを可能にする。例示的な３Ｄポインティングデバイス400が、図3に示されている。図3では、３Ｄポインティングのユーザの動きが、例えば、３Ｄポインティングデバイス400のx軸姿勢(ロール)モーション、y軸エレベーション(ピッチ)モーション、および/またはz軸方位(ヨー)モーションの組み合わせに関して定義されることが可能である。加えて、本発明の一部の例示的な実施形態は、x軸、y軸、およびz軸に沿った３Ｄポインティングデバイス400の直線の動きを測定して、カーソルの動き、または他のユーザインタフェースコマンドを生成することもできる。図3の例示的な実施形態では、３Ｄポインティングデバイス400は、2つのボタン402および404、ならびにスクロールホイール406を含むが、他の例示的な諸実施形態は、他の物理的構成を含む。本発明の例示的な諸実施形態によれば、３Ｄポインティングデバイス400は、ディスプレイ408の前方でユーザによって把持され、３Ｄポインティングデバイス400の動きが、３Ｄポインティングデバイスによって、例えば、ディスプレイ408上のカーソル410を動かすように、ディスプレイ408上で表示される情報と対話するのに使用可能な出力に変換されるものと予期される。例えば、y軸を中心とする３Ｄポインティングデバイス400の回転が、３Ｄポインティングデバイス400によって感知されて、ディスプレイ408のy2軸に沿ってカーソル410を動かすようにシステムが使用できる出力に変換されることが可能である。同様に、z軸を中心とする３Ｄポインティングデバイス408の回転が、３Ｄポインティングデバイス400によって感知されて、ディスプレイ408のx2軸に沿ってカーソル410を動かすようにシステムが使用できる出力に変換されることが可能である。３Ｄポインティングデバイス400の出力は、カーソルの動き以外(またはそれに加えて)のいくつかの形で、ディスプレイ408と対話するのに使用されることが可能であり、例えば、出力は、カーソルフェージング、音量、またはメディアトランスポート(再生、一時停止、早送り、および巻き戻し)を制御することができることが理解されよう。入力コマンドは、カーソルの動きに加えて、操作、例えば、ディスプレイの特定の領域に対するズームインまたはズームアウトを含むことが可能である。カーソルは、可視であっても、可視でなくてもよい。同様に、３Ｄポインティングデバイス400のx軸を中心として感知される３Ｄポインティングデバイス400の回転が、y軸回転および/またはz軸回転に加えて、またはそれらの回転の代替として使用されて、ユーザインタフェースに入力を与えることも可能である。
本発明の1つの例示的な実施形態によれば、2つの回転センサ502および504、ならびに1つの加速度計506が、図4に示されるとおり、３Ｄポインティングデバイス400内のセンサ群として使用されることが可能である。回転センサ502および504は、例えば、アナログデバイシーズによって製造されるADXRS150センサまたはADXRS401センサを使用して実施されることが可能である。他のタイプの回転センサも、回転センサ502および504として使用されることが可能であり、ADXRS150およびADXRS401は、単に例示的な例として使用されていることが当業者には理解されよう。従来のジャイロスコープとは異なり、ADXRS150の回転センサは、MEMS技術を使用して、1方向に沿ってだけ共鳴することが可能なようにフレームに取り付けられた共鳴する質量をもたらす。共鳴する質量は、センサが固定された筐体が、センサの感知軸を中心に回転させられると、ずれる。そのずれが、コリオリの加速効果を使用して測定されて、感知軸に沿った回転に関連する角速度が算出されることが可能である。回転センサ502および504が、単一の感知軸を有する(例えば、ADXRS150のように)場合、センサ502および504は、センサ502および504の感知軸が、測定されるべき回転と揃えられるように３Ｄポインティングデバイス400内に装着されることが可能である。本発明のこの例示的な実施形態の場合、このことは、図4に示されるとおり、回転センサ504は、センサ504の感知軸がy軸と平行になるように装着され、回転センサ502は、センサ502の感知軸がz軸と平行になるように装着されることを意味する。しかし、回転センサ502および504の感知軸を、所望される測定軸と平行になるように揃えることは、本発明の例示的な諸実施形態が、軸間のオフセットを補償するための技術も提供するので、要求されないことに留意されたい。
本発明による例示的な３Ｄポインティングデバイス400を実施する際に直面する1つの課題は、あまりにも高価ではない一方で、３Ｄポインティングデバイス400の動き、ユーザインタフェースが、３Ｄポインティングデバイスのその特定の動きにどのように反応するかに関するユーザの期待、およびその動きに応答する実際のユーザインタフェースパフォーマンスの間における高い度合いの相互関係をもたらすコンポーネント、例えば、回転センサ502および504を使用することである。例えば、３Ｄポインティングデバイス400が動いていない場合、ユーザは、カーソルがスクリーン上をドリフトすべきではないと期待する可能性が高い。同様に、ユーザが、３Ｄポインティングデバイス400を、純粋にy軸を中心に回転させた場合、ユーザは、ディスプレイ408上のもたらされるカーソルの動きが、有意なx2軸成分は全く含むことを期待しない可能性が高い。本発明の例示的な諸実施形態の以上、およびその他の態様を実現するのに、様々な測定および計算が、ハンドヘルドデバイス400によって実行され、それらの測定および計算は、センサ502、504、および506の1つまたは複数の出力を調整するのに、かつ/またはプロセッサによって入力の一部として使用されて、センサ502、504、および506の出力に基づき、ユーザインタフェースに関する適切な出力が算出される。それらの測定および計算は、広くは、以下の2つのカテゴリに入る要因を補償するのに使用される。すなわち、(1)３Ｄポインティングデバイス400に固有の要因、例えば、デバイス400内で使用される特定のセンサ502、504、および506に関連する誤差、またはデバイス400内にセンサが装着されている仕方に関連する誤差、および(2)３Ｄポインティングデバイス400に固有ではなく、代わりに、ユーザが、３Ｄポインティングデバイス400を使用する仕方、例えば、直線加速度、傾き、および微動に関連する要因である。それらの効果のそれぞれに対処するための例示的な技術を以下に説明する。
本発明の例示的な諸実施形態による３Ｄポインティングデバイスの一般的な動作を説明するプロセスモデル600が、図5に示されている。回転センサ502および504、ならびに加速度計506は、周期的に、例えば、毎秒200サンプル、サンプリングされるアナログ信号を生成する。この説明では、それらの入力のセットは、(x,y,z,αy,αz)という表記を使用して示され、x、y、zは、x軸方向、y軸方向、およびz軸方向における３Ｄポインティングデバイスの加速にそれぞれ関連する例示的な3軸加速度計506のサンプリングされた出力値であり、αyは、y軸を中心とする３Ｄポインティングデバイスの回転に関連する回転センサ502からのサンプリングされた出力値であり、αzは、z軸を中心とする３Ｄポインティングデバイス400の回転に関連する回転センサ504からのサンプリングされた出力値である。
加速度計506からの出力がもたらされ、加速度計506が、アナログ出力をもたらす場合、その出力は、A/D変換器(図示せず)によってサンプリングされ、デジタル化されて、サンプリングされた加速度計出力602が生成される。サンプリングされた出力値は、変換ファンクション604によって示されるとおり、生の単位から、加速度の単位に、例えば、重力加速度(g)に変換される。加速度較正ブロック606が、変換ファンクション604のために使用される値をもたらす。加速度計出力602のこの較正には、例えば、加速度計506に関連するスケール誤差、オフセット誤差、および軸合わせ不良誤差の1つまたは複数の補償が含まれることが可能である。加速度計データの例示的な補償は、以下の数式を使用して実行されることが可能である。すなわち、
A=S*((M-P).*G(T)) (1)
ただし、Mは、サンプリングされた出力値(x,y,z)から成る3×1列ベクトルであり、Pは、センサオフセットの3×1列ベクトルであり、Sは、スケール補償、軸合わせ不良補償とセンサ回転補償をともに含む3×3行列である。G(T)は、温度の関数である利得係数である。「*」演算子は、行列乗算を表し、「.」演算子は、要素乗算を表す。例示的な加速度計506は、+/-2gという例示的な最大範囲を有する。センサオフセット、Pは、0gの加速度計測定値の場合のセンサ出力、M指す。スケールは、サンプリングされた単位値とgの間の変換係数を指す。任意の所与の加速度計センサの実際のスケールは、例えば、製造のばらつきに起因して、それらの公称のスケール値からずれる可能性がある。したがって、前述の数式におけるスケール係数は、その偏差に比例する。
加速度計506のスケール偏差およびオフセット偏差は、例えば、1gの力を1つの軸に沿って加え、結果、R1を測定することによって測定されることが可能である。次に、1gの力が加えられて、測定値R2がもたらされる。個別の軸スケール、s、および個別の軸オフセット、pは、以下のとおり計算されることが可能である。すなわち、
s=(R1-R2)/2 (2)
p=(R1+R2)/2 (3)
この単純なケースでは、Pは、各軸に関するpの列ベクトルであり、Sは、各軸に関する1/sの対角行列である。
しかし、スケールおよびオフセットに加えて、加速度計506によって生成される読み取り値は、交差軸効果を被る可能性もある。交差軸効果には、例えば、加速度計506が３Ｄポインティングデバイス400内に装着された際に、加速度計506の感知軸の1つまたは複数が、慣性座標系における対応する軸と揃えられていない、合わせ不良の軸、または、例えば、軸は適切に揃えられているものの、純粋にy軸の加速力により、加速度計506のz軸に沿ったセンサ読み取り値がもたらされる可能性がある、加速度計506自体の機械加工に関連する機械的誤差が含まれる。以上の効果の両方とも、やはり、測定され、ファンクション606によって実行される較正に加えられることが可能である。
加速度計506は、本発明の例示的な諸実施形態による例示的な３Ｄポインティングデバイスにおいていくつかの目的を果たす。例えば、回転センサ502および504が、前述した例示的なコリオリ効果回転センサを使用して実施される場合、回転センサ502および504の出力は、各回転センサによって経験される直線加速度に基づいて異なる。このため、加速度計506の1つの例示的な使用は、直線加速度の違いによって生じさせられる、回転センサ502および504によって生成される読み取り値の変動を補償することである。これは、変換された加速度計読み取り値に利得行列610を掛けて、その結果から(またはその結果に)、対応するサンプリングされた回転センサデータ612を引くこと(または足すこと)によって達せられることが可能である。例えば、回転センサ502からのサンプリングされた回転データayが、ブロック614で、以下のとおり、直線加速度に関して補償されることが可能である。すなわち、
αy'=αy-C*A (4)
ただし、Cは、単位数/gで与えられる各軸に沿った直線加速度に対する回転センサ感受性の1×3行ベクトルであり、Aは、較正された直線加速度である。同様に、回転センサ504からのサンプリングされた回転データαzに関する直線加速度補償が、ブロック614でもたらされることが可能である。利得行列、Cは、製造上の違いに起因して、回転センサの間で異なる。Cは、多くの回転センサに関する平均値を使用して計算されてもよく、あるいは各回転センサに関してカスタム計算されてもよい。
加速度計データと同様に、サンプリングされた回転データ612は、次に、ファンクション616において、サンプリングされた単位値から、角回転の速度に、例えば、ラジアン/秒に関連する値に変換される。また、この変換ステップは、サンプリングされた回転データを、例えば、スケールおよびオフセットに関して、補償するファンクション618によってもたらされる較正を含むことも可能である。αyとαzの両方に関する変換/較正は、例えば、以下の数式を使用して達せられることが可能である。すなわち、
αrad/秒=(α'-offset(T))*scale+dOffset (5)
ただし、α'は、変換/較正される値を指し、offset(T)は、温度に関連するオフセット値を指し、scaleは、サンプリングされた単位値とラジアン/秒の間の変換係数を指し、dOffsetは、動的なオフセット値を指す。数式(5)は、行列式として実施されてもよく、その場合、scaleを除き、すべての変数はベクトルである。行列式の形態では、scaleは、軸合わせ不良および回転オフセット係数を補正する。これらの変数のそれぞれについて、以下により詳細に説明する。
オフセット値、offset(T)およびdOffsetは、いくつかの異なる形で算出されることが可能である。３Ｄポインティングデバイス400が、例えば、y軸方向で回転されていない場合、センサ502は、オフセット値を出力するはずである。しかし、そのオフセットは、温度によって非常に影響されている可能性があり、したがって、このオフセット値は、変動する可能性が高い。オフセット温度較正が、工場において実行されることが可能であり、その場合、offset(T)の値は、ハンドヘルドデバイス400に事前にプログラミングされることが可能であり、あるいは代替的に、オフセット温度較正は、デバイスの寿命中に動的に学習されることも可能である。動的オフセット補償を達するのに、温度センサ619からの入力が、回転較正ファンクション618において使用されて、offset(T)の現在の値が計算される。offset(T)パラメータは、センサ読み取り値からオフセットバイアスの大半を取り除く。しかし、0の動きにおいてほぼすべてのカーソルドリフトを無効にすることが、高性能のポインティングデバイスをもたらすのに役立つ可能性がある。したがって、追加の係数、dOffsetが、３Ｄポインティングデバイス400が使用されている間に、動的に計算されることが可能である。静止検出ファンクション608が、ハンドヘルドが静止している可能性が高い場合、およびオフセットが再計算されなければならない場合を判定する。したがって、静止検出ファンクション608を実施するための例示的な技術、および用法を以下に説明する。
dOffset計算の例示的な実施は、ローパスフィルタリングされた較正済みのセンサ出力を使用する。静止出力検出ファンクション608は、例えば、ローパスフィルタ出力の平均値の計算をトリガする指示を回転較正ファンクション618に与える。また、静止出力検出ファンクション608は、新たに計算された平均値が、dOffsetの既存の値にいつ繰り込まれるかも制御することができる。多数の異なる技術が、dOffsetの既存の値、および単純平均、ローパスフィルタリング、およびカルマンフィルタリングを含むが、以上には限定されない新たな平均から、dOffsetの新たな値を計算するために使用されることが可能であることが、当業者には認識されよう。さらに、回転センサ502および504のオフセット補償に関する多数の変種が使用されることが可能であることも、当業者には認識されよう。例えば、offset(T)ファンクションは、定数値(例えば、温度で変化しない)を有することが可能であり、2つより多くのオフセット補償値が、使用されることが可能であり、かつ/または単一のオフセット値だけが、オフセット補償のために計算/使用されることが可能である。
ブロック616における変換/較正の後、ファンクション620において、回転センサ502および504からの入力は、それらの入力を回転させて、慣性座標系に入れるように、すなわち、ユーザが３Ｄポインティングデバイス400を把持している仕方に関連する傾きを補償するように、さらに処理されることが可能である。傾き補正は、本発明による３Ｄポインティングデバイスの使用パターンの違いを補償するように意図されているので、本発明の一部の例示的な諸実施形態の別の重要な態様である。より具体的には、本発明の例示的な諸実施形態による傾き補償は、複数のユーザが、異なるx軸回転位置でポインティングデバイスを手に把持するが、３Ｄポインティングデバイス400内の回転センサ502および504の感知軸は、固定であるという事実を補償することを意図している。ディスプレイ408上のカーソルの並進は、ユーザが３Ｄポインティングデバイス400を握る仕方に実質的に左右されない、例えば、ユーザが３Ｄポインティングデバイス400を把持している向きにかかわらず、ディスプレイ508の水平の次元(x2軸)におおむね対応する形で行き来するように３Ｄポインティングデバイス400を回転させることは、x2軸に沿ったカーソルの並進をもたらすべきであるのに対して、ディスプレイ508の垂直の次元(y2軸)におおむね対応する形で上下するように３Ｄポインティングデバイスを回転させることは、y2軸に沿ったカーソルの並進をもたらすべきであることが望ましい。
本発明の例示的な諸実施形態による傾き補償の必要性をよりよく理解するため、図6(a)に示された例を考慮されたい。図6(a)では、ユーザは、３Ｄポインティングデバイス400を、0度のx軸回転値を有するものとして定義されることが可能な例示的な慣性座標系において把持しており、例えば、慣性座標系は、３Ｄポインティングデバイスの底部が、例えば、テレビが配置されている部屋のフロアに実質的に平行になっている座標であることが可能である。慣性座標系は、単に例として、図6(a)に示された向きに対応することが可能であり、あるいは他の任意の向きとして定義されることが可能である。y軸方向またはz軸方向における３Ｄポインティングデバイス400の回転は、回転センサ502および504によってそれぞれ感知される。例えば、図6(b)に示される、量Δzだけのz軸を中心とした３Ｄポインティングデバイス400の回転は、ディスプレイ408上のx2軸次元における対応するカーソルの並進、Δx2(すなわち、カーソル410の破線バージョンと破線でないバージョンの間の距離)をもたらす。
他方、ユーザが、３Ｄポインティングデバイス400を異なる向きで、例えば、慣性座標系に対していくらかの量のx軸回転で把持した場合、センサ502および504によってもたらされる情報は、ユーザによって意図されるインタフェースアクションの正確な表現をもたらさない(傾き補償がない)。例えば、図6(c)を参照して、ユーザが、図6(a)に示されるとおり、例示的な慣性座標系に対して45度のx軸回転で３Ｄポインティングデバイス400を把持する状況を考慮されたい。同一のz軸回転Δzが、図6(b)の実施例におけるように、ユーザによって３Ｄポインティングデバイス400に与えられるものと想定すると、カーソル410は、図6(d)で示されるとおり、代わりに、x2軸方向とy2軸方向の両方で並進させられる。これは、回転センサ502の感知軸が、現時点で、y軸とz軸の間の向きにされている(ユーザの手の中のデバイスの向きのため)という事実に起因する。同様に、回転センサ504の感知軸もまた、y軸とz軸の間の向きにされている(ただし、異なる象限における)。３Ｄポインティングデバイス400がどのように把持されているかに関してユーザにトランスペアレントなインタフェースを提供するため、本発明の例示的な諸実施形態による傾き補償は、回転センサ502および504から出力された読み取り値を、それらのセンサからの読み取り値を処理して、３Ｄポインティングデバイス400の回転モーションを示す情報にすることの一環として、変換して慣性座標系に戻す。
本発明の例示的な諸実施形態によれば、図5に戻ると、以上のことは、ファンクション622において、加速度計506から受け取られる入力yおよび入力zを使用して３Ｄポインティングデバイス400の傾きを算出することにより、達せられることが可能である。より具体的には、加速度データは、前述したとおり、変換され、較正された後、LPF624においてローパスフィルタリングされて、平均加速度(重力加速度)値を傾き算出ファンクション622に与えることが可能である。次に、傾きθが、ファンクション622において以下のとおり計算されることが可能である。すなわち、
値θは、0による除算を防止するようにatan2(y,z)として数値的に計算されて、正しい符号を与えることが可能である。次に、ファンクション620が、以下の数式を使用して、変換/較正済みの入力αyおよびαzの回転Rを実行して、
変換/較正済みの入力αyおよびαzを回転させて、傾きθを補償することができる。この例示的な実施形態において説明される傾き補償は、以下で説明する本発明の別の例示的実施形態による、ボディ座標系からのセンサ読み取り値をユーザの座標系に変換するためのより一般的な技術のサブセットである。
較正済みのセンサ読み取り値が、直線加速度に関して補償され、３Ｄポインティングデバイス400の角回転を示す読み取り値になるように処理され、傾きに関して補償されると、ブロック626および628で後処理が実行されることが可能である。例示的な後処理には、人間の微動などの様々な要因の補償が含まれることが可能である。微動は、いくつかの異なる方法を使用して除去されることが可能であるが、微動を除去する1つのやり方は、ヒステリシスを使用することによる。回転ファンクション620によってもたらされた角速度が、角位置をもたらすように組み込まれる。較正された大きさのヒステリシスが、次に、角位置に適用される。ヒステリシスブロックの出力の微分が行われて、角速度が再びもたらされる。結果の出力が、次に、ファンクション628においてスケーリングされて(例えば、サンプリング周期に基づき)、インタフェース内の結果、例えば、ディスプレイ408上のカーソル410の動きを生じさせるのに使用される。
本発明による例示的な３Ｄポインティングデバイスのプロセス説明を提供したので、図7は、例示的なハードウェアアーキテクチャを示す。図7では、プロセッサ800が、スクロールホイール802、JTAG804、LED806、スイッチマトリックス808、IR光検出器810、回転センサ812、加速度計814、およびトランシーバ816を含む、３Ｄポインティングデバイスの他の要素と通信する。スクロールホイール802は、ユーザが、スクロールホイール802を時計方向に、または反時計方向に回転させることによってインタフェースに入力を与えることを可能にするオプションの入力コンポーネントである。JTAG804は、プログラミング‐デバッグインタフェースをプロセッサに与える。LED806は、例えば、ボタンが押されると、視覚的フィードバックをユーザに与える。スイッチマトリックス808は、入力、例えば、３Ｄポインティングデバイス400上のボタンが押し下げられた、または解放されたという指示を受け取り、それらの入力は、次に、プロセッサ800に転送される。例示的な３Ｄポインティングデバイスが、他のリモコンからのIRコードを知ることを可能にするオプションのIR光検出器810が、提供されることが可能である。回転センサ812は、例えば、前述したとおり、３Ｄポインティングデバイスのy軸回転およびz軸回転に関する読み取り値をプロセッサ800に与える。加速度計814は、例えば、傾き補償を実行し、直線加速度が、回転センサ812によって生成される回転読み取り値に導入する誤差を補償するように、前述したとおり使用されることが可能な、３Ｄポインティングデバイス400の直線加速度に関する読み取り値をプロセッサ800に与える。トランシーバ816が、３Ｄポインティングデバイス400との間で、例えば、システムコントローラ228に、またはコンピュータに関連するプロセッサに情報を通信するのに使用される。トランシーバ816は、例えば、短距離無線通信のためにBluetooth（登録商標）標準に準拠して動作する無線トランシーバ、または赤外線トランシーバであることが可能である。代替的に、３Ｄポインティングデバイス400は、有線接続を介してシステムと通信することもできる。
図4の例示的な実施形態では、３Ｄポインティングデバイス400は、2つの回転センサ502および504、ならびに加速度計506を含む。しかし、本発明の別の実施形態によれば、３Ｄポインティングデバイスは、代替的に、例えば、z軸方向の角速度を測定するための1つだけの回転センサと、加速度計とを含むことも可能である。そのような例示的な実施形態の場合、前述したのと同様の機能が、加速度計を使用して、回転センサによって感知されない軸に沿った角速度を測定することによって提供されることが可能である。例えば、y軸を中心とする回転速度は、加速度計によって生成されたデータを使用し、以下を計算して、計算されることが可能である。すなわち、
加えて、回転センサによって測定されない寄生加速度効果も、除去されなければならない。それらの効果には、実際の直線加速度、回転速度および回転加速度に起因して測定された加速度、および人間の微動に起因する加速度が含まれる。
簡単に前述したとおり、静止検出ファンクション608は、３Ｄポインティングデバイス400が、例えば、静止しているか、またはアクティブである(動いている)かを判定するように動作することができる。この分類は、いくつかの異なる仕方で実行されることが可能である。1つの仕方は、本発明の例示的な実施形態によれば、所定のウインドウ、例えば、毎1/4秒にわたって、すべての入力(x,y,z,ay,az)のサンプリングされた入力データの分散を計算することである。その分散が、次に、閾値と比較されて、３Ｄポインティングデバイスが、静止している、またはアクティブであると分類される。
本発明の例示的な諸実施形態による別の静止検出技術には、例えば、入力データに高速フーリエ変換(FFT)を実行することにより、入力を周波数ドメインに変換することがかかわる。次に、そのデータが、例えば、ピーク検出方法を使用して分析されて、３Ｄポインティングデバイス400が静止しているか、またはアクティブであるかが判定されることが可能である。さらに、第3のカテゴリ、具体的には、ユーザが、３Ｄポインティングデバイス400を把持しているが、デバイス400を動かしていないケース(本明細書では、「安定した」状態とも呼ばれる)が、区別されることが可能である。この第3のカテゴリは、３Ｄポインティングデバイス400がユーザによって把持されている場合にユーザの手の微動によって導入される、３Ｄポインティングデバイス400の小さい動きを検出することにより、静止(把持されていない)およびアクティブから区別されることが可能である。また、ピーク検出も、この判定を行うのに、静止検出ファンクション608によって使用されることが可能である。人間の微動周波数の範囲内、例えば、公称で8〜12Hzの範囲内のピークは、通常、およそ20dBだけ、デバイスの雑音フロア(デバイスが静止しており、把持されていない場合に生じる)を超える。
以上の例では、周波数ドメインの変動が、特定の周波数範囲内で検出されたが、監視され、３Ｄポインティングデバイス400のステータスを特徴付けるのに使用される実際の周波数範囲は、様々である可能性がある。例えば、公称の微動周波数範囲は、例えば、３Ｄポインティングデバイス400のエルゴノミクスおよび重量に基づき、例えば、8〜12Hzから4〜7Hzに移る可能性がある。
本発明の別の例示的な実施形態によれば、静止検出機構608は、状態マシンを含むことが可能である。例示的な状態マシンが、図8に示されている。図8では、ACTIVE状態が、この実施例では、３Ｄポインティングデバイス400が動いており、例えば、ユーザインタフェースに入力を与えるのに使用されている間の既定の状態である。３Ｄポインティングデバイス400は、リセット入力によって示されるデバイスの起動時に、ACTIVE状態に入る。３Ｄポインティングデバイス400は、動くのを止めた場合、INACTIVE状態に入ることが可能である。図8に示される様々な状態遷移が、回転センサ502と回転センサ504のいずれか、または両方から出力されたデータ、加速度計506から出力されたデータ、時間ドメインデータ、周波数ドメインデータ、または以上の任意の組み合わせを含むが、以上には限定されない、いくつかの異なる基準のいずれかによってトリガされることが可能である。状態遷移条件は、「ConditionstateA→stateB」という規約を使用して、本明細書で一般的に示される。例えば、３Ｄポインティングデバイス400は、conditionactive→inactiveが生じると、ACTIVE状態からINACTIVE状態に遷移する。単に例示のため、conditionactive→inactiveは、例示的な３Ｄポインティングデバイス400では、回転センサと加速度計の両方からの平均偏差値および/または標準偏差値が、第1の所定の期間にわたって第1の所定の閾値を下回って低下した場合に生じるものと考慮されたい。
状態遷移は、解釈されたセンサ出力に基づく、いくつかの異なる条件によって判定されることが可能である。例示的な条件メトリックは、時間ウインドウにわたる解釈された信号の変動、基準値と、時間ウインドウにわたる解釈された信号との間の閾値、基準値と、時間ウインドウにわたるフィルタリング済みの解釈された信号との間の閾値が含まれ、基準値と、開始時からの解釈された信号との間の閾値が、状態遷移を判定するのに使用されることが可能である。以上の条件メトリックのすべて、または任意の組み合わせが、状態遷移をトリガするのに使用されることが可能である。代替的に、他のメトリックも使用されることが可能である。本発明の1つの例示的な実施形態によれば、INACTIVE状態からACTIVE状態への遷移は、(1)時間ウインドウにわたるセンサ出力の平均値が、所定の閾値より大きい場合、または(2)時間ウインドウにわたるセンサ出力の値の変動が、所定の閾値より大きい場合、または(3)センサ値の間の瞬間デルタが、所定の閾値より大きい場合に生じる。
INACTIVE状態は、３Ｄポインティングデバイス400が依然、使用されている、例えば、1/10秒のオーダの、短い休止と、安定した条件または静止条件への実際の遷移とを、静止検出機構608が区別することを可能にする。これにより、以下に説明するSTABLE状態中、およびSTATIONARY状態中に実行されるファンクションが、３Ｄポインティングデバイスが使用されている間に、意図せずに実行されることが防止される。３Ｄポインティングデバイス400は、conditionactive→inactiveが生じた場合、例えば、３Ｄポインティングデバイス400が、再び動くことを始めて、回転センサおよび加速度計からの測定された出力が、INACTIVE状態で第2の所定の期間が経過する前に第1の閾値を超えた場合、ACTIVE状態に戻るように遷移する。
３Ｄポインティングデバイス400は、第2の所定の期間が経過した後、STABLE状態またはSTATIONARY状態に遷移する。前述したとおり、STABLE状態は、人によって把持されているが、実質的に動いていないという３Ｄポインティングデバイス400の特徴付けを反映する一方で、STATIONARY状態は、人によって把持されていないという３Ｄポインティングデバイスの特徴付けを反映する。このため、本発明による例示的な状態マシンは、手の微動に関連する最小の動きが存在する場合、第2の所定の期間が経過した後に、STABLE状態への遷移を可能にし、さもなければ、STATIONARY状態への遷移を可能にすることができる。
STABLE状態およびSTATIONARY状態は、３Ｄポインティングデバイス400が、様々なファンクションを実行することができる時間を定義する。例えば、STABLE状態は、ユーザが、３Ｄポインティングデバイス400を把持しているが、デバイス400を動かしていない時間を反映することを意図しているので、デバイスは、３Ｄポインティングデバイス400がSTABLE状態にある間の、３Ｄポインティングデバイス400の動きを、例えば、回転センサおよび/または加速度計からの出力を、STABLE状態にある最中に格納することにより、記録することができる。それらの格納された測定値は、以下に説明するとおり、特定のユーザまたはユーザらに関連する微動パターンを判定するのに使用されることが可能である。同様に、STATIONARY状態にある間、３Ｄポインティングデバイス400は、前述したとおり、オフセットを補償する際に使用するために、回転センサおよび/または加速度計からの読み取り値を得ることができる。
３Ｄポインティングデバイス400が、STABLE状態またはSTATIONARY状態にある間に、動くことを始めた場合、これにより、ACTIVE状態に戻ることがトリガされることが可能である。さもなければ、測定が行われた後、デバイスは、SLEEP状態に遷移することができる。スリープ状態にある間、デバイスは、３Ｄポインティングデバイスの電力消費量が低減され、例えば、回転センサおよび/または加速度計のサンプリングレートも低減されるパワーダウンモードに入ることができる。また、SLEEP状態には、外部コマンドを介して入ることも可能であり、したがって、ユーザ、または別のデバイスが、SLEEP状態に入るよう３Ｄポインティングデバイス400に命令することができる。
別のコマンドを受け取ると、または３Ｄポインティングデバイス400が動くことを始めると、デバイスは、SLEEP状態からWAKEUP状態に遷移することができる。INACTIVE状態と同様に、WAKEUP状態は、ACTIVE状態への遷移が妥当であること、例えば、３Ｄポインティングデバイス400が、意図せずに突き動かされていないことをデバイスが確認する機会を提供する。
状態遷移のための諸条件は、対称的であっても、異なってもよい。このため、conditionactive→inactiveに関連する閾値は、conditioninactive→activeに関連する閾値と同一である(または異なる)ことが可能である。これにより、本発明による３Ｄポインティングデバイスが、ユーザ入力をより正確にキャプチャすることが可能になる。例えば、状態マシンインプリメンテーションを含む例示的な諸実施形態は、とりわけ、静止条件に入る遷移に関する閾値が、静止条件から出る遷移に関する閾値とは異なることを許す。
ある状態に入ること、またはある状態を離れることは、他のデバイスファンクションをトリガするのに使用されることも可能である。例えば、ユーザインタフェースが、任意の状態からACTIVE状態への遷移に基づいて起動されることが可能である。逆に、３Ｄポインティングデバイスおよび/またはユーザインタフェースが、ACTIVEまたはSTABLEからSTATIONARYまたはINACTIVEに３Ｄポインティングデバイスが遷移すると、オフにされる(またはスリープモードに入る)ことも可能である。代替的に、カーソル410が、３Ｄポインティングデバイス400の静止状態からの遷移、または静止状態への遷移に基づき、表示されること、またはスクリーンから除去されることも可能である。
前述したとおり、本発明の例示的な諸実施形態は、３Ｄポインティングデバイス内のセンサから受け取られた動きデータを処理して、そのデータを、３Ｄポインティングデバイスの筐体の座標系から、別の座標系に、例えば、ユーザの座標系に変換する。スクリーン上、例えば、テレビ上に表示されるユーザインタフェースを制御するのに使用される３Ｄポインティングデバイスの例示的な応用例では、ユーザの座標系は、テレビスクリーンに関連する座標系であることが可能である。いずれにせよ、ボディ座標系から別の座標系へのデータの変換は、デバイスの見地からではなく、ユーザの見地からの操作をもたらすことにより、ハンドヘルドデバイスの使いやすさを向上させる。このため、ユーザが、３Ｄポインティングデバイスを把持しながら、ディスプレイの前方で左から右に手を動かすと、カーソルは、３Ｄポインティングデバイスの向きにかかわらず、左から右の方向に移動する。
この説明を簡単にするため、３Ｄポインティングデバイスに関連する例示的な処理システムが、例えば、より詳細に前述したとおり、図9に示されている。図9では、ハンドヘルドシステムは、1つまたは複数のセンサ901、例えば、回転センサ、ジャイロスコープ、加速度計、磁力計、光センサ、カメラ、または以上の任意の組み合わせを使用して、動きを感知する。センサは、次に、ブロック902で解釈されて、生じた動きの推定をもたらす。次に、処理ブロック903が、デバイスの自然の(ボディ)座標系からの測定された動きを、ユーザの座標系に変換する。次に、その動きが、意味のあるアクションにマップされ904、アクションが、ブロック905で解釈され、システムに転送されて、スクリーン上のカーソルを動かすことなどの、意味のある応答がもたらされる。
ブロック903は、検出された動きを、デバイスの座標系ではなく、ユーザの座標系に変換する。向きは、オイラー角、方向余弦行列(DCM)、または単位四元数を含む、多くの異なる数学的に類似した方法によって表現されることが可能である。位置は、一般に、メートル、センチメートル、フィート、インチ、およびマイルを含むが、以上には限定されない一貫した単位で、座標系原点からのオフセットとして表現される。前述した1つの例示的な実施形態では、３Ｄポインティングデバイスは、加速度および回転速度を含む慣性力を測定する。それらの力は、デバイス内に装着されたデバイスの筐体に相対的に測定される。測定されたデータをユーザ座標系に変換するため、デバイスは、デバイスの位置、およびデバイスの向きを推定する。
この例示的な実施形態では、ユーザ座標系は、静止しており、固定の向きを有するものと想定されるが、本発明によるこの技術は、時間につれ変化する座標に直接に変換することによって、または静止した座標にまず変換し、次に、動く座標に変換することによって、ユーザの座標系が静止していないケースにも容易に拡張されることが可能であることが、当業者には理解されよう。静止した、固定の向きのユーザ座標系例の場合、ボディ座標からユーザ座標への変換は、以下の数式の使用によって実行されることが可能である。すなわち、
Pu=Rotate(Pb,Q)+Pdelta
Pu'=Rotate(Pb',Q)
Pu''=Rotate(Pb'',Q)
Wu=Rotate(Wb,Q)
Wu'=Rotate(Wb',Q)
ただし、
Rotateは、四元数回転演算子を表し、したがって、Rotate(A,Q)は、Q*AQに等しく、ただし、Q*は、共役四元数であり、ベクトルAは、Aに等しい複素成分と、0に等しい実成分とを有する四元数であり、
Puは、ユーザ座標系における位置であり、
Pbは、デバイス座標系における位置であり、
'は、微分を表す。したがって、Pu'は、ユーザ座標系における速度である、ユーザ座標系における位置の微分であり、
Wuは、ユーザ座標系における筐体角度でのデバイスの角速度であり、
Wbは、ボディ座標系における筐体角度でのデバイスの角速度であり、
Pdeltaは、ユーザ座標系座標系における、ユーザ座標系の原点と、ボディ座標系との差であり、
Qは、ボディ座標からユーザ座標への回転を表す、正規化された回転四元数である。ユーザ座標からボディ座標に回転させる回転四元数は、Q*であるので、QをR*で置き換えることができ、ただし、Rは、ユーザ座標からボディ座標への回転である。Qは、オイラー角および方向余弦行列(DCM)を含む、いくつかの等価の形態で表現されることが可能であり、前述の数式は、等価の形態においては、Qの異なる表現に基づき、わずかに異なる可能性があることに留意されたい。図10は、ボディ座標系からユーザの座標系への変換をグラフで示す。
動作中、デバイスは、インプリメンテーションに依存する形でQを推定して、以上の変換を実行する。前述した1つの例示的なインプリメンテーションには、傾き(すなわち３Ｄポインティングデバイスがユーザによって把持される仕方に基づく３Ｄポインティングデバイスのx軸ロールの変動)を補償することがかかわる。向きは、ボディ座標の重力加速度に起因する加速度、Abをまず推定することにより、計算される。定義上、ユーザ座標における重力加速度に起因する加速度ベクトル、Agは、[0,0,-1]に設定される。重力加速度は、方位(z軸を中心とする回転)を推定することができないので、方位に関するボディ座標推定が使用される。したがって、回転四元数は、z=0平面に回転の軸を有する。以下は、回転四元数を計算するための、いくつかの数学的に等価な方法の1つである。すなわち、
V=‖Ab‖x‖Ag‖ (単位ベクトルのクロス乗積)
qV=‖V‖
α=sin-1|V|
Q=Quaternion[qV,α]=[qV*sin(α/2),cos(α/2)]
次に、位置が、ユーザ座標における加速度の二重積分として計算される。ユーザ座標における加速度は、前述のQによってユーザ座標に入るように回転させられたボディ座標の加速度である。通常、原点は、デバイスが最初にアクティブにされた際、0であるものと想定されるが、原点は、通常の動作中に手動で、または自動的にリセットされてもよい。
一般に、デバイスが動いていない場合、Pu'、Pu''、Wu、およびWu''はすべて、0である。この例示的な実施形態では、Pb''およびWbが測定される。無限の数の回転Qが存在するが、利用可能なセットから最小限の回転が選択されて、Wbに基づき、Wuを推定するのに使用されることが可能である。代替的に、Qは、離散時間積分を使用して以下に示されるとおり、Wbを時間にわたって積分することにより、想定される開始オフセット向きQoを使用して計算されてもよい。すなわち、
WbAngle=|Wb|*period
QDELTA=Quaternion[Wb,WbAngle]=[‖Wb‖*sin(WbAngle/2),cos(WbAngle/2)]
QNEXT=Q0 **QDELTA
ただし、*は、乗算を表し、**は、四元数乗算を表す。さらなる安定性が、重力加速度および地球の磁場を含み、前述した結果と組み合わされた定常場ベクトルによってもたらされることが可能である。この組み合わせは、カルマンフィルタリングを含むが、それには限定されない、いくつかの数値方法およびフィルタリング方法を使用して達せられることが可能である。
様々な異なるセンサが、それらのセンサが、デバイスの筐体に対する動きを測定する限り、使用されることが可能である。例示的なセンサには、加速度計、回転センサ、ジャイロスコープ、磁力計、およびカメラが含まれる。ユーザ座標は、静止している必要はない。例えば、ユーザの座標系が、ユーザの前腕であるように選択された場合、デバイスは、手首および指の動きだけに応答する。
可換特性は、本発明で説明される座標系変換だけに当てはまることが、当業者には認識されよう。したがって、数学的操作の順序は、本明細書で説明される本発明に実質的に影響を与えることなく、変更されることが可能である。さらに、多くのモーション処理アルゴリズムは、特に、ユーザ座標が、不変の向きを有して静止しているように選択される場合、いずれの座標系でも同等に作用することが可能である。
使用の容易さをもたらすことに加え、本発明のこの例示的な実施形態による座標系変換は、ハンドヘルドデバイスインプリメンテーションにおける他の課題に対処するのにも使用されることが可能である。例えば、センサ(加速度計などの)が、ボディ座標系における回転の中心に正確に配置されていない場合、測定される加速度には、座標の加速度と、座標の回転に起因する加速度成分がともに含まれる。したがって、測定された加速度は、以下の関係式を使用して、デバイスのボディ座標内の異なる目標位置に、まず変換されることが可能である。すなわち、
Abody=Aaccelerometer+ω'xR+ωx(ωxR)
ただし、Rは、加速度計から目標位置までのベクトルであり、ωは、ボディ座標系の角速度であり、ω'は、ボディ座標系の角加速度である。デバイスのボディ座標が、加速度計からRにあるように構築されている場合、ボディ座標は、0の角加速度効果を有するべきであり、ユーザ座標におけるデバイスの動きを計算するのに、より容易に使用されることが可能である。これにより、加速度計と、ボディ座標系の中心との間の意図的な位置合わせ不良、または意図的でない位置合わせ不良が補償される。さらに、重力加速度ベクトルの推定は、回転の中心で作用する力の数がより少ないので、はるかに簡単になる。すると、
Auster=Rotate(Abody,Q)
であり、ただし、Qは、ボディ座標系から加速度計座標系までの回転である。
残念ながら、異なるユーザは、Rに関して異なる値を有する。例えば、あるユーザは、肘を回すことによってハンドヘルドデバイスを使用する可能性があるのに対して、別のユーザは、手首を回すことによってデバイスを使用する可能性がある。加えて、人々は、異なるサイズの手首および前腕を有する。より向上した使いやすさのため、ハンドヘルドのこの例示的な実施形態は、Rを動的に計算し、筐体原点を動かして、筐体原点が、角モーションに起因する最小の加速度成分を有するようにする。例示的な実施形態は、Rを[Rx,0,0]と定義し、Abody-Rotate[Ag,Q]を使用し、Abody-Rotate[Ag,Q]を最小化するRxについて解くことにより、Rを推定する。Rxを計算する最小化を実行することが可能な、再帰的最小二乗法およびカルマンフィルタリングを含む、多くの数値方法が存在することに留意されたい。
以上に基づき、本発明は、1つの座標系(例えば、ボディ座標系)から別の座標系(例えば、ユーザの座標系)にハンドヘルドデバイスの感知された動きをマップするための様々な技術を説明することが理解されよう。それらのマッピングは、ハンドヘルドデバイスの使用に関連する他のマッピング、例えば、感知された動きのカーソルの動きへのマッピングとは独立であることも、他のマッピングと組み合わせられることも可能である。さらに、本発明による変換は、動きの等式の入力側、または出力側の見地から、並進の動き、および回転の動き、またはそれらの動きの任意のサブセットのために、感知された動きを3つすべての次元で変換するように実行されることが可能である。さらに、感知された動きがマップされる、または変換される座標系の選択は、いくつかの異なる形で行われることが可能である。前段で提供された一実施例は、第2の座標系が、デバイスの傾きに関連するユーザの座標系であることを示すが、他の多くの変形形態が可能である。例えば、ユーザは、ユーザの所望の座標系を選択することができ、その設定が、複数のユーザ選好の1つとしてハンドヘルドの中に格納され、変換を実行するのに使用されることが可能である。第2の座標系は、任意のいくつかの技術に基づいて選択されることが可能である。第2の座標系は、明示的なコマンド(例えば、ボタン選択またはユーザインタフェース選択)に基づいて、またはデバイス使用パターン、微動、およびその他のバイオメトリックによって判定されるユーザ認識を介して自動的に、選択されることが可能である。
さらに、前述した例示的な諸実施形態の一部は、速度ドメインでデータを扱うが、本発明は、そのように限定されない。本発明によるマッピングまたは変換は、代替的に、またはさらに、例えば、位置データまたは加速度データに対して実行されることも可能であり、並進の動き、回転の動き、またはその両方の動きためであることも可能である。また、処理の順序は、重要ではない。例えば、ハンドヘルドデバイスが、ジェスチャコマンドを出力するのに使用されている場合、マッピングが、まず実行され、次に、ジェスチャが判定されることが可能であり、あるいはジェスチャが、まず判定されることが可能であり、次に、マッピングが実行されることが可能である。
前述した例示的な諸実施形態は、すべての点で、本発明を制限するのではなく、例示することを意図している。このため、本発明は、当業者によって本明細書に含まれる説明から導き出されることが可能な、詳細な実施の多くの変形が可能である。例えば、以上の例示的な諸実施形態は、とりわけ、デバイスの動きを検出する慣性センサの使用を説明したが、前述した信号処理に関連して、慣性センサの代わりに、または慣性センサに加えて、他のタイプのセンサ(例えば、超音波、磁気、または光学)が使用されることも可能である。すべてのそのような変形形態および変更形態が、添付の特許請求の範囲によって定義される、本発明の範囲および趣旨に含まれるものと考えられる。本出願の説明において使用されるいずれの要素、動作、または命令も、特に明記しない限り、本発明に不可欠である、または必須であると解釈されてはならない。また、本明細書で使用する冠詞「a」は、1つまたは複数のアイテムを含むことを意図している。
400 ポインティングデバイス
402、404 ボタン
406、802 スクロールホイール
408 ディスプレイ
410 カーソル
502、504、506、810、812、814 センサ
800 プロセッサ
804 JTAG
806 LED
808 スイッチマトリックス
816 トランシーバ

Claims (10)

  1. ハンドヘルドデバイス（４００）であって、
    第１の軸に関する前記ハンドヘルドデバイスの回転を判定すると共に、該回転に関連する第１の回転出力（αｙ）を生成するための第１の回転センサ（５０２）と、
    第２の軸に関する前記ハンドヘルドデバイスの回転を判定すると共に、該回転に関連する第２の回転出力（αｚ）を生成するための第２の回転センサ（５０４）と、
    前記ハンドヘルドデバイスの加速度を判定すると共に、該加速度に関連する加速度出力（ｘ、ｙ、ｚ）を出力するための加速度計（５０６）と、
    前記第１及び前記第２の回転出力、そして前記加速度出力を受信すると共に、
    （ａ）前記加速度出力に基づいて、重力加速度に応じた前記ハンドヘルドデバイスの傾き（θ）を判定し、
    （ｂ）前記判定された傾きの影響を除去するために、前記第１及び前記第２の回転出力を、前記ハンドヘルドデバイスに関連するボディ座標系からユーザの座標系に変換するための処理ユニット（８００）と
    を備え、
    前記処理ユニットは、前記ユーザの身体的な特徴に関連する影響を動的に計算して前記加速度出力を補償する、ハンドヘルドデバイス。
  2. 前記ユーザの座標系は、テレビスクリーンに関連する座標系である請求項１に記載のハンドヘルドデバイス。
  3. 前記変換することは、θが、前記判定された傾きであり、αyが、前記第１の回転出力であり、αzが、前記第２の回転出力である
    を計算することにより、前記ユーザの座標系に入るように前記第１及び前記第２の回転出力を回転させることをさらに含む請求項１に記載のハンドヘルドデバイス。
  4. デバイス（４００）を作動させるための方法であって、
    加速度計（５０６）を使用して、重力加速度に応じた前記デバイスの傾き（θ）を判定するステップと、
    第１及び第２の回転センサ（５０２、５０４）を使用して、それぞれ第１の軸及び第２の軸に関する前記デバイスの回転の動き（αｙ、αｚ）を検出するステップと、
    前記検出された動きを、前記デバイスに関連するボディ座標系から慣性座標系に変換するステップとを含み、
    前記変換するステップは、前記検出された回転の動きを前記判定された傾きに関して補正するように、前記検出された回転の動きを補償するステップを含み、
    前記判定するステップは、前記デバイスのユーザの身体的な特徴に関連する影響を動的に計算して前記加速度計の出力を補償するステップを含む、方法。
  5. 前記傾きに関して補正するように、前記検出された回転の動きを補償する前記ステップは、θが、前記判定された傾きであり、αyが、第１の回転出力であり、αzが、第２の回転出力である
    を計算することにより、前記慣性座標系に入るように前記第１及び第２の回転センサの前記第１の回転出力及び前記第２の回転出力を回転させるステップを含む請求項４に記載の方法。
  6. ユーザインタフェースへの入力として前記補償され検出された動きに関連する情報を供給するステップをさらに含む請求項４に記載の方法。
  7. （Ａ）ハンドヘルドデバイスであって、第１の軸に関する前記ハンドヘルドデバイスの回転を判定すると共に、該回転に関連する第１の回転出力（αｙ）を生成するための第１の回転センサ（５０２）、第２の軸に関する前記ハンドヘルドデバイスの回転を判定すると共に、該回転に関連する第２の回転出力（αｚ）を生成するための第２の回転センサ（５０４）、及び、前記ハンドヘルドデバイスの加速度を判定すると共に、該加速度に関連する加速度出力（ｘ、ｙ、ｚ）を出力するための加速度計（５０６）を含むハンドヘルドデバイスと、
    （Ｂ）前記第１及び前記第２の回転出力、そして前記加速度出力を受信すると共に、（ａ）前記加速度出力に基づいて、重力加速度に応じた前記ハンドヘルドデバイスの傾き（θ）を判定し、（ｂ）前記判定された傾きの影響を除去するために、前記第１及び前記第２の回転出力を、前記ハンドヘルドデバイスに関連するボディ座標系からユーザの座標系に変換するための処理ユニット（８００）と
    を備え、
    前記処理ユニットは、前記ユーザの身体的な特徴に関連する影響を動的に計算して前記加速度出力を補償する、システム。
  8. 前記ユーザの座標系は、テレビスクリーンに関連する座標系である請求項７に記載のシステム。
  9. 前記変換することは、θが、前記判定された傾きであり、αyが、前記第１の回転出力であり、αzが、前記第２の回転出力である
    を計算することにより、前記ユーザの座標系に入るように前記第１及び前記第２の回転出力を回転させることをさらに含む請求項７に記載のシステム。
  10. 前記処理ユニットが、前記ハンドヘルドデバイスの中に配置される請求項７に記載のシステム。
JP2012126909A 2004-04-30 2012-06-04 傾き補償および向上した使いやすさを備えた自由空間ポインティングデバイス Active JP5670384B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US56644404P 2004-04-30 2004-04-30
US60/566,444 2004-04-30
US61257104P 2004-09-23 2004-09-23
US60/612,571 2004-09-23
US64141005P 2005-01-05 2005-01-05
US60/641,410 2005-01-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007511071A Division JP5053078B2 (ja) 2004-04-30 2005-05-02 ハンドヘルドポインティングデバイス及びその作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014216431A Division JP6026483B2 (ja) 2004-04-30 2014-10-23 傾き補償および向上した使いやすさを備えた自由空間ポインティングデバイス

Publications (2)

Publication Number Publication Date
JP2012190479A JP2012190479A (ja) 2012-10-04
JP5670384B2 true JP5670384B2 (ja) 2015-02-18

Family

ID=35320764

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2007511071A Active JP5053078B2 (ja) 2004-04-30 2005-05-02 ハンドヘルドポインティングデバイス及びその作動方法
JP2012126909A Active JP5670384B2 (ja) 2004-04-30 2012-06-04 傾き補償および向上した使いやすさを備えた自由空間ポインティングデバイス
JP2014216431A Active JP6026483B2 (ja) 2004-04-30 2014-10-23 傾き補償および向上した使いやすさを備えた自由空間ポインティングデバイス

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2007511071A Active JP5053078B2 (ja) 2004-04-30 2005-05-02 ハンドヘルドポインティングデバイス及びその作動方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014216431A Active JP6026483B2 (ja) 2004-04-30 2014-10-23 傾き補償および向上した使いやすさを備えた自由空間ポインティングデバイス

Country Status (11)

Country Link
US (4) US7158118B2 (ja)
EP (1) EP1741088B1 (ja)
JP (3) JP5053078B2 (ja)
KR (1) KR101192514B1 (ja)
AT (1) ATE550709T1 (ja)
DE (1) DE202005022038U1 (ja)
DK (1) DK2337016T3 (ja)
ES (2) ES2384572T3 (ja)
IN (1) IN2014DN09404A (ja)
PL (1) PL1741088T3 (ja)
WO (1) WO2005108119A2 (ja)

Families Citing this family (357)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US7780967B2 (en) * 2000-02-08 2010-08-24 Allergan, Inc. Reduced toxicity Clostridial toxin pharmaceutical compositions
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US6761637B2 (en) 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
US7033176B2 (en) * 2002-07-17 2006-04-25 Powergrid Fitness, Inc. Motion platform system and method of rotating a motion platform about plural axes
US8797260B2 (en) * 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7782297B2 (en) * 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US10086282B2 (en) * 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US8686939B2 (en) * 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US20060256081A1 (en) * 2002-07-27 2006-11-16 Sony Computer Entertainment America Inc. Scheme for detecting and tracking user manipulation of a game controller body
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US20060282873A1 (en) * 2002-07-27 2006-12-14 Sony Computer Entertainment Inc. Hand-held controller having detectable elements for tracking purposes
US9682319B2 (en) * 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US7674184B2 (en) 2002-08-01 2010-03-09 Creative Kingdoms, Llc Interactive water attraction and quest game
US20070155589A1 (en) * 2002-12-04 2007-07-05 Philip Feldman Method and Apparatus for Operatively Controlling a Virtual Reality Scenario with an Isometric Exercise System
US7727117B2 (en) * 2002-12-04 2010-06-01 Ialabs-Ca, Llc Method and apparatus for operatively controlling a virtual reality scenario with a physically demanding interface
US7699755B2 (en) * 2002-12-04 2010-04-20 Ialabs-Ca, Llc Isometric exercise system and method of facilitating user exercise during video game play
US20080146336A1 (en) * 2002-12-04 2008-06-19 Philip Feldman Exercise Gaming Device and Method of Facilitating User Exercise During Video Game Play
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
JP2007511741A (ja) * 2003-09-22 2007-05-10 ヒョン−ユン，キム 構造ヘルス状態モニタ方法
US7489299B2 (en) 2003-10-23 2009-02-10 Hillcrest Laboratories, Inc. User interface devices and methods employing accelerometers
US7826641B2 (en) * 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US8451221B2 (en) * 2008-08-11 2013-05-28 Imu Solutions, Inc. Instruction device and communicating method
KR101192514B1 (ko) * 2004-04-30 2012-10-17 힐크레스트 래보래토리스, 인크. 틸트 보상과 향상된 사용성을 갖는 3ｄ 포인팅 장치
JP2007535774A (ja) * 2004-04-30 2007-12-06 ヒルクレスト・ラボラトリーズ・インコーポレイテッド 自由空間ポインティングデバイスにおける意図的でない動きを除去するための方法およびデバイス
PL2337016T3 (pl) * 2004-04-30 2018-07-31 Idhl Holdings Inc Urządzenia wskazujące w przestrzeni swobodnej, z kompensacją nachylenia i usprawnioną użytecznością
US8629836B2 (en) 2004-04-30 2014-01-14 Hillcrest Laboratories, Inc. 3D pointing devices with orientation compensation and improved usability
CN102566751B (zh) 2004-04-30 2016-08-03 希尔克瑞斯特实验室公司 自由空间定位装置和方法
WO2005119356A2 (en) * 2004-05-28 2005-12-15 Erik Jan Banning Interactive direct-pointing system and calibration method
WO2006014810A2 (en) 2004-07-29 2006-02-09 Kevin Ferguson A human movement measurement system
US9317108B2 (en) * 2004-11-02 2016-04-19 Pierre A. Touma Hand-held wireless electronic device with accelerometer for interacting with a display
US9900669B2 (en) 2004-11-02 2018-02-20 Pierre Touma Wireless motion sensor system and method
WO2006058129A2 (en) 2004-11-23 2006-06-01 Hillcrest Laboratories, Inc. Semantic gaming and application transformation
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
US7864159B2 (en) 2005-01-12 2011-01-04 Thinkoptics, Inc. Handheld vision based absolute pointing system
EP1851606A1 (en) * 2005-02-24 2007-11-07 Nokia Corporation Motion-input device for a computing terminal and method of its operation
US7492367B2 (en) * 2005-03-10 2009-02-17 Motus Corporation Apparatus, system and method for interpreting and reproducing physical motion
WO2006119269A2 (en) * 2005-05-04 2006-11-09 Hillcrest Laboratories, Inc. Methods and systems for scrolling and pointing in user interfaces
KR101430761B1 (ko) 2005-05-17 2014-08-19 퀄컴 인코포레이티드 방위-감응 신호 출력
US20060262116A1 (en) * 2005-05-19 2006-11-23 Hillcrest Laboratories, Inc. Global navigation objects in user interfaces
JP4748657B2 (ja) * 2005-06-24 2011-08-17 任天堂株式会社 入力データ処理プログラムおよび入力データ処理装置
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
US7942745B2 (en) 2005-08-22 2011-05-17 Nintendo Co., Ltd. Game operating device
US8313379B2 (en) 2005-08-22 2012-11-20 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
JP4805633B2 (ja) * 2005-08-22 2011-11-02 任天堂株式会社 ゲーム用操作装置
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US8870655B2 (en) 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
JP4262726B2 (ja) 2005-08-24 2009-05-13 任天堂株式会社 ゲームコントローラおよびゲームシステム
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
JP4773170B2 (ja) * 2005-09-14 2011-09-14 任天堂株式会社 ゲームプログラムおよびゲームシステム
US7643850B2 (en) * 2005-10-11 2010-01-05 Sony Ericsson Mobile Communications Ab Cellular communication terminals and methods that sense terminal movement for cursor control
US20070113207A1 (en) * 2005-11-16 2007-05-17 Hillcrest Laboratories, Inc. Methods and systems for gesture classification in 3D pointing devices
KR100630806B1 (ko) * 2005-11-29 2006-10-04 한국전자통신연구원 동작 인식 장치를 이용한 명령 입력 방법
US7616186B2 (en) * 2005-12-09 2009-11-10 Sony Ericsson Mobile Communications Ab Acceleration reference devices, cellular communication terminal systems, and methods that sense terminal movement for cursor control
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
JP4895352B2 (ja) * 2006-02-07 2012-03-14 任天堂株式会社 対象選択プログラム、対象選択装置、対象選択システム、および対象選択方法
JP4202366B2 (ja) * 2006-03-08 2008-12-24 任天堂株式会社 動き判別装置および動き判別プログラム
JP5424373B2 (ja) * 2006-03-09 2014-02-26 任天堂株式会社 画像処理装置、画像処理プログラム、画像処理システム、および画像処理方法
JP4837405B2 (ja) * 2006-03-09 2011-12-14 任天堂株式会社 座標算出装置および座標算出プログラム
JP4260814B2 (ja) * 2006-03-09 2009-04-30 任天堂株式会社 ゲーム装置およびゲームプログラム
JP4530419B2 (ja) 2006-03-09 2010-08-25 任天堂株式会社 座標算出装置および座標算出プログラム
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
JP4330593B2 (ja) * 2006-03-13 2009-09-16 任天堂株式会社 ゲーム装置およびゲームプログラム
JP4547346B2 (ja) * 2006-03-22 2010-09-22 任天堂株式会社 傾き算出装置および傾き算出プログラムならびにゲーム装置およびゲームプログラム
JP4798705B2 (ja) * 2006-03-23 2011-10-19 任天堂株式会社 位置算出装置、位置算出プログラム、ゲーム装置、およびゲームプログラム
JP4684147B2 (ja) * 2006-03-28 2011-05-18 任天堂株式会社 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム
US20070291112A1 (en) * 2006-04-13 2007-12-20 Joseph Harris Remote control having magnetic sensors for determining motions of the remote control in three dimensions that correspond to associated signals that can be transmitted from the remote control
JP4795087B2 (ja) * 2006-04-14 2011-10-19 任天堂株式会社 ゲーム装置およびゲームプログラム
CN101432680A (zh) * 2006-05-02 2009-05-13 皇家飞利浦电子股份有限公司 具有冻结和恢复功能的3d输入/导航设备
JP4917346B2 (ja) * 2006-05-02 2012-04-18 任天堂株式会社 ゲーム画像処理プログラムおよびゲーム画像処理装置
US8210943B1 (en) 2006-05-06 2012-07-03 Sony Computer Entertainment America Llc Target interface
KR100827236B1 (ko) * 2006-05-23 2008-05-07 삼성전자주식회사 포인팅 디바이스, 포인터 이동 방법 및 상기 포인터를디스플레이하는 디스플레이 장치
US8913003B2 (en) * 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US20080030466A1 (en) * 2006-08-03 2008-02-07 Leigh Simeon Keates System and method for correcting positioning and triggering errors for aim-and-trigger devices
US8096880B2 (en) * 2006-08-15 2012-01-17 Nintendo Co., Ltd. Systems and methods for reducing jitter associated with a control device
KR20090060311A (ko) * 2006-08-29 2009-06-11 힐크레스트 래보래토리스, 인크. 텔레비전 시스템, 재생목록 생성 시스템, 디지털 비디오 레코딩 시스템, 텔레비전 제어 방법, 비디오의 디스플레이를 일시정지시키는 방법, 재생목록 생성 방법 및디지털 비디오 레코딩 방법
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
JP4979313B2 (ja) * 2006-09-13 2012-07-18 任天堂株式会社 ゲームプログラムおよびゲーム装置
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
GB0620332D0 (en) * 2006-10-13 2006-11-22 Malvern Scient Solutions Ltd Switch arrangement and method for effecting switching
JP5101080B2 (ja) * 2006-10-19 2012-12-19 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステムおよびゲーム制御方法
JP5131809B2 (ja) * 2006-11-16 2013-01-30 任天堂株式会社 ゲーム装置およびゲームプログラム
US9526995B2 (en) 2006-11-22 2016-12-27 Sony Interactive Entertainment America Llc Video game recording and playback with visual display of game controller manipulation
EP2097802A2 (en) * 2006-11-27 2009-09-09 Koninklijke Philips Electronics N.V. 3d control of data processing through handheld pointing device
US8269746B2 (en) * 2006-11-27 2012-09-18 Microsoft Corporation Communication with a touch screen
US8094129B2 (en) 2006-11-27 2012-01-10 Microsoft Corporation Touch sensing using shadow and reflective modes
US7924272B2 (en) 2006-11-27 2011-04-12 Microsoft Corporation Infrared sensor integrated in a touch panel
US8508472B1 (en) 2006-11-28 2013-08-13 James W. Wieder Wearable remote control with a single control button
JP4689585B2 (ja) * 2006-11-29 2011-05-25 任天堂株式会社 情報処理装置および情報処理プログラム
TWI317498B (en) * 2006-12-12 2009-11-21 Ind Tech Res Inst Inertial input apparatus with six-axial detection ability and the opearting method thereof
TWI330802B (en) * 2006-12-13 2010-09-21 Ind Tech Res Inst Inertial sensing method and system
US8141424B2 (en) 2008-09-12 2012-03-27 Invensense, Inc. Low inertia frame for detecting coriolis acceleration
US8020441B2 (en) 2008-02-05 2011-09-20 Invensense, Inc. Dual mode sensing for vibratory gyroscope
US8508039B1 (en) 2008-05-08 2013-08-13 Invensense, Inc. Wafer scale chip scale packaging of vertically integrated MEMS sensors with electronics
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
US8952832B2 (en) 2008-01-18 2015-02-10 Invensense, Inc. Interfacing application programs and motion sensors of a device
US8250921B2 (en) 2007-07-06 2012-08-28 Invensense, Inc. Integrated motion processing unit (MPU) with MEMS inertial sensing and embedded digital electronics
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US20090265671A1 (en) * 2008-04-21 2009-10-22 Invensense Mobile devices with motion gesture recognition
US7796872B2 (en) 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
US7934423B2 (en) 2007-12-10 2011-05-03 Invensense, Inc. Vertically integrated 3-axis MEMS angular accelerometer with integrated electronics
US8047075B2 (en) 2007-06-21 2011-11-01 Invensense, Inc. Vertically integrated 3-axis MEMS accelerometer with electronics
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
JP5127242B2 (ja) 2007-01-19 2013-01-23 任天堂株式会社 加速度データ処理プログラムおよびゲームプログラム
TWI330808B (en) * 2007-01-23 2010-09-21 Pixart Imaging Inc Quasi-analog knob controlling method and apparatus using the same
US9486703B2 (en) * 2007-01-31 2016-11-08 Broadcom Corporation Mobile communication device with game application for use in conjunction with a remote mobile communication device and methods for use therewith
JP4918376B2 (ja) * 2007-02-23 2012-04-18 任天堂株式会社 情報処理プログラムおよび情報処理装置
JP5060798B2 (ja) * 2007-02-23 2012-10-31 任天堂株式会社 情報処理プログラムおよび情報処理装置
US7657394B1 (en) * 2007-03-12 2010-02-02 Livermore Software Technology Corporation Direct determination of rigid body motion using data collected from independent accelerometers
JP5420824B2 (ja) * 2007-03-30 2014-02-19 任天堂株式会社 ゲーム装置およびゲームプログラム
TW200844812A (en) * 2007-05-08 2008-11-16 Ming-Yan Lin Three-demensional mouse appratus
US9176598B2 (en) * 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US8147333B2 (en) * 2007-05-09 2012-04-03 Nintendo Co. Ltd. Handheld control device for a processor-controlled system
US20080291160A1 (en) * 2007-05-09 2008-11-27 Nintendo Co., Ltd. System and method for recognizing multi-axis gestures based on handheld controller accelerometer outputs
US8100769B2 (en) * 2007-05-09 2012-01-24 Nintendo Co., Ltd. System and method for using accelerometer outputs to control an object rotating on a display
US8081162B2 (en) * 2007-05-16 2011-12-20 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical navigation device with surface and free space navigation
JP4916390B2 (ja) * 2007-06-20 2012-04-11 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US20100292007A1 (en) * 2007-06-26 2010-11-18 Nintendo Of America Inc. Systems and methods for control device including a movement detector
US7860676B2 (en) 2007-06-28 2010-12-28 Hillcrest Laboratories, Inc. Real-time dynamic tracking of bias
CN101688789B (zh) * 2007-07-03 2011-08-03 Nxp股份有限公司 传感器系统
JP5293603B2 (ja) * 2007-07-06 2013-09-18 ソニー株式会社 入力装置、制御装置、制御システム、制御方法及びハンドヘルド装置
CN101578571A (zh) 2007-07-09 2009-11-11 索尼株式会社 电子设备及其控制方法
US7826999B1 (en) 2007-08-20 2010-11-02 Pni Corporation Magnetic tilt compensated heading compass with adaptive zoffset
US20090055003A1 (en) * 2007-08-22 2009-02-26 Estes-Cox, Inc. Controlling Remote Control Devices
TWI334559B (en) * 2007-08-28 2010-12-11 Ind Tech Res Inst Interactive pointing device
CN101377722B (zh) * 2007-08-31 2011-04-20 财团法人工业技术研究院 具动作互动的空间指向装置
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US8941586B2 (en) * 2007-09-12 2015-01-27 Sony Corporation Input apparatus, control apparatus, control system, and control method
US8581845B2 (en) * 2007-09-14 2013-11-12 International Business Machines Corporation Hand activated input device with horizontal control surface
US8077143B2 (en) 2007-09-27 2011-12-13 Microsoft Corporation Motion based display management
JP4964729B2 (ja) 2007-10-01 2012-07-04 任天堂株式会社 画像処理プログラムおよび画像処理装置
JP5116424B2 (ja) * 2007-10-09 2013-01-09 任天堂株式会社 ゲームプログラムおよびゲーム装置
KR101542274B1 (ko) 2007-10-16 2015-08-06 힐크레스트 래보래토리스, 인크. 씬 클라이언트 상에서 동작하는 사용자 인터페이스의 빠르고 부드러운 스크롤링
US7973768B2 (en) * 2007-11-16 2011-07-05 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical navigation device with consolidated processing for surface and free space navigation
US8150455B2 (en) * 2007-11-27 2012-04-03 Nvidia Corporation Method and system for integrating a computer mouse function in a mobile communication device
JP5131908B2 (ja) * 2007-11-30 2013-01-30 任天堂株式会社 歩数算出プログラム、歩数算出装置、歩数算出システム、および歩数算出方法
US9098122B2 (en) * 2007-12-12 2015-08-04 The Charles Stark Draper Laboratory, Inc. Computer input device with inertial instruments
TW200929014A (en) * 2007-12-17 2009-07-01 Omni Motion Technology Corp Method that controls a controlled device by detecting movement of a hand-held control device, and the hand-held control device
KR20090065040A (ko) * 2007-12-17 2009-06-22 삼성전자주식회사 동작과 터치를 이용한 이중 포인팅 장치 및 방법
US8542907B2 (en) * 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
JP5224832B2 (ja) * 2008-01-21 2013-07-03 任天堂株式会社 情報処理プログラムおよび情報処理装置
US8344998B2 (en) * 2008-02-01 2013-01-01 Wimm Labs, Inc. Gesture-based power management of a wearable portable electronic device with display
US8239160B2 (en) * 2008-03-21 2012-08-07 Analog Devices, Inc. Activity detection in MEMS accelerometers
US9008995B2 (en) 2008-03-21 2015-04-14 Analog Devices, Inc. Activity detection in MEMS accelerometers
WO2009145854A1 (en) * 2008-04-15 2009-12-03 Hillcrest Laboratories, Inc. Tracking determination based on intensity angular gradient of a wave
JP4626671B2 (ja) * 2008-04-24 2011-02-09 ソニー株式会社 入力装置及び制御システム
GB0808081D0 (en) * 2008-05-02 2008-06-11 In2Games Ltd Bridging ultrasonic position with accelerometer/gyroscope inertial guidance
US7650253B2 (en) * 2008-05-08 2010-01-19 L-3 Communications Corporation Accelerometer and method for error compensation
TWI396967B (zh) * 2008-05-16 2013-05-21 Htc Corp 信號過濾方法及應用其之電子裝置與可讀取記錄媒體
US8010313B2 (en) 2008-06-27 2011-08-30 Movea Sa Hand held pointing device with roll compensation
US20140184509A1 (en) * 2013-01-02 2014-07-03 Movea Sa Hand held pointing device with roll compensation
FR2933212B1 (fr) * 2008-06-27 2013-07-05 Movea Sa Pointeur a capture de mouvement resolue par fusion de donnees
EP2140916B1 (en) 2008-06-30 2018-10-31 Nintendo Co., Ltd. Coordinate calculation apparatus and storage medium having coordinate calculation program stored therein
US7925467B2 (en) * 2008-06-30 2011-04-12 Nintendo Co., Ltd. Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein
EP2140919B1 (en) * 2008-06-30 2018-09-05 Nintendo Co., Ltd. Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein
EP2140917B1 (en) * 2008-06-30 2018-01-03 Nintendo Co., Ltd. Orientation calculation apparatus and storage medium having orientation calculation program stored therein
EP2140915B1 (en) * 2008-06-30 2019-03-06 Nintendo Co., Ltd. Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein
CN102099814B (zh) * 2008-07-01 2018-07-24 Idhl控股公司 3d定位器映射
JP5005627B2 (ja) * 2008-07-10 2012-08-22 任天堂株式会社 情報処理プログラムおよび情報処理装置
KR101606834B1 (ko) * 2008-07-10 2016-03-29 삼성전자주식회사 움직임과 사용자의 조작을 이용하는 입력장치 및 이에적용되는 입력방법
US8342926B2 (en) * 2008-07-13 2013-01-01 Sony Computer Entertainment America Llc Game aim assist
US8159455B2 (en) * 2008-07-18 2012-04-17 Apple Inc. Methods and apparatus for processing combinations of kinematical inputs
TWI400630B (zh) * 2008-08-11 2013-07-01 Imu Solutions Inc 選擇裝置及方法
JP5376874B2 (ja) * 2008-09-05 2013-12-25 任天堂株式会社 画像処理プログラムおよび画像処理装置
CN102159920A (zh) * 2008-09-23 2011-08-17 皇家飞利浦电子股份有限公司 用于处理来自加速度计的测量结果的方法
TWI459242B (zh) * 2008-10-01 2014-11-01 Imu Solutions Inc 慣性滑鼠與應用於其上之校正方法
US8682606B2 (en) * 2008-10-07 2014-03-25 Qualcomm Incorporated Generating virtual buttons using motion sensors
US9007396B2 (en) 2008-10-09 2015-04-14 Hillcrest Laboratories, Inc. Methods and systems for analyzing parts of an electronic file
US8576169B2 (en) 2008-10-20 2013-11-05 Sensor Platforms, Inc. System and method for determining an attitude of a device undergoing dynamic acceleration
US20110211132A1 (en) 2008-10-28 2011-09-01 Silicon Communications Technology Co., Ltd. Grid signal receiver and wireless pointing system having the same
WO2010050736A2 (ko) * 2008-10-28 2010-05-06 실리콤텍 주식회사 격자신호 수신기 및 그것을 포함한 무선 포인팅 시스템
GB0820621D0 (en) 2008-11-12 2008-12-17 Barnardo Christopher J A Remote control wand
KR101185589B1 (ko) * 2008-11-14 2012-09-24 (주)마이크로인피니티 움직임 감지를 통한 사용자 명령 입력 방법 및 디바이스
US20100123659A1 (en) * 2008-11-19 2010-05-20 Microsoft Corporation In-air cursor control
US8253801B2 (en) * 2008-12-17 2012-08-28 Sony Computer Entertainment Inc. Correcting angle error in a tracking system
US8970707B2 (en) * 2008-12-17 2015-03-03 Sony Computer Entertainment Inc. Compensating for blooming of a shape in an image
US8761434B2 (en) * 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
JP5251482B2 (ja) * 2008-12-18 2013-07-31 セイコーエプソン株式会社 入力装置およびデータ処理システム
JP5218016B2 (ja) 2008-12-18 2013-06-26 セイコーエプソン株式会社 入力装置およびデータ処理システム
JP4702475B2 (ja) * 2008-12-25 2011-06-15 ソニー株式会社 入力装置、ハンドヘルド装置及び制御方法
US8587519B2 (en) 2009-01-07 2013-11-19 Sensor Platforms, Inc. Rolling gesture detection using a multi-dimensional pointing device
US8515707B2 (en) 2009-01-07 2013-08-20 Sensor Platforms, Inc. System and method for determining an attitude of a device undergoing dynamic acceleration using a Kalman filter
WO2010080793A2 (en) 2009-01-09 2010-07-15 Hillcrest Laboratories, Inc. Zooming and panning widget for internet browsers
JP2010170388A (ja) * 2009-01-23 2010-08-05 Sony Corp 入力装置および方法、情報処理装置および方法、情報処理システム、並びにプログラム
US20100192181A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Navigate an Electonic Program Guide (EPG) Display
US20100188429A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Navigate and Present Image Libraries and Images
US20100188579A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Control and Present a Picture-In-Picture (PIP) Window Based on Movement Data
KR101554958B1 (ko) * 2009-03-06 2015-09-22 삼성전자주식회사 비주얼 코드를 이용한 원격 조작 방법 및 그 방법을 수행하는 장치
EP2228109B1 (en) 2009-03-09 2021-03-24 Nintendo Co., Ltd. Information processing apparatus, storage medium having information processing program stored therein, information processing system, and display range control method
EP2251067B1 (en) * 2009-05-07 2018-01-03 Nintendo Co., Ltd. Storage medium storing information processing program, and information processing apparatus
JP5782431B2 (ja) * 2009-05-27 2015-09-24 オブロング・インダストリーズ・インコーポレーテッド 空間動作システムと共に用いるための空間マルチモード制御デバイス
US9058063B2 (en) * 2009-05-30 2015-06-16 Sony Computer Entertainment Inc. Tracking system calibration using object position and orientation
US20100309121A1 (en) * 2009-06-09 2010-12-09 Kai-Fen Huang Electonic apparatus with deviation correction of cursor position
TW201044226A (en) * 2009-06-10 2010-12-16 Weistech Technology Co Ltd Integrated wired/wireless virtual unit control apparatus and method
KR101607476B1 (ko) * 2009-06-12 2016-03-31 삼성전자주식회사 휴대용 단말기에서 모션 인식 장치 및 방법
US9304601B2 (en) * 2009-07-08 2016-04-05 Open Invention Network, Llc System, method, and computer-readable medium for facilitating adaptive technologies
KR101607264B1 (ko) * 2009-07-10 2016-04-11 엘지전자 주식회사 3ｄ 포인팅 디바이스, ｄｔｖ, ｄｔｖ의 제어방법 및 ｄｔｖ 시스템
US9690386B2 (en) 2009-07-14 2017-06-27 Cm Hk Limited Method and apparatus for performing motion recognition using motion sensor fusion, and associated computer program product
US9760186B2 (en) 2010-01-06 2017-09-12 Cm Hk Limited Electronic device for use in motion detection and method for obtaining resultant deviation thereof
US8441438B2 (en) * 2010-01-06 2013-05-14 Cywee Group Limited 3D pointing device and method for compensating movement thereof
US20110050563A1 (en) * 2009-08-31 2011-03-03 Timothy Douglas Skutt Method and system for a motion compensated input device
US8438503B2 (en) * 2009-09-02 2013-05-07 Universal Electronics Inc. System and method for enhanced command input
KR20110035609A (ko) * 2009-09-30 2011-04-06 삼성전자주식회사 움직임 감지 장치 및 방법
CA2776877C (en) 2009-10-06 2017-07-18 Leonard Rudy Dueckman A method and an apparatus for controlling a machine using motion based signals and inputs
US20110093888A1 (en) * 2009-10-21 2011-04-21 John Araki User selection interface for interactive digital television
US8325136B2 (en) 2009-12-01 2012-12-04 Raytheon Company Computer display pointer device for a display
US8649999B1 (en) * 2009-12-28 2014-02-11 Hillcrest Laboratories, Inc. Methods, devices and systems for determining the zero rate output of a sensor
US8552978B2 (en) 2010-01-06 2013-10-08 Cywee Group Limited 3D pointing device and method for compensating rotations of the 3D pointing device thereof
KR101646953B1 (ko) * 2010-01-12 2016-08-09 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US8810514B2 (en) * 2010-02-12 2014-08-19 Microsoft Corporation Sensor-based pointing device for natural input and interaction
CN101788851A (zh) * 2010-02-22 2010-07-28 中国电信股份有限公司 模拟手柄运动的方法与系统
US20110231484A1 (en) * 2010-03-22 2011-09-22 Hillcrest Laboratories, Inc. TV Internet Browser
CN101819475A (zh) * 2010-04-06 2010-09-01 郭小卫 一种指示设备获取指示信息的方法
US20110252349A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Folders
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US8581905B2 (en) * 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
US8760392B2 (en) * 2010-04-20 2014-06-24 Invensense, Inc. Wireless motion processing sensor systems suitable for mobile and battery operation
US9310887B2 (en) 2010-05-06 2016-04-12 James W. Wieder Handheld and wearable remote-controllers
US9201516B2 (en) 2010-06-03 2015-12-01 Hillcrest Laboratories, Inc. Determining forward pointing direction of a handheld device
US8966400B2 (en) * 2010-06-07 2015-02-24 Empire Technology Development Llc User movement interpretation in computer generated reality
WO2011163481A2 (en) 2010-06-23 2011-12-29 Hillcrest Laboratories Inc. Television sign on for personalization in a multi-user environment
US9788075B2 (en) * 2010-08-27 2017-10-10 Intel Corporation Techniques for augmenting a digital on-screen graphic
TW201209638A (en) * 2010-08-30 2012-03-01 Rayfalcon Technology Corp Gesture wireless remote control system
CN103153790B (zh) * 2010-10-01 2016-06-08 希尔克瑞斯特实验室公司 使用运动传感器和附接至装置的磁力计的测量数据估计该装置在重力参照系中的偏航角的设备和方法
US8957909B2 (en) 2010-10-07 2015-02-17 Sensor Platforms, Inc. System and method for compensating for drift in a display of a user interface state
US8555205B2 (en) * 2010-10-08 2013-10-08 Cywee Group Limited System and method utilized for human and machine interface
US8704766B1 (en) 2010-10-29 2014-04-22 Hillcrest Laboratories, Inc. Apparatusses and methods to supress unintended motion of a pointing device
US8253684B1 (en) * 2010-11-02 2012-08-28 Google Inc. Position and orientation determination for a mobile computing device
EP2455841A3 (en) * 2010-11-22 2015-07-15 Samsung Electronics Co., Ltd. Apparatus and method for selecting item using movement of object
CN107943403B (zh) 2010-11-22 2022-11-01 Idhl控股公司 具有上下左右模式切换和集成的挥动检测器的3d定位装置
US8907892B2 (en) 2010-11-22 2014-12-09 Hillcrest Laboratories, Inc. 3D pointing device with up-down-left-right mode switching and integrated swipe detector
US10897482B2 (en) 2010-11-29 2021-01-19 Biocatch Ltd. Method, device, and system of back-coloring, forward-coloring, and fraud detection
US12101354B2 (en) * 2010-11-29 2024-09-24 Biocatch Ltd. Device, system, and method of detecting vishing attacks
US11269977B2 (en) 2010-11-29 2022-03-08 Biocatch Ltd. System, apparatus, and method of collecting and processing data in electronic devices
US10298614B2 (en) * 2010-11-29 2019-05-21 Biocatch Ltd. System, device, and method of generating and managing behavioral biometric cookies
US10685355B2 (en) 2016-12-04 2020-06-16 Biocatch Ltd. Method, device, and system of detecting mule accounts and accounts used for money laundering
US10970394B2 (en) 2017-11-21 2021-04-06 Biocatch Ltd. System, device, and method of detecting vishing attacks
US10069837B2 (en) 2015-07-09 2018-09-04 Biocatch Ltd. Detection of proxy server
US10917431B2 (en) 2010-11-29 2021-02-09 Biocatch Ltd. System, method, and device of authenticating a user based on selfie image or selfie video
US10586036B2 (en) 2010-11-29 2020-03-10 Biocatch Ltd. System, device, and method of recovery and resetting of user authentication factor
US20190158535A1 (en) * 2017-11-21 2019-05-23 Biocatch Ltd. Device, System, and Method of Detecting Vishing Attacks
US10262324B2 (en) 2010-11-29 2019-04-16 Biocatch Ltd. System, device, and method of differentiating among users based on user-specific page navigation sequence
US10747305B2 (en) 2010-11-29 2020-08-18 Biocatch Ltd. Method, system, and device of authenticating identity of a user of an electronic device
US10949514B2 (en) 2010-11-29 2021-03-16 Biocatch Ltd. Device, system, and method of differentiating among users based on detection of hardware components
US11210674B2 (en) * 2010-11-29 2021-12-28 Biocatch Ltd. Method, device, and system of detecting mule accounts and accounts used for money laundering
US10776476B2 (en) 2010-11-29 2020-09-15 Biocatch Ltd. System, device, and method of visual login
US10474815B2 (en) 2010-11-29 2019-11-12 Biocatch Ltd. System, device, and method of detecting malicious automatic script and code injection
US11223619B2 (en) 2010-11-29 2022-01-11 Biocatch Ltd. Device, system, and method of user authentication based on user-specific characteristics of task performance
US10728761B2 (en) 2010-11-29 2020-07-28 Biocatch Ltd. Method, device, and system of detecting a lie of a user who inputs data
US10404729B2 (en) 2010-11-29 2019-09-03 Biocatch Ltd. Device, method, and system of generating fraud-alerts for cyber-attacks
US10621585B2 (en) 2010-11-29 2020-04-14 Biocatch Ltd. Contextual mapping of web-pages, and generation of fraud-relatedness score-values
US10949757B2 (en) 2010-11-29 2021-03-16 Biocatch Ltd. System, device, and method of detecting user identity based on motor-control loop model
US10834590B2 (en) 2010-11-29 2020-11-10 Biocatch Ltd. Method, device, and system of differentiating between a cyber-attacker and a legitimate user
JP5640716B2 (ja) * 2010-12-15 2014-12-17 ソニー株式会社 情報処理装置及び情報処理システム
JP2012141930A (ja) 2011-01-06 2012-07-26 Sony Corp 情報処理装置、情報処理システム及び情報処理方法
US9030405B2 (en) 2011-02-04 2015-05-12 Invensense, Inc. High fidelity remote controller device for digital living room
US9013264B2 (en) 2011-03-12 2015-04-21 Perceptive Devices, Llc Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
FI20115250L (fi) 2011-03-14 2012-09-15 Vti Technologies Oy Osoittamismenetelmä, sitä varten laite ja järjestelmä
KR20120105818A (ko) 2011-03-16 2012-09-26 한국전자통신연구원 이벤트 기반의 정보입력 장치 및 방법
CN102778965B (zh) * 2011-03-28 2017-04-12 香港商曦恩体感科技股份有限公司 3d指示装置与补偿3d指示装置的转动的方法
TWI494797B (zh) * 2011-03-28 2015-08-01 Cywee Group Ltd 用於動作感測的電子裝置及取得其結果偏差的方法
US8884877B2 (en) 2011-04-29 2014-11-11 Movea Pointing device
US8612426B2 (en) * 2011-06-20 2013-12-17 Conifer Research Llc Systems and methods for arranging participant interview clips for ethnographic research
KR101893601B1 (ko) * 2011-07-22 2018-08-31 삼성전자 주식회사 디스플레이장치의 입력장치, 디스플레이 시스템 및 그 제어방법
CN102915171A (zh) * 2011-08-04 2013-02-06 王振兴 移动轨迹产生方法
CN102289305B (zh) * 2011-08-29 2013-12-11 江苏惠通集团有限责任公司 姿态感知设备及其定位方法、鼠标指针的控制方法
JP5816032B2 (ja) * 2011-09-09 2015-11-17 任天堂株式会社 入力装置、入力処理プログラム、入力処理方法、入力処理システム
FR2980005A1 (fr) 2011-09-09 2013-03-15 Movea Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede
US9142182B2 (en) * 2011-10-07 2015-09-22 Lg Electronics Inc. Device and control method thereof
US9007302B1 (en) 2011-11-11 2015-04-14 Benjamin D. Bandt-Horn Device and user interface for visualizing, navigating, and manipulating hierarchically structured information on host electronic devices
US9442517B2 (en) 2011-11-30 2016-09-13 Blackberry Limited Input gestures using device movement
US8994694B2 (en) 2011-11-30 2015-03-31 Blackberry Limited Optical interference based user input device
ITTO20111144A1 (it) * 2011-12-13 2013-06-14 St Microelectronics Srl Sistema e metodo di compensazione dell'orientamento di un dispositivo portatile
US9459276B2 (en) 2012-01-06 2016-10-04 Sensor Platforms, Inc. System and method for device self-calibration
WO2013104006A2 (en) 2012-01-08 2013-07-11 Sensor Platforms, Inc. System and method for calibrating sensors for different operating environments
US8610663B2 (en) 2012-02-06 2013-12-17 Lg Electronics Inc. Portable device and method for controlling the same
KR20130092262A (ko) * 2012-02-10 2013-08-20 삼성전자주식회사 방송수신장치 및 이를 이용한 웹페이지 접근 경로 제공방법
US9228842B2 (en) 2012-03-25 2016-01-05 Sensor Platforms, Inc. System and method for determining a uniform external magnetic field
KR101956173B1 (ko) 2012-03-26 2019-03-08 삼성전자주식회사 3차원 위치/방향 추정 시스템의 보정 장치 및 방법
JP5602181B2 (ja) * 2012-04-24 2014-10-08 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
DE202013100255U1 (de) * 2012-06-20 2013-04-12 Samsung Electronics Co. Ltd. Anzeigevorrichtung, Fernbedienungsvorrichtung sowie Bedienungsfunktion derselben
US8913008B2 (en) * 2012-06-22 2014-12-16 Blackberry Limited Image data generation using a handheld electronic device
US9098516B2 (en) * 2012-07-18 2015-08-04 DS Zodiac, Inc. Multi-dimensional file system
US8752761B2 (en) 2012-09-21 2014-06-17 Symbol Technologies, Inc. Locationing using mobile device, camera, and a light source
EP2909701A4 (en) 2012-10-19 2016-08-10 Interphase Corp MOTION COMPENSATION IN AN INTERACTIVE DISPLAY SYSTEM
TW201419047A (zh) * 2012-11-14 2014-05-16 Pixart Imaging Inc 手持式電子裝置、其操作方法及其電腦程式產品
US9726498B2 (en) 2012-11-29 2017-08-08 Sensor Platforms, Inc. Combining monitoring sensor measurements and system signals to determine device context
US9733729B2 (en) 2012-12-26 2017-08-15 Movea Method and device for sensing orientation of an object in space in a fixed frame of reference
JP5841958B2 (ja) * 2013-02-22 2016-01-13 セイコーエプソン株式会社 データ処理システム
US9244538B2 (en) * 2013-03-08 2016-01-26 Microsoft Technology Licensing, Llc Using portable electronic devices for user input
US20170039867A1 (en) 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
US20140281559A1 (en) * 2013-03-15 2014-09-18 Marc Trachtenberg Systems and Methods for Distributing, Displaying, Viewing, and Controlling Digital Art and Imaging
US10120461B2 (en) 2013-05-01 2018-11-06 Idhl Holdings, Inc. Mapped variable smoothing evolution method and device
US9482554B2 (en) * 2013-05-02 2016-11-01 Hillcrest Laboratories, Inc. Gyroscope stabilizer filter
US20140340300A1 (en) * 2013-05-17 2014-11-20 Rolocule Games Private Limited System and method for using handheld device as wireless controller
US20180046265A1 (en) * 2013-06-06 2018-02-15 Idhl Holdings, Inc. Latency Masking Systems and Methods
JP2015049822A (ja) * 2013-09-04 2015-03-16 ソニー株式会社 表示制御装置、表示制御方法、表示制御信号生成装置、表示制御信号生成方法、プログラム、および表示制御システム
WO2015065402A1 (en) 2013-10-30 2015-05-07 Bodhi Technology Ventures Llc Displaying relevant use interface objects
USD751072S1 (en) 2014-02-18 2016-03-08 Merge Labs, Inc. Mobile head mounted display
EP3108287A4 (en) 2014-02-18 2017-11-08 Merge Labs, Inc. Head mounted display goggles for use with mobile computing devices
CN103822645B (zh) * 2014-03-03 2016-08-17 上海电力学院 一种角度融合算法验证校正方法
WO2015153890A1 (en) 2014-04-02 2015-10-08 Hillcrest Laboratories, Inc. Systems and methods for touch screens associated with a display
JP6333075B2 (ja) * 2014-06-04 2018-05-30 株式会社トプコン 測量装置
JP2014241161A (ja) * 2014-08-28 2014-12-25 セイコーエプソン株式会社 入力装置およびデータ処理システム
CN105808182B (zh) 2015-01-15 2019-09-17 财团法人工业技术研究院 显示控制方法及系统、广告破口判断装置、影音处理装置
US9977565B2 (en) 2015-02-09 2018-05-22 Leapfrog Enterprises, Inc. Interactive educational system with light emitting controller
USD755789S1 (en) 2015-02-20 2016-05-10 Merge Labs, Inc. Mobile head mounted display
USD760701S1 (en) 2015-02-20 2016-07-05 Merge Labs, Inc. Mobile head mounted display controller
FR3035718B1 (fr) * 2015-04-28 2017-05-26 Centre Nat Detudes Spatiales Cnes Procede de controle d'un dispositif de calcul via un element mobile et systeme de controle mettant en oeuvre ce procede
GB2539705B (en) 2015-06-25 2017-10-25 Aimbrain Solutions Ltd Conditional behavioural biometrics
EP3371703B1 (en) 2015-11-02 2020-02-12 Intel IP Corporation Restoring virtual network function (vnf) performance via vnf reset of lifecycle management
CN105371846B (zh) * 2015-11-13 2018-01-05 广州周立功单片机科技有限公司 载体姿态检测方法及其系统
US10429935B2 (en) 2016-02-08 2019-10-01 Comcast Cable Communications, Llc Tremor correction for gesture recognition
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
US10325462B2 (en) * 2016-06-03 2019-06-18 Arwin Technology Limited Wireless motion monitoring system and method thereof
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
GB2552032B (en) 2016-07-08 2019-05-22 Aimbrain Solutions Ltd Step-up authentication
CN106197376B (zh) * 2016-09-23 2018-08-07 华南农业大学 基于单轴mems惯性传感器的车身倾角测量方法
US10579784B2 (en) 2016-11-02 2020-03-03 Biocatch Ltd. System, device, and method of secure utilization of fingerprints for user authentication
US11099031B2 (en) 2016-12-19 2021-08-24 Idhl Holdings, Inc. Methods and apparatus for determining the zero rate output of a sensor using a learning algorithm
US10013081B1 (en) * 2017-04-04 2018-07-03 Google Llc Electronic circuit and method to account for strain gauge variation
US10635255B2 (en) 2017-04-18 2020-04-28 Google Llc Electronic device response to force-sensitive interface
US10397262B2 (en) 2017-07-20 2019-08-27 Biocatch Ltd. Device, system, and method of detecting overlay malware
FR3073622B1 (fr) 2017-11-13 2021-06-25 Sas Joyeuse Procede de commande d'un objet portable et objet portable controle par un tel procede
US10555781B2 (en) * 2017-11-15 2020-02-11 Stryker Corporation High bandwidth and low latency hybrid communication techniques for a navigation system
US10701431B2 (en) * 2017-11-16 2020-06-30 Adobe Inc. Handheld controller gestures for virtual reality video playback
EP3759431A1 (en) 2018-02-28 2021-01-06 Ceva Technologies, Inc. Methods and apparatus for planar magnetometer calibration, heading determination, gyroscope assisted magnetometer amplitude calibration, magnetometer amplitude and alignment calibration, magnetometer mapping, and sensor fusion
EP3857167B1 (en) 2018-09-25 2024-09-25 Ceva Technologies, Inc. Methods and apparatus for calibrating the zero rate output of a sensor
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
CN112053665A (zh) 2019-06-07 2020-12-08 三星电子株式会社 用于补偿显示器的屏幕移动的方法以及支持其的电子设备
WO2020264507A1 (en) 2019-06-28 2020-12-30 Ceva Technologies, Inc. Methods, apparatus and systems using motion of various input devices for controlling consumer devices
CN110444149A (zh) * 2019-08-13 2019-11-12 四川长虹电器股份有限公司 Led屏幕与无线高亮显示控制器的联动系统及其联动方法
DE102020205943B3 (de) * 2020-05-12 2021-05-20 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Verarbeiten der Sensorsignale einer Drehratensensoranordnung, Vorrichtung und Verfahren zum Betreiben der Vorrichtung
KR102349107B1 (ko) * 2020-07-20 2022-01-07 현대오토에버 주식회사 오토사 플랫폼에서 러너블 실행을 관리하는 방법
EP4002064A1 (en) * 2020-11-18 2022-05-25 XRSpace CO., LTD. Method and system for showing a cursor for user interaction on a display device
US11606353B2 (en) 2021-07-22 2023-03-14 Biocatch Ltd. System, device, and method of generating and utilizing one-time passwords

Family Cites Families (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3474241A (en) 1966-10-06 1969-10-21 Jack Kuipers Coordinate transformer
US3660648A (en) 1969-10-15 1972-05-02 Northrop Corp Angular rate coordinate transformer
US4038876A (en) 1976-03-04 1977-08-02 Systron Donner Corporation Acceleration error compensated attitude sensing and control apparatus and method
NL7905061A (nl) 1979-06-29 1980-12-31 Hollandse Signaalapparaten Bv Werkwijze en inrichting voor het automatisch meten van richtfouten en het verbeteren van richtwaarden bij het schieten en richten van ballistische wapens tegen bewegende doelen.
DE3103467A1 (de) 1981-02-02 1982-08-26 Teldix Gmbh, 6900 Heidelberg Kurskreisel
GB8301653D0 (en) 1983-01-21 1989-07-05 Secr Defence Improvements in or relating to gun laying
US4578674A (en) 1983-04-20 1986-03-25 International Business Machines Corporation Method and apparatus for wireless cursor position control
JPS60143330A (ja) 1983-12-29 1985-07-29 Matsushita Electric Ind Co Ltd 撮影装置
US4787051A (en) * 1986-05-16 1988-11-22 Tektronix, Inc. Inertial mouse system
US5369889A (en) 1986-07-07 1994-12-06 Honeywell Inc. Single gyro northfinder
US4839838A (en) * 1987-03-30 1989-06-13 Labiche Mitchell Spatial input apparatus
KR960008074B1 (ko) 1987-04-29 1996-06-19 헬무트 후버티. 신체 부분상에 가해진 하중 탐지 장치
US5045843B1 (en) * 1988-12-06 1996-07-16 Selectech Ltd Optical pointing device
US5327161A (en) 1989-08-09 1994-07-05 Microtouch Systems, Inc. System and method for emulating a mouse input device with a touchpad input device
JP2881881B2 (ja) 1989-12-22 1999-04-12 日新電機株式会社 電子シャワー
JP2612949B2 (ja) 1990-02-01 1997-05-21 信越化学工業株式会社 光ファイバプリフォーム母材の製造方法
JP2867564B2 (ja) 1990-03-13 1999-03-08 オムロン株式会社 印刷装置
US5440326A (en) * 1990-03-21 1995-08-08 Gyration, Inc. Gyroscopic pointer
JPH03273531A (ja) 1990-03-23 1991-12-04 Seiko Epson Corp レンズアクチュエータ
US5138154A (en) * 1990-04-04 1992-08-11 Gyration Inc. Shaft angle encoder with rotating off-axis interference pattern
US5128671A (en) 1990-04-12 1992-07-07 Ltv Aerospace And Defense Company Control device having multiple degrees of freedom
US5396265A (en) * 1990-09-17 1995-03-07 Massachusetts Institute Of Technology Three-dimensional tactile computer input device
US5181181A (en) * 1990-09-27 1993-01-19 Triton Technologies, Inc. Computer apparatus input device for three-dimensional information
JPH04218824A (ja) 1990-12-19 1992-08-10 Yaskawa Electric Corp 多次元情報入力装置
US6069594A (en) * 1991-07-29 2000-05-30 Logitech, Inc. Computer input device with multiple switches using single line
JPH06511340A (ja) 1991-10-04 1994-12-15 マイクロメッド・システムズ・インコーポレイテッド ポケット大のコンピュータ入力装置および方法
US5459489A (en) 1991-12-05 1995-10-17 Tv Interactive Data Corporation Hand held electronic remote control device
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
JPH0644005A (ja) 1992-01-24 1994-02-18 Seiko Instr Inc 座標入力装置
US5280744A (en) 1992-01-27 1994-01-25 Alliedsignal Inc. Method for aiming towed field artillery pieces
US5359348A (en) * 1992-05-21 1994-10-25 Selectech, Ltd. Pointing device having improved automatic gain control and information reporting
US5543591A (en) 1992-06-08 1996-08-06 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US5481957A (en) 1992-07-06 1996-01-09 Alliedsignal Inc. Aiming and pointing system for ground based weapons equipment
US5296871A (en) * 1992-07-27 1994-03-22 Paley W Bradford Three-dimensional mouse with tactile feedback
US5453758A (en) * 1992-07-31 1995-09-26 Sony Corporation Input apparatus
US7098891B1 (en) 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
US5430435A (en) 1992-11-13 1995-07-04 Rhys Resources Adjustable athletic training system
NL9300171A (nl) 1993-01-28 1994-08-16 Josephus Godefridus Wilhelmus Computer-Muis gebaseerd op een daarin aangebracht stelsel van versnelling-opnemers.
JPH07284166A (ja) 1993-03-12 1995-10-27 Mitsubishi Electric Corp 遠隔操作装置
US5822713A (en) 1993-04-05 1998-10-13 Contraves Usa Guided fire control system
JPH0728591A (ja) * 1993-05-13 1995-01-31 Toshiba Corp 空間操作マウスシステム及び空間動作パターン入力方法
US5598187A (en) * 1993-05-13 1997-01-28 Kabushiki Kaisha Toshiba Spatial motion pattern input system and input method
US5373857A (en) 1993-06-18 1994-12-20 Forte Technologies, Inc. Head tracking apparatus
US5484355A (en) 1993-10-01 1996-01-16 Smith & Nephew Roylan, Inc. System for therapeutic exercise and evaluation
JP2901476B2 (ja) 1993-12-27 1999-06-07 アルプス電気株式会社 位置検出装置および位置検出方法
TW256900B (ja) 1993-11-25 1995-09-11 Alps Electric Co Ltd
GB2317254B (en) 1993-11-25 1998-07-01 Alps Electric Co Ltd Transmitting/receiving apparatus
US5574479A (en) 1994-01-07 1996-11-12 Selectech, Ltd. Optical system for determining the roll orientation of a remote unit relative to a base unit
US5615132A (en) 1994-01-21 1997-03-25 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers
JP3406046B2 (ja) 1994-03-03 2003-05-12 オリンパス光学工業株式会社 ブレ補正可能なカメラ
US5573011A (en) 1994-04-08 1996-11-12 Felsing; Gary W. System for quantifying neurological function
GB2289756B (en) 1994-05-26 1998-11-11 Alps Electric Co Ltd Space coordinates detecting device and input apparatus using same
US5645077A (en) 1994-06-16 1997-07-08 Massachusetts Institute Of Technology Inertial orientation tracker apparatus having automatic drift compensation for tracking human head and other similarly sized body
KR100336151B1 (ko) 1994-06-27 2002-09-05 세르게이 페오도시에비키 코노발로브 서보 가속도계
US5572221A (en) 1994-10-26 1996-11-05 Telefonaktiebolaget Lm Ericsson Method and apparatus for detecting and predicting motion of mobile terminals
GB2319374B (en) 1994-11-30 1998-07-01 Alps Electric Co Ltd Remote coordinate designating device
US5835077A (en) 1995-01-13 1998-11-10 Remec, Inc., Computer control device
US5757360A (en) 1995-05-03 1998-05-26 Mitsubishi Electric Information Technology Center America, Inc. Hand held computer control device
JP3517482B2 (ja) 1995-06-08 2004-04-12 キヤノン株式会社 座標検出装置及び方法
US6002394A (en) * 1995-10-02 1999-12-14 Starsight Telecast, Inc. Systems and methods for linking television viewers with advertisers and broadcasters
US6049823A (en) * 1995-10-04 2000-04-11 Hwang; Ivan Chung-Shung Multi server, interactive, video-on-demand television system utilizing a direct-access-on-demand workgroup
GB2307133A (en) 1995-11-13 1997-05-14 Secr Defence Video camera image stabilisation system
US6100874A (en) 1995-11-17 2000-08-08 Immersion Corporation Force feedback mouse interface
US5892501A (en) 1996-01-17 1999-04-06 Lg Electronics Inc, Three dimensional wireless pointing device
US5867146A (en) 1996-01-17 1999-02-02 Lg Electronics Inc. Three dimensional wireless pointing device
US5698784A (en) * 1996-01-24 1997-12-16 Gyration, Inc. Vibratory rate gyroscope and methods of assembly and operation
US5703623A (en) * 1996-01-24 1997-12-30 Hall; Malcolm G. Smart orientation sensing circuit for remote control
US6164808A (en) * 1996-02-09 2000-12-26 Murata Mfg. Co., Ltd. Three-dimensional data input device
US5825350A (en) * 1996-03-13 1998-10-20 Gyration, Inc. Electronic pointing apparatus and method
JPH09282085A (ja) * 1996-04-15 1997-10-31 Mitsumi Electric Co Ltd 位置情報入力装置
US5955988A (en) * 1996-08-14 1999-09-21 Samsung Electronics Co., Ltd. Graphical user interface for establishing installation location for satellite based television system
US5835156A (en) * 1996-08-14 1998-11-10 Samsung Electroncis, Ltd. Television graphical user interface employing remote random access pointing device
US6016144A (en) * 1996-08-14 2000-01-18 Samsung Electronics Co., Ltd. Multi-layered television graphical user interface
US6115028A (en) * 1996-08-22 2000-09-05 Silicon Graphics, Inc. Three dimensional input system using tilt
US5745226A (en) 1996-11-04 1998-04-28 Litton Systems, Inc. Passive optical velocity measurement device and method
US5883619A (en) 1996-11-12 1999-03-16 Primax Electronics Ltd. Computer mouse for scrolling a view of an image
US5796354A (en) 1997-02-07 1998-08-18 Reality Quest Corp. Hand-attachable controller with direction sensing
GB2325537B8 (en) 1997-03-31 2000-01-31 Microsoft Corp Query-based electronic program guide
JP3710603B2 (ja) * 1997-07-25 2005-10-26 株式会社リコー ペン型入力装置
JP3748483B2 (ja) * 1997-09-12 2006-02-22 株式会社リコー 姿勢入力装置、姿勢入力機能を備えるペン型入力装置及びそのペン型入力装置を有するペン型入力システム
US5912612A (en) * 1997-10-14 1999-06-15 Devolpi; Dean R. Multi-speed multi-direction analog pointing device
US6353764B1 (en) 1997-11-27 2002-03-05 Matsushita Electric Industrial Co., Ltd. Control method
US6181329B1 (en) * 1997-12-23 2001-01-30 Ricoh Company, Ltd. Method and apparatus for tracking a hand-held writing instrument with multiple sensors that are calibrated by placing the writing instrument in predetermined positions with respect to the writing surface
KR100564132B1 (ko) 1998-05-13 2006-03-27 가부시키가이샤 세가 총형 콘트롤러 및 게임 장치
EP0979990B1 (de) 1998-08-10 2002-05-22 Deutsches Zentrum für Luft- und Raumfahrt e.V. Anordnung zum Auslösen von technischen Steueroperationen und/oder zum Auslösen der Ausführung von technischen Funktionen
JP2000056897A (ja) * 1998-08-11 2000-02-25 Toshiba Corp コンピュータシステム
US6369794B1 (en) 1998-09-09 2002-04-09 Matsushita Electric Industrial Co., Ltd. Operation indication outputting device for giving operation indication according to type of user's action
JP2000270237A (ja) 1999-03-15 2000-09-29 Nippon Hoso Kyokai <Nhk> 画像表示装置用選択装置
JP2000308756A (ja) 1999-04-27 2000-11-07 Taito Corp ゲーム装置の入力制御装置
US6473713B1 (en) 1999-09-20 2002-10-29 American Gnc Corporation Processing method for motion measurement
US6753849B1 (en) * 1999-10-27 2004-06-22 Ken Curran & Associates Universal remote TV mouse
US6466198B1 (en) 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
JP2001175412A (ja) 1999-12-15 2001-06-29 Shigekazu Koshiba 多軸一体型加速度検出器による電子機器用リモートコントロール装置
US7500917B2 (en) 2000-02-22 2009-03-10 Creative Kingdoms, Llc Magical wand and interactive play experience
US20030159051A1 (en) 2000-03-27 2003-08-21 Wilhelm Hollnagel Method for generating electronic signatures
JP2002011250A (ja) 2000-04-25 2002-01-15 Nintendo Co Ltd ゲームシステムおよび携帯ゲーム機
DE10029173A1 (de) 2000-06-19 2002-01-03 Deutsch Zentr Luft & Raumfahrt Verfahren und Anordnung zum Kommandieren von Steuerungsoperationen für kinematische Bewegungen eines Objekts unter Verwendung eines von Hand betätigbaren Eingabegerätes
JP4043702B2 (ja) * 2000-08-16 2008-02-06 日本放送協会 表示画面指示装置
JP2002091692A (ja) 2000-09-12 2002-03-29 Seiko Instruments Inc ポインティングシステム
US6757446B1 (en) * 2000-11-27 2004-06-29 Microsoft Corporation System and process for image-based relativistic rendering
JP2002312117A (ja) * 2001-04-17 2002-10-25 Japan Aviation Electronics Industry Ltd 円筒映像球面映像コントロール装置
US6929548B2 (en) 2002-04-23 2005-08-16 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices
US6650313B2 (en) 2001-04-26 2003-11-18 International Business Machines Corporation Method and adapter for performing assistive motion data processing and/or button data processing external to a computer
US6847351B2 (en) * 2001-08-13 2005-01-25 Siemens Information And Communication Mobile, Llc Tilt-based pointing for hand-held devices
US6770863B2 (en) 2001-10-26 2004-08-03 Agilent Technologies, Inc. Apparatus and method for three-dimensional relative movement sensing
US6687390B2 (en) 2001-12-04 2004-02-03 Applied Neural Conputing Ltd. System for and method of web signature recognition system based on object map
US20030107551A1 (en) 2001-12-10 2003-06-12 Dunker Garrett Storm Tilt input device
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US6982697B2 (en) 2002-02-07 2006-01-03 Microsoft Corporation System and process for selecting objects in a ubiquitous computing environment
DE10219198A1 (de) 2002-04-29 2003-11-06 Univ Leipzig Gerät zur Steuerung einer logischen Markierung auf einer Anzeige
JP2004062774A (ja) 2002-07-31 2004-02-26 Sharp Corp プレゼンテーション用表示装置
US6984208B2 (en) 2002-08-01 2006-01-10 The Hong Kong Polytechnic University Method and apparatus for sensing body gesture, posture and movement
JP2004086511A (ja) * 2002-08-27 2004-03-18 Innotech Corp 電子機器およびポインタ移動方法
JP2004126756A (ja) * 2002-09-30 2004-04-22 Pentel Corp 座標入力装置の補正値設定方法
US20040095317A1 (en) * 2002-11-20 2004-05-20 Jingxi Zhang Method and apparatus of universal remote pointing control for home entertainment system and computer
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20050008148A1 (en) 2003-04-02 2005-01-13 Dov Jacobson Mouse performance identification
US20040268393A1 (en) * 2003-05-08 2004-12-30 Hunleth Frank A. Control framework with a zoomable graphical user interface for organizing, selecting and launching media items
US20040229693A1 (en) 2003-05-13 2004-11-18 Clifton Lind Multiple video display gaming machine and gaming system
US7038661B2 (en) 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
US7489299B2 (en) * 2003-10-23 2009-02-10 Hillcrest Laboratories, Inc. User interface devices and methods employing accelerometers
US6998966B2 (en) * 2003-11-26 2006-02-14 Nokia Corporation Mobile communication device having a functional cover for controlling sound applications by motion
US7301529B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Context dependent gesture response
US7173604B2 (en) 2004-03-23 2007-02-06 Fujitsu Limited Gesture identification of controlled devices
KR101192514B1 (ko) * 2004-04-30 2012-10-17 힐크레스트 래보래토리스, 인크. 틸트 보상과 향상된 사용성을 갖는 3ｄ 포인팅 장치
JP2007535774A (ja) * 2004-04-30 2007-12-06 ヒルクレスト・ラボラトリーズ・インコーポレイテッド 自由空間ポインティングデバイスにおける意図的でない動きを除去するための方法およびデバイス
PL2337016T3 (pl) * 2004-04-30 2018-07-31 Idhl Holdings Inc Urządzenia wskazujące w przestrzeni swobodnej, z kompensacją nachylenia i usprawnioną użytecznością
CN102566751B (zh) * 2004-04-30 2016-08-03 希尔克瑞斯特实验室公司 自由空间定位装置和方法
JP2006113019A (ja) 2004-10-18 2006-04-27 Alps Electric Co Ltd ３軸型電子コンパス及びこれを用いた方位検出方法
US7683883B2 (en) * 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
US20060262116A1 (en) 2005-05-19 2006-11-23 Hillcrest Laboratories, Inc. Global navigation objects in user interfaces
KR101288186B1 (ko) 2005-07-01 2013-07-19 힐크레스트 래보래토리스, 인크. 3ｄ 포인팅 장치
US8610664B2 (en) 2005-07-11 2013-12-17 Koninklijke Philips N.V. Method of controlling a control point position on a command area and method for control of a device
US7353134B2 (en) 2006-03-09 2008-04-01 Dean A. Cirielli Three-dimensional position and motion telemetry input
US7188045B1 (en) 2006-03-09 2007-03-06 Dean A. Cirielli Three-dimensional position and motion telemetry input
TWI317498B (en) 2006-12-12 2009-11-21 Ind Tech Res Inst Inertial input apparatus with six-axial detection ability and the opearting method thereof

Also Published As

Publication number Publication date
EP1741088A2 (en) 2007-01-10
JP2012190479A (ja) 2012-10-04
IN2014DN09404A (ja) 2015-07-17
DK2337016T3 (en) 2018-04-23
KR101192514B1 (ko) 2012-10-17
US7262760B2 (en) 2007-08-28
KR20100096257A (ko) 2010-09-01
JP5053078B2 (ja) 2012-10-17
US20070257885A1 (en) 2007-11-08
US20070091068A1 (en) 2007-04-26
DE202005022038U1 (de) 2012-07-12
WO2005108119A3 (en) 2006-06-29
JP2007535776A (ja) 2007-12-06
PL1741088T3 (pl) 2012-08-31
WO2005108119A2 (en) 2005-11-17
US7414611B2 (en) 2008-08-19
US7158118B2 (en) 2007-01-02
EP1741088A4 (en) 2008-04-09
ES2664472T3 (es) 2018-04-19
US8072424B2 (en) 2011-12-06
US20050243062A1 (en) 2005-11-03
EP1741088B1 (en) 2012-03-21
JP6026483B2 (ja) 2016-11-16
JP2015015058A (ja) 2015-01-22
ES2384572T3 (es) 2012-07-09
US20080291163A1 (en) 2008-11-27
ATE550709T1 (de) 2012-04-15

Similar Documents

Publication Publication Date Title
JP6026483B2 (ja) 傾き補償および向上した使いやすさを備えた自由空間ポインティングデバイス
US10782792B2 (en) 3D pointing devices with orientation compensation and improved usability
JP2007535776A5 (ja)
EP2337016B1 (en) Free space pointing devices with tilt compensation and improved usability
JP5363533B2 (ja) ３ｄハンドヘルドデバイスおよび３ｄ制御方法
US7489299B2 (en) User interface devices and methods employing accelerometers
CN1973316A (zh) 具有倾斜补偿和改进的可用性的自由空间定位装置
JP2007535769A5 (ja)
JP2007535773A5 (ja)
JP2007535774A (ja) 自由空間ポインティングデバイスにおける意図的でない動きを除去するための方法およびデバイス
JP2007535774A5 (ja)
KR20070017400A (ko) 틸트 보상과 향상된 사용성을 갖는 3ｄ 포인팅 장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130731

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131003

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140123

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141023

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20141031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141217

R150 Certificate of patent or registration of utility model

Ref document number: 5670384

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250