JP5855343B2 - 改良されたジェスチャに基づく画像操作 - Google Patents
改良されたジェスチャに基づく画像操作 Download PDFInfo
- Publication number
- JP5855343B2 JP5855343B2 JP2010549767A JP2010549767A JP5855343B2 JP 5855343 B2 JP5855343 B2 JP 5855343B2 JP 2010549767 A JP2010549767 A JP 2010549767A JP 2010549767 A JP2010549767 A JP 2010549767A JP 5855343 B2 JP5855343 B2 JP 5855343B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- image object
- gesture
- image
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 66
- 230000003993 interaction Effects 0.000 claims description 49
- 238000006073 displacement reaction Methods 0.000 claims description 16
- 230000000875 corresponding effect Effects 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 10
- 230000002596 correlated effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 3
- 238000004091 panning Methods 0.000 claims description 2
- 230000008707 rearrangement Effects 0.000 claims description 2
- 210000003811 finger Anatomy 0.000 description 15
- 230000009471 action Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 210000004247 hand Anatomy 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 230000008521 reorganization Effects 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000004513 sizing Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 240000002871 Tectona grandis Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- VJYFKVYYMZPMAB-UHFFFAOYSA-N ethoprophos Chemical compound CCCSP(=O)(OCC)SCCC VJYFKVYYMZPMAB-UHFFFAOYSA-N 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- VZCCETWTMQHEPK-QNEBEIHSSA-N gamma-linolenic acid Chemical compound CCCCC\C=C/C\C=C/C\C=C/CCCCC(O)=O VZCCETWTMQHEPK-QNEBEIHSSA-N 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
- Controls And Circuits For Display Device (AREA)
Description
［関連出願の相互参照］
この出願は２００８年３月４日に出願の米国特許出願番号第１２／０４１９２７号の利益を主張し、当該出願の内容は援用によりここに組み込まれるものとする。
この出願は２００８年３月４日に出願の米国特許出願番号第１２／０４１９２７号の利益を主張し、当該出願の内容は援用によりここに組み込まれるものとする。
本開示は、一般にコントロール（またはウィジェット）に関する。
入力デバイスまたはポインティングデバイスは、コンピュータ使用者がコンピュータにデータを入力することができるハードウェア部品である。コントロール（またはウィジェット）は、データの操作に単一のインタラクションポイント（相互作用点）を提供するために、例えば、入力デバイスを用いてコンピュータ使用者が対話するインターフェース要素である。例えば、コントロールは、画像を見るまたは操作するために用いられる。
１つの総合的実施によれば、改良された方法は、カメラを有する自由空間におけるユーザのジェスチャをキャプチャするために提供され、ジェスチャを認識するステップと、コンピュータ生成画像を操作するためにユーザ入力としてジェスチャを使用するステップとが提供される。その際、写真のような画像は、ユーザの身体の直接的な、直感的な、自然な動作を通じて、インタラクト（相互作用）させることができる。
他の総合的実施によれば、プロセスは、第１および第２の画像から、ユーザのジェスチャを認識するステップと、認識されたユーザのジェスチャに対応するインタラクションコマンドを決定するステップと、決定されたインタラクションコマンドに基づいて、ユーザインターフェースで表示される画像オブジェクトを操作するステップと、を含む。
実施は、以下の特徴の一つ以上を含むことができる。例えば、上記インタラクションコマンドは、選択コマンドを含み、上記画像オブジェクトを操作するステップは、さらなる操作のため上記画像オブジェクトを選択するステップをさら含むことができる。上記ユーザのジェスチャを認識するステップは、上記第１の画像においてユーザの腕を伸ばした状態、指を伸ばした状態、掌を前方に出した手のポーズを検出するステップと、上記第２の画像においてユーザの腕を伸ばした状態、指を握った状態、掌を下方に置いた手のポーズを検出するステップと、をさらに含むことができる。
さらなる実施例において、上記インタラクションコマンドは、画像パンコマンドを含み、上記画像オブジェクトを操作するステップは、上記ユーザインターフェースに関連する上記画像オブジェクトをパンするステップをさらに含む。上記ユーザのジェスチャを認識するステップは、上記第１の画像におけるユーザの腕の第１位置を検出するステップと、上記第２の画像におけるユーザの腕の第２位置を検出するステップと、上記第１位置と第２位置との間の変化の大きさおよび方向を決定するステップと、とをさらに含み得る。距離モードでは、上記画像オブジェクトを操作するステップは、決定された大きさおよび方向に相関している上記画像オブジェクトの変位位置を決定するステップと、この変位位置における上記画像オブジェクトを表示するステップと、をさらに含み得る。速度モードでは、上記画像オブジェクトを操作するステップは、決定された大きさおよび方向に相関しているスクロールの大きさおよび方向を決定するステップと、決定されたスクロールの大きさおよび方向に基づいて上記画像オブジェクトをスクロールするステップと、をさらに含み得る。
付加的な実施例において、上記インタラクションコマンドは、画像ズームコマンドを含み、上記画像オブジェクトを操作するステップは、ユーザインターフェースと関連して上記画像オブジェクトをズームするステップとをさらに含み得る。上記ユーザのジェスチャを認識するステップは、上記第１の画像におけるユーザの腕の第１位置を検出するステップと、上記第２の画像におけるユーザの腕の第２位置を検出するステップと、上記第１位置と第２位置との間の変化の大きさおよび方向を決定するステップと、をさらに含み得る。距離モードでは、上記画像オブジェクトを操作するステップは、上記決定された大きさおよび方向に相関している拡大係数を決定するステップと、上記決定された拡大係数を上記画像オブジェクトに適用するステップと、をさらに含み得る。速度モードでは、上記画像オブジェクトを操作するステップは、決定された大きさおよび方向に相関して、大きさおよび方向調整を決定するステップと、上記決定された大きさおよび方向調整に基づいて画像オブジェクトの拡大係数を反復的に調整するステップと、をさらに含み得る。
付加的な実施例において、上記インタラクションコマンドは、ローテーションコマンドを含み、上記画像オブジェクトを操作するステップは、ユーザインターフェースと関連して上記画像オブジェクトを回転させるステップをさらに含み得る。上記ユーザのジェスチャを認識するステップは、上記第１の画像における、ユーザの手の第１方位を検出するステップと、上記第２の画像における、ユーザの手の第２方位を検出するステップと、上記第１位置と第２位置との間の方位変化を決定するステップと、をさらに含み得る。距離モードでは、上記画像オブジェクトを操作するステップは、上記決定された大きさおよび方向に相関している上記画像オブジェクトの変位方位を決定するステップと、この変位方位における上記画像オブジェクトを表示するステップと、をさらに含み得る。速度モードでは、上記画像オブジェクトを操作するステップは、上記決定された大きさおよび方向に相関している大きさおよび方向調整を決定するステップと、上記決定された大きさおよび方向調整に基づいて、上記画像オブジェクトの方位を反復して調整するステップと、をさらに含み得る。
他の実施例において、ユーザのジェスチャの大きさが予め定められた閾値を上回る場合、画像オブジェクトは操作され得る。画像オブジェクトは、ユーザのジェスチャの方向を反映させている操作方向において操作され得る。上記ユーザのジェスチャを認識するステップは、第１の選択ジェスチャを認識するステップと、第１のインタラクションジェスチャを認識するステップと、非選択ジェスチャを認識するステップと、再配置ジェスチャを認識するステップと、第２の選択ジェスチャを認識するステップと、第２のインタラクションジェスチャを認識するステップと、を含み得る。上記画像オブジェクトを操作するステップは、上記第１の選択ジェスチャを認識することに基づいて画像オブジェクトを選ぶステップと、認識された上記第１および第２のインタラクションジェスチャに基づいて上記第１および第２のインタラクションジェスチャと関連する単一の調整技術を使用し、上記画像オブジェクトを調整するステップと、上記再配置ジェスチャをフィルタリングするステップと、をさらに含み得る。上記インタラクションコマンドは、プレビュー画像コマンドを含み、上記画像オブジェクトを操作するステップは、上記画像オブジェクトを、複数のプレビュー画像オブジェクトから選択することをさらに含み得る。
他の一般の実施によれば、システムは、画像を表示するように構成されたユーザインターフェースと、プロセッサを含む。このプロセッサは、第１および第２の画像からユーザのジェスチャを認識し、認識されたユーザのジェスチャに対応するインタラクションコマンドを決定し、決定されたインタラクションコマンドに基づいて、画像オブジェクトを操作するように構成される。上記システムは、上記第１および第２の画像を生成するように構成されるＴＯＦ（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）カメラをさらに含み得る。
さらなる一般の実施において、コンピュータプログラム製品は、機械可読媒体において明白に具現化される。コンピュータプログラム製品は、機械によって読み込まれるときに、第１および第２の画像から、ユーザのジェスチャを認識して、認識されたユーザのジェスチャに対応するインタラクションコマンドを決定し、決定されたインタラクションコマンドに基づいて、ユーザインターフェースに表示される画像オブジェクトを操作するようにデータ処理装置を動作させる命令を含む。
一つ以上の実施の詳細は、以下、添付の図面および説明に記載される。開示の他の特徴および効果は、説明および図面から、そして、請求項から明らかである。
全体にわたり、部分に対応して同様の参照番号を表す。
１つの総合的実施によれば、改良された方法は、カメラを有して、自由空間でのユーザのジェスチャを捕えること、ジェスチャを認識すること、コンピュータ生成画像を操作するユーザ入力としてジェスチャを使用することを目的に提供される。その際、写真のような画像は、ユーザの身体の直接で、直観的で、自然な動作を介して、相互に作用され得る。
特に、デプス（ｄｅｐｔｈ）カメラのようなカメラは、ジェスチャの認識またはユーザのジェスチャの変化に基づいてコンピュータまたはハブを制御するために用いることができる。見えにくくなるという、指紋の有害な影響に悩まされるタッチスクリーン・システムとは異なり、ジェスチャに基づく入力は、写真、ビデオまたは他の画像がクリアに表示される、または、ユーザの身体の自然な運動またはポーズに基づいて作り出すことができる。このような利点を考慮して、ユーザが見ることができ、パン（移動）し、サイズ、回転し、そして画像オブジェクト上の他の操作を実行できるジェスチャが認識され得る。
デプス・カメラ（それはまた、ＴＯＦ（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）カメラと称してもよい）は、赤外線エミッタおよびセンサを含むことができる。デプス・カメラは、赤外線照明のパルスを作り出し、その後、光がオブジェクトに届くのに要する時間を測定し、センサに戻ることができる。距離は、光の移動時間に基づいて算出され得る。
ここで使用しているように、全体に、「ジェスチャ」は、人体の一部によってなされる非言語的なコミュニケーションの形に言及することを意図し、例えば話し言葉などの言語コミュニケーションと対比される。例えば、ジェスチャは、運動、変化または第一位置、ポーズまたは表現と、第２のポーズ（位置または表現）との間の変換によって定義され得る。日常的な会話において使用される普通のジェスチャは、例えば、「エアクォーツ」ジェスチャ、会釈ジェスチャ、お辞儀、チーク・キス、指または手運動、ひざまづく叩頭、首振り運動、ハイファイブ、うなずき、悲しい顔、突き上げた拳、敬礼、親指を立てる身振り、身体を捻るジェスチャ、あるいは指を差すジェスチャを含む。ジェスチャは、例えばユーザのイメージを分析することによるなど、カメラの利用、ユーザがデバイスを保持あるいは傾ける角度を検出することによるなど、傾斜センサの利用、あるいは他のあらゆる方法によって、検出され得る。
身体部分は、その位置（すなわち、手を振る動作）を変えることによって、ジェスチャ（または「ジェスチャで表現」）をすることができ、もしくは、身体部分は、その位置（すなわち、握り拳ジェスチャをすることによって）を変えずにジェスチャで表現することができる。実施例として、エンハンスドコントロールは、カメラ入力を経て機能性のコントロールを遂行するための手および腕のジェスチャを使用するが、ジェスチャの他方式がまた、用いられ得る。
図１は、認識されたジェスチャを利用した画像操作を実演する状況図である。図１において、ユーザ１０１は、メディア・ハブ１０３のディスプレイに出力されるユーザインターフェース１０２およびカメラ１０４の前に座っており、ユーザインターフェース１０２上の一つ以上の画像オブジェクト（例えば、デジタル写真または他の画像）を見る。ユーザの右腕１０５、右手１０６および胴１０７は、カメラ１０４の視野１０９の中にある。
背景画像（例えばユーザ１０１が座っているソファーまたはユーザ１０１の胴および頭部）は、サンプルをとられるか、フィルタをかけられるか、あるいはその反対で、ジェスチャ認識プロセスから無視される。例えば、カメラ１０１は全ての対象を無視することができ、あるいは、電位コントロールオブジェクトは、カメラから一定の距離以外の所に配置したその場合において、上記距離は、あらかじめ定義されるかまたは動的に決定される。一例を挙げると、上記距離は、ユーザのいっぱいに伸ばされた拳とユーザの胴との間に介在し得る。あるいは、平面は、ユーザの胴の前で動的に定義付けられ得るが、そうすると、その胴の後で起こる全ての動作またはジェスチャは除去されるか、そうでなければ無視される。
選択された画像オブジェクトを移動するメディア・ハブ１０３を持ちたいという要望を示すために、ユーザ１０１は、例えばユーザインターフェース１０２に平行な平面に沿ったあらゆる方向でもって手を移動することができる。例えば、選択された画像オブジェクト１１０をユーザインターフェース１０２上のより高い場所へ移動させるために、図１Ｂに示すように、ユーザは、右腕１０５を上昇運動にて動かすことによってジェスチャで表現することができる。
第１のカメラ画像から、拳にて指が閉じられる（すなわち、図１Ａに示す握り拳）手１０５のポーズが検出される。手１０６の位置およびこのように上昇運動によって行われるジェスチャにおける変化はまた、第２のカメラ画像より検出されるか、認識されるか、そうでなければ決定される。腕１０５の上昇運動から認識されるジェスチャに基づいて、画像オブジェクトの動きまたはインタラクションコマンドは決定され、腕１０５の動作検出と一致する動作で選択された画像オブジェクト１１０は、ユーザインターフェース１０２上のより高い位置へ移動する（図１Ｂで図示）。
画像オブジェクト１１０の動きの大きさ、変位または速度は、ユーザのジェスチャの大きさ、変位または速度に相関可能である。一般に、ユーザインターフェース１０２（「Ｘ−Ｙ方向」）に平行な平面の前方への手の動きは、手の動作距離と比例した距離に対応する方向にユーザインターフェース１０２で移動するために選択された画像オブジェクトを与える。
上記距離は、「一致する」ことによって、手によって動かされた距離と１：１の関係を持ち得、他の幾つかの関係、又はその関係が可変的または動的に決定されることがある。例えば、おそらくは解剖学的モデルで定めているように、ユーザの前で直接的に発生する、より大きな手の動きに比べて、ユーザのリーチの外側の範囲の小さい動きは、マッピングすることができるか、そうでなければユーザインターフェースにおける画像のより大きい操作に対応することができる。言い換えれば、加速、減速、あるいは他の動作は、付随する画像操作の大きさを決定するか、または影響を及ぼすためにジェスチャに適用され得る。
上記大きさは、また、距離および速度の機能であってもよい。マグニチュード乗数は、ユーザが行ったある期間にわたって記録された以前のジェスチャの距離および速度に基づいて、ある期間にわたってユーザのスタイルに適合し得る。あるいは、ジェスチャが行われている間、ジェスチャの際に観察される速度に基づいて、マグニチュード乗数はユーザのスタイルに適合し得る。マグニチュード乗数は、ユーザがより急速に移動する場合（ユーザの腕を大きく振り回す表現方法に対して）、増加することがあり、または、ユーザがよりゆっくり移動する場合（ユーザのより意図的な表現方法に対して）、減少することがある。
ジェスチャ動作は、他の画像操作コマンドにおける結果となり得る。例えば、ジェスチャ動作が、拡大機能の一部として利用され得る。画像オブジェクトのサブ領域がユーザインターフェース１０２に表示され得る。ジェスチャ動作は、画像オブジェクトの範囲内でサブ領域を移動することができる。別の例として、ジェスチャ動作は、画像オブジェクトのディレクトリまたは画像オブジェクトのリストを見るために用いてもよい。画像オブジェクトは、ユーザインターフェース１０２（すなわち、１つの画像オブジェクトは、一度にユーザインターフェース１０２に表示され得る）のサイズを合わせるために拡大・縮小され得る。ジェスチャ動作は、その次、又はその前の画像オブジェクトに「反転」し得る。（すなわち、その次およびその前の画像オブジェクトは、それらが「反転される」まで、表示され得ない）。
画像オブジェクト１１０の動きの方向は、手１０６の動きに対し、同様か、直交するものでよく、反映するものでもよく、あるいは他のあらゆる関係を有するものであってよい。例えば、指示が同じ一設定では、上方への手のジェスチャは、あたかもユーザ１０６が垂直に画像オブジェクトを引っ張っているかのように、画像オブジェクト１１０を上方へ移動させることができる。このような設定では、右に対するジェスチャは、画像オブジェクト１１０を、ユーザと関連させて右へ移動するか（すなわちユーザインターフェース１０２上で左に動く）、またはユーザインターフェース上で右に移動させることができる（すなわちユーザと関連させて左へ移動する）。このような指示のマッピングは、予め設定されることができるか、ユーザが選択可能とするか、または、これまでの使用に基づいて決定され得る。
指示が反映する他の実施において（例えば「スクロール・モード」）、手の上方へのジェスチャは、スクロールバーの上方移動と同様の動作を可能とし、画像オブジェクト１１０を実際に下がらせる。このような設定では、右へのジェスチャは、スクロールバーが右に移動するように（すなわち、ユーザと関連させて、画像オブジェクトを左へ移動させ、ユーザインターフェース１０２上で右に移動する）、かつ逆もまた同様である。
図２は、画像操作を実行するために使用するデバイス２００のブロック図である。簡単に言えば、特にデバイス２００は、ユーザインターフェース２０１、記憶媒体２０２、カメラ２０４、プロセッサ２０５、および傾斜センサ２０９を含む。
ユーザインターフェース２０１は、ユーザに、デバイス２００で、またはデバイス２００によって呼び出されるアプリケーションで相互作用させる（情報をやりとりする）ための機構である。ユーザインターフェース２０１は、両方の入出力のため、ユーザにデバイスを操作させるため、またはユーザの操作の効果を発揮するための機構を提供することができる。デバイス２００は、様々な種類のユーザインターフェース２０１、例えばグラフィカルユーザインターフェース（ＧＵＩ）、音声ユーザインターフェース、または触覚に関するユーザインターフェースを利用することができる。
ユーザインターフェース２０１は、視覚的表示画像を描写するように構成され得る。例えば、ユーザインターフェース２０１は、モニタ、テレビ、液晶ディスプレイ（ＬＣＤ）、プラズマ表示装置、プロジェクタ・スクリーンを有するプロジェクタ、自動立体表示装置、陰極線管（ＣＲＴ）表示装置、デジタル・ライト・プロセッシング（ＤＬＰ）表示装置、または画像表示を行う他のあらゆる種類の表示装置であり得る。ユーザインターフェース２０１は、一つ以上の表示装置を含むことができる。一部の構成において、ユーザインターフェース２０１は、例えばアプリケーションによって発生するアバター等のオブジェクトまたは表象を含む画像を表示するような、アプリケーションと関連する画像を表示するように構成され得る。
記憶媒体２０２は、情報またはデータを格納、記録するものであり、光記憶媒体、磁気記憶媒体、フラッシュメモリまたは他のあらゆる記憶媒体のタイプであり得る。特に、記憶媒体は、認識されたジェスチャを使用するという改良された入力をもたらすエンハンスドコントロールアプリケーション２０７でコード化される。
カメラ２０４は、スチール写真か一連の動画像として画像を捕えるために使用するデバイスである。カメラ２０４は、可視スペクトルの光または赤外線などの電磁スペクトルの他の部分を使用することができる。例えば、カメラ２０４は、画像を捕えるように構成されるデジタルカメラ、デジタルビデオカメラ、または他のあらゆる種類のデバイスであってよい。カメラ２０４は、一つ以上のカメラを含むことができる。一部の実施例において、カメラ２０４は、アプリケーションと相互に作用しているオブジェクトまたはユーザのイメージを捕えるように構成され得る。例えば、カメラ２０４は、自由空間（例えばユーザの周囲の空中）において身体で表現（ジェスチャで話している）をしているか、そうでなければカメラ２０４の視野の中でアプリケーションと相互作用しているユーザまたは人の像を捕えるように構成され得る。
カメラ２０４は、ステレオカメラ、ＴＯＦ（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）カメラ、または他のあらゆるカメラであってもよい。例えば、カメラ２０４は、動作および同様にユーザのジェスチャを検出するために背景画像のサンプルをとることができる画像検出器であってもよい。カメラ２０４は、例えば距離画像を生成することができるステレオカメラ、またはＴＯＦ（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）カメラなど、グレイスケール画像、カラー画像または距離画像を作り出すことができる。ステレオカメラは、わずかに異なる視点で画像を得る２台のイメージ・センサを含むことができ、そこにおいて、プロセッサは、画像の一部の距離を算出するために異なる視点から得られる画像を比較する。ＴＯＦ（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）カメラは、以下を含むことができる：光パルス（光は赤外光でも可）を起こすエミッタ、そこにおいて、画像の一部の距離を算出するために、光パルスがエミッタからオブジェクト、そしてセンサに戻るまで進む時間が測定される。
デバイス２００は、有線または無線経路を通じて、カメラ２０４およびユーザインターフェース２０１と電気的に接続かつ通信操作可能であり、エンハンスドコントロールを提供するためにプロセッサ２０５の動作を制御するように構成される。ある形態において、デバイス２００は、エンハンスド・カメラに基づく入力を提供するアプリケーションを実行するために、プロセッサ２０５または他の制御回路を使用する。カメラ２０４がデバイス２００と通信する別々のデバイス（例えばウェブカメラ）であってもよいが、他の実施において、カメラ２０４はデバイス２００に組み込まれて、内部バスを経てデバイス２００（例えばプロセッサ２０５）の他の構成要素と通信する。
デバイス２００がパーソナルコンピュータ（ＰＣ）またはセットトップボックスとされているが、この種の説明はただ単に簡潔さのために作成されており、そして、他の実施または明示はまた、意図される。例えば、デバイス２００は、テレビ、ウルトラモバイルパソコン（ＵＭＰＣ）、モバイルインターネットデバイス（ＭＩＤ）、デジタルピクチャフレーム（ＤＰＦ）、携帯用のメディア・プレーヤ（ＰＭＰ）、汎用コンピュータ（例えば、デスクトップコンピュータ、ワークステーションまたはラップトップコンピュータ）、サーバ、ゲーム機またはコンソール、あるいは、命令を実行するように構成されるプロセッサまたは他の制御回路、あるいは、ユーザインターフェースを含む他のあらゆるデバイスを含む、あらゆる種類の電子デバイスとして実現され得る。
実施例を挙げれば、入力は、ジェスチャを実行しているユーザのイメージを検出するために、カメラを用いて起こる。例えば、携帯電話は、テーブルに配置可能で、フェイス・フォワード・カメラを使用してユーザの画像を出すように操作可能でもよい。あるいは、例えば、表象を左に動かし、画像を左にパンするかまたは反時計回りに画像を回転させるため「左に傾く」ジェスチャを検出することによって、またはズームインして、右に画像をパンするために、上方へそしてニュートラルポジションの右側に表象を動かすため「右前に傾く」ジェスチャを検出することによって、ジェスチャは認識され得るか、または傾斜センサ２０９を使用して検出され得る。
このように傾斜センサ２０９は、例えばジャイロスコープ、加速度計、またはカメラベースのオプティカルフロー・トラッカなど、デバイス２００の角度位置を検出するように操作可能なあらゆる種類のモジュールであってよい。この点に関して、画像に基づく入力は、機能またはユーザのコマンド要求を実行する傾斜センサ入力によって追加され得るか置き換えられ得る。言い換えれば、ユーザのジェスチャの検出はカメラを使用せずに、もしくは画像の範囲内でユーザを検出することなく起こり得る。ユーザがユーザインターフェース上の画像を操ることを要求するのと同じストロークパターンの種類のデバイスを動かすことによって、ユーザは、直接的に同じインターフェースまたはアプリケーションを制御することができる。
図３は、認識されたジェスチャを利用した画像操作をもたらすコンピュータ実行プロセス３００を例示しているフローチャートである。簡単には、コンピュータ実行プロセス３００が、第１および第２の画像から、ユーザのジェスチャを認識するステップ、認識されたユーザのジェスチャに対応するインタラクションコマンドを決定するステップ、決定されたインタラクションコマンドに基づいて、ユーザインターフェースで表示される画像オブジェクトを操作するステップを含む。
さらに詳細には、上記プロセス３００が開始する（Ｓ３０１）ときに、ユーザのジェスチャは第１および第２の画像（Ｓ３０２）から認識される。第１および第２の画像は、個々の画像スナップショットから、またはビデオシーケンスを形成する一連の画像から得られる。各々の画像は、アプリケーションがユーザのポーズまたはジェスチャを決定することのできる位置情報を捕える。
通常、ジェスチャは、動き、位置、ポーズ、または考え、意見、感情、コミュニケーション、コマンド、デモンストレーション、または表現を表す姿勢に関連するものと意図されている。例えば、ユーザのジェスチャは、１本または多数本の指でのジェスチャ、片手でのジェスチャ、片方の手と腕でのジェスチャ、片方の手と腕かつ身体でのジェスチャ、両手で行うジェスチャ、頭部姿勢または身体の位置、眼の位置、顔の表情、身体のポーズまたは姿勢、もしくは他のあらゆる表現力豊かな身体の状態であり得る。便宜のために、関連したジェスチャを実行するために使用する身体の一部または部分は、概して「コントロールオブジェクト」と称する。単一画像のまたは２つの画像間のユーザのジェスチャは、有効化または「係合」ジェスチャを表してもよい。
カメラ画像からユーザのジェスチャを決定する多くの方法がある。例えば、「空中に円を描く」かまたは「手を一方側へ打ち振る」ジェスチャは、手、腕、体、頭部または他のオブジェクト位置情報を用いたジェスチャ分析および検出プロセスによって検出され得る。ジェスチャが以下を含むことができるが、打ち振るジェスチャがなされた場合などのように、二次元または三次元の位置変位は、他の例では、ジェスチャは付随する位置変位のない変換を含む。例えば、５本の指がいっぱいに伸ばされた前方への掌で、手が「停止」のシグナルを発している場合、全５本の指が掌でボールのように収縮すると、手または腕の全体の位置が変化しないままの場合であっても、ユーザのジェスチャは変化する。
手の位置情報が明確な一連の規則をパスするかどうか決定することによるなど、ジェスチャは、発見的方法を用いて検出され得る。例えば、以下のジェスチャ検出規則が満たされる場合、上記「手を一方側へ打ち振る」ジェスチャは識別され得る。（１）水平位置の変化は、所定の制限より少ない期間にわたって所定の距離より大きい。（２）水平位置は、期間にわたって単調に変化する。（３）垂直位置の変化は、その期間において所定の距離より少ない。そして、（４）その期間の終わりの位置は、その期間の開始時での位置より手の検出領域の境界に近い（または境界上である）。
いくつかのジェスチャは、実行されかつ明確な命令において満たされる多数の規則セットを利用する。ここでの規則セットの充足は、異なる規則セットが適用される状況に変化するシステムをもたらす。このシステムは、微妙なジェスチャを検出することができなくてもよい、そこにおいて、検出されるべき特定の動作の連鎖を可能にさせるモデルとして隠れマルコフモデルが使用される場合があるが、動作が十分にジェスチャに合っているという全体の可能性もまた考慮する。
基準は、無関係であるか意図的でない対象ジェスチャを除去するために用いる場合がある。例えば、平面は、カメラの前で予め定められた距離で定義され得る。そこにおいて、カメラから水準面の向こう側で作り出されまたは実行されるジェスチャは、無視される。その一方で、適当な様に、カメラおよび水準面の間で実行されるジェスチャまたは潜在的ジェスチャはモニタされ、識別され、認識され、フィルタをかけられ、必要に応じて処理される。上記水準面は、また、例えばユーザの胴と関連するなど、他のポイント、位置またはオブジェクトと関連して定義され得る。さらにまた、本文献において記載されている改良された方法は、背景画像を取り出す背景フィルタリングモデルまたはコントロールオブジェクトを形成しない動きの中のオブジェクトを使用することができる。
ジェスチャまたはジェスチャにおける変更を認識することに加えて、他の情報はまた、画像から決定され得る。例えば、顔の検出および認識プロセスは、画像の範囲内でユーザの存在および同一性を検出するために、画像上で実行され得る。同一性情報は、例えば、利用できるオプション、利用できる相互作用のタイプを決定するかまたは選ぶか、もしくは１以上のユーザが入力機能性を係合しようとしている場合に、画像の範囲内の多数のユーザのうちどちらがコントロールユーザとして指定されるべきかについて決定するために用いられ得る。
複合コマンドの入力を可能にして、入力オプションの数を増やすため、ユーザのジェスチャが認識するための以下のプロセスをさらに含むことができる。第１の方向における第１の変位を認識するステップ、第２の方向における第２の変位を認識するステップ、単一のジェスチャとしてこれらの多数の変位を集計するステップ、さらにまた、ユーザのジェスチャの認識は、ユーザのジェスチャの大きさおよび方向を決定することができる。
係合ジェスチャは、ジェスチャに基づくコマンド入力のため他の画像をモニタする機能を起動させるかまたは呼び出して、ランダムまたは背景の身体動作を無視する。一部の実施例において、係合ジェスチャは、手が、掌を前方に、かつ５本の指を大きく広げて真っすぐに保たれる第１の手のポーズから、手がげんこつに保たれる第２の手のポーズへの移行である。
図４Ａ−４Ｂは、典型的な係合ジェスチャおよび係合ジェスチャに起因するユーザインターフェースを示す。特に、カメラ４０２でとらえられるユーザ４０１の２つの画像は、掌を前方へかつ指を大きく広げた開いた手のポーズ４０５（図４Ａにて図示）から、握り拳の手のポーズ４０６（図４Ｂにて図示）へと、ジェスチャで表現するユーザの手をとらえる。
ユーザによるこのジェスチャの実行は、画像オブジェクト４１０に対し、画像オブジェクト４１０の選択を意味するためユーザインターフェースの範囲内での強調表示をもたらす。図４Ｂにおいて、例えば、画像オブジェクト４１０は、選択された画像オブジェクトとして画像オブジェクト４１０を指定する、画像オブジェクト４１０周辺に現れる二重の境界４０８を使用して強調される。ユーザは、事実上、それを選ぶために、自由空間における画像オブジェクト４１０を実質的に「つかんでいる」。選択された画像オブジェクトは、例えば上記の図１に関するジェスチャ動作など、認識される他のジェスチャによって操作され得る。
身体、腕または手のジェスチャに加えて、指をさしているジェスチャは、一つ以上の画像から認識されることが可能である。例えば、「左を指す」ジェスチャは、ユーザの指先から作られ、指の画像を分析することによって検出されることができる。指紋分析または他のアプローチは、指先の指す方向を決定するために用いることができる。他の実施例において、また上述のように、ジェスチャが言葉によるジェスチャであるか、もしくは傾斜センサまたは加速度計を用いて検出されるようなジェスチャは、カメラを使用せずに検出可能である。
図３に戻り、認識されたユーザのジェスチャに対応するインタラクションコマンドが決定される（Ｓ３０４）。画像インタラクションコマンドは、ユーザのジェスチャにマッピングされ得る。例えば、図１に関して上述したジェスチャ動作は、画像動向コマンドにマッピングされ得る。他の実施例には、以下が含まれる。画像回転コマンドにマッピングされる手回しジェスチャ、および画像サイジングにマッピングされるユーザインターフェース（「Ｚ軸」）によって定義される平面と垂直である軸に沿った手の動き、ズーミングまたは倍率コマンド、である。一部の実施において、インタラクションコマンドは、ユーザのジェスチャの方向を反映させている操作方向をもたらすことができる。例えば、ユーザの左から右へのジェスチャ動作は、左から右に移動される画像オブジェクトをもたらすことができる。
決定されたインタラクションコマンドに基づいて、ユーザインターフェースで表示される画像オブジェクトは操作され（Ｓ３０６）、それによって、方法３００を終える（Ｓ３０７）。例えば、決定された画像動向コマンドに基づいて、画像オブジェクト（例えば画像オブジェクト１１０、図１）は、ディスプレイスクリーンに平行な平面に沿ってユーザの腕の動きに対応する場所へ移動することができる。別の例として、決定された画像サイジングコマンドに基づいて、画像オブジェクトは、決定されたユーザの腕の動きの向きや大きさに対応してサイジングされ得る。
図５Ａ−５Ｂは、典型的なズームイン・ジェスチャを示す。図において、ユーザ５０１は、手を、第１位置５０２から第２位置５０３へと、身体の方へ後退させるジェスチャで表現する。これにより、ディスプレイ５０６において、選択された画像オブジェクト５０４がより大きいサイズで（すなわち、図５Ｂに示すように画像オブジェクト５０８として）表示される。距離モードにおいて、ズーム距離は、手のＺ位置に対応し得る。カメラ５１０からより遠くなる手の動きは、「ズームイン」コマンド（すなわち、ユーザは、「画像オブジェクトを引っ張って近づける」）と解釈され得る。
同様に、図６Ａ−６Ｂは、典型的な「ズームアウト」ジェスチャを例示し、図において、ユーザ６０１は、手を、第１位置６０２から第２位置６０３へと、身体から離れる方へ進めるジェスチャで表現する。これにより、ディスプレイ６０６において、選択された画像オブジェクト６０４がより小さいサイズで（すなわち、図６Ｂに示すように画像オブジェクト６０８として）表示される。カメラ６１０により近づく手の動きは、「ズームアウト」コマンド（すなわち、「画像オブジェクトを押しのける」）と解釈され得る。
一部の実施において、ユーザが身体の方へ、又は身体から離れるように手を動かしている間にユーザが手を開く場合、選択された画像オブジェクトは、手が開かれたときの手の動作の速度と比例した速度で拡大・縮小し続けることができる。手が開かれた後、ズーム速度は時間とともに段階的に減少することができる。
さらなる実施において、あたかも画像オブジェクトが質量または運動量を有するかのように、手の動作の速度または他のジェスチャは決定され、モデル化されて、画像オブジェクトに適用される。例えば、左に手を速く振るジェスチャは、左に手を遅く振るジェスチャより、画像オブジェクトがさらに左に遠い距離動くかもしれない。さらにまた、例えば「押し込み」ジェスチャが最初に速いペースでズームアウトする画像オブジェクトをもたらし、その後、仮想押し込みのアプリケーションから時間が経過してから遅くするなど、あたかもユーザインターフェースが、摩擦、ドラッグ、重力、又は他の力の影響を受けるかのように、画像オブジェクトは反応し得る。
さらに、ユーザインターフェース上で画像オブジェクトが第１の方向に移動中で、ジェスチャが第２の反対方向に進行するのが認識される場合、画像オブジェクトに割り当てられる「仮想」運動量がジェスチャに割り当てられる「仮想」運動量によって克服されるまで、画像オブジェクトは第１方向において進行し続けることができる。直観的で視覚的に気持ちの良い方法で、これらの挙動は、自由空間のコントロールオブジェクトおよびユーザインターフェースの画像の間の仮想的な相互作用を可能になう所定のまたはユーザ定義済みの設定、変数および係数に基づくことがあり得る。
図７Ａ−７Ｅは、典型的な「再配置」ジェスチャを示す。ユーザ７０１は、位置７０２に身体に引き戻された手がある。ユーザは、選択された画像オブジェクトをより近くにズームすることを望む場合、ユーザは、位置７０２の手を伴い、その手をそれ以上身体の方へ動かすことはできない。ユーザ７０１は、ユーザの手を開くこと、そして、５本の指を位置７０４で示すように大きく広げることによって手を「リリース」（これにより、ズームコマンドをキャンセルするか保留する）ことができる。
ユーザ７０１はその後、手を前方への位置７０６に動かすことができ、再係合する（すなわち、画像オブジェクトを再選択する）ため手を閉じる（位置７０８に示す）。そして最後に、手を、身体の方、位置７１０へと後退させ、これにより、選択された画像オブジェクトをより大きいサイズにズームさせる。動きにおいて、一つの「引っ張る」を上回る大きさで身体の方に画像を「引っ張る」ことを続けるために、ユーザ７０１は水泳運動で手を動かしているように見えることがある。
類似した「再配置」ジェスチャは、他のコマンドを繰り返すために用い得る。例えば、ユーザ７０１は、手が完全に前方へ伸びきったとき、手を開き、後方へ手を引いて、手を閉じることによって再係合し、より小さいサイズに画像オブジェクトの大きさを変更する（すなわち、より遠くへズームアウトする）ために、手を前方に押し出すことができる。類似したポーズ・シーケンスは、移動、回転および他のジェスチャコマンドを繰り返すために用いてもよい。再配置ジェスチャのために使用するポーズは、フィルタ処理され得る。すなわち、完全に再配置に使用するポーズは、結果としてオブジェクトの操作をもたらすことにならない。
図８Ａ−８Ｂは、「速度モード」に起こる典型的な相互作用を示す。上述したように、ディスプレイ８０２と平行な平面に沿ったＸ−Ｙ方向のユーザ８０１による手の動きは、手の移動距離と比例した画像オブジェクトの動きを引き起こすことができる。そのような動きは、「距離モデル」と称することができる。乏しい倍率範囲または限られたズーム状態数がある場合、距離モデルは有効かもしれない。しかし、表示された画像オブジェクトが、例えば多くのズーム・レベルをサポートするマッピングなど、広い倍率範囲をサポートする場合、距離モデルは有効でないかもしれない。
広い倍率範囲を有するより効果的なズーミングをサポートするかまたはユーザがより控えめなジェスチャをすることを可能にするために、「速度」モデルが、用いられ得る。「速度」モデルにおいて、ユーザは、ジェスチャをしてからポーズを保つ。「速度」モデルは、手のジェスチャを解除することなくコマンドを無期限に繰り返すことができる（すなわち、手のジェスチャの解除が要求され、例えば、特定の距離を越えてズームする「距離」モデルとは対照的に）。例えば、ユーザ８０１は、第１位置８０４から第２位置８０６へ上方へ向かう手のジェスチャで表現し、それによって、選択された画像オブジェクトを位置８０８から位置８１０に移動させる。ユーザ８０１が手を位置８０６に保持するので、選択された画像オブジェクトは、位置８１２、８１４へ等、ジェスチャ（すなわち、この場合においては上方へ向かうジェスチャ）によって示される方向に動き続ける。
速度モデルにおいて、ユーザ８０１が手を閉じるときに、手のＸ−Ｙ位置はサンプリングされ得、基準位置として保存され得る。選択された画像オブジェクトは、ユーザの手と基準位置の間のＸ−Ｙ距離と比例した速度で移動することができる（すなわち、選択された画像オブジェクトは、ユーザが基準位置からより遠く離れて手を動かすにつれて、より速く移動させることができる）。ユーザが動きを止め、係合の手のポーズを維持する場合、選択された画像オブジェクトは現在の速度でズームイン／アウトし続けることができる。
速度への相対的な距離のマッピングは、以下を含むことができる：ユーザが基準位置の近く（しかし、必ずしも正確にではなく）に手を戻すことで移動を止めることができるような「デッドゾーン」、相対的な距離がデッドゾーン距離より少ない場合、そのデッドゾーンによって速度はゼロになり得る。速度への相対的な距離のマッピングは、基準位置の近くの位置での変化は小さい速度変化をもたらすが、基準位置からさらなる位置の変化は大きい速度変化をもたらす非線形でもよい。非線形マッピングは、低速度の微細な制御および高速度のより粗い制御をユーザに与えることができる。
速度モデルを使用するときに、ユーザの手の位置をデッドゾーンの範囲内に戻す場合、ユーザが掌を前方へかつ５本の指を広げた場合、手がカメラ８１６の視野の外に行く場合、ユーザが手を身体の方へ完全に引っ込めて腕を側部に落とす場合、または、他の事象が起こる場合、速度がゼロに戻り得る。速度は、短い期間にわたって段階的に減少することによって、ゼロに戻ることができる。
速度モデルは、他のジェスチャによって用いられ得る。例えば、速度モデルが、画像ズームのために、そして、画像回転（下記の図１２を参照）のために用いられ得る。異なるジェスチャは、異なるモデルを使用することができる。例えば、画像拡大が速度モデルを使用できると同時に画像移動は距離モデルを使用することができる。ユーザは特定のジェスチャの異なるモデルの間で切替えることが可能となる。例えば、ユーザが最も効果的なモデルを選べる速度および距離モデルの間で画像ズームモデルを切り換えることのできる変化モデルジェスチャが定義され得る。
図９Ａ−９Ｂは、典型的なジェスチャの組合せを示す図であり、２つ以上の独立画像操作は、単一のジェスチャによって生じる。ユーザが手をＺ方向およびＸ−Ｙ方向の両方向に動かす場合、画像ズームコマンドか、画像移動コマンドか、両方のコマンドが実行されなければならないかどうか決定するために、様々なアプローチが用いられ得る。例えば、１つのアプローチでは、移動かズーミングかは、Ｚ方向の移動またはＸ−Ｙ平面の移動の、いずれか距離の大きい方に基づいて選択され得る。他のアプローチにおいて、移動かズーミングかは、係合の手のポーズが検出された後（すなわち、コマンドのタイプは、ユーザが最初にどのジェスチャをするかによりロックされ得る）、最初に距離閾値をパスするＺ方向の移動またはＸ−Ｙ平面の移動の、いずれかの距離に基づいて選択され得る。
第３のアプローチにおいて、多数のコマンドが実行される。例えば、ユーザがｘ−ｙ平面で手を動かすことに加えてｚ方向にも手を動かす場合、移動およびズーミングは同時に起こり得る。図９Ａ−９Ｂにおいて、ユーザ９０１は、第１位置９０２から第２位置９０４へと、腕を上昇させ身体の方へ後退させるジェスチャで表現する。これにより、画像オブジェクト９０６よりディスプレイ９０８の上部の方へ位置する、より大きい画像オブジェクト９１０で示すように、選択された画像オブジェクト９０６にズーミングして、ディスプレイ９０８の範囲内で移動させる。
多数のコマンドが実行される場合には、コマンドは、前述の基準（いずれか距離のより大きい方か、それともいずれか最初に距離閾値をパスした方）、および小基準コマンドとして分類される他のコマンドに基づき、主要なコマンドとして分類されることができる。小基準コマンドの「デッドゾーン」（すなわちユーザの手がスクリーン上のオブジェクトのゼロ以外の変位または速度を引き起こす前に基準位置から移動しなければならない最小限の距離）は、多数のコマンドの存在下で、広げることができる。他方向のジェスチャを実行している間、意図しない多少の方向の手の動きは無視される。
図１０Ａ−１０Ｂは、典型的な画像回転ジェスチャを示す。図において、ユーザは、開いた手を第１の垂直位置１００２から第２の、曲げられた位置１００４まで回転させることによってジェスチャで表現する。これにより、ディスプレイ１００８において（回転される画像オブジェクト１０１０で示すように）、検出された手の回転角度と同じ角度で、選択された画像オブジェクト１００６を回転させる。手の軽微な動きが選択された画像オブジェクトを意図せずに回転させないために、デッドゾーンは定義され得る。
一部の実施において、参照角度は、ユーザが腕をねじらずに画像オブジェクトを１８０度、回転させることができると定義され得る。例えば、回転開始位置は、ユーザが垂直位置に対して負の９０度反時計回りに（すなわち、左の方を指している手の指を伴って）最初の手を配置することによって、時計回りに回転し始めるように、定義され得る。このスタート位置から、ユーザは、時計回りにまる１８０度回転させることができる（すなわち、右の方を指している指を伴って手の位置の終了）。
図１１Ａ−１１Ｂは、典型的な画像回転ジェスチャを、「スナップ」モードで示す。「スナップ」モードにおいて、画像回転は、例えば、時計回りに０度、時計回りに９０度、反時計回りに９０度、または１８０度の参照角度に「スナップ」でき、そして、それによって、参照角度は手の回転角度に最も近い。例えば、図１１Ａ−１１Ｂで、実際におけるスナップモードでは、ユーザの手は、第１の垂直位置１１０２から第二位置１１０４までジェスチャ表現する、そこにおいて、第２位置１１０４は、第１位置１１０２に対して５０度曲げられる。画像オブジェクト１１１０で示すように、手の回転は、ディスプレイ１１０８において、選択された画像オブジェクト１１０６に、時計回りに９０度の参照角度に回転させる（すなわち、スナップモードのため５０よりも９０度）。スクリーン上の表示として、選択された画像オブジェクトは、手が回転されているときに、ディスプレイ１１０８において回転することができ、ジェスチャが解除されるときに、最も近い参照角度にスナップされ得る。
回転スナップモード実施中に、スクリーン上の表示は部分的なターンが認識されることを示すために表示され得る。基礎角度は定義され得、そして、参照角度は基礎角度、基礎角度プラス時計回りに９０度、基礎角度プラス反時計回りに９０度、基礎角度プラス１８０度として定義され得る。
図１２Ａ−１２Ｂは、典型的な画像回転を速度モードで示す。上述のように、速度モードで、ユーザがポーズをとっている間、画像操作コマンドは繰り返される。例えば、ユーザの手は第１の垂直位置１２０２から第２の曲げられた位置１２０４までジェスチャ表現する。これにより、選択された画像オブジェクトに、ディスプレイ１２０６において第１位置１２０８から第２位置１２１０まで時計回りに回転をさせる。ユーザが位置１２０４に手を留めているとき、選択された画像オブジェクトは時計回り方向に回転し続ける。そして、位置１２１２および１２１４を通過すると考えられる。
スクリーン上の表示として、ポーズがとられているときに、選択された画像オブジェクトはディスプレイ１２０６において回転することができる。ユーザがポーズを解除するときに、画像回転は停止され得る。回転の速度は、手の回転角度と比例していてもよい。（すなわち、手の回転角度が増加するにつれて、選択された画像オブジェクトはより急速に回転することができる）。選択された画像オブジェクトは、ユーザがジェスチャを終了するときに、画像オブジェクトがどの参照角度に最も近いかについて依存し、参照回転角度（例えば０、時計回りに９０度、反時計回りに９０度、もしくは１８０度）に「スナップ」することができる。
図１３Ａ−１３Ｂは、典型的な次画像表示ジェスチャを示す。「現在の」画像オブジェクト１３０２は、ディスプレイ１３０４の大きい中心部に合わせるため、縮尺され得る。一つ以上の「前の」、１３０６および「次の」１３０８の画像オブジェクトは、現在の画像オブジェクト１３０２の左または右の側に示され、現在の画像オブジェクト１３０２より小さくなり得る。ユーザ１３１０は、第１位置１３１２から第２位置１３１４へ上方への手のジェスチャで表現する。これにより、現在の画像オブジェクト１３０２を新たな「現在の」画像オブジェクトと交換させられる。
より詳細には、アニメーションは以下より完成され得る。現在の画像オブジェクト１３０２がより小さいサイズで表示されるべく左へ移動することができ、新たな「前の」画像オブジェクト１３１６になることができる。「次の」画像オブジェクト１３０８がより大きいサイズで表示されるべく左へ移動することができ、新たな「現在の」画像オブジェクト１３１８になることができる。「前の」画像オブジェクト１３０６はディスプレイ１３０４から外され得、そして、新規な「次の」画像オブジェクト１３２０は、旧「次の」画像オブジェクト１３０８と置き換えられる。下方へのジェスチャは、反対方向に起こるアニメーションでもたらされる。
次画像表示および前画像表示の相互作用は、上方へ、下方への腕の動きまたはジェスチャとして図１３Ａおよび１３Ｂおいて例示されたが、このようなジェスチャを用いるのは単に典型的で、とりわけ、説明の容易さのために選択された。具体的には、他の典型的な実施において、左右の腕の動きは、それぞれ、前画像表示または次画像表示コマンドを入力するために用いる。それぞれ、前の画像オブジェクトおよび次の画像オブジェクトは現在の画像の左右に表示されるため、左右の腕の動きは、ユーザが実行するために直感的であってもよい。
「現在の」、「次の」および「前の」画像オブジェクトは、同一サイズ（例えば、「フィルムストリップ」において）で表示され得る。フィルムストリップは、現在の画像オブジェクト（すなわち、フィルムストリップは、現在の画像オブジェクトの下、上、もしくは左側または右側に示され得る）を含んでもよいし含まなくても良い。フィルムストリップは、現在の画像オブジェクト、そして一つ以上の前の画像オブジェクトおよび次の画像オブジェクトの表象の大きさを設定したサムネイルを含むことができる。
現在の画像オブジェクトが常に中央に置かれるために、フィルムストリップはスクロールして見えるように活動させてもよい。現在の画像オブジェクトがフィルムストリップに示されない場合、第１の次の、および第１の前の画像オブジェクト間の境界は中央に置かれ得る。上／下へのジェスチャは、画像オブジェクト（例えば画像オブジェクトのカテゴリ）のリストをパラパラとめくることができ、そして、左／右へのジェスチャはリストの範囲内で画像オブジェクトをパラパラとめくることができる。別の例として、左／右へのジェスチャは画像オブジェクトリストをパラパラとめくることができ、そして、上／下へのジェスチャはリストの範囲内で画像オブジェクトをパラパラとめくることができる。
図１４Ａ−１４Ｃは、簡潔な状態を例示する。サムネイルのグリッドは、例えば、矩形グリッド（例えばグリッド１４０２）において表示され得る。グリッドは、また、例えば、円筒状形状としてまたは球面形状（例えばグリッド１４０４）として現出し得る。
スクリーン上の指示は、ユーザに、どの画像オブジェクトが現在の画像オブジェクトであるかについて指し示すことができる。例えば、現在の画像オブジェクトは、例えば境界、陰または輝き等、強調表示の効果を利用して示され得る。例えば、現在の画像オブジェクト１４０６は、グリッド１４０２の暗い二重の境界によって示される。
現在の画像オブジェクトは、同一サイズとして、または他の画像オブジェクトよりわずかに大きいサイズで表示され得る。現在の画像オブジェクトを囲んでいる画像オブジェクトは、現在のサムネイル（すなわち、現在の画像オブジェクトから離れてより遠くに位置する画像オブジェクトは、現在の画像オブジェクトのより近くに位置する画像オブジェクトより小さく見える）からの距離に従ったサイズで表示され得る。画像オブジェクトは、「膨隆」（例えばグリッド１４１０の画像オブジェクト１４０８）として現れるためのサイズおよび形状で表示され得る。画像オブジェクトは、シリンダまたは球体周辺を巻きつくように見えてもよい（例えばグリッド１４０４の画像オブジェクト１４１２）。
ジェスチャ動作によって、グリッドの範囲内で現在の画像オブジェクトの選定が起こり得る。グリッドは静止したままでいることができ、または、現在の画像オブジェクトが常にスクリーンの中央にあるために、グリッドはパンすることができる。ユーザが左にパンする場合、最終的に、ユーザが開始した同じ画像オブジェクトに到達するように、平面グリッド（例えば格子１４０２）は巻くことができ、もしくは、シリンダまたは球面グリッド（例えば１４０４）は回転することができる。別の例として、ユーザが左にパンする場合、最終的に、ユーザが開始した画像オブジェクトの直下の画像オブジェクトに到達するように、平面グリッドは巻くことができ、もしくは、シリンダまたは球面グリッドは回転することができるため、画像オブジェクトは、平面上、円筒形上、または螺旋状に球状表層の上に配置され得る。
球体のシリンダ上の画像オブジェクトの数は、その外周に合致しても、合致しなくてもよく、そして、ユーザは開始サムネイルに戻るためのシリンダまたは球体それぞれの回転数を回転させることができる。例えば、シリンダは、その外周囲で１２のサムネイルを有することが提供できる、そこにおいて、サムネイルの一部は、後背側上に隠され得る。サムネイルは、画像オブジェクトリストにどれくらいの画像オブジェクトがあるかに基づいて画像オブジェクトとともに追加され得る。可視的なサムネイルより少数の画像オブジェクトがリストにある場合、画像オブジェクトは多数のサムネイル上に現出され得る。
サムネイルグリッドは、第１のサムネイル状態と称することができる。ユーザは、サムネイルグリッドを見ながら、リスト（例えば、カテゴリまたは他のリスト）サムネイル状態を明らかにするためにズームアウトすることができる。リストサムネイル状態は、第２のサムネイル状態と称することができる。第２のサムネイル状態の中の各々のサムネイルは、第１のサムネイル状態の平面、円筒形、または、球面構造として表示され得る。第１および第２のサムネイル状態間の移行は、「分子のズームイン／アウト」にスタイルが類似したアニメーションとして表示され得る。すなわち、第２のサムネイル状態は、分子の化学構造を見ることに類似していると表現され得、そして、第１のサムネイル状態は、その光子および電子を見るために分子にズームすることに類似していると表現され得る。
別の例として、第１のサムネイル状態がその惑星を見るために星にズームすることに類似していると表現され得ると同時に、第２のサムネイル状態は太陽系の星々の一群を見ることに類似していると表現され得る。ズーム・ジェスチャは、任意に「スナップ」の状態になり得る。例えば、画像オブジェクトがスクリーンに適合する間近のときにユーザがズーム・ジェスチャを終了する場合、システムはスクリーンに対し適合状態に到達するために画像オブジェクト動作を活動させることができる。
一部の実施において、２本の手によるジェスチャが、画像オブジェクトを操作するために用いてられてもよい。例えば、画像オブジェクトの角へのポインティング等、ユーザは、２本の手でポイントすることができる。画像オブジェクトを回転させるために、円軌道の両側におけるポイントを描くかのように、ユーザは手を動かすことができる。手の位置のｘ−ｙ構成要素間の角度は、測定される。回転が最初の手の位置と関連していても、ユーザが最初にどの側か角をポイントしているかは、重要でない。第２の手を所定位置に上げる時間をユーザに与えるため、短い遅延（例えば５００ミリ秒）の後、参照角度が記録される。両手を検出した後、あるいは、「空中停止」が検出された後（すなわち、距離閾値より少なく移動している両手の位置を伴って経過した短い期間（例えば５００ミリ秒）の後に）、画像オブジェクトは、参照角度と関連して手の位置間の現在の角度によって回転する。両手がもはや検出されないときに、画像オブジェクトは最も近い９０度にスナップすることができる。
画像オブジェクトのズームインまたはズームアウトするために、ユーザは、両手を近づけるまたは両手をさらに大きく隔てるよう動かすことができる。手の位置のｘ−ｙ構成要素の間の距離は、測定される。第２の手を所定位置に上げる時間をユーザに与えるため、短い遅延（例えば５００ミリ秒）の後、参照距離が記録される。両手を検出した後、あるいは、「空中停止」が検出された後、参照距離と関連する距離は、縮尺に、または速度にマッピングされ得、それに応じて画像オブジェクトはズームされ得る。
画像オブジェクトを左右上下に移動するために、ユーザは、両手間の距離および角度を一定にしたまま、両手を同じ方向に動かすことができる。手の位置のＸ−Ｙ構成要素の平均は、測定される。第２の手を所定位置に上げる時間をユーザに与えるため、短い遅延（例えば５００ミリ秒）の後、基準位置が記録される。両手を検出した後、あるいは、「空中停止」が検出された後、基準位置と関連する平均的位置は画像オブジェクトの範囲内の位置に、または速度にマップされ得、それに応じて画像オブジェクトは移動され得る。
有効化ジェスチャは、ぎこちない状況に置かれているユーザの身体のコントロールオブジェクト（すなわち手）という結果になり得る。「打ち振る」有効化ジェスチャの結果として、例えば、ユーザの手は、カメラの視野の境界または外の近辺に置かれてもよい。これらおよび他の状況において、プロセスは、今後のジェスチャ認識を容易にするかまたは改善する目標位置（自由空間において）を有するユーザのコントロールオブジェクトを正しい位置に置くかまたは合わせるために起こり得る。カメラの視野の中心位置のような、自由空間の目標位置はあらかじめ定義されていてもよい。または、例えば明るい位置、ハイコントラストまたは複雑な背景のない領域、もしくは他の移動物体から間隔をおいて配置される視野の領域で、目標位置は動的に決定され得る。
表象が目標画像と協調するように、改良されたジェスチャ認識のためのユーザの位置を調整する１つの方法は、ユーザの身体の動きを介して表象を移動させるためにユーザに推測させるかまたはユーザを案内するために、表象および目標画像をユーザインターフェースにまたはユーザインターフェースに表示することである。このように、ユーザの表象は、最初にユーザインターフェースの中央領域の外側で示され得、そして、目標画像は中央域において表示され得る。
他の画像において、再編成ジェスチャは認識され得、表象は再編成ジェスチャに基づいて目標画像に関連して移動され得る。移動した表象が目標画像と合致する場合、表象は中央領域に表示される。再編成は、ユーザの手がカメラの視野のままであることを保証することができるか、また、ユーザが一つ以上の方向のジェスチャ表現をするための腕の十分な領域を有することを保証することができる。
図１５は、プロセッサおよびユーザインターフェースをさらに含むコンピュータ１５０１の外観の一例を示す。さらなる一般の実施において、デバイスは、ユーザインターフェースおよびプロセッサを含む。ユーザインターフェースは、一つ以上の画像オブジェクトを表示するように構成される。プロセッサは、第１および第２の画像から、ユーザのジェスチャを認識して、認識されたユーザのジェスチャに対応するインタラクションコマンドを決定し、決定されたインタラクションコマンドに基づいて、ユーザインターフェースで表示される画像オブジェクトを操作するように構成される。
さらに詳細には、コンピュータ１５０１のハードウェア環境は、テキストおよび画像を、ユーザの有するインターフェースに表示するためのディスプレイモニタ１５０８、テキストデータおよびユーザコマンドをコンピュータ１５０１に入力するためのキーボード１５０９、ディスプレイモニタ１５０８に表示されるオブジェクトをポイントし、選択し、操作するためのマウス１５１０、固定ディスクドライブ１５１１、リームーバブルディスクドライブ１５１２、テープドライブ１５１４、ハードコピー出力デバイス、コンピュータ・ネットワーク接続、そして、デジタル入力デバイス１５１７を含む。
ディスプレイモニタ１５０８は、グラフィックス、画像および、コンピュータ１５０１を動作させるのに必要なオペレーティングシステムプログラムと同様に、コンピュータ１５０１で使用されるソフトウェアアプリケーションのためのユーザインターフェースを構成するテキストを表示する。ユーザは、アプリケーションプログラムと同様に、コンピュータオペレーティングシステムプログラムを動作制御するコマンドおよびデータを入力するために、キーボード１５０９を使用する。マウス１５１０は、様々な種類のポインティングデバイスであってよく、ジョイスティック、トラックボール、タッチパッドまたは他のポインティングデバイスであってもよい。ユーザインターフェースを表示し、ユーザにテキスト、数字を入力または選択を可能に、またはオプションのメニューからの選択を可能にするために使用されるソフトウェアは、例えば固定ディスクドライブ１５１１等のコンピュータ読み込み可能なメモリ媒体に局所的に格納される。
さらなる実施において、固定ディスクドライブ１５１１自体は、例えば、独立した複数のディスクの冗長アレイ（レイド「ＲＡＩＤ」）、または、別々のコンピュータに物理的に位置するディスクドライブファームまたはディスクアレイなど、多くの物理的ドライブユニットを含むことができる。このようなコンピュータ読み込み可能なメモリ媒体は、コンピュータ１５０１を、リムーバブルおよび非リムーバブルメモリ媒体に保存されたコンピュータ実行可能プロセスステップ、アプリケーションプログラムなどにアクセス可能にする。
コンピュータ・ネットワーク接続は、モデム接続、イーサネット（登録商標）を含むローカル・エリア・ネットワーク（「ＬＡＮ」）接続、もしくは、例えばデジタル加入者回線（「ＤＳＬ）、ケーブル高速インターネット接続、送電線ブロードバンド接続、ダイヤルアップ接続、Ｔ−１ライン、Ｔ−３ライン、光ファイバー接続、または衛星回線等の、ブロードバンド・ワイド・エリア・ネットワーク（「ＷＡＮ」）接続であってもよい。ネットワーク１３０６は、ＬＡＮネットワーク、会社または政府ＷＡＮネットワーク、インターネットまたは他のネットワークであってもよい。
コンピュータ・ネットワーク接続は、有線またはワイヤレス・コネクタであってよい。無線コネクタの例は、例えば、ＩＮＦＲＡＲＥＤ ＤＡＴＡ ＡＳＳＯＣＩＡＴＩＯＮ（登録商標）（赤外線通信協会）（「ＩｒＤＡ」（登録商標））によるワイヤレス・コネクタ、光学ワイヤレス・コネクタ、ＩＮＳＴＩＴＵＴＥ ＯＦ ＥＬＥＣＴＲＩＣＡＬ ＡＮＤ ＥＬＥＣＴＲＯＮＩＣＳ ＥＮＧＩＮＥＥＲＳ（登録商標）（電気電子技術者協会）（「ＩＥＥＥ」（登録商標））スタンダード８０２．１１ワイヤレスのコネクタ、ＢＬＵＥＴＯＯＴＨ（登録商標）（ブルートゥース）無線コネクタ、直交周波数分割多重（「ＯＦＤＭ」）超高帯域幅（「ＵＷＢ」）ワイヤレス・コネクタ、時間変調超高帯域幅（「ＴＭ−ＵＷＢ」）ワイヤレス・コネクタ、または他のワイヤレスのコネクタ。有線コネクタの一例として、例えば、ＩＥＥＥ（登録商標）−１３９４ ＦＩＲＥＷＩＲＥコネクタ、ユニバーサルシリアルバス（「ＵＳＢ」）コネクタ、シリアルポートコネクタ、パラレルポートコネクタまたは他の有線コネクタ。
リムーバルディスクドライブ１５１２は、コンピュータ１５０１からデータをオフロードするかまたはコンピュータ１５０１上へデータをアップロードするために用いる取り外し可能な記憶装置である。リムーバルディスクドライブ１５１２は、フロッピー（登録商標）（登録商標）ディスク装置、ＩＯＭＥＧＡ（登録商標） ＺＩＰ（登録商標）ドライブ、コンパクトディスク−読出し専用メモリ（「ＣＤ−ＲＯＭ」）ドライブ、ＣＤ−レコーダブルドライブ（「ＣＤ−Ｒ」）、ＣＤリライタブルドライブ（「ＣＤ−ＲＷ）、フラッシュメモリ、ＵＳＢフラッシュ・ドライブ、サムドライブ、ペン・ドライブ、キー・ドライブ、高密度デジタル多用途ディスク（「ＨＤ−ＤＶＤ」）光ディスクドライブ、ブルーレイ光学ディスクドライブ、ホログラフィック・デジタル・データ・ストレージ（「ＨＤＤＳ」）光ディスクドライブ、もしくは、例えばＤＶＤ−レコーダブル（「ＤＶＤ−Ｒ」．または「ＤＶＤ＋Ｒ」）、ＤＶＤ−リライタブル（「ＤＶＤ−ＲＷ」または「ＤＶＤ＋ＲＷ）またはＤＶＤ−ＲＡＭなど、様々な種類の記録可能または書き換え可能なデジタル多用途ディスク（「ＤＶＤ」）であってよい。オペレーティングシステムプログラム、アプリケーションおよび様々なデータファイルはディスクに格納される。そして、それは固定ディスクドライブ１５１１上にまたはリムーバルディスクドライブ１５１２用のリムーバルメディア上に格納される。
テープドライブ１５１４は、コンピュータ１５０１からデータをオフロードするかまたはコンピュータ１５０１上へデータをアップロードするために用いるテープ記憶装置である。テープドライブ１５１４は、１／４インチ・カートリッジ（「ＱＩＣ）、４ｍｍのデジタル・オーディオ・テープ（「ＤＡＴ）、８ｍｍのデジタル線形テープ（「ＤＬＴ」）ドライブまたはテープの他のタイプであってもよい。
さらに、コンピュータ１５０１はデスクトップＰＣとして上述しているが、さらなる実施で、コンピュータ１５０１は、ラップトップ、ワークステーション、中型コンピュータ、メインフレーム、埋め込みシステム、電話、携帯端末またはタブレット型コンピュータ、ＰＤＡ、ゲーム機またはコンソール、デジタルピクチャフレーム、テレビ会議装置または他のタイプのコンピュータであってもよい。
図１６は、図１５に示されるコンピュータの内部構造を示すブロック図である。以下、コンピュータ１５０１の典型的な内部構造について説明する。コンピュータ環境は、オペレーティングシステムまたはアプリケーションを作り上げるコンピュータ命令が処理されるコンピュータ中央演算処理装置（「ＣＰＵ」）１６０１、ディスプレイモニタ１５０８上にグラフィックス、画像およびテキストをレンダリングするために通信インターフェースおよび処理機能を提供する表示インターフェース１６０２、キーボード１５０９に通信インターフェースを提供するキーボードインターフェース１６０４、マウス１５１０または等価なポインティングデバイスに通信インターフェースを提供するポインティングデバイスインターフェース１６０５、デジタル入力装置１５１７に通信インターフェースを提供するデジタル入力インターフェース１６０６、ハードコピー出力デバイスに通信インターフェースを提供するハードコピー出力デバイスインターフェース、コンピュータＣＰＵ １６０１で処理するためのコンピュータインストラクションおよびデータが揮発性メモリデバイスに格納されるランダムアクセスメモリ（「ＲＡＭ」）１６１０、基本入出力（「Ｉ／Ｏ」）、スタートアップまたはキーボード１５０９からのキーストロークの受信など、基本的システム機能のための不変の低レベルのシステムコードまたはデータが不揮発性メモリデバイスに格納された読出し専用メモリ（「ＲＯＭ」）１６１１、そして、オペレーティングシステム１６２１、アプリケーションプログラム１６２２（必要に応じてエンハンスドコントロールアプリケーション１６２３や他のアプリケーション１６２４を含む）、およびデータファイル１６２５を作り出すファイルが格納される、記憶装置１６２０、または他の適切なタイプのメモリ（例えば、ランダムアクセスメモリ（「ＲＡＭ」）、読出し専用メモリ（「ＲＯＭ」）、プログラマブルＲＯＭ（「ＰＲＯＭ」）、消去可能ＰＲＯＭ（「ＥＰＲＯＭ」）、電気的消去可能ＰＲＯＭ（「ＥＥＰＲＯＭ）、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク、ハードディスク、リムーバブル・カートリッジ、フラッシュ・ドライブ）、コンピュータ・ネットワーク接続上のネットワークに通信インターフェースを提供するコンピュータ・ネットワーク・インターフェースを含む。構成するデバイスおよびコンピュータＣＰＵ １６０１は、コンピュータバス１６２７を通じて各々と通信する。
１つの総合的実施によれば、コンピュータプログラム製品は、明らかに具現化されるかまたは、例えば記憶装置１６２０等の機械可読媒体に記録される。コンピュータプログラム製品は、機械によって読み込まれるときに、データ処理装置に、第１および第２の画像から、ユーザのジェスチャを認識して、認識されたユーザのジェスチャに対応するインタラクションコマンドを決定して、決定されたインタラクションコマンドに基づいて、ユーザインターフェースで表示される画像オブジェクトを操作させるために機能する命令を含む。
ＲＡＭ １６１０は、例えばオペレーティングシステム・アプリケーション・プログラムやデバイス・ドライバ等のソフトウェア・プログラムの実行中に、コンピュータＣＰＵ １６０１に速いＲＡＭ記憶を提供するように、コンピュータバス１６２７とインターフェースをとる。より詳しくは、コンピュータＣＰＵ １６０１は、ソフトウェア・プログラムを実行するために、ＲＡＭ １６１０の分野に、固定ディスクドライブ１５１１または他のメモリ媒体からのコンピュータ実行可能プロセスステップをロードする。データは、ＲＡＭ １６１０に格納される、そこにおいて、データは、実行の間、コンピュータＣＰＵ １６０１によってアクセスされる。
コンピュータ１５０１は、オペレーティングシステム１６２１や、例えばワードプロセッシング、スプレッドシート、プレゼンテーション、ゲームまたは他のアプリケーション等のアプリケーションプログラム１６２２のためのコンピュータ実行可能コードを格納する。ダイナミックリンク・ライブラリ（「ＤＬＬ」）として、または、例えばＭＩＣＲＯＳＯＦＴインターネット・ウェブ・ブラウザのようなインターネット・ウェブ・ブラウザなど、他のアプリケーションプログラムに対するプラグインとして現在の公開に従って機能を実装することは、可能である。
コンピュータＣＰＵ １６０１は、ＩＮＴＥＬ（登録商標）またはＡＭＤ（登録商標）プロセッサ、ＰＯＷＥＲＰＣ（登録商標）プロセッサ、ＭＩＰＳ（登録商標）縮小命令セット・コンピュータ（「ＲＩＳＣ」）プロセッサ、ＳＰＡＲＣ（登録商標）プロセッサ、ＡＣＯＲＮ（登録商標） ＲＩＳＣ Ｍａｃｈｉｎｅ（「ＡＲＭ（登録商標）」）アーキテクチャ・プロセッサ、ＨＰ ＡＬＰＨＡＳＥＲＶＥＲ（登録商標）プロセッサまたはメインフレームのための独占所有権のあるコンピュータプロセッサを含む多くの高性能コンピュータプロセッサのうちの１つである。付加的な装置において、コンピュータＣＰＵ １６０１は、高性能ワークステーションおよびサーバに見られる多数のＣＰＵ構成またはメインフレームで見られる多数の計測可能な処理ユニットを含む複数の処理ユニットである。
オペレーティングシステム１６２１は、ＭＩＣＲＯＳＯＦＴ（登録商標） WINDOWS（登録商標） ＮＴ（登録商標）／WINDOWS（登録商標）（登録商標） ２０００／WINDOWS（登録商標）（登録商標） ＸＰワークステーション、WINDOWS（登録商標） ＮＴ（登録商標）／WINDOWS（登録商標）（登録商標） ２０００／WINDOWS（登録商標）（登録商標） ＸＰサーバであってもよく、ＩＢＭ（登録商標）ワークステーションおよびサーバのためのＡＩＸ（登録商標）、ＳＵＮ（登録商標） ワークステーションおよびサーバのためのＳＵＮＯＳ（登録商標）、ＩＮＴＥＬ（登録商標） ＣＰＵベースのワークステーションおよびサーバのためのＬＩＮＵＸ（登録商標）、ＨＰ（登録商標）ワークステーションおよびサーバのためのＨＰ ＵＸ ＷＯＲＫＬＯＡＤ ＭＡＮＡＧＥＲ（登録商標）、ＳＧＩ（登録商標）ワークステーションおよびサーバのためのＩＲＩＸ（登録商標）、デジタル・イクイップメント・コーポレーション・コンピュータのためのＶＡＸ／ＶＭＳ、ＨＰ ＡＬＰＨＡＳＥＲＶＥＲ（登録商標）ベースのコンピュータのためのＯＰＥＮＶＭＳ（登録商標）、 ＰＯＷＥＲＰＣ（登録商標）ベースのワークステーションおよびサーバのためのＭＡＣ ＯＳ（登録商標） Ｘを含む種々のＵＮＩＸ（登録商標）フレーバード・オペレーティングシステムであってもよく、ＳＹＭＢＩＡＮ ＯＳ（登録商標）、WINDOWS（登録商標） ＭＯＢＩＬＥ（登録商標）、または WINDOWS（登録商標） ＣＥ（登録商標）、ＰＡＬＭ（登録商標）、ＮＯＫＩＡ（登録商標） ＯＳ （「ＮＯＳ」）、ＯＳＥ（登録商標）、モバイル機器のためのＥＰＯＣ（登録商標）、またはコンピュータまたは組み込み式システムのための独占所有権のあるオペレーティングシステムであってもよい。オペレーティングシステム１６２１に対するアプリケーション開発プラットフォームまたはフレームワークは、ＢＩＮＡＲＹ ＲＵＮＴＩＭＥ ＥＮＶＩＲＯＮＭＥＮＴ ＦＯＲ ＷＩＲＥＬＥＳＳ（登録商標） （「ＢＲＥＷ（登録商標）」）、Java（登録商標） Ｐｌａｔｆｏｒｍ， Ｍｉｃｒｏ Ｅｄｉｔｉｏｎ（「Java（登録商標） ＭＥ」）またはJava（登録商標） ２ Ｐｌａｔｆｏｒｍ， Ｍｉｃｒｏ Ｅｄｉｔｉｏｎ（「Ｊ２ＭＥ（登録商標）」）、ＰＹＴＨＯＮ、ＦＬＡＳＨ ＬＩＴＥ（登録商標）、またはＭＩＣＲＯＳＯＦＴ（登録商標）．ＮＥＴ Ｃｏｍｐａｃｔでもよい。
図１５および１６は、プログラムコードまたはプログラムまたはプロセスステップを実行するものであり、（ユーザが直観的に、そして、容易にテキスト、数字を入力する、または複数の項目から選択することのできる改良されたコントロールを提供するように構成されるコンピュータの１つの考えられる実施を示すが、一方、他のタイプのコンピュータもしくは実施がまた同様に用いられ得る。
多くの実施が、記載されてきた。それでもなお、様々な修正が開示の趣旨および範囲から逸脱することなく、なされることができると理解される。したがって、他の実施態様は、以下の請求項の範囲内である。
Claims (24)
- コンピュータのプロセッサによって実行されるコンピュータ実行方法であって、
カメラを用いてユーザの胴の位置を決定するステップと、
決定された前記胴の位置を基準として、前記胴に近い第１側と前記胴から遠い第２側とを区分する平面を定義付けるステップと、
前記第１側で行われるユーザの動きを無視するステップと、
前記カメラによって捕捉される第１および第２の画像から、前記第２側で行われるユーザのジェスチャを認識するステップと、
認識されたユーザのジェスチャに対応するインタラクションコマンドを決定するステップと、
決定されたインタラクションコマンドに基づいて、ユーザインターフェースで表示される画像オブジェクトを操作するステップと、
を備えるコンピュータ実行方法。 - 請求項１の方法において、
前記インタラクションコマンドは、選択コマンドを含み、
前記画像オブジェクトを操作するステップは、さらなる操作のため前記画像オブジェクトを選択するステップをさらに備えるコンピュータ実行方法。 - 請求項２の方法において、
前記ユーザのジェスチャを認識するステップは、
前記第１の画像における、ユーザの、腕を伸ばした状態、指を伸ばした状態、掌を前方に出した手のポーズを検出するステップと、
前記第２の画像における、ユーザの、腕を伸ばした状態、指を握った状態、掌を下方に置いた手のポーズを検出するステップと、
をさらに備えるコンピュータ実行方法。 - 請求項１の方法において、
前記インタラクションコマンドは、画像パンコマンドを含み、
前記画像オブジェクトを操作するステップは、前記ユーザインターフェースに対して前記画像オブジェクトをパンするステップをさらに備えるコンピュータ実行方法。 - 請求項４の方法において、前記ユーザのジェスチャを認識するステップは、
前記第１の画像における、ユーザの腕の第１位置を検出するステップと、
前記第２の画像における、ユーザの腕の第２位置を検出するステップと、
前記第１位置と前記第２位置との間の変化の大きさおよび方向を決定するステップと、
をさらに備えるコンピュータ実行方法。 - 請求項５の方法において、距離に基づく動作モードとして、前記画像オブジェクトを操作するステップは、
前記決定された大きさおよび方向に相関している前記画像オブジェクトの変位位置を決定するステップと、
前記変位位置に前記画像オブジェクトを表示するステップと、
をさらに備えるコンピュータ実行方法。 - 請求項５の方法において、速度に基づく動作モードとして、前記画像オブジェクトを操作するステップは、
前記決定された大きさおよび方向に相関しているスクロールの大きさおよび方向を決定するステップと、
前記決定されたスクロールの大きさおよび方向に基づいて前記画像オブジェクトをスクロールするステップと、
をさらに備えるコンピュータ実行方法。 - 請求項１の方法において、
前記インタラクションコマンドは、画像ズームコマンドを含み、
前記画像オブジェクトを操作するステップは、前記ユーザインターフェースに対して前記画像オブジェクトをズームするステップをさらに備えるコンピュータ実行方法。 - 請求項８の方法において、
前記ユーザのジェスチャを認識するステップは、
前記第１の画像における、ユーザの腕の第１位置を検出するステップと、
前記第２の画像における、ユーザの腕の第２位置を検出するステップと、
前記第１位置と前記第２位置との間の変化の大きさおよび方向を決定するステップと、
をさらに備えるコンピュータ実行方法。 - 請求項９の方法において、距離に基づく動作モードとして、前記画像オブジェクトを操作するステップは、
前記決定された大きさおよび方向に相関している拡大係数を決定するステップと、
前記決定された拡大係数を前記画像オブジェクトに適用するステップと、
をさらに備えるコンピュータ実行方法。 - 請求項９の方法において、速度に基づく動作モードとして、前記画像オブジェクトを操作するステップは、
決定された大きさおよび方向に相関して、前記画像オブジェクトを操作する大きさおよび方向調整を決定するステップと、
前記決定された大きさおよび方向調整に基づいて画像オブジェクトの拡大係数を反復的に調整するステップと、
をさらに備えるコンピュータ実行方法。 - 請求項１の方法において、
前記インタラクションコマンドは、ローテーションコマンドを含み、
前記画像オブジェクトを操作するステップは、ユーザインターフェースに対して前記画像オブジェクトを回転させるステップをさらに備えるコンピュータ実行方法。 - 請求項１２の方法において、前記ユーザのジェスチャを認識するステップは、
前記第１の画像における、ユーザの手の第１方位を検出するステップと、
前記第２の画像における、ユーザの手の第２方位を検出するステップと、
前記第１方位と前記第２方位との間の方位変化を決定するステップと、
をさらに備えるコンピュータ実行方法。 - 請求項１３の方法において、距離に基づく動作モードとして、前記画像オブジェクトを操作するステップは、
前記決定された大きさおよび方向に相関している前記画像オブジェクトの変位方位を決定するステップと、
前記変位方位に前記画像オブジェクトを表示するステップと、
をさらに備えるコンピュータ実行方法。 - 請求項１３の方法において、速度に基づく動作モードとして、前記画像オブジェクトを操作するステップは、
前記決定された大きさおよび方向に相関している、前記画像オブジェクトを操作する大きさおよび方向調整を決定するステップと、
前記決定された大きさおよび方向調整に基づいて、前記画像オブジェクトの方位を反復して調整するステップと、
をさらに備えるコンピュータ実行方法。 - コンピュータのプロセッサによって実行されるコンピュータ実行方法であって、
第１および第２の画像から、ユーザのジェスチャを認識するステップと、
認識されたユーザのジェスチャに対応するインタラクションコマンドを決定するステップと、
決定されたインタラクションコマンドに基づいて、ユーザインターフェース内に表示された画像オブジェクトを操作するステップと
を有し、
第１および第２の画像から、ユーザのジェスチャを認識するステップは、
カメラを用いてユーザの胴の位置を決定するステップと、
前記胴の前で所定の距離を有する平面を定義付けるステップと、
前記胴に近い側である、前記平面の第１側で行われるユーザの動きを無視するステップと、
前記カメラによって捕捉される第１および第２画像から、前記胴から遠い側である、前記平面の第２側で行われるユーザのジェスチャを認識するステップと
を含み、
ユーザのジェスチャの大きさが予め定められた閾値を上回る場合に、前記画像オブジェクトは操作されるコンピュータ実行方法。 - 請求項１の方法において、前記画像オブジェクトは、ユーザのジェスチャの方向を反映させている操作方向に操作されるコンピュータ実行方法。
- 請求項１の方法において、
前記ユーザのジェスチャを認識するステップは、
第１の選択ジェスチャを認識するステップと、
第１のインタラクションジェスチャを認識するステップと、
非選択ジェスチャを認識するステップと、
再配置ジェスチャを認識するステップと、
第２の選択ジェスチャを認識するステップと、
第２のインタラクションジェスチャを認識するステップと、
を備え、
前記画像オブジェクトを操作するステップは、
前記第１の選択ジェスチャを認識することに基づいて画像オブジェクトを選ぶステップと、
前記第１および第２のインタラクションジェスチャを認識することに基づいて前記画像オブジェクトを調整するステップと、
前記画像オブジェクトの操作を引き起こさないよう、前記再配置ジェスチャをフィルタリングするステップと、
を備えるコンピュータ実行方法。 - 請求項１の方法において、
前記インタラクションコマンドは、プレビュー画像コマンドを含み、
前記画像オブジェクトを操作するステップは、前記画像オブジェクトを、複数のプレビュー画像オブジェクトから選択することをさらに備えるコンピュータ実行方法。 - 画像を表示するように構成されたユーザインターフェースと、
プロセッサと
を具備し、
前記プロセッサは、
カメラを用いてユーザの胴の位置を決定し、
決定された前記胴の位置を基準として、前記胴に近い第１側と前記胴から遠い第２側とを区分する平面を定義付け、
前記第１側で行われるユーザの動きを無視し、
前記カメラによって捕捉される第１および第２の画像から、前記第２側で行われるユーザのジェスチャを認識し、
認識されたユーザのジェスチャに対応するインタラクションコマンドを決定し、
決定されたインタラクションコマンドに基づいて、画像オブジェクトを操作するように構成されてなるシステム。 - 請求項２０のシステムは、前記第１および第２の画像を生成するように構成されるＴＯＦ（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）カメラをさらに備えるシステム。
- コンピュータに、
カメラを用いてユーザの胴の位置を決定する手順と、
決定された前記胴の位置を基準として、前記胴に近い第１側と前記胴から遠い第２側とを区分する平面を定義付ける手順と、
前記第１側で行われるユーザの動きを無視する手順と、
前記カメラによって捕捉される第１および第２の画像から、前記第２側で行われるユーザのジェスチャを認識する手順と、
認識されたユーザのジェスチャに対応するインタラクションコマンドを決定する手順と、
決定されたインタラクションコマンドに基づいて、ユーザインターフェースに表示される画像オブジェクトを操作する手順と
を実行させるためのコンピュータプログラム。 - 前記画像オブジェクトは、ユーザのジェスチャの速度が所定の閾値を超えた場合に操作される請求項１６に記載のコンピュータ実行方法。
- 前記ユーザの１又は２以上の画像に基づいてユーザの握った手のポーズを検出するステップと、
ユーザの握った手のポーズを検出した後に、ユーザインターフェースに向かって定義されたＺ方向でのユーザの手の動きの距離を決定するステップと、
前記握った手のポーズを検出した後に、Ｚ方向に直交するＸ−Ｙ平面でのユーザの手の動きの距離を決定するステップと、
前記握った手のポーズの後にＺ方向でのユーザの手の動きの距離が距離閾値を超える前に、前記握った手のポーズの後にＸ−Ｙ平面でのユーザの手の動きの距離が距離閾値を超えることに基づいて画像オブジェクトを操作するための画像動きインタラクションコマンドを選択するステップと、
前記握った手のポーズの後にＸ−Ｙ平面でのユーザの手の動きの距離が距離閾値を超える前に、前記握った手のポーズの後にＺ方向でのユーザの手の動きの距離が距離閾値を超えることに基づいて画像オブジェクトを操作するための画像ズームインタラクションコマンドを選択するステップと、
を有する請求項１６に記載のコンピュータ実行方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/041,927 US9772689B2 (en) | 2008-03-04 | 2008-03-04 | Enhanced gesture-based image manipulation |
| US12/041,927 | 2008-03-04 | ||
| PCT/US2009/035544 WO2009111329A2 (en) | 2008-03-04 | 2009-02-27 | Enhanced gesture-based image manipulation |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013258081A Division JP2014099184A (ja) | 2008-03-04 | 2013-12-13 | 改良されたジェスチャに基づく画像操作 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2011517357A JP2011517357A (ja) | 2011-06-02 |
| JP2011517357A5 JP2011517357A5 (ja) | 2012-04-12 |
| JP5855343B2 true JP5855343B2 (ja) | 2016-02-09 |
Family
ID=41054915
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010549767A Active JP5855343B2 (ja) | 2008-03-04 | 2009-02-27 | 改良されたジェスチャに基づく画像操作 |
| JP2013258081A Pending JP2014099184A (ja) | 2008-03-04 | 2013-12-13 | 改良されたジェスチャに基づく画像操作 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013258081A Pending JP2014099184A (ja) | 2008-03-04 | 2013-12-13 | 改良されたジェスチャに基づく画像操作 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9772689B2 (ja) |
| JP (2) | JP5855343B2 (ja) |
| WO (1) | WO2009111329A2 (ja) |
Families Citing this family (372)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| US20070177804A1 (en) * | 2006-01-30 | 2007-08-02 | Apple Computer, Inc. | Multi-touch gesture dictionary |
| US7760187B2 (en) | 2004-07-30 | 2010-07-20 | Apple Inc. | Visual expander |
| US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
| US9182937B2 (en) | 2010-10-01 | 2015-11-10 | Z124 | Desktop reveal by moving a logical display stack with gestures |
| US8396565B2 (en) | 2003-09-15 | 2013-03-12 | Medtronic, Inc. | Automatic therapy adjustments |
| EP1914636A4 (en) * | 2005-07-27 | 2009-12-23 | Mikhail Vasilyevich Belyaev | CLIENT SERVER INFORMATION SYSTEM AND METHOD FOR PRESENTING A GRAPHIC USER INTERFACE |
| US8225231B2 (en) | 2005-08-30 | 2012-07-17 | Microsoft Corporation | Aggregation of PC settings |
| US7957809B2 (en) | 2005-12-02 | 2011-06-07 | Medtronic, Inc. | Closed-loop therapy adjustment |
| US8890813B2 (en) * | 2009-04-02 | 2014-11-18 | Oblong Industries, Inc. | Cross-user hand tracking and shape recognition user interface |
| US8402382B2 (en) * | 2006-04-21 | 2013-03-19 | Google Inc. | System for organizing and visualizing display objects |
| US8972902B2 (en) * | 2008-08-22 | 2015-03-03 | Northrop Grumman Systems Corporation | Compound gesture recognition |
| US7856605B2 (en) | 2006-10-26 | 2010-12-21 | Apple Inc. | Method, system, and graphical user interface for positioning an insertion marker in a touch screen display |
| US8570278B2 (en) | 2006-10-26 | 2013-10-29 | Apple Inc. | Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker |
| US9311528B2 (en) * | 2007-01-03 | 2016-04-12 | Apple Inc. | Gesture learning |
| KR100913962B1 (ko) * | 2007-05-14 | 2009-08-26 | 삼성전자주식회사 | 이동통신 단말기의 문자 입력 방법 및 장치 |
| CA2699628A1 (en) * | 2007-09-14 | 2009-03-19 | Matthew Bell | Gesture-based user interactions with status indicators for acceptable inputs in volumetric zones |
| JP4569613B2 (ja) * | 2007-09-19 | 2010-10-27 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| US8159682B2 (en) | 2007-11-12 | 2012-04-17 | Intellectual Ventures Holding 67 Llc | Lens system |
| KR101417808B1 (ko) * | 2007-12-06 | 2014-07-09 | 삼성전자주식회사 | 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체 |
| US8413075B2 (en) * | 2008-01-04 | 2013-04-02 | Apple Inc. | Gesture movies |
| US9035876B2 (en) * | 2008-01-14 | 2015-05-19 | Apple Inc. | Three-dimensional user interface session control |
| US8933876B2 (en) * | 2010-12-13 | 2015-01-13 | Apple Inc. | Three dimensional user interface session control |
| US8650507B2 (en) | 2008-03-04 | 2014-02-11 | Apple Inc. | Selecting of text using gestures |
| US8201109B2 (en) | 2008-03-04 | 2012-06-12 | Apple Inc. | Methods and graphical user interfaces for editing on a portable multifunction device |
| US8259163B2 (en) | 2008-03-07 | 2012-09-04 | Intellectual Ventures Holding 67 Llc | Display with built in 3D sensing |
| US20090254855A1 (en) * | 2008-04-08 | 2009-10-08 | Sony Ericsson Mobile Communications, Ab | Communication terminals with superimposed user interface |
| CN101626631A (zh) * | 2008-07-08 | 2010-01-13 | 深圳富泰宏精密工业有限公司 | 利用影像调用功能的系统及方法 |
| US8326420B2 (en) | 2008-07-11 | 2012-12-04 | Medtronic, Inc. | Associating therapy adjustments with posture states using stability timers |
| US9050471B2 (en) | 2008-07-11 | 2015-06-09 | Medtronic, Inc. | Posture state display on medical device user interface |
| US8323218B2 (en) | 2008-07-11 | 2012-12-04 | Medtronic, Inc. | Generation of proportional posture information over multiple time intervals |
| US8958885B2 (en) | 2008-07-11 | 2015-02-17 | Medtronic, Inc. | Posture state classification for a medical device |
| US8504150B2 (en) | 2008-07-11 | 2013-08-06 | Medtronic, Inc. | Associating therapy adjustments with posture states using a stability timer |
| US9440084B2 (en) | 2008-07-11 | 2016-09-13 | Medtronic, Inc. | Programming posture responsive therapy |
| US8332041B2 (en) | 2008-07-11 | 2012-12-11 | Medtronic, Inc. | Patient interaction with posture-responsive therapy |
| US8708934B2 (en) | 2008-07-11 | 2014-04-29 | Medtronic, Inc. | Reorientation of patient posture states for posture-responsive therapy |
| US9956412B2 (en) | 2008-07-11 | 2018-05-01 | Medtronic, Inc. | Linking posture states for posture responsive therapy |
| JP5161690B2 (ja) * | 2008-07-31 | 2013-03-13 | キヤノン株式会社 | 情報処理装置及びその制御方法 |
| US8280517B2 (en) | 2008-09-19 | 2012-10-02 | Medtronic, Inc. | Automatic validation techniques for validating operation of medical devices |
| KR20100041006A (ko) | 2008-10-13 | 2010-04-22 | 엘지전자 주식회사 | 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법 |
| US9690442B2 (en) * | 2008-10-17 | 2017-06-27 | Adobe Systems Incorporated | Generating customized effects for image presentation |
| US8086275B2 (en) | 2008-10-23 | 2011-12-27 | Microsoft Corporation | Alternative inputs of a mobile communications device |
| US8411046B2 (en) | 2008-10-23 | 2013-04-02 | Microsoft Corporation | Column organization of content |
| US8516397B2 (en) * | 2008-10-27 | 2013-08-20 | Verizon Patent And Licensing Inc. | Proximity interface apparatuses, systems, and methods |
| KR101513019B1 (ko) * | 2008-10-27 | 2015-04-17 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작방법 |
| US8423916B2 (en) * | 2008-11-20 | 2013-04-16 | Canon Kabushiki Kaisha | Information processing apparatus, processing method thereof, and computer-readable storage medium |
| JP4816713B2 (ja) * | 2008-11-25 | 2011-11-16 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理用プログラム |
| US20100138797A1 (en) * | 2008-12-01 | 2010-06-03 | Sony Ericsson Mobile Communications Ab | Portable electronic device with split vision content sharing control and method |
| US8205168B1 (en) * | 2008-12-01 | 2012-06-19 | Adobe Systems Incorporated | Methods and systems for page navigation of dynamically laid-out systems |
| KR20100077851A (ko) * | 2008-12-29 | 2010-07-08 | 엘지전자 주식회사 | Ｄｔｖ 및 이를 이용한 콘텐츠 표시 방법 |
| JP5168161B2 (ja) * | 2009-01-16 | 2013-03-21 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
| US8565477B2 (en) * | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
| US8577085B2 (en) | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
| US8267781B2 (en) * | 2009-01-30 | 2012-09-18 | Microsoft Corporation | Visual target tracking |
| US9652030B2 (en) * | 2009-01-30 | 2017-05-16 | Microsoft Technology Licensing, Llc | Navigation of a virtual plane using a zone of restriction for canceling noise |
| US8682028B2 (en) | 2009-01-30 | 2014-03-25 | Microsoft Corporation | Visual target tracking |
| US8588465B2 (en) | 2009-01-30 | 2013-11-19 | Microsoft Corporation | Visual target tracking |
| US20100199231A1 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Predictive determination |
| US8577084B2 (en) | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
| US8565476B2 (en) * | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
| US7996793B2 (en) | 2009-01-30 | 2011-08-09 | Microsoft Corporation | Gesture recognizer system architecture |
| US20100218100A1 (en) * | 2009-02-25 | 2010-08-26 | HNTB Holdings, Ltd. | Presentation system |
| US20100228494A1 (en) * | 2009-03-05 | 2010-09-09 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Postural information system and method including determining subject advisory information based on prior determined subject advisory information |
| US20100228153A1 (en) * | 2009-03-05 | 2010-09-09 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Postural information system and method |
| US9024976B2 (en) | 2009-03-05 | 2015-05-05 | The Invention Science Fund I, Llc | Postural information system and method |
| KR20100101389A (ko) * | 2009-03-09 | 2010-09-17 | 삼성전자주식회사 | 사용자 메뉴를 제공하는 디스플레이 장치 및 이에 적용되는ｕｉ제공 방법 |
| US20100235734A1 (en) | 2009-03-16 | 2010-09-16 | Bas Ording | Methods and Graphical User Interfaces for Editing on a Multifunction Device with a Touch Screen Display |
| US8121640B2 (en) | 2009-03-19 | 2012-02-21 | Microsoft Corporation | Dual module portable devices |
| US8849570B2 (en) * | 2009-03-19 | 2014-09-30 | Microsoft Corporation | Projected way-finding |
| US20100241999A1 (en) * | 2009-03-19 | 2010-09-23 | Microsoft Corporation | Canvas Manipulation Using 3D Spatial Gestures |
| US8238876B2 (en) | 2009-03-30 | 2012-08-07 | Microsoft Corporation | Notifications |
| US8175653B2 (en) | 2009-03-30 | 2012-05-08 | Microsoft Corporation | Chromeless user interface |
| US8810574B2 (en) * | 2009-04-02 | 2014-08-19 | Mellmo Inc. | Displaying pie charts in a limited display area |
| JP5256109B2 (ja) | 2009-04-23 | 2013-08-07 | 株式会社日立製作所 | 表示装置 |
| US9327070B2 (en) | 2009-04-30 | 2016-05-03 | Medtronic, Inc. | Medical device therapy based on posture and timing |
| US8175720B2 (en) | 2009-04-30 | 2012-05-08 | Medtronic, Inc. | Posture-responsive therapy control based on patient input |
| US9026223B2 (en) | 2009-04-30 | 2015-05-05 | Medtronic, Inc. | Therapy system including multiple posture sensors |
| US9898675B2 (en) | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
| US20100289912A1 (en) * | 2009-05-14 | 2010-11-18 | Sony Ericsson Mobile Communications Ab | Camera arrangement with image modification |
| US9417700B2 (en) | 2009-05-21 | 2016-08-16 | Edge3 Technologies | Gesture recognition systems and related methods |
| US8836648B2 (en) | 2009-05-27 | 2014-09-16 | Microsoft Corporation | Touch pull-in gesture |
| US9383823B2 (en) | 2009-05-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Combining gestures beyond skeletal |
| US8856691B2 (en) * | 2009-05-29 | 2014-10-07 | Microsoft Corporation | Gesture tool |
| US9400559B2 (en) * | 2009-05-29 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture shortcuts |
| US8466934B2 (en) * | 2009-06-29 | 2013-06-18 | Min Liang Tan | Touchscreen interface |
| US20110029904A1 (en) * | 2009-07-30 | 2011-02-03 | Adam Miles Smith | Behavior and Appearance of Touch-Optimized User Interface Elements for Controlling Computer Function |
| KR100984817B1 (ko) * | 2009-08-19 | 2010-10-01 | 주식회사 컴퍼니원헌드레드 | 이동통신 단말기의 터치스크린을 이용한 사용자 인터페이스 방법 |
| EP2472374B1 (en) * | 2009-08-24 | 2019-03-20 | Samsung Electronics Co., Ltd. | Method for providing a ui using motions |
| US8429565B2 (en) * | 2009-08-25 | 2013-04-23 | Google Inc. | Direct manipulation gestures |
| KR101599288B1 (ko) * | 2009-09-24 | 2016-03-04 | 삼성전자 주식회사 | 디스플레이장치 및 그 영상표시방법 |
| KR101038323B1 (ko) * | 2009-09-24 | 2011-06-01 | 주식회사 팬택 | 영상인식기법을 이용한 화면 프레임 제어장치 |
| US20110119216A1 (en) * | 2009-11-16 | 2011-05-19 | Microsoft Corporation | Natural input trainer for gestural instruction |
| KR101631451B1 (ko) * | 2009-11-16 | 2016-06-20 | 엘지전자 주식회사 | 영상표시장치 및 그 동작방법 |
| US8988507B2 (en) * | 2009-11-19 | 2015-03-24 | Sony Corporation | User interface for autofocus |
| US20110199387A1 (en) * | 2009-11-24 | 2011-08-18 | John David Newton | Activating Features on an Imaging Device Based on Manipulations |
| JP5568970B2 (ja) | 2009-11-30 | 2014-08-13 | ソニー株式会社 | 情報処理装置、情報処理方法及びそのプログラム |
| CN102741781A (zh) * | 2009-12-04 | 2012-10-17 | 奈克斯特控股公司 | 用于位置探测的传感器方法和系统 |
| US8358281B2 (en) * | 2009-12-15 | 2013-01-22 | Apple Inc. | Device, method, and graphical user interface for management and manipulation of user interface elements |
| KR20110076458A (ko) * | 2009-12-29 | 2011-07-06 | 엘지전자 주식회사 | 디스플레이 장치 및 그 제어방법 |
| US9357949B2 (en) | 2010-01-08 | 2016-06-07 | Medtronic, Inc. | User interface that displays medical therapy and posture data |
| US8758274B2 (en) | 2010-01-08 | 2014-06-24 | Medtronic, Inc. | Automated adjustment of posture state definitions for a medical device |
| US9956418B2 (en) | 2010-01-08 | 2018-05-01 | Medtronic, Inc. | Graphical manipulation of posture zones for posture-responsive therapy |
| US8579834B2 (en) | 2010-01-08 | 2013-11-12 | Medtronic, Inc. | Display of detected patient posture state |
| US8633890B2 (en) | 2010-02-16 | 2014-01-21 | Microsoft Corporation | Gesture detection based on joint skipping |
| WO2011106008A1 (en) | 2010-02-25 | 2011-09-01 | Hewlett-Packard Development Company, L.P. | Representative image |
| US20120124481A1 (en) * | 2010-03-18 | 2012-05-17 | Robert Campbell | Interacting with a device |
| WO2011119154A1 (en) * | 2010-03-24 | 2011-09-29 | Hewlett-Packard Development Company, L.P. | Gesture mapping for display device |
| US20110246946A1 (en) * | 2010-03-31 | 2011-10-06 | Douglas Weber | Apparatus and Method for Interacting with Embedded Objects in Mail Application |
| CN102859546B (zh) * | 2010-03-31 | 2016-11-02 | 乐天株式会社 | 信息处理装置、信息处理方法 |
| JP5485470B2 (ja) * | 2010-04-30 | 2014-05-07 | トムソン ライセンシング | ３ｄ系内でプッシュ及びプルのジェスチャーを認識する方法及び装置 |
| US9566441B2 (en) | 2010-04-30 | 2017-02-14 | Medtronic, Inc. | Detecting posture sensor signal shift or drift in medical devices |
| US8396252B2 (en) | 2010-05-20 | 2013-03-12 | Edge 3 Technologies | Systems and related methods for three dimensional gesture recognition in vehicles |
| US20120319945A1 (en) * | 2010-05-21 | 2012-12-20 | Mccarthy John | System and method for reporting data in a computer vision system |
| JP2011248768A (ja) * | 2010-05-28 | 2011-12-08 | Sony Corp | 情報処理装置、情報処理システム及びプログラム |
| US20110304649A1 (en) * | 2010-06-10 | 2011-12-15 | Microsoft Corporation | Character selection |
| US20110310010A1 (en) * | 2010-06-17 | 2011-12-22 | Primesense Ltd. | Gesture based user interface |
| US20110317871A1 (en) * | 2010-06-29 | 2011-12-29 | Microsoft Corporation | Skeletal joint recognition and tracking system |
| JP5665396B2 (ja) * | 2010-07-09 | 2015-02-04 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
| KR101167784B1 (ko) | 2010-07-09 | 2012-07-25 | 성균관대학교산학협력단 | 단말기의 후면부 손가락 움직임에 따른 포인터 인식 방법 및 제어 명령어 인식 방법 |
| JP2012022458A (ja) * | 2010-07-13 | 2012-02-02 | Canon Inc | 情報処理装置およびその制御方法 |
| US9201501B2 (en) | 2010-07-20 | 2015-12-01 | Apple Inc. | Adaptive projector |
| WO2012011044A1 (en) | 2010-07-20 | 2012-01-26 | Primesense Ltd. | Interactive reality augmentation for natural interaction |
| US8762890B2 (en) * | 2010-07-27 | 2014-06-24 | Telcordia Technologies, Inc. | System and method for interactive projection and playback of relevant media segments onto the facets of three-dimensional shapes |
| JP5625599B2 (ja) * | 2010-08-04 | 2014-11-19 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN102346490B (zh) * | 2010-08-05 | 2014-02-19 | 鸿富锦精密工业（深圳）有限公司 | 化妆镜调整系统、方法及具有该调整系统的化妆镜 |
| WO2012030958A1 (en) * | 2010-08-31 | 2012-03-08 | Activate Systems, Inc. | Methods and apparatus for improved motion capture |
| US8582866B2 (en) | 2011-02-10 | 2013-11-12 | Edge 3 Technologies, Inc. | Method and apparatus for disparity computation in stereo images |
| US8467599B2 (en) | 2010-09-02 | 2013-06-18 | Edge 3 Technologies, Inc. | Method and apparatus for confusion learning |
| US8666144B2 (en) | 2010-09-02 | 2014-03-04 | Edge 3 Technologies, Inc. | Method and apparatus for determining disparity of texture |
| US8655093B2 (en) | 2010-09-02 | 2014-02-18 | Edge 3 Technologies, Inc. | Method and apparatus for performing segmentation of an image |
| JP2012060236A (ja) * | 2010-09-06 | 2012-03-22 | Sony Corp | 画像処理装置、画像処理方法およびコンピュータプログラム |
| JP2012089112A (ja) * | 2010-09-22 | 2012-05-10 | Nikon Corp | 画像表示装置 |
| US20120069055A1 (en) * | 2010-09-22 | 2012-03-22 | Nikon Corporation | Image display apparatus |
| US8959013B2 (en) | 2010-09-27 | 2015-02-17 | Apple Inc. | Virtual keyboard for a non-tactile three dimensional user interface |
| JP6010036B2 (ja) * | 2010-10-01 | 2016-10-19 | ゼット１２４Ｚ１２４ | タッチセンサ式ディスプレイに画像を表示する方法及び通信デバイスならびにコンピュータ可読媒体 |
| US9372618B2 (en) | 2010-10-01 | 2016-06-21 | Z124 | Gesture based application management |
| US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| JP5640680B2 (ja) * | 2010-11-11 | 2014-12-17 | ソニー株式会社 | 情報処理装置、立体視表示方法及びプログラム |
| JP5703703B2 (ja) * | 2010-11-11 | 2015-04-22 | ソニー株式会社 | 情報処理装置、立体視表示方法及びプログラム |
| EP2453386B1 (en) * | 2010-11-11 | 2019-03-06 | LG Electronics Inc. | Multimedia device, multiple image sensors having different types and method for controlling the same |
| KR20120051212A (ko) * | 2010-11-12 | 2012-05-22 | 엘지전자 주식회사 | 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치 |
| JP5300825B2 (ja) * | 2010-11-17 | 2013-09-25 | シャープ株式会社 | 指示受付装置、指示受付方法、コンピュータプログラム及び記録媒体 |
| US9545188B2 (en) | 2010-12-02 | 2017-01-17 | Ultradent Products, Inc. | System and method of viewing and tracking stereoscopic video images |
| US8872762B2 (en) | 2010-12-08 | 2014-10-28 | Primesense Ltd. | Three dimensional user interface cursor control |
| US9171264B2 (en) | 2010-12-15 | 2015-10-27 | Microsoft Technology Licensing, Llc | Parallel processing machine learning decision tree training |
| KR101813028B1 (ko) * | 2010-12-17 | 2017-12-28 | 엘지전자 주식회사 | 이동 단말기 및 그 디스플레이 제어 방법 |
| US20120159395A1 (en) | 2010-12-20 | 2012-06-21 | Microsoft Corporation | Application-launching interface for multiple modes |
| US20120159383A1 (en) | 2010-12-20 | 2012-06-21 | Microsoft Corporation | Customization of an immersive environment |
| US8689123B2 (en) | 2010-12-23 | 2014-04-01 | Microsoft Corporation | Application reporting in an application-selectable user interface |
| US9575561B2 (en) | 2010-12-23 | 2017-02-21 | Intel Corporation | Method, apparatus and system for interacting with content on web browsers |
| US8612874B2 (en) | 2010-12-23 | 2013-12-17 | Microsoft Corporation | Presenting an application change through a tile |
| US9423951B2 (en) | 2010-12-31 | 2016-08-23 | Microsoft Technology Licensing, Llc | Content-based snap point |
| EP2672880B1 (en) | 2011-02-09 | 2019-05-22 | Apple Inc. | Gaze detection in a 3d mapping environment |
| US8970589B2 (en) | 2011-02-10 | 2015-03-03 | Edge 3 Technologies, Inc. | Near-touch interaction with a stereo camera grid structured tessellations |
| US9285883B2 (en) | 2011-03-01 | 2016-03-15 | Qualcomm Incorporated | System and method to display content based on viewing orientation |
| CN103430092A (zh) * | 2011-03-04 | 2013-12-04 | 株式会社尼康 | 投影装置 |
| US9857868B2 (en) | 2011-03-19 | 2018-01-02 | The Board Of Trustees Of The Leland Stanford Junior University | Method and system for ergonomic touch-free interface |
| US9383917B2 (en) | 2011-03-28 | 2016-07-05 | Microsoft Technology Licensing, Llc | Predictive tiling |
| US8717318B2 (en) * | 2011-03-29 | 2014-05-06 | Intel Corporation | Continued virtual links between gestures and user interface elements |
| US9189825B2 (en) | 2011-04-12 | 2015-11-17 | Lg Electronics Inc. | Electronic device and method for displaying stereoscopic image |
| WO2012141350A1 (en) * | 2011-04-12 | 2012-10-18 | Lg Electronics Inc. | Electronic device and method for displaying stereoscopic image |
| WO2012141352A1 (en) * | 2011-04-13 | 2012-10-18 | Lg Electronics Inc. | Gesture recognition agnostic to device orientation |
| US8928589B2 (en) * | 2011-04-20 | 2015-01-06 | Qualcomm Incorporated | Virtual keyboards and methods of providing the same |
| JP6106921B2 (ja) * | 2011-04-26 | 2017-04-05 | 株式会社リコー | 撮像装置、撮像方法および撮像プログラム |
| US8654219B2 (en) * | 2011-04-26 | 2014-02-18 | Lg Electronics Inc. | Method and apparatus for restoring dead pixel using light intensity map in a time-of-flight camera |
| US9323339B2 (en) | 2011-04-27 | 2016-04-26 | Nec Solution Innovators, Ltd. | Input device, input method and recording medium |
| US10671841B2 (en) * | 2011-05-02 | 2020-06-02 | Microsoft Technology Licensing, Llc | Attribute state classification |
| EP2712436B1 (en) | 2011-05-09 | 2019-04-10 | Koninklijke Philips N.V. | Rotating an object on a screen |
| WO2012157793A1 (en) * | 2011-05-17 | 2012-11-22 | Lg Electronics Inc. | Gesture recognition method and apparatus |
| US20120304132A1 (en) | 2011-05-27 | 2012-11-29 | Chaitanya Dev Sareen | Switching back to a previously-interacted-with application |
| US9658766B2 (en) | 2011-05-27 | 2017-05-23 | Microsoft Technology Licensing, Llc | Edge gesture |
| US9104307B2 (en) | 2011-05-27 | 2015-08-11 | Microsoft Technology Licensing, Llc | Multi-application environment |
| US8893033B2 (en) | 2011-05-27 | 2014-11-18 | Microsoft Corporation | Application notifications |
| US8769409B2 (en) * | 2011-05-27 | 2014-07-01 | Cyberlink Corp. | Systems and methods for improving object detection |
| US9104440B2 (en) | 2011-05-27 | 2015-08-11 | Microsoft Technology Licensing, Llc | Multi-application environment |
| US9158445B2 (en) | 2011-05-27 | 2015-10-13 | Microsoft Technology Licensing, Llc | Managing an immersive interface in a multi-application immersive environment |
| US9092130B2 (en) | 2011-05-31 | 2015-07-28 | Apple Inc. | Devices, methods, and graphical user interfaces for document manipulation |
| US20120311503A1 (en) * | 2011-06-06 | 2012-12-06 | Microsoft Corporation | Gesture to trigger application-pertinent information |
| US11048333B2 (en) | 2011-06-23 | 2021-06-29 | Intel Corporation | System and method for close-range movement tracking |
| JP6074170B2 (ja) * | 2011-06-23 | 2017-02-01 | インテル・コーポレーション | 近距離動作のトラッキングのシステムおよび方法 |
| JP2013016018A (ja) * | 2011-07-04 | 2013-01-24 | Canon Inc | 表示制御装置、制御方法及びプログラム |
| US9459758B2 (en) | 2011-07-05 | 2016-10-04 | Apple Inc. | Gesture-based interface with enhanced features |
| US9377865B2 (en) | 2011-07-05 | 2016-06-28 | Apple Inc. | Zoom-based gesture user interface |
| US8881051B2 (en) | 2011-07-05 | 2014-11-04 | Primesense Ltd | Zoom-based gesture user interface |
| WO2013015462A1 (ko) * | 2011-07-22 | 2013-01-31 | 엘지전자 주식회사 | 사용자 제스쳐에 따라 동작하는 전자기기 및 전자기기의 동작 제어방법 |
| US8687023B2 (en) | 2011-08-02 | 2014-04-01 | Microsoft Corporation | Cross-slide gesture to select and rearrange |
| EP2555536A1 (en) | 2011-08-05 | 2013-02-06 | Samsung Electronics Co., Ltd. | Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same |
| KR101262700B1 (ko) | 2011-08-05 | 2013-05-08 | 삼성전자주식회사 | 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치 |
| JP5701714B2 (ja) * | 2011-08-05 | 2015-04-15 | 株式会社東芝 | ジェスチャ認識装置、ジェスチャ認識方法およびジェスチャ認識プログラム |
| US9030498B2 (en) | 2011-08-15 | 2015-05-12 | Apple Inc. | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface |
| TWI575494B (zh) * | 2011-08-19 | 2017-03-21 | 半導體能源研究所股份有限公司 | 半導體裝置的驅動方法 |
| JP5921835B2 (ja) * | 2011-08-23 | 2016-05-24 | 日立マクセル株式会社 | 入力装置 |
| US9218063B2 (en) | 2011-08-24 | 2015-12-22 | Apple Inc. | Sessionless pointing user interface |
| US9122311B2 (en) | 2011-08-24 | 2015-09-01 | Apple Inc. | Visual feedback for tactile and non-tactile user interfaces |
| US20130057587A1 (en) | 2011-09-01 | 2013-03-07 | Microsoft Corporation | Arranging tiles |
| US10353566B2 (en) | 2011-09-09 | 2019-07-16 | Microsoft Technology Licensing, Llc | Semantic zoom animations |
| US8922575B2 (en) | 2011-09-09 | 2014-12-30 | Microsoft Corporation | Tile cache |
| US9557909B2 (en) | 2011-09-09 | 2017-01-31 | Microsoft Technology Licensing, Llc | Semantic zoom linguistic helpers |
| US8933952B2 (en) | 2011-09-10 | 2015-01-13 | Microsoft Corporation | Pre-rendering new content for an application-selectable user interface |
| US9244802B2 (en) | 2011-09-10 | 2016-01-26 | Microsoft Technology Licensing, Llc | Resource user interface |
| US9146670B2 (en) | 2011-09-10 | 2015-09-29 | Microsoft Technology Licensing, Llc | Progressively indicating new content in an application-selectable user interface |
| US20130332834A1 (en) * | 2011-09-12 | 2013-12-12 | Wenlong Li | Annotation and/or recommendation of video content method and apparatus |
| US20140157129A1 (en) * | 2011-09-16 | 2014-06-05 | Landmark Graphics Corporation | Methods and systems for gesture-based petrotechnical application control |
| US9129400B1 (en) * | 2011-09-23 | 2015-09-08 | Amazon Technologies, Inc. | Movement prediction for image capture |
| US20130080976A1 (en) * | 2011-09-28 | 2013-03-28 | Microsoft Corporation | Motion controlled list scrolling |
| TWI437467B (zh) | 2011-10-11 | 2014-05-11 | Ind Tech Res Inst | 顯示控制裝置及顯示控制方法 |
| US9672609B1 (en) | 2011-11-11 | 2017-06-06 | Edge 3 Technologies, Inc. | Method and apparatus for improved depth-map estimation |
| US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
| KR101870902B1 (ko) * | 2011-12-12 | 2018-06-26 | 삼성전자주식회사 | 영상 처리 장치 및 영상 처리 방법 |
| US9223472B2 (en) | 2011-12-22 | 2015-12-29 | Microsoft Technology Licensing, Llc | Closing applications |
| WO2013095678A1 (en) * | 2011-12-23 | 2013-06-27 | Intel Corporation | Mechanism to provide feedback regarding computing system command gestures |
| WO2013099537A1 (en) | 2011-12-26 | 2013-07-04 | Semiconductor Energy Laboratory Co., Ltd. | Motion recognition device |
| EP2798836A4 (en) | 2011-12-31 | 2015-08-05 | Intel Corp | CONTROL SYSTEM BASED ON CONTENT |
| KR20130081580A (ko) * | 2012-01-09 | 2013-07-17 | 삼성전자주식회사 | 표시 장치 및 그 제어 방법 |
| US9931154B2 (en) * | 2012-01-11 | 2018-04-03 | Biosense Webster (Israel), Ltd. | Touch free operation of ablator workstation by use of depth sensors |
| US9625993B2 (en) * | 2012-01-11 | 2017-04-18 | Biosense Webster (Israel) Ltd. | Touch free operation of devices by use of depth sensors |
| JP2013150086A (ja) * | 2012-01-18 | 2013-08-01 | Sony Corp | 行動情報認識システム、情報処理装置および行動情報認識方法 |
| JP5509227B2 (ja) | 2012-01-31 | 2014-06-04 | 株式会社コナミデジタルエンタテインメント | 移動制御装置、移動制御装置の制御方法、及びプログラム |
| US20130198690A1 (en) * | 2012-02-01 | 2013-08-01 | Microsoft Corporation | Visual indication of graphical user interface relationship |
| US20130211843A1 (en) * | 2012-02-13 | 2013-08-15 | Qualcomm Incorporated | Engagement-dependent gesture recognition |
| US9128605B2 (en) | 2012-02-16 | 2015-09-08 | Microsoft Technology Licensing, Llc | Thumbnail-image selection of applications |
| EP2816456A1 (en) * | 2012-02-17 | 2014-12-24 | Sony Corporation | Information processing device, information processing method, and computer program |
| KR101180119B1 (ko) * | 2012-02-23 | 2012-09-05 | (주)올라웍스 | 카메라 모듈을 통해 사용자의 머리를 트래킹하여 화면을 제어하는 방법, 제어장치 및 컴퓨터 판독 가능한 기록 매체 |
| US9229534B2 (en) | 2012-02-28 | 2016-01-05 | Apple Inc. | Asymmetric mapping for tactile and non-tactile user interfaces |
| US20130229345A1 (en) * | 2012-03-01 | 2013-09-05 | Laura E. Day | Manual Manipulation of Onscreen Objects |
| US10503373B2 (en) * | 2012-03-14 | 2019-12-10 | Sony Interactive Entertainment LLC | Visual feedback for highlight-driven gesture user interfaces |
| EP2650754A3 (en) | 2012-03-15 | 2014-09-24 | Omron Corporation | Gesture recognition apparatus, electronic device, gesture recognition method, control program, and recording medium |
| WO2013144807A1 (en) | 2012-03-26 | 2013-10-03 | Primesense Ltd. | Enhanced virtual touchpad and touchscreen |
| US9907959B2 (en) | 2012-04-12 | 2018-03-06 | Medtronic, Inc. | Velocity detection for posture-responsive therapy |
| US9239624B2 (en) | 2012-04-13 | 2016-01-19 | Nokia Technologies Oy | Free hand gesture control of automotive user interface |
| US9448635B2 (en) | 2012-04-16 | 2016-09-20 | Qualcomm Incorporated | Rapid gesture re-engagement |
| JP5778231B2 (ja) * | 2012-04-17 | 2015-09-16 | シャープ株式会社 | メニュー表示装置、メニュー表示方法、メニュー表示プログラム、メニュー表示装置を備えたテレビジョン受像機、及び、記録媒体 |
| TWI454966B (zh) * | 2012-04-24 | 2014-10-01 | Wistron Corp | 手勢控制方法及手勢控制裝置 |
| US9737719B2 (en) | 2012-04-26 | 2017-08-22 | Medtronic, Inc. | Adjustment of therapy based on acceleration |
| CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
| AU2013205613B2 (en) * | 2012-05-04 | 2017-12-21 | Samsung Electronics Co., Ltd. | Terminal and method for controlling the same based on spatial interaction |
| EP2853986B1 (en) * | 2012-05-22 | 2020-09-23 | Sony Corporation | Image processing device, image processing method, and program |
| US9747306B2 (en) * | 2012-05-25 | 2017-08-29 | Atheer, Inc. | Method and apparatus for identifying input features for later recognition |
| WO2013180773A1 (en) | 2012-06-01 | 2013-12-05 | Ultradent Products, Inc. | Stereoscopic video imaging |
| US9690465B2 (en) | 2012-06-01 | 2017-06-27 | Microsoft Technology Licensing, Llc | Control of remote applications using companion device |
| US9052197B2 (en) | 2012-06-05 | 2015-06-09 | Apple Inc. | Providing navigation instructions while device is in locked mode |
| US9047691B2 (en) | 2012-06-05 | 2015-06-02 | Apple Inc. | Route display and review |
| US9311750B2 (en) | 2012-06-05 | 2016-04-12 | Apple Inc. | Rotation operations in a mapping application |
| US9482296B2 (en) | 2012-06-05 | 2016-11-01 | Apple Inc. | Rendering road signs during navigation |
| US10156455B2 (en) | 2012-06-05 | 2018-12-18 | Apple Inc. | Context-aware voice guidance |
| US8983778B2 (en) | 2012-06-05 | 2015-03-17 | Apple Inc. | Generation of intersection information by a mapping service |
| US9886794B2 (en) | 2012-06-05 | 2018-02-06 | Apple Inc. | Problem reporting in maps |
| US9159153B2 (en) | 2012-06-05 | 2015-10-13 | Apple Inc. | Method, system and apparatus for providing visual feedback of a map view change |
| US9997069B2 (en) | 2012-06-05 | 2018-06-12 | Apple Inc. | Context-aware voice guidance |
| US9418672B2 (en) | 2012-06-05 | 2016-08-16 | Apple Inc. | Navigation application with adaptive instruction text |
| US10176633B2 (en) | 2012-06-05 | 2019-01-08 | Apple Inc. | Integrated mapping and navigation application |
| US9043722B1 (en) * | 2012-06-19 | 2015-05-26 | Surfwax, Inc. | User interfaces for displaying relationships between cells in a grid |
| TWI463371B (zh) * | 2012-06-20 | 2014-12-01 | Pixart Imaging Inc | 手勢偵測裝置以及根據速度判斷連續手勢的方法 |
| US8934675B2 (en) | 2012-06-25 | 2015-01-13 | Aquifi, Inc. | Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints |
| US9111135B2 (en) | 2012-06-25 | 2015-08-18 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera |
| CN103529928B (zh) * | 2012-07-06 | 2017-03-01 | 原相科技股份有限公司 | 手势侦测装置以及根据速度判断连续手势的方法 |
| JP5507773B1 (ja) * | 2012-07-13 | 2014-05-28 | 太郎 諌山 | 要素選択装置、要素選択方法、および、プログラム |
| KR20140014548A (ko) * | 2012-07-24 | 2014-02-06 | 삼성전자주식회사 | 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체 |
| US9870642B2 (en) * | 2012-08-10 | 2018-01-16 | Here Global B.V. | Method and apparatus for layout for augmented reality view |
| JP5665140B2 (ja) * | 2012-08-17 | 2015-02-04 | Ｎｅｃソリューションイノベータ株式会社 | 入力装置、入力方法、及びプログラム |
| JP5798532B2 (ja) * | 2012-08-23 | 2015-10-21 | 株式会社Ｎｔｔドコモ | ユーザインタフェース装置、ユーザインタフェース方法及びプログラム |
| JP6025473B2 (ja) * | 2012-09-14 | 2016-11-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP5383885B1 (ja) * | 2012-10-04 | 2014-01-08 | 株式会社Ｎｔｔドコモ | 情報処理装置 |
| EP2905676A4 (en) * | 2012-10-05 | 2016-06-15 | Nec Solution Innovators Ltd | USER INTERFACE DEVICE AND USER INTERFACE PROCEDURE |
| CN103777857A (zh) * | 2012-10-24 | 2014-05-07 | 腾讯科技（深圳）有限公司 | 实现视频画面转动的方法和装置 |
| JP2014085965A (ja) * | 2012-10-25 | 2014-05-12 | Nec Personal Computers Ltd | 情報処理装置、情報処理方法、及びプログラム |
| CN104956681A (zh) * | 2012-11-09 | 2015-09-30 | 汤姆逊许可公司 | 手持显示器缩放特征 |
| KR20140063272A (ko) * | 2012-11-16 | 2014-05-27 | 엘지전자 주식회사 | 영상표시장치, 및 그 동작방법 |
| TWI502519B (zh) * | 2012-11-21 | 2015-10-01 | Wistron Corp | 手勢辨識模組及手勢辨識方法 |
| WO2014081104A1 (en) | 2012-11-21 | 2014-05-30 | Lg Electronics Inc. | Multimedia device for having touch sensor and method for controlling the same |
| US9152234B2 (en) * | 2012-12-02 | 2015-10-06 | Apple Inc. | Detecting user intent to remove a pluggable peripheral device |
| WO2014088621A1 (en) * | 2012-12-03 | 2014-06-12 | Google, Inc. | System and method for detecting gestures |
| TWI454971B (zh) * | 2012-12-11 | 2014-10-01 | Pixart Imaging Inc | 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置 |
| CN103902026A (zh) * | 2012-12-25 | 2014-07-02 | 鸿富锦精密工业(武汉)有限公司 | 显示屏幕自动调节系统及方法 |
| CN103914126A (zh) * | 2012-12-31 | 2014-07-09 | 腾讯科技（深圳）有限公司 | 一种多媒体播放器控制方法和装置 |
| CN103926999B (zh) * | 2013-01-16 | 2017-03-01 | 株式会社理光 | 手掌开合手势识别方法和装置、人机交互方法和设备 |
| CN103970455B (zh) * | 2013-01-28 | 2018-02-27 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| US9092665B2 (en) | 2013-01-30 | 2015-07-28 | Aquifi, Inc | Systems and methods for initializing motion tracking of human hands |
| US9129155B2 (en) | 2013-01-30 | 2015-09-08 | Aquifi, Inc. | Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map |
| KR20140099111A (ko) * | 2013-02-01 | 2014-08-11 | 삼성전자주식회사 | 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치 |
| US9720504B2 (en) * | 2013-02-05 | 2017-08-01 | Qualcomm Incorporated | Methods for system engagement via 3D object detection |
| US9159116B2 (en) | 2013-02-13 | 2015-10-13 | Google Inc. | Adaptive screen interfaces based on viewing distance |
| WO2014131197A1 (en) * | 2013-03-01 | 2014-09-04 | Microsoft Corporation | Object creation using body gestures |
| JP5372273B2 (ja) * | 2013-03-07 | 2013-12-18 | 富士通テン株式会社 | ディスプレイ装置 |
| US20140282275A1 (en) * | 2013-03-15 | 2014-09-18 | Qualcomm Incorporated | Detection of a zooming gesture |
| US10721448B2 (en) | 2013-03-15 | 2020-07-21 | Edge 3 Technologies, Inc. | Method and apparatus for adaptive exposure bracketing, segmentation and scene organization |
| US9450952B2 (en) | 2013-05-29 | 2016-09-20 | Microsoft Technology Licensing, Llc | Live tiles without application-code execution |
| US9298266B2 (en) * | 2013-04-02 | 2016-03-29 | Aquifi, Inc. | Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects |
| WO2014183098A2 (en) | 2013-05-09 | 2014-11-13 | Amazon Technologies, Inc. | Mobile device interfaces |
| DE102013209701A1 (de) * | 2013-05-24 | 2014-11-27 | Johnson Controls Gmbh | Darstellung von Grafikelementen in Abhängigkeit von einer Bewegung eines Objekts |
| WO2014194314A1 (en) * | 2013-05-31 | 2014-12-04 | Freedom Scientific, Inc. | Vector-based customizable pointing indicia |
| WO2015001546A1 (en) * | 2013-07-01 | 2015-01-08 | Inuitive Ltd. | Rotating display content responsive to a rotational gesture of a body part |
| US10408613B2 (en) | 2013-07-12 | 2019-09-10 | Magic Leap, Inc. | Method and system for rendering virtual content |
| CN105612475B (zh) | 2013-08-07 | 2020-02-11 | 耐克创新有限合伙公司 | 具有姿态识别和功率管理的腕戴式运动装置 |
| TW201510771A (zh) | 2013-09-05 | 2015-03-16 | Utechzone Co Ltd | 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體 |
| US9766855B2 (en) * | 2013-09-10 | 2017-09-19 | Avigilon Corporation | Method and apparatus for controlling surveillance system with gesture and/or audio commands |
| CN104463782B (zh) * | 2013-09-16 | 2018-06-01 | 联想(北京)有限公司 | 图像处理方法、装置和电子设备 |
| KR102408940B1 (ko) * | 2013-10-01 | 2022-06-14 | 퀀텀 인터페이스, 엘엘씨 | 전기 디바이스와 소프트웨어 프로그램을 제어하는 장치 및 이를 제조하고 이용하는 방법 |
| US10152136B2 (en) * | 2013-10-16 | 2018-12-11 | Leap Motion, Inc. | Velocity field interaction for free space gesture interface and control |
| US20150123890A1 (en) * | 2013-11-04 | 2015-05-07 | Microsoft Corporation | Two hand natural user input |
| KR102173123B1 (ko) | 2013-11-22 | 2020-11-02 | 삼성전자주식회사 | 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치 |
| US9891712B2 (en) | 2013-12-16 | 2018-02-13 | Leap Motion, Inc. | User-defined virtual interaction space and manipulation of virtual cameras with vectors |
| KR20150073378A (ko) | 2013-12-23 | 2015-07-01 | 삼성전자주식회사 | 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법 |
| JP6222830B2 (ja) * | 2013-12-27 | 2017-11-01 | マクセルホールディングス株式会社 | 画像投射装置 |
| US9971491B2 (en) * | 2014-01-09 | 2018-05-15 | Microsoft Technology Licensing, Llc | Gesture library for natural user input |
| KR102152236B1 (ko) * | 2014-01-29 | 2020-09-04 | 엘지이노텍 주식회사 | 카메라 모듈 |
| US9619105B1 (en) * | 2014-01-30 | 2017-04-11 | Aquifi, Inc. | Systems and methods for gesture based interaction with viewpoint dependent user interfaces |
| JP5888793B2 (ja) * | 2014-03-28 | 2016-03-22 | 株式会社コロプラ | オブジェクト制御プログラム及びオブジェクト制御方法 |
| KR102298602B1 (ko) | 2014-04-04 | 2021-09-03 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 확장가능한 애플리케이션 표시 |
| CN105378582B (zh) | 2014-04-10 | 2019-07-23 | 微软技术许可有限责任公司 | 计算设备的可折叠壳盖 |
| KR20160143784A (ko) | 2014-04-10 | 2016-12-14 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 컴퓨팅 디바이스용 슬라이더 커버 |
| JP6303772B2 (ja) * | 2014-04-25 | 2018-04-04 | 富士通株式会社 | 入力制御装置、制御方法および制御プログラム |
| US10579207B2 (en) * | 2014-05-14 | 2020-03-03 | Purdue Research Foundation | Manipulating virtual environment using non-instrumented physical object |
| CN104380234B (zh) * | 2014-06-16 | 2018-09-21 | 华为技术有限公司 | 图标移动方法、装置和电子设备 |
| US9766702B2 (en) | 2014-06-19 | 2017-09-19 | Apple Inc. | User detection by a computing device |
| US20150378440A1 (en) * | 2014-06-27 | 2015-12-31 | Microsoft Technology Licensing, Llc | Dynamically Directing Interpretation of Input Data Based on Contextual Information |
| US10678412B2 (en) | 2014-07-31 | 2020-06-09 | Microsoft Technology Licensing, Llc | Dynamic joint dividers for application windows |
| US10592080B2 (en) | 2014-07-31 | 2020-03-17 | Microsoft Technology Licensing, Llc | Assisted presentation of application windows |
| US10254942B2 (en) | 2014-07-31 | 2019-04-09 | Microsoft Technology Licensing, Llc | Adaptive sizing and positioning of application windows |
| US9696551B2 (en) * | 2014-08-13 | 2017-07-04 | Beijing Lenovo Software Ltd. | Information processing method and electronic device |
| JP2017533487A (ja) * | 2014-08-15 | 2017-11-09 | ザ・ユニバーシティ・オブ・ブリティッシュ・コロンビア | 医療処置の実施と医療関連情報のアクセスおよび／または操作のための方法およびシステム |
| US10642365B2 (en) | 2014-09-09 | 2020-05-05 | Microsoft Technology Licensing, Llc | Parametric inertia and APIs |
| WO2016065568A1 (en) | 2014-10-30 | 2016-05-06 | Microsoft Technology Licensing, Llc | Multi-configuration input device |
| KR101636460B1 (ko) * | 2014-11-05 | 2016-07-05 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| JP5888393B2 (ja) * | 2014-11-12 | 2016-03-22 | セイコーエプソン株式会社 | 位置検出システム、表示システム及び情報処理システム |
| JP2016110250A (ja) * | 2014-12-03 | 2016-06-20 | 日本ユニシス株式会社 | ジェスチャ認識システム、ジェスチャ認識方法およびコンピュータプログラム |
| KR20160076857A (ko) * | 2014-12-23 | 2016-07-01 | 엘지전자 주식회사 | 이동 단말기 및 그의 컨텐츠 제어방법 |
| CN106168774A (zh) * | 2015-05-20 | 2016-11-30 | 西安中兴新软件有限责任公司 | 一种信息处理方法及电子设备 |
| US9529454B1 (en) | 2015-06-19 | 2016-12-27 | Microsoft Technology Licensing, Llc | Three-dimensional user input |
| CN106293444B (zh) * | 2015-06-25 | 2020-07-03 | 小米科技有限责任公司 | 移动终端、显示控制方法及装置 |
| US10281976B2 (en) | 2015-07-07 | 2019-05-07 | Seiko Epson Corporation | Display device, control method for display device, and computer program |
| US10397484B2 (en) * | 2015-08-14 | 2019-08-27 | Qualcomm Incorporated | Camera zoom based on sensor data |
| JP2017041002A (ja) | 2015-08-18 | 2017-02-23 | キヤノン株式会社 | 表示制御装置、表示制御方法及び表示制御用プログラム |
| US10101803B2 (en) | 2015-08-26 | 2018-10-16 | Google Llc | Dynamic switching and merging of head, gesture and touch input in virtual reality |
| US9910641B2 (en) | 2015-10-14 | 2018-03-06 | Microsoft Technology Licensing, Llc | Generation of application behaviors |
| US10133441B2 (en) | 2015-11-30 | 2018-11-20 | Kabushiki Kaisha Toshiba | Electronic apparatus and method |
| WO2017104525A1 (ja) * | 2015-12-17 | 2017-06-22 | コニカミノルタ株式会社 | 入力装置、電子機器及びヘッドマウントディスプレイ |
| US10429935B2 (en) | 2016-02-08 | 2019-10-01 | Comcast Cable Communications, Llc | Tremor correction for gesture recognition |
| DE102016206529A1 (de) | 2016-04-19 | 2017-10-19 | Robert Bosch Gmbh | Montagearbeitsplatz mit Positionsbestimmungsvorrichtung |
| US10126827B2 (en) * | 2016-08-11 | 2018-11-13 | Chi Fai Ho | Apparatus and method to navigate media content using repetitive 3D gestures |
| US9972119B2 (en) | 2016-08-11 | 2018-05-15 | Microsoft Technology Licensing, Llc | Virtual object hand-off and manipulation |
| JP6817602B2 (ja) * | 2016-10-07 | 2021-01-20 | パナソニックＩｐマネジメント株式会社 | 監視映像解析システム、監視映像解析方法及び監視映像解析プログラム |
| CN106681503A (zh) * | 2016-12-19 | 2017-05-17 | 惠科股份有限公司 | 一种显示控制方法、终端及显示装置 |
| WO2018146922A1 (ja) | 2017-02-13 | 2018-08-16 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CA3052869A1 (en) | 2017-02-17 | 2018-08-23 | Nz Technologies Inc. | Methods and systems for touchless control of surgical environment |
| US10620779B2 (en) * | 2017-04-24 | 2020-04-14 | Microsoft Technology Licensing, Llc | Navigating a holographic image |
| JP2019086916A (ja) * | 2017-11-02 | 2019-06-06 | オリンパス株式会社 | 作業支援装置、作業支援方法、作業支援プログラム |
| US10937240B2 (en) | 2018-01-04 | 2021-03-02 | Intel Corporation | Augmented reality bindings of physical objects and virtual objects |
| JP2019139332A (ja) | 2018-02-06 | 2019-08-22 | 富士通株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
| US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
| JP2019207574A (ja) * | 2018-05-29 | 2019-12-05 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システム及びプログラム |
| US11416077B2 (en) * | 2018-07-19 | 2022-08-16 | Infineon Technologies Ag | Gesture detection system and method using a radar sensor |
| KR20210038537A (ko) * | 2018-07-24 | 2021-04-07 | 소니 주식회사 | 정보 처리 장치 및 방법, 그리고 프로그램 |
| US10770035B2 (en) | 2018-08-22 | 2020-09-08 | Google Llc | Smartphone-based radar system for facilitating awareness of user presence and orientation |
| US10890653B2 (en) | 2018-08-22 | 2021-01-12 | Google Llc | Radar-based gesture enhancement for voice interfaces |
| US10698603B2 (en) * | 2018-08-24 | 2020-06-30 | Google Llc | Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface |
| US10921854B2 (en) | 2018-09-06 | 2021-02-16 | Apple Inc. | Electronic device with sensing strip |
| US10788880B2 (en) | 2018-10-22 | 2020-09-29 | Google Llc | Smartphone-based radar system for determining user intention in a lower-power mode |
| US10761611B2 (en) | 2018-11-13 | 2020-09-01 | Google Llc | Radar-image shaper for radar-based applications |
| US11320911B2 (en) * | 2019-01-11 | 2022-05-03 | Microsoft Technology Licensing, Llc | Hand motion and orientation-aware buttons and grabbable objects in mixed reality |
| WO2021051200A1 (en) * | 2019-09-17 | 2021-03-25 | Huawei Technologies Co., Ltd. | User interface control based on elbow-anchored arm gestures |
| KR102145523B1 (ko) * | 2019-12-12 | 2020-08-18 | 삼성전자주식회사 | 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치 |
| KR102346294B1 (ko) * | 2020-03-03 | 2022-01-04 | 주식회사 브이터치 | 2차원 이미지로부터 사용자의 제스처를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
| DE102020203164A1 (de) | 2020-03-12 | 2021-09-16 | Robert Bosch Gesellschaft mit beschränkter Haftung | Arbeitsplatz mit Arbeitsplan für datenverarbeitende Werkzeuge |
| KR102238635B1 (ko) * | 2020-08-11 | 2021-04-09 | 삼성전자주식회사 | 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치 |
| CN111984117A (zh) * | 2020-08-12 | 2020-11-24 | 深圳创维－Rgb电子有限公司 | 全景地图控制方法、装置、设备及存储介质 |
| KR20230050466A (ko) * | 2020-09-25 | 2023-04-14 | 애플 인크. | 사용자 인터페이스들을 내비게이팅하기 위한 방법들 |
| US20220244791A1 (en) * | 2021-01-24 | 2022-08-04 | Chian Chiu Li | Systems And Methods for Gesture Input |
| US11995230B2 (en) | 2021-02-11 | 2024-05-28 | Apple Inc. | Methods for presenting and sharing content in an environment |
| US11960790B2 (en) * | 2021-05-27 | 2024-04-16 | Microsoft Technology Licensing, Llc | Spatial attention model enhanced voice engagement system |
| CN113467612A (zh) * | 2021-06-17 | 2021-10-01 | 深圳市瑞立视多媒体科技有限公司 | 一种应用于基于ue4全息沙盘的交互方法及装置 |
| CN113791685A (zh) * | 2021-08-16 | 2021-12-14 | 青岛海尔科技有限公司 | 用于移动组件的方法及装置、电子设备、存储介质 |
Family Cites Families (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5594469A (en) | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
| JPH08332170A (ja) * | 1995-06-08 | 1996-12-17 | Matsushita Electric Ind Co Ltd | ビデオスコープ |
| US6144366A (en) * | 1996-10-18 | 2000-11-07 | Kabushiki Kaisha Toshiba | Method and apparatus for generating information input using reflected light image of target object |
| KR19990011180A (ko) * | 1997-07-22 | 1999-02-18 | 구자홍 | 화상인식을 이용한 메뉴 선택 방법 |
| EP0905644A3 (en) * | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
| US9292111B2 (en) * | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
| JPH11338120A (ja) | 1998-05-27 | 1999-12-10 | Dainippon Screen Mfg Co Ltd | レイアウト装置 |
| JP2000075991A (ja) | 1998-08-28 | 2000-03-14 | Aqueous Research:Kk | 情報入力装置 |
| DE19839638C2 (de) * | 1998-08-31 | 2000-06-21 | Siemens Ag | System zur Ermöglichung einer Selbstkontrolle hinsichtlich durchzuführender Körperbewegungsabläufe durch die sich bewegende Person |
| JP5048890B2 (ja) | 1998-10-13 | 2012-10-17 | ソニー エレクトロニクス インク | 動作検知インターフェース |
| US6501515B1 (en) | 1998-10-13 | 2002-12-31 | Sony Corporation | Remote control system |
| US7267148B2 (en) * | 1999-08-10 | 2007-09-11 | Michelin Recherche Et Technique S.A. | Measurement of adherence between a vehicle wheel and the roadway |
| EP1148411A3 (en) * | 2000-04-21 | 2005-09-14 | Sony Corporation | Information processing apparatus and method for recognising user gesture |
| US7227526B2 (en) * | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
| US7000200B1 (en) * | 2000-09-15 | 2006-02-14 | Intel Corporation | Gesture recognition system recognizing gestures within a specified timing |
| US8487872B2 (en) * | 2000-11-14 | 2013-07-16 | Blue Orb, Inc. | Apparatus and method for generating data signals |
| US6827579B2 (en) * | 2000-11-16 | 2004-12-07 | Rutgers, The State University Of Nj | Method and apparatus for rehabilitation of neuromotor disorders |
| US7274800B2 (en) * | 2001-07-18 | 2007-09-25 | Intel Corporation | Dynamic gesture recognition from stereo sequences |
| JP4304337B2 (ja) * | 2001-09-17 | 2009-07-29 | 独立行政法人産業技術総合研究所 | インタフェース装置 |
| US7340077B2 (en) * | 2002-02-15 | 2008-03-04 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
| US7348963B2 (en) * | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
| US7665041B2 (en) * | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
| US7233316B2 (en) * | 2003-05-01 | 2007-06-19 | Thomson Licensing | Multimedia user interface |
| JP2005051472A (ja) | 2003-07-28 | 2005-02-24 | Nikon Corp | 自動撮影制御装置、自動撮影用プログラム、カメラ |
| US7301529B2 (en) * | 2004-03-23 | 2007-11-27 | Fujitsu Limited | Context dependent gesture response |
| US7180500B2 (en) * | 2004-03-23 | 2007-02-20 | Fujitsu Limited | User definable gestures for motion controlled handheld devices |
| US20050239028A1 (en) * | 2004-04-03 | 2005-10-27 | Wu Chang J R | Stance guide and method of use |
| JP2005301693A (ja) | 2004-04-12 | 2005-10-27 | Japan Science & Technology Agency | 動画編集システム |
| US7308112B2 (en) * | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
| US7519223B2 (en) * | 2004-06-28 | 2009-04-14 | Microsoft Corporation | Recognizing gestures and using gestures for interacting with software applications |
| JP4692159B2 (ja) | 2004-08-31 | 2011-06-01 | パナソニック電工株式会社 | ジェスチャースイッチ |
| JP2006130221A (ja) * | 2004-11-09 | 2006-05-25 | Konica Minolta Medical & Graphic Inc | 医用画像転送装置、プログラム及び記憶媒体 |
| US20060164382A1 (en) * | 2005-01-25 | 2006-07-27 | Technology Licensing Company, Inc. | Image manipulation in response to a movement of a display |
| KR100960577B1 (ko) | 2005-02-08 | 2010-06-03 | 오블롱 인더스트리즈, 인크 | 제스처 기반의 제어 시스템을 위한 시스템 및 방법 |
| JP4389821B2 (ja) * | 2005-03-22 | 2009-12-24 | ソニー株式会社 | 体動検出装置、コンテンツ再生装置、体動検出方法およびコンテンツ再生方法 |
| US20070057912A1 (en) * | 2005-09-14 | 2007-03-15 | Romriell Joseph N | Method and system for controlling an interface of a device through motion gestures |
| US8589824B2 (en) * | 2006-07-13 | 2013-11-19 | Northrop Grumman Systems Corporation | Gesture recognition interface system |
| JP2008040576A (ja) | 2006-08-02 | 2008-02-21 | Sharp Corp | 画像処理システム及び該システムを備えた映像表示装置 |
| KR100783552B1 (ko) * | 2006-10-11 | 2007-12-07 | 삼성전자주식회사 | 휴대 단말기의 입력 제어 방법 및 장치 |
| JP2008146243A (ja) * | 2006-12-07 | 2008-06-26 | Toshiba Corp | 情報処理装置、情報処理方法、及びプログラム |
| US20090109036A1 (en) * | 2007-10-29 | 2009-04-30 | The Boeing Company | System and Method for Alternative Communication |
| US20090164937A1 (en) * | 2007-12-20 | 2009-06-25 | Alden Alviar | Scroll Apparatus and Method for Manipulating Data on an Electronic Device Display |
| US8253746B2 (en) * | 2009-05-01 | 2012-08-28 | Microsoft Corporation | Determine intended motions |
| KR101623007B1 (ko) | 2009-11-11 | 2016-05-20 | 엘지전자 주식회사 | 디스플레이 장치 및 그 제어방법 |
| JP5485470B2 (ja) | 2010-04-30 | 2014-05-07 | トムソン ライセンシング | ３ｄ系内でプッシュ及びプルのジェスチャーを認識する方法及び装置 |
| US8457353B2 (en) * | 2010-05-18 | 2013-06-04 | Microsoft Corporation | Gestures and gesture modifiers for manipulating a user-interface |
-
2008
- 2008-03-04 US US12/041,927 patent/US9772689B2/en active Active
-
2009
- 2009-02-27 WO PCT/US2009/035544 patent/WO2009111329A2/en active Application Filing
- 2009-02-27 JP JP2010549767A patent/JP5855343B2/ja active Active
-
2013
- 2013-12-13 JP JP2013258081A patent/JP2014099184A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011517357A (ja) | 2011-06-02 |
| US20090228841A1 (en) | 2009-09-10 |
| WO2009111329A2 (en) | 2009-09-11 |
| WO2009111329A3 (en) | 2010-01-07 |
| JP2014099184A (ja) | 2014-05-29 |
| US9772689B2 (en) | 2017-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5855343B2 (ja) | 改良されたジェスチャに基づく画像操作 | |
| US11954265B2 (en) | Enhanced input using recognized gestures | |
| US11269481B2 (en) | Dynamic user interactions for display control and measuring degree of completeness of user gestures | |
| JP6382261B2 (ja) | 高度なカメラをベースとした入力 | |
| JP6074170B2 (ja) | 近距離動作のトラッキングのシステムおよび方法 | |
| JP2012505615A (ja) | シングルカメラトラッキング装置 | |
| TW200951765A (en) | System of inputting instruction by image identification and method of the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20120206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120227 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130219 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130226 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130813 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131213 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20131220 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20140214 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150519 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150915 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151209 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5855343 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |