JP6464138B2 - ジェスチャによるタッチ入力の向上 - Google Patents

ジェスチャによるタッチ入力の向上 Download PDF

Info

Publication number
JP6464138B2
JP6464138B2 JP2016501321A JP2016501321A JP6464138B2 JP 6464138 B2 JP6464138 B2 JP 6464138B2 JP 2016501321 A JP2016501321 A JP 2016501321A JP 2016501321 A JP2016501321 A JP 2016501321A JP 6464138 B2 JP6464138 B2 JP 6464138B2
Authority
JP
Japan
Prior art keywords
touch
screen
user device
input data
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016501321A
Other languages
English (en)
Other versions
JP2016511487A (ja
JP2016511487A5 (ja
Inventor
ダレル・エル・クルース
フランシス・ビー・マクドゥーガル
ヴァージニア・ウォーカー・キーティング
アンドリュー・ジェイ・エヴェリット
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2016511487A publication Critical patent/JP2016511487A/ja
Publication of JP2016511487A5 publication Critical patent/JP2016511487A5/ja
Application granted granted Critical
Publication of JP6464138B2 publication Critical patent/JP6464138B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本開示は一般に、ユーザデバイスインターフェースにおける対話型入力に関する。
タッチ画面などの対話型入力機能を有するユーザデバイス(たとえば、スマートフォン、タブレット、ラップトップなど)は現在、小型画面を有する。このような小型画面は、対話型入力機能を制限し得る。たとえば、小型画面では、滑らかなスクローリング、パニング、ズーミングなどの対話を妨げることがある。タッチ対話では、ユーザデバイスのタッチ画面上で複数回のピンチ、選択またはスクロール動作などのタスクを行うために、ユーザが繰り返し操作を行う必要があり得る。さらに、タッチ入力がユーザデバイスの画面を見えにくくして、影響が及ぶコンテンツを見ることが困難になり得る。
したがって、ユーザデバイスインターフェースにおける対話型入力を向上させることが当技術分野で必要とされている。
本開示の1つまたは複数の実施形態によるシステムおよび方法は、タッチ入力データを、超音波センサ、画像または映像取込み機能(たとえば、カメラ)、深度センサなどのセンサによって検出できる非タッチ入力データ(たとえば、手、指などの位置または動作などの制御物によって行われるジェスチャから検出される)と融合できるように、向上した対話型入力を実現する。有利なことに、ユーザデバイスのインターフェース(たとえば、表示装置または画面)の表示は、実質的に妨げられないままとすることができる。
一実施形態によれば、方法は、ユーザデバイスの画面上のタッチ入力データと、ユーザデバイスの画面外の非タッチジェスチャ入力データとを同時に取り込むステップと、この同時に取り込まれたタッチ入力データと非タッチジェスチャ入力データとの組合せに少なくとも一部は基づいて入力コマンドを決定するステップと、決定された入力コマンドに基づいてユーザデバイスの動作に影響を及ぼすステップとを含む。
別の実施形態によれば、方法は、ユーザデバイスにおいて、ユーザデバイスの画面上のタッチと、ユーザデバイスに触れていない手の少なくとも一部分のポーズ、および画面に実質的に平行な平面の実質的に中の一部分の動作、のうちの少なくとも1つとを同時に検出するステップと、その検出されたタッチと、検出されたポーズまたは動作との組合せに少なくとも一部は基づいてコマンドを決定するステップと、決定されたコマンドに基づいてユーザデバイスの動作を調整するステップとを含む。一実施形態では、手の一部分は、画面に触れるために使用される手の別の一部分を含む。別の実施形態では、方法はさらに、手の一部分が、コマンドを決定する前に画面に触れるのに使用された手の別の一部分を含むと決定するステップを含む。別の実施形態では、ポーズまたは動作を検出するステップはさらに、手の1つまたは複数の末端を特定するステップを含む。別の実施形態では、手は、画面に触れるのに使用される手とは異なる。別の実施形態では、動作はスワイプを含む。別の実施形態では、動作は回転またはスイープを含む。別の実施形態では、手の一部分は、画面と、画面に対し垂直である画面の垂直延長部とを含む体積の外側にある。別の実施形態では、タッチを検出するステップはさらに、画面上の複数のタッチを検出するステップを含む。別の実施形態では、画面上のタッチの位置により、調整すべき動作または対象を特定する。別の実施形態では、タッチを検出するステップがさらに、画面に沿ったタッチの動きを検出するステップを含み、コマンドを決定するステップは、検出されたタッチの動きと検出されたポーズまたは動作との組合せに少なくとも一部は基づいてコマンドを決定するステップを含む。別の実施形態では、検出されたポーズまたは動作は、検出されたポーズを含む。別の実施形態では、検出されたポーズまたは動作は、検出された動作を含む。別の実施形態では、検出されたポーズまたは動作は、検出されたポーズ内に手の一部分がある間に行われた、検出された動作を含む。
本開示の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す図である。 本開示の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す図である。 本開示の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す図である。 本開示の別の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す図である。図は改訂されている。 本開示の別の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す図である。図は改訂されている。 本開示のさらに別の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す図である。 本開示のさらに別の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す図である。 本開示のさらに別の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す図である。 本開示の実施形態による非タッチジェスチャによってタッチ入力を向上させる方法を示す流れ図である。 本開示の実施形態によるデバイスを実施するためのシステムのブロック図である。
たとえば同時マルチモーダルセンサ融合により、画面外非タッチ入力(たとえば、ジェスチャ)を用いてタッチ入力などの対話型入力を向上させるための、本開示の1つまたは複数の実施形態によるシステムおよび方法が提供される。非タッチ入力には、手、指などの制御物によって行われるポーズまたは動作などのジェスチャを含めることができ、このジェスチャは、超音波センサ、画像または映像取込み機能(たとえば、カメラ)、深度センサなどのセンサによって検出することができる。その関連で、非タッチ入力を検出するように構成されたセンサまたは技術を、ユーザデバイスまたはシステムに含めること、および/または、ユーザデバイスの様々な面に、たとえばユーザデバイスの上面、下面、左面、右面および/または後面に設置することができ、その結果、ジェスチャなどの非タッチデータを、これらがユーザデバイスのすぐ前で(画面上で(on-screen))、ならびにユーザデバイスの画面の一直線の見通し線を外れて(画面外で(off-screen))行われたときに、取り込むことができるようになる。一般に、画面外非タッチ入力はまた、以下で「画面外ジェスチャ」と呼ばれることもあり、ここで「画面外ジェスチャ」は、手、指、ペンなどの制御物の位置データまたは動作データを指すことができ、この場合、制御物はユーザデバイスに接触はしないが、ユーザデバイスに近接している。これらの「画面外」非タッチジェスチャは、ユーザデバイスの画面から移動させることができるだけでなく、デバイスの画面または表示装置に対してデバイスから横にオフセットされている制御物の一部分を含むこともできる。たとえば、デバイスの表示装置または画面から離れて、表示装置または画面の平面に対して実質的に垂直の方向に延びる体積を想定することができる。「画面外」ジェスチャは、ジェスチャを行う制御物の少なくとも一部分がこの体積の外側にあるジェスチャを含み得る。たとえば、図1A〜図1Cおよび図2A〜図2Bで、ユーザの指は「画面外」にある。
タッチ入力と画面外非タッチ入力(たとえば、ジェスチャ)などの同時対話型入力により、高度なコマンドを生成することができる。一実施形態では、ユーザが、ユーザデバイスの画面に表示されたターゲットアイテムに触れ、同時に画面外ジェスチャ(たとえば、同じ手または他方の手の指)を用いて、そのターゲットアイテムの態様(aspect)を調整することができる。
画面外非タッチジェスチャは、ターゲットアイテムの特定の態様を調整することに対応する適切な任意の所定のジェスチャを含むことができる。たとえば、設定を調整するために、特定の手の動作または位置を用いることができ、たとえば、下向きの手の動作が、画面の輝度設定を下げることに対応し得る。
タッチ入力検知データと、非タッチ、画面外入力検知データ(以下では「ジェスチャ入力検知データ」と呼ばれる)とは、実質的に同時に取り込むことができ、その結果、これらの入力検知データセットを一緒にして1つの入力コマンドを生成できるようになる。つまり、新規の複合コマンドを、入力ターゲットと入力ターゲットの可変量調整とを一緒にすることができるように有効にすることができる。様々な実施形態では、動作などのジェスチャが開始または終了したときと、タッチ入力が検出されたときとの間に最小限の、または無視できるほどのオフセットがあり得ることに留意されたい。本明細書のいくつかの実施形態では、タッチ入力検知データおよびジェスチャ入力検知データは、実質的に同時または同時期に取り込んで、たとえばタッチとジェスチャのタイミングの間の余裕が小さいことを許容することができる。
様々な実施形態では、ジェスチャ入力検知データは、物体の位置および動作を検出することによって取り込むことができる。たとえば、手または指などの物体の検出される動作は、ユーザデバイスの表示装置または画面などの表面と実質的に平行になっている、または同一平面内にあることができ、また画面の上ではなく画面外で行うことができる。そのため、表示装置または画面を遮ることが回避され、または削減され、それによって画面が見えるようになる。
入力ターゲットと可変量調整を一緒にすることができる多くの複合コマンドの例がある。そのような例には、次のものを含めて、1つまたは2つの手を用いることによって1つまたは複数の設定を調整することが含まれ得る。
カメラ:たとえば、フォーカス、絞り値、シーンモードなどを調整するために、ターゲットアイテムに影響を及ぼすタッチまたは非タッチジェスチャによって、ターゲットアイテムを選択すること。たとえば、カメラで写真を撮るとき、ユーザは、カメラの側面で取り込まれてフォーカスを調整することができる非タッチジェスチャを行いながら、(たとえば、指、ペンなどの物体を使用する)タッチによって焦点外れの写真を選択することができる。その関連で、非タッチジェスチャを画面外で(たとえば、カメラの側方、上方、下方または後方で)行うことができるので、表示される写真は、ユーザから見て遮られない。この例については、実施形態による図1A〜図1Cに関して以下でより詳細に説明される。
設定:タッチおよびジェスチャによって所望の設定領域またはアイコンを、その設定、またはそのアイコンと関連付けられた設定(たとえば音量、輝度など)を調整するために、選択すること。上述のカメラの例と同様に、ユーザは、画面外で取り込むことができる非タッチジェスチャを行いながら、輝度などの設定を表す所望の設定またはアイコンをタッチによって選択することができる。非タッチジェスチャは、輝度を調整することに対応し得る。様々な実施形態では、可変制御と関係付けられた任意のコマンドアイコンに触れることができ、次いで、スイープや手の回転などのジェスチャによって変化性を調整することができる。したがって、輝度、音量などを調整するための、たとえばスライダバーを用いる第2のメニューが、いくつかの実施形態では必要とされなくなり得る。ジェスチャは画面外で行われ、取り込まれるので、表示装置または画面がユーザから見て遮られない。たとえば、ユーザデバイスは、ユーザデバイスの画面またはベゼルの側面の輝度調整を表すアイコンに触れるユーザの親指などのタッチ入力を検出することができる。同時に、ユーザデバイスは、(輝度アイコンに触れながら)回しているユーザの同じ手の指のようなジェスチャを検出して輝度を調整することができ、たとえば右に回転すると輝度が増大し、左に回転すると輝度が減少し得る。
ゲーム:相手に対し行う動作を設定するために、手の位置または動作などのタッチおよびジェスチャによって相手を選択すること。上述のカメラの例と同様に、ユーザデバイスでゲームをするユーザは、画面外で取り込むことができる非タッチジェスチャを行いながら、タッチによって相手を選択することができる。非タッチジェスチャは、相手に対し行われる動作を設定することに対応することができ、また非タッチジェスチャが画面外で行われ取り込まれるので、ユーザデバイスの表示装置または画面がユーザから見て遮られない。たとえば、ユーザデバイスは、ユーザデバイスの画面に表示されたチェスゲームの相手の駒を表すアイコンに触れるユーザの親指などのタッチ入力を検出することができる。同時に、ユーザデバイスは、(相手のチェス駒を表すアイコンに触れながら)ユーザの同じ手を閉じるようなジェスチャを検出して、ゲームルールに従ってチェス駒を取り出すことができる。
タイマ:継続時間を調整するためにタッチおよびジェスチャによってタイマ領域またはアイコンを選択すること。上述のカメラの例と同様に、ユーザは、画面外で取り込むことができる非タッチジェスチャを行いながら、タイマ継続時間などの設定を表すタイマ領域またはアイコンをタッチによって選択することができる。非タッチジェスチャは、タイマ継続時間を調整することに対応することができ、また画面外で行われ取り込まれるので、表示装置または画面がユーザから見て遮られない。一例では、時計に触れ、次いで手を一方向または他方に回転することもまた用いて時間を設定することができる(たとえば、時間を前/後に動かすことは、時間または分を変えることを区別できる広げた指の数によって決定することができる)。別の例では、時間を調整する方法が1つだけあり、たとえば、手の回転すべてで分を調整することができる。
地図:ズームを調整するために、興味ある地点(POI: point of interest)をタッチおよびジェスチャによって、POIをユーザのタッチまたは手の下を中心に保ちながら選択すること。一実施形態では、ユーザはそのタッチを移動させて、POIを画面上のどこに表示させるかを調整することができる。上述のカメラの例と同様に、ユーザは、画面外で取り込むことができる非タッチジェスチャを行いながら、ユーザデバイス上に表示された地図上のPOIをタッチによって選択することができる。非タッチジェスチャは、ズーミングを調整することに対応することができ、また画面外で行われ取り込まれるので、表示装置または画面がユーザから見て遮られない。
異なるタイプの「クリック」を生成する:ユーザデバイスの画面上に表示された対象を、選択された対象をクリックするためのタッチおよびジェスチャによって選択すること(たとえば、選択された対象に対する動作を開始するために)。たとえば、ユーザは、画面外で取り込むことができる非タッチジェスチャを行いながら、ユーザデバイスの画面に表示されたファイルなどの対象をタッチによって選択することができる。非タッチジェスチャは、右マウスクリック(RMC)と同等であり得る閉じた手、または左マウスクリック(LMC)もしくは交互のクリックと同等であり得る開いた手を含み得る。いくつかの実施形態では、他の手のポーズが、RMCおよび/またはLMCを表すために使用され、または異なるタイプのクリックを表すために使用される。
本開示の実施形態は、可変量調整のために複合コマンドがタッチ入力と非タッチジェスチャを組み合わせ得る、他の多くの使用事例に、次のものを含めて適用することができる。
ユーザデバイスは、一方の手でアイテムに触れ(たとえば、手がユーザデバイスの後部周りで丸められてデバイスを保持している間に、親指で)、次いで、他方の手を画面外でスイープするユーザからのタッチ入力を検出することができる。「ライブタイル(live tile)」(または動的コンテンツがある他のアイテム)を有するシステムの実施形態では、スイープ動作により、コンテンツを(たとえば、電子メールを、またはリストを上方/下方へ)スクロールすることができる。逆に言えば、この対話は反対にも機能することができ、たとえば:ユーザデバイスはアイテムへの接触を検出することができ、これによりアイテムを所定の場所に固定しておくことができる一方で、他方の手をスイープジェスチャを検出することにより、「ホーム画面」をアイテムの後ろに切り換えることができる。ユーザが、アイテムを配置すべき正しいホーム画面の位置を特定すると、ユーザは、その親指を画面から移動させて、現在表示されているホーム画面上にアイテムを「ドロップする」ことによって、そのアイテムを解放することができる。
様々な実施形態では、タッチ入力は静的タッチ(または単一タッチ)である必要がない可能性がある。アイテムを1つの場所から別の場所へドラッグすることが、ドラッグしているときの検出ジェスチャ、たとえば手のポーズ、に基づいて異なる効果を及ぼし得る(たとえば、全部開いた手に対して1つの延ばされた指)。同様に、ピンチズームは、検出ジェスチャに応じて異なる効果を有することができ、たとえば、開いた手は、粗いズームに影響を及ぼすことができ、閉じた手は精密なズームに影響を及ぼすことができる。
上述のように、いくつかの使用事例または例には、1つまたは2つの手を用いたジェスチャによって1つまたは複数の設定を調整することが含まれ得る。いくつかの実施形態では、ジェスチャが同じ手で行われるか、または別の手で行われるかが重要になり得る。したがって、いくつかの実施形態では、ユーザデバイスは、同じ手がデバイスに触れているとともにジェスチャ(たとえば、ある動作)を行っているかどうかを判定するように構成することができる。
有利なことに、ターゲット入力と可変量調整の両方を含む新規の複合コマンド、たとえば新規の複合入力ジェスチャを有効にすることができる。そのようにして、ユーザデバイスの一次インターフェースを拡張することができる。
図1A〜図1Cを参照すると、図は、本開示の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す。詳細には、図1A〜図1Cは、カメラのタッチターゲットのフォーカスを非タッチジェスチャによって調整する一例を示す。
図1Aで、カメラでよい、またはユーザデバイスの一部としてカメラを有する、ユーザデバイス102は、ターゲットアイテムを見るための画面またはカメラビューファインダを含む。この場合には、ターゲットアイテムは焦点が外れているように見える。ユーザは、ユーザデバイス102の画面に、影響が及ぶターゲットアイテム上に参照数字101で示された点で、親指などの物体を用いて触れることができる。
図1Bでは、ユーザは画面外ジェスチャを行って、ターゲットアイテムに影響を及ぼす。図1Bでわかるように、ユーザの指は、デバイスの表示装置から横方向にオフセットされ、したがって、画面外ジェスチャを行っているものとして検出され得る。一例では、ターゲットアイテムに焦点を合わせるために、ユーザは、その親指をターゲットアイテム上の点101に維持しながら、その手をユーザデバイス102の画面に実質的に平行な平面上で回して、参照数字104で表示されたターゲットアイテムに焦点を合わせることができる。非タッチジェスチャは、ユーザデバイス102の1つまたは複数のセンサ(たとえば、超音波技術センサなど)が画面外ジェスチャを取り込むことができるように、画面外で行うことができる。ユーザは、ターゲットアイテムに焦点が適切に合ったと思うまで、回転する非タッチジェスチャを行うことができる。一実施形態では、ユーザは、焦点を変化させるためにユーザデバイス102の画面のどこにでも触れることができ、あるいは他の実施形態では、ユーザは、自動焦点を精緻なものにするために特定の対象に触れることができる。
一実施形態では、ユーザが表示装置の側部または角部周りの非タッチジェスチャによって焦点を合わせることができるように、ユーザは、カメラの縁部、たとえば右側縁部の近くまたは画面の隅部に近接して位置することができるボタン、領域またはアイコンに触れることができる。こうして表示装置は、見ることが妨げられない。
図1Cでは、ユーザは、ユーザデバイス102からタッチを解放して(たとえば、ユーザの親指を点101から解除して(disengage))、ターゲットアイテムから離れることができる。
様々な実施形態では、ジェスチャ入力検知データとタッチ入力検知データの両方を、タッチをユーザデバイスから解放することによって、たとえば、タッチをユーザデバイスの画面または表示装置から解放することによって、中断することができる。
そのようにして、本明細書の実施形態では、ユーザデバイス上のコマンドに関与(engage)し、かつ、コマンドを解除するための明瞭な方法(clean way)を提供することができる。
次に図2A〜図2Bを参照すると、図は、本開示の別の実施形態による非タッチ画面外ジェスチャによってタッチを向上させるための流れを示す。詳細には、図2A〜図2Bは、ユーザデバイスの画面でリストまたはページを更新またはスクロールするためのショートカットの一例を示す。
図2Aで、ユーザは、ユーザデバイス202の画面上のターゲットアイテムに対応する点201を指で長押しすることができる。図2Bでは、ユーザは、点201でターゲットアイテムを押す指を軸にして回しながら、非タッチ画面外ジェスチャ(たとえば参照数字207で示された下方に手を動かすこと)を行うことができる。こうして、ユーザデバイス上でリストまたはページを簡単に更新またはスクロールすることが、たとえば画面上の他のアイテムに影響を及ぼすことなくできる。非タッチジェスチャは、画面外で実質的にユーザデバイスの画面と同じ平面に沿って、つまり実質的に平行な平面内で、垂直平面内すなわちz方向の、ユーザデバイスから動作中の手までの近接性または距離にかかわらず、行うことができることに留意されたい。
様々な実施形態では、特定の非タッチジェスチャが特定のコマンドに対応することができる。図2A〜図2Bの例では、参照数字207で表示された手の下方の動作が、ページを更新するためなどの「更新」コマンドに対応することができる。他の実施形態では、図2A〜図2Bに示されたタッチ入力と非タッチジェスチャ入力の組合せをショートカットとして使用して、媒体をシャッフルすることができる。このようなコマンドは組込みとすることができ、いくつかの実施形態では、ルックアップテーブルにより、どのジェスチャがどのコマンドに対応するかを定義することができる。
次に図3A〜図3Cを参照すると、図は、本開示のさらに別の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す。詳細には、図3A〜図3Cは、アプリケーションなどのアイテムをファイルなどのターゲット宛先に編成するための一例を示す。
図3Aでは、ユーザは、ユーザデバイス302の画面上で、1つまたは複数の収集アイテムのターゲット宛先に対応する点301を指で長押しすることができる。
図3Bでは、ユーザは、ターゲット宛先に収集および配置されるべき1つまたは複数のアイテムの選択を開始することができる。この関連で、点301を指で長押ししながら、ユーザは、同じ手の他の指を使用して1つまたは複数のアイテム、たとえばアイテム302Bを選択することができる。あるいは、ユーザは、点301を指で長押ししながら、他の手の指を使用して1つまたは複数のアイテムを選択することができる。
図3Cでは、収集されるべき1つまたは複数のアイテムをユーザが選択し終えた後、ユーザは、スイープジェスチャ(たとえば、矢印316で示される)などのジェスチャを行って、選択された1つまたは複数の収集アイテムを、点301の長押ししている指で表示されたターゲット宛先の方へ動かすことができる。
そのようにして、1つまたは複数のアイテムは、ターゲット宛先に編成される。つまり、アイテムは、適切なファイルまたはフォルダに編成された。
本開示の1つまたは複数の実施形態によれば、非タッチ画面外ジェスチャを用いてタッチ入力を向上させるための様々な技術を使用することができる。この関連で、任意のジェスチャ検出技術をタッチ入力技術と組み合わせることができる。そのような技術には、たとえば:ハンドタッチ画面に超音波ジェスチャ検出を加えたもの、ハンドタッチ画面に視覚ベースのジェスチャ検出を加えたもの(たとえば、前向きおよび/または後向きカメラを使用すること、および/またはデバイスの側面または縁部に取り付けられた1つまたは複数のカメラを使用すること)、超音波ペンタッチ画面にハンド視覚検出を加えたもの(たとえば、超音波、視覚ベース、深度センサ、カメラベース、赤外線、など)、ハンドタッチ画面に超音波ペンジェスチャ検出を加えたもの、筋電図検査法(EMG)、および/または他の任意の適切な技術が含まれ得る。こうしてジェスチャは、デバイスの前、デバイスの後ろ、および/またはデバイスの1つまたは複数の側方で検出することができる。いくつかの実施形態では、末端を特定および/または追跡して、ポーズまたは動作を判定することができる。たとえば、様々な指のポーズおよび動作を特定することができ、また、特定のジェスチャモデルを使用することもできる。ユーザからのタッチ入力を検出するには、タッチ画面技術(たとえば、静電容量式タッチ画面および/または投影型静電容量技術)を使用することができる。様々な実施形態では、画面に触れることが必要ではない場合があることに留意されたい。たとえば、タッチ入力は、ユーザがベゼルに触れる、または単にデバイスの縁部に触れることからでも検出することができる。たとえば、ユーザは、たとえば音量を制御するために手を回転することができ、これは、たとえば、デバイスの側面、上面または底面に設置されたタッチセンサで、または電界センサで検出することができる。
次に、図4を参照すると、流れ図は、本開示の実施形態による非タッチジェスチャによってタッチ入力を向上させる方法を示す。図4に示された方法は、一実施形態による図5に示されたシステムによっても実施できることに留意されたい。
ブロック402で、図5に示されたシステム1500などのシステムは、ユーザデバイスの画面上のタッチ入力データと、ユーザデバイスの画面外の非タッチジェスチャ入力データとを同時に取り込むことができる。タッチ入力データおよび非タッチジェスチャ入力データは、たとえば、図5に示された入力構成要素1516によって取り込むことができる。この関連で、図1〜図3に示された実施形態を含む様々な実施形態に関して上述したように、ユーザは、ユーザデバイスの画面または表示装置上のターゲットアイテムに触れること、および非タッチジェスチャを使用すること(同じ手または他の手で)を同時にして、ターゲットアイテムの態様を調整することができる。たとえば、ユーザは、カメラの画面またはビューア上の画像に触れることによって、焦点を合わせるべき画像などの、カメラのターゲットアイテムを選択することができる。同時に、カメラの画面上の画像に触れながら、ユーザは、手の動作またはポーズなどの画面外非タッチジェスチャを行って、画像の焦点を合わせることができる。この関連で、画面外非タッチジェスチャは、たとえば、ユーザデバイスの画面に対して実質的に平行な平面内の手の動作またはポーズによって、行うことができる。また、画面外非タッチジェスチャは、ユーザデバイスに設置された、たとえば、ユーザデバイスの側面、上面、底面または後面に設置された、1つまたは複数のセンサによって取り込むこともできる。センサは、超音波技術、赤外線などの様々なジェスチャ検出技術を含むことができる。
ブロック404で、システムは、同時に取り込まれたタッチ入力データと非タッチジェスチャ入力データとの組合せに少なくとも一部は基づいて、入力コマンドを決定することができる。ブロック406で、決定された入力コマンドに基づいて、ユーザデバイスの動作に影響が及び得る。入力コマンドのそのような決定、およびユーザデバイスの動作に対するその作用は、たとえば、図5に示された処理構成要素1504によって行うことができる。一実施形態では、入力コマンドは、選択されたターゲットアイテムに、他の非選択アイテムにはどれも影響を及ぼすことなく、影響を及ぼすことができる。
様々な実施形態では、入力コマンドは、タッチ入力データが解除されたときに完了したと決定することができる。たとえば、図1A〜図1Cに示されたカメラ焦点実施形態では、焦点合わせが達成されると、ユーザは、ターゲットアイテムへのタッチを解放して、ターゲットアイテムから離れることができる。
本開示の1つまたは複数の実施形態によれば、画面タッチ検出により、画面外物体(たとえば、指)検出を可能にすることができる。その場合、画面外物体検出は制御操作に使用することができる。たとえば、画面外で検出される回転する指を用いて、アプリケーションの設定または動作を制御することができる。画面タッチ検出またはタッチ入力は、オン・オフスイッチのように使用することができる一方で、非タッチジェスチャは、動作制御とすることができる。つまり、タッチ入力部は、非タッチ画面外ジェスチャのアンカポイントとすることができる。
本開示の1つまたは複数の実施形態によれば、「ジェスチャ入力検知データ」、「非タッチジェスチャ」または「ジェスチャ」という用語は一般に、タッチ画面対話以外でデバイスのユーザセンサによって取り込まれた画面外非タッチのジェスチャまたは対話を含み、たとえば、非タッチの手の動作またはポーズを含み得ることに留意されたい。そのため、本明細書の実施形態では、非タッチジェスチャは、手のポーズなどのユーザの対話型入力を検出または認識することを含み得る。様々な実施形態では、「ジェスチャ入力検知データ」は、ユーザ動作を制御入力に翻訳するために、タッチセンサ以外の、デバイスの少なくとも1つまたは複数の点または領域(たとえば、側部、上部、下部、後部)に設置されたセンサからのデータの使用、またはタッチ画面の上、もしくはすぐ上方で行われるもの以外の対話からのデータの使用を含み得る。つまり、ジェスチャ入力データは、ユーザデバイスに触れることがないユーザの画面外ジェスチャを取り込むためのセンサまたは技術の使用を伴い得る。
一般に、ユーザデバイスは、ジェスチャ認識センサまたはジェスチャ入力データセンサを含む任意のデバイスを含むこと、またはその一部分とすることができ、そのセンサには、たとえば:超音波ジェスチャ検出センサ、カメラなどの画像または映像取込み構成要素(たとえば、可視光カメラ、飛行時間カメラなどの距離画像カメラ、構造光カメラ、立体カメラなど)、ハンド視覚検出(超音波、視覚ベース、赤外線など)センサ、超音波ペンジェスチャ検出センサなど、が含まれ得る。つまり、デバイスは、超音波、赤外線、視覚ベースのジェスチャ機能などを有して、デバイスに触れることがないユーザの画面外ジェスチャ(すなわち、手のポーズなどの非タッチジェスチャ)を取り込むことができる。
様々な実施形態では、タッチ入力は、他のセンサの動作に影響を及ぼすことができる。たとえば、タッチ入力は、他のセンサをオンにすること、または、そのような他のデバイスの、たとえばデューティサイクルを増大させることができる。また、タッチ入力は、検出するために他のセンサが構成されるジェスチャに適応することをもたらすことができる。たとえば、ジェスチャ制御を開始するために関与ポーズに感受的である代わりに、タッチ入力によりデバイスに、関与ポーズ以外の、スワイプ、スイープ、ポーズなどのジェスチャを探すように警告することができる。いくつかの実施形態では、これは、1つまたは複数のジェスチャモデルをロードすること、ジェスチャ語彙のサイズまたは範囲を増大させること、および/または他のいくつもの方法で行われ得る。
1つまたは複数の実施形態により画面外非タッチジェスチャを取り込むことに関して、ユーザデバイスの表面を越えた、たとえば画面を越えたユーザの動きまたは物体(たとえば、1つまたは複数の指、手、ペンなど)の向きは、ユーザデバイスの表面、たとえば画面または表示装置に実質的に平行でよい。様々な例では、デバイスの表面に平行な物体の動作は、デバイスの表示装置または画面と同じ平面での、画面または表示装置の境界を越えたスイープ動作、親指回転などを含むことができ、またいくつかの実施形態ではz方向の動きが考えられ得るが、これは、考えられる唯一の動きではなくてよく、またはいくつかの実施形態では考えられなくてよい。その関連で、z方向の動作は、たとえば、表示装置までの近接性を増大または低減させるために、画面または表示装置に向かう、または遠ざかる動作であり得る。つまり、物体の動作は、画面周辺の外側で行うことができ、画面と位置合わせすることができる。いくつかの実施形態では、ジェスチャは、画面と位置合わせされたときに検出することができる(たとえば、タブレット、またはより大きいフォームファクタを使用するとき)。
次に図5を参照すると、本開示の実施形態によるデバイスを実施するためのシステムのブロック図が示されている。
本明細書で開示された方法およびシステムは、多種多様な電子システムまたは電子デバイスによって実施すること、またはその中に組み込むことができることを理解されたい。たとえば、システム1500は、モバイルデバイス、スマートフォン、携帯情報端末(PDA)、タブレット、ラップトップ、パーソナルコンピュータ、テレビなど、有線デバイスまたは無線デバイスを含む任意のタイプのデバイスを実施するのに使用することができる。音楽プレーヤ、ビデオプレーヤ、通信デバイス、ネットワークサーバなど、他の例示的な電子システムもまた、本開示により構成することができる。さらに、他の電子システムには、ジェスチャまたは他の制御入力を検出し、次いでその入力を処理のために別のデバイスに渡す、たとえばユーザの腕に装着されるウェアラブルデバイスが含まれ得る。
システム1500は、図1、図2および図3にそれぞれ示されたユーザデバイス102、202、および302を含めて、本開示の実施形態を実施するのに適切であり得る。たとえばスマートフォン、タブレット、パーソナルコンピュータおよび/またはネットワークサーバであるデバイスの一部などのシステム1500は、情報を伝達するための、サブシステムと構成要素を相互接続するバス1502または他の通信機構を含み、この構成要素には、処理構成要素1504(たとえば、プロセッサ、マイクロコントローラ、1つまたは複数のデジタル信号プロセッサ(DSP)など)、システムメモリ構成要素1506(たとえばRAM)、スタティック記憶構成要素1508(たとえば、ROM)、ネットワークインターフェース構成要素1512、表示構成要素1514(または別法として、外部表示装置とのインターフェース)、入力構成要素1516(たとえば、キーパッドまたはキーボード、タッチ画面などの対話型入力構成要素、ジェスチャ認識など)、およびカーソル制御構成要素1518(たとえば、マウスパッド)が含まれる。様々な実施形態では、入力構成要素1516は、タッチ入力技術と一緒にすることができる1つまたは複数のジェスチャ検出技術を実施することができる。上述のように、そのような技術には、たとえば:ハンドタッチ画面に超音波ジェスチャ検出を加えたもの、ハンドタッチ画面に視覚ベースのジェスチャ検出を加えたもの(たとえば、前向きおよび/または後向きカメラを使用すること、および/またはデバイスの側面または縁部に取り付けられた1つまたは複数のカメラを使用すること)、超音波ペンタッチ画面にハンド視覚検出を加えたもの(たとえば、超音波、視覚ベース、深度センサ、カメラベース、赤外線、など)、ハンドタッチ画面に超音波ペンジェスチャ検出を加えたもの、筋電図検査法(EMG)、投影型静電容量、電界センサ、および/または他の任意の適切な技術が含まれ得る。
本開示の実施形態によれば、システム1500は、システムメモリ構成要素1506に収容された1つまたは複数の命令の1つまたは複数のシーケンスを実行する処理構成要素1504によって、特定の動作を行う。このような命令は、スタティック記憶構成要素1508などの別のコンピュータ可読媒体からシステムメモリ構成要素1506に読み込むことができる。これらは、同時マルチモーダルセンサ融合によって対話型入力を向上させる命令を含むことができる。他の実施形態では、本開示の1つまたは複数の実施形態の実施のために、ハードワイヤード回路をソフトウェア命令の代わりに、またはソフトウェア命令と一緒に使用することができる。
命令を処理構成要素1504に実行のために供給することに関与するあらゆる媒体を指し得るコンピュータ可読媒体中に、論理を符号化することができる。そのような媒体は、それだけには限らないが、不揮発性媒体、揮発性媒体、および伝達媒体を含めて、多くの形を取ることができる。様々な実施形態では、揮発性媒体は、システムメモリ構成要素1506などのダイナミックメモリを含み、また伝達媒体は、バス1502を構成する線を含めて、同軸ケーブル、銅線、光ファイバを含む。一実施形態では、伝達媒体は、電波および赤外線データ通信時に生成されるものなど、音波または光波の形を取り得る。コンピュータ可読媒体のいくつかの一般的な形には、たとえば、RAM、PROM、EPROM、FLASH-EPROM、他の任意のメモリチップもしくはメモリカートリッジ、搬送波、または、読み出すのにコンピュータが適合される他の任意の媒体が含まれる。コンピュータ可読媒体は持続性であり得る。
本開示の様々な実施形態では、本開示を実践するために命令シーケンスを実行することがシステム1500で行われてよい。様々な他の実施形態では、通信リンク1520(たとえば、WiFi、または様々な他の有線もしくは無線ネットワーク)で結合された複数のシステム1500が、互いに協働して本開示を実践するように命令シーケンスを実行することができる。システム1500は、通信リンク1520およびネットワークインターフェース構成要素1512を通して、1つまたは複数のプログラム(すなわち、アプリケーションコード)を含めて、入力、メッセージ、データ、情報および命令を受け取り、拡張することができる。受け取られたプログラムコードは、実行のためのディスクドライブ構成要素1510または何か他の不揮発性記憶構成要素で受け取られ、かつ/または保存されると、処理構成要素1504で実行することができる。
当業者にはこれまでに理解されるように、また手元の特定のアプリケーションによって、本開示のデバイスの材料、装置、構成、および使用法には、本開示の趣旨および範囲から逸脱することなく、多くの修正、置換えおよび変形を加えることができる。このことに照らし合わせて、本開示の範囲は、本明細書で図示され説明された特定の実施形態の範囲には、その実施形態が本開示のいくつか例示的なものにすぎないので、限定されるべきではなく、むしろ、添付の特許請求の範囲およびその機能的等価物の範囲と完全に相応すべきものである。
101 点
102 ユーザデバイス
104 ターゲットアイテム
201 点
202 ユーザデバイス
207 下方の動作
301 点
302 ユーザデバイス
302B アイテム
316 矢印
1500 システム
1502 バス
1504 処理構成要素
1506 システムメモリ構成要素
1508 スタティック記憶構成要素
1510 ディスクドライブ構成要素
1512 ネットワークインターフェース構成要素
1514 表示構成要素
1516 入力構成要素
1518 カーソル制御構成要素
1520 通信リンク

Claims (15)

  1. ユーザデバイスの画面上のタッチ入力データを取り込むステップであって、前記タッチ入力データが、前記ユーザデバイスの前記画面上で行われるタッチを表す、ステップと、
    前記タッチ入力データに基づいて入力コマンドを決定するステップと、
    前記タッチ入力データに基づいて前記ユーザデバイスの動作に影響を及ぼすステップであって、前記動作が、前記ユーザデバイスの前記画面上のコンテンツの表示に影響を与える、ステップと、
    非タッチジェスチャ入力データを取り込むステップであって、前記非タッチジェスチャ入力データが、前記タッチを維持しながら前記ユーザデバイスの前記画面からオフセットされた領域で行われる画面外ジェスチャを表し、前記非タッチジェスチャ入力データが、前記決定された入力コマンドに関連している、ステップと、
    前記決定された入力コマンドおよび前記非タッチジェスチャ入力データに基づいて前記ユーザデバイスの前記動作にさらに影響を及ぼすステップと
    を含む、対話型入力を検出するための方法。
  2. 前記タッチ入力データが、前記ユーザデバイスの前記画面上のターゲットアイテムを特定し、前記入力コマンドが、前記非タッチジェスチャ入力データに基づく前記ターゲットアイテムの態様の調整を含む、請求項1に記載の方法。
  3. 前記入力コマンドが前記ターゲットアイテムの可変量調整を含み、前記可変量調整が前記非タッチジェスチャ入力データから決定される、請求項2に記載の方法。
  4. 前記タッチ入力データを取り込む前記ステップがさらに、前記ユーザデバイスの前記画面上のユーザから、影響が及ぶべき所望のターゲットアイテムに対するタッチを受けるステップと、
    前記ユーザデバイスの前記画面上で前記タッチの解放を検出することによって、前記ターゲットアイテムが解除されたと決定するステップとを含む、請求項1に記載の方法。
  5. 前記非タッチジェスチャ入力データを取り込む前記ステップが、物体の位置および動きを検出するステップを含む、請求項1に記載の方法。
  6. 前記物体の前記動きがさらに、前記ユーザデバイスの前記画面と実質的に同じ平面の中での動きを含む、請求項5に記載の方法。
  7. 前記非タッチジェスチャ入力データを取り込む前記ステップが、前記ユーザデバイスの表面を越えた物体を超音波技術、画像もしくは映像取込み技術、または赤外線技術によって検出するように適合された1つまたは複数のセンサを使用するステップを含む、請求項1に記載の方法。
  8. 前記決定された入力コマンドが、前記ユーザデバイスの前記画面上のターゲットアイテムの選択を表す複数の異なるタイプの入力のうちの1つを含む、請求項1に記載の方法。
  9. 前記異なるタイプの入力がさらに、前記画面に触れる手の第1のポーズによって生成される右マウスクリック(RMC)、または前記画面に触れる前記手の第2のポーズによって生成される左マウスクリック(LMC)もしくは代替クリックとを含み、前記第1のポーズが前記第2のポーズとは異なる、請求項8に記載の方法。
  10. 前記非タッチジェスチャ入力データを取り込む前記ステップが、手のポーズまたは手の動作を取り込むステップを含む、請求項1に記載の方法。
  11. ユーザデバイスの画面上のタッチ入力データを取り込むための手段であって、前記タッチ入力データが、前記ユーザデバイスの前記画面上で行われるタッチを表す、手段と、
    前記タッチ入力データに基づいて入力コマンドを決定する手段と、
    前記タッチ入力データに基づいて前記ユーザデバイスの動作に影響を及ぼす手段であって、前記動作が、前記ユーザデバイスの前記画面上のコンテンツの表示に影響を与える、手段と、
    非タッチジェスチャ入力データを取り込む手段であって、前記非タッチジェスチャ入力データが、前記タッチを維持しながら前記ユーザデバイスの前記画面からオフセットされた領域で行われる画面外ジェスチャを表し、前記非タッチジェスチャ入力データが、前記決定された入力コマンドに関連している、手段と、
    前記決定された入力コマンドおよび前記非タッチジェスチャ入力データに基づいて前記ユーザデバイスの前記動作にさらに影響を及ぼすための手段と
    を含む、対話型入力を検出するための装置。
  12. 前記タッチ入力データが、前記ユーザデバイスの前記画面上のターゲットアイテムを特定し、前記入力コマンドが、前記非タッチジェスチャ入力データに基づく前記ターゲットアイテムの態様の調整を含む、請求項11に記載の装置。
  13. 前記入力コマンドが前記ターゲットアイテムの可変量調整を含み、前記可変量調整が前記非タッチジェスチャ入力データから決定される、請求項12に記載の装置。
  14. 前記タッチ入力データを取り込むための前記手段が、前記ユーザデバイスの前記画面上のユーザから、影響が及ぶべき所望のターゲットアイテムに対するタッチを受けるための手段を含み、
    前記ユーザデバイスの前記画面上で前記タッチの解放を検出することによって、前記ターゲットアイテムが解除されたと決定することをさらに含む、請求項11に記載の装置。
  15. プロセッサによって実行されたときに、前記プロセッサに請求項1から10のいずれか一項に記載のステップを行わせるコンピュータ可読命令が保存される、コンピュータ可読記録媒体。
JP2016501321A 2013-03-15 2014-03-11 ジェスチャによるタッチ入力の向上 Active JP6464138B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/842,891 US9170676B2 (en) 2013-03-15 2013-03-15 Enhancing touch inputs with gestures
US13/842,891 2013-03-15
PCT/US2014/023704 WO2014150588A1 (en) 2013-03-15 2014-03-11 Enhancing touch inputs with gestures

Publications (3)

Publication Number Publication Date
JP2016511487A JP2016511487A (ja) 2016-04-14
JP2016511487A5 JP2016511487A5 (ja) 2017-03-30
JP6464138B2 true JP6464138B2 (ja) 2019-02-06

Family

ID=50639925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016501321A Active JP6464138B2 (ja) 2013-03-15 2014-03-11 ジェスチャによるタッチ入力の向上

Country Status (6)

Country Link
US (2) US9170676B2 (ja)
EP (1) EP2972676A1 (ja)
JP (1) JP6464138B2 (ja)
KR (1) KR102194272B1 (ja)
CN (1) CN105009035B (ja)
WO (1) WO2014150588A1 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9152306B2 (en) * 2011-03-29 2015-10-06 Intel Corporation Techniques for touch and non-touch user interaction input
GB2490108B (en) * 2011-04-13 2018-01-17 Nokia Technologies Oy A method, apparatus and computer program for user control of a state of an apparatus
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
US9202297B1 (en) * 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US9170676B2 (en) 2013-03-15 2015-10-27 Qualcomm Incorporated Enhancing touch inputs with gestures
US20140267142A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Extending interactive inputs via sensor fusion
US10481769B2 (en) * 2013-06-09 2019-11-19 Apple Inc. Device, method, and graphical user interface for providing navigation and search functionalities
US20150062056A1 (en) * 2013-08-30 2015-03-05 Kobo Incorporated 3d gesture recognition for operating an electronic personal display
US20150077345A1 (en) * 2013-09-16 2015-03-19 Microsoft Corporation Simultaneous Hover and Touch Interface
US20150091841A1 (en) * 2013-09-30 2015-04-02 Kobo Incorporated Multi-part gesture for operating an electronic personal display
US10048762B2 (en) 2013-11-05 2018-08-14 Intuit Inc. Remote control of a desktop application via a mobile device
US9965170B2 (en) * 2013-11-11 2018-05-08 Lenovo (Singapore) Pte. Ltd. Multi-touch inputs for input interface control
US10855911B2 (en) * 2014-01-15 2020-12-01 Samsung Electronics Co., Ltd Method for setting image capture conditions and electronic device performing the same
US9607139B1 (en) * 2014-03-27 2017-03-28 EMC IP Holding Company LLC Map-based authentication
CN103941873B (zh) * 2014-04-30 2017-05-10 北京智谷睿拓技术服务有限公司 识别方法和设备
KR102251541B1 (ko) * 2014-06-23 2021-05-14 엘지전자 주식회사 이동단말기 및 그것의 제어방법
TWI549504B (zh) * 2014-08-11 2016-09-11 宏碁股份有限公司 影像擷取裝置及其自動對焦補償方法
US10015402B2 (en) * 2014-09-08 2018-07-03 Nintendo Co., Ltd. Electronic apparatus
JP6684042B2 (ja) * 2014-09-08 2020-04-22 任天堂株式会社 電子機器
JP6519074B2 (ja) * 2014-09-08 2019-05-29 任天堂株式会社 電子機器
US20160139628A1 (en) * 2014-11-13 2016-05-19 Li Bao User Programable Touch and Motion Controller
CN104536766B (zh) * 2015-01-09 2018-01-26 京东方科技集团股份有限公司 一种电子设备的控制方法及电子设备
JP6539816B2 (ja) * 2015-01-30 2019-07-10 ソニー デプスセンシング ソリューションズ エスエー エヌブイ １つのシングル・センシング・システムを使用したマルチ・モーダル・ジェスチャー・ベースの対話型のシステム及び方法
JP6519075B2 (ja) * 2015-02-10 2019-05-29 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6573457B2 (ja) * 2015-02-10 2019-09-11 任天堂株式会社 情報処理システム
US9946395B2 (en) * 2015-02-16 2018-04-17 Samsung Electronics Co., Ltd. User interface method and apparatus
CN105988695B (zh) * 2015-02-16 2019-06-28 北京三星通信技术研究有限公司 智能设备及其操作响应方法
CN105100409A (zh) * 2015-05-26 2015-11-25 努比亚技术有限公司 一种控制移动终端的方法和装置
US10444819B2 (en) * 2015-06-19 2019-10-15 Intel Corporation Techniques to control computational resources for an electronic device
US10488975B2 (en) * 2015-12-23 2019-11-26 Intel Corporation Touch gesture detection assessment
CN105867764A (zh) * 2016-03-25 2016-08-17 乐视控股（北京）有限公司 一种多媒体调节方法、装置及移动设备
KR20170138279A (ko) * 2016-06-07 2017-12-15 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN106648102A (zh) * 2016-12-26 2017-05-10 珠海市魅族科技有限公司 通过非触控手势来控制终端设备的方法及系统
US10635291B2 (en) 2017-02-20 2020-04-28 Microsoft Technology Licensing, Llc Thumb and pen interaction on a mobile device
KR102316024B1 (ko) * 2017-03-02 2021-10-26 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 사용자 인터페이스 표시 방법
CN109697043B (zh) * 2017-10-20 2020-05-22 北京仁光科技有限公司 多屏互动显示方法、装置、系统及计算机可读存储介质
WO2019126290A1 (en) * 2017-12-20 2019-06-27 Hubbell Incorporated Gesture control for in-wall device
FR3080688A1 (fr) * 2018-04-26 2019-11-01 Stmicroelectronics Sa Dispositif de detection de mouvement
CN109493821B (zh) * 2018-12-20 2021-07-06 惠州Tcl移动通信有限公司 屏幕亮度调整方法、装置及存储介质
US11930439B2 (en) 2019-01-09 2024-03-12 Margo Networks Private Limited Network control and optimization (NCO) system and method
US11442621B2 (en) * 2019-10-01 2022-09-13 Microsoft Technology Licensing, Llc Extensions to global keyboard shortcuts for computing devices having multiple display regions
US11782522B1 (en) * 2022-03-25 2023-10-10 Huawei Technologies Co., Ltd. Methods and systems for multimodal hand state prediction
WO2023224680A1 (en) 2022-05-18 2023-11-23 Margo Networks Pvt. Ltd. Peer to peer (p2p) encrypted data transfer/offload system and method

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US20050052427A1 (en) 2003-09-10 2005-03-10 Wu Michael Chi Hung Hand gesture interaction with touch surface
JP2009042796A (ja) * 2005-11-25 2009-02-26 Panasonic Corp ジェスチャー入力装置および方法
US8432372B2 (en) * 2007-11-30 2013-04-30 Microsoft Corporation User input using proximity sensing
JP4609543B2 (ja) * 2008-07-25 2011-01-12 ソニー株式会社 情報処理装置及び情報処理方法
US8433138B2 (en) * 2008-10-29 2013-04-30 Nokia Corporation Interaction using touch and non-touch gestures
KR101593727B1 (ko) 2008-12-29 2016-02-15 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 제스처 검출 시스템, 방법 및 컴퓨터 판독가능 매체
JP2011008424A (ja) * 2009-06-24 2011-01-13 Sharp Corp 電子機器、動作モード設定方法、およびプログラム
KR101633332B1 (ko) * 2009-09-30 2016-06-24 엘지전자 주식회사 단말기 및 그 제어 방법
US8633902B2 (en) * 2009-11-23 2014-01-21 Microsoft Corporation Touch input for hosted applications
US20110209098A1 (en) * 2010-02-19 2011-08-25 Hinckley Kenneth P On and Off-Screen Gesture Combinations
CA2735325C (en) 2010-03-25 2015-01-20 User Interface In Sweden Ab System and method for gesture detection and feedback
JP5658500B2 (ja) * 2010-07-26 2015-01-28 キヤノン株式会社 情報処理装置及びその制御方法
US8890818B2 (en) 2010-09-22 2014-11-18 Nokia Corporation Apparatus and method for proximity based input
WO2012048007A2 (en) 2010-10-05 2012-04-12 Citrix Systems, Inc. Touch support for remoted applications
US9423876B2 (en) * 2011-09-30 2016-08-23 Microsoft Technology Licensing, Llc Omni-spatial gesture input
US20130257753A1 (en) * 2012-04-03 2013-10-03 Anirudh Sharma Modeling Actions Based on Speech and Touch Inputs
CN102681774B (zh) * 2012-04-06 2015-02-18 优视科技有限公司 通过手势控制应用界面的方法、装置和移动终端
US9170676B2 (en) 2013-03-15 2015-10-27 Qualcomm Incorporated Enhancing touch inputs with gestures

Also Published As

Publication number Publication date
CN105009035A (zh) 2015-10-28
US20160011718A1 (en) 2016-01-14
CN105009035B (zh) 2017-11-14
US20140267084A1 (en) 2014-09-18
US9360965B2 (en) 2016-06-07
WO2014150588A1 (en) 2014-09-25
US9170676B2 (en) 2015-10-27
EP2972676A1 (en) 2016-01-20
KR102194272B1 (ko) 2020-12-22
JP2016511487A (ja) 2016-04-14
KR20150130431A (ko) 2015-11-23

Similar Documents

Publication Publication Date Title
JP6464138B2 (ja) ジェスチャによるタッチ入力の向上
US11599154B2 (en) Adaptive enclosure for a mobile computing device
DK179350B1 (en) Device, Method, and Graphical User Interface for Navigating Media Content
US9360962B2 (en) Electronic apparatus and a method for controlling the same
US20140267142A1 (en) Extending interactive inputs via sensor fusion
US20130222329A1 (en) Graphical user interface interaction on a touch-sensitive device
KR101608423B1 (ko) 모바일 디바이스상의 풀 3d 상호작용
US8775958B2 (en) Assigning Z-order to user interface elements
US20110199387A1 (en) Activating Features on an Imaging Device Based on Manipulations
DK201670755A1 (en) User Interface for Camera Effects
KR20150107528A (ko) 사용자 인터페이스를 제공하는 방법과 전자 장치
KR20160060109A (ko) 모션 또는 그의 부재에 기초한 터치 기반 디바이스 상의 제어 인터페이스의 제시
DK201670753A1 (en) User Interface for Camera Effects
WO2014024396A1 (en) Information processing apparatus, information processing method, and computer program
US20180260044A1 (en) Information processing apparatus, information processing method, and program
US10656746B2 (en) Information processing device, information processing method, and program
WO2016183912A1 (zh) 菜单布局方法及装置
US10599326B2 (en) Eye motion and touchscreen gestures
EP2750016A1 (en) Method of operating a graphical user interface and graphical user interface
JP7091159B2 (ja) 電子機器およびその制御方法
Procházka et al. Mainstreaming gesture based interfaces
US20160342280A1 (en) Information processing apparatus, information processing method, and program
TW201523428A (zh) 介面操作方法與應用該方法之可攜式電子裝置
WO2014166044A1 (en) Method and device for user input
JP2016167171A (ja) 電子機器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190107

R150 Certificate of patent or registration of utility model

Ref document number: 6464138

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250