JP6212201B2 - マルチフィンガータッチインタラクション中のパンおよびスケーリングの検出 - Google Patents

マルチフィンガータッチインタラクション中のパンおよびスケーリングの検出 Download PDF

Info

Publication number
JP6212201B2
JP6212201B2 JP2016507529A JP2016507529A JP6212201B2 JP 6212201 B2 JP6212201 B2 JP 6212201B2 JP 2016507529 A JP2016507529 A JP 2016507529A JP 2016507529 A JP2016507529 A JP 2016507529A JP 6212201 B2 JP6212201 B2 JP 6212201B2
Authority
JP
Japan
Prior art keywords
user
pan
input
point
biological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016507529A
Other languages
English (en)
Other versions
JP2016515741A (ja
Inventor
ポロック,ネイサン
ガスト,ローレン
バトリセヴィック,ウロス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2016515741A publication Critical patent/JP2016515741A/ja
Application granted granted Critical
Publication of JP6212201B2 publication Critical patent/JP6212201B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

[背景技術]
[001] コンピューティングデバイス用の入力メカニズムは、提供するインタラクションの複雑性および使いやすさが増している。タッチスクリーンにより、ユーザは、指一本だけでグラフィカルユーザインターフェースを簡単にパンおよびスケールインすることができる。たとえばユーザは、タッチスクリーン上に指を置き、画面を横切って指をドラッグして、パンを指示することができる。さらにユーザは、スクリーンをダブルタップして、画像のスケールインの要望を示すことができる。
[002] この概要は、詳細な説明において以下でさらに説明する概念から選択したものを簡略化した形式で紹介するために設けられている。この概要は、特許請求する主題の主要機能または基本機能を特定するものではなく、特許請求する主題の範囲を限定するために用いられるものでもない。
[003] 以下で論じる実施形態は、1つまたは複数の閾値の組を用いて、複数の指を用いたパン入力からスケーリング動作を除去することに関する。グラフィカルディスプレイデバイスは、少なくとも第1の生体点(bio-point)および第2の生体点を有するユーザ動作インターフェースにおけるユーザ入力を受け付けることができる。グラフィカルディスプレイデバイスは、ユーザ入力からパン動作を検出することができる。グラフィカルディスプレイデバイスは、スケーリング閾値に基づいて、ユーザ入力からスケーリング動作を除外することができる。グラフィカルディスプレイデバイスは、グラフィカルユーザインターフェースのパンをユーザに提示することができる。
[004] 上記で列挙された、および他の利点および機能が得られる方法を説明するために、添付の図面に示されたその特定の実施形態を参照してより詳細な説明を記載し、与えることにする。これらの図面が典型的な実施形態を表すに過ぎず、したがって範囲を限定するものと見なされるべきでないという理解の下、添付の図面を用いて実装をさらに具体的かつ詳細に記載し説明することにする。
[005]コンピューティングデバイスの一実施形態を示すブロック図である。 [006]ユーザインターフェースとのマルチフィンガーインタラクションの一実施形態を示すブロック図である。 ユーザインターフェースとのマルチフィンガーインタラクションの一実施形態を示すブロック図である。 [007]マルチフィンガーユーザ入力インタラクションを表すステートマシンの一実施形態を示すブロック図である。 [008]グラフィカルユーザインターフェースに対するユーザ入力を受け付ける方法の一実施形態を示すフローチャートである。 [009]パン動作を検出する方法の一実施形態を示すフローチャートである。 [010]半径差分を決定する方法の一実施形態を示すフローチャートである。 [011]速度比率を計算する方法の一実施形態を示すフローチャートである。
[012] 実施形態を以下詳細に論じる。特定の実装を論じるが、これは例示のためにすぎないことを理解されたい。他のコンポーネントおよび構成が、本開示の主題の趣旨および範囲から逸脱することなく使用可能であることを関連技術分野の当業者は理解するであろう。実装は、機械実施される方法、少なくとも1つのプロセッサ用の、方法を詳述する命令のセットが格納された有形機械可読媒体、またはグラフィカルディスプレイデバイスとすることができる。
[013] ユーザは、タッチスクリーン上でグラフィカルユーザインターフェースをパンすることがある。パンとは、グラフィカルユーザインターフェースの視覚フレームの直線運動であって、視覚フレーム外のコンテンツを見るためのものである。視覚フレームとは、タッチスクリーン上でユーザが視認可能なグラフィカルユーザインターフェースの一部である。ユーザは、1本または複数本の指をタッチスクリーンを横切ってスライドさせて、パン動作入力を指示することができる。
[014] ユーザは、タッチスクリーン上のグラフィカルユーザインターフェースにおいて、スケールインまたはスケールアウトを行うことがある。スケールとは、視覚フレーム外のコンテンツを見るために、またはコンテンツをもっと良く見るために、グラフィカルユーザインターフェースの視覚フレームを拡大または縮小することである。ユーザは、タッチスクリーン上で指を互いに離れさせて、または指を互いに引き合わせて、スケール動作入力を指示することができる。
[015] ユーザがタッチスクリーン上でパン動作を指示するために複数の指を動かしている場合、ユーザは誤ってスケール動作を指示してしまうことがある。グラフィカルディスプレイデバイスは、スケール動作がスケーリング閾値、たとえば差分閾値または比率閾値に達しない場合、ユーザ入力からスケール動作を除外することができる。
[016] グラフィカルディスプレイデバイスは、1本または複数本の指の間の変化する距離を表す半径差分を計算することができる。任意の操作に対して、グラフィカルディスプレイデバイスは、スクリーン上の接点を表す入力形状を計算することができる。半径差分とは、最初の操作者イベントからの、入力形状の入力半径の変化である。複数の指でパンを行う場合、ユーザは、接点の間の距離を常にわずかに変化させることがあり、これにより入力形状が拡大または縮小する。これらの変化により、半径差分値が小さく変化することがあるが、半径差分が差分閾値未満の場合、グラフィカルディスプレイデバイスはスケーリングを一定に維持することができる。接点の数が変化した場合、グラフィカルディスプレイデバイスは、最初の入力形状を新たな入力形状にリセットすることができる。
[017] 代わりに、グラフィカルディスプレイデバイスは、パン速度に対する半径速度を計算することができる。半径速度とは、入力半径が変化する速度である。x速度およびy速度とは、入力形状の中心点が水平方向および垂直方向に移動する速度である。グラフィカルディスプレイデバイスは、これらの値を組み合わせて、2次元空間における直線中心点速度を計算することができる。グラフィカルディスプレイデバイスは、半径速度のパン速度に対する比率に、指数平滑法を適用することができる。この平滑化された拡大比率が比率閾値より低い場合、グラフィカルディスプレイデバイスは、スケーリングを一定に維持することができる。
[018] たとえば、
Figure 0006212201
[019] 直線速度がゼロの場合、
Figure 0006212201

は比率閾値より大きいと見なすことができ、スケーリングを有効化することができる。この場合、グラフィカルディスプレイデバイスは、減衰(decay)が計算され続けるように、N(t)を非常に大きい数(>最大の自然数N(t))に設定することができる。
[020] グラフィカルディスプレイデバイスは、ORロジックを用いて、差分閾値比較および比率閾値比較を実施することができる。いずれかの閾値が満たされない場合、グラフィカルディスプレイデバイスは、スケーリング動作を除外することができる。
[021] したがって、一実施形態では、グラフィカルディスプレイデバイスは、1つまたは複数の閾値の組を用いて、複数の指を用いたパン入力からスケーリング動作を除去することができる。グラフィカルディスプレイデバイスは、少なくとも第1の生体点および第2の生体点を有するユーザ動作インターフェースにおけるユーザ入力を受け付けることができる。グラフィカルディスプレイデバイスは、ユーザ入力からパン動作を検出することができる。グラフィカルディスプレイデバイスは、スケーリング閾値に基づいて、ユーザ入力からスケーリング動作を除外することができる。グラフィカルディスプレイデバイスは、グラフィカルユーザインターフェースのパンをユーザに提示することができる。
[022] 図1に、グラフィカルディスプレイデバイスとして機能することができる一例示的コンピューティングデバイス100のブロック図を示す。コンピューティングデバイス100は、ハードウェア、ソフトウェア、ファームウェア、およびシステムオンチップ技術のうちの1つまたは複数を組み合わせて、グラフィカルディスプレイデバイスを実装することができる。コンピューティングデバイス100は、バス110、プロセッサ120、メモリ130、データ記憶装置140、入力デバイス150、出力デバイス160、および通信インターフェース170を含むことができる。バス110または他のコンポーネント相互接続は、コンピューティングデバイス100のコンポーネント間の通信を可能にすることができる。
[023] プロセッサ120は、命令のセットを解釈し実行する少なくとも1つの従来型プロセッサまたはマイクロプロセッサを含むことができる。メモリ130は、プロセッサ120による実行のための情報および命令を格納するランダムアクセスメモリ(RAM)または他種の動的データ記憶装置とすることができる。メモリ130はまた、プロセッサ120による命令の実行中に使用される一時変数または他の中間情報も格納することができる。データ記憶装置140は、プロセッサ120用の静的情報および命令を格納する従来型のROMデバイスまたは他種の静的データ記憶装置を含むことができる。データ記憶装置140は、任意の種類の有形機械可読媒体、たとえば、磁気または光学記録媒体、たとえばデジタルビデオディスク、およびその対応するドライブを含むことができる。有形機械可読媒体は、信号ではなく、機械可読コードまたは命令を格納する物理媒体である。本明細書に記載のようにコンピュータ可読媒体に命令が格納されることは、命令が伝搬または伝送されることと区別可能であり、というのは、伝搬は命令を転送することであるのに対し、命令が格納されるコンピュータ可読媒体で行われ得るように、命令を格納することではないためである。したがって特記のない限り、この形または類似の形で命令が格納されたコンピュータ可読媒体への言及は、データが格納または保持され得る有形媒体を指す。データ記憶装置140は、方法を詳述する命令のセットであって、1つまたは複数のプロセッサにより実行された場合に、1つまたは複数のプロセッサにこの方法を実施させる命令のセットを格納することができる。データ記憶装置140は、データベースまたはデータベースインターフェースでもよい。
[024] 入力デバイス150は、ユーザがコンピューティングデバイス100に情報を入力することを可能にする1つまたは複数の従来型のメカニズム、たとえばキーボード、マウス、音声認識デバイス、マイクロフォン、ヘッドセット、タッチスクリーン152、トラックパッド154、ジェスチャキャプチャデバイス156などを含むことができる。出力デバイス160は、ユーザに情報を出力する1つまたは複数の従来型のメカニズムを含むことができ、これには、ディスプレイ162、プリンタ、1つまたは複数のスピーカー、ヘッドセット、あるいは媒体、たとえばメモリ、または磁気ディスクもしくは光学ディスクおよび対応するディスクドライブが含まれる。タッチスクリーン152はディスプレイ162としても機能することができ、トラックパッド154は単に入力を受け付ける。通信インターフェース170は、コンピューティングデバイス100を他のデバイスまたはネットワークと通信可能にする任意の送受信機のようなメカニズムを含むことができる。通信インターフェース170は、ネットワークインターフェースまたは送受信機インターフェースを含むことができる。通信インターフェース170は、無線、有線、または光インターフェースとすることができる。
[025] コンピューティングデバイス100は、メモリ130、磁気ディスク、または光学ディスクなどのコンピュータ可読媒体に含まれる命令のシーケンスをプロセッサ120が実行したことに応答して、そのような機能を実行することができる。そのような命令は、他のコンピュータ可読媒体たとえばデータ記憶装置140から、または通信インターフェース170を介して別個のデバイスから、メモリ130に読み出すことができる。
[026] 図2aに、ユーザインターフェースとの先行マルチフィンガーインタラクション200の一実施形態をブロック図で示す。ユーザは、タッチスクリーン152またはトラックパッド154上に、1本または複数本の指を置くことができる。これらの指の各々は、生体点210として機能することができる。生体点210とは、ユーザ入力を受け付けるためにユーザ動作インターフェースが検出可能な、ユーザに物理的につながる基準点である。ジェスチャキャプチャデバイス156はまた、1つまたは複数の生体点210を用いて、ユーザ入力、たとえばユーザの手、腕、足、顔、または人工装具(prosthetic)を決定することができる。
[027] ユーザ動作インターフェース、たとえばタッチスクリーン152、トラックパッド154、またはジェスチャキャプチャデバイス156は、複数の生体点210を用いて、ユーザ入力を表す入力形状220、たとえば円または多角形を作成することができる。たとえば、ユーザは、ユーザ動作インターフェースに2本の指を置いて、第1の生体点210および第2の生体点210を作成することができる。ユーザ動作インターフェースは、円の入力形状220を、第1の生体点210および第2の生体点が円の中心点230を通って円を2等分する直径を成すように、作成することができる。
[028] 他の例では、ユーザは、ユーザ動作インターフェース上に3本の指を置くことができる。これら3本の指は、第1の生体点210、第2の生体点210、および第3の生体点210を作成することができる。ユーザ動作インターフェースは、円または他の楕円形の入力形状220を、円の外周上に各々存在する3つの生体点210を用いて作成することができる。代わりに、ユーザ動作インターフェースは、三角形の入力形状220を、三角形の角に存在する3つの生体点210を用いて作成することができる。ユーザ動作インターフェースは、追加の生体点210を用いて他の入力形状220を作成することができ、たとえば4つの生体点210を用いて四辺形を、または5つの生体点210を用いて五角形を作成することができる。
[029] ユーザ動作インターフェースは、入力形状220の中心点230を決定することができる。中心点230は、生体点210の各々から相対的に等距離とすることができる。ユーザ動作インターフェースは、中心点230を追跡して、中心点230の移動に基づいてパン動作を検出することができる。中心点230の移動の速度を追跡して、中心点速度を計算することもできる。ユーザ動作インターフェースは、中心点230および生体点210の間の距離を表す、入力形状220の入力半径240を計算することができる。
[030] 図2bに、ユーザインターフェースとの後続マルチフィンガーインタラクション250の一実施形態をブロック図で示す。ユーザは、指のうちの1本または複数本を動かして、入力半径240を拡大または縮小させることができる。この入力半径240の変化は、半径差分260と呼ばれることもある。半径差分260を用いて、グラフィカルユーザインターフェース上でスケールインまたはスケールアウトするかを判定することができる。ユーザ動作インターフェースは、入力形状220に対する半径速度を追跡して、入力半径240が拡大または縮小する速度を決定することもできる。半径速度を、中心点速度すなわちパン速度で割ることで、速度比率を決定することができる。
[031] 図3に、マルチフィンガーユーザ入力インタラクションを表すステートマシン300の一実施形態をブロック図で示す。ユーザが単一の生体点210、たとえば1本の指を用いる場合、ユーザ動作インターフェースは、単一生体点パン状態302とすることができる。ユーザが生体点増加304において生体点210を追加すると、ユーザ動作インターフェースは、多点パン状態306に変化することができる。多点パン状態306から、ユーザが生体点減少308において生体点210を減少させると、ユーザ動作インターフェースは、単一生体点パン状態302へ戻ることができる。
[032] 多点パン状態306から、半径差分が差分閾値より小さい(RD<DT)かつ速度比率が比率閾値より小さい(VR<RT)場合310、ユーザ動作インターフェースは、多点パン状態306に留まることができる。多点パン状態306から、半径差分が差分閾値より小さい(RD<DT)が速度比率が比率閾値より大きい(VR>RT)場合312、ユーザ動作インターフェースは、多点パン状態306に留まることができる。多点パン状態306から、半径差分が差分閾値より大きい(RD>DT)が速度比率が比率閾値より小さい(VR<RT)場合314、ユーザ動作インターフェースは、多点パン状態306に留まることができる。多点パン状態306から、半径差分が差分閾値より大きい(RD>DT)かつ速度比率が比率閾値より大きい(VR>RT)場合316、ユーザ動作インターフェースは、多点パンおよびスケール状態318に変化することができる。
[033] 多点パンおよびスケール状態318から、速度比率が比率閾値より大きい(VR>RT)場合320、ユーザ動作インターフェースは、多点パンおよびスケール状態318に留まることができる。多点パンおよびスケール状態318から、速度比率が比率閾値より小さい(VR<RT)場合322、ユーザ動作インターフェースは、多点パン状態306に戻ることができる。多点パンおよびスケール状態318から、ユーザが生体点減少324において生体点210を減少させる場合324、ユーザ動作インターフェースは、単一点パン状態302に戻ることができる。
[034] 図4に、ユーザ動作インターフェースに対するユーザ入力を受け付ける方法400の一実施形態をフローチャートで示す。グラフィカルディスプレイデバイスは、少なくとも第1の生体点210および第2の生体点210を有するユーザ動作インターフェースにおけるユーザ入力を受け付けることができる(ブロック402)。グラフィカルディスプレイデバイスは、ユーザ入力からパン動作を検出することができる(ブロック404)。グラフィカルディスプレイデバイスは、ユーザ入力に基づいてパン動作を決定することができる(ブロック406)。グラフィカルディスプレイデバイスは、パン動作からパンベクトルを検出することができる(ブロック408)。グラフィカルディスプレイデバイスは、パンベクトルに沿ってパン動作を軌道制限(rail)することができる(ブロック410)。パン動作を軌道制限することで、パン動作が、パンベクトルの方向に動くように固定される。グラフィカルディスプレイデバイスは、ユーザ入力を表す入力形状に対する半径差分360を計算することができる(ブロック412)。グラフィカルディスプレイデバイスは、半径差分360を差分閾値と比較することができる(ブロック414)。半径差分360が差分閾値より大きい場合(ブロック416)、グラフィカルディスプレイデバイスは、中心点速度および半径速度に基づいて速度比率を計算することができる(ブロック418)。グラフィカルディスプレイデバイスは、速度比率を比率閾値と比較することができる(ブロック420)。速度比率が比率閾値より小さい場合(ブロック422)、グラフィカルディスプレイデバイスは、スケーリング閾値に基づいて、ユーザ入力からスケーリング動作を除外することができる(ブロック424)。グラフィカルディスプレイデバイスは、グラフィカルユーザインターフェースのパンをユーザに提示することができる(ブロック426)。
[035] グラフィカルディスプレイデバイスは、差分閾値を最適化するために、差分履歴を保持することができる(ブロック428)。比率履歴は、半径差分、および半径差分が差分閾値を超えたかを追跡することができる。グラフィカルディスプレイデバイスは、比率閾値を最適化するために、比率履歴を保持することができる(ブロック430)。比率履歴は、速度比率、および速度比率が比率閾値を超えたかを追跡することができる。差分履歴および比率履歴は、ユーザが明確なスケーリング動作を再入力して入力をフォローアップしたかを追跡することができ、これは、スケールが最初に意図されていたか否かを示している。グラフィカルディスプレイデバイスは、差分履歴を用いて、差分閾値を調整することができる。グラフィカルディスプレイデバイスは、比率履歴を用いて、比率閾値を調整することができる。
[036] 図5に、パン動作を検出する方法500の一実施形態をフローチャートで示す。グラフィカルディスプレイデバイスは、ユーザ入力における第1の生体点210および第2の生体点210を検出することができる(ブロック502)。グラフィカルディスプレイデバイスは、ユーザ入力における第3の生体点210を検出することができる(ブロック504)。グラフィカルディスプレイデバイスは、少なくとも第1の生体点210および第2の生体点210に基づいて、入力形状220を決定することができる(ブロック506)。グラフィカルディスプレイデバイスは、入力形状220の中心点230を決定することができる(ブロック508)。グラフィカルディスプレイデバイスは、少なくとも第1の生体点および第2の生体点からの入力形状の中心点移動に基づいて、ユーザ入力からパン動作を計算することができる(ブロック510)。
[037] 図6に、半径差分を決定する方法600の一実施形態をフローチャートで示す。グラフィカルディスプレイデバイスは、ユーザ入力における第1の生体点210および第2の生体点210を検出することができる(ブロック602)。グラフィカルディスプレイデバイスは、ユーザ入力における第3の生体点210を検出することができる(ブロック604)。グラフィカルディスプレイデバイスは、少なくとも第1の生体点210および第2の生体点210に基づいて、入力形状220を決定することができる(ブロック606)。グラフィカルディスプレイデバイスは、入力形状220の中心点230を決定することができる(ブロック608)。グラフィカルディスプレイデバイスは、入力形状220に対する半径差分260を計算することができる(ブロック610)。
[038] 図7に、速度比率を計算する方法700の一実施形態をフローチャートで示す。グラフィカルディスプレイデバイスは、ユーザ入力における第1の生体点210および第2の生体点210を検出することができる(ブロック702)。グラフィカルディスプレイデバイスは、ユーザ入力における第3の生体点210を検出することができる(ブロック704)。グラフィカルディスプレイデバイスは、少なくとも第1の生体点210および第2の生体点210に基づいて、入力形状220を決定することができる(ブロック706)。グラフィカルディスプレイデバイスは、入力形状220の中心点230を決定することができる(ブロック708)。グラフィカルディスプレイデバイスは、中心点速度に基づいて、パン速度を計算することができる(ブロック710)。グラフィカルディスプレイデバイスは、入力形状220に対する半径速度を計算することができる(ブロック712)。グラフィカルディスプレイデバイスは、中心点速度および半径速度に基づいて、速度比率を計算することができる(ブロック714)。
[039] 本主題を、構造的特徴および/または方法論的行為に特有の文言で説明してきたが、添付の特許請求の範囲における主題が、上記の特定の機能または行為に必ずしも限定されないことを理解されたい。むしろ、上記の特定の特徴および行為は、特許請求の範囲を実装するための例示的な形として開示されている。
[040] 本発明の範囲内の実施形態はまた、コンピュータ実行可能命令またはデータ構造を保有するための、またはこれらが格納された、コンピュータ可読記憶媒体を含むことができる。そのようなコンピュータ可読記憶媒体は、汎用または専用のコンピュータによりアクセス可能な任意の利用可能な媒体であってよい。例として、限定はしないが、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD−ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気データ記憶装置、あるいは、コンピュータ実行可能命令またはデータ構造の形式で所望のプログラムコード手段を保有または格納するために使用可能な任意の他の媒体を含むことができる。上記の組み合わせもまた、コンピュータ可読記憶媒体の範囲内に含まれるべきである。
[041] 実施形態は、通信ネットワークを介して(有線リンク、無線リンク、またはこれらの組み合わせにより)リンクされたローカルおよびリモートの処理デバイスによりタスクが実行される分散コンピューティング環境においても実施することができる。
[042] コンピュータ実行可能命令は、たとえば、汎用コンピュータ、専用コンピュータ、または専用処理デバイスに特定の機能または機能のグループを実行させる命令およびデータを含む。コンピュータ実行可能命令は、スタンドアローンまたはネットワーク環境内のコンピュータにより実行されるプログラムモジュールも含む。一般的に、プログラムモジュールは、特定のタスクを実行するかまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、およびデータ構造などを含む。コンピュータ実行可能命令、関連データ構造、およびプログラムモジュールは、本明細書で開示した方法の工程を実行するためのプログラムコード手段の例を表す。そのような実行可能命令または関連データ構造の特定のシーケンスは、そのような工程に記載の機能を実施するための対応する行為の例を表す。
[043] 上記の説明は具体的な詳細を含むことがあるが、それらは決して特許請求の範囲を限定するものと解釈されるべきではない。記載の実施形態の他の構成は、本開示の範囲の一部である。たとえば、本開示の原理は、各ユーザがそのようなシステムを個々に配備可能な場合に、個々のユーザに適用することができる。これにより、多数の可能な応用例のいずれもが本明細書に記載の機能を用いないとしても、各ユーザは本開示の利益を利用することができる。電子デバイスの複数の実例は各々、様々な可能な方法で本内容を処理することができる。実装は必ずしも、全てのエンドユーザにより使用される1つのシステム内に存在するわけではない。したがって、与えた任意の具体例ではなく、添付の特許請求の範囲およびそれらの法的均等物のみが、本発明を定義するべきである。

Claims (8)

  1. 少なくとも第1の生体点および第2の生体点を有するユーザ動作インターフェースにおけるユーザ入力を受け付けることと、
    前記ユーザ入力からパン動作を検出することと、
    少なくとも前記第1の生体点および前記第2の生体点に基づいて入力形状を決定することと、
    前記入力形状の中心点を決定することと、
    前記入力形状に対する半径差分と、前記中心点の速度である中心速度および半径速度に基づく速度比率とを計算し、当該半径差分と当該速度比率とに基づいて、前記ユーザ入力からスケーリング動作を除外するか否かを判定することと、
    グラフィカルユーザインターフェースのパンをユーザに提示することと
    を含む、機械実施される方法。
  2. 中心点移動に基づいて、前記パン動作を計算すること
    をさらに含む、請求項1に記載の方法。
  3. 前記除外するか否かを判定することは、
    前記半径差分を差分閾値と比較することをさらに含む、請求項1に記載の方法。
  4. 前記除外するか否かを判定することは、
    前記速度比率を比率閾値と比較することをさらに含む、請求項1に記載の方法。
  5. 前記パン動作からパンベクトルを検出することと、
    前記パン動作を前記パンベクトルに沿って軌道制限することと
    をさらに含む、請求項1に記載の方法。
  6. 方法を詳述する命令のセットであって、1つまたは複数のプロセッサにより実行された場合に、前記1つまたは複数のプロセッサに前記方法を実施させる命令のセットが格納された有形機械可読媒体であって、前記方法は、
    少なくとも第1の生体点および第2の生体点を有するユーザ動作インターフェースにおけるユーザ入力を受け付けることと、
    少なくとも前記第1の生体点および前記第2の生体点に基づいて入力形状を決定することと、
    前記入力形状の中心点を決定することと、
    少なくとも前記第1の生体点および前記第2の生体点からの前記入力形状の中心点移動に基づいて、前記ユーザ入力からパン動作を計算することと、
    前記入力形状に対する半径差分と、前記中心点の速度である中心速度および半径速度に基づく速度比率とを計算し、当該半径差分と当該速度比率とに基づいて、前記ユーザ入力からスケーリング動作を除外するか否かを判定することと、
    グラフィカルユーザインターフェースのパンをユーザに提示することと
    を含む、有形機械可読媒体。
  7. 少なくとも第1の生体点および第2の生体点を有するユーザ入力を受け付ける入力デバイスと、
    前記ユーザ入力からパン動作を検出し、少なくとも前記第1の生体点および前記第2の生体点に基づいて入力形状を決定し、当該入力形状の中心点を決定し、前記入力形状に対する半径差分と、前記中心点の速度である中心速度および半径速度に基づく速度比率とを計算し、当該半径差分と当該速度比率と比率閾値に基づいて、前記ユーザ入力からスケーリング動作を除外するプロセッサと、
    グラフィカルユーザインターフェースのパンをユーザに提示するディスプレイと
    を備える、グラフィカルディスプレイデバイス。
  8. 前記入力デバイスが、タッチスクリーン、トラックパッド、およびジェスチャ認識デバイスのうちの少なくとも1つである、請求項7に記載のグラフィカルディスプレイデバイス。
JP2016507529A 2013-04-15 2013-09-09 マルチフィンガータッチインタラクション中のパンおよびスケーリングの検出 Active JP6212201B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/862,489 US9910579B2 (en) 2013-04-15 2013-04-15 Detection of pan and scaling during multi-finger touch interactions
US13/862,489 2013-04-15
PCT/US2013/058665 WO2014171961A1 (en) 2013-04-15 2013-09-09 Detection of pan and scaling during multi-finger touch interactions

Publications (2)

Publication Number Publication Date
JP2016515741A JP2016515741A (ja) 2016-05-30
JP6212201B2 true JP6212201B2 (ja) 2017-10-11

Family

ID=49261744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016507529A Active JP6212201B2 (ja) 2013-04-15 2013-09-09 マルチフィンガータッチインタラクション中のパンおよびスケーリングの検出

Country Status (7)

Country Link
US (1) US9910579B2 (ja)
EP (1) EP2987069B1 (ja)
JP (1) JP6212201B2 (ja)
KR (1) KR102086193B1 (ja)
CN (1) CN105190516B (ja)
TW (1) TW201439885A (ja)
WO (1) WO2014171961A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102210045B1 (ko) * 2013-12-12 2021-02-01 삼성전자 주식회사 전자장치의 입력 제어장치 및 방법
JP6911870B2 (ja) * 2016-11-25 2021-07-28 ソニーグループ株式会社 表示制御装置、表示制御方法及びコンピュータプログラム
CN110402427B (zh) * 2017-03-15 2022-05-31 三菱电机株式会社 触摸手势判定装置、触摸手势判定方法、记录有触摸手势判定程序的记录介质和触摸面板输入装置
JP7191792B2 (ja) 2019-08-23 2022-12-19 株式会社東芝 情報処理装置、情報処理方法およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1717679B1 (en) 1998-01-26 2016-09-21 Apple Inc. Method for integrating manual input
US7075513B2 (en) 2001-09-04 2006-07-11 Nokia Corporation Zooming and panning content on a display screen
US7814439B2 (en) 2002-10-18 2010-10-12 Autodesk, Inc. Pan-zoom tool
US7728821B2 (en) * 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US7825797B2 (en) * 2006-06-02 2010-11-02 Synaptics Incorporated Proximity sensor device and method with adjustment selection tabs
JP2008070968A (ja) 2006-09-12 2008-03-27 Funai Electric Co Ltd 表示処理装置
US8059101B2 (en) 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
US8368646B2 (en) * 2007-12-07 2013-02-05 Robert Welland User interface devices
US8375336B2 (en) * 2008-05-23 2013-02-12 Microsoft Corporation Panning content utilizing a drag operation
CN102187694A (zh) 2008-05-28 2011-09-14 谷歌公司 在移动计算设备上的运动控制的视图
US8176438B2 (en) 2008-09-26 2012-05-08 Microsoft Corporation Multi-modal interaction for a screen magnifier
WO2010091496A1 (en) 2009-01-05 2010-08-19 Smart Technologies Ulc Gesture recognition method and interactive input system employing same
US8427440B2 (en) * 2009-05-05 2013-04-23 Microsoft Corporation Contact grouping and gesture recognition for surface computing
US9400548B2 (en) * 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
TW201222344A (en) 2010-11-16 2012-06-01 Elan Microelectronics Corp Method for continuing a multi-finger gesture on a touch panel
JP5852514B2 (ja) 2012-06-13 2016-02-03 株式会社東海理化電機製作所 タッチセンサ
JP6031600B2 (ja) * 2012-07-15 2016-11-24 アップル インコーポレイテッド 3d相互作用のマルチタッチジェスチャ認識の曖昧性除去
TWI456458B (zh) * 2012-09-03 2014-10-11 Acer Inc 電子裝置以及相關之控制方法
US9235338B1 (en) * 2013-03-15 2016-01-12 Amazon Technologies, Inc. Pan and zoom gesture detection in a multiple touch display

Also Published As

Publication number Publication date
EP2987069A1 (en) 2016-02-24
US20140310625A1 (en) 2014-10-16
JP2016515741A (ja) 2016-05-30
TW201439885A (zh) 2014-10-16
EP2987069B1 (en) 2020-09-16
WO2014171961A1 (en) 2014-10-23
KR20150143495A (ko) 2015-12-23
CN105190516A (zh) 2015-12-23
KR102086193B1 (ko) 2020-03-06
US9910579B2 (en) 2018-03-06
CN105190516B (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN104166553B (zh) 一种显示方法及电子设备
US9588604B2 (en) Shared edge for a display environment
JP2014501996A5 (ja)
US20140035825A1 (en) Cursor positioning on a touch-sensitive display screen
US10698599B2 (en) Connecting graphical shapes using gestures
JP6212201B2 (ja) マルチフィンガータッチインタラクション中のパンおよびスケーリングの検出
JP2014517975A (ja) 対象のあいまい性の除去及び修正
US9891713B2 (en) User input processing method and apparatus using vision sensor
EP2907015A1 (en) Object placement within graphical user interface
US10146409B2 (en) Computerized dynamic splitting of interaction across multiple content
WO2018098960A1 (zh) 一种触屏设备操作方法及触屏设备
TW201913299A (zh) 終端設備的操作方法、裝置以及電子設備
US9582180B2 (en) Automated touch screen zoom
CN105892895A (zh) 多指滑动手势的识别方法、装置及终端设备
JP2012256270A5 (ja)
CN106547339B (zh) 计算机设备的控制方法和装置
KR101944454B1 (ko) 정보처리프로그램 및 정보처리방법
US10580220B2 (en) Selecting animation manipulators via rollover and dot manipulators
US10031638B2 (en) Multi-touch GUI featuring directional compression and expansion of graphical content
US20140317538A1 (en) User interface response to an asynchronous manipulation
US20160224202A1 (en) System, method and user interface for gesture-based scheduling of computer tasks
JP6252184B2 (ja) ジェスチャ入力装置、ジェスチャ入力方法及びプログラム
JP2015197724A (ja) ジェスチャー検出装置、ジェスチャー検出装置の動作方法および制御プログラム
JP6363617B2 (ja) 動的レベルラインとしての動作速度
JPWO2019168190A1 (ja) 操作推定装置、操作推定方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170914

R150 Certificate of patent or registration of utility model

Ref document number: 6212201

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250