JP5864755B2 - タッチ・センサ・ディスプレイ画面による差圧の利用 - Google Patents

タッチ・センサ・ディスプレイ画面による差圧の利用 Download PDF

Info

Publication number
JP5864755B2
JP5864755B2 JP2014528448A JP2014528448A JP5864755B2 JP 5864755 B2 JP5864755 B2 JP 5864755B2 JP 2014528448 A JP2014528448 A JP 2014528448A JP 2014528448 A JP2014528448 A JP 2014528448A JP 5864755 B2 JP5864755 B2 JP 5864755B2
Authority
JP
Japan
Prior art keywords
touch
pressure
data point
data points
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014528448A
Other languages
English (en)
Other versions
JP2014527675A (ja
Inventor
シー. ムーア、スティーブン
シー. ムーア、スティーブン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Mobility LLC
Original Assignee
Motorola Mobility LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Mobility LLC filed Critical Motorola Mobility LLC
Publication of JP2014527675A publication Critical patent/JP2014527675A/ja
Application granted granted Critical
Publication of JP5864755B2 publication Critical patent/JP5864755B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers

Description

本発明は、一般に個人用電子機器に関し、より詳細にはタッチ・センサ・ディスプレイ画面のユーザ・インタフェースに関する。
タッチ・センサ・ディスプレイ画面は、多くの個人用電子機器のよく知られている構成要素である。ユーザのタッチ(通常、指またはスタイラスによる)を認識し、それに応答することによって、この画面は、ユーザ入力の収集と装置出力の表示の両方を多くのアプリケーションにおいて非常に訴求的な統一された手法で行う。
最初の一般的なタッチ・センサ・ディスプレイ画面は、一時に1つのタッチ場所を確実に認識できるのみであった。複数の同時タッチが行われた場合、このディスプレイ画面は、混乱し、その結果は予測できなかった。しかしながら、いまでは、多くの装置がいくつかの同時タッチを確実に追跡し、ユーザによって加えられた全圧力を測定することができる画面を組み込んでいる。
タッチ・センサ・ディスプレイ画面の魅力的な特徴の1つは、それが、少なくとも場合によっては、より従来型のパソコンに見られるキーボードとポインティング・デバイス(例えば、マウスまたはトラックボール)の両方に代わり得ることである。これによって、仮にキーボードを配置したとしても、それは10本の指による操作のためには小さすぎるスマートフォンなどの非常に小さい装置にとって、この画面が特に有益なものとなる。
当然のことながら、タッチ・センサ画面のユーザ・インタフェース方式の開発は、固定キーボードおよびマウスによって新たに作り上げられた利用方法に従うものであった。ディスプレイ画面上のカーソルを制御するためにマウスを使用することから、単に画面にタッチし、必要に応じてカーソルをドラッグすることへの移行は非常に容易であった。
上記およびその他の検討事項は、明細書、図面および請求項を参照することによって理解することができる本発明によって対処されるものである。本発明の特徴に従って、圧力差に応答する一部の最新式タッチ・センサ画面の機能を使用して装置のユーザ・インタフェースを強化する。ユーザは画面に「軽く」タッチすることによってある種類のユーザ・インタフェース動作を選択し、次により強い圧力を加えて別の種類の動作を選択する。例えば、軽いタッチは、従来のマウス・ボタンからの「1回のクリック」として解釈することができる一方、より強いタッチは「ダブル・クリック」として機能することができる。別の例では、ドローイングの応用として、ユーザは軽いタッチで描画し、より強いタッチで消去する。
一部のタッチ画面は、ユーザの圧力の範囲について信頼性を持って報告する。本発明の実施形態は、画面を押す強さに対応する3種類以上の別々の動作をユーザが選択することを可能にすることによって、この範囲を活用することができる。例えば、ユーザがメディア提示を早送りしているとき、加えた圧力の大きさに正比例して早送りの速度を変えることができる。
本発明の態様は、単一タッチ方式に限られない。むしろ、実施形態は、単一タッチ、タッチ・センサ画面の表面に広がるジェスチャ・タッチ、およびユーザの加える圧力がタッチ中に変化するタッチに応答することができる。一部の実施形態は、加える圧力の大きさをユーザがどれくらい速く変えるかに応じる。
一部の実施形態では、ユーザの入力の場所および圧力を、記憶されているジェスチャ・プロファイルと比較する。入力が記憶ジェスチャ・プロファイルと「十分に近く」一致した場合のみ、動作が実行される。例えば、ユーザが自分の名前を署名した場合、その署名は記憶されている署名プロファイルと比較される。署名が一致した場合、ユーザは管理下の情報にアクセスすることができる。
一部の実施形態では、軽いプレスと強いプレスとの間の閾値を圧力が超えた場合、ユーザに通知が送られる。例えば、圧力が強い場合、画面にアイコンを示すことができる(これは、従来のキーボードで時々示される「大文字ロック(CAPS LOCK)」アイコンに似ている)。音響を出力すること、または触覚フィードバック(ユーザによって感知される「ブザー」)を与えることもできる。
種々のタッチ・センサ画面は種々の技術を具現化し、したがってそれらは差圧を測定・報告する方法において異なる。本発明の態様は、圧力検出画面で働く。特に、一部の画面は、タッチ中に一連のデータポイントを報告する。各データポイントは、例えば、瞬間的圧力に関する振幅およびタッチに関するサイズを含む。本発明の一部の実施形態では、この一連のデータポイントが安定するまで、一定の方法によってこの一連のデータポイントを監視する。データポイントが安定した後、安定したデータポイントの値(「ベースライン」と呼ばれる)を将来のデータポイントとともに使用してこのタッチに関連付けられる圧力を決定する。この方法は、タッチ入力を「安定化」し、より一貫性のあるユーザ・インタフェース体験を提供する。
添付請求項は本発明の特徴を具体的に規定するものであるが、本発明は、その目的および利点とともに、以下の詳細説明および添付図面から最もよく理解され得る。
本発明で利用できる例示的な個人用電子装置の略図。 差圧に応答するタッチ・センサ画面の定型化された表現を示す図。 差圧に応答するタッチ・センサ画面の定型化された表現を示す図。 タッチ・センサ画面による圧力報告を活用する第1の例示的なユーザ・インタフェースのフローチャート。 タッチ・センサ画面による圧力報告を活用する第1の例示的なユーザ・インタフェースのフローチャート。 図3aおよび図3bのユーザ・インタフェース方法の特定の実施形態のフローチャート。 図3aおよび図3bのユーザ・インタフェース方法の特定の実施形態のフローチャート。 タッチ圧力の変化速度に応答する例示的なユーザ・インタフェースのフローチャート。 本発明の教示を利用してユーザのタッチ入力を、記憶されているジェスチャ・プロファイルと比較する例示的なユーザ・インタフェースのフローチャート。 タッチ・センサ画面からの圧力入力を「安定化」する例示的な方法のフローチャート。
図面を参照すると、図面では、同様な参照数字は、同様な要素を指す。この発明は、適切な環境において実装されるものとして示されている。以下の記述は、本発明の実施形態に基づいており、本出願において明示的に記述されない代案実施形態に関して本発明を限定するものと解するべきではない。
図1は、本発明の実施形態を組み込む代表的な個人用電子装置100(例えば、携帯電話機、携帯情報端末またはパーソナル・コンピュータ)を示す。図1は、メイン画面102をユーザに提示している携帯電話機として装置100を示している。一般にメイン画面102は、ユーザとの最も忠実度の高い相互作用(対話)のために使用される。例えば、メイン画面102はビデオまたは静止画像を示すために使用され、構成設定を変更するユーザ・インタフェースの一部であり、通話記録および連絡先リストを見るために使用される。これらの相互作用をサポートするために、メイン画面102は高い解像度を有し、装置100内に無理なく収容できる最大限の大きさである。状況によっては、ユーザからメイン画面102よりかなり大きい画面にアクセスすることが有益である。このような状況では、より大きな外部表示装置に接続し、それを電子装置100によって制御することができる(例えば、ドッキング・ステーション経由)。装置100には、状況メッセージを提示するために第2の画面、場合によっては第3の画面を設けることができる。これらの画面は、一般にメイン画面102より小さい。以下の説明においては、これらは無視しても問題はない。
画面102は、タッチ・センサ画面である。装置のユーザが画面102の1つの点または複数の点に圧力を加えると、画面102は、タッチの場所を報告する。タッチの圧力も報告される。装置によっては、画面102自体が圧力センサを含んでおり、各点に加えられた圧力を測定することができる。他の装置では、別の圧力センサ(図示せず)が局部圧力測定値または画面102に加えられた圧力の全体としての合計を報告する。余分な文言を用いることなくこれらの場合のすべてを記述するために、以下の説明では、装置100のいずれの構成要素が実際に圧力を測定・報告するか否かに関係なく、簡潔な表現、「画面102は、圧力を報告する」を使用する。
ここで、留意すべきは、本発明は、表示機能をもたないタッチ・パッドなどの、タッチ・センサ・ディスプレイ画面でないタッチ・センサ画面にも適用されることである。これらは、今日、あまり一般的でなくなりつつあるため、以下の説明は、タッチ・センサ・ディスプレイ画面の例に焦点を置くこととする。
今日、種々の技術がタッチ・センサ画面102を実現するために使用されている。本発明は、すべての既存およびこれから開発されるタッチ・センサ技術と連携することを意図している。
個人用電子装置100の一般的なユーザ・インタフェースは、タッチ・センサ画面102のほかに、キーパッドおよび他のユーザ入力装置を含んでいる。キーパッドは実在のものまたは仮想のものとすることができ、タッチ・センサ画面102上に表示される仮想キーを含む。一部の装置100は、装置のユーザに通知する音声出力および触覚装置を含んでいる。
図1は、個人用電子装置100のより重要な内部構成要素の一部を示す。ネットワーク・インタフェース104は、メディア提示、関連情報およびダウンロード要求を送受する。プロセッサ106は、装置100の動作を制御し、特に、図3〜図7に示し、これから説明する本発明の特徴をサポートする。プロセッサ106は、その動作においてメモリ108を使用する。以下において、必要に応じて、特定の装置によるこれらの構成要素の特定の使用について論ずる。
図2aは、タッチ・センサ画面102が中程度の圧力の複数のタッチに応答する方法を示す。黒の領域200a、202a、および204aは、ユーザが画面102に登録されるほど十分に強く押した場所を表す(領域200a、202a、および204aが画面102のユーザに表示されるという要件は存在しない)。円形の領域200aは、スタイラス先端の結果の場合もあり、ユーザの指先の結果の場合もある。領域202aは細長く、スタイラスまたは指をある角度で押し下げた結果であろう。204aは、時間を通じて延びている痕跡である。これは、画面102の出力に応答するソフトウェアによっては「ドラッグ」動作またはジェスチャとして解釈される。
一部の実施形態では、画面102は、タッチ200a、202a、および204aのそれぞれの実際の空間的広がりを報告する。それらの実施形態では、図2aは、画面102によって報告される内容そのままの表示である。他の実施形態では、画面102は、加えられた圧力を報告するが、タッチの実際の領域は報告しない。例えば、タッチ200aは、画面102上の単一の点として特定の圧力の大きさと関連付けて報告される。それらの実施形態では、図2aは、画面102の報告する内容そのままの表現ではなく、それを示唆するものと解釈される。
図2bでは、図2aのタッチが繰り返されるが、圧力はより大きい。円形のタッチ200aは、より強い圧力によって、円形領域200bに広がっている。より強い圧力によって、細長いタッチ202bは面積が広くなったばかりでなく、その形状も変化し、より強い圧力によって、いくらか細長さが減少している。痕跡204bの出発点および終了点は痕跡204aと同じであるものの、痕跡204bの幅は、圧力がより強いために相当大きい。タッチの面積を実際には報告しない画面の実施形態では、痕跡204bは痕跡204aと同じ場所(時間を通じて)で報告されるが、より大きな圧力値と関連付けられて報告される。
図3aおよび3bは、ユーザ・インタフェースのタッチ・センサ画面102によって与えられる圧力情報を使用する第1の例示的な方法を示す。図3aのステップ300において、個人用電子装置100のプロセッサ106は、画面102上のタッチに関する情報を受け取る。本説明は当然のことながらタッチに関連付けられる圧力情報に焦点を置くが、しかしながら、従来と同様に、タッチに関する情報は一般に少なくとも1つのタッチの場所を含んでいる(ステップ302)。図2aにおける痕跡204aなどのジェスチャ・タッチの場合、タッチ情報は、画面上の空間経路を含んでいる(ステップ304)(空間経路は、一般に一連のタッチ場所として報告される)。
図2aの痕跡204aへの言及は、「タッチ」が意味し得ることを説明するための良いポイントとなる。痕跡204aは、時間および空間を通じて延びている1つのタッチと考えることができる。これに代えて、痕跡204aは、次々に生じる長い一連のタッチであって、それぞれのタッチがタッチ・センサ画面102上の特定の点と、特定の時点とに関連付けられると考えることもできる。以下の説明では、ユーザが1つの圧力値で押すことによって開始し、次に圧力を完全に除くことなく、別の圧力値に変える場合を区別することが重要であることがある。一部のユーザ・インタフェースでは、これを時間とともに圧力の変わる単一のタッチと見なす一方、他のユーザ・インタフェースでは、これを近接した時間における、一定の圧力値を各々有する少なくとも2つのタッチと見なす。ユーザのジェスチャを1つまたは複数の「タッチ」に分割する様々な定義は、ユーザがどのような信号を送出したかを理解する上で重要であるが、本発明は、そうしたいずれの定義にも対応する。
ステップ306において、圧力値は、受け取られたタッチ情報に関連付けられる。これを行い得る方法は多数あり、それらの間の差異は、通常、タッチ・センサ画面102を具体化する際に使用できる種々の技術に基づいている。
ステップ306aは、画面102自体が圧力値を報告する場合を対象としている。タッチが画面102上の複数の点にわたっている場合、一部の画面102は、タッチ中の各点の圧力値を報告する。他の画面102は、単にこのタッチ圧力値の合計または平均を与える。図2aの204aのような痕跡は、痕跡に沿った各点について1つずつの個々の圧力値に関する長いリストを含むことができる。
ステップ306aは、タッチ・センサ画面102に関連付けられている構成要素(例えば、圧力センサ)が圧力値を報告する場合も対象としている。非常に簡単な場合、画面102全体を圧電式の圧力センサとすることができる。画面102がタッチされると、圧力センサは、加えられた圧力の合計を報告する。この非常に単純なシステムは、当然ながら、空間的に広がるタッチの各点に加えられた圧力を報告することはできない。別の例では、「スマート」スタイラスは、ユーザが加えている圧力を測定し、その情報を個人用電子装置100に報告する。一般に、スタイラスは、合計圧力のみを報告する。
ステップ306bでは、タッチに関連付けられた圧力は直接報告されないが、圧力を計算できる十分な情報が与えられる場合も対象としている。一部のタッチ・センサ画面102は、タッチに含まれる「点」の個数を報告する。これは、タッチを登録するために十分な圧力を受け取った画面102の面積である。これらの画面102の場合、図2aの軽いタッチ200aおよび図2bの強いタッチ200bは、強いタッチ200bによって影響を受けた面積がより広いという事実によって区別される。一部の画面102では、面積は、タッチによって影響を受けたチャネル(または点)の個数として報告される。一部の画面102は、タッチの圧力にある程度比例するより強い信号を報告する。画面102がタッチの面積(または影響を受けたチャネルの個数)と合計圧力に比例する信号の両方を報告する場合、これらの2つの値を比較することによって平均圧力を計算することができる。したがって、画面102の広い領域にわたる非常に軽いタッチは、狭い領域に集中された強いタッチから区別されるが、これらの2つの場合に画面102全体によって受け取られた合計圧力は同じであり得る。
なお、多くの技術の場合、報告される圧力は相対値であり、実際のニュートン毎平方メートルの値ではない。本発明は、実際の圧力測定値および相対的な圧力測定値のいずれに対しても完全に機能する。実際、ステップ306においてタッチに関連付けられる圧力値は、以下の群から選択することができる:「閾値より大きい」および「閾値より小さい」。当然ながら、タッチ・センサ画面102は、問い合わせられた場合にゼロ圧力値も報告できるが(すなわち、「現在、検出されるタッチなし」)、その場合、図3aおよび3bの方法は起動されない。
ステップ308において、タッチに関連付けられた圧力は、非ゼロ閾値と比較される(この閾値が非ゼロであるのは、本発明では軽いタッチと強いタッチとを区別するためである。ゼロ閾値では単にタッチとタッチなしとが区別される)。なお、実際の閾値は、タッチを処理するアプリケーションによって異なる(図3bのステップ310および312)。しかしながら、どれほどの圧力を加えると閾値を跨ぐのかをユーザが「感じる」ことができるように、一定である閾値の使用が推奨される。
ユーザ・インタフェースの最も単純な実施形態は、図3bのステップ310および312のみを含む。要するに、圧力が閾値より低い場合、1つの動作が実行される(ステップ310)。そうでない場合、別の動作が実行される(ステップ312)。ユーザ・インタフェース動作は、例えば、タッチ・センサ画面102上に表示されたアイコンを選択すること、画面102上に表示されたアイコンに関連付けられているファイルを開くこと、画面102上に表示されたアイコンに関連付けられているプログラムを実行すること、および制御パラメータの値を変更することを含むことができる。特殊な例として、描画アプリケーションが現在タッチに応答している場合、この描画アプリケーションは、画面102上の描画によって閾値未満のタッチに応答することができ、一方、強いタッチは既に描かれているものを消去することができる。
別の例として、タッチをメディア・プレイバック・アプリケーションに送ることができる。早送りアイコン上の軽いタッチはメディアの提示を第1の速度で早送りするのに対し、強いタッチはメディアの提示をより高速な速度で早送りする。図3aのステップ306においてタッチに関連付けられた圧力が単純な「閾値より大きい」または「閾値より小さい」よりも多くの情報を含む場合、ステップ312aにおけるその応答を関連付けられた圧力と閾値との間の差に比例させることによって、この2種類の速度の早送り制御をさらに改良変更することができる。すなわち、2つの速度の間を単に切り替えるのではなく、ユーザが強く押すほどに速度を大きくし続けることができる。当然ながら、この種類の圧力センサ制御は、ユーザが制御ボタンを押し続けるのに応じて速度を上げる既知の技術と容易に組み合わせることができる。この例によって、ユーザ・インタフェース設計者がタッチ・センサ画面に従来から関連付けられてきたものを超える可能性を与えられ、本発明の真の長所が示されるに至る。
一部の実施形態は、増大する圧力に応じて応答を直線的に増大するのではなく、ただ単に、さらなる少なくとも1つの非ゼロ閾値を含むことができる(ステップ312b)。これは、上記例の2速度の早送り制御を3速度の速度制御等に変えることになる。
いずれの実施形態においても、ユーザ・インタフェース設計者は、ユーザに、そのユーザの圧力が閾値を跨いだ旨の通知が与えられるステップ312cの実装を選択することができる。例えば、圧力が閾値より大きい旨のアイコンをタッチ・センサ画面上に示したり、音を再生したり、またはおそらくは最も有用な方法として、物理的ボタンがそのスプリングに対して強く押されるほどに経験される応答を模倣する触覚応答を与えたりできる。種々のユーザ・インタフェースは、同様に種々の通知を実装してよい。
上述の例においては、加えられる圧力と選択されるユーザ・インタフェース動作との間に先験的な論理的な繋がりは存在しないことが留意される。反例によってこの点を明らかにするために、描画アプリケーションにおけるユーザのタッチをタッチ・センサ画面102上に図式的に示す。ユーザが図2aの痕跡204aなどの痕跡を作成すると、画面102上に線が描かれる。物理的な筆は強く押されるとより幅の広い線を描くので、描画アプリケーションが、図2bの204bに示されているように、圧力が強いときに、より広い幅の線を表示することは論理的である。この例では、したがって、ユーザの意識において、加えた圧力と画面102上に示されている痕跡の幅との間には先験的な論理的な繋がりが存在する。しかしながら、前の例で示したように、本発明は、これらの先験的な論理的実装に限定されるものではない。
前述の説明は、非常に一般的であることおよび多数の可能な実施形態を対象とすることを意図している。具体的な一例として、図4aおよび図4bに示した例を考える。この方法は、図4aのステップ400から始まる。このステップ400は、現実の世界のタッチが時間的および空間的に(タッチ・センサ・ディスプレイ画面102上を)広がることを強調している。この場合、画面102は、周期的なメッセージを送り(またはプロセッサ106によって周期的に問い合わせられ)、その結果は、場所の値および関連付けられる圧力の列である。すなわち、ステップ400は、タッチが続く限り続く処理ループ(ステップ408まで)を導入する。一般に、画面102から報告される圧力値がゼロに下がると、タッチは完了したと見なされ、ループは410に出る。
タッチに関する情報が受け取られると、プロセッサ106は、ステップ402から開始してこの情報を評価する。ここで、1つの圧力値が、現在の時点におけるタッチに関連付けられる。上述における図3aのステップ306についての説明がここでも当てはまる。現在の圧力値をステップ404において圧力閾値と比較する。
プロセッサ106は、タッチに含まれる距離を追跡する。一般にプロセッサ106は、周期的なタッチ場所の報告から、この距離を計算する。ステップ406において、このタッチに現在関連付けられている合計距離を距離閾値と比較する。距離閾値が超えられた場合、かつ、このタッチが既に「ハード・プレス」(ステップ408参照)として分類されていない場合、このタッチを「スワイプ」として分類する。
同様に、ステップ408において、現在の圧力を圧力閾値と比較する(上述において説明した図3aのステップ308の場合と同様)。圧力閾値が超えられた場合、かつ、このタッチが既に「スワイプ」として分類されていない場合(ステップ406参照)、このタッチを「ハード・プレス」として分類する。
処理ループ(ステップ400〜408)は、タッチの継続中、継続する。タッチが完了すると、タッチが別の種類に分類されていない場合、ステップ410でそのタッチを「タップ」として分類する。
ステップ406〜410の結果、各タッチは正確に「ハード・プレス」、「スワイプ」、および「タップ」の1つとして分類されることである。「ハード・プレス」と「スワイプ」のうち、最初に起動された方(該当閾値を超えることによって)が他方に勝る。例えば、タッチが「ハード・プレス」に分類されると、そのタッチは「スワイプ」にはなり得ない。いずれの閾値も超えられない場合、デフォルトの分類は、「タップ」である。これらの3つの分類を使用する他の実装が選択可能であることは、明らかである。
最後に、図4bのステップ412において、タッチによってユーザ・インタフェース動作が起動され、この特定の動作はこのタッチの分類に基づく。なお、多くの場合、ステップ412の動作は、タッチが完了するまで待機する必要はない。例えば、タッチが「ハード・プレス」として分類されると、そのタッチは「スワイプ」または「タップ」として再分類されることはなく、したがってユーザ・インタフェースは、タッチが完了する前に該当する動作を実行することができる。
この点の一例として、図2bの痕跡204bを考察する。ユーザが圧力閾値を超えるために十分な強さで押すことによって、痕跡204bを開始した場合を考える。次に、この痕跡204bが「ハード・プレス」として分類される(図4aのステップ408)。一実施形態では、起動されるユーザ動作(図4bのステップ412)は、「ドラッグ・アンド・ドロップ」である。この痕跡が分類される(ステップ408)と直ちに痕跡204bの開始点に位置する画面アイコンが「掴まれて」、痕跡204bの経路に沿って動かされ、痕跡204bが終了すると定置される。
図5は、前の例とともに使用できる改良変更を示す。前例は、すべて、タッチ圧力を監視する。図5の方法は、圧力値の変化の時間割合も監視する。この方法は、タッチ・センサ画面102から「データポイント」を受け取るステップ500で始まる(データポイントは前の方法から逸脱するものではない。データポイントは、画面102とユーザ・インタフェースとの間の関係を説明する別の方法に過ぎない)。図4aおよび4bの拡張タッチと同じく、図5の方法は、タッチが続く限り続くループで始まる。ステップ500において、画面102は、周期的にタッチ位置を報告する。
ステップ502において、圧力値を少なくともいくつかのデータポイントと関連付ける。このステップは、図3aのステップ306および図4aのステップ402と同様である。
ステップ504は、この方法の新しいところである。圧力の変化速度を一連の受け取ったデータポイントに関連付ける。一般に、プロセッサ102は、ステップ502の関連付けられた圧力をデータポイント(ステップ500から)のタイムスタンプにマッピングすることによって変化速度を計算する。次にこの変化速度をステップ506においてユーザ・インタフェースへの入力として使用する。一例に過ぎないが、ユーザがタッチの圧力を非常に急速に増加した場合にのみ、一定のユーザ・インタフェース動作が起動されることもできる。
任意選択のステップ508は、ユーザに圧力の変化速度を通知する。これは、圧力が閾値を超えたことをユーザに通知する(図3bのステップ312c)ことと類似しているが、実際のところ、変化速度の通知は、軽い圧力と強い圧力との間の転換を示す指示より価値が低いと思われる。
最後の具体的な例は、本説明を完了するのに十分である。図6は、上述した機能に基づくユーザ・インタフェース方法を示す。この方法は、前述した方法のうちの一部で実行されるように、拡張されたタッチを分析する。処理ループは、タッチ・センサ画面102からデータポイントを受け取るステップ600で始まる。ステップ602で圧力値をデータポイントに関係付ける。これらの2つのステップは、図3aのステップ300と306、図4aの400と402、および図5のステップ500と502とまったく同じである。
次にステップ604でデータポイント情報を記憶されているジェスチャ・プロファイルと比較する。例えば、各データポイント(または、より可能性の高い、代表的なデータポイント)の圧力および位置を記憶されているジェスチャ・プロファイル中の同様なデータポイントと比較する。
記憶されているジェスチャ・プロファイルは、例えば、ユーザにタッチ・センサ画面102の上に自分の名前を数回署名させることによって作成することができる。ユーザの署名を特徴付けるプロファイルは、場所と圧力の情報の両方を使用して作成する。一実施形態では、署名同士を比較し、最も安定している部分のみプロファイル中に表現する。プロファイルは、このユーザが自分の名前を署名するときに位置決め情報および圧力情報をどの程度変更するかを正確に示す非常に詳しい閾値を含むことができる。図5の技法は、位置および圧力値の情報とともに圧力の変化速度を記憶することによって記憶ジェスチャ・プロファイルにも適用することができる。
ステップ606において、比較のそれぞれが閾値以内である場合(または比較のうち所定の割合が閾値以内である場合)、一連のデータポイントは、記憶されているジェスチャ・プロファイルと一致したと見なされる。署名の例を続ける。ユーザに自分の名前を署名するように求めることができる。ユーザの署名は、ステップ600〜606において受け取られ、分析されたタッチである。ユーザの現在の署名が記憶されているジェスチャ・プロファイルに一致した場合、ユーザは本人であることを認証され、管理されている情報を利用することができる。図6の方法は、したがって、標準的な文字入力機構より、はるかに危険にさらされにくく、標準署名に基づく(すなわち、純粋に場所に基づく)セキュリティ機構より相当優れたレベルのパスワード・セキュリティを提供する。
図6の方法は、ユーザによって作成されたジェスチャを認識・検証するために利用することができる。この方法は、例えば、手書き文字認識プログラムの信頼性を改善することができる。
前述の例は、実行される実際の動作はユーザ・インタフェースの設計者によって選択され、圧力値は個人用電子装置100のユーザからユーザ・インタフェースに送られる単なる信号であることを示している。
上記の方法は良好に機能するが、これらは、すべて、ユーザがタッチ・センサ画面102と相互作用する状況の調査に基づいて改良変更することができる。典型的なユーザは、タッチ中にタッチの特徴をしばしば意図せずして変更することが分かっている。ユーザは、例えば、加える圧力の大きさをわずかに変えることがある。または、ユーザは、指を回転させて画面102に接触している指の「柔らかい」部分(例えば、指の腹)が「より硬い」部分(例えば、指の実際の先端)に変わったり、またはその反対の変化を示したりすることがある。画面102は、圧力および接触されている面積の変化値を報告することよりユーザの変化を反映する。しかしながら、これらの意図しない変化は、ユーザ・インタフェースの観点からは重要ではなく、これらの変化を厳格に追跡することは、ユーザにとって曖昧かつ不確実なインタフェース体験を作り出す。これらの意図しない変化を平滑化することによってタッチ入力を「安定化する」ことがより良い。
図7は、まさにこれを行う方法を示している。図7の方法は、図3aのステップ306の改良変更と見ることができる。すなわち、特定の圧力値をタッチに関連付ける方法の改良変更である。
図7の処理ループは、タッチが時間的に延びることを強調するステップ700で始まる(図4の例と同様に、処理ループは、タッチ・センサ画面102によって報告される圧力値がゼロに下がるまで続く)。
ステップ702において、タッチ・センサ画面102は、データポイントを送ることによってその瞬間的状態を報告する。図3のステップ306bを参照して上述したように、一部の実施形態ではデータポイントは、振幅値(タッチの圧力にある程度比例する)およびサイズ(タッチを記録するために十分な圧力を受け取った画面102の面積にある程度比例する)を含む。サイズは、タッチの面積(場合によってタッチを記録した画面102上の点の個数で表現される)またはその領域に関連する線の寸法(例えば、タッチされた領域の幅または直径)とすることができる(前述したように、データポイントは、一般にタッチ位置情報も含むが、その情報は現在の考察に関係しない)。
ステップ704は、一連のデータポイントの値を相互に比較する。一般的なタッチは、ユーザの指(またはスタイラス)がタッチ・センサ画面102に初めて触れたときに小さな圧力振幅で始まると考えられる。圧力は、ユーザの意図している値まで急速にランプアップし、次にほぼ一定の値に留まる。この典型的なタッチ・パターンを受け入れるために、連続する値の比較は、値の変化が所定の「安定性」基準を満たすまで続く。一部の実施形態は、これらの比較において振幅とサイズの両方を使用するが、他の実施形態はこれらの値の一方のみ使用する。1つの基準は、一連のデータポイントの振幅値がお互いに等しいこと、またはそれらの相違がわずかな大きさであることとすることができる。別の基準は、これらの振幅が、タッチの開始から立ち上がり、下がり始めることとすることができる。サイズの値も同様な基準を使用して比較することができる。
いずれにせよ、一連のデータポイント中の変動が安定性基準を満たした後、ステップ706において現在のデータポイントを「ベースライン」データポイントと見なす。
ステップ706において設定したベースラインに依拠し、このタッチに関連付けられている圧力を後続のデータポイント中にベースライン・データポイントの関数として、場合によって現在のデータポイントの値も使用して、設定する(ステップ708)。一実施形態では、例えば、関連圧力は、現在のデータポイントの振幅をベースラインの寸法の平方根で除することによって計算する。他の計算も可能である。
ベースラインのこの使用は、現在報告されている振幅および現在報告されているサイズの関数として関連圧力を計算するより簡単な方法と比較した場合、タッチ・インタフェースについてより一貫した「感覚」をユーザに与える。
(ステップ710は、図7の一般的な改良変更に対する任意選択の改良変更を提供する。所定の基準が満たされた場合、タッチ中にベースラインをリセットすることができる。例えば、現在のデータポイント中のサイズが前に設定されているベースラインのサイズより小さい場合、ベースライン・サイズを現在のサイズにリセットする。)
図7の技法は、インタフェースを「安定化」するために上記の例のいずれにも適用することができることに留意すべきである。すなわち、図7は、図4のステップ402、図5のステップ502、および図6のステップ602を改良変更するために使用することができる。
本発明の原理を適用できる多数の可能な実施形態を考慮して、本出願において添付図面を参照して記述した実施形態は説明のみを意図していること、および本発明の範囲を限定するものとしてそれらを解するべきではないことを認識するべきである。例えば、本発明の種々様々な利用が種々のユーザ・インタフェースについて種々の状況において考えられる。したがって、本出願において記述された発明は、すべてのかかる実施形態が以下の請求項およびその均等物の範囲内に属するであろうことを予期する。

Claims (10)

  1. 個人用電子装置(100)のタッチ・センサ画面(102)上のタッチを受け取るステップ(300)であって、タッチを受け取るステップは、前記タッチに関連付けられている一連のデータポイントを受け取る(700,702)ステップを含み、前記一連のデータポイントの各データポイントは、それぞれの振幅とそれぞれのサイズとを有する、前記ステップと、
    前記個人用電子装置が、前記一連のデータポイントのうちの第1のデータポイントの値と後続のデータポイントの値との間の差が所定基準を満たすまで、前記一連のデータポイントのデータポイントの値を相互に比較するステップ(704)と、
    前記所定基準が満たされると判定されることに応じて、前記第1のデータポイントの値と等しいものとしてベースライン・データポイントの値を規定するステップ(706)と、
    前記個人用電子装置が、前記タッチの関連付けられている圧力を前記ベースライン・データポイントの振幅と前記ベースライン・データポイントのサイズとのうちの少なくとも一方の関数として計算する圧力計算ステップ(708)と、
    関連付けられている前記圧力を非ゼロの閾値と比較するステップ(308)と、
    関連付けられている前記圧力が前記非ゼロの閾値未満である場合、第1のユーザ・インタフェース動作を実行する(310)ステップと
    関連付けられている前記圧力が前記非ゼロの閾値未満でない場合、第1のユーザ・インタフェース動作とは異なる第2のユーザ・インタフェース動作を実行する(312)ステップと、
    を含む、方法。
  2. 前記所定基準は、比較される連続するデータポイントの振幅間の差が閾値未満であるときに満たされる、請求項1に記載の方法。
  3. 前記所定基準は、比較される連続するデータポイントのサイズ間の差が閾値未満であるときに満たされる、請求項1に記載の方法。
  4. 前記所定基準は、現在のデータポイントの振幅が前のデータポイントの振幅未満であるときに満たされる、請求項1に記載の方法。
  5. 前記所定基準は、現在のデータポイントのサイズが前のデータポイントのサイズ未満であるときに満たされる、請求項1に記載の方法。
  6. 前記圧力計算ステップは、前記ベースライン・データポイントの振幅と、比較される前記一連のデータポイントのうちの現在のデータポイントの振幅とのうちの一方を、前記ベースライン・データポイントのサイズの平方根で除するステップを含む、請求項に記載の方法。
  7. 前記圧力計算ステップは、前記ベースライン・データポイントの振幅を、前記ベースライン・データポイントのサイズの平方根と比較される前記一連のデータポイントのうちの現在のデータポイントのサイズの平方根とのうちの一方で除するステップを含む、請求項に記載の方法。
  8. 前記所定基準は、第1の所定基準であり、前記方法は、
    記ベースライン・データポイントが規定された後、前記一連のデータポイントの現在のデータポイントとその後続のデータポイントとの値を比較するとき
    第2の所定基準が満たされると判定されることに応じて、現在のデータポイント値に等しいものとして前記ベースライン・データポイントの値を再規定するステップ
    を含む請求項1に記載の方法。
  9. 個人用電子装置(100)であって、
    タッチ・センサ画面(102)と、
    前記タッチ・センサ画面(102)に接続されて動作するプロセッサ(106)と、を備え、該プロセッサ(106)は、
    タッチ・センサ画面(102)上のタッチを受け取るステップ(300)であって、タッチを受け取るステップは、前記タッチに関連付けられている一連のデータポイントを受け取る(700,702)ステップを含み、前記一連のデータポイントの各データポイントは、それぞれの振幅とそれぞれのサイズとを有する、前記ステップと、
    前記一連のデータポイントのうちの第1のデータポイントの値と後続のデータポイントの値との間の差が所定基準を満たすまで、前記一連のデータポイントのデータポイントの値を相互に比較するステップ(704)と、
    前記所定基準が満たされると判定されることに応じて、前記第1のデータポイントの値と等しいものとしてベースライン・データポイントの値を規定するステップ(706)と、
    前記タッチの関連付けられている圧力を前記ベースライン・データポイントの振幅と前記ベースライン・データポイントのサイズとのうちの少なくとも一方の関数として計算する圧力計算ステップ(708)と、
    関連付けられている前記圧力を非ゼロの閾値と比較するステップ(308)と、
    関連付けられている前記圧力が前記非ゼロの閾値未満である場合、第1のユーザ・インタフェース動作を実行する(310)ステップと
    関連付けられている前記圧力が前記非ゼロの閾値未満でない場合、第1のユーザ・インタフェース動作とは異なる第2のユーザ・インタフェース動作を実行する(312)ステップと
    含む、個人用電子装置(100)。
  10. 携帯電話機、個人用通信装置、パーソナル・コンピュータ、タブレット・コンピュータ、キオスク、デジタル署名およびゲーム機器からなる群から選択される、請求項9に記載の個人用電子装置。
JP2014528448A 2011-09-12 2012-08-21 タッチ・センサ・ディスプレイ画面による差圧の利用 Active JP5864755B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/230,224 US8976128B2 (en) 2011-09-12 2011-09-12 Using pressure differences with a touch-sensitive display screen
US13/230,224 2011-09-12
PCT/US2012/051713 WO2013039654A1 (en) 2011-09-12 2012-08-21 Using pressure differences with a touch-sensitive display screen

Publications (2)

Publication Number Publication Date
JP2014527675A JP2014527675A (ja) 2014-10-16
JP5864755B2 true JP5864755B2 (ja) 2016-02-17

Family

ID=47829393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014528448A Active JP5864755B2 (ja) 2011-09-12 2012-08-21 タッチ・センサ・ディスプレイ画面による差圧の利用

Country Status (6)

Country Link
US (1) US8976128B2 (ja)
EP (1) EP2756368A4 (ja)
JP (1) JP5864755B2 (ja)
KR (1) KR101555795B1 (ja)
CN (1) CN103797442B (ja)
WO (1) WO2013039654A1 (ja)

Families Citing this family (156)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9018030B2 (en) 2008-03-20 2015-04-28 Symbol Technologies, Inc. Transparent force sensor and method of fabrication
US8988191B2 (en) 2009-08-27 2015-03-24 Symbol Technologies, Inc. Systems and methods for pressure-based authentication of an input on a touch screen
US8963874B2 (en) 2010-07-31 2015-02-24 Symbol Technologies, Inc. Touch screen rendering system and method of operation thereof
US8971924B2 (en) 2011-05-23 2015-03-03 Apple Inc. Identifying and locating users on a mobile network
US10715380B2 (en) 2011-05-23 2020-07-14 Apple Inc. Setting a reminder that is triggered by a target user device
US8587542B2 (en) 2011-06-01 2013-11-19 Motorola Mobility Llc Using pressure differences with a touch-sensitive display screen
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US8719277B2 (en) * 2011-08-08 2014-05-06 Google Inc. Sentimental information associated with an object within a media
US9069460B2 (en) 2011-09-12 2015-06-30 Google Technology Holdings LLC Using pressure differences with a touch-sensitive display screen
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US20130141338A1 (en) * 2011-12-02 2013-06-06 Motorola Solutions, Inc. Method and device for contact and percolation hybrid mode transparent force sensor
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
AU2013259613B2 (en) 2012-05-09 2016-07-21 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
EP3264252B1 (en) 2012-05-09 2019-11-27 Apple Inc. Device, method, and graphical user interface for performing an operation in accordance with a selected mode of operation
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169846A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying additional information in response to a user contact
US10235014B2 (en) 2012-05-09 2019-03-19 Apple Inc. Music user interface
KR101806350B1 (ko) 2012-05-09 2017-12-07 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
US9459781B2 (en) 2012-05-09 2016-10-04 Apple Inc. Context-specific user interfaces for displaying animated sequences
CN109298789B (zh) 2012-05-09 2021-12-31 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
EP2847659B1 (en) 2012-05-09 2019-09-04 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
US9619036B2 (en) * 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
WO2013180454A1 (en) * 2012-05-29 2013-12-05 Samsung Electronics Co., Ltd. Method for displaying item in terminal and terminal using the same
US9261961B2 (en) 2012-06-07 2016-02-16 Nook Digital, Llc Accessibility aids for users of electronic devices
US9459160B2 (en) 2012-06-13 2016-10-04 Microsoft Technology Licensing, Llc Input device sensor configuration
US9684382B2 (en) 2012-06-13 2017-06-20 Microsoft Technology Licensing, Llc Input device configuration having capacitive and pressure sensors
US9658746B2 (en) 2012-07-20 2017-05-23 Nook Digital, Llc Accessible reading mode techniques for electronic devices
US20140157167A1 (en) * 2012-12-05 2014-06-05 Huawei Technologies Co., Ltd. Method and Device for Controlling Icon
US8963865B2 (en) 2012-12-14 2015-02-24 Barnesandnoble.Com Llc Touch sensitive device with concentration mode
US9134892B2 (en) 2012-12-14 2015-09-15 Barnes & Noble College Booksellers, Llc Drag-based content selection technique for touch screen UI
US9134893B2 (en) 2012-12-14 2015-09-15 Barnes & Noble College Booksellers, Llc Block-based content selecting technique for touch screen UI
US9134903B2 (en) 2012-12-14 2015-09-15 Barnes & Noble College Booksellers, Llc Content selecting technique for touch screen UI
US9001064B2 (en) 2012-12-14 2015-04-07 Barnesandnoble.Com Llc Touch sensitive device with pinch-based archive and restore functionality
US9030430B2 (en) 2012-12-14 2015-05-12 Barnesandnoble.Com Llc Multi-touch navigation mode
US9477382B2 (en) 2012-12-14 2016-10-25 Barnes & Noble College Booksellers, Inc. Multi-page content selection technique
US9448719B2 (en) 2012-12-14 2016-09-20 Barnes & Noble College Booksellers, Llc Touch sensitive device with pinch-based expand/collapse function
WO2014105274A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for navigating user interface hierarchies
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
CN107831991B (zh) 2012-12-29 2020-11-27 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
WO2014105276A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for transitioning between touch input to display output relationships
AU2013368441B2 (en) 2012-12-29 2016-04-14 Apple Inc. Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
US9836154B2 (en) 2013-01-24 2017-12-05 Nook Digital, Llc Selective touch scan area and reporting techniques
US9971495B2 (en) 2013-01-28 2018-05-15 Nook Digital, Llc Context based gesture delineation for user interaction in eyes-free mode
US8989773B2 (en) 2013-01-29 2015-03-24 Apple Inc. Sharing location information among devices
US10578499B2 (en) 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
US9189084B2 (en) 2013-03-11 2015-11-17 Barnes & Noble College Booksellers, Llc Stylus-based user data storage and access
US9261985B2 (en) 2013-03-11 2016-02-16 Barnes & Noble College Booksellers, Llc Stylus-based touch-sensitive area for UI control of computing device
US9946365B2 (en) 2013-03-11 2018-04-17 Barnes & Noble College Booksellers, Llc Stylus-based pressure-sensitive area for UI control of computing device
US9626008B2 (en) 2013-03-11 2017-04-18 Barnes & Noble College Booksellers, Llc Stylus-based remote wipe of lost device
US9367161B2 (en) 2013-03-11 2016-06-14 Barnes & Noble College Booksellers, Llc Touch sensitive device with stylus-based grab and paste functionality
US9600053B2 (en) 2013-03-11 2017-03-21 Barnes & Noble College Booksellers, Llc Stylus control feature for locking/unlocking touch sensitive devices
US9766723B2 (en) 2013-03-11 2017-09-19 Barnes & Noble College Booksellers, Llc Stylus sensitive device with hover over stylus control functionality
US9632594B2 (en) 2013-03-11 2017-04-25 Barnes & Noble College Booksellers, Llc Stylus sensitive device with stylus idle functionality
US9448643B2 (en) 2013-03-11 2016-09-20 Barnes & Noble College Booksellers, Llc Stylus sensitive device with stylus angle detection functionality
US9760187B2 (en) 2013-03-11 2017-09-12 Barnes & Noble College Booksellers, Llc Stylus with active color display/select for touch sensitive devices
US9785259B2 (en) 2013-03-11 2017-10-10 Barnes & Noble College Booksellers, Llc Stylus-based slider functionality for UI control of computing device
US9891722B2 (en) 2013-03-11 2018-02-13 Barnes & Noble College Booksellers, Llc Stylus-based notification system
WO2014143776A2 (en) 2013-03-15 2014-09-18 Bodhi Technology Ventures Llc Providing remote interactions with host device using a wireless device
CN104063164B (zh) * 2013-03-22 2018-02-27 腾讯科技(深圳)有限公司 屏幕控制的方法及装置
US9146672B2 (en) 2013-04-10 2015-09-29 Barnes & Noble College Booksellers, Llc Multidirectional swipe key for virtual keyboard
US8966617B2 (en) 2013-04-23 2015-02-24 Barnesandnoble.Com Llc Image pattern unlocking techniques for touch sensitive devices
US8963869B2 (en) 2013-04-23 2015-02-24 Barnesandnoble.Com Llc Color pattern unlocking techniques for touch sensitive devices
US9152321B2 (en) 2013-05-03 2015-10-06 Barnes & Noble College Booksellers, Llc Touch sensitive UI technique for duplicating content
US9612740B2 (en) 2013-05-06 2017-04-04 Barnes & Noble College Booksellers, Inc. Swipe-based delete confirmation for touch sensitive devices
US10019153B2 (en) 2013-06-07 2018-07-10 Nook Digital, Llc Scrapbooking digital content in computing devices using a swiping gesture
US9400601B2 (en) 2013-06-21 2016-07-26 Nook Digital, Llc Techniques for paging through digital content on touch screen devices
US9244603B2 (en) 2013-06-21 2016-01-26 Nook Digital, Llc Drag and drop techniques for discovering related content
US9423932B2 (en) 2013-06-21 2016-08-23 Nook Digital, Llc Zoom view mode for digital content including multiple regions of interest
JP2015011401A (ja) 2013-06-26 2015-01-19 富士通株式会社 電子機器及び制御プログラム
US10001817B2 (en) 2013-09-03 2018-06-19 Apple Inc. User interface for manipulating user interface objects with magnetic properties
US9575948B2 (en) 2013-10-04 2017-02-21 Nook Digital, Llc Annotation of digital content via selective fixed formatting
JP2015088147A (ja) * 2013-11-03 2015-05-07 西日本旅客鉄道株式会社 タッチパネル入力装置及び入力処理プログラム
FR3015714B1 (fr) * 2013-12-19 2017-04-21 Dav Interface homme machine permettant de commander au moins deux fonctions d'un vehicule automobile
US10620796B2 (en) 2013-12-19 2020-04-14 Barnes & Noble College Booksellers, Llc Visual thumbnail scrubber for digital content
FR3015713A1 (fr) * 2013-12-19 2015-06-26 Dav Interface homme machine permettant de commander au moins deux fonctions d'un vehicule automobile
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
US9792272B2 (en) 2013-12-31 2017-10-17 Barnes & Noble College Booksellers, Llc Deleting annotations of paginated digital content
US9588979B2 (en) 2013-12-31 2017-03-07 Barnes & Noble College Booksellers, Llc UI techniques for navigating a file manager of an electronic computing device
US9367208B2 (en) 2013-12-31 2016-06-14 Barnes & Noble College Booksellers, Llc Move icon to reveal textual information
US9367212B2 (en) 2013-12-31 2016-06-14 Barnes & Noble College Booksellers, Llc User interface for navigating paginated digital content
US10534528B2 (en) 2013-12-31 2020-01-14 Barnes & Noble College Booksellers, Llc Digital flash card techniques
US10331777B2 (en) 2013-12-31 2019-06-25 Barnes & Noble College Booksellers, Llc Merging annotations of paginated digital content
US10915698B2 (en) 2013-12-31 2021-02-09 Barnes & Noble College Booksellers, Llc Multi-purpose tool for interacting with paginated digital content
US9424241B2 (en) 2013-12-31 2016-08-23 Barnes & Noble College Booksellers, Llc Annotation mode including multiple note types for paginated digital content
KR20160114158A (ko) * 2014-01-28 2016-10-04 후아웨이 디바이스 컴퍼니 리미티드 단말 장치를 처리하는 방법 및 단말 장치
CN111399646A (zh) * 2014-03-21 2020-07-10 意美森公司 用于基于力的对象操纵和触觉检测的系统、方法和计算机可读介质
US9542027B2 (en) 2014-04-16 2017-01-10 At&T Intellectual Property I, L.P. Pressure-based input method for user devices
US11343335B2 (en) 2014-05-29 2022-05-24 Apple Inc. Message processing by subscriber app prior to message forwarding
US10043185B2 (en) 2014-05-29 2018-08-07 Apple Inc. User interface for payments
US9990129B2 (en) 2014-05-30 2018-06-05 Apple Inc. Continuity of application across devices
US9967401B2 (en) 2014-05-30 2018-05-08 Apple Inc. User interface for phone call routing among devices
US9185062B1 (en) 2014-05-31 2015-11-10 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US10382378B2 (en) 2014-05-31 2019-08-13 Apple Inc. Live location sharing
EP3584671B1 (en) 2014-06-27 2022-04-27 Apple Inc. Manipulation of calendar application in device with touch screen
WO2016014601A2 (en) 2014-07-21 2016-01-28 Apple Inc. Remote user interface
WO2016022496A2 (en) 2014-08-06 2016-02-11 Apple Inc. Reduced-size user interfaces for battery management
US10339293B2 (en) 2014-08-15 2019-07-02 Apple Inc. Authenticated device used to unlock another device
EP3189409B1 (en) 2014-09-02 2020-01-29 Apple Inc. Reduced-size interfaces for managing alerts
WO2016036541A2 (en) 2014-09-02 2016-03-10 Apple Inc. Phone user interface
US10466883B2 (en) 2015-03-02 2019-11-05 Apple Inc. Screenreader user interface
US10055121B2 (en) 2015-03-07 2018-08-21 Apple Inc. Activity based thresholds and feedbacks
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10416799B2 (en) 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
US10222889B2 (en) 2015-06-03 2019-03-05 Microsoft Technology Licensing, Llc Force inputs and cursor control
US9916075B2 (en) 2015-06-05 2018-03-13 Apple Inc. Formatting content for a reduced-size user interface
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) * 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10003938B2 (en) 2015-08-14 2018-06-19 Apple Inc. Easy location sharing
US10620803B2 (en) * 2015-09-29 2020-04-14 Microsoft Technology Licensing, Llc Selecting at least one graphical user interface item
US10061385B2 (en) 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
WO2017183652A1 (ja) * 2016-04-19 2017-10-26 日立マクセル株式会社 携帯端末装置
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
JP6907368B2 (ja) * 2016-06-01 2021-07-21 キヤノン株式会社 電子機器及びその制御方法
US20170357411A1 (en) 2016-06-11 2017-12-14 Apple Inc. User interface for initiating a telephone call
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
JP6643200B2 (ja) * 2016-07-19 2020-02-12 株式会社Soken 操作判別装置
KR102616430B1 (ko) * 2016-08-12 2023-12-26 삼성전자주식회사 터치의 압력 입력에 기반하여 선택 영역을 결정하는 전자 장치 및 방법
US20180121000A1 (en) * 2016-10-27 2018-05-03 Microsoft Technology Licensing, Llc Using pressure to direct user input
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
US10223519B2 (en) * 2017-06-05 2019-03-05 Hai Tao Beat assisted temporal pressure password
KR102353919B1 (ko) * 2017-06-09 2022-01-21 삼성전자주식회사 터치의 압력에 응답하여 지정된 동작을 수행하는 전자 장치 및 방법
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
KR20220027295A (ko) 2019-05-31 2022-03-07 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications
US11481094B2 (en) 2019-06-01 2022-10-25 Apple Inc. User interfaces for location-related communications
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880411A (en) 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US5475401A (en) 1993-04-29 1995-12-12 International Business Machines, Inc. Architecture and method for communication of writing and erasing signals from a remote stylus to a digitizing display
US6445384B1 (en) 1996-10-01 2002-09-03 Greensteel, Inc. Electronic whiteboard system eraser
US6509847B1 (en) 1999-09-01 2003-01-21 Gateway, Inc. Pressure password input device and method
US6504530B1 (en) 1999-09-07 2003-01-07 Elo Touchsystems, Inc. Touch confirming touchscreen utilizing plural touch sensors
US6414674B1 (en) 1999-12-17 2002-07-02 International Business Machines Corporation Data processing system and method including an I/O touch pad having dynamically alterable location indicators
US20020015064A1 (en) 2000-08-07 2002-02-07 Robotham John S. Gesture-based user interface to multi-level and multi-modal sets of bit-maps
US6801191B2 (en) * 2001-04-27 2004-10-05 Matsushita Electric Industrial Co., Ltd. Input device and inputting method with input device
US7254775B2 (en) 2001-10-03 2007-08-07 3M Innovative Properties Company Touch panel system and method for distinguishing multiple touch inputs
US8164573B2 (en) 2003-11-26 2012-04-24 Immersion Corporation Systems and methods for adaptive interpretation of input from a touch-sensitive input device
US6856259B1 (en) * 2004-02-06 2005-02-15 Elo Touchsystems, Inc. Touch sensor system to detect multiple touch events
US7777730B2 (en) 2004-05-05 2010-08-17 Koninklijke Philips Electronics N.V. Browsing media items
WO2006013521A2 (en) * 2004-08-02 2006-02-09 Koninklijke Philips Electronics N.V. Touch screen slider for setting floating point value
CN100585546C (zh) * 2004-08-02 2010-01-27 皇家飞利浦电子股份有限公司 数据处理系统、压力敏感触摸屏以及便于用户与数据处理系统相互作用的方法
US7847789B2 (en) * 2004-11-23 2010-12-07 Microsoft Corporation Reducing accidental touch-sensitive device activation
US7629966B2 (en) 2004-12-21 2009-12-08 Microsoft Corporation Hard tap
US7683889B2 (en) 2004-12-21 2010-03-23 Microsoft Corporation Pressure based selection
US7337085B2 (en) 2005-06-10 2008-02-26 Qsi Corporation Sensor baseline compensation in a force-based touch device
US8049731B2 (en) * 2005-07-29 2011-11-01 Interlink Electronics, Inc. System and method for implementing a control function via a sensor having a touch sensitive control input surface
JP2008033739A (ja) 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
US8130203B2 (en) 2007-01-03 2012-03-06 Apple Inc. Multi-touch input discrimination
US8665225B2 (en) 2007-01-07 2014-03-04 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
WO2008103018A1 (en) * 2007-02-23 2008-08-28 Tp-I Co., Ltd Virtual keyboard input system using pointing apparatus in digial device
US8059101B2 (en) 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
US20090046110A1 (en) * 2007-08-16 2009-02-19 Motorola, Inc. Method and apparatus for manipulating a displayed image
KR101424259B1 (ko) 2007-08-22 2014-07-31 삼성전자주식회사 휴대단말에서 입력 피드백 제공 방법 및 장치
US20090237374A1 (en) 2008-03-20 2009-09-24 Motorola, Inc. Transparent pressure sensor and method for using
US7924143B2 (en) 2008-06-09 2011-04-12 Research In Motion Limited System and method for providing tactile feedback to a user of an electronic device
KR101495559B1 (ko) 2008-07-21 2015-02-27 삼성전자주식회사 사용자 명령 입력 방법 및 그 장치
JP5100556B2 (ja) 2008-07-30 2012-12-19 キヤノン株式会社 情報処理方法及び装置
US20100039393A1 (en) * 2008-08-15 2010-02-18 At&T Intellectual Property I, L.P. Text entry on touch screen cellphones by different pressure levels
US20100058251A1 (en) 2008-08-27 2010-03-04 Apple Inc. Omnidirectional gesture detection
JP4600548B2 (ja) 2008-08-27 2010-12-15 ソニー株式会社 再生装置、再生方法、およびプログラム
JP5332519B2 (ja) * 2008-11-05 2013-11-06 日本電気株式会社 タッチパネル、操作検出方法および電子機器
JP4746085B2 (ja) * 2008-12-25 2011-08-10 京セラ株式会社 入力装置
JP5157969B2 (ja) 2009-03-09 2013-03-06 ソニー株式会社 情報処理装置、閾値設定方法及びそのプログラム
JP4723660B2 (ja) 2009-04-24 2011-07-13 京セラ株式会社 入力装置
TWI402737B (zh) 2009-05-04 2013-07-21 Mitac Int Corp Multi - touch device and its method
US9430078B2 (en) 2009-08-12 2016-08-30 Google Technology Holdings LLC Printed force sensor within a touch screen
US8988191B2 (en) * 2009-08-27 2015-03-24 Symbol Technologies, Inc. Systems and methods for pressure-based authentication of an input on a touch screen
US8179376B2 (en) 2009-08-27 2012-05-15 Research In Motion Limited Touch-sensitive display with capacitive and resistive touch sensors and method of control
US8390583B2 (en) 2009-08-31 2013-03-05 Qualcomm Incorporated Pressure sensitive user interface for mobile devices
KR101675178B1 (ko) 2009-09-02 2016-11-10 아마존 테크놀로지스, 인크. 터치-스크린 사용자 인터페이스
JP2011053974A (ja) * 2009-09-02 2011-03-17 Sony Corp 操作制御装置、操作制御方法およびコンピュータプログラム
JP2011053971A (ja) 2009-09-02 2011-03-17 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5278259B2 (ja) * 2009-09-07 2013-09-04 ソニー株式会社 入力装置、入力方法及びプログラム
JPWO2011077525A1 (ja) * 2009-12-24 2013-05-02 富士通株式会社 電子機器、操作検出方法及び操作検出プログラム
US20110283212A1 (en) 2010-05-13 2011-11-17 Nokia Corporation User Interface
US8587542B2 (en) 2011-06-01 2013-11-19 Motorola Mobility Llc Using pressure differences with a touch-sensitive display screen
US8508494B2 (en) * 2011-06-01 2013-08-13 Motorola Mobility Llc Using pressure differences with a touch-sensitive display screen
US9069460B2 (en) 2011-09-12 2015-06-30 Google Technology Holdings LLC Using pressure differences with a touch-sensitive display screen

Also Published As

Publication number Publication date
EP2756368A4 (en) 2015-05-13
US20130063364A1 (en) 2013-03-14
US8976128B2 (en) 2015-03-10
CN103797442B (zh) 2016-10-05
KR20140057599A (ko) 2014-05-13
EP2756368A1 (en) 2014-07-23
CN103797442A (zh) 2014-05-14
JP2014527675A (ja) 2014-10-16
WO2013039654A1 (en) 2013-03-21
KR101555795B1 (ko) 2015-09-24

Similar Documents

Publication Publication Date Title
JP5864755B2 (ja) タッチ・センサ・ディスプレイ画面による差圧の利用
JP5862782B2 (ja) タッチ・センサ・ディスプレイ画面による差圧の利用
KR101835188B1 (ko) 터치 감지 디스플레이 스크린에서의 압력차 이용
US8587542B2 (en) Using pressure differences with a touch-sensitive display screen
JP6429981B2 (ja) ユーザ入力の意図の分類
US20140298275A1 (en) Method for recognizing input gestures

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151224

R150 Certificate of patent or registration of utility model

Ref document number: 5864755

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250