JP6586489B2 - ショートカットタッチジェスチャに触覚フィードバックを提供する方法及びコンピュータ可読媒体 - Google Patents

ショートカットタッチジェスチャに触覚フィードバックを提供する方法及びコンピュータ可読媒体 Download PDF

Info

Publication number
JP6586489B2
JP6586489B2 JP2018122140A JP2018122140A JP6586489B2 JP 6586489 B2 JP6586489 B2 JP 6586489B2 JP 2018122140 A JP2018122140 A JP 2018122140A JP 2018122140 A JP2018122140 A JP 2018122140A JP 6586489 B2 JP6586489 B2 JP 6586489B2
Authority
JP
Japan
Prior art keywords
touch gesture
shortcut
gesture
touch
comparing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018122140A
Other languages
English (en)
Other versions
JP2018170034A5 (ja
JP2018170034A (ja
Inventor
オリバー,ヒューズ−アントワーヌ
トゥー ティモーネ,エルヴェ
トゥー ティモーネ,エルヴェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2018170034A publication Critical patent/JP2018170034A/ja
Publication of JP2018170034A5 publication Critical patent/JP2018170034A5/ja
Application granted granted Critical
Publication of JP6586489B2 publication Critical patent/JP6586489B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Description

本発明は、ショートカットタッチジェスチャに触覚フィードバックを提供する方法及び装置に関する。
電話等の一部の携帯装置においては、タッチスクリーンを利用して電話番号をダイヤルすることができる。ユーザは、電話アプリケーションを立ち上げた後に、画面に表示されたキーパッドの番号キーにタッチして、その操作を電話番号の入力完了まで繰り返し、その番号での通話を開始するために画面上のボタンにタッチしなければならないこともある。ユーザは、キーパッドに表示されたスピードダイヤルボタン等のショートカットキーにタッチして、そのスピードダイヤルボタンに関連付けられた電話番号のダイヤルを開始することができる場合もある。しかしながら、キーパッドが小さい場合や、ユーザが画面から目をそらしている場合には、誤った電話番号をダイヤルしてしまうこともある。
本発明の一態様によって、ユーザインタフェース、触覚装置、及びコントローラを備える電子装置が提供される。前記ユーザインタフェースは、その表面へのタッチジェスチャを受信するように構成されてもよい。前記タッチジェスチャは、前記表面における連続的な動きを含む。前記触覚装置は、前記ユーザインタフェースにおける触覚効果を生成するように構成されてもよい。前記コントローラは、前記ユーザインタフェース及び前記触覚装置と信号通信可能であってもよい。前記コントローラは、前記タッチジェスチャが前記ユーザインタフェースにおいて受信されている間に、前記タッチジェスチャの認識レベル(recognition level)を決定するように構成されてもよく、また、前記タッチジェスチャが前記ユーザインタフェースにおいて受信されている間に、前記触覚装置に触覚効果を生成させてもよい。前記触覚効果は、前記認識レベルに基づくものであってもよい。前記コントローラは、前記認識レベルが閾値を超えた場合に前記タッチジェスチャに関連付けられたアプリケーション動作を引き起こすように構成されてもよい。
本発明の一態様によれば、前記コントローラは、前記タッチジェスチャが受信されている間に前記表面におけるポイント軌跡と前記アプリケーション動作に関連付けられた記号とを比較することにより、前記タッチジェスチャの前記認識レベルを決定するように構成されてもよい。
本発明の一態様によれば、前記ポイント軌跡と前記記号との比較は、前記表面において受信される前記タッチジェスチャの方向を検出することを含んでもよい。
本発明の一態様によれば、前記ポイント軌跡と前記記号との比較は、前記表面において受信される前記タッチジェスチャの速度を決定することを含んでもよい。
本発明の一態様によれば、前記記号は、線、チェックマーク、十字、円、三角、及び四角から成る群より選択されてもよい。
本発明の一態様によれば、前記タッチジェスチャに関連付けられた前記アプリケーション動作は、前記記号に関連付けられた通信動作を含んでも良い。
本発明の一態様によれば、前記コントローラは、前記タッチジェスチャの前記認識レベ
ルが低い場合には前記触覚装置に摩擦係数をシミュレートする触覚効果を生成させてもよく、前記タッチジェスチャの前記認識レベルが高い場合には触感(texture)をシミュレートする第2の触覚効果を生成させてもよい。
本発明の一態様によれば、前記コントローラは、前記触覚装置に、前記タッチジェスチャが受信されている第1の時間間隔の間に前記第1の触覚効果を生成させ、前記タッチジェスチャが受信されている第2の時間間隔の間に前記第2の触覚効果を生成させてもよい。
本発明の一態様によれば、前記第1の触覚効果は、前記第2の触覚効果よりも高い周波数(frequency)と前記第2の触覚効果よりも小さい振幅(magnitude)の少なくとも一方を有する。
本発明の上記及び上記以外の目的、特徴、及び性質、並びに、関連する構成要素の動作方法及び機能、そして製造における各部分の組み合わせと経済性については、添付図面を参照しつつ以下の詳細な説明と添付の特許請求の範囲を検討することによってさらに明らかになる。これらはいずれも本明細書の一部を構成する。本明細書において、同様の参照符号は種々の図における対応部分を表している。添付図面は例示及び説明のためのものであり、本発明の発明特定事項の定義として用いることは意図されていない。本明細書及び特許請求の範囲における用法によれば、単数形の“a”、“an”及び“the”には複数のものへの言及が含まれる。ただし、文脈によって別に解すべきことが明白な場合はこの限りでない。
本発明の一実施形態に従った装置を模式的に示す。 図1の装置のための既定のショートカットタッチジェスチャを表す記号を模式的に示す。 図1の装置に適用されるタッチジェスチャを模式的に示す。 本発明の一実施形態に従った方法を模式的に示す。
図1は、タッチジェスチャに基づいてアプリケーション動作を開始させることができる電子装置100の実施形態を示す。ユーザは、例えば、メニューボタンにタッチしてアプリケーションのメニューにアクセスし、続いて当該メニューの選択肢にタッチして動作を開始させることを選択し、続いてコマンドボタンにタッチすることにより選択した動作を開始させる場合のように、複数回のタッチ入力によってアプリケーション動作を開始させずとも、タッチジェスチャをショートカットとして利用し、当該動作を開始させることができる。ユーザのタッチジェスチャは、一又は複数の既定のショートカットタッチジェスチャに対応付けられても良い。このショーカットタッチジェスチャは、装置の製造者又はユーザによって設定される。
また、ユーザによるタッチジェスチャが一又は複数の既定のショートカットジェスチャに類似しているか否かを当該ユーザに知らせるために触覚効果が生成されてもよい。既定のショートカットタッチジェスチャの各々は、アプリケーション動作に対応付けられ、そのショートカットジェスチャを用いることによって、当該関連付けられた動作が開始されてもよい。ユーザのタッチジェスチャが既定のショートカットタッチジェスチャと一致しつつあるときには、触覚効果は、例えばユーザのタッチジェスチャと既定のショートカットタッチジェスチャとの類似性が増大していることを反映するように変化してもよい。ユーザは、その触覚効果を通じて、自らのタッチジェスチャが装置100によって認識されるか否かを判断することができる。
一実施形態において、装置100は、図1に示されているように、タッチスクリーン110又はこれ以外のタッチ式インタフェース、触覚装置120、及びコントローラ130を備える。タッチスクリーン110は、画面におけるタッチ入力及び当該タッチ入力が受信された一又は複数の画面上の位置を検出するように構成され得る。タッチスクリーンは、指、スタイラス、又はこれらの任意の組み合わせからのタッチ入力を検出するように構成され得る。一実施形態において、タッチ入力は、タッチジェスチャであってもよい。タッチジェスチャは、例えば、スクリーン110上での一又は複数の連続的な動きを作るタッチ入力であってもよい。タッチジェスチャがスクリーン110における複数の連続する動きを含む場合には、当該複数の動きは、順次作られてもよく、同時に作られても良い。同時の動きは、例えば、スクリーン110上を動く2本の指によって作られ得る。一実施形態において、装置100は、タッチスクリーンに代えて又はタッチスクリーンに加えて、タッチパッドを備えてもよい。
装置100の触覚装置120は、タッチスクリーン110の表面又は装置100の前記以外の任意の位置において触覚効果を生成するように構成され得る。以下で説明するように、触覚装置120によって生成される触覚効果は、スクリーン110において受信されるタッチジェスチャに基づくものであってもよい。触覚装置120は、圧電材料、モータ、音声コイル、静電装置、ソレノイド、電気活性ポリマー(EAP)、超音波エネルギーアクチュエータ、偏心質量体アクチュエータ、又はこれらの任意の組み合わせを備えてもよい。
装置100のコントローラ130は、タッチスクリーン110及び触覚装置に動作可能に接続され、触覚装置に触覚効果を生成させるように構成されてもよい。触覚装置120によって生成される触覚効果は、コントローラ130がユーザのタッチジェスチャを認識するレベルに基づくものであってもよく、ユーザのタッチジェスチャが一又は複数の既定のショートカットタッチジェスチャとどの程度類似しているかに基づくものであってもよい。一実施形態において、この認識レベルは、コントローラ130内に実装されるジェスチャ認識エンジン131によって決定されてもよい。より多くのタッチジェスチャが受信されるにつれて、タッチジェスチャは既定のショートカットタッチジェスチャとの一致度が増すので、認識レベルが増加することがある。タッチジェスチャが、全体として又は部分的に一又は複数の既定のタッチジェスチャと一致する場合には、認識レベルは、当該タッチジェスチャと最も類似する既定のタッチジェスチャに基づくものとされてもよい。認識レベルの変化は、コントローラ130によって、スクリーン110に生成される触覚効果を触覚装置をして変化させるために用いられる。触覚効果の変化によって、ユーザに対して、自らのジェスチャが装置100の既定のショートカットタッチジェスチャの一つと一致しつつあることを示すことができる。コントローラ130は、マイクロプロセッサ、ロジック回路、又はこれら以外の任意のコンピュータ回路を含むことができる。
既定のショートカットタッチジェスチャは記号で表されてもよい。図2Aにおいては、装置100のタッチスクリーン110の例示的な図の中に、幾つかの記号が示されている。図2Aは、各々が既定のショートカットタッチジェスチャーを表すことができる複数の記号を示す。この記号には、十字、四角形、円、三角形、水平線、及びチェックマークが含まれてもよい。これ以外の記号には、垂直線、斜線、5角形、長方形、又は前記以外の任意の幾何学図形(例えば、多項式によって生成される図形)又は形状が含まれる。一実施形態において、ユーザは、自らの指をスクリーン110上で移動させることにより新しい記号を形成することができる。以下でさらに詳細に説明するが、既定のショートカットタッチジェスチャは、記号が生成される方向、速度、又は寸法によって表され得る。例えば、時計方向に形成された円形の記号は、反時計方向に形成された円形の記号とは異なる既定のショートカットタッチジェスチャを表すことができる。ある速度で形成された円形
の記号は、例えばより速い速度で形成された円形の記号とは異なる既定のショートカットタッチジェスチャを表すことができる。一実施形態において、既定のショートカットタッチジェスチャは、タッチジェスチャをしたときの加圧量に関連付けられてもよい。例えば、あるレベルの圧力を加えて線状の記号を形成することは、より高い圧力を加えて線状の記号を形成する場合と異なるショートカットを表すことができる。
ユーザは、スクリーン110上でその表現記号を形成することにより既定のショートカットを用いることができる。図2Bは、記号140がスクリーン110上で形成された例を示す。以下でさらに詳細に説明するが、既定のショートカットタッチジェスチャが関連付けられているアプリケーション動作には、所望の受け手に電話をかけることが含まれる。既定のショートカットタッチジェスチャは、キーパッドを必要とせずに、電話をかけることを可能にする。図2Bの図示において、記号140で表されている既定のショートカットタッチジェスチャを使用することにより、その既定のショートカットタッチジェスチャに関連付けられているErinに電話がかけられる。
アプリケーション動作を開始させるためのより多くのダイアルが図3に示されている。図3は、タッチジェスチャに基づいてアプリケーション動作を開始させる方法200を示す。この方法は、既定のショートカットタッチジェスチャに関連付けられたアプリケーション動作を開始させるためのより速くより便利な方法を提供する。ユーザが既定のショートカットタッチジェスチャと認識されるタッチジェスチャを使用する場合、当該既定のショートカットタッチジェスチャに関連付けられたアプリケーション動作が開始される。
工程210において、ユーザのタッチジェスチャは、電子装置のユーザインタフェースの表面で受信される。このユーザインタフェースは、装置100のタッチスクリーン110であってもよく、それ以外の任意のユーザインタフェースであってもよい。タッチジェスチャには、指、スタイラス、又はユーザインタフェースの表面における他の物体の一又は複数の連続的な動きが含まれる。この動きは、表面がにおいてタッチされた又はタッチされているポイント軌跡(loci of points)として表すことができる。例えば、図2Bに示されているタッチジェスチャは、円形の動きを示すポイント軌跡として表すことができる。当該ポイント軌跡は、コントローラ130のジェスチャ認識エンジン131又はそれ以外の任意のコンピュータ装置によって追跡されてもよい。ジェスチャ認識エンジン131は、例えば、スクリーン110がタッチされている現在位置についてスクリーン110をサンプリングし、ポイント軌跡をその現在位置を用いて更新することができる。タッチジェスチャの動きの高い精度が必要とされる場合には高サンプリングレート(例えば100Hz)を選択し、一方、電力消費を削減するためには低サンプリングレート(例えば10Hz)を選択してもよい。タッチジェスチャの動きの方向や速度を追跡するために、タイムスタンプが各ポイントに関連付けられてもよい。
タッチジェスチャには、指、スタイラス、又はユーザインタフェースの表面における他の物体との間の接触が一次的に中止されることを含んでもよい。例えば、図2Aに示されているように十字の記号で表されるタッチジェスチャを用いる場合の動きを作るには、ユーザは、当該記号の第1の線と第2の線を形成する間に一次的に指を持ち上げることが必要になる。工程210は、接触の中止がタッチジェスチャの一部なのか、タッチジェスチャが完了したことを示すのかを区別することができる。一実施形態において、工程210は、接触の中止がどの程度長く続くか決定することを含んでもよい。接触の中止が閾値、例えば数百ミリ秒又は1秒以下しか続かなければ、その接触の中止は、タッチジェスチャの一部として決定され得る。
タッチジェスチャが工程210において受信されると、そのタッチジェスチャの認識レベルが工程220で決定され得る。認識レベルは、ジェスチャ認識エンジン131又はそ
れ以外の任意のコンピュータ装置によって決定されてもよい。一実施形態において、認識レベルは、ユーザから受信されたタッチジェスチャと一又は複数の既定のショートカットタッチジェスチャとの一致レベルを示すことができる。当該一又は複数の既定のショートカットタッチジェスチャが一又は複数の記号で表される場合には、認識レベルの決定は、タッチジェスチャと一又は複数の記号との比較に基づくものであってもよい。より具体的には、当該一又は複数の記号は、タッチジェスチャの動きを表すポイント軌跡と比較されてもよい。例えば、図2Aに図示されている記号の各々が、図2Bに図示されたタッチジェスチャによって形成されるポイント軌跡と比較されてもよい。認識レベルは、タッチジェスチャがどの程度多く受信されたかに基づいて変化するものであってもよい。図2Bに図示されたタッチジェスチャに関しては、ジェスチャの動きの第1の部分におけるポイント軌跡が4分の1円弧を形成し、一方、当該ジェスチャの動きの後段の部分におけるポイント軌跡が半円弧を形成していてもよい。認識レベルは、Erinに電話をかける既定のショートカットタッチジェスチャを表す円形の記号とポイント軌跡が一致するレベルが高くなることを反映するために、ジェスチャの動きの間中、増加してもよい。
他の例においては、タッチジェスチャの動きは、線を形成するポイント軌跡を作ることができる。ここで、認識レベルは、Jennyに電話をかける既定のショートカットタッチジェスチャを表す記号とポイント軌跡との類似度が増加するので、ジェスチャの動きの間中、増加してもよい。しかしながら、例えば垂直方向へ移動することによってタッチジェスチャの動きを継続すると、この動きをしている間のポイント軌跡はJennyとの通話に関連する記号との類似度が低いので、認識レベルは下がる。しかしながら、その動きが、Steveとの通話用の既定のショートカットタッチジェスチャを表す正方形を作るように継続すれば、認識レベルは低い状態から増加することができる。正方形を作ったのちもさらに動きが継続すると、認識レベルは再び低下する。認識レベルは、ポイント軌跡が正方形の記号からどれだけそれたかに比例して減少してもよいし、このポイント軌跡はもはや図2Aに示されたどのシンボルとも一致することはないため、認識レベルは直接最低レベルにまで減少してもよい。
工程220における認識レベルの決定は、一実施形態において、受信されるタッチジェスチャの動きの方向、動きの速度、タッチジェスチャの大きさ、又はこれらの任意の組み合わせに基づくものであってもよい。例えば、既定のショートカットタッチジェスチャが時計回り方向の円記号によって表される場合、反時計回りのタッチジェスチャは最大認識レベルへは到達することができない。他の例において、既定のショートカットタッチジェスチャが水平方向の線の後に垂直方法の線を形成する十字形の記号で表される場合には、水平方向に動く前に垂直方向に動くタッチジェスチャは、最大認識レベルに到達することができない。
認識レベルの決定が動きの速度に基づく場合には、速度が一又は複数の範囲内に入っているか否かが調べられる。認識レベルの決定がタッチジェスチャの大きさに基づく場合には、大きさが一又は複数の範囲内に入っているか否かが調べられる。タッチジェスチャの大きさは、そのタッチジェスチャの動きのポイント軌跡に占められる座標の範囲に基づくものであってもよい。
一実施形態において、ショートカットタッチジェスチャは、最大経過時間内に作られなければならない。例えば、認識レベルの決定は、時間ウィンドウ内に受信されたポイント軌跡のみに基づいて決定されてもよい。時間ウィンドウから外れて検出された動きは、別個の既定ショートカットタッチジェスチャの一部として考慮されてもよい。ショートカットタッチジェスチャを作ることができる経過時間を制限することにより、誤認識の可能性を減少させることができる。例えば、ユーザの手がタッチスクリーン110に偶然触れてしまった場合でも、その触れている間の手の動きによって作られるポイント軌跡は、かな
り後の時間にユーザが意図して作るタッチジェスチャを認識するために用いられるポイント軌跡から除外されることになる。このように、もしユーザが軽く触れる動きが不完全で認識できない円形で、最大経過時間内に追加的な入力がない場合には、タッチジェスチャを認識するための試みはリセットされ、その軽く触れる動きによるポイント軌跡は、将来におけるタッチジェスチャを認識する際には考慮されない。
認識レベルが決定されると、当該認識レベルに基づいて工程230において触覚効果が生成される。触覚効果には、振動、熱効果、静電効果、又はこれら以外の任意の触覚効果が含まれる。一実施形態においては、認識レベルが更新されるにつれて、触覚効果も更新されてもよい。例えば、当初、タッチジェスチャの受信開始直後で認識レベルが最小値の場合には、触覚効果は適用されない。認識レベルが増加するにつれて、触覚効果は、ユーザインタフェースの本来の摩擦とは別に、ユーザインタフェースにおける摩擦をシミュレートするように構成されてもよい。すなわち、触覚効果は、ユーザインタフェース表面における一又は複数の摩擦係数をシミュレートすることができる。認識レベルが増加し続ける場合、触覚効果は、ユーザインタフェースの本来の触感とは異なる触感のシミュレーションに移行する。認識レベルが減少する場合、例えばタッチジェスチャの動きのポイント軌跡が既定ショートカットタッチジェスチャの全てからそれる場合には、触覚効果は例えば静電効果や熱効果へ移行することができる。
一実施形態において、摩擦や触感のシミュレーションは、触覚効果の周波数(frequency)や振幅(magnitude)を変化させることに基づいてもよい。例えば、摩擦係数をシミュレートする触覚効果は、触感をシミュレートする触覚効果よりも高い周波数と小さい振幅を有する。より具体的な例において、摩擦係数は、500Hzの周波数と最大振幅の20%の振幅の振動触覚効果でシミュレートされ得る。触感は、100Hzの周波数と最大振幅でシミュレートされ得る。両方の触覚効果に関して、振動は、例えば4秒間の間をおいて、一気に加えられる。
タッチジェスチャが受信されている間に、又は、タッチジェスチャが受信された後に、工程240での決定のように認識レベルが閾値を超えている場合、工程250において、当該タッチジェスチャに関連付けられたアプリケーション動作が開始される。認識レベルが閾値を超えない場合には、タッチジェスチャは、既定のショートカットタッチジェスチャと十分に一致しないほど不完全であるか、又は、既定のショートカットタッチジェスチャの全てから外れすぎている可能性がある。この場合、方法200は、工程210において、タッチジェスチャの受信を継続することができる。既定のショートカットタッチジェスチャが記号によって表される場合、例示的な閾値は、ユーザのタッチジェスチャが記号の一つだけと一致し、その一致度が十分に高い(例えば、タッチジェスチャが記号の少なくとも90%以上を形成しなければならない)ことを要求するものである。一部の場合、閾値レベルは、ユーザによってカスタマイズされてもよい。
開始されるアプリケーション動作には、オペレーティングシステムによってアプリケーションを起動すること、音声命令モードをアクティベートすること、所定のタイトル、アーティストもしくはアルバムの楽曲を再生すること、又は、図2Aから図2Bに示されているように、既定のショートカットタッチジェスチャに関連付けられている受信者との電話接続を開始することが含まれる。電話接続を開始することには、受信者の電話番号にダイヤルすること、宛先フィールドに受信者の電話番号を有するテキストメッセージインタフェースを提示すること、宛先フィールドに受信者のコンタクト情報を有する電子メールもしくはソーシャルメディアインタフェースを提示することが含まれる。
上述した実施形態において、装置100は、携帯電話、リモコン装置、タブレット、デスクトップもしくはラップトップコンピュータ、電子ディスプレイ、又はこれら以外の任
意の電子装置であってもよい。コントローラ130は、マイクロプロセッサ、ロジック回路、又はこれら以外の任意のコンピュータ回路を含むことができる。方法200の工程は、任意の順序で実行することができ、又は、同時に実行することもできる。
現時点で最も実用的であり好ましいと考えられる態様に基づいて、本発明を例示のために詳細に説明したが、このような詳細な説明は例示のみを目的としたものである。本発明は開示された実施形態に限定されるものではなく、むしろ添付された特許請求の範囲の趣旨及び範囲に入る変形や均等な配置も本発明に含められることが意図されている。例えば、本発明においては、あらゆる実施形態の一又は複数の特徴を他の実施形態の一又は複数の特徴と可能な限り結合することができる。

Claims (10)

  1. ショートカットジェスチャに基づいて動作を開始する方法であって、
    電子装置のユーザインタフェースの表面において、前記表面における連続的な動きを含むタッチジェスチャを受信する受信工程と、
    前記受信工程中に前記タッチジェスチャの認識レベルを決定する決定工程であって、前記認識レベルは、前記タッチジェスチャとアプリケーション動作に関連付けられた規定のショートカットタッチジェスチャとの間の類似性に基づく、決定工程と、
    前記受信工程中に、前記認識レベルに基づいて前記ユーザインタフェースにおいて触覚効果を生成する生成工程と、
    前記認識レベルが閾値を超えた場合に、前記タッチジェスチャが受信されている間に前記タッチジェスチャに関連付けられたアプリケーション動作を開始する開始工程と、
    を備える方法。
  2. 前記タッチジェスチャの前記認識レベルを決定する前記決定工程が、前記タッチジェスチャが受信されている間に前記表面におけるポイント軌跡を前記アプリケーション動作に関連付けられた記号と比較する工程を含むことを特徴とする請求項1に記載の方法。
  3. 前記ポイント軌跡と前記記号とを比較する工程が、前記表面において前記タッチジェスチャが受信されるタッチジェスチャ方向を検出する工程と、当該タッチジェスチャ方向を規定のショートカットジェスチャ方向と比較する工程とを備えることを特徴とする請求項2に記載の方法。
  4. 前記ポイント軌跡と前記記号とを比較する工程が、前記表面において前記タッチジェスチャが受信されるタッチジェスチャ速度を検出する工程と、当該タッチジェスチャ速度を規定のショートカットジェスチャ速度と比較する工程とを備えることを特徴とする請求項2に記載の方法。
  5. 前記ポイント軌跡と前記記号とを比較する工程が、前記表面において前記タッチジェスチャが受信されるタッチジェスチャ圧力を検出する工程と、当該タッチジェスチャ圧力を規定のショートカットジェスチャ圧力と比較する工程とを備えることを特徴とする請求項2に記載の方法。
  6. 前記ポイント軌跡と前記記号とを比較する工程が、時間ウィンドウ内に受信されたポイントを比較する工程を備え、前記時間ウィンドウから外れて検出された動きは、前記ポイント軌跡に含まれないことを特徴とする請求項2に記載の方法。
  7. 前記触覚効果は前記タッチジェスチャと前記規定のショートカットタッチジェスチャとの間の類似性が増大していることを反映するように変化することを特徴とする請求項1に記載の方法。
  8. 前記タッチジェスチャが2本の指による同時の動きを反映することを特徴とする請求項1に記載の方法。
  9. 前記規定のショートカットタッチジェスチャは第1の規定のショートカットタッチジェスチャであり、前記タッチジェスチャは前記第1の規定のショートカットタッチジェスチャ及び第2の規定のショートカットタッチジェスチャと一致し、前記方法はさらに、
    前記タッチジェスチャと、前記第1の規定のショートカットタッチジェスチャと前記第2の規定のショートカットタッチジェスチャのうちの一方との間の最も高い一致度にしたがって前記タッチジェスチャの前記認識レベルを決定する工程を備えることを特徴とする請求項1に記載の方法。
  10. 請求項1から9のいずれか1項の方法を実行するための命令を含むコンピュータ可読媒体。
JP2018122140A 2012-06-29 2018-06-27 ショートカットタッチジェスチャに触覚フィードバックを提供する方法及びコンピュータ可読媒体 Expired - Fee Related JP6586489B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/539,230 2012-06-29
US13/539,230 US20140002376A1 (en) 2012-06-29 2012-06-29 Method and apparatus for providing shortcut touch gestures with haptic feedback

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013113655A Division JP6362833B2 (ja) 2012-06-29 2013-05-30 ショートカットタッチジェスチャに触覚フィードバックを提供する方法及び装置

Publications (3)

Publication Number Publication Date
JP2018170034A JP2018170034A (ja) 2018-11-01
JP2018170034A5 JP2018170034A5 (ja) 2019-07-25
JP6586489B2 true JP6586489B2 (ja) 2019-10-02

Family

ID=48747948

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013113655A Expired - Fee Related JP6362833B2 (ja) 2012-06-29 2013-05-30 ショートカットタッチジェスチャに触覚フィードバックを提供する方法及び装置
JP2018122140A Expired - Fee Related JP6586489B2 (ja) 2012-06-29 2018-06-27 ショートカットタッチジェスチャに触覚フィードバックを提供する方法及びコンピュータ可読媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013113655A Expired - Fee Related JP6362833B2 (ja) 2012-06-29 2013-05-30 ショートカットタッチジェスチャに触覚フィードバックを提供する方法及び装置

Country Status (5)

Country Link
US (1) US20140002376A1 (ja)
EP (1) EP2685353B1 (ja)
JP (2) JP6362833B2 (ja)
KR (1) KR20140002563A (ja)
CN (2) CN109240594A (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8578081B1 (en) 2007-07-25 2013-11-05 Robert Louis Fils Docking station for an electronic device
US10353563B2 (en) * 2011-06-08 2019-07-16 Citrix Systems, Inc. Methods and system for locally generated gesture and transition graphics interaction with terminal control services
JP5929698B2 (ja) * 2012-10-17 2016-06-08 ソニー株式会社 通信システムおよびプログラム
US20140160054A1 (en) * 2012-12-06 2014-06-12 Qualcomm Incorporated Anchor-drag touch symbol recognition
CN103034444A (zh) * 2012-12-13 2013-04-10 鸿富锦精密工业(深圳)有限公司 电子装置及其快速发送邮件的方法
US9046926B2 (en) 2012-12-17 2015-06-02 International Business Machines Corporation System and method of dynamically generating a frequency pattern to realize the sense of touch in a computing device
US20140304447A1 (en) * 2013-04-08 2014-10-09 Robert Louis Fils Method, system and apparatus for communicating with an electronic device and a stereo housing
US20140304446A1 (en) * 2013-04-08 2014-10-09 Robert Louis Fils Method,system and apparatus for communicating with an electronic device and stereo housing
US10168766B2 (en) * 2013-04-17 2019-01-01 Nokia Technologies Oy Method and apparatus for a textural representation of a guidance
DE102015201177B4 (de) 2014-01-23 2016-01-28 Honda Motor Co., Ltd. Abgasreinigungssystem für einen Verbrennungsmotor
KR102229699B1 (ko) * 2014-05-22 2021-03-18 삼성전자주식회사 정보 운용 방법 및 전자 장치
CN104023107B (zh) * 2014-06-10 2016-10-05 无锡爱维特信息技术有限公司 一种在数字键盘上实现的手势拨号方法
CN105469377A (zh) * 2014-08-18 2016-04-06 中兴通讯股份有限公司 触控装置及其校准方法
KR102373337B1 (ko) 2014-09-02 2022-03-11 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
JP2018506803A (ja) * 2015-02-25 2018-03-08 イマージョン コーポレーションImmersion Corporation 湾曲ディスプレイとのユーザ相互作用のためのシステム及び方法
CN106155275A (zh) * 2015-03-25 2016-11-23 联想(北京)有限公司 信息处理方法及电子设备
WO2017000230A1 (zh) * 2015-06-30 2017-01-05 马岩 根据手势电话拨号的方法和手机
US10200332B2 (en) 2015-12-14 2019-02-05 Immersion Corporation Delivery of haptics to select recipients of a message
KR101756654B1 (ko) * 2016-03-22 2017-07-12 광주과학기술원 터치스크린에서의 암호 입력 시스템
CN105786394B (zh) * 2016-04-01 2019-04-23 百度在线网络技术(北京)有限公司 自动拨打电话的方法和装置
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK180122B1 (en) 2016-06-12 2020-05-19 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
CN106231113B (zh) * 2016-08-22 2019-07-26 维沃移动通信有限公司 一种拨号方法及移动终端
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
WO2018122891A1 (ja) * 2016-12-26 2018-07-05 三菱電機株式会社 タッチパネル入力装置、タッチジェスチャ判定装置、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラム
US10013081B1 (en) * 2017-04-04 2018-07-03 Google Llc Electronic circuit and method to account for strain gauge variation
US10635255B2 (en) 2017-04-18 2020-04-28 Google Llc Electronic device response to force-sensitive interface
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
CN107479816B (zh) * 2017-07-28 2019-09-24 Oppo广东移动通信有限公司 黑屏手势的识别方法、装置、存储介质及移动终端
CN109189488A (zh) * 2018-08-27 2019-01-11 优视科技新加坡有限公司 一种基于用户行为的快捷操控方法、装置和设备/终端/服务器
EP3650960A1 (fr) * 2018-11-07 2020-05-13 Tissot S.A. Procede de diffusion d'un message par une montre
US20200150765A1 (en) * 2018-11-14 2020-05-14 Immersion Corporation Systems and methods for generating haptic effects based on visual characteristics

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL119955A0 (en) * 1997-01-01 1997-04-15 Advanced Recognition Tech An instruction and/or identification input unit
US6249606B1 (en) * 1998-02-19 2001-06-19 Mindmaker, Inc. Method and system for gesture category recognition and training using a feature vector
US7886236B2 (en) * 2003-03-28 2011-02-08 Microsoft Corporation Dynamic feedback for gestures
US7490041B2 (en) * 2003-07-15 2009-02-10 Nokia Corporation System to allow the selection of alternative letters in handwriting recognition systems
CN101133385B (zh) * 2005-03-04 2014-05-07 苹果公司 手持电子设备、手持设备及其操作方法
US20070230789A1 (en) * 2006-04-03 2007-10-04 Inventec Appliances Corp. Method of controlling an electronic device by handwriting
CH702036B1 (de) * 2006-12-13 2011-04-29 Netstal Ag Maschf Giesserei Verfahren zur Steuerung einer Maschine sowie Steuervorrichtung.
US8098235B2 (en) * 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
US8169414B2 (en) * 2008-07-12 2012-05-01 Lim Seung E Control of electronic games via finger angle using a high dimensional touchpad (HDTP) touch user interface
US20100229129A1 (en) * 2009-03-04 2010-09-09 Microsoft Corporation Creating organizational containers on a graphical user interface
KR101952002B1 (ko) * 2009-03-12 2019-02-25 임머숀 코퍼레이션 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법
US9696803B2 (en) * 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
KR101844366B1 (ko) * 2009-03-27 2018-04-02 삼성전자 주식회사 터치 제스처 인식 장치 및 방법
KR101611302B1 (ko) * 2009-08-10 2016-04-11 엘지전자 주식회사 제스쳐 입력이 가능한 휴대 단말기 및 그 제어방법
US9317116B2 (en) * 2009-09-09 2016-04-19 Immersion Corporation Systems and methods for haptically-enhanced text interfaces
EP2480960B1 (en) * 2009-09-25 2018-11-14 Thomson Licensing Apparatus and method for grid navigation
US8279052B2 (en) * 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
US9621706B2 (en) * 2009-11-18 2017-04-11 Qualcomm Incorporated System and method of haptic communication at a portable computing device
US9465532B2 (en) * 2009-12-18 2016-10-11 Synaptics Incorporated Method and apparatus for operating in pointing and enhanced gesturing modes
JP5635274B2 (ja) * 2010-01-27 2014-12-03 京セラ株式会社 触感呈示装置および触感呈示方法
US9678569B2 (en) * 2010-04-23 2017-06-13 Immersion Corporation Systems and methods for providing haptic effects
US20110283241A1 (en) * 2010-05-14 2011-11-17 Google Inc. Touch Gesture Actions From A Device's Lock Screen
US8635555B2 (en) * 2010-06-08 2014-01-21 Adobe Systems Incorporated Jump, checkmark, and strikethrough gestures
JP5601045B2 (ja) * 2010-06-24 2014-10-08 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
US8094941B1 (en) * 2011-06-13 2012-01-10 Google Inc. Character recognition for overlapping textual user input
CN102354272A (zh) * 2011-09-20 2012-02-15 宇龙计算机通信科技(深圳)有限公司 应用程序的启动方法和终端
US9619038B2 (en) * 2012-01-23 2017-04-11 Blackberry Limited Electronic device and method of displaying a cover image and an application image from a low power condition
US9411423B2 (en) * 2012-02-08 2016-08-09 Immersion Corporation Method and apparatus for haptic flex gesturing

Also Published As

Publication number Publication date
CN103577103B (zh) 2018-11-09
CN109240594A (zh) 2019-01-18
JP6362833B2 (ja) 2018-07-25
EP2685353B1 (en) 2019-11-06
CN103577103A (zh) 2014-02-12
KR20140002563A (ko) 2014-01-08
JP2018170034A (ja) 2018-11-01
JP2014010830A (ja) 2014-01-20
EP2685353A1 (en) 2014-01-15
US20140002376A1 (en) 2014-01-02

Similar Documents

Publication Publication Date Title
JP6586489B2 (ja) ショートカットタッチジェスチャに触覚フィードバックを提供する方法及びコンピュータ可読媒体
US11269575B2 (en) Devices, methods, and graphical user interfaces for wireless pairing with peripheral devices and displaying status information concerning the peripheral devices
KR102357866B1 (ko) 촉각 입력 디바이스 상의 제스처 인식
US11086368B2 (en) Devices and methods for processing and disambiguating touch inputs using intensity thresholds based on prior input intensity
CN105446646B (zh) 基于虚拟键盘的内容输入方法、装置及触控设备
EP3461291B1 (en) Implementation of a biometric enrollment user interface
US20190258850A1 (en) Generating actions based on a user's mood
US20190347001A1 (en) Devices, Methods, and Graphical User Interfaces for Providing a Home Button Replacement
US10228844B2 (en) Mobile terminal
EP2680107B1 (en) Haptic feedback control system
EP2689318B1 (en) Method and apparatus for providing sight independent activity reports responsive to a touch gesture
EP3482345B1 (en) Implementation of biometric authentication with detection and display of an error indication
AU2021203022A1 (en) Multifunction device control of another electronic device
US9524026B2 (en) Portable apparatus, control method and program
KR20150079829A (ko) 제스처에 기반한 대화 처리 방법, 장치, 단말 장치, 프로그램 및 기록 매체
EP2385450A1 (en) Portable electronic device and method of controlling same
JP2010287241A (ja) タッチスクリーンを備えた装置及びそのタッチ認識方法
TW200810501A (en) Electronic apparatus and method for symbol input
KR101250638B1 (ko) 휴대용 전자 디바이스 및 이의 제어 방법
CN105653168B (zh) 电子设备及其控制方法
EP2743816A2 (en) Method and apparatus for scrolling screen of display device
WO2018037738A1 (ja) 情報処理装置、プログラムおよび情報処理システム
KR20230069131A (ko) 사용자 피드백을 통한 지문 감지 가이드
WO2016137900A1 (en) Mechanism for providing user-programmable button
KR101236630B1 (ko) 촉각 피드백을 제공하는 방법 및 전자 디바이스

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180628

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190909

R150 Certificate of patent or registration of utility model

Ref document number: 6586489

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

LAPS Cancellation because of no payment of annual fees