JP6546301B2 - 動的な触覚効果を有するマルチタッチデバイス - Google Patents

Description

本発明の一実施形態は、触覚効果に関する。より詳細には、本発明の一実施形態は、マルチタッチ・タッチスクリーンデバイスにおける触覚効果に関する。

電子装置の製造者は、ユーザにとって豊富なインタフェースを製造しようと努力している。従来の装置は、ユーザにフィードバックを提供するために、視覚及び聴覚キュー(cue)を用いている。いくつかのインタフェース装置において、より一般的には総括して「触覚フィードバック」又は「触覚効果」として知られる、運動感覚フィードバック（作用力及び抵抗力フィードバック等）及び／又は触知フィードバック（振動、触感、及び熱等）もまた、ユーザに提供される。触覚フィードバックは、ユーザインタフェースを強化及び単純化するきっかけを提供し得る。具体的に、振動効果、すなわち振動触知触覚効果は、ユーザに特定のイベントを通知するために、電子装置のユーザへキューを提供するのに有用であり得るか、又は擬態環境若しくは仮想環境内でより大きく感覚を集中させるために、現実的なフィードバックを提供し得る。

また、触覚フィードバックは、携帯電話機、携帯情報端末（Personal Digital Assistant：ＰＤＡ）、携帯ゲーム機等の携帯電子装置、及び様々な他の携帯電子装置に、増大的に組み込まれてきた。例えば、触覚フィードバックを提供するように構成される、より大きな規模のゲームシステムで使用される制御装置（例えば、ジョイスティック等）と同様の方法で振動することが可能な携帯ゲームアプリケーションもある。さらに、携帯電話機及びＰＤＡ等の装置は、振動によりユーザに様々な通知を提供することが可能である。例えば、携帯電話機は、振動によりユーザに着信を通知することができる。同様に、ＰＤＡは、ユーザに予定されている予定事項を通知するか、又はユーザに「やるべきこと」（to do）リスト若しくは予定されている約束事項の注意を喚起することができる。

携帯装置はだんだんと、物理的なボタンからタッチスクリーンオンリー型インタフェースを好むように移行している。この転換は、柔軟性の増大、部品数の低減、及び故障しやすい機械的ボタンへの依存の低減を可能にし、製品設計における最新動向に沿うものである。タッチスクリーン入力デバイスを使用する場合、ボタン押し動作又は他のユーザインタフェース動作に対する機械的確認を触覚効果で擬態することができる。さらに、現在多くのデバイスにはマルチタッチ能力があり、タッチスクリーンが、複数の同時に起こるタッチポイントを認識し、同時に起こるタッチを解釈するためのソフトウェアを含む。

上記に基づき、マルチタッチデバイスにおける触覚効果を生成するためのシステム及び方法が必要とされている。

一実施形態は、触覚効果を生成するためのシステムである。該システムは、タッチスクリーン上の少なくとも２つの実質的に同時に起こるタッチを感知し、それに応答して、動的な触覚効果を生成する。

一実施形態による携帯電話機のブロック図である。 タッチスクリーンのブロック図であり、マルチタッチ接触が生じている２つの接触ポイントを示す。 タッチスクリーン上でのマルチタッチ接触に応答して、図１の電話機によって実行される機能のフロー図である。

一実施形態は、マルチタッチに応答して動的な触覚効果を生成するための触覚フィードバックシステムを備える、タッチスクリーン・マルチタッチデバイスである。

図１は、一実施形態による携帯電話機１０のブロック図である。電話機１０は、タッチスクリーン１１を含み、機械的キー／ボタン１３も含み得る。電話機１０の内部には、電話機１０上で振動を発生させる触覚フィードバックシステムがある。一実施形態では、振動は電話機１０全体で発生する。他の実施形態では、タッチスクリーン１１全体又はタッチスクリーン１１の個別の部分を備える電話機１０の特定の部分が、触覚フィードバックシステムによって、触覚的にイネーブルにされ得る。

触覚フィードバックシステムはプロセッサ１２を備える。プロセッサ１２には、メモリ２０と、振動アクチュエータ１８に結合されているアクチュエータ駆動回路１６とが結合されている。プロセッサ１２は、任意のタイプの汎用プロセッサであり得るか、又は特定用途向け集積回路（Application-Specific Integrated Circuit：ＡＳＩＣ）等の、触覚効果を提供するように特別に設計されたプロセッサであり得る。プロセッサ１２は、電話機１０全体を動作させるプロセッサと同一であってもよいし、又は別個のプロセッサであってもよい。プロセッサ１２は、高レベルパラメータに基づいて、どのような触覚効果を奏するようにさせるか、及び、触覚効果が奏される順番を決定し得る。一般に、特定の触覚効果を定義する高レベルパラメータは、強度、周波数、及び持続時間を含む。また、ストリーミングモータコマンド等の低レベルパラメータも、特定の触覚効果を決定するために使用され得る。触覚効果は、該触覚効果が生成されるときのこれらパラメータのいくらかの変動、又はユーザとの対話に基づくこれらパラメータの変動を含む場合、「動的である」と見なすことができる。

プロセッサ１２は、駆動回路１６に制御信号を出力し、駆動回路１６は、所望の触覚効果をもたらすために必要とされる電流及び電圧をアクチュエータ１８に供給するために使用される電子構成要素及び回路を含む。アクチュエータ１８は、電話機１０上で振動を発生させる触覚装置である。アクチュエータ１８は、電話機１０のユーザに振動触知力を（例えば、電話機１０のハウジングを介して）印加することが可能な、１つ又は複数の力印加機構を含み得る。アクチュエータ１８は、例えば、電磁アクチュエータ、偏心質量体がモータによって動く偏心回転質量体（Eccentric Rotating Mass：ＥＲＭ）アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ（Linear Resonant Actuator：ＬＲＡ）、又は圧電ポリマー、電気活性ポリマー若しくは形状記憶合金等の「スマート材料」であり得る。メモリ装置２０は、ランダムアクセスメモリ（ＲＡＭ）又は読み取り専用メモリ（Read-Only Memory：ＲＯＭ）等の、任意のタイプの記憶装置又はコンピュータ可読媒体であり得る。メモリ２０は、プロセッサ１２によって実行される命令を記憶する。また、メモリ２０は、プロセッサ１２の内部に位置してもよいし、内部メモリ及び外部メモリの任意の組み合わせであってもよい。

タッチスクリーン１１は、タッチ、並びにタッチセンサー面上のタッチの位置及び強さを認識する。タッチに対応するデータは、プロセッサ１２又は電話機１０内の別のプロセッサへ送信され、プロセッサ１２は、そのタッチを解釈し、それに応答して触覚効果を生成する。タッチスクリーン１１は、容量感知、抵抗感知、表面弾性波感知、圧力感知、光学感知等を含む任意の感知技術を用いてタッチを感知することができる。タッチスクリーン１１は、マルチタッチ接触を感知することができ、同時に生じる複数のタッチを区別することが可能である。タッチスクリーン１１はさらに、ユーザが例えばキー、ダイヤル等と相互作用(interact)するために画像を表示することができるか又は画像を最小限だけ有するか若しくは全く有しない、タッチパッドとすることができる。

図１の実施形態は携帯電話機１０であるが、他の実施形態はマルチタッチに対応可能である１つ又は複数のタッチスクリーンを備える、あらゆるタイプのデバイスであり得る。実質的に同時に起こる、すなわち併発する複数のタッチを、単一のタッチスクリーン上で生じさせてもよいし、又は２つの異なるタッチスクリーン上で同時に生じさせてもよい。タッチはユーザの指、スタイラス、又は他の任意のオブジェクトからであり得る。

図２は、タッチスクリーン１１のブロック図であり、マルチタッチ接触が生じている２つの接触ポイント３１、３２を示す。一実施形態では、プロセッサ１２は、接触ポイント３１及び３２に関連付けられる複数の考えられる要因に基づいて、動的な触覚効果を生成する。例えば、触覚効果は、少なくとも一部は、接触ポイント間の距離、接触ポイントの移動方向、接触ポイントの個数（例えば、２つ以上の接触ポイントがあるか否か）、接触ポイントのスクリーン上の位置、接触ポイントによって開始される機能、各接触ポイントに印加される圧力量等に基づき得る。

図３は、タッチスクリーン１１上でのマルチタッチ接触に応答して、図１の電話機１０によって実行される機能のフロー図である。一実施形態では、図３の機能は、メモリに格納されているソフトウェアによって実施され、プロセッサ１２によって実行される。他の実施形態では、この機能は、ハードウェア、又はハードウェア及びソフトウェアの任意の組合せによって実行されてもよい。

１０２において、マルチタッチ接触を感知し、各接触ポイントの位置及び接触ポイントの個数を求める。

１０４において、動的な触覚効果を、接触ポイントの位置及び個数に基づいて、また上記で開示した要因（例えば、ポイント間の距離、ポイントの移動方向等）等の任意の数の他の要因に基づいて計算する。触覚効果は、強度、振動、周波数等のような１つ又は複数のパラメータが経時的に変動する点で動的である。触覚効果の動的性質は、静的な触覚効果とは対照的にユーザにさらなる情報を提供する。２つ以上の実質的に同時に起こるタッチがマルチタッチデバイス上で感知されると、さらなる情報を提供する必要性が高まる。一実施形態では、複数の動的な触覚効果を接触ポイント毎に１つずつ計算してもよく、そのため各接触オブジェクト（例えば、各指）は、電話機１０全体又はタッチスクリーン１１に適用される単一の動的な触覚効果とは異なる触覚効果を経験することができる。

１０６において、１０４において計算された動的な触覚効果を出力して回路１６及びアクチュエータ１８を駆動し、効果が振動又は他の触覚的感覚の形態で実施されるようにする。

動作時に、実施形態は、マルチタッチ接触に応答して動的な触覚効果を生成し、電話機１０の機能及び有用性を高める。例えば、マルチタッチ接触が２本以上の指である場合、ユーザは、それらの指をタッチスクリーン１１にタッチさせるか又はタッチスクリーン１１にごく接近させながらそれらの指の間を離して表示されている画像に対してズームインすることができる場合がある。それに応答して、強度又は周波数を増大させて仮想ウインドウ又はオブジェクトのサイズ及び／若しくは容量を大きくするか又は増大させる感覚を伝える動的な触覚効果を生成することができる。それらの指を揃えるように戻す動作によって、仮想ウインドウ又はオブジェクトのサイズ及び／若しくは容量を小さくするか又は減少させる感覚を伝えるために、増大と等しい大きさの、反対に減少する強度又は周波数が生じ得る。

別の例では、接触、テキスト、又はメニュー項目の表示リストの中を移動するように２本以上の指の間を離して、それに応答して、指のポイント間の距離に基づいて増大する強度又は周波数の動的な触覚効果が生成され得る。ユーザの指の間をさらに離すと、速度が上昇するか又は接触若しくはメニュー項目のリストの中での移動が増大する感覚を伝えるために、触覚効果の強度又は周波数はより大きくなる。それらの指を揃えるように戻す動作によって、速度が下降するか又は接触若しくはメニュー項目のリストの中での移動が減少する感覚を伝えるために、増大と等しい大きさの、反対に減少する強度又は周波数が生じる。

さらに、２本以上の指は、タッチスクリーン１１上で仮想のつまみを回すのに等しい回転ジェスチャを行うことができる。それに応答して、仮想のつまみを回して戻り止め(detent)及び障壁（barrier）等の機械的なつまみを回す際に感じられる感覚を擬態するように、動的な触覚効果を生成することができる。回転つまみに通常は関連付けられないがスクロール速度制御、リストの終わり／リストのトップ(end-of-list/top-of-list)の通知等のような情報を提供する、他の動的な効果を生成することもできる。

別の実施形態では、２本以上の指がバウンディングボックス（選択エリア）を設定することができ、このバウンディングボックスは、ユーザがバウンディングボックス内に含まれる仮想の把持された項目すべてと相互作用することを可能にする。バウンディングボックスをスライドすると、動的な触覚効果は、スライドする感触を生成する場合があり、この効果はドラッグの速度又はボックスがドラッグされる距離に応じて変動し得る。さらに、２本の指間の距離の増大又は減少によって項目をサイズ変更する対話は、同様の、強度若しくは周波数を増大又は減少させる動的な触覚効果、或いはオブジェクトのサイズを相対的に増大又は減少させる動作を伝える一貫した強度及び周波数の触覚効果を生成することができる。さらに、時計回り又は反時計回りに指を回転させることによって把持された項目を回転させる対話は、同様の、触覚的強度若しくは周波数を増大又は減少させる動的な触覚的イベント、或いはオブジェクトを最初の開始位置又は仮想の設定から離れるように回転させる動作を伝える一貫した強度及び周波数の触覚効果を生成することができる。さらに、それらの指をスクリーンを横切って動かすことによって項目をドラッグする対話は、同様の、触覚的強度若しくは周波数を増大又は減少させる動的な触覚的イベント、或いはオブジェクトを最初の開始位置又は仮想の設定から離れるように物理的にドラッグする動作を伝える一貫した強度及び周波数の触覚効果を生成することができる。

別の実施形態では、ユーザが仮想オブジェクトと相互作用するためにタッチスクリーンを操作しながら片足を用いてペダルボタン／スイッチを制御することができるように、電話機１０は足踏みペダル又はスイッチを備える。一実施形態では、カーソルポイントを固定するのにマウスボタンのクリックを用いることができることと同じように足踏みペダルのボタン動作を用いることができる。この場合、ユーザの手は、タッチスクリーンを自由に操作し、起動、ナビゲーション、サイズ変更、変形、移動、メニュー、メニュー項目、ウインドウ、仮想の形状若しくは仮想オブジェクトの結合等の機能を実行する。これらの対話はそれぞれ、現実の機械的ボタン、スイッチがないか、又は実際の物理的オブジェクトが表されていない場合、これらの対話をより良く伝えるために動的な触覚効果を同時に始動させることができる。

別の実施形態では、複数のユーザがマルチタッチ接触をタッチスクリーン１１に適用することができ、各ユーザは、これらのユーザが時間における任意の所与の時点で行う特定のアプリケーション又は対話に基づいた異なる触覚効果を必要とし得る。さらに、１人のマルチハンドユーザは、各手が任意の所与の時点で行う特定の動作に基づいた、手毎に異なる触覚効果を必要とし得る。例えば、一方の手は、仮想オブジェクトを掴むか又は摘むのに２本の指を用いている場合があり、他方の手は、仮想オブジェクトを操作するか、又は別個のメニューリストをズームイン／アウト、ひいてはスクロールするのに２本の指を用いている。いずれの動作も、同一面で同時に起こる場合があり、各手において生成される異なる動的な触覚効果から恩恵を受ける。

開示されるように、実施形態は、タッチスクリーン上でのマルチタッチ対話に応答して動的な触覚効果を生成する。結果として、ユーザが、タッチスクリーン・マルチタッチデバイスの機能をより容易に且つより効果的に利用することができる。

いくつかの実施形態が、本明細書において具体的に説明及び／又は記載されている。しかしながら、本発明の精神及び意図する範囲から逸脱することなく、改良及び変形が上記の教示により包含され、添付の特許請求の範囲内にあることが理解されるであろう。

Claims (20)

1. プロセッサによって実行されるように構成された１つ又は複数のプログラムを記憶する非一時的なコンピュータ可読媒体であって、該１つ又は複数のプログラムは、
   タッチスクリーン上の少なくとも２つの実質的に併発するタッチ、及び持続時間にわたる該２つの併発するタッチの互いに対する移動を感知することのための指令と、
   前記感知することに応答し、前記移動に基づいて前記持続時間の間に動的な触覚効果を生成することのための指令と、
   を含み、
   前記感知することは、前記併発するタッチが１つ又は複数の接触ポイントで圧力を印加するとの判断を含む、非一時的なコンピュータ可読媒体。
2. 前記感知することは、前記併発するタッチが異なる指からのタッチであるとの判断を含む、請求項１に記載の非一時的なコンピュータ可読媒体。
3. 前記感知することは、前記タッチの位置を求めることを含む、請求項１に記載の非一時的なコンピュータ可読媒体。
4. 前記感知することは、前記タッチスクリーン上のタッチの個数を求めることを含む、請求項１に記載の非一時的なコンピュータ可読媒体。
5. 前記動的な触覚効果は、少なくとも強度パラメータ又は周波数パラメータを含む、請求項１に記載の非一時的なコンピュータ可読媒体。
6. 前記動的な触覚効果は、前記移動に基づく少なくとも前記強度パラメータ又は前記周波数パラメータの前記持続時間にわたる変動を含む振動である、請求項５に記載の非一時的なコンピュータ可読媒体。
7. 前記移動は、前記２つの併発するタッチの間の距離の変化を含み、少なくとも前記強度パラメータ又は前記周波数パラメータの前記持続時間にわたる前記変動は、前記距離の変化が大きくなるときに、前記強度パラメータ又は前記周波数パラメータを増加させることを含む、請求項６に記載の非一時的なコンピュータ可読媒体。
8. 前記動的な触覚効果は、少なくとも１つのアクチュエータによって生成される、請求項１に記載の非一時的なコンピュータ可読媒体。
9. 前記感知することは、第１の指及び第２の指が動かされているとする第１の判断を含み、前記動的な触覚効果は前記パラメータを変更することを含む、請求項５に記載の非一時的なコンピュータ可読媒体。
10. 前記感知することは、第１の指及び第２の指がバウンディングボックスを形成し、該ボックスはドラッグされているとする判断を含み、前記動的な触覚効果は、ドラッギングを生成することを含む、請求項１に記載の非一時的なコンピュータ可読媒体。
11. 触覚効果を生成する方法であって、
    タッチスクリーン上の少なくとも２つの実質的に併発するタッチ、及び持続時間にわたる該２つの併発するタッチの互いに対する移動を感知することと、
    前記感知することに応答し、前記移動に基づいて前記持続時間の間に動的な触覚効果を生成することと、
    を含み、
    前記感知することは前記併発するタッチが１つ又は複数の接触ポイントで圧力を印加するとの判断を含む、方法。
12. 前記感知することは、前記併発するタッチが異なる指からのタッチであるとの判断を含む、請求項１１に記載の方法。
13. 前記感知することは、前記タッチの位置を求めることを含む、請求項１１に記載の方法。
14. 前記感知することは、前記タッチスクリーン上のタッチの個数を求めることを含む、請求項１１に記載の方法。
15. 前記動的な触覚効果は、少なくとも強度パラメータ又は周波数パラメータを含む、請求項１１に記載の方法。
16. マルチタッチデバイスであって、
    タッチスクリーンと、
    プロセッサと、
    前記プロセッサによって実行される１つ又は複数のプログラムを記憶するメモリと、
    を備え、
    前記１つ又は複数のプログラムは、
    前記タッチスクリーン上の少なくとも２つの実質的に併発するタッチ、及び持続時間にわたる該２つの併発するタッチの互いに対する移動を感知することのための指令と、
    前記感知することに応答し、前記移動に基づいて前記持続時間の間に動的な触覚効果を生成することのための指令と、
    を含み、
    前記感知することは、前記併発するタッチが１つ又は複数の接触ポイントで圧力を印加するとの判断を含む、マルチタッチデバイス。
17. 前記感知することは、前記併発するタッチが異なる指からのタッチであるとの判断を含む、請求項１６に記載のマルチタッチデバイス。
18. 前記感知することは、前記タッチの位置を求めることを含む、請求項１６に記載のマルチタッチデバイス。
19. 前記感知することは、前記タッチスクリーン上のタッチの個数を求めることを含む、請求項１６に記載のマルチタッチデバイス。
20. 前記動的な触覚効果は、少なくとも強度パラメータ又は周波数パラメータを含む、請求項１６に記載のマルチタッチデバイス。

Images