JP7182851B2 - 位置ベースの触覚効果のためのシステム及び方法 - Google Patents

位置ベースの触覚効果のためのシステム及び方法 Download PDF

Info

Publication number
JP7182851B2
JP7182851B2 JP2016238479A JP2016238479A JP7182851B2 JP 7182851 B2 JP7182851 B2 JP 7182851B2 JP 2016238479 A JP2016238479 A JP 2016238479A JP 2016238479 A JP2016238479 A JP 2016238479A JP 7182851 B2 JP7182851 B2 JP 7182851B2
Authority
JP
Japan
Prior art keywords
haptic
gesture
user
computing device
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016238479A
Other languages
English (en)
Other versions
JP2017107567A (ja
Inventor
バヒド ホシュカバ、
ビンセント レベスク、
ファン マヌエル クルス－エルナンデス、
マンスール アルグーネフ、
ウィリアム リーン、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2017107567A publication Critical patent/JP2017107567A/ja
Priority to JP2021145095A priority Critical patent/JP2022003535A/ja
Application granted granted Critical
Publication of JP7182851B2 publication Critical patent/JP7182851B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、ユーザインターフェース装置の分野に関する。より詳細には、本発明は、位置ベースの触覚効果に関する。
人間がコンピュータベースのシステムと相互作用するインターフェースの品質がますます重要になってきている。より直観的で向上したユーザ体験を生み出すために、このようなシステムは視覚、聴覚及び／又は触覚フィードバックを使用して物理世界における相互作用の態様を再現する場合がある。このようなフィードバックは、ユーザがタッチスクリーンディスプレイ又は別のユーザインターフェースコントロールに接触すると生成されることが多い。例えば、コンピュータベースのシステムは、ユーザがタッチスクリーンディスプレイ上の仮想ボタンに接触すると触覚フィードバックを生成してもよい。しかしながら、接触ベースの触覚フィードバックは、現実世界のオブジェクトとの相互作用を正確にはシミュレートしない可能性がある。従って、フィードバックを提供するための追加のシステム及び方法が必要とされている。
本開示の実施形態は、位置ベースの触覚効果を生成するように構成されるコンピュータ装置を含む。一実施形態では、本開示のシステムは、ジェスチャを検出して、ジェスチャに関係付けられる第１のセンサ信号を送信するように構成されるセンサを備えてもよい。ジェスチャは、少なくとも２つの位置、少なくとも２つの位置のうち第１の位置は表面からの距離を含み、少なくとも２つの位置のうち第２の位置は表面との接触を含む。また、システムは、センサと通信するプロセッサを備えてもよい。プロセッサは、センサからセンサ信号を受信するように構成されてもよい。また、プロセッサは、センサ信号に少なくとも部分的に基づいて１つ以上の触覚効果を決定するように構成されてもよい。１つ以上の触覚効果は、ジェスチャの間中、実質的に連続的な触覚フィードバックを提供するように構成されてもよい。プロセッサは、１つ以上の触覚効果に少なくとも部分的に基づいて１つ以上の触覚信号を生成して、１つ以上の触覚信号を送信するように更に構成されてもよい。システムは、プロセッサと通信する触覚出力装置を更に備えてもよい。触覚出力装置は、１つ以上の触覚信号を受信して、１つ以上の触覚効果を出力するように構成されてもよい。
別の実施形態では、本開示の方法は、センサからジェスチャに関係付けられるセンサ信号を受信するステップを含み、ジェスチャは少なくとも２つの位置を含み、少なくとも２つの位置のうち第１の位置は表面からの距離を含み、少なくとも２つの位置のうち第２の位置は表面との接触を含んでもよい。また、方法は、センサ信号に少なくとも部分的に基づいて１つ以上の触覚効果を決定するステップを含んでもよい。１つ以上の触覚効果は、ジェスチャの間中、実質的に連続的な触覚フィードバックを提供するように構成される。方法は、１つ以上の触覚効果に少なくとも部分的に基づいて１つ以上の触覚信号を生成するステップと、１つ以上の触覚信号を触覚出力装置に送信するステップとを更に含んでもよい。触覚出力装置は、１つ以上の触覚信号を受信して、１つ以上の触覚効果を出力するように構成されてもよい。更に別の実施形態は、このような方法を実装するためのコンピュータ可読媒体を含む。
こうした例示の実施形態は、本主題を限定し又はその限界を定義するためではなく、その理解を支援するための例示を提供するために言及される。例示の実施形態は、詳細な説明において検討され、そこでは更なる説明が提供される。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。
本明細書の以下の部分には完全な且つ実施可能な開示がより詳細に説明される。本明細書は以下の添付の図面を参照する。
位置ベースの触覚効果を提供するためのシステムの実施形態を示す。 位置ベースの触覚効果を提供するためのシステムの別の実施形態を示す。 位置ベースの触覚効果を提供するためのシステムを示す別のブロック図である。 位置ベースの触覚効果を提供するためのシステムの実施形態を示す。 位置ベースの触覚効果を提供するためのシステムの別の実施形態を示す。 位置ベースの触覚効果を提供するためのシステムの更に別の実施形態を示す。 一実施形態による位置ベースの触覚効果を提供する方法を実行するためのステップのフローチャートである。
次に、多様な及び代替的な例示の実施形態及び添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供される。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、更なる実施形態をもたらすために別の実施形態において使用されてもよい。従って、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。
（位置ベースの触覚効果の例示）
本開示の１つの例示的な実施形態は、移動装置（例えば、スマートフォン、タブレット、Ｅリーダ等）を含む。移動装置は、１つ以上の仮想ボタンとのグラフィカルユーザインターフェース（ＧＵＩ）を出力するように構成されるタッチスクリーンディスプレイを備える。ＧＵＩは、例えば、移動装置に記憶されたプログラムに関係付けられる多数のアイコンを含むホームスクリーンを含んでもよい。ユーザは、例えば、プログラムを実行するか又は他のやり方で移動装置に入力を提供するために仮想ボタンと相互作用してもよい。
例示の実施形態では、移動装置は、例えば、仮想ボタンと相互作用するために、ユーザがタッチスクリーンディスプレイに接近して最終的に接触するときに、実質的に連続的な触覚フィードバックを提供するように構成される。例えば、例示の実施形態では、移動装置は、ユーザの指とタッチスクリーンディスプレイとの間の距離を検出するように構成される。移動装置は、ユーザの指がタッチスクリーンディスプレイ上に出力される仮想ボタンにますます近づいていくとユーザの指にリモート触覚効果（例えば、空気の吹き出し、超音波圧力波、及び／又はレーザビーム刺激）を実質的に連続的に出力するように構成される。一部の実施形態では、移動装置は、ユーザがタッチスクリーンディスプレイに接近すると徐々に強度を増加させるリモート触覚効果を出力する。これは、典型的には物理的ボタンに関係付けられるバネ力又は別の形態の抵抗をシミュレートしてもよい。更に、例示の実施形態では、移動装置は、ユーザがタッチスクリーンディスプレイを介して仮想ボタンに接触することに応じて、ローカル触覚効果（例えば、クリックの感覚）を出力するように構成される。ローカル触覚効果は、物理的ボタンの作動をシミュレートしてもよい。このような実施形態では、ユーザがタッチスクリーンディスプレイ上に出力される仮想ボタンに接近して最終的に接触するときに連続的な触覚フィードバックを提供することは、物理的ボタンとの現実の相互作用をより正確にシミュレートし、及び／又はさもなければ２次元的なユーザインターフェースに３次元的な感覚を提供してもよい。
別の実施形態では、移動装置は、ユーザが相互作用することができる複数のユーザインターフェースレベルを含むＧＵＩを含む。移動装置は、ユーザがタッチスクリーンディスプレイに接近して最終的に接触するときに、異なるユーザインターフェースレベルをアクティブ化するように構成される。ユーザは、ユーザインターフェースレベルに関係付けられる（移動装置からの）所定の距離でジェスチャを行うことにより特定のユーザインターフェースレベルと相互作用することができる。
例えば、一部の実施形態では、移動装置は、複数のユーザインターフェースレベルを有するＧＵＩを含む医療シミュレーションを実行してもよい。各ユーザインターフェースレベルは、体の一部（例えば、人間の腕）の異なる様相の画像を出力し及び／又はそれに関係付けられる情報を提供するように構成されてもよい。例えば、移動装置は、ユーザの指が移動装置から遠距離にあることを検出することに応じて第１のユーザインターフェースレベルをアクティブ化してもよい。第１のユーザインターフェースレベルは、体の一部の外側（例えば、皮膚、髪等）の画像を出力してもよい。移動装置は、ユーザの指が移動装置から中距離にあることを検出することに応じて第２のユーザインターフェースレベルをアクティブ化してもよい。第２のユーザインターフェースレベルは、標識付きの重要な特徴を有する体の一部に関係付けられる細胞及び／又は靭帯の画像を出力してもよい。移動装置は、ユーザが移動装置に接触することに応じて第３のユーザインターフェースレベルをアクティブ化してもよい。第３のユーザインターフェースレベルは、体の一部に関係付けられる骨の画像を出力してもよい。従って、ユーザが移動装置に接近及び／又は接触するときに、移動装置は「より深い」ユーザインターフェースレベルをアクティブ化することができ、それを介してユーザは徐々により多くの及び／又は異なる情報にアクセスすることができる。これは、追加的に又は代替的に、さもなければ２次元的なインターフェースに３次元的な感覚を提供し得る。
一部の実施形態では、移動装置は、ユーザがタッチスクリーンディスプレイに接近及び接触するときにユーザインターフェースレベルに関係付けられる実質的に連続的な触覚フィードバックを提供するように構成される。例えば、上記の医療シミュレーションの例では、ユーザがタッチスクリーンディスプレイに接近及び接触するときに、移動装置は、現実の体の一部の異なる層を介してより深く指を押すことをシミュレートするように構成される実質的に連続的な触覚フィードバックを出力してもよい。このような実施形態では、移動装置は、ユーザの指が第１のユーザインターフェースレベルに関係付けられる距離にあることを検出することに応じて、皮膚及び／又は髪をシミュレートするように構成される触覚効果を出力してもよい。移動装置は、ユーザの指が第２のユーザインターフェースレベルに関係付けられる距離にあることを検出することに応じて、細胞及び／又は靭帯をシミュレートするように構成される触覚効果を出力してもよい。移動装置は、ユーザの指が移動装置に接触したことを検出することに応じて、骨をシミュレートするように構成される触覚効果を出力してもよい。例えば、実質的に連続的なように提供される触覚効果の組み合わせが、体の一部との現実世界の相互作用をより現実的にシミュレートしてもよい。
上記の例示的な実施形態の記載は、単なる例示として提供される。本発明の他の様々な実施形態が本明細書に記載されており、このような実施形態の変形は当業者によって理解されるであろう。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。
（位置ベースの触覚効果のための例示のシステム）
図１Ａは、位置ベースの触覚効果を提供するためのシステムの実施形態を示す。実施形態では、システムは、ユーザがコンピュータ装置１００に接近して最終的に接触するときに実質的に連続的な触覚フィードバックを提供するように構成されるコンピュータ装置１００を備える。追加的に又は代替的に、コンピュータ装置１００は、コンピュータ装置１００がユーザに接近して最終的に接触するときに実質的に連続的な触覚フィードバックを提供するように構成されてもよい。本明細書で用いられる実質的に連続的な触覚フィードバックは、実質的にユーザにより行われるジェスチャの持続時間の間中提供される１つ以上の触覚効果を含む。
ジェスチャは、意味又はユーザの意思を伝達する体及び／又は物理オブジェクトの何らかの動き及び／又は位置である。単純なジェスチャがより複雑なジェスチャを形成するように結合されてもよいことが理解されるであろう。例えば、指を表面と接触させることは「フィンガーオン」ジェスチャと呼ばれてもよく、指を表面から取り除くことは別の「フィンガーオフ」ジェスチャと呼ばれてもよい。「フィンガーオン」と「フィンガーオフ」ジェスチャとの間の時間が比較的短い場合、結合されたジェスチャは「タップ」と呼ばれてもよく、「フィンガーオン」と「フィンガーオフ」ジェスチャとの間の時間が比較的長い場合、結合されたジェスチャは「ロングタップ」と呼ばれてもよく、「フィンガーオン」及び「フィンガーオフ」ジェスチャの２次元（ｘ、ｙ）位置の間の距離が比較的大きい場合、結合されたジェスチャは「スワイプ」と呼ばれてもよく、「フィンガーオン」及び「フィンガーオフ」ジェスチャの２次元（ｘ、ｙ）位置の間の距離が比較的小さい場合、結合されたジェスチャは「スミア（ｓｍｅａｒｉｎｇ）」、「スマッジ（ｓｍｕｄｇｉｎｇ）」又は「フリック」と呼ばれてもよい。追加的に又は代替的に、ジェスチャは３次元であり得る。例えば、ジェスチャは、体の一部及び／又は物理オブジェクトを実空間の特定の場所に配置することを含んでもよい。一部の実施形態では、（例えば、実空間における）指の移動中の３次元（ｘ、ｙ、ｚ）位置間の距離が相対的に大きい場合、組み合わされたジェスチャは「スワイプ動作」と呼ばれてもよい。指の移動中の３次元（ｘ、ｙ、ｚ）位置間の距離が相対的に小さい場合、組み合わされたジェスチャは「スミア（ｓｍｅａｒｉｎｇ）」、「スマッジ（ｓｍｕｄｇｉｎｇ）」又は「フリック」と呼ばれてもよい。任意の数の２次元又は３次元の単純な又は複雑なジェスチャが任意のやり方で組み合わされて、任意の数の他のジェスチャを形成してもよい。ジェスチャは、コンピュータ装置１００により認識され且つ電子信号に変換される任意の形態の（例えば、体の一部又は物理オブジェクトの）動き又は配置であり得る。このような電気信号は、実質的に連続的な触覚フィードバック等の触覚効果をアクティブ化することができ、位置センサ１０４は触覚効果を生成するユーザの意思をキャプチャする。
一部の実施形態では、コンピュータ装置１００は、タッチスクリーンディスプレイ１０２上に出力される特定の仮想オブジェクト（例えば、有効化された仮想ボタン）の場所にユーザを導くために実質的に連続的な触覚フィードバックを提供するように構成される。例えば、このような実施形態では、コンピュータ装置１００は、ユーザが特定の仮想オブジェクトの上に位置していることを検出することに応じて、（例えば、触覚出力装置１０６を介して）リモート触覚効果を出力するように構成される。リモート触覚効果は、ユーザがコンピュータ装置１００に接触していないときにユーザに知覚可能であってもよい。リモート触覚効果は、ユーザが仮想オブジェクトを最初に見つけるのを支援してもよい。このような実施形態では、コンピュータ装置１００は、仮想オブジェクトの上に配置されたままユーザがタッチスクリーンディスプレイ１０２に向かってジェスチャを行うときにユーザにリモート触覚効果を連続的に出力するように更に構成される。これは、ユーザが仮想オブジェクトに接近していることをユーザに通知してもよい。また、このような実施形態では、コンピュータ装置１００は、ユーザがタッチスクリーンディスプレイ１０２を介して仮想ボタンに接触することを検出することに応じて、ローカル触覚効果を出力するように構成される。ローカル触覚効果は、ユーザがコンピュータ装置１００に接触しているときにユーザに知覚可能であってもよい。ローカル触覚効果は、ユーザが仮想オブジェクトと相互作用したことをユーザに通知してもよい。ユーザが仮想オブジェクトをホバー（ｈｏｖｅｒ ｏｖｅｒ）し、接近して最終的に接触するときの連続的な触覚フィードバックは、例えば、ユーザがタッチスクリーンディスプレイ１０２を見なくてもユーザを仮想オブジェクトへと導くことができる。
より詳細な例として、一部の実施形態では、コンピュータ装置１００は、コンピュータ装置１００から第１の距離で（例えば、コンピュータ装置１００からの距離範囲１１２内で）仮想オブジェクト上にジェスチャを検出することに応じて（例えば、触覚出力装置１０６を介して）第１の触覚効果を出力するように構成される。このような実施形態では、コンピュータ装置１００は、コンピュータ装置１００から第２の距離で（例えば、コンピュータ装置１００からの距離範囲１１４内で接触せずに）仮想オブジェクト上にジェスチャを検出することに応じて（例えば、触覚出力装置１０８を介して）第２の触覚効果を出力するように構成される。更にこのような実施形態では、コンピュータ装置１００は、コンピュータ装置１００から第３の距離で（例えば、コンピュータ装置１００及び／又はタッチスクリーンディスプレイ１０２と接触して）仮想オブジェクト上にジェスチャを検出することに応じて（例えば、触覚出力装置１１０を介して）第３の触覚効果を出力するように構成される。第１の触覚効果、第２の触覚効果及び／又は第３の触覚効果は、互いに同じであるか又は異なっていてもよい。例えば、第１の触覚効果は空気の吹き出しを含んでもよく、第２の触覚効果は（例えば、図２に関してより詳細に記載される）静的ＥＳＦ効果を含んでもよく、第３の触覚効果は振動を含んでもよい。
一部の実施形態では、コンピュータ装置１００は、少なくとも２つの触覚効果の間の遷移がユーザに継ぎ目なく知覚されるように、少なくとも２つの触覚効果の特性（例えば、波形、タイプ、振幅、持続時間、周波数、及び／又は出力の時間）を構成する。例えば、コンピュータ装置１００は、触覚効果間の遷移がユーザに継ぎ目なく知覚されるように第１の触覚効果、第２の触覚効果及び第３の触覚効果の特性を構成してもよい。これは、例えば、ジェスチャの間中、実質的に一貫した触覚体験をユーザに提供してもよい。例えば、これは、ユーザがコンピュータ装置１００に接近し、接触し、及び／又はそれから遠ざかるときに実質的に一貫した触覚体験をユーザに提供してもよい。一部の実施形態では、コンピュータ装置１００は、少なくとも２つの触覚効果がユーザに明確に区別できるように少なくとも２つの触覚効果の特性を構成する。例えば、コンピュータ装置１００は、触覚効果間の少なくとも１つの遷移がユーザに明瞭に知覚されるように第１の触覚効果、第２の触覚効果及び第３の触覚効果の特性を構成してもよい。これは、ユーザの体の一部とコンピュータ装置１００との間の距離等の情報をユーザに提供してもよい。
実施形態は、ジェスチャを通じで実質的に連続的な触覚フィードバックを提供するために任意の数及び構成の触覚効果を出力してもよい。例えば、一部の実施形態では、コンピュータ装置１００は、コンピュータ装置１００の別の距離範囲内で別のジェスチャを検出することに応じた第４の触覚効果、コンピュータ装置１００の更に別の距離範囲内で更に別のジェスチャを検出することに応じて第５の触覚効果及び第６の触覚効果等を出力する。
先に検討された実施形態はユーザがコンピュータ装置１００に接近して最終的に接触することに関するが、一部の実施形態は、ユーザが（例えば、コンピュータ装置１００の）表面に接触していない少なくとも１つの位置及びユーザが表面に接触している１つの位置を含む任意のジェスチャの間中、実質的に連続的な触覚フィードバックを提供してもよい。例えば、一部の実施形態は、ユーザが指でコンピュータ装置１００に接近し、指でコンピュータ装置１００に接触し、次にコンピュータ装置１００から指を持ち上げるジェスチャの間中、実質的に連続的な触覚フィードバックを提供してもよい。従って、実質的に連続的な触覚フィードバックは、ユーザがコンピュータ装置１００に接触せずに開始及び終了し得る。
別の例示として、一部の実施形態は、ユーザがコンピュータ装置１００に接触した後で開始し、ユーザがコンピュータ装置１００から指を持ち上げた後で終了するジェスチャの間中、実質的に連続的な触覚フィードバックを提供する。例えば、ユーザは、体の一部でコンピュータ装置１００の表面（例えば、タッチスクリーンディスプレイ１０２）と相互作用してもよい。コンピュータ装置１００は、ユーザ相互作用を検出して、ローカル触覚効果を出力してもよい。次に、ユーザは、（例えば、ユーザがコンピュータ装置１００との相互作用を終えると）コンピュータ装置１００から体の一部を持ち上げてもよい。一部の実施形態では、コンピュータ装置１００は、例えば、ユーザの体の一部がコンピュータ装置１００から距離範囲１１４及び／又は距離範囲１１２内に有る間、（例えば、リモート触覚効果の形態で）ユーザに触覚フィードバックを出力し続けてもよい。コンピュータ装置１００は、例えば、ユーザの体の一部とコンピュータ装置１００との間の距離が閾値を超えるまで、このような触覚フィードバックを出力してもよい。従って、実質的に連続的な触覚フィードバックは、ユーザがコンピュータ装置１００に接触している間に開始して、ユーザがコンピュータ装置１００に接触していない間に終了し得る。
一部の実施形態では、コンピュータ装置１００は、同じクラスの触覚効果（例えば、静的ＥＳＦ触覚効果）を使用して、例えば、ジェスチャの間中、異なる位置でユーザに異なる感覚を出力してもよい。例えば、コンピュータ装置１００は、コンピュータ装置１００から距離範囲１１２内にジェスチャを検出することに応じた（例えば、低振幅振動をシミュレートするように構成される）第１の静的ＥＳＦ効果、コンピュータ装置１００から距離範囲１１４内にジェスチャを検出することに応じた（例えば、中振幅振動をシミュレートするように構成される）第２の静的ＥＳＦ効果、及び／又はコンピュータ装置１００に接触することを含むジェスチャを検出することに応じた第３の静的ＥＳＦ効果（例えば、高振幅振動）を出力するように構成されてもよい。
図１Ｂは、位置ベースの触覚効果を提供するためのシステムの別の実施形態を示す。実施形態では、システムは、ユーザが相互作用することができる複数のユーザインターフェースレベルを含むユーザインターフェースを（例えば、タッチスクリーンディスプレイ１０２を介して）出力するように構成されるコンピュータ装置１００を備える。ユーザインターフェースは、任意の数のユーザインターフェースレベルを含んでもよい。更に、コンピュータ装置１００は、任意の数及び／又は構成のユーザインターフェースレベルとジェスチャの間の任意の数及び／又は構成のユーザ位置を関係付けてもよい。例えば、一部の実施形態では、移動装置は、同じユーザインターフェースレベルとジェスチャの間の３つの異なる位置を関係付けてもよい。一部の実施形態では、ユーザインターフェースレベルは、例えば、シミュレートされた深さをユーザインターフェースに提供するために、互いにオーバレイするようにシミュレートされ得る。一部の実施形態では、コンピュータ装置１００は、ユーザインターフェースレベルに関係付けられる１つ以上の機能を実行するように構成される。
図１Ｂに示される実施形態では、コンピュータ装置１００は、ナビゲーションアプリケーションに関係付けられる仮想地図を出力している。ユーザが（例えば、破線で示されるように）コンピュータ装置１００に接近及び／又は接触すると、コンピュータ装置１００は、１つ以上のユーザインターフェースレベルを循環するように構成される。例えば、仮想地図に関係付けられる異なるレベルの詳細をユーザに提供するように構成される。例えば、ユーザがコンピュータ装置１００の距離範囲１１２内に指を配置することに応じて、コンピュータ装置１００は、例えば、仮想地図上の州又は都市に関係付けられる情報を出力するように構成される第１のユーザインターフェースレベルをアクティブ化してもよい。ユーザがコンピュータ装置１００に接触していない第２の距離範囲１１４内に指を移動させると、コンピュータ装置１００は、例えば、町又は街路等の詳細を仮想地図に追加するように構成される第２のユーザインターフェースレベルをアクティブ化してもよい。ユーザがコンピュータ装置１００に接触することに応じて、コンピュータ装置１００は、例えば、仮想地図上の特定の場所を拡大するように構成される第３のユーザインターフェースレベルをアクティブ化してもよい。従って、コンピュータ装置１００は、ユーザがコンピュータ装置１００の異なる距離範囲内でジェスチャを行うことを検出することに応じて、仮想地図に関係付けられる異なるユーザインターフェースレベルをアクティブ化してもよい。
一部の実施形態では、コンピュータ装置１００は、ユーザインターフェースレベル及び／又はジェスチャに少なくとも部分的に基づいて出力する触覚効果を決定するように構成される。このような触覚効果は、例えば、ユーザが相互作用している特定のユーザインターフェースレベル及び／又はユーザがユーザインターフェースレベルを切り替えたことをユーザに通知するように構成されてもよい。例えば、コンピュータ装置１００は、第２のユーザインターフェースレベルをアクティブ化することに関係付けられる第２の触覚効果から明確に区別できる第１のユーザインターフェースレベルをアクティブ化ことに応じて第１の触覚効果を出力してもよい。区別可能な触覚効果は、ユーザがユーザインターフェースレベルを切り替えたことをユーザに通知してもよい。
一部の実施形態では、コンピュータ装置１００は、コンピュータ装置１００がジェスチャを検出した精度を示すように構成される触覚効果を出力するように構成される。例えば、コンピュータ装置１００は、ジェスチャが行われるときに低い精度を有するジェスチャ（又は、例えば、ユーザの特定の位置等のジェスチャの一部）がコンピュータ装置１００から遠距離にあることを検出してもよい。例えば、ジェスチャがコンピュータ装置１００から１メートルの距離で行われると、コンピュータ装置１００は、実際の位置の１センチメートル内にジェスチャに関係付けられる位置を検出してもよい。ジェスチャがコンピュータ装置１００から１センチメートルの距離にある場合、コンピュータ装置１００は、実際の位置の１ミリメートル内にジェスチャに関係付けられる位置を検出してもよい。一部の実施形態では、コンピュータ装置１００は、低い精度のジェスチャを検出することに応じて、ユーザが曖昧と知覚する触覚効果を出力する。コンピュータ装置１００は、高い精度のジェスチャを検出することに応じて、ユーザが鋭敏と知覚する触覚効果を出力してもよい。一部の実施形態では、コンピュータ装置１００は、低い精度のジェスチャを検出することに応じて、ユーザの体の広い表面積に触覚効果を出力する。コンピュータ装置１００は、高い精度のジェスチャを検出することに応じて、ユーザの体の小さな表面積に触覚効果を出力し得る。
図２は、一実施形態による位置ベースの触覚効果のためのシステムを示すブロック図である。コンピュータ装置２０１は、ラップトップコンピュータ、デスクトップコンピュータ、ゲームコントローラ、ゲームパッド、リモートコントロール、医療装置、車載コンピュータ（例えば、ステレオ、ＨＶＡＣ、照明、ナビゲーション、又は他の車両機能等の１つ以上の自動車システム又は装置を制御するためのコンピュータ）、ワンド、スタイラス、ペン、及び／又は携帯型ゲーム装置を含んでもよい。一部の実施形態では、コンピュータ装置２０１は、装着可能装置（例えば、指輪、靴、アームバンド、袖、ジャケット、眼鏡、手袋、腕時計、リストバンド、ブレスレット、衣類、帽子、ヘッドバンド、及び／又は宝石類）を含み、ユーザにより身に着けられ及び／又はユーザの体に結合されるように構成される。
一部の実施形態では、コンピュータ装置２０１のコンポーネント（例えば、プロセッサ２０２、ネットワークインターフェース装置２１０、触覚出力装置２１８、センサ２３０、位置センサ２３２、タッチセンサ面２１６等）は単一の筐体に組み込まれてもよい。他の実施形態では、コンポーネントは、（例えば、多数の筐体又は場所の間で）分散され且つ互いと電気通信してもよい。コンピュータ装置２０１は、図２に記載の全てのコンポーネントを含んでもよく又は含まなくてもよい。例えば、一部の実施形態では、コンピュータ装置はセンサ２３０を含まなくてもよい。
コンピュータ装置２０１は、バス２０６を介して他のハードウェアとインターフェース接続されるプロセッサ２０２を含む。ＲＡＭ、ＲＯＭ又はＥＥＰＲＯＭ等の任意の適切な有形の（及び非一時的な）コンピュータ可読媒体を含み得るメモリ２０４が、コンピュータ装置２０１の動作を構成するプログラムコンポーネントを具現化してもよい。一部の実施形態では、コンピュータ装置２０１は、１つ以上のネットワークインターフェース装置２１０、入力／出力（Ｉ／Ｏ）インターフェースコンポーネント２１２、及び追加の記憶装置２１４を更に備えてもよい。
ネットワークインターフェース装置２１０は、ネットワーク接続を容易にする又は電子装置間での通信を容易にする１つ以上の任意のコンポーネントを表し得る。限定されないが、例示には、イーサネット（Ｅｔｈｅｒｎｅｔ（登録商標））、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、近距離無線通信（ＮＦＣ）インターフェース等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ又は他の移動通信ネットワーク）が含まれる。
Ｉ／Ｏコンポーネント２１２は、１つ以上のディスプレイ、タッチセンサ面２１６、キーボード、マウス、スピーカ、マイクロホン、ボタン、及び／又はデータの入力又は出力に使用される他のハードウェア等の装置への接続を容易にするために使用されてもよい。記憶装置２１４は、読み取り専用メモリ、フラッシュメモリ、強誘電性ＲＡＭ（Ｆ－ＲＡＭ）、磁気、光学、又はコンピュータ装置２０１に含まれ若しくはプロセッサ２０２に結合される他の記憶媒体等の不揮発性記憶装置を表す。
コンピュータ装置２０１は、タッチセンサ面２１６を含んでもよい。一部の実施形態では、タッチセンサ面２１６は可撓性が有り又は変形可能である。タッチセンサ面２１６は、ユーザの触覚入力を感知するように構成される任意の表面を表す。１つ以上のタッチセンサ２０８は、（例えば、ユーザの指又はスタイラス等のオブジェクトがタッチセンサ面２１６に接触する場合に）接触領域における接触を検出して、プロセッサ２０２に接触に関係付けられる信号を送信するように構成される。任意の適切な数、種類、又は配置のタッチセンサ２０８が使用され得る。例えば、一部の実施形態では、抵抗性及び／又は容量性のセンサが、タッチセンサ面２１６に組み込まれて、タッチの場所及びタッチの圧力、速さ、及び／又は方向等の他の情報を決定するために使用されてもよい。一部の実施形態では、容量性センサは、（例えば、タッチセンサ面２１６に組み込まれた）タッチセンサ２０８へのユーザの指の近接性を検出してもよい。例えば、タッチセンサ２０８は、ユーザの指がタッチセンサ２０８に接近するときの静電容量の変化を検出するように構成される容量性センサを含んでもよい。タッチセンサ２０８は、静電容量の変化に基づいてタッチセンサ２０８の特定の距離内にユーザの指が有るかどうかを決定してもよい。
タッチセンサ２０８は、追加的に又は代替的に、他のタイプのセンサを含み得る。例えば、タッチ位置を決定するために、タッチセンサ面２１６のビューを備える光学センサが使用されてもよい。別の例示として、タッチセンサ２０８は、ディスプレイの側部に取り付けられるＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）指検出器を含んでもよい。一部の実施形態では、タッチセンサ２０８は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、タッチセンサ２０８は、ユーザ相互作用の速さ、圧力及び方向を検出して、この情報をプロセッサ２０２に送信される信号に組み込んでもよい。
一部の実施形態では、コンピュータ装置２０１は、装置のタッチセンサ面２１６及びディスプレイを組み合わせたタッチ可能ディスプレイを含んでもよい。タッチセンサ面２１６は、ディスプレイ外部又はディスプレイのコンポーネント上の１つ以上の材料層に対応してもよい。他の実施形態では、コンピュータ装置２０１の特定の構成によっては、タッチセンサ面２１６はディスプレイを含まなくてもよい（さもなければ、ディスプレイに対応しなくてもよい）。
一部の実施形態では、コンピュータ装置２０１は１つ以上のセンサ２３０を備える。（複数の）センサ２３０は、プロセッサ２０２にセンサ信号を送信するように構成される。（複数の）センサ２３０は、例えば、距離センサ、深度センサ、バイオセンサ、カメラ、及び／又は温度センサを含んでもよい。コンピュータ装置２０１は、センサ２３０からのセンサ信号に少なくとも部分的に基づいて１つ以上の触覚効果を決定してもよい。例えば、一部の実施形態では、コンピュータ装置２０１は、触覚効果が適用されるユーザの体の一部の１つ以上の特徴を決定するために（複数の）センサ２３０からのデータを使用してもよい。コンピュータ装置２０１は、例えば、知覚される触覚効果の品質を改善する及び／又はユーザの損傷を防ぐために、体の部分に基づいて触覚効果の１つ以上の特徴を決定してもよい。
例えば、一部の実施形態では、コンピュータ装置２０１は、戦争ゲーム等のゲームを実行する。コンピュータ装置２０１は、仮想爆発等のゲームイベントに応じて触覚効果（例えば、リモート触覚効果）を出力するように構成されてもよい。一部の実施形態では、コンピュータ装置２０１は、センサ２３０（例えば、ユーザの体を観察するカメラ）からの１つ以上の画像を受信してもよい。コンピュータ装置２０１は、画像を分析して、触覚効果のためのユーザの体上の目的地が、例えば、髪を含むことを決定してもよい。一部の実施形態では、ユーザは、髪を含む体の部分上の触覚効果を髪の無い体の部分上にあるものよりも弱いと知覚してもよい。このような実施形態では、コンピュータ装置２０１は、検出された髪に基づいて触覚効果を決定して出力してもよい。例えば、コンピュータ装置２０１は、増加する振幅を含む触覚効果を決定して出力してもよい。これは、ユーザによって知覚される触覚効果の品質を改善してもよい。
別の例示として、一部の実施形態では、コンピュータ装置２０１は、触覚効果（例えば、投射された／リモート触覚効果）が加えられる体の部分は、例えば、特に敏感な体の部分（例えば、眼又は耳）を含むことを決定してもよい。例えば、コンピュータ装置２０１は、センサ２３０からの１つ以上の画像を分析して、画像に基づいて、コンピュータ装置２０１が特定の体の部分に触覚効果を出力することを決定してもよい。コンピュータ装置２０１は、例えば、ルックアップテーブル及び／又はアルゴリズムを使用して、特定の体の部分は敏感な体の部分を含むことを決定してもよい。例えば、コンピュータ装置２０１は、特定の体の部分を対応する感受性レベルにマッピングするためにルックアップテーブルを使用してもよい。それに応じて、コンピュータ装置２０１は、体の一部への損傷の可能性を防ぐ及び／又は低減するように構成される１つ以上の特徴（例えば、タイプ、振幅、波形、周波数又は他の特性）を有する触覚効果を決定してもよい。
例えば、コンピュータ装置２０１は、仮想昆虫をシミュレートするゲームを実行してもよい。一部の実施形態では、コンピュータ装置２０１は、ユーザの耳の上等、ユーザを這う昆虫をシミュレートするように構成される触覚効果を決定して出力してもよい。例えば、コンピュータ装置は、ユーザの耳の上の昆虫をシミュレートするために、ユーザの耳に向かって放出される空気の吹き出し（又は超音波）を含むリモート触覚効果を決定してもよい。一部の実施形態では、コンピュータ装置２０１は、ユーザの耳が敏感な体の部分であることを決定してもよい。それに応じて、コンピュータ装置２０１は、耳を損傷する可能性を減らすように触覚効果の特性を変更してもよい。例えば、コンピュータ装置２０１は、ユーザの聴覚を損傷する可能性を減らすために、空気の吹き出し（又は超音波）の振幅又は強度を低減してもよい。
別の例示として、コンピュータ装置２０１は、ユーザが仮想キャラクタを制御できる軍事ゲームを実行していてもよい。仮想キャラクタが撃たれることに応じて、コンピュータ装置２０１は、仮想キャラクタが撃たれた場所に関係付けられるユーザの体の部分に触覚効果（例えば、リモート触覚効果）を出力するように構成されてもよい。例えば、コンピュータ装置２０１は、仮想キャラクタが撃たれた場所に関係付けられるユーザの体の部分に向かって硬質材料（例えば、プラスチックペレット）を投射するように構成されてもよい。これは銃撃をシミュレートしてもよい。一部の実施形態では、コンピュータ装置２０１は、触覚効果がユーザの眼等のユーザの体の敏感な部分に加えられる又は投射されることを決定してもよい。それに応じて、一部の実施形態では、コンピュータ装置２０１は、触覚効果をあるタイプ（例えば、プラスチックペレット等の硬質材料の発射を含むリモート触覚効果）から別のタイプ（例えば、空気の噴出等のガスの放出を含むリモート触覚効果）に変更してもよい。これは、ユーザの眼を損傷させる可能性を低減し得る。
一部の実施形態では、コンピュータ装置２０１は、触覚効果が敏感な体の部分に加えられる又は投射される危険性が有ることを決定してもよい。例えば、上記の軍事ゲームの実施形態では、コンピュータ装置２０１は、ユーザの鼻に向かって投射されるように構成されるリモート触覚効果を決定してもよい。例えば、コンピュータ装置２０１は、ユーザの仮想キャラクタの鼻が撃たれることに応じてユーザの鼻に向かってプラスチックペレットが投射されることを決定してもよい。しかし、コンピュータ装置２０１は、ユーザが移動しており、投射された材料がユーザの眼等の敏感な体の部分に接触し得る可能性が増加していることを決定してもよい。それに応じて、コンピュータ装置２０１は、触覚効果をあるタイプ（例えば、プラスチックペレット等の硬質材料の発射を含むリモート触覚効果）から別のタイプ（例えば、発泡体等の柔軟性材料の発射を含むリモート触覚効果）に変更してもよい。これは、敏感な体の部分を損傷させる可能性を低減し得る。
一部の実施形態では、センサ２３０（例えば、温度センサ）は、ユーザの温度（例えば、ユーザの皮膚温度）を検出するように構成されてもよい。一部の実施形態では、コンピュータ装置２０１は、温度に基づいて触覚効果の特性を修正してもよい。例えば、コンピュータ装置２０１は、仮想爆発等のゲームイベントに応じて、ユーザの体の少なくとも一部（例えば、ユーザの腹）に熱を加えることを含む触覚効果を出力するように構成されてもよい。このような実施形態では、コンピュータ装置２０１は、例えば、ユーザの体温が閾値を超えていることを示すセンサ２３０からの信号に応じて、触覚効果が無いことを決定してもよい。例えば、コンピュータ装置２０１は、ユーザの体が熱過ぎることを決定することに応じて、触覚効果を出力しなくてもよい。これは、ユーザが損傷（例えば、熱中症）を受ける可能性を防ぐ及び／又は低減してもよい。
また、コンピュータ装置２０１は位置センサ２３２と通信する。一部の実施形態では、位置センサ２３２は、カメラ、３Ｄイメージングシステム（例えば、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ(R)の商標で販売されている３Ｄイメージングシステム）、深度センサ、超音波トランスデューサ、加速度計、ジャイロスコープ、無線自動識別（ＲＦＩＤ）タグ又は読み取り機、屋内近接システム、ＮＦＣ通信装置、グローバルポジショニングシステム（ＧＰＳ）装置、磁力計、無線インターフェース（例えば、ＩＥＥＥ８０２．１１又はＢｌｕｅｔｏｏｔｈ（登録商標）インターフェース）、赤外線センサ、距離センサ、及び／又はＬＥＤベースのトラッキングシステムを含む。位置センサ２３２は、ユーザの体の一部及び／又は物理オブジェクトの１つ以上の位置を検出して、プロセッサ２０２に１つ以上の関連するセンサ信号を送信するように構成される。位置は、実空間における３次元位置又はコンピュータ装置２０１に対する相対位置であり得る。一部の実施形態では、位置センサ２３２は、例えば、ユーザの体の一部及び／又は物理オブジェクトの複数の検出された３次元位置に基づいて、実空間における３次元ジェスチャを検出するように構成される。
一部の実施形態では、プロセッサ２０２は、位置センサ２３２から１つ以上のセンサ信号に基づいてジェスチャを決定するように構成される。例えば、ユーザはジェスチャ（例えば、実空間におけるスワイプジェスチャ）を行ってもよい。コンピュータ装置２０１は、（例えば、位置センサ２３２により撮られる）ジェスチャに関係付けられる複数のカメラ画像を分析して、複数のカメラ画像に基づいてジェスチャの１つ以上の特徴（例えば、ジェスチャのタイプ）を決定してもよい。例えば、プロセッサ２０２は、カメラ画像に基づいてユーザが特定のタイプのジェスチャを行ったことを決定してもよい。別の例示として、一部の実施形態では、位置センサ２３２は、ユーザにより装着される電子装置及び／又はユーザの体に結合される（例えば、ユーザにより把持される）電子装置により発信される無線信号の強度を検出するように構成される無線インターフェースを備える。位置センサ２３２は、無線信号強度に関係付けられるセンサ信号をプロセッサ２０２に送信してもよい。所定期間にわたり位置センサ２３２により検出された複数の異なる無線信号強度に基づいて、プロセッサ２０２は、例えば、特定のジェスチャに関係付けられる特定のパターンで電子装置が移動したことを決定してもよい。
一部の実施形態では、位置センサ２３２は、（例えば、図３に関して示されるように）コンピュータ装置２０１の外部に有り、コンピュータ装置２０１と有線又は無線で通信する。例えば、位置センサ２３２２は、装着可能装置（例えば、眼鏡又はネクタイ）に関係付けられるカメラを含み、コンピュータ装置２０１と通信してもよい。別の例示として、位置センサ２３２は、３Ｄイメージングシステム及び／又はコンピュータ装置２０１の外部に（例えば、ユーザの家の棚に）配置されるＬＥＤベースのトラッキングシステムを含み、コンピュータ装置２０１と通信してもよい。
一部の実施形態では、コンピュータ装置２０１は、プロセッサ２０２と通信する触覚出力装置２１８を含む。一部の実施形態では、単一の触覚出力装置２１８が、ローカル及びリモート触覚効果の両方を出力するように構成される。触覚出力装置２１８は、触覚信号に応答して触覚効果（例えば、リモート触覚効果及び／又はローカル触覚効果）を出力するように構成される。触覚効果は、例えば、温度の変化、ストロークの感覚、電気触知効果、温度の変化、及び／又は表面変形（例えば、コンピュータ装置２０１に関係付けられる表面の変形）を含んでもよい。更に、一部の触覚効果は、同じ又は異なるタイプの複数の触覚出力装置２１８を順番に及び／又は同時に使用してもよい。図２には単一の触覚出力装置２１８が示されているが、実施形態では、触覚効果を生ずるために同じ又は異なるタイプの複数の触覚出力装置２１８が使用されてもよい。
一部の実施形態では、触覚出力装置２１８は、コンピュータ装置２０１の外部に有り、（例えば、イーサネット、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、ブルートゥース、又はラジオインターフェース等の無線インターフェースを介して）コンピュータ装置２０１と通信してもよい。例えば、触覚出力装置２１８は、装着可能装置に関係付けられ（例えば、結合され）、プロセッサ２０２から触覚信号を受信するように構成されてもよい。
一部の実施形態では、触覚出力装置２１８は、振動を含む触覚効果を出力するように構成される。触覚出力装置２１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モータ（ＥＲＭ）、線形共振アクチュエータ（ＬＲＡ）、及び／又は静電引力及び電極間の斥力により振動するように構成される複数の導電性電極の１つ以上を含んでもよい。
一部の実施形態では、触覚出力装置２１８は、触覚出力装置２１８に関係付けられる表面の知覚される摩擦係数を変調する触覚効果を出力するように構成されてもよい。一部の実施形態では、触覚出力装置２１８は、超音波アクチュエータを含む。超音波アクチュエータは、超音波周波数、例えば、２０ｋＨｚで振動して、関係付けられた表面の知覚される係数を増加又は減少させてもよい。一部の実施形態では、超音波アクチュエータは、圧電材料を含んでもよい。
一部の実施形態では、触覚出力装置２１８は、静電触覚効果を出力するために静電引力を使用する。一部の実施形態では、静電触覚効果は、シミュレートされるテクスチャ、シミュレートされる振動、ストロークの感覚、及び／又はコンピュータ装置２０１に関係付けられる表面における知覚される摩擦係数の変化を含んでもよい。
例えば、一部の実施形態では、触覚出力装置２１８は、導電層及び絶縁層を含んでもよい。一部の実施形態では、導電層は、任意の半導体又は他の導電材料、例えば、銅、アルミニウム、金、銀、グラフェン、カーボンナノチューブ、インジウムスズ酸化物（ＩＴＯ）、プラチナ、ポリ（３，４－エチレンジオキシチオフェン）ポリスチレン・スルホン酸（“ＰＥＤＯＴ：ＰＳＳ）、又はこれらの任意の組み合わせを含んでもよい。一部の実施形態では、絶縁層は、ガラス、プラスチック、ポリマー、シリカ、パリレン、カプトンテープ、二酸化ケイ素（ＳｉＯ２）、酸化アルミニウム（Ａｌ２Ｏ３）、窒化ケイ素（Ｓｉ３Ｎ４）、又はこれらの任意の組み合わせを含んでもよい。更に、プロセッサ２０２は、導電層に電気信号、例えば、ＡＣ信号を加えることによって触覚出力装置２１８を動作させてもよい。一部の実施形態では、高電圧増幅器がＡＣ信号を生成してもよい。電気信号は、導電層と触覚出力装置２１８に近接する又は接触するオブジェクト（例えば、ユーザの指、頭、足、腕、肩、脚、若しくは体の他の部分、又はスタイラス）との間に容量結合を生成してもよい。オブジェクトと導電層との間の引力レベルの変化は、ユーザによって知覚される触覚効果を変化させることができる。
一部の実施形態では、導電層は複数の電極を含む。複数の電極は、特定のパターン又は構成で配置されてもよい。例えば、複数の電極は、複数の電極ストリップを含んでもよい。電極ストリップは、対角パターン、水平パターン、垂直パターン、又はコンピュータ装置２０１の１つ以上の表面を横断する別のパターンで配置されてもよい。別の例示として、１つ以上の電極は、円形、三角形、楕円形、正方形、長方形、又は他の形状を含んでもよい。例えば、電極の外周又は周囲は、円形、三角形、楕円形、正方形、長方形、又は他の形状を含んでもよい。複数の電極は、任意の構成で配置され、任意の数の形状を含む任意の数の電極を含んでもよい。一部の実施形態では、プロセッサ２０２は、複数の電極の全て又はサブセットに電気信号を印加することによって触覚出力装置２１８を作動させることができる。電気信号は、電極と電極に近い又は接触しているオブジェクトとの間の容量結合を生成してもよい。ユーザは、この容量結合を触覚効果として知覚してもよい。
一部の実施形態では、静電触覚効果は、「動的ＥＳＦ効果」を含んでもよい。動的ＥＳＦ効果は、ユーザの体の一部（例えば、指）が触覚出力装置２１８に関係付けられる表面に対して移動すると、ユーザに知覚可能な静電触覚効果を含んでもよい。例えば、動的ＥＳＦ効果は、ユーザが触覚出力装置２１８の絶縁層の表面に沿って指をスライドさせると、ユーザに知覚可能であってもよい。別の例示として、動的ＥＳＦ効果は、コンピュータ装置２０１がユーザの体に対して移動すると（例えば、ユーザが静止している間に）ユーザに知覚可能であってもよい。
例えば、コンピュータ装置２０１は、１つ以上の仮想ユーザインターフェースコンポーネント（例えば、ボタン、スライダ、ノブ等）を含むグラフィカルユーザインターフェース（ＧＵＩ）をタッチスクリーンディスプレイ上に出力してもよい。例えば、ＧＵＩは仮想ボタンを含んでもよい。ユーザインターフェースのコンポーネントは、プラスチックテクスチャ等の仮想テクスチャを含んでもよい。一部の実施形態では、コンピュータ装置２０１は、ユーザインターフェースコンポーネントに関係付けられるタッチスクリーンディスプレイ上の場所をユーザが指でスライドすることに応じて触覚効果を出力してもよい。触覚効果は、例えば、プラスチックテクスチャをシミュレートするように構成される動的ＥＳＦ効果を含んでもよい。
一部の実施形態では、静電触覚効果は、静的ＥＳＦ効果を含む。静的ＥＳＦ効果は、ユーザが触覚出力装置２１８に関係付けられる表面に対して（例えば、横切って又は垂直に）体の一部を動かさなくてもユーザに知覚可能な静電触覚効果を含んでもよい。例えば、ユーザは、表面で実質的に静止していても触覚効果を知覚してもよい。更に、ユーザは、静的ＥＳＦ効果を知覚するために表面に接触する必要が全く無くてもよい。例えば、上記のＧＵＩの実施形態では、コンピュータ装置２０１は、タッチスクリーンディスプレイ上で及びユーザインターフェースコンポーネント上でユーザが指をホバーすることに応じて静的ＥＳＦ触覚効果を出力してもよい。一部の実施形態では、静的ＥＳＦ効果は、例えば、振動感覚を生成するために、静電力を使用してユーザの体の一部（例えば、指）を反復的に引き付け及び反発することを含む。触覚効果は、例えば、有効化されたボタン又は無効化されたボタン上にユーザが接近している及び／又はホバーしていることをユーザに通知してもよい。
一部の実施形態では、触覚出力装置２１８は、変形触覚効果を出力するように構成される変形装置を含む。変形触覚効果は、コンピュータ装置２０１に関係付けられる表面の部分を隆起又は下降させることを含んでもよい。例えば、変形触覚効果は、凹凸のあるテクスチャを生成するためにコンピュータ装置２０１の表面の部分を隆起させることを含んでもよい。一部の実施形態では、変形触覚効果は、コンピュータ装置２０１に関係付けられる表面を折り曲げ、折り畳み、丸め、捻り、絞り、屈曲させ、形状変化させ、又はそれ以外の変形をさせることを含んでもよい。例えば、変形触覚効果は、コンピュータ装置２０１（又はコンピュータ装置２０１に関係付けられる表面）に力を加えて、それを折り曲げ、折り畳み、丸め、捻り、絞り、屈曲し、形状変化し、又はそれ以外の変形をすることを引き起こしてもよい。例えば、ユーザがコンピュータ装置２０１に接近することに応じて、コンピュータ装置２０１は、コンピュータ装置２０１をユーザに向かって曲げるように構成される触覚効果を出力してもよい。これは、ユーザがコンピュータ装置２０１に接近して最終的に接触するときにユーザに提供される実質的に連続的な触覚フィードバックの少なくとも一部であってもよい。
一部の実施形態では、触覚出力装置２１８は、（例えば、コンピュータ装置２０１又はコンピュータ装置２０１に関係付けられる表面を折り曲げ又は変形させるために）変形触覚効果を出力するように構成される流体又は他の材料を含む。例えば、流体はスマートゲルを含んでもよい。スマートゲルは、１つ又は複数の刺激（例えば、電界、磁界、温度、紫外線、振動、又はｐＨ変化）に応じて変化する機械又は構造的特性を有する材料を含む。例えば、刺激に応じて、スマートゲルは、剛性、容量、透明性、及び／又は色を変化させてもよい。一部の実施形態では、剛性は、コンピュータ装置２０１に関係付けられる表面の変形に対する抵抗を含んでもよい。一部の実施形態では、１つ以上のワイヤがスマートゲルに組み込まれ又は結合されてもよい。電流がワイヤを流れるので、熱が放射されて、スマートゲルを拡張又は収縮させる。これがコンピュータ装置２０１又はコンピュータ装置２０１に関係付けられる表面を変形させてもよい。
別の例示として、流体は、レオロジー流体（例えば、磁性流体又は電気流体）を含んでもよい。レオロジー流体は、液体（例えば、油又は水）中に懸濁している金属粒子（例えば、鉄粒子）を含む。電界又は磁界に応じて、流体中の分子の秩序が再編成されて、それにより流体の全体的な制動及び／又は粘度が変更されてもよい。これがコンピュータ装置２０１又はコンピュータ装置２０１に関係付けられる表面を変形させてもよい。
一部の実施形態では、触覚出力装置２１８は、機械変形装置を含む。例えば、一部の実施形態では、触覚出力装置２１８は、変形要素を回転させるアームに結合されるアクチュエータを含んでもよい。変形要素は、例えば、楕円形、星形、又は波形形状を含んでもよい。変形要素は、所定の回転角度でコンピュータ装置２０１に関係付けられる表面を動かし、それ以外では動かさないように構成されてもよい。アクチュエータは、圧電アクチュエータ、回転／線形アクチュエータ、ソレノイド、電気活性ポリマアクチュエータ、ＭＦＣ（ｍａｃｒｏ ｆｉｂｅｒ ｃｏｍｐｏｓｉｔｅ）アクチュエータ、形状記憶合金（ＳＭＡ）アクチュエータ、及び／又は他のアクチュエータを含んでもよい。アクチュエータが変形要素を回転させると、変形要素は表面を動かして、それにより変形を引き起こしてもよい。このような実施形態では、変形要素は、表面が平坦になる位置で開始してもよい。プロセッサ２０２から信号を受信することに応じて、アクチュエータは変形要素を回転させてもよい。変形要素を回転させることによって、表面の１つ以上の部分が隆起させられ又は下降させられてもよい。一部の実施形態では、変形要素は、元の位置に戻るように変形要素を回転させるようにプロセッサ２０２がアクチュエータに信号を送るまで、この回転した状態で維持されてもよい。
更に、コンピュータ装置２０１に関係付けられる表面を変形させ及び／又は他のやり方で触覚効果を生成するための他の技術又は方法が用いられ得る。例えば、触覚出力装置２１８は、表面再構成可能な触覚基板（限定されないが、例えば、繊維、及びナノチューブを含む）からの接触に基づいて、その表面を変形させ又はそのテクスチャを変化させるように構成される可撓性表面層を含んでもよい。一部の実施形態では、触覚出力装置２１８は、例えば、ワイヤに結合されるモータ、空気若しくはポケット、共振機械要素、微小電気機械システム（“ＭＥＭＳ”）要素若しくはポンプ、熱流体ポケット、可変多孔性膜（ｖａｒｉａｂｌｅ ｐｏｒｏｓｉｔｙ ｍｅｍｂｒａｎｅｓ）、又は層流変調を使用して変形させられ又は触覚効果を生成する。
一部の実施形態では、触覚出力装置２１８は、（例えば、リモート触覚効果を生成するために）遠隔でユーザに触覚効果を投射するように構成される。例えば、触覚出力装置２１８は、ユーザ（例えば、ユーザの体の一部）に向かって材料（例えば、固体、液体、ガス、又はプラズマ）を放出するように構成される１つ以上の噴射を含んでもよい。このような実施形態では、触覚出力装置２１８は、触覚信号を受信すると様々な特徴を有する酸素、窒素、又は別のガスの吹き出し又は流れを放出するように構成されるガス噴射を含む。別の例示として、触覚出力装置２１８は、ユーザの方向に圧力波を投射するように構成される１つ以上の超音波トランスデューサ又はスピーカを含んでもよい。このような実施形態では、プロセッサ２０２は、実空間でユーザがジェスチャを行うことに応じてユーザに向かって集中圧力波を触覚出力装置２１８に放出させてもよい。集中圧力波は、ユーザの体の一部（例えば、ユーザの指）を振動させてもよい。ユーザは、この振動を触覚効果として知覚してもよい。
一部の実施形態では、触覚出力装置２１８は、コンピュータ装置２０１の筐体の一部であってもよい。他の実施形態では、触覚出力装置２１８は、コンピュータ装置２０１に関係付けられる表面（例えば、コンピュータ装置２０１の前又は背後）を覆う可撓性筐体の中に収容されてもよい。一部の実施形態では、触覚出力装置２１８は、それ自体が可撓性であってもよい。
メモリ２０４に関しては、モジュール２２４、２２６及び２２８は、位置ベースの触覚効果を与えるために一部の実施形態では、装置がどのように構成され得るかを示すように描かれている。一部の実施形態では、ジェスチャ検出モジュール２２４は、例えば、ユーザによるジェスチャを決定するためにプロセッサ２０２により使用可能な１つ以上のアルゴリズム又はルックアップテーブルを含む。
一部の実施形態では、ジェスチャ検出モジュール２２４は、コンピュータ装置２０１との接触を検出するためのコードを含む。例えば、このような実施形態では、ジェスチャ検出モジュール２２４は、ユーザがタッチセンサ面２１６に接触したかどうかを決定するためにタッチセンサ２０８をサンプリングしてもよい。別のこのような実施形態では、ジェスチャ検出モジュール２２４は、位置センサ２３２からの複数の写真を分析して、ユーザの体の一部に対応するピクセルがコンピュータ装置２０１に関係付けられるピクセルをオーバレイするかどうかを決定してもよい。そうであれば、ジェスチャ検出モジュール２２４は、例えば、ユーザがコンピュータ装置２０１に接触していることを決定してもよい。
一部の実施形態では、ジェスチャ検出モジュール２２４は、コンピュータ装置２０１に対するユーザの位置を決定するためにネットワークインターフェース装置２１０を介して受信したデータを分析するコードを含む。例えば、一部の実施形態では、ユーザは、ＧＰＳセンサを含むスマートリング又はスマートウォッチ等の装置を装着していてもよい。このような実施形態では、装置は、装置のＧＰＳ位置（例えば、ユーザの体の一部のＧＰＳ位置）に関係付けられる信号をコンピュータ装置２０１に送信するように構成されてもよい。一部の実施形態では、ジェスチャ検出モジュール２２４は、装置からＧＰＳ位置を受信して、そのＧＰＳ位置を（例えば、センサ２３０により検出される）コンピュータ装置２０１のＧＰＳ位置と比較するコードを含む。これは、コンピュータ装置２０１に対する装置（例えば、ユーザ）の位置をコンピュータ装置２０１が決定することを可能にしてもよい。ジェスチャ検出モジュール２２４は、位置に基づいてジェスチャを決定するコードを含んでもよい。
触覚効果決定モジュール２２６は、生成すべき触覚効果を決定するためにデータを分析するプログラムコンポーネントを表す。触覚効果決定モジュール２２６は、１つ以上のアルゴリズム又はルックアップテーブルを使用して出力する１つ以上の触覚効果を選択するコードを含んでもよい。一部の実施形態では、触覚効果決定モジュール２２６は、検出されたジェスチャに基づいて出力する１つ以上の触覚効果を決定するコードを含む。例えば、プロセッサ２０２は、特定のジェスチャを空気の吹き出し又は静電触覚効果等の特定の触覚効果にマッピングするために触覚効果決定モジュール２２６に記憶されたルックアップテーブルにアクセスしてもよい。
一部の実施形態では、触覚効果決定モジュール２２６は、例えば、ジェスチャの間中、実質的に連続的な触覚フィードバックを提供するために、１つ以上の触覚出力装置２１８を使用して出力する複数の触覚効果を決定するコードを含む。例えば、触覚効果決定モジュール２２６は、ユーザがコンピュータ装置２０１に接近及び接触するときに実質的に連続的な触覚フィードバックを提供するために互いと組み合わせて使用される複数の利用可能な触覚出力装置の中から２つ以上の異なる触覚出力装置を選択するコードを含んでもよい。
触覚効果生成モジュール２２８は、選択された触覚効果を生成するためにプロセッサ２０２に触覚信号を生成させて触覚出力装置２１８へと送信させるプログラミングを表す。例えば、触覚効果生成モジュール２２８は、所望の触覚効果を生成するために、記憶された波形又はコマンドにアクセスして、触覚出力装置２１８に送信してもよい。一部の実施形態では、触覚効果生成モジュール２２８は、触覚信号を決定するためのアルゴリズムを含んでもよい。更に、一部の実施形態では、触覚効果生成モジュール２２８は、触覚効果に対する目標座標（例えば、触覚効果を出力するユーザの体上の場所に対する座標）を決定するためのアルゴリズムを含んでもよい。
図２にはメモリ２０４内のプログラムコンポーネントとしてモジュール２２４，２２６，２２８が描かれているが、一部の実施形態では、モジュール２２４，２２６，２２８はハードウェアを含んでもよい。例えば、モジュール２２４，２２６，２２８は、アナログからデジタルへの変換器、プロセッサ、マイクロコントローラ、比較器、増幅器、トランジスタ、及び他のアナログ又はデジタル回路を含んでもよい。
図３は、位置ベースの触覚効果を提供するためのシステム３００の実施形態を示す。また、システム３００は、装着可能コンピュータ装置３０２、把持可能コンピュータ装置３０４、位置センサ３１６、及び／又はネットワーク３１４に接続されるリモート触覚出力装置３１８を含む。装着可能コンピュータ装置３０２及び／又は把持可能コンピュータ装置は、図２のコンピュータ装置２０１と実質的に同じように構成されてもよい。
コンピュータ装置３０２、３０４、位置センサ３１６、及び／又はリモート触覚出力装置３１８は、互いと直接通信してもよく、及び／又はネットワーク３１４を介して互いと通信してもよい。例えば、装着可能コンピュータ装置３０２は、（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）を使用して）把持可能コンピュータ装置３０４と直接無線で通信してもよい。
システム３００は、任意の数、組み合わせ、及び／又は構成の装着可能コンピュータ装置３０２、把持可能コンピュータ装置３０４、位置センサ３１６、及び／又はリモート触覚出力装置３１８を使用して、ジェスチャの間中、実質的に連続的な触覚フィードバックを提供することができる。例えば、一部の実施形態では、装着可能コンピュータ装置３０２、把持可能コンピュータ装置３０４、位置センサ３１６及びリモート触覚出力装置３１８は、例えば、ユーザがトリガ３０６、ジョイスティック３０８、ボタン３１０及び／又は方向パッド３１２等の把持可能コンピュータ装置３０４のユーザインターフェースコンポーネントに接近し、接触し、及び／又はそれから指を持ち上げると、実質的に連続的な触覚フィードバックをユーザに提供するように協働する。
特定の例示として、一部の実施形態では、ユーザは、ビデオゲームをプレイするために仮想現実ヘッドセットを装着しており、ユーザの視界が実質的にブロックされていてもよい。このような実施形態では、システム３００は、例えば、さもなければユーザが見ることができないかもしれない把持可能コンピュータ装置３０４にユーザを導くために、ユーザが把持可能コンピュータ装置３０４に接近して最終的に手に取ると実質的に連続的な触覚フィードバックを出力するように構成されてもよい。例えば、位置センサ３１６は、ユーザが把持可能コンピュータ装置３０４に接近していることを検出して、装着可能コンピュータ装置３０２及び／又はリモート触覚出力装置３１８に関連するセンサ信号を送信してもよい。それに応じて、装着可能コンピュータ装置３０２及び／又はリモート触覚出力装置３１８は、例えば、ユーザが把持可能コンピュータ装置３０４に接近すると振幅が減少する触覚効果を出力してもよい。ユーザが把持可能コンピュータ装置３０４に最終的に接触することに応じて、把持可能コンピュータ装置３０４は振動等の触覚効果を出力してもよい。一部の実施形態では、システム３００の様々なコンポーネントからの触覚効果の組み合わせは、例えば、ユーザを把持可能コンピュータ装置３０４に導くためにユーザに実質的に連続的な触覚フィードバックを提供してもよい。
一部の実施形態では、システム３００は、ユーザに情報を提供するように構成される１つ以上の触覚効果を出力するように構成される。例えば、ユーザは、ビデオゲームをプレイするために把持可能コンピュータ装置３０４を握ってもよい。システム３００は、ユーザの体の一部が把持可能コンピュータ装置３０４の特定のユーザインターフェースコンポーネントに接触していないがホバーしていることを検出してもよい。それに応じて、一部の実施形態では、システム３００は、ユーザに向かって（例えば、トリガ３０６上でユーザの指の裏に向かって）触覚効果を出力してもよい。触覚効果は、例えば、ユーザインターフェースコンポーネントの特徴をユーザに通知するように構成されてもよい。例えば、このような実施形態では、触覚効果は、ユーザインターフェースコンポーネントが有効にされているかどうか等、ユーザインターフェースコンポーネントのタイプ、場所、機能及び／又は状態をユーザに通知してもよい。これは、例えば、特定のユーザインターフェースがユーザインターフェースコンポーネントに物理的に接触せずに有効にされているかどうかをユーザが決定できるようにし得る。
更に、一部の実施形態では、システム３００は、ユーザがユーザインターフェースコンポーネントをホバーし、接近して最終的に接触するときに連続的な触覚フィードバックを提供するように構成される。一部の実施形態では、システム３００は、追加的に又は代替的に、（例えば、ユーザインターフェースコンポーネントと相互作用した後で）ユーザがユーザインターフェースコンポーネントから指を遠ざけると連続的な触覚フィードバックを提供するように構成される。ユーザがユーザインターフェースコンポーネントから遠ざかるときに出力される触覚フィードバックは、ユーザがユーザインターフェースコンポーネントに接近及び／又は接触するときに出力される触覚フィードバックとは異なっていてもよい。例えば、システム３００は、ユーザがユーザインターフェースコンポーネントから遠ざかると、ユーザインターフェースコンポーネントがもはや有効にされていないことをユーザに示すように構成される触覚フィードバックを出力してもよい。
一部の実施形態では、システム３００は、追加的に又は代替的に、複数のユーザインターフェースレベルを有するユーザインターフェースを（例えば、ディスプレイを介して）出力する。例えば、システム３００は、ユーザインターフェースを含むビデオゲームを実行してもよい（例えば、把持可能コンピュータ装置３０４自体がビデオゲームを実行してもよい）。ビデオゲームは、仮想レーザ銃等の仮想オブジェクトを含んでもよい。一部の実施形態では、システム３００は、第１のジェスチャ（例えば、ユーザが把持可能コンピュータ装置３０４に対して体の一部及び／又は物理オブジェクトを第１の位置に配置すること）に応じてユーザがユーザインターフェースの第１のユーザインターフェースレベルとユーザ相互作用すること及び／又はそれをアクティブ化することを検出してもよい。例えば、システム３００は、ユーザが把持可能コンピュータ装置３０４のトリガ３０６上を指でホバーすることに応じてユーザが第１のユーザインターフェースレベルと相互作用すること及び／又はそれをアクティブ化することを検出してもよい。一部の実施形態では、システム３００は、第１のユーザインターフェースレベルに関係付けられる機能（例えば、弾薬マガジンを仮想レーザ銃に装填すること）を実行してもよい。追加的に又は代替的に、システム３００は、弾薬マガジンを仮想レーザ銃に装填することをシミュレートするように構成される触覚効果等、第１のユーザインターフェースレベルに関係付けられる触覚効果を出力してもよい。
更に、一部の実施形態では、システム３００は、ユーザが把持可能コンピュータ装置３０４に対して体の一部を第２の位置に配置することに応じてユーザが第２のユーザインターフェースレベルとユーザ相互作用すること及び／又はそれをアクティブ化することを検出してもよい。例えば、システム３００は、ユーザが把持可能コンピュータ装置３０４により接近してトリガ３０６上を指でホバーすることに応じてユーザが第２のユーザインターフェースレベルと相互作用すること及び／又はそれをアクティブ化することを検出してもよい。一部の実施形態では、システム３００は、第２のユーザインターフェースレベルに関係付けられる機能（例えば、仮想レーザ銃を充電すること）を実行してもよい。システム３００は、追加的に又は代替的に、仮想レーザ銃を充電することをシミュレートするように構成される触覚効果等、第２のユーザインターフェースレベルに関係付けられる触覚効果を出力してもよい。
更に、一部の実施形態では、システム３００は、ユーザが把持可能コンピュータ装置３０４に対して体の一部を第３の位置に配置することに応じてユーザが第３のユーザインターフェースレベルとユーザ相互作用すること及び／又はそれをアクティブ化することを検出してもよい。例えば、システム３００は、ユーザが把持可能コンピュータ装置３０４のトリガ３０６を押すことに応じてユーザが第３のユーザインターフェースレベルと相互作用すること及び／又はそれをアクティブ化することを検出してもよい。一部の実施形態では、システム３００は、第３のユーザインターフェースレベルに関係付けられる機能（例えば、仮想レーザ銃を発砲すること）を実行してもよい。システム３００は、追加的に又は代替的に、仮想レーザ銃を発砲することをシミュレートするように構成される触覚効果等、第３のユーザインターフェースレベルに関係付けられる触覚効果を出力してもよい。従って、ユーザは、特定のユーザインターフェースコンポーネント上の異なる場所に体の一部を配置することによって、複数の機能を実行可能であってもよい。これは、ユーザにより直感的且つ簡易化された体験を提供してもよい。
図４は、位置ベースの触覚効果を提供するためのシステム４００の別の実施形態を示す。システム４００は車両を含む。車両は（例えば、車両の内部に）コンピュータ装置を含む。図４における車両は自動車を含み、他の実施形態では、車両はトラック、ボート、飛行機、オートバイ等を含んでもよい。
コンピュータ装置は、１つ以上のユーザインターフェースコンポーネント（例えば、ジョイスティック、ボタン、トリガ、スイッチ、ノブ、タッチセンサ面等）と通信する。図４に示された例では、コンピュータ装置は、タッチスクリーンディスプレイ４０２及び複数のボタン４０６と通信する。また、システム４００は、位置センサ４０４及び触覚出力装置も備える。触覚出力装置は、ユーザにローカル及び／又はリモート触覚効果を提供するように構成される。
一部の実施形態では、コンピュータ装置は、実空間におけるジェスチャに応じて触覚フィードバック（例えば、実質的に連続的な触覚フィードバック）をユーザに提供するように構成される。例えば、コンピュータ装置は、オーディオ音量、ラジオ局、空調又は暖房レベル、及び／又はＧＰＳナビゲーション設定等の１つ以上の車両設定を変更するように構成されるＧＵＩをタッチスクリーンディスプレイ４０２を介して出力してもよい。一部の実施形態では、コンピュータ装置は、ユーザがＧＵＩの特定の仮想オブジェクト（例えば、オーディオ音量を調節するための仮想ボタン）に接近し、接触し、及び／又はそれから遠ざかるときに実質的に連続的な触覚フィードバックをユーザに提供するように構成される。このような実施形態では、コンピュータ装置は、ユーザが仮想オブジェクト上でもはやジェスチャを行っていない（指でホバーしていない）こと及び／又は仮想オブジェクトとユーザとの距離が閾値を超えること（例えば、ユーザが仮想オブジェクトから十分に遠ざかったこと）を検出することに応じて触覚フィードバックの出力を停止してもよい。一部の実施形態では、このような連続的な触覚フィードバックは、ユーザが、タッチスクリーンディスプレイに視覚的に焦点を合わせることなく、所望のユーザインターフェースコンポーネントを見つけること及び／又はコンピュータ装置と安全に相互作用することを可能にし、それにより事故又は損傷を防ぐことができる。
例として、一部の実施形態では、コンピュータ装置は、例えば、ラジオ局を変更するためにＧＵＩに出力された仮想ボタン上でユーザが（例えば、指で）ジェスチャを行うことを検出するように構成される。それに応じて、コンピュータ装置は、例えば、ユーザが特定の仮想オブジェクト上でジェスチャを行っていることをユーザに通知するように構成されるリモート触覚効果（例えば、超音波圧力波）を出力するように構成される。一部の実施形態では、コンピュータ装置は、ユーザが仮想ボタンに接近することを検出することに応じてリモート触覚効果を出力し続けるように構成される。このような実施形態では、コンピュータ装置は、例えば、ユーザが実質的に一定の振幅を有するリモート触覚効果を知覚するように、リモート触覚効果の強度を変調してもよい。従って、ユーザは、例えば、リモート触覚効果の発信源に近づいているとしても、実質的に一定の振幅を有するようにリモート触覚効果を知覚してもよい。一部の実施形態では、コンピュータ装置は、（例えば、タッチスクリーンディスプレイ４０２及び／又は位置センサ４０４を介して）ユーザが仮想オブジェクトに接触することを検出するように構成される。それに応じて、コンピュータ装置は、リモート触覚効果の出力を停止し、及び／又は、例えば、パルス振動を含むローカル触覚効果を出力してもよい。これは、コンピュータ装置がユーザ入力を受信したことをユーザに確認してもよい。一部の実施形態では、コンピュータ装置は、例えば、ユーザが体の一部を仮想オブジェクトから遠ざけていること及び／又はそれにもはや接触していないことを検出するまで、ローカル触覚効果を連続的に出力するように構成される。次に、コンピュータ装置は、例えば、ユーザと仮想オブジェクトとの間の距離が閾値を超えるまで、１つ以上のリモート触覚効果を出力してもよい。
上記の検討は（例えば、タッチスクリーンディスプレイ４０２に出力される）仮想オブジェクトを参照しているが、一部の実施形態では、コンピュータ装置は、ボタン４０６、トリガ、スイッチ、ジョイスティック４０８、ノブ等の１つ以上の物理ユーザインターフェースコンポーネントに対して行われるジェスチャに基づいて触覚効果を出力するように構成されてもよい。
一部の実施形態では、コンピュータ装置は、例えば、タッチスクリーンディスプレイ４０２を介して、複数のユーザインターフェースレベルを含むユーザインターフェースを出力する。例えば、一部の実施形態では、コンピュータ装置は、車内のラジオに関係付けられるＧＵＩを出力するように構成される。一部の実施形態では、ユーザは、タッチスクリーンディスプレイ４０２上に出力される、ラジオ局スキャンボタン等の仮想ボタン上を指でホバーすることによってユーザインターフェースの第１のユーザインターフェースレベルと相互作用してもよい。一部の実施形態では、コンピュータ装置は、第１のユーザインターフェースレベルに関係付けられる機能を実行してもよい。例えば、コンピュータ装置は、「スキャンするには接近してホバーしてください、オフにするにはタップしてください」等の仮想ボタンに関係付けられる機能の記述を（例えば、タッチスクリーンディスプレイ４０２を介して）出力してもよい。コンピュータ装置は、例えば、物理的ボタンの存在又は作動をシミュレートするように構成される触覚効果を出力してもよい。更に、一部の実施形態では、ユーザは、仮想ボタンに接近してジェスチャを行うによって第２のユーザインターフェースレベルと相互作用してもよい。それに応じて、一部の実施形態では、コンピュータ装置は、複数のラジオ局をスキャンするように構成される。更に、一部の実施形態では、ユーザは、タッチスクリーンディスプレイ４０２（例えば、及び／又はそこに出力される仮想ボタン）に接触することによって第３のユーザインターフェースレベルと相互作用してもよい。それに応じて、一部の実施形態では、コンピュータ装置は、ラジオをオフにするように構成される。従って、一部の実施形態では、コンピュータ装置は、ユーザが様々なユーザインターフェースレベルと相互作用することに応じて多数の機能を実行するように構成される。
図５は、位置ベースの触覚効果を提供するためのシステムの更に別の実施形態を示す。システムは、ディスプレイ（例えば、タッチスクリーンディスプレイ）上に仮想オブジェクト５０６を出力するコンピュータ装置５０２（例えば、スマートフォン又はタブレット）を含む。コンピュータ装置５０２は、例えば、火を含む仮想オブジェクト５０６を（例えば、ディスプレイを介して）出力している。コンピュータ装置５０２は、（例えば、破線矢印で示される）仮想オブジェクト５０６にユーザが接近する及び／又はそれから遠ざかる等のジェスチャを検出し、それに応じて触覚効果を出力するように構成される。触覚効果は、ユーザにより現実的な及び／又は没入型の触覚体験を提供するように構成される。例えば、触覚効果は、例えば、火の熱をシミュレートするように構成されてもよい。例えば、図５に示された例では、コンピュータ装置５０２は、ユーザがコンピュータ装置５０２に接近することを検出することに応じて強度を増加すること及び／又はユーザがコンピュータ装置５０２から遠ざかることを検出することに応じて強度を減少することを含む触覚効果（例えば、振動又は投射熱）を出力するように構成される。更に、一部の実施形態では、コンピュータ装置５０２は、ユーザがコンピュータ装置５０２に接触することを検出することに応じて、激しい振動又は衝撃の感覚等のローカル触覚効果を出力するように構成される。一部の実施形態では、実質的に連続的なリモート及び／又はローカル触覚効果の組み合わせは、火に対してユーザが移動するときに火の熱を増加又は減少する等、仮想オブジェクトの特徴をより現実的にシミュレートし得る。
別の例示として、一部の実施形態では、コンピュータ装置５０２は、例えば、磁石及び／又は力場を含む仮想オブジェクト５０６を（例えば、ディスプレイを介して）出力するように構成される。このような実施形態では、コンピュータ装置５０２は、ユーザがコンピュータ装置５０２に接近することを検出することに応じて強度を増加することを含む触覚効果を出力してもよい。例えば、触覚効果は、ユーザの移動に抵抗するように構成される流体又はガスの流れを含んでもよい。これはユーザが仮想オブジェクトに接近することに抵抗してもよく、５０６例えば、磁気抵抗又は力場をシミュレートする。コンピュータ装置５０２は、ユーザがコンピュータ装置５０２から遠ざかることを検出することに応じて強度を減少させることを含む触覚効果を出力してもよい。例えば、触覚効果は、コンピュータ装置５０２から離れるユーザの移動を支援するように構成される流体又はガスの流れを含んでもよい。これは、磁石の磁界及び／又は力場の効果をより現実的にシミュレートし得る。
一部の実施形態では、触覚効果は、ユーザに情報を提供するように構成される。例えば、コンピュータ装置５０２は、アプリケーションを実行してもよい。アプリケーションは、例えば、機能が中断されるとコンピュータ装置５０２に損傷を与え得る機能を実行してもよい。一部の実施形態では、コンピュータ装置５０２は、（例えば、位置センサ５０４を介して）ユーザがコンピュータ装置５０２に向かってジェスチャを行うことを検出し、それに応じて、例えば、コンピュータ装置５０２に向かうユーザの動きに抵抗するように構成されるリモート触覚効果を出力するように構成される。一部の実施形態では、コンピュータ装置５０２は、ユーザがコンピュータ装置５０２に接近し続けると抵抗の強度及び／又は量を増加してもよい。これは、ユーザがコンピュータ装置５０２と相互作用するべきではないことをユーザに示してもよい。一部の実施形態では、コンピュータ装置５０２は、ユーザが最終的にコンピュータ装置５０２に接触することを検出し、それに応じて、例えば、一連のパルス振動を含む触覚効果を出力するように構成される。これは、ユーザがコンピュータ装置５０２と相互作用するべきではないことをユーザに示してもよい。更に、一部の実施形態では、コンピュータ装置５０２は、ユーザが（例えば、タッチスクリーンディスプレイ上に出力される仮想ボタンに向かって）コンピュータ装置５０２の表面を指でスライドすることを検出し、それに応じて、例えば、知覚される摩擦係数の増加を含む触覚効果を出力するように構成される。これは、ユーザがコンピュータ装置５０２と相互作用することを物理的により困難にしてもよい。触覚効果の組み合わせが、状態、特性、及び／又はアプリケーションの他の特徴をユーザにより適切に通知してもよい。
一部の実施形態では、コンピュータ装置５０２は、追加的に又は代替的に、例えば、異なる深さで仮想オブジェクト５０６と相互作用すること及び／又は仮想オブジェクト５０６の異なる表面と相互作用することをシミュレートするように構成される複数のユーザインターフェースレベルを含むユーザインターフェースを出力する。例えば、仮想オブジェクト５０６は、桃等の仮想果物を含んでもよい。ユーザは、実空間における第１の場所でジェスチャを行うこと（例えば、体の一部を配置すること）により、外層等の仮想果物の一部と相互作用してもよい。一部の実施形態では、コンピュータ装置５０２は、ジェスチャを検出し、それに応じて、例えば、桃の産毛又は外皮をシミュレートするように構成される触覚効果を出力してもよい。更に、ユーザは、実空間における第２の場所でジェスチャを行うことによって、内層等の仮想果物の別の部分と相互作用してもよい。第２の位置は、第１の位置よりもコンピュータ装置５０２に近くてもよい。一部の実施形態では、コンピュータ装置５０２は、第２の場所でジェスチャを検出し、それに応じて、例えば、グニャグニャとした又は柔らかいテクスチャ等の果物の内部の特性をシミュレートするように構成される触覚効果を出力してもよい。このようにして、コンピュータ装置５０２は、異なるジェスチャに応じて仮想オブジェクト５０６の異なる表面及び／又は深さをシミュレートすることができる。
（位置ベースの触覚効果を提供するための例示の方法）
図６は、一実施形態による位置ベースの触覚効果を提供する方法を実行するためのステップのフローチャートである。一部の実施形態では、図６のステップは、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図６に示される１つ以上のステップは省略され又は異なる順番で行われてもよい。同様に、一部の実施形態では、図６に示されない追加のステップが実行されてもよい。以下のステップは図２に示されたコンピュータ装置２０１に関して記載されたコンポーネントを参照して記載される。
簡潔のため、以下のステップは、描画アプリケーションを参照して記載される。しかし、以下のステップはこのような実施形態に限定されず、ステップの任意の組み合わせが他のタイプのアプリケーション及び／又は装置を介して実装され得る。
方法６００はステップ６０２で開始し、プロセッサ２０２は少なくとも（例えば、コンピュータ装置２０１の）表面との接触及び表面との非接触を含むジェスチャに関係付けられるセンサ信号を受信する。例えば、プロセッサ２０２は、描画アプリケーションを実行してもよい。ユーザは、例えば、描画アプリケーションにおいて１つ以上の描画操作を行うために、コンピュータ装置２０１に向かってスタイラス（例えば、又はペン若しくは別のオブジェクト）を動かしてもよい。位置センサ２３２（例えば、カメラ）は、スタイラスの動きに関係付けられる１つ以上の画像をキャプチャし、プロセッサ２０２に関連するセンサ信号を送信してもよい。このような実施形態では、画像は、スタイラスの一部等の前景の特徴、及び椅子、テーブル、壁、机等の背景の特徴を含んでもよい。
方法６００はステップ６０４に進み、プロセッサ２０２はジェスチャに少なくとも部分的に基づいてユーザインターフェースレベルを決定する。一部の実施形態では、プロセッサ２０２は、ユーザインターフェースレベルを決定するためにメモリ２０４に含まれるプログラミング、ルックアップテーブル、及び／又はアルゴリズムを利用するように構成される。例えば、プロセッサ２０２は、（ジェスチャに関係付けられる）実空間における位置を描画アプリケーションの特定のユーザインターフェースレベルにマッピングするためにルックアップテーブルを使用してもよい。例えば、プロセッサ２０２は、コンピュータ装置１０１から遠距離にある実空間における第１の位置を、描画アプリケーションに出力される描画の斜視図に関係付けられる第１のユーザインターフェースレベルにマッピングし得る。プロセッサ２０２は、コンピュータ装置１０１から中距離にある第２の位置を、描画アプリケーションに出力される描画の拡大及び／又は断面図に関係付けられる第２のユーザインターフェースレベルにマッピングし得る。
一部の実施形態では、プロセッサ２０２は、単一のジェスチャをユーザインターフェースレベルと関係付けてもよい。例えば、プロセッサ２０２は、ある特定のジェスチャを第１のユーザインターフェースレベルと関係付け、別のジェスチャを第２のユーザインターフェースレベルと関係付けてもよい。他の実施形態では、プロセッサ２０２は、複数のジェスチャをユーザインターフェースレベルと関係付けてもよい。例えば、一部の実施形態では、プロセッサ２０２は、（例えば、コンピュータ装置２０１の表面から４インチから８インチの間の）コンピュータ装置２０１からの距離範囲内で行われる任意のジェスチャを、単一のユーザインターフェースレベルと関係付けてもよい。
方法６００はステップ６０６に進み、プロセッサ２０２はジェスチャに基づいてユーザ相互作用を決定する。例えば、プロセッサ２０２は、ジェスチャの３次元開始位置及び／又は終了位置に基づいて、ジェスチャがスワイプジェスチャ、ホバージェスチャ、又は別のタイプのジェスチャを含むことを決定してもよい。プロセッサ２０２は、特定のタイプ及び／又は場所のジェスチャを、線ツール、正方形ツール、ペイントブラシサイズ修正ツール等をアクティブ化する等、描画アプリケーションに関係付けられる特定のユーザ相互作用と相関させてもよい。
方法６００はステップ６０８に進み、プロセッサ２０２はユーザインターフェースレベル及び／又はユーザ相互作用に少なくとも部分的に基づいて機能を決定する。一部の実施形態では、機能は、オーディオデータ、ビデオデータ、及び／又は情報（例えば、近くのガソリンスタンド、レストラン、映画館、警察署、又は病院、又は交通状況若しくは速度制限）を出力すること、電話を掛けること、テキストメッセージ、ＳＭＳメッセージ又はＥメールを送ること、ウェブブラウザを開くこと又はウェブサイトにアクセスすること、アプリケーションを開くこと、アプリケーションを閉じること、バックグラウンド処理を実行すること、フォアグラウンド処理を実行すること、ファイルを保存すること、ファイルを開くこと、ゲーム機能を実行すること、データを受信すること、データを送信すること、アプリケーション設定を変更すること、ネットワークを介して製品を注文すること、文書を印刷すること、リストにエントリを追加すること、リストからエントリを削除すること、音声を録音すること、メディアコンテンツを再生すること、電子ブックを開くこと、計算を実行すること、価格比較を行うこと、預金残高を確認すること、及び／又は任意の他の数及び／又は構成のコンピュータ機能を含む。
一部の実施形態では、機能は、ユーザインターフェースにおける仮想オブジェクトを出力、除去、変更、更新、及び／又は消去することを含む。例えば、描画アプリケーションの実施形態において、コンピュータ装置２０１は、例えば、ユーザがコンピュータ装置２０１から遠距離で指又はスタイラスをホバーすることを検出することに応じて、第１のユーザインターフェースレベルに関係付けられる第１の機能を決定してもよい。第１の機能は、例えば、描画の斜視図を出力することを含んでもよい。コンピュータ装置２０１は、例えば、コンピュータ装置２０１から遠距離で実空間における別のジェスチャを検出することに応じて、第１のユーザインターフェースレベルに関係付けられる第２の機能を更に決定してもよい。第２の機能は、例えば、ジェスチャの移動によって定義される経路に沿って（例えば、仮想ペイントブラシで）仮想キャンバスに描画することを含んでもよい。一部の実施形態では、コンピュータ装置２０１は、例えば、ユーザがコンピュータ装置２０１から中距離で指をホバーすることを検出することに応じて、第２のユーザインターフェースレベルに関係付けられる第３の機能を決定してもよい。機能は、例えば、描画の拡大及び／又は断面図を含んでもよい。一部の実施形態では、コンピュータ装置２０１は、例えば、ユーザがコンピュータ装置２０１から中距離で別のジェスチャを検出することに応じて、第２のユーザインターフェースレベルに関係付けられる第４の機能を更に決定してもよい。第４の機能は、例えば、移動ジェスチャにより定義される経路に沿って消去することを含んでもよい。一部の実施形態では、コンピュータ装置２０１は、例えば、ユーザがコンピュータ装置２０１に接触することを検出することに応じて、第３のユーザインターフェースレベルに関係付けられる第５の機能を決定してもよい。機能は、例えば、仮想画像を保存することを含んでもよい。
方法６００はステップ６１０に進み、プロセッサ２０２は機能を実行する。一部の実施形態では、プロセッサ２０２は、１つ以上のサブ機能を実行することにより機能を実行してもよい。例えば、機能が仮想画像を保存することを含む場合、プロセッサ２０２は、１つ以上のサーバ（例えば、画像記憶データベース）と通信して、データベースに仮想画像を安全に記憶するためのプライバシーキー又はパスワードを取得してもよい。次に、プロセッサ２０２は、画像をデータベースに保存してもよい。
方法６００はステップ６１２に進み、プロセッサ２０２は、ジェスチャの間中、実質的に連続的な触覚フィードバックを提供するように構成される１つ以上の触覚効果を決定する。
一部の実施形態では、プロセッサ２０２は、ジェスチャ及び／又はジェスチャに関係付けられる実空間における位置に少なくとも部分的に基づいて１つ以上の触覚効果を決定する。例えば、プロセッサ２０２は、ジェスチャの間の位置を特定の触覚効果にマッピングするためにメモリ２０４に記憶されたルックアップテーブルにアクセスしてもよい。このような実施形態では、ルックアップテーブルは、メモリに事前プログラムされ及び／又はユーザによりプログラム可能であってもよい。
一部の実施形態では、プロセッサ２０２は、ユーザとコンピュータ装置２０１との間の距離に少なくとも部分的に基づいて１つ以上の触覚効果を決定する。例えば、一部の実施形態では、ユーザは、コンピュータ装置２０１からの第１の距離範囲（例えば、１ｍｍから１０ｃｍの間）内で別のタイプの触覚効果よりも強い、投射される固体、液体、ガス、プラズマ、音圧波及び／又はレーザビームを含む第１の触覚効果を知覚してもよい。従って、一部の実施形態では、プロセッサ２０２は、ユーザがコンピュータ装置２０１から第１の距離範囲（例えば、１ｍｍから１０ｃｍの間）内に位置していることを検出することに応じて第１のリモート触覚効果を決定する。
別の例示として、一部の実施形態では、ユーザは、コンピュータ装置２０１からの第２の距離範囲（例えば、０ｍｍから１ｍｍの間）内で別のタイプの触覚効果よりも強い、例えば、静電ベースの容量結合を含む第２の触覚効果を知覚してもよい。従って、一部の実施形態では、プロセッサ２０２は、ユーザがコンピュータ装置２０１から第２の距離範囲内に位置していることを検出することに応じて第２の触覚効果を決定する。更に別の例示として、一部の実施形態では、ユーザは、コンピュータ装置２０１からの第３の距離範囲（例えば、０ｍｍ及び／又はコンピュータ装置２０１に接触している）内で別のタイプの触覚効果よりも強い、例えば、ローカル触覚効果を含む第３の触覚効果を知覚してもよい。従って、一部の実施形態では、プロセッサ２０２は、ユーザがコンピュータ装置２０１から第３の距離範囲内に位置している（例えば、コンピュータ装置に接触している）ことを検出することに応じて第３の触覚効果を決定する。
一部の実施形態では、プロセッサ２０２は、例えば、ユーザがコンピュータ装置２０１に接近して、コンピュータ装置２０１から様々な距離範囲を移動するときに、複数の触覚効果を決定する。複数の触覚効果は、ユーザに実質的に連続的な触覚フィードバックを提供するためにリモート及び／又はローカル触覚効果の任意の組み合わせを含んでもよい。
一部の実施形態では、プロセッサ２０２は、以前に出力された触覚効果と実質的に同じとユーザにより知覚されるように構成される１つ以上の特徴（例えば、振幅、周波数、持続時間）を含む触覚効果を決定する。例えば、一部の実施形態では、プロセッサ２０２は、ユーザが実空間でジェスチャを行うこと（例えば、コンピュータ装置２０１に向かって指を動かすこと）を検出してもよい。このような実施形態では、それに応じて、プロセッサ２０２は、ユーザがコンピュータ装置２０１に接近していることを決定することに応じて触覚効果の振幅を減少し、及び／又はユーザがコンピュータ装置２０１から遠ざかっていることを決定することに応じて触覚効果の振幅を増加してもよい。これは、例えば、ユーザがコンピュータ装置２０１（例えば、触覚出力装置２１８）に対してどのくらい近いか又は遠いかに関わらず、実質的に一貫した触覚体験をユーザに提供し得る。
一部の実施形態では、プロセッサ２０２は、以前に出力された触覚効果とは異なる及び／又は区別可能なようにユーザにより知覚されるように構成される１つ以上の特性（例えば、振幅、周波数、持続時間）を含む触覚効果を決定する。例えば、一部の実施形態では、プロセッサ２０２は、ユーザが実空間でジェスチャを行うことを検出してもよい。このような実施形態では、プロセッサ２０２は、それに応じて、触覚効果の特性を一定に保ち得る。ジェスチャを行う間、ユーザは触覚効果の発信源に近づいている及び／又は遠ざかっているので、ユーザは変化する触覚効果の強度を知覚してもよい（例えば、プロセッサ２０２が触覚効果の特性を一定に保っていたとしても）。これは、ユーザがコンピュータ装置２０１にどれくらい近いか等の情報をユーザに提供してもよい。
一部の実施形態では、プロセッサ２０２はユーザインターフェースレベル、ジェスチャ及び／又はユーザ相互作用に少なくとも部分的に基づいて触覚効果を決定する。例えば、プロセッサ２０２は、空気の吹き出し又は別のリモート触覚効果等の特定の触覚効果に、（例えば、描画アプリケーションにおける仮想キャンバス上の表示又は描画に関係付けられる）ユーザインターフェースレベルをマッピングするためにメモリ２０４に記憶されたルックアップテーブルにアクセスしてもよい。一部の実施形態では、プロセッサ２０２は、ジェスチャのタイプ、場所、持続時間、又は他の特性に基づいて触覚効果を決定するように構成される。一部の実施形態では、プロセッサ２０２は、ユーザ相互作用のタイプ、場所、持続時間、及び／又は他の特性に基づいて触覚効果を決定してもよい。例えば、一部の実施形態では、プロセッサ２０２は、ユーザ相互作用が描画アプリケーションにおいて画像を消去するように構成されることを決定し、このユーザ相互作用に基づいて、例えば、黒板を黒板拭きで消す感覚をシミュレートするように構成される関連触覚効果を決定する。
一部の実施形態では、プロセッサ２０２は、機能（機能に関係付けられる特性）に少なくとも部分的に基づいて触覚効果を決定する。例えば、一部の実施形態では、プロセッサ２０２は、機能のタイプに関係付けられる触覚効果を決定してもよい。例えば、一実施形態では、プロセッサ２０２は、機能が描画アプリケーション等のアプリケーションを開くことを含む場合に短い空気の吹き出しを含む触覚効果を決定してもよい。このような実施形態では、プロセッサ２０２は、機能がアプリケーションを閉じることを含む場合に３つの短い空気の吹き出しを含む触覚効果を決定してもよい。これは、ユーザに機能を示してもよい。一部の実施形態では、プロセッサ２０２は、機能が実行されたことを示すように構成される触覚効果を決定する。例えば、プロセッサ２０２は、描画アプリケーションにおけるペイントブラシツールように新しい色を選択することを含む機能が実行されると、静電触覚効果を含む触覚効果を決定してもよい。一部の実施形態では、プロセッサ２０２は、機能を実行した結果に基づいて異なる触覚効果を決定するように構成される。例えば、プロセッサ２０２は、機能の実行が成功した場合に、機能の実行が成功しなかった場合とは異なる触覚効果を出力してもよい。
方法６００はステップ６１４に進み、プロセッサ２０２は１つ以上の触覚効果を出力する。プロセッサ２０２は、１つ以上の触覚効果を出力する触覚出力装置２１８に１つ以上の触覚効果に関係付けられる１つ以上の触覚信号を送信する。一部の実施形態では、１つ以上の触覚効果は、ジェスチャの間中、実質的に連続的な触覚フィードバックを提供するように構成される。例えば、プロセッサ２０２は、複数の触覚効果（例えば、リモート及び／又はローカル触覚効果）に関係付けられる複数の触覚信号を送信してもよい。複数の触覚効果は、ジェスチャ及び／又は実空間における別の動きの間中、実質的に連続的な触覚フィードバックを提供するように構成される。
（位置ベースの触覚効果の利点）
位置ベースの触覚効果には多くの利点が存在する。例えば、このようなシステムは、より現実的な又は没入型のユーザ体験を提供してもよい。例えば、一部の実施形態では、このようなシステムは、ジェスチャの間中、例えば、ユーザがコンピュータ装置に接近及び／又は接触するときに、ユーザに実質的に連続的な触覚フィードバックを提供してもよい。これは、重力、磁界、電界、風の吹き込み、力の印加への抵抗、及び／又は熱等の物理現象をより現実的にシミュレートしてもよい。例えば、一部の実施形態では、コンピュータ装置は、仮想原子炉がメルトダウンした仮想アポカリプスゲームを実行してもよい。コンピュータ装置は、ユーザがコンピュータ装置に向かってジェスチャを行うことを検出し、それに応じて、例えば、放射能汚染をシミュレートするように構成される触覚効果を出力してもよい。例えば、コンピュータ装置は、ユーザがコンピュータ装置に接近することを検出することに応じて振幅が増加し、ユーザがコンピュータ装置に接触することに応じて激しい振動で終わるリモート触覚効果を実質的に連続的に出力してもよい。連続的な激しい触覚効果は、放射能に汚染された場所に接近することをより現実的にシミュレートしてもよい。
別の例示として、一部の実施形態では、ユーザは、第１のユーザインターフェースレベルに関係付けられる実空間における第１の場所でジェスチャを行うことによって、（例えば、ディスプレイに出力される）仮想オブジェクトと相互作用してもよい。それに応じて、コンピュータ装置は、仮想オブジェクトに関係付けられる表面（例えば、枕上の枕シート）をシミュレートするように構成される触覚フィードバックを出力してもよい。更に、ユーザは、第２のユーザインターフェースレベルに関係付けられる第２の場所でジェスチャを行うことによって仮想オブジェクトと相互作用してもよい。それに応じて、コンピュータ装置は、仮想オブジェクトに関係付けられる異なる表面（例えば、羽毛又はメモリフォーム等の枕の内側）をシミュレートするように構成される触覚フィードバックを出力してもよい。一部の実施形態では、これは、仮想オブジェクトをより現実的及び／又は３次元的に感じさせてもよい。更に、異なる触覚効果を異なるユーザインターフェースレベルと関係付けることにより、ユーザは、単一の仮想オブジェクトと相互作用しながら複数の触覚効果を知覚することが可能であってもよい。これは、より広範囲の触覚体験を可能にしてもよい。
一部の実施形態では、位置ベースの触覚効果は、ユーザが装置を見なくても状態判断（例えば、装置の現在のモードの決定）を行うことを可能にし得る。従って、ユーザは、他のタスクに集中を維持することができる。例えば、コンピュータ装置は、プログラム又はユーザインターフェースにおける利用可能な動作に関係付けられるリモート触覚効果をユーザに投射してもよい。これは、ユーザが、ディスプレイに焦点を合わせなくても、ユーザインターフェースと相互作用することを可能にし得る。同様に、触覚効果は、操作が利用可能である、完了している、又は所定レベルの重要度を有することの確認として機能してもよい。
一部の実施形態では、位置ベースの触覚効果は、より独自で相互作用可能且つ効果的なユーザインターフェースを可能にしてもよい。例えば、一部の実施形態では、ユーザインターフェースコンポーネントに関係付けられる異なるユーザインターフェースレベルと相互作用しつつ、広範な機能を実行することが可能であり得る。更に、一部の実施形態では、ユーザは、ユーザインターフェースコンポーネント上で体の一部をホバーすることによってユーザインターフェースコンポーネントの位置を見つけて、体の一部を実空間における別の場所に（例えば、ユーザインターフェースコンポーネントに向かって）移動させることによってユーザインターフェースコンポーネントをアクティブ化することが可能であり得る。これは、例えば、ユーザが、ユーザインターフェースコンポーネントに物理的に接触せずに（例えば、その上でタップせずに及び／又はジェスチャを行わずに）、ユーザインターフェースと相互作用することを可能にし得る。ユーザインターフェースコンポーネントに物理的に接触することは、例えば、移動中の自動車においては困難である。即ち、環境動作、認識的負荷及び視覚的阻害物がユーザインターフェース構成要素上で正確にタップすることを困難にし得る。
他の実施形態では、位置ベースの触覚効果は、不可視のユーザインターフェースを可能にしてもよい。例えば、一部の実施形態では、ユーザは、（例えば、ユーザインターフェースレベルに関係付けられる場所で）実空間においてジェスチャを行うことによって、ユーザの指で不可視のユーザインターフェースを探索することが可能であってもよい。ユーザの指が不可視のインターフェース構成要素（例えば、仮想音量スイッチ）の場所と相互作用すると、コンピュータ装置は触覚フィードバックを出力してもよい。これは、ユーザが不可視のインターフェース構成要素の場所を特定することを可能にしてもよい。インターフェースコンポーネントの場所を識別すると、ユーザは、例えば、（別のユーザインターフェースレベルに関係付けられる）実空間における別の場所にユーザの指を移動させることによって、インターフェースコンポーネントと相互作用する（例えば、それを押す）ことが可能であってもよい。これにより、コンピュータ装置は、不可視のインターフェースコンポーネントに関係付けられる機能（例えば、音量レベルを大きくすること）を実行してもよい。更に、コンピュータ装置は、例えば、ユーザ入力の受信を確認するために、ユーザに触覚フィードバックを提供してもよい。
（概論）
上記の方法、システム及び装置は例示である。様々な構成によって、適宜、様々な手続き又はコンポーネントが省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び／又はステージが追加、省略及び／又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は特許請求の範囲を限定しない。
例示的な構成（実装を含む）の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、こうした構成は特定の詳細無しで実施されてもよい。例えば、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細無しで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、記載された技術を実装するための実施可能な説明を当業者に提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。
また、構成は、フロー図又はブロック図として描かれる処理として記載されてもよい。各々が連続した工程として操作を説明している場合があるが、こうした操作の多くは並列的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の非一時的なコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。
複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムのコンポーネントであってもよく、他の規則が本発明のアプリケーションに優先し又はそれを修正してもよい。また、上記の要素が検討される前、間、又は後で多くのステップが行われてもよい。従って、先の記載によって請求項の範囲は縛られない。
本明細書における「適合される」又は「構成される」の使用は、追加のタスク又はステップを実行するように適合又は構成される装置を排除しない開放的且つ包括的な言語を意図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており、即ち、１つ以上の記載された条件又は値に「基づいて」行われる処理、ステップ、計算、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。
本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせで実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。
このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。
このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることができる命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピーディスク、ＣＤ－ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他の装置は、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。
本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化、及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び／又は追加を含むことを排除しないことが理解されるべきである。

Claims (12)

  1. ディスプレイ上に出力される仮想ボタンに対する ジェスチャを検出し且つ前記ジェスチャに関係付けられるセンサ信号を送信するように構成されるセンサであって、前記ジェスチャは少なくとも２つの位置の間におけるオブジェクトの動きを含み、前記少なくとも２つの位置のうち前記ジェスチャの開始位置は前記ディスプレイの表面から離れており、前記少なくとも２つの位置のうち前記ジェスチャの終了位置は前記ディスプレイの表面と接触している、センサと、
    前記センサと通信するプロセッサであって、
    前記センサから前記センサ信号を受信し、
    前記センサ信号に少なくとも部分的に基づいて１つ以上の触覚効果を決定し、前記１つ以上の触覚効果は前記ジェスチャの間中、触覚フィードバックを提供するように構成され、前記触覚フィードバックは、前記仮想ボタンに対応する物理ユーザインターフェースコンポーネントに対して前記ジェスチャが現実になされたときの１つ以上の相互作用の複数の異なる特徴をシミュレートするように、前記ジェスチャ中の前記オブジェクトの前記ディスプレイの表面からの距離に基づいて変化し、
    前記１つ以上の触覚効果に少なくとも部分的に基づいて１つ以上の触覚信号を生成し、且つ
    前記１つ以上の触覚信号を触覚出力装置に送信する
    ように構成されるプロセッサと、
    前記プロセッサから前記１つ以上の触覚信号を受信し且つ前記１つ以上の触覚効果を出力するように構成される触覚出力装置と
    を備える、システム。
  2. 前記１つ以上の触覚効果はリモート触覚効果及びローカル触覚効果を含み、前記プロセッサは、
    前記ジェスチャの終了位置以外の位置において第１の相互作用を検出することに応じて、前記触覚出力装置に前記リモート触覚効果を出力させ、且つ
    前記ジェスチャの終了位置において第２の相互作用を検出することに応じて、前記触覚出力装置に前記ローカル触覚効果を出力させる
    ように更に構成される、請求項１に記載のシステム。
  3. 前記触覚出力装置は、ユーザにより装着されるように構成される装着可能装置に配置される第１の触覚出力装置及び前記ディスプレイの表面に結合される第２の触覚出力装置を含み、
    前記プロセッサは、
    前記ジェスチャの終了位置以外の位置において前記第１の相互作用を検出することに応じて、前記第１の触覚出力装置に前記リモート触覚効果を出力させ、且つ
    前記ジェスチャの終了位置において前記第２の相互作用を検出することに応じて、前記第２の触覚出力装置に前記ローカル触覚効果を出力させる
    ように更に構成される、請求項２に記載のシステム。
  4. 前記ジェスチャは、体の一部の移動を含み、
    前記リモート触覚効果は、前記体の一部との静電結合を生成すること、又は前記体の一部に向かって固体、液体、ガス、プラズマ、音圧波若しくはレーザビームを放出することを含み、
    前記ローカル触覚効果は、振動、テクスチャ、知覚される摩擦係数の変化、表面変形、又は温度の変化を含み、
    前記センサは、カメラ、３Ｄイメージング装置、ジャイロスコープ、グローバルポジショニングシステム（ＧＰＳ）、発光ダイオード（ＬＥＤ）、赤外線センサ、又は超音波トランスデューサを含む、請求項２に記載のシステム。
  5. センサから、ディスプレイ上に出力される仮想ボタンに対するジェスチャに関係付けられるセンサ信号を受信するステップであって、前記ジェスチャは少なくとも２つの位置の間におけるオブジェクトの動きを含み、前記少なくとも２つの位置のうち前記ジェスチャの開始位置は前記ディスプレイの表面から離れており、前記少なくとも２つの位置のうち前記ジェスチャの終了位置は前記ディスプレイの表面と接触している、ステップと、
    前記センサ信号に少なくとも部分的に基づいて１つ以上の触覚効果を決定するステップであって、前記１つ以上の触覚効果は前記ジェスチャの間中、触覚フィードバックを提供するように構成され、前記触覚フィードバックは、前記仮想ボタンに対応する物理ユーザインターフェースコンポーネントに対して前記ジェスチャが現実になされたときの１つ以上の相互作用の複数の異なる特徴をシミュレートするように、前記ジェスチャ中の前記オブジェクトの前記ディスプレイの表面からの距離に基づいて変化するステップと、
    前記１つ以上の触覚効果に少なくとも部分的に基づいて１つ以上の触覚信号を生成するステップと、
    前記１つ以上の触覚信号を触覚出力装置に送信するステップであって、前記触覚出力装置は前記１つ以上の触覚信号を受信し且つ前記１つ以上の触覚効果を出力するように構成される、ステップと
    を含む、方法。
  6. 前記１つ以上の触覚効果は、リモート触覚効果及びローカル触覚効果を含み、
    前記ジェスチャの終了位置以外の位置において第１の相互作用を検出することに応じて、前記リモート触覚効果を出力するステップ、及び
    前記ジェスチャの終了位置において第２の相互作用を検出することに応じて、前記ローカル触覚効果を出力するステップ
    を更に含む、請求項５に記載の方法。
  7. 前記触覚出力装置は、装着可能装置に配置される第１の触覚出力装置及び前記ディスプレイの表面に結合される第２の触覚出力装置を含み、
    前記ジェスチャの終了位置以外の位置において前記第１の相互作用を検出することに応じて、前記第１の触覚出力装置を介して前記リモート触覚効果を出力するステップ、及び
    前記ジェスチャの終了位置において前記第２の相互作用を検出することに応じて、前記第２の触覚出力装置を介して前記ローカル触覚効果を出力するステップ
    を更に含む、請求項６に記載の方法。
  8. 前記ジェスチャは、体の一部の移動を含み、
    前記リモート触覚効果は、前記体の一部との静電結合を生成すること、又は前記体の一部に向かって固体、液体、ガス、プラズマ、音圧波若しくはレーザビームを放出することを含み、
    前記ローカル触覚効果は、振動、テクスチャ、知覚される摩擦係数の変化、表面変形、又は温度の変化を含み、
    前記センサは、カメラ、３Ｄイメージング装置、ジャイロスコープ、グローバルポジショニングシステム（ＧＰＳ）、又は超音波トランスデューサを含む、請求項６に記載の方法。
  9. プログラムコードを含む非一時的なコンピュータ可読媒体であって、プロセッサにより実行されると、前記プログラムコードは、
    センサから、ディスプレイ上に出力される仮想ボタンに対するジェスチャに関係付けられるセンサ信号を受信することであって、前記ジェスチャは少なくとも２つの位置の間におけるオブジェクトの動きを含み、前記少なくとも２つの位置のうち前記ジェスチャの開始位置は前記ディスプレイの表面から離れており、前記少なくとも２つの位置のうち前記ジェスチャの終了位置は前記ディスプレイの表面と接触していること、
    前記センサ信号に少なくとも部分的に基づいて１つ以上の触覚効果を決定することであって、前記１つ以上の触覚効果は前記ジェスチャの間中、触覚フィードバックを提供するように構成され、前記触覚フィードバックは、前記仮想ボタンに対応する物理ユーザインターフェースコンポーネントに対して前記ジェスチャが現実になされたときの１つ以上の相互作用の複数の異なる特徴をシミュレートするように、前記ジェスチャ中の前記オブジェクトの前記ディスプレイの表面からの距離に基づいて変化すること、
    前記１つ以上の触覚効果に少なくとも部分的に基づいて１つ以上の触覚信号を生成すること、及び
    前記１つ以上の触覚信号を触覚出力装置に送信することであって、前記触覚出力装置は前記１つ以上の触覚信号を受信し且つ前記１つ以上の触覚効果を出力するように構成されること
    を前記プロセッサに行わせるように構成される、非一時的なコンピュータ可読媒体。
  10. 前記１つ以上の触覚効果は、リモート触覚効果及びローカル触覚効果を含み、
    前記プロセッサによって実行されると、
    前記ジェスチャの終了位置以外の位置において第１の相互作用を検出することに応じて、前記触覚出力装置に前記リモート触覚効果を出力させること、及び
    前記ジェスチャの終了位置において第２の相互作用を検出することに応じて、前記触覚出力装置に前記ローカル触覚効果を出力させること
    を前記プロセッサに行わせるように構成されるプログラムコードを更に含む、請求項９に記載の非一時的なコンピュータ可読媒体。
  11. 前記触覚出力装置は、装着可能装置に配置される第１の触覚出力装置及び前記ディスプレイの表面に結合される第２の触覚出力装置を含み、
    前記プロセッサによって実行されると、
    前記ジェスチャの終了位置以外の位置において前記第１の相互作用を検出することに応じて、前記第１の触覚出力装置に前記リモート触覚効果を出力させること、及び
    前記ジェスチャの終了位置において前記第２の相互作用を検出することに応じて、前記第２の触覚出力装置に前記ローカル触覚効果を出力させること
    を前記プロセッサに行わせるように構成されるプログラムコードを更に含む、請求項１０に記載の非一時的なコンピュータ可読媒体。
  12. 前記ジェスチャは、体の一部の移動を含み、
    前記リモート触覚効果は、前記体の一部との静電結合を生成すること、又は前記体の一部に向かって固体、液体、ガス、プラズマ、音圧波若しくはレーザビームを放出することを含み、
    前記ローカル触覚効果は、振動、テクスチャ、知覚される摩擦係数の変化、表面変形、又は温度の変化を含み、
    前記センサは、カメラ、３Ｄイメージング装置、ジャイロスコープ、グローバルポジショニングシステム（ＧＰＳ）、又は超音波トランスデューサを含む、請求項１０に記載の非一時的なコンピュータ可読媒体。
JP2016238479A 2015-12-11 2016-12-08 位置ベースの触覚効果のためのシステム及び方法 Active JP7182851B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021145095A JP2022003535A (ja) 2015-12-11 2021-09-07 位置ベースの触覚効果のためのシステム及び方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/966,652 2015-12-11
US14/966,652 US9990078B2 (en) 2015-12-11 2015-12-11 Systems and methods for position-based haptic effects

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021145095A Division JP2022003535A (ja) 2015-12-11 2021-09-07 位置ベースの触覚効果のためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2017107567A JP2017107567A (ja) 2017-06-15
JP7182851B2 true JP7182851B2 (ja) 2022-12-05

Family

ID=57530612

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016238479A Active JP7182851B2 (ja) 2015-12-11 2016-12-08 位置ベースの触覚効果のためのシステム及び方法
JP2021145095A Pending JP2022003535A (ja) 2015-12-11 2021-09-07 位置ベースの触覚効果のためのシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021145095A Pending JP2022003535A (ja) 2015-12-11 2021-09-07 位置ベースの触覚効果のためのシステム及び方法

Country Status (5)

Country Link
US (3) US9990078B2 (ja)
EP (1) EP3179340A1 (ja)
JP (2) JP7182851B2 (ja)
KR (1) KR20170069936A (ja)
CN (1) CN106896910A (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
KR102002112B1 (ko) 2015-04-30 2019-07-19 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN114564143A (zh) 2015-10-14 2022-05-31 麦克赛尔株式会社 终端装置
KR101807655B1 (ko) * 2015-12-01 2017-12-11 주식회사 퓨처플레이 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US9990078B2 (en) 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects
US11003345B2 (en) 2016-05-16 2021-05-11 Google Llc Control-article-based control of a user interface
US9886829B2 (en) * 2016-06-20 2018-02-06 Immersion Corporation Systems and methods for closed-loop control for haptic feedback
US10169918B2 (en) * 2016-06-24 2019-01-01 Microsoft Technology Licensing, Llc Relational rendering of holographic objects
WO2018034053A1 (ja) * 2016-08-18 2018-02-22 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
JP2018045349A (ja) * 2016-09-13 2018-03-22 カシオ計算機株式会社 処理装置、処理方法及びプログラム
US10373452B2 (en) * 2016-11-29 2019-08-06 Immersion Corporation Targeted haptic projection
FR3059945B1 (fr) * 2016-12-14 2019-10-04 Faurecia Interieur Industrie Dispositif de commande en particulier pour vehicule
JP7000683B2 (ja) * 2017-01-20 2022-01-19 富士フイルムビジネスイノベーション株式会社 情報処理システム及びプログラム
US10559283B2 (en) * 2017-03-20 2020-02-11 Paypal, Inc. Automated user device damage remediation
US11126265B2 (en) * 2017-06-14 2021-09-21 Ford Global Technologies, Llc Wearable haptic feedback
CN107309874B (zh) * 2017-06-28 2020-02-07 歌尔科技有限公司 一种机器人控制方法、装置和机器人
US10712931B2 (en) * 2017-08-29 2020-07-14 Apple Inc. Systems for modifying finger sensations during finger press input events
WO2019046945A1 (en) 2017-09-06 2019-03-14 Damon Motors Inc. HAPTICALLY CAPABLE MOTORCYCLE
US10474236B1 (en) * 2017-09-13 2019-11-12 Facebook Technologies, Llc Haptic device for variable bending resistance
WO2019084663A1 (en) 2017-11-02 2019-05-09 Damon Motors Inc. Anticipatory motorcycle safety system
US10678333B2 (en) * 2017-11-14 2020-06-09 Verizon Patent And Licensing Inc. Methods and systems for presenting haptically perceptible virtual objects
KR102462204B1 (ko) 2017-11-21 2022-11-02 삼성전자주식회사 진동을 제공하기 위한 장치 및 방법
KR102486453B1 (ko) * 2017-12-08 2023-01-09 삼성디스플레이 주식회사 표시 장치
EP3502835A1 (en) * 2017-12-20 2019-06-26 Nokia Technologies Oy Gesture control of a data processing apparatus
US20190324549A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Systems, devices, and methods for providing immersive reality interface modes
US20200192480A1 (en) * 2018-12-18 2020-06-18 Immersion Corporation Systems and methods for providing haptic effects based on a user's motion or environment
US11068688B2 (en) * 2019-01-04 2021-07-20 Pierre T. Gandolfo Multi-function ultrasonic sensor controller with fingerprint sensing, haptic feedback, movement recognition, 3D positioning and remote power transfer capabilities
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
EP4004686A1 (en) 2019-07-26 2022-06-01 Google LLC Authentication management through imu and radar
WO2021016751A1 (zh) * 2019-07-26 2021-02-04 深圳市大疆创新科技有限公司 一种点云特征点提取方法、点云传感系统及可移动平台
KR102661485B1 (ko) 2019-08-30 2024-04-29 구글 엘엘씨 일시정지된 레이더 제스처에 대한 시각적 표시자
DE102019216411B4 (de) * 2019-10-24 2022-09-29 Volkswagen Aktiengesellschaft Vorrichtung zum Erfassen einer Eingabe mittels eines Betätigungsobjekts und Verfahren zum Betreiben einer Vorrichtung zum Erfassen einer Eingabe
WO2021207330A2 (en) * 2020-04-08 2021-10-14 Tactual Labs Co. Non-uniform electrode spacing with a bend sensor
JP2021192178A (ja) * 2020-06-05 2021-12-16 ソニーグループ株式会社 デバイス、制御方法及びプログラム
CN114429811A (zh) * 2020-10-29 2022-05-03 京东方科技集团股份有限公司 挂号系统
US11681399B2 (en) * 2021-06-30 2023-06-20 UltraSense Systems, Inc. User-input systems and methods of detecting a user input at a cover member of a user-input system
CN113703607A (zh) * 2021-08-25 2021-11-26 北京京东方技术开发有限公司 一种交互显示装置
US11681373B1 (en) 2021-12-08 2023-06-20 International Business Machines Corporation Finger movement management with haptic feedback in touch-enabled devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100060475A1 (en) 2008-09-10 2010-03-11 Lg Electronics Inc. Mobile terminal and object displaying method using the same
JP2015504320A (ja) 2011-10-20 2015-02-12 コーニンクレッカ フィリップス エヌ ヴェ 医療処置のためのホログラフィユーザインターフェース
JP2015111416A (ja) 2013-11-26 2015-06-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦効果及び振動触覚効果を生成するシステム及び方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7890863B2 (en) * 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
KR101580227B1 (ko) 2007-09-18 2015-12-24 센세그 오와이 감지 자극에 대한 장치 및 방법
EP2212762A4 (en) * 2007-11-19 2011-06-29 Cirque Corp TOUCH PANEL COMBINED ON SCREEN AND HAVING PROXIMITY AND TOUCH SENSING CAPABILITIES
US8373549B2 (en) * 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
US8576181B2 (en) * 2008-05-20 2013-11-05 Lg Electronics Inc. Mobile terminal using proximity touch and wallpaper controlling method thereof
KR101498622B1 (ko) 2008-06-25 2015-03-04 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
US8516397B2 (en) * 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
KR20120028553A (ko) * 2010-09-15 2012-03-23 삼성전자주식회사 다기능 터치 패널과, 이를 포함하는 휴대 단말기 및 그의 운용 방법
JP5728866B2 (ja) * 2010-09-24 2015-06-03 ソニー株式会社 情報処理装置、情報処理端末、情報処理方法およびコンピュータプログラム
US20120242793A1 (en) * 2011-03-21 2012-09-27 Soungmin Im Display device and method of controlling the same
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US9733706B2 (en) * 2011-10-26 2017-08-15 Nokia Technologies Oy Apparatus and associated methods for touchscreen displays
US9207852B1 (en) * 2011-12-20 2015-12-08 Amazon Technologies, Inc. Input mechanisms for electronic devices
CN104205958A (zh) * 2011-12-29 2014-12-10 米格蒂卡斯特有限公司 能够与计算装置通讯的互动基部和标记
JP5957893B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8711118B2 (en) 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
JP2013186737A (ja) * 2012-03-08 2013-09-19 Stanley Electric Co Ltd タッチパネル式操作装置
US9201585B1 (en) * 2012-09-17 2015-12-01 Amazon Technologies, Inc. User interface navigation gestures
KR102035134B1 (ko) * 2012-09-24 2019-10-22 엘지전자 주식회사 영상표시장치, 및 그 동작방법
KR102091077B1 (ko) * 2012-12-14 2020-04-14 삼성전자주식회사 입력 유닛의 피드백을 제어하는 휴대 단말 및 방법과, 이를 제공하는 상기 입력 유닛 및 방법
JP2014222488A (ja) 2013-05-14 2014-11-27 株式会社東芝 描画装置及び描画システム
EP3144780A1 (en) 2013-06-11 2017-03-22 Immersion Corporation Systems and methods for pressure-based haptic effects
JP6117075B2 (ja) * 2013-10-10 2017-04-19 株式会社東海理化電機製作所 触覚呈示装置
US9248840B2 (en) * 2013-12-20 2016-02-02 Immersion Corporation Gesture based input system in a vehicle with haptic feedback
US9965034B2 (en) 2013-12-30 2018-05-08 Immersion Corporation Systems and methods for a haptically-enabled projected user interface
CN106104426B (zh) 2014-03-21 2020-04-03 意美森公司 用于基于力的对象操纵和触觉检测的系统、方法和计算机可读介质
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US10031582B2 (en) 2014-06-05 2018-07-24 Immersion Corporation Systems and methods for induced electrostatic haptic effects
KR102328100B1 (ko) * 2014-11-20 2021-11-17 삼성전자주식회사 복수의 입출력 장치를 제어하는 방법 및 장치
US9600076B2 (en) 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US20160342208A1 (en) 2015-05-20 2016-11-24 Immersion Corporation Haptic effects based on predicted contact
US9990078B2 (en) 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100060475A1 (en) 2008-09-10 2010-03-11 Lg Electronics Inc. Mobile terminal and object displaying method using the same
JP2015504320A (ja) 2011-10-20 2015-02-12 コーニンクレッカ フィリップス エヌ ヴェ 医療処置のためのホログラフィユーザインターフェース
JP2015111416A (ja) 2013-11-26 2015-06-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦効果及び振動触覚効果を生成するシステム及び方法

Also Published As

Publication number Publication date
US20180321787A1 (en) 2018-11-08
US20170168630A1 (en) 2017-06-15
JP2017107567A (ja) 2017-06-15
EP3179340A1 (en) 2017-06-14
CN106896910A (zh) 2017-06-27
KR20170069936A (ko) 2017-06-21
JP2022003535A (ja) 2022-01-11
US10185441B2 (en) 2019-01-22
US9990078B2 (en) 2018-06-05
US20190179477A1 (en) 2019-06-13
US10551964B2 (en) 2020-02-04

Similar Documents

Publication Publication Date Title
JP7182851B2 (ja) 位置ベースの触覚効果のためのシステム及び方法
US10248210B2 (en) Systems and methods for haptically-enabled conformed and multifaceted displays
JP6616546B2 (ja) ストレッチ特性を組み込んだ触覚デバイス
US10606356B2 (en) Systems and methods for haptically-enabled curved devices
US10203757B2 (en) Systems and methods for shape input and output for a haptically-enabled deformable surface
US10474238B2 (en) Systems and methods for virtual affective touch
CN104123035A (zh) 用于支持触觉的可变形表面的系统和方法
US20180011538A1 (en) Multimodal haptic effects
JPWO2015108112A1 (ja) 操作判定装置、操作判定方法、および、プログラム
EP3367216A1 (en) Systems and methods for virtual affective touch
US20200286298A1 (en) Systems and methods for a user interaction proxy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210907

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210907

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210915

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210928

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20211022

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20211026

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220111

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220315

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20220315

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220329

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220412

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220527

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20220926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220927

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221011

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20221018

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20221115

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221122

R150 Certificate of patent or registration of utility model

Ref document number: 7182851

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150