JP6985134B2 - 視野を用いる触覚フィードバック - Google Patents

視野を用いる触覚フィードバック Download PDF

Info

Publication number
JP6985134B2
JP6985134B2 JP2017247341A JP2017247341A JP6985134B2 JP 6985134 B2 JP6985134 B2 JP 6985134B2 JP 2017247341 A JP2017247341 A JP 2017247341A JP 2017247341 A JP2017247341 A JP 2017247341A JP 6985134 B2 JP6985134 B2 JP 6985134B2
Authority
JP
Japan
Prior art keywords
user
tactile
content
processor
tactile effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017247341A
Other languages
English (en)
Other versions
JP2018109974A (ja
JP2018109974A5 (ja
Inventor
ダニー エイ. グラント、
ウィリアム エス. リーン、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2018109974A publication Critical patent/JP2018109974A/ja
Publication of JP2018109974A5 publication Critical patent/JP2018109974A5/ja
Application granted granted Critical
Publication of JP6985134B2 publication Critical patent/JP6985134B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、一般に、ユーザインターフェースデバイスに関する。より詳細には、限定されないが、本開示は、視野を用いる触覚フィードバックに関する。
ディスプレイデバイスを使用して、ディスプレイデバイスのユーザに様々なコンテンツ(例えば、画像、映像等)を提供することができる。また、ディスプレイデバイスは、ユーザの物理的存在及び環境をシミュレートして、ユーザがシミュレートされた環境内の仮想オブジェクトと相互作用することを可能にすることができる仮想現実環境を生成するためにも使用することができる。ユーザは、(コンテンツ又は仮想オブジェクトの方向をタッチする又は見ることにより)ディスプレイデバイスを介して表示されたコンテンツ又は仮想オブジェクトを見る又はそれと相互作用する場合が有る。しかしながら、一部のディスプレイデバイスは触覚フィードバック機能を欠く場合がある。更に、一部のディスプレイデバイス及び仮想現実デバイスは、ディスプレイデバイスを介して表示されたコンテンツ若しくは仮想オブジェクトに関連する触覚フィードバック又はコンテンツ若しくは仮想オブジェクトとユーザの相互作用に関連する触覚フィードバックを提供しない場合が有る。
本開示の様々な実施形態は、視野を用いる触覚フィードバックのためのシステム及び方法を提供する。
一実施形態では、本開示のシステムは、ディスプレイデバイスに通信可能に結合されるコンピュータデバイスを備えてもよい。ディスプレイデバイスは、複数のコンテンツを表示するように構成され得る。また、システムは、コンピュータデバイスに通信可能に結合され、且つディスプレイデバイスに対するコンピュータデバイスのユーザの視野を検出して視野に関連付けられる信号を送信するように構成されるセンサも備える。また、システムは、信号を受信するためにセンサに通信可能に結合されるプロセッサも備える。プロセッサは、信号に少なくとも部分的に基づいてユーザの視野の方向を決定するように構成され得る。また、プロセッサは、ディスプレイデバイスを介して表示され且つユーザの視野の方向内のコンテンツが触覚効果に関連付けられることを決定するように構成され得る。更に、プロセッサは、コンテンツに関連付けられる触覚効果を決定して、コンテンツに関連付けられる触覚効果に関連付けられる触覚信号を送信するように構成され得る。システムは、触覚信号を受信して、触覚効果を出力するように構成される触覚出力デバイスを更に備えてもよい。
別の実施形態では、本開示の方法は、センサによって、コンピュータデバイスに通信可能に結合されるディスプレイデバイスに対するコンピュータデバイスのユーザの視野を検出するステップであって、ディスプレイデバイスは複数のコンテンツを表示するように構成されるステップと、センサによって、視野に関連付けられるセンサ信号をプロセッサに送信するステップと、プロセッサによって、センサ信号に少なくとも部分的に基づいて視野の方向を決定するステップと、プロセッサによって、ディスプレイデバイスを介して表示されるコンテンツが視野の方向に基づいてユーザの視野内であることを決定するステップと、プロセッサによって、コンテンツに関連付けられる触覚効果を決定するステップと、プロセッサによって、触覚効果に関連付けられる触覚信号を触覚出力デバイスに送信するステップと、触覚出力デバイスによって、触覚効果を出力するステップとを含んでもよい。
こうした例示の実施形態は、本主題を限定し又はその限界を定義するためではなく、その理解を支援するための例示を提供するために言及される。例示の実施形態は、詳細な説明において検討され、そこでは更なる説明が提供される。本明細書を吟味することによって、及び/又は請求項に記載の主題の1つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。
本明細書の以下の部分には完全な且つ実施可能な開示がより詳細に説明されている。本明細書は以下の添付の図面を参照する。
一実施形態によるビューの視野を用いる触覚フィードバックのためのシステムを示すブロック図である。 一実施形態による視野を用いる触覚フィードバックのためのシステムの実施形態を示す。 別の実施形態による視野を用いる触覚フィードバックのためのシステムの別の実施形態を示す。 別の実施形態による視野を用いる触覚フィードバックのためのシステムの実施形態を示す。 一実施形態による視野を用いる触覚フィードバックを提供するための方法を実行するためのステップのフローチャートである。 一実施形態による視野を用いる触覚フィードバックを提供するための別の方法を実行するためのステップのフローチャートである。 一実施形態による視野を用いる触覚フィードバックを提供するための別の方法を実行するためのステップのフローチャートである。
次に、多様な及び代替的な例示の実施形態及び添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供されている。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、更なる実施形態をもたらすために別の実施形態において使用されてもよい。従って、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。
(視野を用いる触覚フィードバックの例示)
本開示の1つの例示的な実施形態は、ビデオスクリーン、コンピュータ、又は仮想現実ヘッドセット等のディスプレイデバイスを含む。ディスプレイデバイスは、センサ、メモリ、及びこうした要素の各々と通信するプロセッサを備える。
例示の実施形態では、センサは、ディスプレイデバイスのユーザの視野又は凝視の方向(例えば、ユーザがディスプレイデバイスを又はその方を見ていること)を検出してもよい。例えば、ディスプレイデバイスは、ビデオスクリーン上のコンテンツ(例えば、テキスト、画像、音、映像、キャラクタ、仮想オブジェクト、仮想アニメーション等)に対するユーザの視野を検出するために埋め込みセンサ又は近接センサを有するビデオスクリーンを含んでもよい。センサは、信号をプロセッサに送信してもよく、これはビデオスクリーンに表示され且つ触覚効果に関連付けられるコンテンツがユーザの視野内であるかどうかを決定する。
例示の実施形態では、プロセッサは、触覚効果に関連付けられるコンテンツがユーザの視野内であることを決定することに応じて、ユーザに関連付けられる触覚出力デバイス(例えば、触覚出力デバイスを含むユーザによって装着されるスマートウォッチ)に触覚効果に関連付けられる触覚信号を送信し得る。触覚出力デバイスは、プロセッサから触覚信号を受信して、ユーザの視野におけるコンテンツに関連付けられる1つ以上の触覚効果を出力するように構成される。例示の実施形態では、触覚出力効果は、ユーザの視野におけるコンテンツに関連する1つ以上のイベント(例えば、相互作用、アクション、衝突、又はコンテンツに関連付けられる他のイベント)に対応し得る。従って、例えば、ユーザは、ユーザが見ている特定の仮想キャラクタに関連付けられる触覚効果を知覚し得る。
また、例示の実施形態では、センサは、ディスプレイデバイスとユーザとの間の距離も検出して、距離に対応するセンサ信号をプロセッサに送信してもよく、これはユーザとディスプレイデバイスとの間の距離に少なくとも部分的に基づいて触覚効果の特徴を決定する。例えば、プロセッサは、距離に基づいて触覚効果の振幅、持続時間、周波数等を決定してもよい。この例示的な実施形態では、プロセッサは、ユーザとコンピュータデバイスとの間の距離に基づいて触覚効果の1つ以上の特徴を修正又は調節して、触覚効果を出力する触覚出力デバイスに触覚信号を送信し得る。従って、ユーザは、例えば、ユーザがディスプレイデバイスに接近しているときにはより強い触覚効果を知覚し、ユーザがディスプレイデバイスから離れているときにはより弱い触覚効果を知覚してもよい。
また、例示の実施形態では、プロセッサは、ユーザとユーザの視野内のコンテンツとの間で仮想の又は知覚した距離に少なくとも部分的に基づいて触覚効果の特徴を決定してもよい。例えば、ディスプレイデバイスを介して表示されるコンテンツのサイズ、場所、角度又は他の特徴が、(例えば、プロセッサによって)ユーザに接近しているか又はユーザから離れているようにコンテンツをユーザによって知覚させてもよい。一例として、ディスプレイデバイスを介して表示されたシーンにおける小さな仮想キャラクタが、ユーザから離れているようにユーザによって知覚されてもよい。例示の実施形態では、プロセッサは、仮想の又は知覚される距離に基づいて、触覚効果の振幅、持続時間、周波数等を決定し得る。一例として、プロセッサは、ユーザに接近しているようにユーザが知覚するユーザの視野内のコンテンツに対して強い触覚効果を決定する。
こうした例示は、本明細書で検討される一般的な主題を読者に紹介するために与えられており、本開示の概念をこの例示に限定することを意図していない。以下の節には、図面を参照して様々な追加の特徴及び例が記載されている。図面において、同じ数字は同じ要素を示しており、方向の記載は、例示を記載しているのであって、例示のように、本開示を限定するために使用されるべきではない。
(視野に基づく触覚フィードバックの例示のシステム)
図1は、一実施形態による視野に基づく触覚フィードバックのためのシステム100を示すブロック図である。図1に示された実施形態では、システム100は、バス106を介して他のハードウェアと通信するプロセッサ102を有するコンピュータデバイス101を備える。コンピュータデバイス101は、例えば、モバイルデバイス(例えば、スマートフォン)、タブレット、Eリーダ、スマートウォッチ、ヘッドマウント型ディスプレイ、メガネ、ウェアラブルデバイス、仮想現実コンピュータデバイス等を含んでもよい。
RAM、ROM又はEEPROM等の任意の適切な有形の(及び非一時的な)コンピュータ可読媒体を含み得るメモリ104が、コンピュータデバイス101の動作を構成するプログラムコンポーネントを具現化する。図示の実施形態では、コンピュータデバイス101は、1つ以上のネットワークインターフェースデバイス110、入力/出力(I/O)インターフェースコンポーネント112、及び記憶装置114を更に含む。
ネットワークインターフェースデバイス110は、ネットワーク接続を容易にする1つ以上の任意のネットワークコンポーネントを表し得る。限定されないが、例示には、イーサネット(登録商標)、USB、IEEE1394等の有線インターフェース、及び/又はIEEE802.11、ブルートゥース(登録商標)等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース(例えば、CDMA、GSM(登録商標)、UMTS又は他の移動通信ネットワーク)が含まれる。
I/Oコンポーネント112は、1つ以上のディスプレイ134、ゲームコントローラ、キーボード、マウス、ジョイスティック、カメラ、ボタン、スピーカ、マイクロホン、及び/又はデータの入力若しくは出力に使用される他のハードウェア等のデバイスへの有線又は無線接続を容易にするために使用されてもよい。記憶装置114は、コンピュータデバイス101に含まれ又はプロセッサ102に結合される磁気、光学、又は他の記憶媒体等の不揮発性記憶装置を表す。
一部の実施形態では、コンピュータデバイス101は、タッチセンサ面116を有する。タッチセンサ面116は、ユーザの触覚入力を感知するように構成される任意の表面を表す。1つ以上のタッチセンサ108は、(例えば、物体がタッチセンサ面116に接触する場合に)接触領域における接触を検出して、プロセッサ102に接触に関連付けられる信号を送信するように構成される。任意の適切な数、タイプ、又は配置のタッチセンサ108が使用され得る。例えば、抵抗性及び/又は容量性のセンサが、タッチセンサ面116に組み込まれて、タッチの場所及び圧力、速さ、及び/又は方向等の他の情報を検出するために使用されてもよい。
タッチセンサ108は、追加的に又は代替的に、他のタイプのセンサを含み得る。例えば、タッチ位置を決定するために、タッチセンサ面116のビューを備える光学センサが使用されてもよい。別の例示として、タッチセンサ108は、ディスプレイの側部に取り付けられるLED(Light Emitting Diode)指検出器を含んでもよい。一部の実施形態では、タッチセンサ108は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、タッチセンサ108は、ユーザ相互作用の速さ、圧力及び方向を検出して、この情報をプロセッサ102に送信される信号に組み込んでもよい。従って、例えば、コンピュータデバイス101は、スマートフォンのユーザがタッチセンサ面をタッチするときにユーザ入力を検出するためのタッチセンサ面116(例えば、タッチセンサ式スクリーン)及びタッチセンサ108を含むスマートフォンであり得る。
一部の実施形態では、コンピュータデバイス101は、コンピュータデバイス101のタッチセンサ面116及びディスプレイ134を組み合わせたタッチ可能ディスプレイを備える。タッチセンサ面116は、ディスプレイ134上にオーバレイされてもよく、ディスプレイ134のエクステリアであってもよく、又はディスプレイ134のコンポーネントの上の1つ以上の材料レイヤであってもよい。他の実施形態では、コンピュータデバイス101は、タッチ可能ディスプレイ上に1つ以上の仮想ユーザインターフェースコンポーネント(例えば、ボタン)を含むグラフィカルユーザインターフェース(GUI)を表示してもよく、タッチセンサ面116は、仮想ユーザインターフェースコンポーネントとの相互作用を可能にし得る。
一部の実施形態では、コンピュータデバイス101は、カメラ130を備える。カメラ130は図1においてコンピュータデバイス101の内部に有るように描かれているが、一部の実施形態では、カメラ130はコンピュータデバイス101の外部に有って通信してもよい。例えば、カメラ130は、コンピュータデバイス101の外部に有り、イーサネット、USB、IEEE1394等の有線インターフェース、及び/又はIEEE802.11、ブルートゥース、又はラジオインターフェース等の無線インターフェースを介してコンピュータデバイス101と通信してもよい。
一部の実施形態では、コンピュータデバイス101は1つ以上のセンサ132を備える。一部の実施形態では、センサ132は、例えば、ジャイロスコープ、加速度計、グローバルポジショニングシステム(GPS)ユニット、距離センサ、深度センサ、ブルートゥースデバイス、カメラ、赤外線センサ、クイックレスポンス(QR)コードセンサ等を含んでもよい。一部の実施形態では、センサ132は、コンピュータデバイス101の外部に有り、コンピュータデバイスと有線又は無線で通信する。
一部の実施形態では、コンピュータデバイス101は、ウェアラブルデバイス(例えば、メガネ、ヘッドセット等)を含んでもよく、センサ132は、コンピュータデバイス101のユーザの凝視、視線又は視野を検出する任意のデバイスを含んでもよい。例えば、センサ132は、ディスプレイ134又は別のディスプレイデバイス(例えば、ディスプレイデバイス136)に表示されるコンテンツ(例えば、テキスト、画像、映像、キャラクタ、仮想オブジェクト、仮想アニメーション等)に対するユーザの視野の方向を検出し得る。
一例として、センサ132は、カメラを含むか又はカメラ130に組み込まれてもよい。このようなセンサは、コンピュータデバイス101のユーザの目の画像をキャプチャするように構成されるカメラを含んでもよく、プロセッサ102は、様々な画像処理法及び技術を使用することにより画像に少なくとも部分的に基づいてディスプレイ134又はディスプレイデバイス136上のコンテンツに対するコンピュータデバイス101のユーザの視野の方向を決定し得る。別の実施形態では、センサ132は、コンピュータデバイス101のユーザの目又はユーザの目の近くの筋肉の動きを監視するように構成され、プロセッサ102は、監視された動きに少なくとも部分的に基づいて、ディスプレイ134又はディスプレイデバイス136上のコンテンツに対するユーザの視野の方向を決定するように構成される。更に別の実施形態では、センサ132は、コンピュータデバイス101のユーザの目を動かす筋肉の電気的活動を監視又は測定するように構成されてもよく、プロセッサ102は、ディスプレイ134又はディスプレイデバイス136上のコンテンツに対するユーザの視野の方向を決定するように構成され得る。一部の実施形態では、センサ132は、例えば、機能的磁気共鳴画像法(fMRI)又は脳電図(EEG)に関連付けられるセンサを含む、ユーザの意図又は意思を決定するために使用される他のセンサを含んでもよい。更に別の実施形態では、センサ132は、例えば、ユーザの体又は頭位を解析することを含む、様々な方法及び技術を介してユーザの凝視、視線又は視野を検出してもよい。一例として、センサ132は、ユーザの頭のモーションを検出するか又はユーザの頭位を検出して、ユーザの頭のモーションに関するデータ又はユーザの頭位に関するデータをプロセッサ102に送信するためのヘッドマウント型ディスプレイ又はヘッドマウント型センサを含み、これはデータに基づいてコンピュータデバイス101のユーザの視野の方向を決定することができる。
一部の実施形態では、センサ132は、ディスプレイデバイス136の場所を検出してもよい。例えば、センサ132は、センサ132とブルートゥースディスプレイデバイスとの間の信号強度を解析することにより、別のブルートゥースディスプレイデバイス(例えば、ディスプレイデバイス136がブルートゥースディスプレイデバイスであり得る)の場所を検出するように構成されるブルートゥースデバイス又は他のネットワークデバイスであってもよい。一部の実施形態では、センサ132は、(例えば、センサ132とディスプレイデバイス136との間のブルートゥース信号の強度に基づいて)センサ132、コンピュータデバイス101又はコンピュータデバイス101のユーザとディスプレイデバイス136との間の距離を検出してもよい。一部の実施形態では、センサ132は、任意の適切な方法又は技術によって、ディスプレイデバイス136の場所、又はセンサ132、コンピュータデバイス101若しくはコンピュータデバイス101のユーザとディスプレイデバイス136との間の距離を検出してもよい。
一部の実施形態では、プロセッサ102は単一のセンサ132と通信し、他の実施形態では、プロセッサ102は複数のセンサ132、例えば、カメラ、赤外線センサ、及びブルートゥースデバイスと通信してもよい。センサ132は、プロセッサ102にセンサ信号を送信するように構成される。
一部の実施形態では、システム100は、プロセッサ102と通信する触覚出力デバイス118を更に含む。触覚出力デバイス118は、触覚信号に応答して触覚効果を出力するように構成される。例えば、触覚出力デバイス118は、プロセッサ102からの触覚信号に応じて触覚効果を出力し得る。一部の実施形態では、触覚出力デバイス118は、例えば、振動、絞り、突き、知覚される摩擦係数の変化、疑似テクスチャ、ストロークの感覚、電気触知効果、又は表面変形(例えば、コンピュータデバイス101に関連付けられる表面の変形)、及び/又は固体、液体若しくは気体の吹き出しを含む触覚効果を出力するように構成される。更に、一部の触覚効果は、同じ又は異なるタイプの複数の触覚出力デバイス118を順番に及び/又は同時に使用してもよい。
図1には単一の触覚出力デバイスが示されているが、一部の実施形態では、触覚効果を生ずるために同じ又は異なるタイプの複数の触覚出力デバイス118が使用されてもよい。更に、一部の実施形態では、触覚出力デバイス118は、プロセッサ102と通信し、コンピュータデバイス101の内部に有る。他の実施形態では、触覚出力デバイス118は、コンピュータデバイス101の外部に有り、(例えば、イーサネット、USB、IEEE1394等の有線インターフェース、及び/又はIEEE802.11、ブルートゥース、又はラジオインターフェース等の無線インターフェースを介して)コンピュータデバイス101と通信してもよい。例えば、触覚出力デバイス118は、ウェアラブルデバイス(例えば、リストバンド、ブレスレット、帽子、ヘッドセット、ヘッドバンド等)に関連付けられ(例えば、結合され)、プロセッサ102から触覚信号を受信するように構成されてもよい。
一部の実施形態では、触覚出力デバイス118は、振動を含む触覚効果を出力するように構成される。触覚出力デバイス118は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モータ(ERM)又は線形共振アクチュエータ(LRA)の1つ以上を含んでもよい。
一部の実施形態では、触覚出力デバイス118は、触覚出力デバイス118に関連付けられる表面の知覚される摩擦係数を変調する触覚効果を出力するように構成されてもよい。一部の実施形態では、触覚出力デバイス118は、超音波アクチュエータを含む。超音波アクチュエータは、所定の超音波周波数、例えば、20kHzで振動して、触覚出力デバイス118に関連付けられる表面において知覚される係数を増加又は減少させてもよい。一部の実施形態では、超音波アクチュエータは圧電材料を含んでもよい。
一部の実施形態では、触覚出力デバイス118は、静電気引力を使用して、例えば、静電アクチュエータを使用することによって、触覚効果を出力する。触覚効果は、シミュレートされるテクスチャ、シミュレートされる振動、ストロークの感覚、又はコンピュータデバイス101に関連付けられる表面(タッチセンサ面116)における知覚される摩擦係数の変化を含んでもよい。一部の実施形態では、静電アクチュエータは、導電レイヤ及び絶縁レイヤを含んでもよい。導電レイヤは、任意の半導体又は銅、アルミニウム、金又は銀等の他の導電性材料であってもよい。絶縁レイヤは、ガラス、プラスチック、ポリマー、又は任意の他の絶縁性材料であってもよい。更に、プロセッサ102は、導電レイヤに電気信号、例えば、AC信号を加えることにより静電アクチュエータを動作させてもよい。一部の実施形態では、高電圧増幅器がAC信号を生成してもよい。電気信号は、導電レイヤとタッチセンサ面116に近接する又は接触するオブジェクト(例えば、ユーザの指又は体の他の部分、又はスタイラス)との間に容量結合を生成してもよい。オブジェクトと導電レイヤとの間の引力レベルの変化は、ユーザによって知覚される触覚効果を変化させることができる。
一部の実施形態では、触覚出力デバイス118は、変形触覚効果を出力するように構成される変形デバイスを含む。変形触覚効果は、コンピュータデバイス101に関連付けられる表面の部分を隆起又は下降させることを含んでもよい。例えば、変形触覚効果は、タッチセンサ面116の部分を隆起させることを含んでもよい。一部の実施形態では、変形触覚効果は、コンピュータデバイス101に関連付けられる表面を折り曲げ、折り畳み、丸め、捻り、絞り、屈曲させ、形状変化させ、又はそれ以外の変形をさせることを含んでもよい。例えば、変形触覚効果は、コンピュータデバイス101又はコンピュータデバイス101に関連付けられる表面(例えば、タッチセンサ面116)に力を加えて、それを折り曲げ、折り畳み、丸め、捻り、絞り、屈曲し、形状変化し、又はそれ以外の変形をすることを引き起こしてもよい。
一部の実施形態では、触覚出力デバイス118は、(例えば、コンピュータデバイス101に関連付けられる表面を折り曲げ又は変形させるために)変形触覚効果を出力するように構成される流体を含む。例えば、流体はスマートゲルを含んでもよい。スマートゲルは、1つ又は複数の刺激(例えば、電界、磁界、温度、紫外線、振動、又はpH変化)に応じて変化する機械又は構造的特性を有する流体を含む。例えば、刺激に応じて、スマートゲルは、剛性、容量、透明性、及び/又は色を変化させてもよい。一部の実施形態では、剛性は、変形に対するコンピュータデバイス101に関連付けられる表面(例えば、タッチセンサ面116)の抵抗を含んでもよい。一部の実施形態では、1つ以上のワイヤがスマートゲルに組み込まれ又は結合されてもよい。電流がワイヤを流れるので、熱が放射されて、スマートゲルを拡張又は収縮させることで、コンピュータデバイス101又はコンピュータデバイス101に関連付けられる表面を変形させてもよい。
別の例示として、流体は、レオロジー流体(例えば、磁性流体又は電気流体)を含んでもよい。レオロジー流体は、液体(例えば、油又は水)中に懸濁している金属粒子(例えば、鉄粒子)を含む。電界又は磁界に応じて、流体中の分子の秩序が再編成されて、それにより流体の全体的な制動及び/又は粘度が変更されてもよい。これがコンピュータデバイス101又はコンピュータデバイス101に関連付けられる表面を変形させてもよい。
一部の実施形態では、触覚出力デバイス118は、機械変形デバイスを含む。例えば、一部の実施形態では、触覚出力デバイス118は、変形コンポーネントを回転させるアームに結合されるアクチュエータを含んでもよい。変形コンポーネントは、例えば、楕円形、星形、又は波形形状を含んでもよい。変形コンポーネントは、所定の回転角度でコンピュータデバイス101に関連付けられる表面を動かし、それ以外では動かさないように構成されてもよい。アクチュエータは、圧電アクチュエータ、回転/線形アクチュエータ、ソレノイド、電気活性ポリマアクチュエータ、MFC(macro fiber composite)アクチュエータ、形状記憶合金(SMA)アクチュエータ、及び/又は他のアクチュエータを含んでもよい。アクチュエータが変形コンポーネントを回転させると、変形コンポーネントは表面を動かして、それにより変形を引き起こしてもよい。このような実施形態では、変形コンポーネントは、表面が平坦になる位置で開始してもよい。プロセッサ102から信号を受信することに応じて、アクチュエータは変形コンポーネントを回転させてもよい。変形コンポーネントを回転させることによって、表面の1つ以上の部分が隆起させられ又は下降させられてもよい。一部の実施形態では、変形コンポーネントは、元の位置に戻るように変形コンポーネントを回転させるようにプロセッサ102がアクチュエータに信号を送るまで、この回転した状態で維持されてもよい。
更に、コンピュータデバイス101に関連付けられる表面を変形させるための他の技術又は方法が用いられ得る。例えば、触覚出力デバイス118は、表面再構成可能な触覚基板(限定されないが、例えば、繊維、ナノチューブ、電気活性ポリマー、圧電要素、又は形状記憶合金を含む)からの接触に基づいて、その表面を変形させ又はそのテクスチャを変化させるように構成される可撓性表面レイヤを含んでもよい。一部の実施形態では、触覚出力デバイス118は、例えば、変形機構(例えば、ワイヤに結合されるモータ)、空気若しくは流体ポケット、材料の局部変形、共振機械要素、圧電性材料、微小電気機械システム(“MEMS”)要素若しくはポンプ、熱流体ポケット、可変多孔性膜(variable porosity membranes)、又は層流変調により変形させられる。
メモリ104に関しては、モジュール124、126、128及び129は、視野を用いる触覚フィードバックを提供するための一部の実施形態では、デバイスがどのように構成され得るかを示すように描かれている。一部の実施形態では、モジュール124、126、128及び129は、1つ以上の動作を行うようにプロセッサ102を構成し得るプロセッサ実行可能命令を含んでもよい。
例えば、検出モジュール124が、タッチの位置を決定するためにタッチセンサ108を介してタッチセンサ面116を監視するようにプロセッサ102を構成し得る。例えば、検出モジュール124は、タッチの存在又は不存在を追跡して、タッチが存在する場合、場所、経路、速度、加速度、圧力及び/又は経時的なタッチの他の特性を追跡するためにセンサ108をサンプリングしてもよい。
一部の実施形態では、コンテンツ提供モジュール129は、コンテンツ(例えば、テキスト、画像、音声、映像、キャラクタ、仮想オブジェクト、仮想アニメーション等)をユーザ(例えば、コンピュータデバイス101のユーザ又は別のユーザ)に提供するようにプロセッサ102を構成する。コンテンツがコンピュータ生成画像を含む場合、コンテンツ提供モジュール129は、ディスプレイデバイス上のディスプレイ(例えば、コンピュータデバイス101のディスプレイ134、ディスプレイデバイス136、又はプロセッサ102に通信可能に結合される別のディスプレイ)に対して画像を生成するように構成される。コンテンツが映像及び/又は静止画像を含む場合、コンテンツ提供モジュール129は、映像及び/又は静止画像にアクセスして、ディスプレイデバイスのディスプレイに対して映像及び/又は静止画像のビューを生成するように構成される。コンテンツがオーディオコンテンツを含む場合、コンテンツ提供モジュール129は、ディスプレイ134又はディスプレイデバイス136の一部であり得るスピーカを駆動して対応する音声を出力する電気信号を生成するように構成される。一部の実施形態では、コンテンツ、又はコンテンツが伝達される情報は、図1に示されるように、コンピュータデバイス101の一部であり得る記憶装置114からコンテンツ提供モジュール129によって取得されてもよく、又はコンピュータデバイス101から分離してコンピュータデバイス101に通信可能に結合されてもよい。一部の実施形態では、コンテンツ提供モジュール129は、プロセッサ102にコンテンツを別のデバイスへと送信させ得る。例えば、コンテンツ提供モジュール129は、コンテンツを生成するか又はそれにアクセスして、プロセッサにコンテンツをディスプレイデバイス136へと送信させ得る。
一例として、コンテンツ提供モジュール129は、ディスプレイ134又はディスプレイデバイス136上に表示される仮想環境をプロセッサ102に生成させ得る。仮想環境は、部分的に又は全体的に仮想的である環境を含み得る。例えば、仮想環境は、拡張現実環境、仮想現実環境、ビデオゲーム環境等を含み得る。例示として、プロセッサ102は、ディスプレイ134又はディスプレイデバイス136上にビデオゲームに関連付けられる仮想現実環境を生成し得る。仮想現実環境は、コンピュータデバイス101のユーザが相互作用し得る仮想オブジェクト(例えば、キャラクタ、車両、ボタン、スライダ、ノブ、アイコン又は他のユーザインターフェースコンポーネント)を含み得る。例えば、ユーザは、I/Oコンポーネント112を介してコンピュータデバイス101に通信可能に結合され得るゲームコントローラ、キーボード、マウス、ジョイスティック等を使用して仮想現実環境と相互作用してもよい。プロセッサ102は、I/Oコンポーネント112を介して信号を受信して、I/Oコンポーネント112からの信号に基づいて仮想現実環境内の仮想オブジェクトとの相互作用及び/又は操作を決定してもよい。プロセッサ102は、仮想環境内で相互作用及び/又は操作を発生させてもよい。従って、ユーザは、仮想現実環境における仮想オブジェクトと相互作用するか又はそれを操作することが可能であってもよい。
一部の実施形態では、触覚効果決定モジュール126は、生成するべき触覚効果を決定するためにデータを解析するプログラムコンポーネントを表す。触覚効果決定モジュール126は、1つ以上のアルゴリズム又はルックアップテーブルを使用して出力する1つ以上の触覚効果を選択するコードを含んでもよい。一部の実施形態では、触覚効果決定モジュール126は、触覚効果を決定するためにプロセッサ102によって使用可能な1つ以上のアルゴリズム又はルックアップテーブルを含む。
特に、一部の実施形態では、触覚効果決定モジュール126は、センサ132から受信したセンサ信号に少なくとも部分的に基づいて触覚効果を決定してもよい。例えば、センサ132は、コンピュータデバイス101のユーザの凝視、視線、又は視野の方向を検出して、プロセッサ102にセンサ信号を送信してもよい。プロセッサ102は、センサ信号を受信して、ユーザの凝視又は視野の方向を決定してもよい。触覚効果決定モジュール126は、ユーザの凝視又は視野の決定された方向に少なくとも部分的に基づいて触覚効果を決定してもよい。
例えば、一実施形態では、触覚効果決定モジュール126は、(例えば、コンテンツ提供モジュール129を使用して)コンピュータデバイス101によって提供され得る様々なコンテンツに関連付けられる様々な触覚効果に対応するデータを含む1つ以上のルックアップテーブル又はデータベースにプロセッサ102をアクセスさせてもよい。また、触覚効果決定モジュール126は、コンピュータデバイス101によって表示される様々なコンテンツの位置又は場所(例えば、ディスプレイ134又はディスプレイデバイス136を介して表示され得る様々なコンテンツの位置又は場所)に対応するデータを含む1つ以上のルックアップテーブル又はデータベースにプロセッサ102をアクセスさせてもよい。この実施形態では、プロセッサ102は、1つ以上のルックアップテーブル又はデータベースにアクセスし、ユーザの凝視又は視野の決定された方向に基づいてユーザが見ているコンテンツに関連付けられる1つ以上の触覚効果を選択することができる。一例として、プロセッサ102は、ディスプレイ134を介してユーザがコンピュータデバイス101によって提供される特定の仮想オブジェクト又はキャラクタを見ている又はその方向を見ていることを決定し得る。この決定に基づいて、プロセッサ102は、特定の仮想オブジェクト又はキャラクタに関連付けられる触覚効果を選択し得る。一部の例では、触覚効果は、ユーザが見ているコンテンツに関連する触覚効果をユーザが知覚又は体験することを可能にしてもよい。例えば、ユーザがエンジンをかけている車を見ている場合、触覚効果は、ユーザがエンジンをかけていることを知覚することを可能にし得る振動又は一連の振動を含み得る。
また、プロセッサ102は、ユーザが1つ以上の触覚効果に関連付けられるコンテンツを見ている又はその方向を見ていることを決定し、且つユーザとコンテンツとの間の仮想的な又は知覚される距離に基づいて触覚効果の特徴(例えば、振幅、持続時間、場所、タイプ、周波数等)を決定してもよい。例えば、一実施形態では、触覚効果決定モジュール126は、ユーザとコンテンツとの間の知覚される又は仮想的な距離に対応するデータ(例えば、ユーザに接近している又はユーザから離れているコンテンツをユーザが知覚するかどうか)及び/又はユーザとコンテンツとの間の知覚される又は仮想的な距離を調節又は修正するために使用され得るコンテンツの様々なパラメータに対応するデータ(例えば、サイズ、ディスプレイデバイス上の場所、コンテンツの表示の角度等)を含む1つ以上のルックアップテーブル又はデータベースにプロセッサ102をアクセスさせてもよい。一例として、ユーザから離れている仮想キャラクタをユーザに知覚させるために、仮想キャラクタはディスプレイ134を介して小さな仮想キャラクタとして表示されてもよい。この例示的な実施形態では、プロセッサ102は、1つ以上のルックアップテーブル又はデータベースにアクセスして、ユーザとコンテンツとの間の仮想的な又は知覚可能な距離を決定して、知覚された仮想的な又は知覚された距離に基づいて触覚効果の特徴を決定することができる。一例として、プロセッサ102は、仮想オブジェクトがユーザから離れているようにユーザが知覚するように、小さな仮想オブジェクトとしてディスプレイ134を介して表示されている仮想オブジェクトをユーザが見ている又はその方向を見ていることを決定することができる。プロセッサ102は、仮想オブジェクトが離れているようにユーザが知覚することに基づいて仮想オブジェクトに関連付けられる弱い触覚効果を決定し得る。従って、例えば、ユーザがシーンのバックグラウンドで飛び上がったり、飛び降りたりしている小さなキャラクタを見ている場合に(例えば、キャラクタがユーザから離れているとユーザが知覚する場合)、触覚効果は弱い振動であってもよい。
別の実施形態では、プロセッサ102は、1つ以上の触覚効果に関連付けられる複数のコンテンツをユーザが見ている又はその方向を見ていることを決定し得る。この実施形態では、触覚効果決定モジュール126は、ユーザが見ている各コンテンツに基づいて触覚効果をプロセッサ102に決定させ得る。一例として、プロセッサ102は、ディスプレイ134を介してユーザがコンピュータデバイス101によって提供される第1の仮想キャラクタを見ている又はその方向を見ていることを決定し得る。この決定に基づいて、プロセッサ102は、第1の仮想キャラクタに関連付けられる第1の触覚効果(例えば、振動)を選択し得る。また、プロセッサ102は、ディスプレイ134を介してコンピュータデバイス101によって提供される第2の仮想キャラクタをユーザが見ている又はその方向を見ていることも決定し得る(例えば、第1の仮想キャラクタが第2の仮想キャラクタの近くに位置している場合、ユーザは第1及び第2の仮想キャラクタを同時に見ていてもよい)。この決定に基づいて、プロセッサは、第2の仮想キャラクタに関連付けられる第2の触覚効果を選択し得る。一部の実施形態では、第1の仮想キャラクタに関連付けられる第1の触覚効果は、第2の仮想キャラクタに関連付けられる第2の触覚効果とは異なっていてもよい。一部の実施形態では、プロセッサ102は、第1及び第2の仮想キャラクタをユーザが見ている又はその方向を見ていることに基づいて、第1の仮想キャラクタに関連付けられる第1の触覚効果の一部と第2の仮想キャラクタに関連付けられる第2の触覚効果の一部の混合を含む第3の触覚効果を選択及び決定し得る。
また、一部の実施形態では、プロセッサ102は、1つ以上の触覚効果に関連付けられる様々なコンテンツをユーザが見ている又はその方向を見ていることに応答して、第1、第2又は第3の触覚効果の特徴も選択及び決定し得る。例えば、プロセッサ102は、第1の仮想キャラクタ又は第2の仮想キャラクタの方に向けられたユーザの視野の比率に基づいて第1、第2又は第3の触覚効果の振幅を決定し得る。一例として、プロセッサ102は、ユーザの視野の半分が第1の仮想キャラクタの方に向けられていること及びユーザの視野の半分が第2の仮想キャラクタの方に向けられていることを決定し得る。この決定に基づいて、プロセッサ102は、第1の仮想キャラクタに関連付けられる第1の触覚効果の振幅を半分の振幅に調節し、且つ第2の仮想キャラクタに関連付けられる第2の触覚効果の振幅を半分の振幅に調節し得る。従って、一部の例では、コンピュータデバイス101のユーザによって知覚される触覚効果の特徴は、ディスプレイ134又はディスプレイデバイス136によって表示されるコンテンツの方に向けられたユーザの凝視、視線又はユーザの視野の一部に比例して又は依存して変化してもよい。
別の実施形態では、プロセッサ102は、センサ信号に基づいてユーザがディスプレイデバイス136又はディスプレイ134の一部を見ている又はその方向を見ていることを決定し得る。例えば、センサ132は、ユーザの凝視又は視野の方向がディスプレイデバイス136又はディスプレイ134の第1の部分に向かっていることを検出して、ユーザの凝視又は視野の方向を示すセンサ信号をプロセッサ102に送信してもよい。プロセッサ102は、センサ信号を受信して、ユーザの凝視又は視野の方向を決定してもよい。触覚効果決定モジュール126は、ディスプレイデバイス136又はディスプレイ134の様々な部分又は場所に関連付けられる様々な触覚効果に対応するデータを含む1つ以上のルックアップテーブル又はデータベースにプロセッサ102をアクセスさせてもよい。プロセッサ102は、1つ以上のルックアップテーブル又はデータベースにアクセスして、ユーザが見ている又は向いているディスプレイデバイス136又はディスプレイ134の第1の部分に関連付けられる1つ以上の触覚効果を選択し得る。一例として、プロセッサ102は、ユーザがディスプレイ134の左部を見ている又はその方向を見ていることを決定し得る。この決定に基づいて、プロセッサ102は、ディスプレイ134の左部に関連付けられる触覚効果を選択し得る。一部の例では、触覚効果は、ユーザが見ているディスプレイ134又はディスプレイデバイス136の部分に表示されているコンテンツに関連する触覚効果をコンピュータデバイス101のユーザに知覚又は体験させることが可能であってもよい。例えば、衝突又は一連の衝突が表示されているディスプレイ134の部分をユーザが見ている場合、触覚効果は、各衝突に対応する振動又は一連の振動を含んでもよく、これによってユーザは1つ以上の衝突に関連付けられる触覚効果を体験することが可能になる。
一部の実施形態では、プロセッサ102は、ユーザがディスプレイ134又はディスプレイデバイス136の複数の部分を見ている又はそれらの方向を見ていることを決定し得る。この実施形態では、触覚効果決定モジュール126は、ディスプレイ134又はディスプレイデバイス136の複数の部分をユーザが見ていることに基づいて触覚効果をプロセッサ102に決定させ得る。また、プロセッサ102は、ユーザがディスプレイ134又はディスプレイデバイス136の複数の部分を見ている又はそれらの方向を見ていることを決定することに応答して、触覚効果の特徴(例えば、振幅、持続時間、場所、タイプ、周波数等)を選択又は決定し得る。
一例として、プロセッサ102は、ユーザがディスプレイ134の第1の部分を見ている又はその方向を見ていることを決定し得る。また、プロセッサ102は、ユーザがディスプレイ134の第2の部分を見ている又はその方向を見ていることも決定し得る。例えば、第1の部分はディスプレイ134の上部であってもよく、第2の部分はディスプレイ134の左部であってもよく、ユーザは第1及び第2の部分を同時に見ていてもよい(例えば、ディスプレイ134の左上部を見ている)。プロセッサ102は、ユーザがディスプレイ134の第1及び第2の部分を見ていることに基づいて1つ以上の触覚効果を含み得る触覚効果(例えば、振動)を決定し得る。例えば、プロセッサ102は、ディスプレイ134の上部、左部、又は左上部に関連付けられる触覚効果を選択し得る。一部の例では、プロセッサ102は、上部に関連付けられる第1の触覚効果及び左部に関連付けられる第2の触覚効果を選択し得る。一部の例では、ディスプレイ134の上部に関連付けられる触覚効果は、ディスプレイ134の左部に関連付けられる触覚効果とは異なり得る。
一部の実施形態では、プロセッサ102は、ディスプレイ134の上部又は左部の方に向けられたユーザの視野の比率に基づいて触覚効果の振幅を決定し得る。一例として、プロセッサ102は、ユーザの視野の3分の1がディスプレイ134の上部の方に向けられていること及びユーザの視野の3分の2がディスプレイ134の左部の方に向けられていることを決定し得る。この決定に基づいて、プロセッサ102は、上部に関連付けられる触覚効果の振幅を3分の1の振幅に調節し、且つ左部に関連付けられる触覚効果の振幅を3分の2の振幅に調節し得る。従って、一部の例では、コンピュータデバイス101のユーザによって知覚される触覚効果又は触覚効果の特徴は、ディスプレイ134又はディスプレイデバイス136の一部の方に向けられたユーザの凝視、視線又はユーザの視野の比率に比例して又は依存して変化してもよい。
このようにして、視野に基づく触覚フィードバックのためのシステム100は、ユーザが見ている特定のコンテンツに関連する又はユーザが見ているディスプレイデバイスの特定の部分に表示されたコンテンツに関連する1つ以上の触覚効果をユーザに提供することができ、これはユーザがディスプレイデバイス上のコンテンツを見るときにより没入感のある体験をユーザに提供することができる。従って、例えば、ユーザが見ていないか又は向いていないコンテンツに関連付けられる触覚効果によってユーザが困惑しないように、ユーザが見ているコンテンツに関連する触覚効果をユーザは知覚することができる。
別の実施形態では、プロセッサ102は、センサ132からセンサ信号を受信して、(例えば、センサ132とディスプレイ134又はディスプレイデバイス136との間におけるブルートゥース信号の強度に基づいて)センサ132、コンピュータデバイス101又はコンピュータデバイス101のユーザとディスプレイ134又はディスプレイデバイス134との間の距離を決定してもよい。この実施形態では、触覚効果決定モジュール126は、決定された距離に少なくとも部分的に基づいて触覚効果をプロセッサ102に決定させ得る。また、触覚効果決定モジュール126は、決定された距離に少なくとも部分的に基づいて触覚効果の特徴(例えば、振幅、持続時間、場所、タイプ、周波数等)をプロセッサ102に選択又は決定させてもよい。
一例として、プロセッサ102は、ユーザがディスプレイデバイス136又はディスプレイデバイス136に表示されたコンテンツに接近していることを決定し得る。プロセッサ102は、ユーザがディスプレイデバイス136又はディスプレイデバイス136に表示されたコンテンツに接近していることに基づいて触覚効果を決定し得る。例えば、触覚効果は、ユーザがディスプレイデバイス136に接近している場合は強い又は長い触覚効果であり得る。別の例示として、プロセッサ102は、ユーザがディスプレイデバイス136又はディスプレイデバイス136に表示されたコンテンツから離れていることを決定して、この決定に基づいて弱い又は短い触覚効果を決定し得る。
別の実施形態では、触覚効果決定モジュール126は、コンテンツ提供モジュール129によって提供されるコンテンツに基づいて触覚効果を決定するコードを含んでもよい。例えば、コンテンツ提供モジュール129は、ディスプレイデバイス136又はディスプレイ134に出力される視覚コンテンツを提供してもよい。一部の実施形態では、触覚効果決定モジュール126は、視覚コンテンツに関連付けられる触覚効果を決定してもよい。例えば、このような実施形態では、触覚効果決定モジュール126は、ディスプレイデバイス136によって提供される映像に関連付けられる触覚トラックを提供するための触覚効果を決定してもよい。触覚トラックは、提供されている映像の中で発生するイベントに対応する触覚効果(例えば、振動)又は一連の触覚効果を含み得る。例えば、映像が一連の爆発を含む場合、触覚トラックは、各爆発に対応する一連の振動であり得る。従って、ユーザが映像を見るとき、ユーザは映像に関連付けられる触覚効果を知覚し得る。
一部の実施形態では、触覚効果決定モジュール126は、タッチセンサ面116におけるタッチの場所に基づいて、出力する触覚効果を決定するコード、及び効果をシミュレートするために提供する1つ以上の触覚効果を選択するコードを含んでもよい。例えば、ディスプレイ134における仮想オブジェクト(例えば、仮想家具、自動車、動物、漫画キャラクタ、ボタン、レバー、ロゴ、又は人物)の存在をシミュレートするためにタッチの場所に基づいて異なる触覚効果が選択されてもよい。更に、一部の実施形態では、触覚効果決定モジュール126は、仮想オブジェクトの大きさ、色、場所、動き、及び/又は他の特徴に基づいて、出力するべき触覚効果を決定するコード、及び効果をシミュレートするために提供するべき1つ以上の触覚効果を選択するコードを含んでもよい。例えば、触覚効果は、仮想オブジェクトの色に基づいて選択されてもよい(例えば、仮想オブジェクトが赤である場合に強い振動、及び仮想オブジェクトが緑である場合に弱い振動)。
一部の実施形態では、触覚効果決定モジュール126は、イベントに基づいて触覚効果を決定するコードを含む。本明細書で使用されるイベントは、関連する触覚効果を含む可能性があるコンピュータデバイス101の動作の間に発生する任意の相互作用、アクション、衝突、又は他のイベントである。一部の実施形態では、イベントは、ユーザ入力(例えば、ボタン押し下げ、ジョイスティックを操作すること、タッチセンサ面116と相互作用すること、又は装置を傾け若しくは方向付けること)、システム状態(例えば、バッテリ低下、メモリ不足、又はシステムがメッセージ、着信電話呼び出し、通知又は更新を受信することに基づいて生成される通知等のシステム通知)、送信データ、受信データ、又はプログラムイベントを含んでもよい(例えば、プログラムがゲームであれば、プログラムイベントは爆発、銃撃、衝突、ゲームキャラクタ間の相互作用、又は新たなレベルに進むこと、又は凹凸のある地形を運転することを含んでもよい)。
一部の実施形態では、触覚効果決定モジュール126は、触覚効果を生成又は出力するために、提供するべき1つ以上の触覚効果、及び/又は作動させるべき1つ以上の触覚出力デバイス118をプロセッサ102に選択させ得る。
一部の実施形態では、触覚効果生成モジュール128は、選択された触覚効果を生成するためにプロセッサ102に触覚信号を生成させて触覚出力デバイス118、159へと送信させるプログラミングを表す。一部の例では、触覚効果生成モジュール128は、触覚効果決定モジュール126によって決定される触覚効果を触覚出力デバイス118に生成させる。例えば、触覚効果生成モジュール128は、選択された触覚効果を生成するために、記憶された波形又はコマンドにアクセスして、触覚出力デバイス118に送信してもよい。例えば、触覚効果生成モジュール128は、プロセッサ102によって、1つ以上の触覚効果に関連付けられる1つ以上の触覚信号を示すデータを含むルックアップテーブルにアクセスし、特定の触覚効果を生成するために触覚出力デバイス118に送信するべき波形を決定してもよい。一部の実施形態では、触覚効果生成モジュール128は、触覚信号を決定するためのアルゴリズムを含んでもよい。触覚効果生成モジュール128は、触覚効果に対する目標座標(例えば、触覚効果を出力するタッチセンサ面116等のコンピュータデバイス101上の場所に対する座標)を決定するためのアルゴリズムを含んでもよい。例えば、触覚効果生成モジュール128は、触覚効果に対する目標座標を決定するためにタッチセンサ面116上のオブジェクトのタッチの場所を示すセンサ信号をプロセッサ102に使用させてもよく、これはタッチの場所に対応してもよい。一部の実施形態では、触覚出力デバイス118は、1つ以上の触覚出力デバイスを含んでもよい。このような実施形態では、触覚効果生成モジュール128は、選択された触覚効果を生成するためにプロセッサ102によって触覚信号を1つ以上の触覚出力デバイス118に送信させてもよい。
一部の実施形態では、ディスプレイデバイス136は、例えば、モバイルデバイス(例えば、スマートフォン)、タブレット、Eリーダ、スマートウォッチ、ヘッドマウント型ディスプレイ、ウェアラブルデバイス、ビデオスクリーン、ヘッドセット、仮想現実ディスプレイデバイス、又はコンテンツを提供するためのディスプレイを含む任意の他のデバイスを含む。
ディスプレイデバイス136は、プロセッサ138、メモリ140、バス142、I/Oコンポーネント144、記憶装置146、ネットワークインターフェースデバイス148、ディスプレイ150、タッチセンサ面152、タッチセンサ154、カメラ156、センサ158、及び触覚出力デバイス159を含む。これらの各々は、コンピュータデバイス101のプロセッサ104、メモリ102、バス106、I/Oコンポーネント112、記憶装置114、ネットワークインターフェースデバイス110、ディスプレイ134、タッチセンサ面116、タッチセンサ108、カメラ130、センサ132、及び触覚出力デバイス118と実質的に同様に構成され得るが、そうでなくてもよい。一部の実施形態では、コンピュータデバイス又はディスプレイデバイス136は、図1に記載の全ての又は一部のコンポーネントを含んでもよい。一例として、コンピュータデバイス101はスマートフォンであってもよく、ディスプレイデバイス136はコンピュータデバイス101のユーザが見ている又は向いているタブレットであり得る。このような例では、コンピュータデバイス又はディスプレイデバイス136は、図1に記載の全ての又は一部のコンポーネントを含み得る。
コンピュータデバイス101は、ディスプレイデバイス136に通信可能に結合されてもよい。例えば、コンピュータデバイス101及びディスプレイデバイス136は、ネットワークインターフェースデバイス110及び148を使用して通信し得る(例えば、データ又は信号172、174を送信又は受信する)。例えば、コンピュータデバイス101及びディスプレイデバイス136の各々は、共通の無線ネットワークに接続されてもよく、無線ネットワークを介して通信することができる。別の例示として、コンピュータデバイス101及びディスプレイデバイス136は、ブルートゥース接続を介して通信可能に結合され得る。
一部の実施形態では、ディスプレイデバイス136は、コンピュータデバイス101のユーザ又はディスプレイデバイス136にコンテンツを提供するために使用され得るディスプレイデバイスであってもよい。例えば、ディスプレイデバイス136は、テキスト、画像、音声、映像、キャラクタ、仮想オブジェクト、仮想アニメーション等を提供するために使用され得る。一例として、ディスプレイデバイス136は、仮想環境(例えば、拡張現実環境、仮想現実環境、ビデオゲーム環境等)をユーザに提供するために使用され得る。一例として、ディスプレイデバイス136は、ユーザが相互作用し得る仮想オブジェクト(例えば、キャラクタ、車両、ボタン、スライダ、ノブ、アイコン又は他のユーザインターフェースコンポーネント)を含む仮想現実環境を提供してもよい。例えば、ユーザは、I/Oコンポーネント112、144を介してコンピュータデバイス101又はディスプレイデバイス136に通信可能に結合され得るコンピュータデバイス101又は1つ以上のゲームコントローラを使用して仮想現実環境と相互作用してもよい。プロセッサ102、138は、I/Oコンポーネント112、144を介してゲームコントローラから信号を受信して、I/Oコンポーネント112、144からの信号に基づいて仮想現実環境内の仮想オブジェクトとの相互作用及び/又は操作を決定してもよい。プロセッサ102、138は、仮想環境内で相互作用及び/又は操作を発生させてもよい。一例として、コンピュータデバイス101はスマートフォンであってもよく、ディスプレイデバイス136は1つ以上の仮想オブジェクトを表示している仮想現実ディスプレイデバイスであり得る。スマートフォンのユーザは、仮想現実ディスプレイデバイスによって表示される仮想オブジェクトを見ているか又はその方に向いていてもよく、ユーザは、スマートフォンによって仮想現実ディスプレイデバイスに伝達され得るスマートフォンへの1つ以上のユーザ入力を提供することによって、ユーザが見ている仮想オブジェクトと相互作用し又はそれを制御してもよい。従って、ユーザは、仮想現実環境における仮想オブジェクトと相互作用するか又はそれを操作することが可能であってもよい。
一部の実施形態では、ディスプレイデバイス136のセンサ158は、コンピュータデバイス101又はディスプレイデバイス136のユーザの凝視、視線又は視野を検出してもよい。例えば、センサ158は、コンピュータデバイス101又はディスプレイデバイス136のユーザの凝視、視線又は視野を検出するためのセンサ132と実質的に同様に構成されてもよい。
一部の実施形態では、メモリ140は、モジュール160、162、164、166を含む。一部の実施形態では、メモリ140は、モジュール160、162、164、166の全て又は一部を含む。モジュール160、162、164、166の各々は、コンピュータデバイス101の各モジュール124、126、128及び129と実質的に同様に構成され得る。
一部の実施形態では、コンテンツ提供モジュール166は、コンテンツ提供モジュール129と実質的に同様に構成されてもよく、ユーザ(例えば、コンピュータデバイス101のユーザ又は別のユーザ)にコンテンツ(例えば、テキスト、画像、音声、映像、アニメーショングラフィックス、仮想オブジェクト、仮想環境等)を提供するようにプロセッサ138を構成し得る。一部の実施形態では、コンテンツ、又はコンテンツが導かれる情報は、別のデバイス(例えば、コンピュータデバイス101)から取得されてもよい。例えば、コンテンツ提供モジュール166は、コンピュータデバイス101からコンテンツを含むデータをプロセッサ138に受信させるように構成され得る。コンテンツは、(例えば、ディスプレイ150を介して)ディスプレイデバイス136によって表示されてもよい。
一部の実施形態では、触覚効果決定モジュール162は、触覚効果決定モジュール126及びプロセッサ102に関して先に記載されたのと実質的に同様にセンサ158から受信したセンサ信号に少なくとも部分的に基づいて、触覚効果をプロセッサ138に決定させてもよい。例えば、触覚効果決定モジュール162は、コンピュータデバイス101のユーザの凝視又は視野の方向に基づいて、1つ以上の触覚効果をプロセッサ138に決定させてもよい。一例として、触覚効果決定モジュール162は、触覚効果に関連付けられ且つディスプレイデバイス136に表示されたコンテンツをユーザが見ているか又はその方向を見ていることを決定することに応答して、1つ以上の触覚効果プロセッサ138に決定させてもよい。別の例として、触覚効果決定モジュール162は、ユーザがディスプレイデバイス136の一部を見ているか又はその方向を見ていることを決定することに応答して、1つ以上の触覚効果をプロセッサ138に決定させてもよい。別の例示として、触覚効果決定モジュール162は、コンピュータデバイス101又はディスプレイデバイス136のユーザの凝視又は視野の方向に基づいて、触覚効果の特徴をプロセッサ138に決定させ得る。別の実施形態では、触覚効果決定モジュール162は、ユーザとコンテンツとの間の仮想的な又は知覚された距離に基づいて、触覚効果の特徴をプロセッサ138に決定させ得る。別の実施形態では、触覚効果決定モジュール162は、コンピュータデバイス136又はディスプレイデバイス158のユーザとディスプレイデバイス136又はセンサ158との間の距離に基づいて、触覚効果の特徴をプロセッサ138に決定させ得る。更に、一部の実施形態では、触覚効果決定モジュール162は、触覚効果を生成又は出力するために、提供するべき1つ以上の触覚効果、及び/又は作動させるべき1つ以上の触覚出力デバイス118をプロセッサ102に選択させ得る。
一部の実施形態では、触覚効果生成モジュール164は、選択された触覚効果を生成するためにプロセッサ138に触覚信号を生成させて触覚出力デバイス118又は159へと送信させるプログラミングを表す。一部の例では、触覚効果生成モジュール164は、触覚効果決定モジュール162によって決定される触覚効果を触覚出力デバイス118、159に生成させる。
一例として、コンピュータデバイス101はスマートウォッチであってもよく、ディスプレイデバイス136はスマートウォッチを装着しているユーザが見ているタブレットであり得る。このような例では、タブレットは、(例えば、コンテンツ提供モジュール166を使用してディスプレイ150を介してコンテンツを提供するために)タブレットのディスプレイを介してユーザにコンテンツを表示してもよく、センサ158はユーザの凝視の方向を決定することができる。タブレットのプロセッサ(例えば、プロセッサ138)は、タブレットによって表示され且つ触覚効果に関連付けられるコンテンツをユーザが見ていることを決定することに応答して触覚効果を決定し得る。タブレットのプロセッサは、ユーザによって知覚される触覚効果を生成するために、触覚信号を生成してスマートウォッチの触覚デバイス(例えば、触覚デバイス118)又はタブレットの触覚デバイス(例えば、触覚出力デバイス159)に送信し得る。例えば、スマートウォッチ又はタブレットによって触覚効果が出力されてもよく、ユーザは、ユーザがスマートウォッチを装着しているとき又はユーザがタブレットと接触している場合(例えば、タブレットにタッチしている又はそれを握っている場合)に触覚効果を知覚してもよい。
図2は、視野を用いる触覚フィードバックのためのシステム200の実施形態を示す。システム200は、コンピュータデバイス101a−b(例えば、図1のコンピュータデバイス101)及びディスプレイデバイス136を含む。
図2に示された例では、ディスプレイデバイス136は、コンピュータデバイス101a−bのユーザ202a−bにコンテンツを表示するように構成される任意のディスプレイデバイス(例えば、ビデオスクリーン)であり得る。例えば、ディスプレイデバイス136のプロセッサは、ディスプレイデバイス136によって表示されるコンテンツを生成してもよい。別の例では、コンピュータデバイス101のプロセッサ(例えば、図1のプロセッサ102)は、コンテンツを生成してコンテンツを含むデータをディスプレイデバイス136に送信してもよく、ディスプレイデバイス136はコンテンツを表示するように構成され得る。
一部の実施形態では、ディスプレイデバイス136又はコンピュータデバイス101a−bは、ディスプレイデバイス136に表示されるコンテンツに関連付けられる1つ以上の触覚効果を決定してもよい。例えば、コンテンツは映像又はビデオゲームを含んでもよく、コンピュータデバイス101a−bはディスプレイデバイス136に表示されたビデオゲーム又は映像コンテンツに対応する1つ以上の触覚効果を(例えば、図1の触覚出力デバイス118を介して)出力してもよい。一例として、映像コンテンツは、1つ以上のアクション又は相互作用(例えば、ディスプレイデバイス136によって表示された映像内のキャラクタ又はオブジェクト間の相互作用)を含んでもよい。コンピュータデバイス101a−bは、ディスプレイデバイス136に表示されるとユーザ202a−bがアクション及び/又は相互作用を知覚できるようにアクション又は相互作用に関連付けられる1つ以上の振動を出力し得る。
一部の実施形態では、ディスプレイデバイス136はセンサ203を備え、これは図1のカメラ156又はセンサ158と実質的に同様に構成されてもよい。一部の実施形態では、センサ203は、ディスプレイデバイス136の内部に有るか又はディスプレイデバイス136の外部に有り、(例えば、有線又は無線通信リンクを介して)ディスプレイデバイス136に通信可能に結合されてもよい。センサ203は、ユーザ202aの視線若しくは視野210又はユーザ202aの凝視212a−bの方向を検出するように構成されてもよい。また、センサ158は、ユーザ202bの視線又は視野214を検出してもよい。
一部の実施形態では、センサ203は、ユーザ202aの検出された視線又は視野210、ユーザ202aの凝視の方向、又はユーザ202bの視線又は視野214を示すデータを送信してもよい。例えば、センサ203は、ユーザ202aの視野210又はユーザ202aの凝視212a−bの方向を検出してもよい。センサ203は、ユーザ202aの視野210又は凝視212a−bの方向を示すセンサ信号をディスプレイデバイス136のプロセッサ(例えば、図1のプロセッサ138)に送信してもよく、これはデータに基づいてユーザ202aの視野210又は凝視212a−bの方向を決定してもよい。
一部の実施形態では、ディスプレイデバイス136は、センサ203からのセンサ信号に少なくとも部分的に基づいて1つ以上の触覚効果を決定してもよい。触覚効果の各々は、振動又は任意の他の触覚効果を含んでもよい。例えば、一部の実施形態では、ディスプレイデバイス136は、ユーザ202aの視野210又はユーザ202aの凝視212a−bの方向に基づいて触覚効果を決定してもよい。このような実施形態では、ディスプレイデバイス136は、センサ203からのデータに基づいて、ディスプレイデバイス136を介して表示された仮想オブジェクト204、206をユーザが見ていること又はその方向を見ていることを決定して、仮想オブジェクト204に関連付けられる第1の触覚効果(例えば、振動)及び仮想オブジェクト206に関連付けられる第2の触覚効果(例えば、別の振動)を決定してもよい。一部の実施形態では、第1の触覚効果は、第2の触覚効果とは異なり得る。ディスプレイデバイス136は、第1の触覚効果に対応する第1の触覚信号及び/又は第2の触覚効果に対応する第2の触覚信号をユーザ202aに関連付けられる触覚出力デバイスに送信してもよい。例えば、ディスプレイデバイス136は、触覚出力デバイス(例えば、図1の触覚出力デバイス118)を含むユーザに関連付けられるコンピュータデバイス101に第1又は第2の触覚信号を送信してもよい。触覚出力デバイスは、ユーザ202a(例えば、ユーザ202aの手首、手、腕、脚、又は手)に第1及び第2の触覚効果を出力し得る。第1又は第2の触覚効果は、ユーザが仮想オブジェクト204、206に関連する触覚効果を知覚又は体験することを可能にしてもよい。例えば、仮想オブジェクト204が上下にジャンプしている仮想キャラクタである場合、仮想オブジェクトに関連付けられる第1の触覚効果は、上下にジャンプしている仮想キャラクタ204の効果をユーザ202aに知覚させる1つ以上の振動を含み得る。
また、ディスプレイデバイス136は、仮想オブジェクト204、206、208のサイズ、カラー、場所、運動及び/又は他の特徴に少なくとも部分的に基づいて、1つ以上の触覚効果の特徴(例えば、振幅、持続時間、場所、タイプ、周波数等)を決定してもよい。例えば、図2に描かれている例では、仮想オブジェクト204、206はユーザ202aの視野210内に有る。仮想オブジェクト206は、3次元(3D)仮想オブジェクトとしてディスプレイデバイス136上に表示されてもよい。この例示では、ディスプレイデバイス136は、仮想オブジェクト206が3D仮想オブジェクトとして表示されていることに基づいて、仮想オブジェクト206に関連付けられる強い又は長い第1の触覚効果(例えば、強い又は長い振動)を決定してもよい。ディスプレイデバイス136は、第1の触覚効果に関連付けられる第1の触覚信号をコンピュータデバイス101に送信してもよく、コンピュータデバイス101の触覚出力デバイスはユーザ202aに触覚効果を出力し得る。従って、一部の例では、ユーザ202aによって知覚される触覚効果の特徴は、ユーザ202aの視野210内の仮想オブジェクト204、206の特徴に比例して又は依存して変化してもよい。
一部の実施形態では、ディスプレイデバイス136は、ユーザ202a−bの凝視212a−bに基づいて1つ以上の触覚効果の特徴を決定してもよい。一部の実施形態では、ディスプレイデバイス136は、ユーザ202a−bの凝視212a−bの変化に基づいて触覚効果の特徴を決定し得る。
例えば、図2に描かれた例では、仮想オブジェクト204、206はユーザ202aの視野210内に有り、ユーザ202aの凝視は仮想オブジェクト204、206の間でパンするか又は移動してもよい。この例示では、コンピュータデバイス101aは、第1の触覚出力デバイス及び第2の触覚出力デバイスを含んでもよい。一部の例では、第1及び第2の触覚出力デバイスは、単一の触覚出力デバイスを形成するように結合され得る。第1の触覚出力デバイスは、ユーザの第1の部分(例えば、ユーザ202aの右手首、右手、右腕、又は頭の右側)に触覚効果を出力するように構成され得る。そして、第2の触覚出力デバイスは、ユーザの第2の部分(例えば、ユーザ202aの左手首、左手、左腕、又は頭の左側)に触覚効果を出力するように構成され得る。ユーザ202aの凝視212aは、最初に、ディスプレイデバイス136上でユーザ202aの右の方に表示され得る仮想オブジェクト206の方に向けられてもよい。ディスプレイデバイス136は、ユーザ202aの凝視212aが仮想オブジェクト206の方に向けられていることに応答して、コンピュータデバイス101の第1の触覚出力デバイスに第1の触覚効果に対応する第1の触覚信号を送信してもよい。第1の触覚出力デバイスは、ユーザ202aの右側(例えば、ユーザ202aの右腕)に第1の触覚効果を出力し得る。一部の例では、第1の触覚効果は、ユーザ202aの凝視212aが仮想オブジェクト206の方に向けられることに応答して、強い触覚効果(例えば、強い振動)であり得る。
その後で、ユーザ202aの凝視212bがディスプレイデバイス136上でユーザ202aの左の方に表示され得る仮想オブジェクト204の方に向けられ得るように、ユーザ202aの凝視202aは移行してもよい。ユーザ202aの凝視が仮想オブジェクト206から仮想オブジェクト204に(例えば、凝視212aから212bに)移行すると、ディスプレイデバイス136は、第2の触覚効果に対応する第2の触覚信号をコンピュータデバイス101の第2の触覚出力デバイスに送信してもよい。第2の触覚出力デバイスは、ユーザ202aの左側(例えば、ユーザ202aの左腕)に第2の触覚効果を出力し得る。
この例示では、ディスプレイデバイス136は、ユーザ202aの凝視が凝視212aから凝視212bに移行すると第1の触覚効果の特徴を調節し得る。例えば、ディスプレイデバイス136は、ユーザの凝視が仮想オブジェクト206から仮想オブジェクト204に(例えば、凝視212aから212bに)移行すると、第1の触覚効果の振幅を減少させ及び/又は第2の触覚効果の振幅を増加させてもよい。一部の例では、第1の触覚効果は、単一の触覚トラックを含み得る。例えば、触覚トラックは、第1の触覚効果及び第2の触覚効果を含む一連の触覚効果(例えば、一連の振動)であり得る。この例示では、ディスプレイデバイス136は、上記のように、ユーザ202aの凝視が凝視212aから凝視212bに移行すると触覚トラックの特徴(例えば、振幅)を調節し得る。
従って、一部の例では、ユーザ202a−bの凝視が変化すると、ユーザ202a−bによって知覚される触覚効果の特徴が変化してもよい。別の例では、ユーザ202a−bは、ディスプレイデバイス136上でユーザ202a−bが見ているコンテンツの水平及び/又は垂直位置に対応する様々な触覚効果を知覚してもよい。例えば、上記のように、ユーザ202aがディスプレイデバイス136上でユーザ202aの左に表示されたコンテンツを見ている場合、ユーザ202aはユーザ202aの左側に触覚効果を知覚してもよい。
一部の実施形態では、ディスプレイデバイス136は、ユーザとユーザが見ている又は向いているコンテンツとの間の仮想的な又は知覚された距離に基づいて1つ以上の触覚効果の特徴を決定してもよい。例えば、図2に描かれている例では、仮想オブジェクト204、206はユーザ202aの視野210内に有る。仮想オブジェクト206は、仮想オブジェクト204よりも小さな仮想オブジェクトとしてディスプレイデバイス136に表示されていてもよく、ユーザ202aに仮想オブジェクト206が離れていることを知覚させ、仮想オブジェクト204が接近していることを知覚させてもよいこの例示では、ディスプレイデバイス136は、仮想オブジェクト204に関連付けられる強い又は長い第1の触覚効果(例えば、強い又は長い振動)を決定してもよい。この例示では、ディスプレイデバイス136は、仮想オブジェクト206に関連付けられる弱い又は短い第2の触覚効果(例えば、弱い又は短い長い振動)を決定してもよい。ディスプレイデバイス136は、第2の触覚効果に関連付けられる第1の触覚信号又は第2の触覚効果に関連付けられる第1の触覚信号をコンピュータデバイス101に送信してもよく、コンピュータデバイス101の触覚出力デバイスはユーザ202aに触覚効果を出力し得る。従って、一部の例では、ユーザ202aによって知覚される触覚効果の特徴は、ユーザ202aとユーザ202aの視野210内の仮想オブジェクト204、206との間の仮想的な又は知覚される距離に比例して又は依存して変化してもよい。
別の実施形態では、センサ203からのセンサ信号は、ユーザ202aが複数の仮想オブジェクト204、206を見ている又はその方を見ていることを示し得る。例えば、図2に描かれた例では、センサ203からのデータは、ユーザ202aの凝視212aの方向が仮想オブジェクト206に向いている又はその方向に有ること、及び、ユーザ202aの凝視212aの方向が仮想オブジェクト204に向いている又はその方向に有ることを示し得る。例えば、仮想オブジェクト204は仮想オブジェクト206の近くであってもよく、ユーザ202aは仮想オブジェクト204、206を同時に見ていてもよい。このような実施形態では、ディスプレイデバイス136は第3の触覚効果を決定し得る。一部の実施形態では、第3の触覚効果は、第1及び第2の触覚効果とは異なってもよい。別の実施形態では、第3の触覚効果は、第1及び第2の触覚効果の混合を含み得る。例えば、第3の触覚効果は、仮想オブジェクト204に関連付けられる第1の触覚効果の一部及び仮想オブジェクト206に関連付けられる第2の触覚効果の一部を含んでもよい。
一部の実施形態では、ディスプレイデバイス136は、ユーザ202aの凝視212a−bの方向に基づいて、仮想オブジェクト204に関連付けられる第1の触覚効果の特徴及び仮想オブジェクト206に関連付けられる第2の触覚効果の特徴を決定し得る。例えば、ディスプレイデバイス136は、ユーザ202aの凝視212aの方向に対応するユーザの視野210の一部がユーザ202aの凝視212bの方向に対応するユーザの視野210の一部よりも大きいことを決定し得る。例えば、ディスプレイデバイス136は、ユーザ202aの凝視212aの方向に基づいて、ユーザの視野210の4分の3が仮想オブジェクト206の方に向けられていることを決定してもよい。また、ディスプレイデバイス136は、ユーザ202aの凝視212bの方向に基づいて、ユーザの視野210の4分の1が仮想オブジェクト204の方に向けられていることを決定してもよい。この決定に基づいて、ディスプレイデバイス136は、仮想オブジェクト204に関連付けられる第1の触覚効果の振幅を4分の1の振幅に調節し得る。また、ディスプレイデバイス136は、仮想オブジェクト206に関連付けられる第2の触覚効果の振幅を4分の3の振幅に調節し得る。このようにして、ユーザ202aが仮想オブジェクト204よりも仮想オブジェクト206に焦点を合わせている場合に、ユーザ202aは第1の触覚効果よりも大きな第2の触覚効果を知覚してもよい。従って、一部の例では、ユーザ202aによって知覚される触覚効果の特徴は、仮想オブジェクト204、206の方に向けられたユーザ202aの凝視212a−b又はユーザの視野210の一部に比例して又は依存して変化してもよい。
一部の実施形態では、センサ203からのセンサ信号は、ユーザ202aとユーザ202aの視野210内の仮想オブジェクト204、206又はディスプレイデバイス136との間の距離を示し得る。このような実施形態では、ディスプレイデバイス136は、ユーザ202aとディスプレイデバイス136又は仮想オブジェクト204、206との間の距離に基づいて触覚効果又は触覚効果の特徴を決定してもよい。一例として、ディスプレイデバイス136は、ユーザ202aが仮想オブジェクト204に近い場合に仮想オブジェクト204に関連付けられる強い又は長い第1の触覚効果(例えば、強い又は長い振動)を決定してもよい。別の例示として、ディスプレイデバイス136は、ユーザ202aが仮想オブジェクト206から離れている場合に仮想オブジェクト206に関連付けられる弱い又は短い第2の触覚効果を決定してもよい。ディスプレイデバイス136は、触覚効果に関連付けられる触覚信号をユーザ202aに関連付けられる触覚出力デバイスに送信してもよく、これはユーザ202aに触覚効果を出力し得る。
図2に示された例では、ユーザ202bの視野214は、仮想オブジェクト208の方に向けられている。センサ203は、視野214の方向を示すセンサ信号を送信してもよく、ディスプレイデバイス136は、仮想オブジェクト208に関連付けられる触覚効果を決定し得る。ディスプレイデバイス136は、触覚効果に関連付けられる触覚信号をユーザ202bに関連付けられる触覚出力デバイスに送信してもよく、これはユーザ202bに触覚効果を出力し得る。
一部の実施形態では、ユーザ202a−bは、ユーザ202a−bの視野210、214の外側に有る仮想オブジェクト204、206、208に関連付けられる触覚効果を知覚しなくてもよい。例えば、センサ203からのデータは、仮想オブジェクト204、206がユーザ202bの視野214の外側に有ることを示してもよい(例えば、ユーザ202bは仮想オブジェクト204、206を見ていない、それに目を向けていない、又はその方を見ていない)。このような実施形態では、仮想オブジェクト204、206に関連付けられる触覚効果は、ユーザ202bに出力されなくてもよい。このようにして、センサ203からのセンサ信号は、ユーザ202a−bの視野210、214に基づいてユーザ202a−bに触覚効果を提供するために使用され、これはユーザ202a−bが見ている又は目を向けている特定のコンテンツに関連する触覚効果をユーザ202a−bに知覚又は体験させることによって、ユーザ202a−bが見ているコンテンツに関連してより没入感のある体験をユーザ202a−bに提供することができる。
一部の実施形態では、ディスプレイデバイス136は、上記のようにセンサ203からのセンサ信号に基づいて1つ以上の触覚効果を決定してもよい。別の実施形態では、センサ203は、センサ信号をコンピュータデバイス101a−bに送信してもよく、各々がディスプレイデバイス136を参照して先に記載されたのと実質的に同様にセンサ信号に基づいて1つ以上の触覚効果を決定し得る。例えば、センサ203は、各コンピュータデバイス101a−bのプロセッサ(例えば、図1のプロセッサ102)にユーザ202a−bの視野210、214又はユーザ202aの凝視212a−bの方向を示すセンサ信号を送信してもよく、コンピュータデバイス101a−bはセンサ信号に基づいて1つ以上の触覚効果を決定し得る。このような実施形態では、コンピュータデバイス101a−bは、センサ203からのセンサ信号に基づいて触覚効果を決定してもよく、ユーザ202a−bに関連付けられる触覚出力デバイス(例えば、図1の触覚出力デバイス118)に触覚効果に関連付けられる触覚信号を送信してもよく、これは触覚出力効果をユーザ202a−bに出力し得る。
この例示では、ユーザ202a−bは、ユーザ202a−bの視野210、214の外側に有る仮想オブジェクト204、206、208に関連付けられる触覚効果を知覚しなくてもよいが、本開示はこのような構成に限定されない。むしろ、例えば、以下でさらに詳細に記載されるような他の例では、ディスプレイデバイス136又はコンピュータデバイス101a−bは、ユーザ202a−bの視野210、214の外側のコンテンツに基づいて1つ以上の触覚効果を決定及び出力してもよい。
図3は、別の実施形態による視野を用いる触覚フィードバックのためのシステム300の別の実施形態を示す。図3に描かれた例では、システム300は、スマートフォン、タブレット又はゲームコントローラ等のコンピュータデバイス302及びディスプレイデバイス304を備える。図3に描かれたディスプレイデバイス304は、ウェアラブルデバイス(例えば、仮想現実ヘッドセット)であり得る。
この実施形態では、ディスプレイデバイス304は、仮想環境(例えば、ビデオゲームに関連付けられる仮想現実環境)を生成して、ディスプレイデバイス304のユーザ306に提供する。仮想環境は、コンピュータデバイス302を用いてユーザ306が相互作用し得る1つ以上の仮想オブジェクト(例えば、キャラクタ、車両、ボタン、スライダ、ノブ、アイコン又は他のユーザインターフェースコンポーネント)を含む。一例として、コンピュータデバイス302は、1つ以上のI/Oコンポーネント(例えば、図1のI/Oコンポーネント112)を介してコンピュータデバイス302に通信可能に結合される1つ以上のボタン、ジョイスティック等を含み得る。コンピュータデバイス302は、コンピュータデバイス302に含まれるI/Oコンポーネントを介して仮想環境とユーザ306が相互作用することを可能にするようにディスプレイデバイス304に通信可能に結合され得る。
一部の実施形態では、ディスプレイデバイス304は、(例えば、ユーザ306がディスプレイデバイス304の特定の部分を覗き込んでいる又はディスプレイデバイス304によって表示された特定の仮想オブジェクトを見ているときに)ユーザ306の視野又はユーザ306の凝視の方向を検出し得るセンサ(図示せず)を備える。例えば、センサは、図1のセンサ132又は158と実質的に同様に構成されたカメラ又は他のセンサであってもよい。別の例示として、センサは、ユーザ306の視野又はユーザ306の凝視の方向を決定するためにユーザ306の頭のモーション又はユーザ306の頭位を検出し得る。センサは、センサ信号をディスプレイデバイス304のプロセッサ(図示せず)又はコンピュータデバイス302のプロセッサ(図示せず)に送信してもよく、これはユーザ306の視野又は凝視の方向がディスプレイデバイス304を介して表示された仮想オブジェクトの場所又は位置と対応することを決定してもよい。一部の実施形態では、ディスプレイデバイス304又はコンピュータデバイス302は、仮想オブジェクトに関連付けられる1つ以上の触覚効果(例えば、振動、絞り、又は突き)を決定して、ユーザ306の体の一部(例えば、ユーザの頭、手、又は体の他の部分)に触覚効果を出力してもよい。一部の実施形態では、ユーザ306の視野又は凝視の方向内の仮想オブジェクトに関連付けられる触覚効果を出力することは、ユーザ306が見ている仮想オブジェクトに関連する触覚効果をユーザに知覚させることを可能にする。一例として、ディスプレイデバイス304は複数の仮想キャラクタを表示しており、ユーザ306は戦闘に関与する特定の仮想キャラクタを見ている。センサ信号はユーザが特定の仮想キャラクタを見ていることを示してもよく、ディスプレイデバイス304は(例えば、図1の触覚出力デバイス159を介して)戦闘に関与している仮想キャラクタに関連付けられる触覚効果を出力し得る。触覚効果は、ユーザ306が見ている特定の仮想キャラクタに関連付けられる触覚効果をユーザ306に知覚させるための振動又は一連の振動を含み得る。
一部の実施形態では、ディスプレイデバイス304は、ディスプレイデバイス304上に表示された複数の仮想オブジェクトをユーザが見ていることを決定してもよく、ディスプレイデバイス304は、この決定に基づいて各仮想オブジェクトに関連付けられる触覚効果又は各仮想オブジェクトに関連付けられる触覚効果の特徴を決定し得る。一例として、ユーザ306は、第1の仮想キャラクタ及び第2の仮想キャラクタを同時に見ている。センサ信号は、ユーザ306の凝視が第1の仮想キャラクタに向けられており、第2の仮想キャラクタがユーザ306の視野内に有ることを示す。ディスプレイデバイス304は、第1の仮想キャラクタに関連付けられる第1の触覚効果の一部及び第2の仮想キャラクタに関連付けられる第2の触覚効果の一部を含む1つ以上の触覚効果を決定及び出力し得る。このようにして、ユーザ306は、ユーザ306が見ている第1及び第2の仮想キャラクタの両方に関連付けられる触覚効果を体験してもよい。
また、ディスプレイデバイス304は、ユーザ306とユーザ306が見ている又は向いている特定の仮想オブジェクトとの間の仮想的な又は知覚される距離に基づいて触覚効果の特徴を決定してもよい。一例として、ディスプレイデバイス304は、戦闘に関与している複数の仮想キャラクタを含む戦争シーンを表示している。この例示では、第1の仮想キャラクタは、戦闘に関与しており、第1の仮想キャラクタがユーザ306に接近しているとユーザ306が知覚するようにディスプレイデバイス304上に表示されている(例えば、第1の仮想キャラクタがユーザ306に近づいているとユーザ306が知覚するように、第1の仮想キャラクタは大きな仮想キャラクタとして表示される)。第2の仮想キャラクタは、戦闘シーンのバックグラウンドにおいて戦闘に関与しており、第2の仮想キャラクタがユーザ306から離れているとユーザ306が知覚するようにディスプレイデバイス304上に表示されている(例えば、第2の仮想キャラクタがユーザ306から離れているとユーザ306が知覚するように、第2の仮想キャラクタは小さな仮想キャラクタとして表示される)。ディスプレイデバイス304は、第1の仮想キャラクタがユーザ306に接近しているとユーザ306が知覚することに基づいて第1の仮想キャラクタに関連付けられる第1の触覚効果(例えば、強い振動)を決定し得る。また、ディスプレイデバイス304は、第2の仮想キャラクタがユーザ306から離れているとユーザ306が知覚することに基づいて第2の仮想キャラクタに関連付けられる第2の触覚効果(例えば、弱い振動)を決定してもよい。
一部の実施形態では、ディスプレイデバイス304は、センサデータ(例えば、ディスプレイデバイス304のセンサからのデータ)に基づいてユーザ306がディスプレイデバイス304の一部を見ていることを決定し得る。ディスプレイデバイス304は、ユーザ306が見ているディスプレイデバイス304の部分に関連付けられる1つ以上の触覚効果を決定してもよい。一例として、ディスプレイデバイス304は、左部、中央部、及び右部(図示せず)に分割される。センサデータは、一連の衝突を伴うシーンを含むディスプレイデバイス304の右部をユーザ306が見ていることを示す。ディスプレイデバイス304は、ディスプレイデバイス304の右部に表示される衝突に関連付けられる触覚効果をユーザ306に体験させるために、ディスプレイデバイス304の右部及び右部に表示される一連の衝突に関連付けられる触覚効果(例えば、一連の振動)を出力し得る。図3に描かれた実施形態では、ディスプレイデバイス304は、ウェアラブルデバイス(例えば、仮想現実ヘッドセット)を含んでもよく、1つ以上の触覚出力デバイスを含んでもよい。ディスプレイデバイス304は、ユーザ306がディスプレイデバイス304の右部を見ていることを決定することに応答して、ディスプレイデバイス304の右側に又はユーザ306の体の右側に(例えば、ユーザ306の頭の右側に)触覚効果を出力するように構成されてもよい。
一部の例では、ディスプレイデバイス304は、各々が図2のセンサ203と実質的に同様に構成され得る1つ以上のセンサ又はエミッタを含み得る。様々なセンサ又はエミッタがディスプレイデバイス304内又はその上の様々な場所に配置されてもよく、センサの場所はディスプレイデバイス304の様々な部分に対応してもよい。一例として、第1のセンサがディスプレイデバイス304の左部の近くに配置されてもよく、第2のセンサがディスプレイデバイス304の中央部の近くに配置されてもよく、第3のセンサがディスプレイデバイス304の右部の近くに配置されてもよい。各センサは、ユーザ306の頭のモーション、ユーザ306の頭位、ユーザ306の視野、又はユーザ306の凝視の方向を検出し得る。一部のこのような実施形態では、各センサは、センサ信号をディスプレイデバイス304のプロセッサ(図示せず)又はコンピュータデバイス302のプロセッサ(図示せず)に送信してもよく、これはユーザ306の視野又は凝視の方向がセンサの場所又は位置及びセンサに関連付けられるディスプレイデバイス304の部分と対応することを決定してもよい。ディスプレイデバイス304又はコンピュータデバイス302は、センサに関連付けられるディスプレイデバイス304の部分に関連付けられる1つ以上の触覚効果(例えば、振動、絞り、又は突き)を決定して、ユーザ306の体の一部に触覚効果を出力してもよい。このようにして、ディスプレイデバイス304は、例えば、ディスプレイデバイス304の一部に対するセンサの場所、及びセンサの場所に対応するユーザ306の視野又は凝視の方向等の空間データに基づいて触覚効果を出力し得る。
一例として、ディスプレイデバイス304は、左部、中央部、及び右部に分割される。左部の近くに配置されるセンサが、ユーザ306の凝視の方向を検出して、ユーザ306が一連の爆発を描写するシーンを含むディスプレイデバイス304の左部を見ている又はその方を向いていることを示すセンサデータを送信する。ディスプレイデバイス304は、ディスプレイデバイス304の左部に表示される爆発に関連付けられる触覚効果をユーザ306に体験させるために、ディスプレイデバイス304の左部及び左部に表示される一連の爆発に関連付けられる触覚効果(例えば、一連の振動)を出力し得る。このようにして、ディスプレイデバイス306は、センサを使用して、ユーザ306の視野の方向又は凝視を検出し、センサに関する空間データ(例えば、センサの場所の座標又はディスプレイデバイス304の一部に対するセンサの位置)を使用して、ユーザ306が見ている又は向いているディスプレイデバイスの部分に関連する1つ以上の触覚効果を決定し得る。
一部の実施形態では、ディスプレイデバイス304は、ディスプレイデバイス304の複数の部分をユーザが同時に見ていることを決定してもよく、ディスプレイデバイス304は、この決定に基づいてディスプレイデバイス304の各部分に関連付けられる触覚効果又は各触覚効果の特徴を決定し得る。一例として、ユーザ306は、戦闘に関与している仮想キャラクタを伴うシーンを含むディスプレイデバイス304の左部を見ている。ユーザ306は、車がエンジンをふかしていることを伴うシーンを含むディスプレイデバイス304の中央部を同時に見ている。センサ信号は、ユーザ306の視野が左及び中央部の方に向けられていることを示す。ディスプレイデバイス304は、センサ信号に基づいて1つ以上の触覚効果を決定及び出力し得る。例えば、ディスプレイデバイス304は、左部に関連付けられる第1の触覚効果(例えば、仮想キャラクタが戦闘に関与していることに対応する振動)を出力し得る。ディスプレイデバイス304は、中央部に関連付けられる第2の触覚効果(例えば、車がエンジンをふかしていることに対応する一連の振動)を出力し得る。一部の実施形態では、単一の触覚効果は、第1及び第2の触覚効果を含んでもよい。このようにして、ユーザ306は、ユーザ306が見ているディスプレイデバイス304の左及び中央部の両方に関連付けられる触覚効果を体験してもよい。
図3に描かれている例では、ディスプレイデバイス304は、上記のようにセンサデータに基づいて1つ以上の触覚効果を決定及び出力してもよい。別の実施形態では、ディスプレイデバイス304は、1つ以上の触覚効果を決定して、触覚効果に関連付けられる触覚信号をコンピュータデバイス302に送信してもよく、これはユーザ306に触覚効果を出力するように構成される触覚出力デバイスを含み得る。更に別の実施形態では、ディスプレイデバイス304のセンサは、センサ信号をコンピュータデバイス302に送信してもよく、これはディスプレイデバイス304を参照して先に記載されたのと実質的に同様にユーザ306に触覚効果を出力し得る。
図3に記載の例では、ディスプレイデバイス304はユーザ306の視野又はユーザ306の凝視の方向に基づいて1つ以上の触覚効果を決定し得るが、本開示はこのような構成に限定されない。むしろ、他の例では、ディスプレイデバイス304は、1つ以上のイベント(例えば、相互作用、アクション、衝突、又はディスプレイデバイス304によって提供されるコンテンツに関連付けられる他のイベント)に基づいて1つ以上の触覚効果を決定し得る。
例えば、ディスプレイデバイス304は、ユーザ306が上記のように相互作用し得る1つ以上の仮想オブジェクトを含む仮想環境を生成及び提供してもよい。一部の例では、1つ以上の仮想オブジェクトは、ユーザ306の視野の外側(例えば、ユーザ306の背後又はユーザ306の正面であるが、ユーザ306の視野の外側)に表示されてもよい。この例示では、ディスプレイデバイス304は、ユーザ306の視野の外側に表示されるコンテンツ(例えば、仮想オブジェクト)に基づいて1つ以上の触覚効果を決定し得る。一例として、ディスプレイデバイス304は戦闘に関与している様々な仮想キャラクタを伴うシーンを表示しており、ユーザ306は戦闘に関与している特定の仮想キャラクタを見ている。ディスプレイデバイス304は、特定の仮想キャラクタが戦闘に関与していることに関連付けられる第1の触覚効果を出力し、ユーザ306は第1の触覚効果を知覚し得る。第1の触覚効果は、ユーザ306が見ている特定の仮想キャラクタに関連付けられる触覚効果をユーザ306に知覚させるための強い振動であり得る。また、ディスプレイデバイス304は、ユーザ306の視野の外側で戦闘に関与している他の仮想キャラクタ(例えば、ユーザ306の背後のシーンの一部で戦闘に関与している仮想キャラクタ又はユーザ306の正面のシーンの一部においてユーザ306の視野の外側で戦闘に関与している仮想キャラクタ)に関連付けられる第2の触覚効果を決定及び出力してもよい。第2の触覚効果は、ユーザ306の背後で戦闘に関与している仮想キャラクタ又はユーザの正面であるがユーザ306の視野の外側で戦闘に関与している仮想キャラクタに関連付けられる触覚効果をユーザ306に知覚させることができる弱い振動であり得る。このようにして、ユーザ306は、ユーザが見ている特定の仮想キャラクタ及びユーザの視野の外側の他の仮想キャラクタに関連付けられる触覚効果を体験し得る。
図4は、別の実施形態による視野を用いる触覚フィードバックのためのシステムの実施形態を示す。
上記のように、一部の例では、1つ以上の触覚効果は、ユーザがディスプレイデバイス(例えば、図1及び2のディスプレイデバイス136又は図3のディスプレイデバイス304)を見ていることを示すセンサデータに少なくとも部分的に基づいて決定され得る。図4に描かれている例では、ディスプレイデバイス400が、第1の部分402(例えば、ディスプレイデバイス400の上部)、第2の部分404(例えば、ディスプレイデバイス400の左部)、第3の部分406(例えば、ディスプレイデバイス400の中央部)、及び第4の部分408(例えば、ディスプレイデバイス400の右部)に分割されて示されている。この例示では、ディスプレイデバイス400は、図1のディスプレイデバイス136と実質的に同様に構成されてもよく、ディスプレイデバイス400のプロセッサは、センサデータ(例えば、ディスプレイデバイス400のセンサからのデータ)に基づいて、ユーザ(図示せず)が第1の部分402、第2の部分404、第3の部分406、第4の部分408を見ていることを決定し得る。ディスプレイデバイス400は、ユーザが見ているディスプレイデバイス304の部分に関連付けられる1つ以上の触覚効果又は触覚トラックを決定し得る。
一例として、ディスプレイデバイス400は、ディスプレイデバイス400のユーザの頭のモーションを検出するか又はディスプレイデバイス400のユーザの頭位を検出するためのセンサを含むヘッドマウント型ディスプレイであり得る。センサは、センサデータに基づいてユーザの視野の方向を決定し得るディスプレイデバイス400のプロセッサにユーザの頭のモーションに関するデータ又はユーザの頭位に関するデータを送信してもよく、これはユーザが第1の部分402、第2の部分404、第3の部分406又は第4の部分408を見ているかどうかを決定するために使用され得る。次に、ディスプレイデバイス400は、ユーザが見ているディスプレイデバイス400の部分に関連付けられる1つ以上の触覚効果又は触覚トラックを決定してもよく、又は触覚トラックは、ディスプレイデバイス400の触覚出力デバイス(例えば、図1の触覚出力デバイス159)又はユーザに関連付けられるコンピュータデバイスの触覚出力デバイス(例えば、図2のコンピュータデバイス101a)によって出力され得る。
例えば、センサデータは、1つ以上の仮想キャラクタ同士の戦闘を伴うシーンを含むディスプレイデバイス400の第1の部分402をユーザ306が見ていることを示す。ディスプレイデバイス400は、触覚出力デバイスを介して、ディスプレイデバイス400の第1の部分402に関連付けられる触覚トラック(例えば、振動等の一連の触覚効果)を決定及び出力して、ディスプレイデバイス400の第1の部分402に表示されたシーンに関連付けられる触覚効果をディスプレイデバイス400のユーザに体験させることができる。別の例示として、センサデータは、ディスプレイデバイス400の第2の部分404をユーザが見ていることを示し、これは一連の車の衝突を伴うシーンを含んでおり、ディスプレイデバイス400は、一連の車の衝突に関連付けられる別の触覚トラックを決定及び出力して、一連の車の衝突に関連付けられる触覚効果をユーザに知覚させることができる。
一部の実施形態では、ディスプレイデバイス400は、ディスプレイデバイス400の複数の部分をユーザが同時に見ていることを決定してもよく、ディスプレイデバイス400は、この決定に基づいてディスプレイデバイス400の各部分に関連付けられる触覚トラック若しくは触覚効果又は各触覚トラック若しくは触覚効果の特徴を決定し得る。一例として、ユーザは、戦闘に関与している仮想キャラクタを伴うシーンを含むディスプレイデバイス400の第3の部分406を見ている。また、ユーザは、車がエンジンをふかしていることを伴うシーンを含むディスプレイデバイス400の第4の部分408を同時に見ている。ディスプレイデバイス400は、ユーザがディスプレイデバイス400の第3の部分406及び第4の部分408の両方を同時に見ていることに基づいて1つ以上の触覚トラックを決定及び出力し得る。
例えば、ディスプレイデバイス400は、第3の部分406に関連付けられる第1の触覚トラック(例えば、仮想キャラクタが戦闘に関与していることに対応する一連の振動)を決定し得る。また、ディスプレイデバイス400は、第4の部分408に関連付けられる第2の触覚トラック(例えば、車がエンジンをふかしていることに対応する一連の振動)も決定し得る。ディスプレイデバイス400は、触覚出力デバイスを介して第1及び第2の触覚トラックの両方をユーザに出力し得る。一部の実施形態では、単一の触覚トラックが、第1及び第2の触覚トラックを含んでもよい。一部の例では、ディスプレイデバイス400は、ユーザの視野又は凝視の方向に基づいて第1又は第2の触覚トラックの特徴を調節することができる。例えば、ユーザが第3の部分406よりも第4の部分408に焦点を合わせられるように、ユーザの頭位は変化しないが、ユーザの視野又は凝視の方向が移行してもよい。このような例では、ディスプレイデバイス400は、ユーザの視野又は凝視の方向に基づいて第1又は第2の触覚トラックの特徴を調節することができる。一例として、ディスプレイデバイス400は、ユーザの視野又は凝視の方向が第3の部分406よりも第4の部分408の方により向けられていることを決定することに応答して、第2の触覚トラックの振幅を増加させ得る。この例示では、ディスプレイデバイス400は、ユーザの視野又は凝視の方向が第3の部分406よりも第4の部分の方により向けられていることを決定することに応答して、第1の触覚トラックの振幅を減少させてもよい。このようにして、ディスプレイデバイス400のユーザは、ユーザ306が見ているディスプレイデバイス400の第3の部分406及び第4の部分408の両方に関連付けられる触覚効果を体験してもよい。
一部の実施形態では、ディスプレイデバイス400は、部分402、404、406、408に関連付けられる単一の触覚トラックを出力するように構成され得る。触覚トラックは、(例えば、部分402、404、406、408を介して)ディスプレイデバイス400上に表示されているコンテンツに対応する触覚効果(例えば、振動)又は一連の触覚効果を含み得る。一例として、ディスプレイデバイス400は、一連の車の衝突及び様々な爆発を含む映像を表示している。触覚トラックは、車の衝突又は爆発に対応する1つ以上の振動を含み得る。
一部の例では、ディスプレイデバイス400のセンサは、ユーザの頭のモーションを検出し、又はユーザの頭位を検出してもよく、ディスプレイデバイス400は、ユーザの頭のモーション又はユーザの頭位に少なくとも部分的に基づいて触覚トラックの特徴を決定することができる(例えば、触覚トラックにおける1つ以上の振動の振幅を決定する)。一例として、ユーザの頭位は、ユーザが第2の部分404を見ているか又はそれに向いているように配置されてもよい。その後、ユーザの頭位は、ユーザが第3の部分406を見ているか又はそれに向いているように移行してもよい。このような例では、ディスプレイデバイス400は、ユーザの頭位の変化に基づいて触覚トラックの特徴を調節することができる。例えば、ディスプレイデバイス400は、ユーザの頭位が第2の部分404の方に向けられていることから第3の部分406の方に向けられていることに変化すると、第2の部分404に関連付けられる触覚トラックにおける触覚効果の振幅(例えば、第2の部分404に表示される爆発に関連付けられる振動)を減少させて、第3の部分406に関連付けられる触覚トラックにおける別の触覚効果の振幅(例えば、第3の部分406において戦闘に関与している仮想キャラクタに関連付けられる振動)を増加させ得る。このようにして、ディスプレイデバイス400は、単一の触覚トラックを出力して、ユーザが複数の触覚トラックとして触覚トラックを知覚し得るように、ユーザの頭のモーション又はユーザの頭位に基づいて触覚トラックに含まれる触覚効果を修正し得る。この例示では、ディスプレイデバイス400はユーザの頭のモーション又はユーザの頭位に少なくとも部分的に基づいて触覚トラックの特徴(例えば、振幅)を決定してもよいが、本開示はこのような構成に限定されない。むしろ、他の例では、ディスプレイデバイスは、先に記載されたのと実質的に同様にユーザの凝視又は視野の方向に少なくとも部分的に基づいて触覚トラックの特徴を決定してもよい。一部の例では、上記のように単一の触覚トラックに含まれる触覚効果を修正することは、単一の触覚トラックを使用して空間的マルチ触覚トラックをシミュレートすることができる。
一部の例では、ディスプレイデバイス400は、1つ以上のオーディオデバイス又はシステム(図示せず)を含むか又は通信可能に結合され、これは対応する音を出力するようにスピーカを駆動する電気信号を生成するように構成され得る。オーディオデバイス又はシステムは、ユーザの頭のモーション若しくはユーザの頭位、視野の方向、又はユーザの凝視の方向に基づいてオーディオ又は音を出力するように構成され得る。一例として、ユーザの頭位は、車がエンジンをふかしていることを描写するシーンを含む第2の部分404をユーザが見ているか又はそれに向いているように配置されてもよい。ユーザが第2の部分404を見ているか又はそれに向いていることを決定することに応答して、ディスプレイデバイス400は、車がエンジンをふかしていることに対応する音をオーディオデバイスに出力させるための1つ以上の信号をオーディオデバイスに送信してもよい。また、ディスプレイデバイス400は、ユーザが第2の部分404を見ている又はそれに向いていることに基づいて音の強度又は音量をオーディオデバイスによって増幅してもよい。また、一部のこのような例では、ディスプレイデバイス400は、ユーザが第2の部分404を見ている又はそれに向いていることを決定することに応答して、第2の部分404に描写されたシーンに関連付けられる触覚効果又は触覚トラックの特徴を決定してもよい。例えば、ディスプレイデバイス400は、ユーザが第2の部分404を見ている又はそれに向いていることを決定することに応答して、車がエンジンをふかしていることに対応する振動の振幅を増加させ得る。このようにして、ディスプレイデバイス400は、上記のように単一の触覚トラックを使用して空間的マルチ触覚トラックを提供してもよく、触覚トラック又は触覚トラックにおける触覚効果は、オーディオデバイス又はシステム(例えば、空間的オーディオデバイス)によって提供される音に対応してもよい。
一部の実施形態では、ディスプレイデバイス400は、ディスプレイデバイス400の1つ以上の部分にコンテンツを表示するように構成され得る。一例として、ディスプレイデバイス400は、第1の部分402におけるコンテンツのみを表示してもよく、第2の部分404、第3の部分406又は第4の部分408にコンテンツを表示しなくてもよい。例えば、ディスプレイデバイス400は仮想現実ヘッドセットであってもよく、ディスプレイデバイス400は第1の部分402におけるシーンのみを表示してもよい。このような例では、ディスプレイデバイス400は、ディスプレイデバイス400の第1の部分402に表示されているシーンをユーザが見ていることを決定してもよく、ディスプレイデバイス400は、第1の部分402に関連付けられる触覚トラックをユーザに出力するか又は第1の部分402に表示されたシーンに関連付けられる触覚トラックをユーザに出力し得る。その後、ユーザは、ディスプレイデバイス400の別の部分を見るか又はその方向を見てもよい。例えば、ユーザの頭位は、ユーザが第2の部分404を見ており、もはや第1の部分402を見ていないように調節されてもよい。このような例では、ディスプレイデバイス400は、ユーザが第2の部分404を見ていることを決定して、ユーザが第2の部分404を見ており、もはや第1の部分402を見ていないことを決定することに応答して、第2の部分404に関連付けられる別の触覚トラック又は第2の部分404に表示されたコンテンツに関連付けられる別の触覚トラックをユーザに出力し得る。また、一部の例では、ディスプレイデバイス400は、ユーザが第2の部分404を見ており、もはや第1の部分402を見ていないことを決定することに応答して、第1の部分402におけるコンテンツの表示を停止してもよい。従って、一部の例では、ディスプレイデバイス400は、ディスプレイデバイス400の特定の部分を介してユーザにコンテンツ提供してもよく、これはユーザに特定の部分を見させるか又はその方を向かせ、ディスプレイデバイス400のその特定の部分に関連付けられる触覚効果を知覚させ得る。別の例では、ディスプレイデバイス400は、ユーザが見ている又はその方を向いているディスプレイデバイス400の特定の部分を介してユーザにコンテンツ提供してもよく、ユーザは、ユーザが見ている又はその方を向いているディスプレイデバイス400の特定の部分に関連付けられる触覚効果を知覚してもよい。
上記の例では、ディスプレイデバイス400はユーザの頭位が特定の部分に向けられていることに基づいてディスプレイデバイス400の特定の部分にコンテンツを表示してもよいが、本開示はこのような構成に限定されない。むしろ、他の例では、ディスプレイデバイスは、(例えば、先に記載されたのと実質的に同様に)ディスプレイデバイス400のユーザの視野又は凝視の方向に基づいてディスプレイデバイス400の1つ以上の部分を介してコンテンツを表示してもよい。更に、上記の例では、ディスプレイデバイス400はディスプレイデバイス400の1つの部分にのみコンテンツを表示してもよいが、本開示はこのような構成に限定されない。むしろ、他の例では、ディスプレイデバイス400は、ディスプレイデバイス400の1つ以上の部分を介してコンテンツを個別に又は同時に表示してもよい。
(視野を用いて触覚フィードバックを提供するための触覚フィードバックに関する例示的な方法)
図5は、一実施形態による視野を用いる触覚フィードバックを提供するための方法500を実行するためのステップのフローチャートである。
一部の実施形態では、図5のステップは、例えば、汎用コンピュータ、モバイルデバイス又はサーバにおけるプロセッサによって実行可能なプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図5に示される1つ以上のステップは省略され又は異なる順番で行われてもよい。同様に、一部の実施形態では、図5に示されない追加のステップが実行されてもよい。以下のステップは図1及び2に示されたシステムに関して先に記載されたコンポーネントを参照して記載される。
方法500はステップ502で開始し、ディスプレイデバイス136のセンサ203がディスプレイデバイス136に対するコンピュータデバイス101のユーザ202aの視野210を検出する。一部の実施形態では、センサ203は、カメラ、ユーザ202aの頭位若しくは頭のモーションを検出するためのセンサ、又はユーザ202aの視野210若しくは凝視212a−bの方向を検出する又はユーザ202aの視野210若しくは凝視212a−bの方向を決定するためのデータを提供し得る他の適切なデバイスを含む。
方法500はステップ504に進み、ユーザの視線210又は凝視212a−bの方向に関する信号がディスプレイデバイス136のプロセッサ138又はコンピュータデバイス101のプロセッサ102に送信される。一部の実施形態では、センサ203は、ユーザ202aの視野210又は凝視212a−bの方向に関する信号をプロセッサ138又は102に送信する。
方法500はステップ506に進み、ディスプレイデバイス136上に表示され且つユーザ202aの視野210内のコンテンツが触覚効果に関連付けられることを決定する。一部の実施形態では、コンピュータデバイス101の触覚効果決定モジュール126は、ディスプレイデバイス136上に表示され且つユーザ202aの視野210内のコンテンツが触覚効果に関連付けられることをプロセッサ102に決定させる。他の実施形態では、ディスプレイデバイス136の触覚効果決定モジュール162が、ディスプレイデバイス136上に表示され且つユーザ202aの視野210内のコンテンツが触覚効果に関連付けられることをプロセッサ138に決定させる。
例えば、プロセッサ102又は138は、ユーザ202aの視野210又は凝視212a−bの方向に基づいてディスプレイデバイス136を介して提供されたコンテンツ(例えば、テキスト、画像、音、映像、キャラクタ、仮想オブジェクト、仮想アニメーション等)を見ているか又はその方を見ていることを決定し得る。一例として、センサ203はユーザ202aの目の動き又はユーザ202aの目の近くの筋肉の動きを監視するためのカメラを含んでもよく、プロセッサ102又は138は監視された動きに基づいて視野210又は凝視212a−bの方向を決定し得る。別の例示として、センサ203はユーザ202aの目を動かす筋肉の電気的活動を監視又は測定し、プロセッサ102又は138は筋肉の電気的活動に基づいて視野210又は凝視212a−bの方向を決定し得る。プロセッサ102又は138は、ユーザの視野210又は凝視212a−bの方向に基づいてユーザ204がディスプレイデバイス136におけるコンテンツを見ている又はその方向を見ていることを決定し得る。この決定に基づいて、プロセッサ102又は138は、ディスプレイデバイス136上に表示され且つユーザ202aの視野210内のコンテンツが触覚効果に関連付けられることを決定し得る。
一例として、プロセッサ138は、ディスプレイデバイス136上に表示された仮想オブジェクト204、206がユーザ202aの視野210内に有ることを決定し得る。プロセッサ138は、ディスプレイデバイス136によって表示され得る様々なコンテンツに関連付けられる様々な触覚効果に対応するデータを含む1つ以上のルックアップテーブル又はデータベースにアクセスし得る。プロセッサ138は、1つ以上のルックアップテーブル又はデータベースにアクセスして、ユーザ202aの視野210内の仮想オブジェクト204、206が1つ以上の触覚効果に関連付けられることを決定し得る。
方法500はステップ508に進み、プロセッサ102又は138はコンテンツに関連付けられる触覚効果を決定する。一部の実施形態では、コンピュータデバイス101の触覚効果決定モジュール126は、コンテンツに関連付けられる触覚効果をプロセッサ102に決定させる。他の実施形態では、ディスプレイデバイス136の触覚効果決定モジュール162は、コンテンツに関連付けられる触覚効果をプロセッサ138に決定させる。
例えば、プロセッサ138は、(例えば、ステップ506において)ディスプレイデバイス136上に表示されたコンテンツ(例えば、仮想オブジェクト204)がユーザ202aの視野210内に有り、触覚効果に関連付けられることを決定し得る。この決定に基づいて、プロセッサ138は、コンテンツに関連付けられる触覚効果(例えば、仮想オブジェクト204に関連付けられる触覚効果)を決定又は選択し得る。一例として、プロセッサ138は、1つ以上のルックアップテーブル又はデータベースにアクセスして、コンテンツに関連付けられる触覚効果を選択し得る。
一部の実施形態では、触覚効果は、ユーザ202aが見ているコンテンツに関連する触覚効果をユーザ202aが知覚又は体験することを可能にし得る1つ以上の触覚効果を含み得る。一例として、ユーザ202aは、戦闘に関与している仮想キャラクタであり得る仮想オブジェクト204を見ていてもよい。触覚効果は、ユーザ202aに戦闘を知覚させるための1つ以上の振動を含み得る。
一部の実施形態では、ステップ508では、プロセッサ102又は138は、ユーザ202aがディスプレイデバイス136に表示された様々なコンテンツを見ている又はその方向を見ていることに基づいて1つ以上の触覚効果を決定し得る。一例として、プロセッサ138は、ユーザ202aの凝視212aの方向又は視野210の方向がディスプレイデバイス136によって表示された仮想オブジェクト204の位置又は場所と対応することを決定し得る。また、プロセッサ138は、ユーザ202aの凝視212bの方向又は視野210の方向がディスプレイデバイス136によって表示された別の仮想オブジェクト206の位置又は場所と対応することも決定し得る。この決定に基づいて、プロセッサ138は、1つ以上のルックアップテーブル又はデータベースにアクセスし、仮想オブジェクト204に関連付けられる第1の触覚効果及び仮想オブジェクト206に関連付けられる第2の触覚効果を決定し得る。
方法500はステップ510に進み、プロセッサ102又は138がユーザ202aとディスプレイデバイス136との間の距離を決定する。例えば、センサ203は、センサ203とブルートゥースデバイスとの間の信号強度を解析することにより、別のブルートゥースデバイスの場所を検出するように構成されるブルートゥースデバイス又は他のネットワークデバイスであり得る。一部の実施形態では、センサ203は、(例えば、センサ203とコンピュータデバイス101との間のブルートゥース信号の強度に基づいて)センサ203又はディスプレイデバイス136とコンピュータデバイス101又はコンピュータデバイス101のユーザ202aとの間の距離を検出してもよい。センサ203は、センサ信号をプロセッサ102又は138に送信してもよく、これはセンサ信号に基づいてセンサ203又はディスプレイデバイス136とコンピュータデバイス101又はコンピュータデバイス101のユーザ202aとの間の距離を決定し得る。一部の実施形態では、センサ203は、任意の適切な方法又は技術によって、コンピュータデバイス101の場所、又はセンサ203若しくはディスプレイデバイス136とコンピュータデバイス101若しくはコンピュータデバイス101のユーザ202aとの間の距離を検出してもよい。
方法500はステップ512に進み、プロセッサ102又は138は、センサ203又はディスプレイデバイス136とコンピュータデバイス101又はコンピュータデバイス101のユーザ202aとの間の距離に少なくとも部分的に基づいて、触覚効果の特徴(例えば、振幅、持続時間、場所、タイプ、周波数等)を決定する。一部の実施形態では、コンピュータデバイス101の触覚効果決定モジュール126が、センサ203又はディスプレイデバイス136とコンピュータデバイス101又はコンピュータデバイス101のユーザ202aとの間の距離に少なくとも部分的に基づいて、触覚効果の特徴をプロセッサ102に決定させる。他の実施形態では、ディスプレイデバイス136の触覚効果決定モジュール162が、センサ203又はディスプレイデバイス136とコンピュータデバイス101又はコンピュータデバイス101のユーザ202aとの間の距離に少なくとも部分的に基づいて、触覚効果の特徴をプロセッサ138に決定させる。
例えば、プロセッサ138は、ユーザ202aがディスプレイデバイス136又はディスプレイデバイス136に表示された仮想オブジェクト204に接近していることを決定し得る。プロセッサ138は、ユーザ202aがディスプレイデバイス136又は仮想オブジェクト204の近くに居ることに基づいて仮想オブジェクト204に関連付けられる触覚効果の振幅を決定し得る。例えば、仮想オブジェクト204に関連付けられる触覚効果は、ユーザ202aがディスプレイデバイス136に接近している場合は強い又は長い触覚効果であり得る。別の例示として、プロセッサ138は、ユーザがディスプレイデバイス136又はディスプレイデバイス136に表示された仮想オブジェクト204から離れていることを決定して、この決定に基づいて仮想オブジェクト204に関連付けられる弱い又は短い触覚効果を決定し得る。
方法500はステップ514に進み、プロセッサ102又は138は触覚効果に関連付けられる触覚信号を触覚出力デバイス118に送信する。一部の実施形態では、触覚効果生成モジュール128は、触覚信号をプロセッサ102に生成させて、触覚出力デバイス118へと送信させる。別の実施形態では、触覚効果生成モジュール164は、触覚信号をプロセッサ138に生成させて、触覚出力デバイス118へと送信させる。
方法500はステップ516に進み、触覚出力デバイス118は、ユーザ202aが触覚効果に関連付けられ且つディスプレイデバイス136に表示されたコンテンツ(例えば、仮想オブジェクト204、206)を見ている、それに向いている又はその方向を見ていることに基づいて触覚効果を出力する。一部の実施形態では、触覚効果は、ユーザが見ているコンテンツ(例えば、仮想オブジェクト204、206)に関連する触覚効果をユーザ202aが知覚又は体験することを可能にしてもよい。
図6は、一実施形態による視野を用いる触覚フィードバックを提供するための別の方法600を実行するためのステップのフローチャートである。一部の実施形態では、図6のステップは、例えば、汎用コンピュータ、モバイルデバイス又はサーバにおけるプロセッサによって実行可能なプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図6に示される1つ以上のステップは省略され又は異なる順番で行われてもよい。同様に、一部の実施形態では、図6に示されない追加のステップが実行されてもよい。以下に記載のステップは図1及び2に示されたシステムに関して先に記載されたコンポーネントを参照して記載される。
方法600はステップ602で開始し、ディスプレイデバイス136のセンサ203がディスプレイデバイス136に対するコンピュータデバイス101のユーザ202aの視野210を検出する。一部の実施形態では、センサ203は、カメラ、ユーザ202aの頭位若しくは頭のモーションを検出するためのセンサ、又はディスプレイデバイス136に対するユーザ202aの視野210若しくは凝視212a−bの方向を検出する又はディスプレイデバイス136に対するユーザ202aの視野210若しくは凝視212a−bの方向を決定するためのデータを提供し得る他の適切なデバイスを含む。
方法600はステップ604に進み、ユーザの視線210又は凝視212a−bの方向に関する信号がディスプレイデバイス136のプロセッサ138又はコンピュータデバイス101のプロセッサ102に送信される。一部の実施形態では、ユーザ202aの視野210又は凝視212a−bの方向に関する信号は、図5のステップ504に関して先に記載されたのものと実質的に同様にプロセッサ138又はプロセッサ102に送信され得る。
方法600はステップ606に進み、プロセッサ102又は138がユーザ202aの視野210内の第1のコンテンツに関連付けられる第1の触覚効果を決定する。一部の実施形態では、コンピュータデバイス101の触覚効果決定モジュール126は、ユーザ202aの視野210内の第1のコンテンツに関連付けられる第1の触覚効果をプロセッサ102に決定させる。他の実施形態では、ディスプレイデバイス136の触覚効果決定モジュール162が、ユーザ202aの視野210内の第1のコンテンツに関連付けられる第1の触覚効果をプロセッサ138に決定させる。
例えば、プロセッサ138は、(例えば、ステップ604において)センサ203からセンサ信号を受信し、センサ信号に基づいてユーザ202aの視野210又は凝視212a−bの方向を決定し得る。プロセッサ138は、この決定に基づいてユーザ202aが仮想オブジェクト204を見ている又はその方向を見ていることを決定し得る。プロセッサ138は、ディスプレイデバイス136によって表示され得る様々なコンテンツに関連付けられる様々な触覚効果に対応するデータを含む1つ以上のルックアップテーブル又はデータベースにアクセスし得る。プロセッサ138は、1つ以上のルックアップテーブル又はデータベースにアクセスし、ユーザ202aの視野210内の仮想オブジェクト204に関連付けられる第1の触覚効果を決定し得る。
方法600はステップ608に進み、プロセッサ102又は138がユーザ202aの視野210内の第2のコンテンツに関連付けられる第2の触覚効果を決定する。一部の実施形態では、コンピュータデバイス101の触覚効果決定モジュール126は、ユーザ202aの視野210内の第2のコンテンツに関連付けられる第2の触覚効果をプロセッサ102に決定させる。他の実施形態では、ディスプレイデバイス136の触覚効果決定モジュール162が、ユーザ202aの視野210内の第2のコンテンツに関連付けられる第2の触覚効果をプロセッサ138に決定させる。
例えば、プロセッサ138は、(例えば、ステップ604において)センサ203からセンサ信号を受信し、センサ信号に基づいてユーザ202aの視野210又は凝視212a−bの方向を決定し得る。この決定に基づいて、プロセッサ138は、ユーザ202aが仮想オブジェクト206を見ている又はその方向を見ていることを決定し得る。プロセッサ138は、ディスプレイデバイス136によって表示され得る様々なコンテンツに関連付けられる様々な触覚効果に対応するデータを含む1つ以上のルックアップテーブル又はデータベースにアクセスし得る。プロセッサ138は、1つ以上のルックアップテーブル又はデータベースにアクセスし、ユーザ202aの視野210内の仮想オブジェクト206に関連付けられる第2の触覚効果を決定し得る。
方法600はステップ610に進み、プロセッサ102又は138は、第1のコンテンツ又は第2のコンテンツの方に向けられているユーザ202aの視野210の比率を決定する。一部の実施形態では、コンピュータデバイス101の触覚効果決定モジュール126は、第1のコンテンツ又は第2のコンテンツの方に向けられるユーザ202aの視野210の比率をプロセッサ102に決定させる。他の実施形態では、ディスプレイデバイス136の触覚効果決定モジュール162は、第1のコンテンツ又は第2のコンテンツの方に向けられるユーザ202aの視野210の比率をプロセッサ138に決定させる。
一例として、プロセッサ138は、(例えば、ステップ604において)センサ203からセンサ信号を受信し、センサ信号に基づいてユーザの視野210の半分が仮想オブジェクト204の方に向けられていること又はユーザの視野210の半分が仮想オブジェクト206の方に向けられていることを決定し得る。
方法600はステップ612に進み、プロセッサ102又は138は、第1のコンテンツ又は第2のコンテンツの方に向けられているユーザ202aの視野210の比率に少なくとも部分的に基づいて、第1の触覚効果又は第2の触覚効果の特徴を決定する。一部の実施形態では、コンピュータデバイス101の触覚効果決定モジュール126は、第1のコンテンツ又は第2のコンテンツの方に向けられるユーザ202aの視野210の比率に少なくとも部分的に基づいて、第1の触覚効果又は第2の触覚効果の特徴をプロセッサ102に決定させる。他の実施形態では、ディスプレイデバイス136の触覚効果決定モジュール162は、第1のコンテンツ又は第2のコンテンツの方に向けられるユーザ202aの視野210の比率に少なくとも部分的に基づいて、第1の触覚効果又は第2の触覚効果の特徴をプロセッサ138に決定させる。
一例として、プロセッサ138は、(例えば、ステップ610において)ユーザの視野210の半分が仮想オブジェクト204の方に向けられていること及びユーザの視野210の半分が仮想オブジェクト206の方に向けられていることを決定し得る。この決定に基づいて、プロセッサ138は、仮想オブジェクト204に関連付けられる第1の触覚効果の第1の振幅を調節し、且つ仮想オブジェクト206に関連付けられる第2の触覚効果の第2の振幅を半分の第2の振幅に調節し得る。従って、一部の例では、ユーザ202aによって知覚される触覚効果の特徴は、特定のコンテンツの方に向けられたユーザの凝視、視線、又はユーザの視野の一部に比例して又は依存して変化してもよい。
方法600はステップ614に進み、プロセッサ102又は138は第1の触覚効果に関連付けられる第1の触覚信号及び第2の触覚効果に関連付けられる第2の触覚信号を触覚出力デバイス118に送信する。一部の実施形態では、触覚効果生成モジュール128は、第1及び第2の触覚信号をプロセッサ102に生成させて、触覚出力デバイス118に送信させる。別の実施形態では、触覚効果生成モジュール164は、第1及び第2の触覚信号をプロセッサ138に生成させて、触覚出力デバイス118に送信させる。
方法600はステップ616に進み、触覚出力デバイス118は、ユーザ202aが第1の触覚効果に関連付けられる第1のコンテンツ(例えば、仮想オブジェクト204)を見ている、それに向いている又はその方向を見ていることに基づいて第1の触覚効果を出力し、ユーザ202aが第2の触覚効果に関連付けられる第2のコンテンツ(例えば、仮想オブジェクト206)を見ている、それに向いている又はその方向を見ていることに基づいて第2の触覚効果を出力する。一部の実施形態では、第1又は第2の触覚効果は、振動、表面変形、絞り、突き、及び/又は固体、液体、気体又はプラズマの吹き出しを含む。
図7は、一実施形態による視野を用いる触覚フィードバックを提供するための別の方法600を実行するためのステップのフローチャートである。一部の実施形態では、図7のステップは、例えば、汎用コンピュータ、モバイルデバイス又はサーバにおけるプロセッサによって実行可能なプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図7に示される1つ以上のステップは省略され又は異なる順番で行われてもよい。同様に、一部の実施形態では、図7に示されない追加のステップが実行されてもよい。以下に記載のステップは図1及び2に示されたシステムに関して先に記載されたコンポーネントを参照して記載される。
方法700はステップ702で開始し、ディスプレイデバイス136のセンサ203がディスプレイデバイス136に対するコンピュータデバイス101のユーザ202aの視野210を検出する。一部の実施形態では、センサ203は、カメラ、ユーザ202aの頭位若しくは頭のモーションを検出するためのセンサ、又はディスプレイデバイス136に対するユーザ202aの視野210若しくは凝視212a−bの方向を検出する又はディスプレイデバイス136に対するユーザ202aの視野210若しくは凝視212a−bの方向を決定するためのデータを提供し得る他の適切なデバイスを含む。
方法700はステップ704に進み、ユーザの視線210又は凝視212a−bの方向に関する信号がディスプレイデバイス136のプロセッサ138又はコンピュータデバイス101のプロセッサ102に送信される。一部の実施形態では、ユーザ202aの視野210又は凝視212a−bの方向に関する信号は、図5のステップ504に関して先に記載されたものと実質的に同様にプロセッサ138又はプロセッサ102に送信され得る。
方法700はステップ706に進み、プロセッサ102又は138がユーザ202aの視野210内のディスプレイデバイス136の第1の部分に関連付けられる第1の触覚効果を決定する。一部の実施形態では、コンピュータデバイス101の触覚効果決定モジュール126は、ユーザ202aの視野210内のディスプレイデバイス136の第1の部分に関連付けられる第1の触覚効果をプロセッサ102に決定させる。他の実施形態では、ディスプレイデバイス136の触覚効果決定モジュール162が、ユーザ202aの視野210内のディスプレイデバイス136の第1の部分に関連付けられる第1の触覚効果をプロセッサ138に決定させる。
例えば、プロセッサ138は、(例えば、ステップ704において)センサ203からセンサ信号を受信し、センサ信号に基づいてユーザ202aの視野210又は凝視212a−bの方向を決定し得る。プロセッサ138は、この決定に基づいてユーザ202aがディスプレイデバイス136の左部を見ている又はその方向を見ていることを決定し得る。プロセッサ138は、ディスプレイデバイス136における様々な部分又は場所に関連付けられる様々な触覚効果に対応するデータを含む1つ以上のルックアップテーブル又はデータベースにアクセスし得る。プロセッサ138は、1つ以上のルックアップテーブル又はデータベースにアクセスして、ユーザが見ている又は向いているディスプレイデバイス136の左部に関連付けられる触覚効果を決定し得る。一部の実施形態では、ディスプレイデバイス136の第1の部分に関連付けられる第1の触覚効果は、ディスプレイデバイス136の第1の部分に関連する1つ以上の触覚効果をユーザ202aに知覚させてもよい。例えば、ディスプレイデバイス136の左部は、一連の衝突を描写するシーンを含んでもよく、左部に関連付けられる触覚効果は、一連の衝突をユーザ202aに知覚又は体験させるための1つ以上の振動を含んでもよい。
方法700はステップ708に進み、プロセッサ102又は138がユーザ202aの視野210内のディスプレイデバイス136の第2の部分に関連付けられる第2の触覚効果を決定する。一部の実施形態では、コンピュータデバイス101の触覚効果決定モジュール126は、ユーザ202aの視野210内のディスプレイデバイス136の第2の部分に関連付けられる第2の触覚効果をプロセッサ102に決定させる。他の実施形態では、ディスプレイデバイス136の触覚効果決定モジュール162が、ユーザ202aの視野210内のディスプレイデバイス136の第2の部分に関連付けられる第2の触覚効果をプロセッサ138に決定させる。
例えば、プロセッサ138は、(例えば、ステップ704において)センサ203からセンサ信号を受信し、センサ信号に基づいてユーザ202aの視野210又は凝視212a−bの方向を決定し得る。プロセッサ138は、この決定に基づいてユーザ202aがディスプレイデバイス136の上部を見ている又はその方向を見ていることを決定し得る。例えば、ユーザ202aは、ディスプレイデバイス136の(例えば、ステップ706における)左部及び上部を同時に見ていてもよい。プロセッサ138は、ディスプレイデバイス136における様々な部分又は場所に関連付けられる様々な触覚効果に対応するデータを含む1つ以上のルックアップテーブル又はデータベースにアクセスし得る。プロセッサ138は、1つ以上のルックアップテーブル又はデータベースにアクセスして、ディスプレイデバイス136の上部に関連付けられる触覚効果を決定し得る。一部の実施形態では、ディスプレイデバイス136の第2の部分に関連付けられる第2の触覚効果は、ディスプレイデバイス136の第2の部分に関連する1つ以上の触覚効果をユーザ202aに知覚させてもよい。例えば、ディスプレイデバイス136の上部は、車がエンジンをふかしていることを描写するシーンを含んでもよく、上部に関連付けられる触覚効果は、エンジンをふかしていることをユーザ202aに知覚又は体験させるための1つ以上の振動を含んでもよい。
方法700はステップ710に進み、プロセッサ102又は138は、ディスプレイデバイス136の第1の部分又はディスプレイデバイス136の第2の部分の方に向けられているユーザ202aの視野210の比率を決定する。一部の実施形態では、コンピュータデバイス101の触覚効果決定モジュール126は、ディスプレイデバイス136の第1又は第2の部分の方に向けられるユーザ202aの視野210の比率をプロセッサ102に決定させる。他の実施形態では、ディスプレイデバイス136の触覚効果決定モジュール162は、ディスプレイデバイス136の第1又は第2の部分の方に向けられるユーザ202aの視野210の比率をプロセッサ138に決定させる。
一例として、プロセッサ138は、(例えば、ステップ704において)センサ203からセンサ信号を受信し、センサ信号に基づいて、ユーザの視野210の4分の1がディスプレイデバイス136の左部(例えば、第1の部分)の方に向けられていること又はユーザの視野210の4分の3がディスプレイデバイス136の上部(例えば、第2の部分)の方に向けられていることを決定し得る。
方法700はステップ712に進み、プロセッサ102又は138は、ディスプレイデバイス136の第1の部分又は第2の部分の方に向けられているユーザ202aの視野210の比率に少なくとも部分的に基づいて、第1の触覚効果又は第2の触覚効果の特徴を決定する。一部の実施形態では、コンピュータデバイス101の触覚効果決定モジュール126は、ディスプレイデバイス136の第1の部分又は第2の部分の方に向けられるユーザ202aの視野210の比率に少なくとも部分的に基づいて、第1の触覚効果又は第2の触覚効果の特徴をプロセッサ102に決定させる。他の実施形態では、ディスプレイデバイス136の触覚効果決定モジュール162は、ディスプレイデバイス136の第1の部分又は第2の部分の方に向けられるユーザ202aの視野210の比率に少なくとも部分的に基づいて、第1の触覚効果又は第2の触覚効果の特徴をプロセッサ138に決定させる。
一例として、プロセッサ138は、(例えば、ステップ710において)ユーザの視野210の4分の1がディスプレイデバイス136の左部の方に向けられていること及びユーザの視野210の4分の3がディスプレイデバイス136の上部の方に向けられていることを決定し得る。この決定に基づいて、プロセッサ138は、ディスプレイデバイス136の左部に関連付けられる第1の触覚効果の第1の振幅を第1の振幅の4分の1に調節し、且つディスプレイデバイス136の上部に関連付けられる第2の触覚効果の第2の振幅を第2の振幅の4分の3に調節し得る。従って、一部の例では、ユーザ202aによって知覚される触覚効果の特徴は、触覚効果に関連付けられるディスプレイデバイス136の特定の部分の方に向けられたユーザの凝視212a−b、視線、又はユーザの視野210の一部に比例して又は依存して変化してもよい。
方法700はステップ714に進み、プロセッサ102又は138は第1の触覚効果に関連付けられる第1の触覚信号及び第2の触覚効果に関連付けられる第2の触覚信号を触覚出力デバイス118に送信する。一部の実施形態では、触覚効果生成モジュール128は、第1及び第2の触覚信号をプロセッサ102に生成させて、触覚出力デバイス118に送信させる。別の実施形態では、触覚効果生成モジュール164は、第1及び第2の触覚信号をプロセッサ138に生成させて、触覚出力デバイス118に送信させる。
方法700はステップ716に進み、触覚出力デバイス118は、ユーザ202aが第1の触覚効果に関連付けられるディスプレイデバイス136の第1の部分(例えば、ディスプレイデバイス136の左)を見ている、それに向いている又はその方向を見ていることに基づいて第1の触覚効果を出力し、ユーザ202aが第2の触覚効果に関連付けられるディスプレイデバイス136の第2の部分(例えば、ディスプレイデバイス136の上部)を見ている、それに向いている又はその方向を見ていることに基づいて第2の触覚効果を出力する。一部の実施形態では、第1又は第2の触覚効果は、振動、表面変形、絞り、突き、及び/又は固体、液体、気体又はプラズマの吹き出しを含む。
このようにして、本明細書に記載の視野に基づく触覚フィードバックのためのシステムは、ユーザが見ている特定のコンテンツに関連する又はユーザが見ているディスプレイデバイスの特定の部分に関連する1つ以上の触覚効果を提供することにより、ユーザがディスプレイデバイス上のコンテンツを観察するときにより没入感の有る体験をユーザに提供することができる。従って、例えば、ユーザが見ていないか又は向いていないコンテンツに関連付けられる触覚効果によってユーザが困惑しないように、ユーザが見ているコンテンツに関連する触覚効果をユーザは知覚することができる。
(概論)
上記の方法、システム及びデバイスは例示である。様々な構成によって、適宜、様々なプロシージャ又はコンポーネントが省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び/又はステージが追加、省略及び/又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は特許請求の範囲を限定しない。
例示的な構成(実装を含む)の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、こうした構成は特定の詳細無しで実施されてもよい。例えば、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細無しで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、記載された技術を実装するための実施可能な説明を当業者に提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。
また、構成は、フロー図又はブロック図として描かれる処理として記載されてもよい。各々が連続した工程として操作を説明している場合が有るが、こうした操作の多くは並列的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の非一時的なコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。
複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムのコンポーネントであってもよく、他の規則が本発明のアプリケーションに優先し又はそれを修正してもよい。また、上記の要素が検討される前、間又は後で多くのステップが行われてもよい。従って、先の記載によって請求項の範囲は縛られない。
本明細書における「適合」又は「構成」の使用は、追加のタスク又はステップを実行するように適合又は構成されるデバイスを排除しない開放的且つ包括的な言語を意図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており、即ち、1つ以上の記載された条件又は値に「基づいて」行われる処理、ステップ、計算、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。
本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせで実装され得る。一実施形態では、コンピュータは、1つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるRAM(ランダム・アクセス・メモリ;random access memory)等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。
このようなプロセッサは、マイクロプロセッサ、デジタル・シグナル・プロセッサ(digital signal processor;DSP)、特定用途向け集積回路(application−specific integrated circuit;ASIC)、フィールド・プログラマブル・ゲート・アレイ(field programmable gate array;FPGA)、及び状態機械を含む。このようなプロセッサは、PLC、プログラマブル割り込みコントローラ(programmable interrupt controller;PIC)、プログラマブル論理デバイス(programmable logic device;PLD)、プログラマブルROM(programmable read−only memory;PROM)、電気的プログラマブルROM(electronically programmable read−only memory;EPROM又はEEPROM)、又は他の類似のデバイス等のプログラマブル電子デバイスを更に備えてもよい。
このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることができる命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁気、又は他の記憶デバイスを備えてもよい。媒体の他の例は、限定されないが、フロッピーディスク、CD−ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他のデバイスは、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送デバイス等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、1つ以上の構造内に有ってもよく、1つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の1つ以上の方法(又は方法の一部)を実行するためのコードを備えてもよい。
本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化、及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び/又は追加を含むことを排除しないことが理解されるべきである。

Claims (44)

  1. ディスプレイデバイスに通信可能に結合されるコンピュータデバイスであって、前記ディスプレイデバイスは第1のコンテンツ及び第2のコンテンツを表示するように構成されるコンピュータデバイスと、
    前記コンピュータデバイスに通信可能に結合されるセンサであって、前記ディスプレイデバイスに対する前記コンピュータデバイスのユーザの視野を検出して前記視野に関連付けられる信号を送信するように構成されるセンサと、
    前記信号を受信するために前記センサに通信可能に結合されるプロセッサであって、
    前記信号に少なくとも部分的に基づいて前記ユーザの前記視野の方向を決定すること、
    前記ディスプレイデバイスを介して表示され且つ前記ユーザの前記視野の方向内にある前記第1のコンテンツ及び前記第2のコンテンツ少なくとも1つの触覚効果を含む触覚トラックに関連付けられることを決定すること、
    前記第1のコンテンツ及び前記第2のコンテンツに関連付けられる前記触覚トラックを決定すること、
    前記信号に少なくとも部分的に基づいて前記ユーザの凝視の変化を決定すること、
    前記ユーザの前記凝視の変化に少なくとも部分的に基づいて前記触覚トラックの特徴を決定すること、及び
    前記触覚トラックに関連付けられる触覚信号を送信すること
    を行うように構成されるプロセッサと、
    前記触覚信号を受信し且つ前記触覚トラックを出力するように構成される触覚出力デバイスと
    を備える、システム。
  2. 前記センサは、前記ユーザと前記ディスプレイデバイスとの間の距離を検出し、前記距離に関連付けられる距離センサ信号を前記プロセッサに送信するように更に構成され、
    前記プロセッサは、前記距離に少なくとも部分的に基づいて前記触覚トラックの特徴を決定するように更に構成される、請求項1に記載のシステム。
  3. 前記触覚トラックの前記特徴は、前記触覚効果の振幅、持続時間、場所、タイプ又は周波数を含む、請求項2に記載のシステム。
  4. 前記プロセッサは、
    前記ユーザの前記視野内の前記第1のコンテンツに関連付けられる第1の触覚効果を決定すること、
    前記ユーザの前記視野内の前記第2のコンテンツに関連付けられる第2の触覚効果を決定すること、
    前記第1の触覚効果に関連付けられる第1の触覚信号を送信すること、及び
    前記第2の触覚効果に関連付けられる第2の触覚信号を送信すること
    を行うように更に構成され、前記触覚出力デバイスは、前記第1の触覚信号及び前記第2の触覚信号を受信して、前記第1及び第2の触覚効果を出力するように構成される、請求項1に記載のシステム。
  5. 前記プロセッサは、
    前記第1のコンテンツ又は前記第2のコンテンツの方に向けられている前記ユーザの前記視野の比率を決定すること、及び
    前記第1のコンテンツ又は前記第2のコンテンツの方に向けられている前記ユーザの前記視野の前記比率に少なくとも部分的に基づいて、前記第1の触覚効果又は前記第2の触覚効果の特徴を決定すること
    を行うように更に構成される、請求項4に記載のシステム。
  6. 前記プロセッサは、
    前記第1のコンテンツの方に向けられた前記ユーザの凝視の第1の方向を決定すること、
    前記第2のコンテンツの方に向けられた前記ユーザの凝視の第2の方向を決定すること、
    前記第1の方向及び前記第2の方向に基づいて前記ユーザの凝視の変化を決定すること、及び
    前記ユーザの凝視の変化に少なくとも部分的に基づいて、前記第1の触覚効果又は前記第2の触覚効果の特徴を決定すること
    を行うように更に構成される、請求項4に記載のシステム。
  7. 前記プロセッサは、
    前記ユーザの前記視野内の前記ディスプレイデバイスの第1の部分に関連付けられる第1の触覚効果を決定すること、
    前記ユーザの前記視野内の前記ディスプレイデバイスの第2の部分に関連付けられる第2の触覚効果を決定すること、
    前記第1の触覚効果に関連付けられる第1の触覚信号を送信すること、及び
    前記第2の触覚効果に関連付けられる第2の触覚信号を送信すること
    を行うように更に構成され、前記触覚出力デバイスは、前記第1の触覚信号及び前記第2の触覚信号を受信して、前記第1及び第2の触覚効果を出力する、請求項1に記載のシステム。
  8. 前記プロセッサは、
    前記ディスプレイデバイスの前記第1の部分又は前記ディスプレイデバイスの前記第2の部分の方に向けられている前記ユーザの前記視野の比率を決定すること、及び
    前記ディスプレイデバイスの前記第1の部分又は前記ディスプレイデバイスの前記第2の部分の方に向けられている前記ユーザの前記視野の前記比率に少なくとも部分的に基づいて、前記第1の触覚効果又は前記第2の触覚効果の特徴を決定すること
    を行うように更に構成される、請求項7に記載のシステム。
  9. 前記センサは、前記ユーザの目に関連付けられる画像をキャプチャするように構成されるカメラを含み、
    前記プロセッサは、前記画像に基づいて前記ユーザの前記視野の方向を決定するように構成される、請求項1に記載のシステム。
  10. 前記センサは、前記ユーザの目における筋肉の動きを監視するように構成され、
    前記プロセッサは、監視された動きに基づいて前記ユーザの前記視野の方向を決定するように構成される、請求項1に記載のシステム。
  11. 前記コンピュータデバイスは仮想現実ヘッドセットを備え、前記プロセッサは、
    仮想現実環境を生成すること、及び
    前記仮想現実環境及び数のコンテンツを含むデータを前記ディスプレイデバイスに送信すること
    を行うように更に構成され、前記ディスプレイデバイスは、前記複数のコンテンツを表示するように構成され、前記複数のコンテンツは複数の仮想オブジェクトを含む、請求項1に記載のシステム。
  12. 前記プロセッサは、前記ユーザと前記第1のコンテンツ又は前記第2のコンテンツとの間の仮想距離に少なくとも部分的に基づいて前記触覚トラックの特徴を決定するように更に構成される、請求項1に記載のシステム。
  13. センサによって、コンピュータデバイスに通信可能に結合されるディスプレイデバイスに対する前記コンピュータデバイスのユーザの視野を検出するステップであって、前記ディスプレイデバイスは第1のコンテンツ及び第2のコンテンツを表示するように構成されるステップと、
    前記センサによって、前記視野に関連付けられるセンサ信号をプロセッサに送信するステップと、
    前記プロセッサによって、前記センサ信号に少なくとも部分的に基づいて前記視野の方向を決定するステップと、
    前記プロセッサによって、前記ディスプレイデバイスを介して表示される前記第1のコンテンツ及び前記第2のコンテンツが前記視野の方向に基づいて前記ユーザの前記視野内であることを決定するステップと、
    前記プロセッサによって、前記第1のコンテンツ及び前記第2のコンテンツに関連付けられる触覚トラックを決定するステップと、
    前記センサ信号に少なくとも部分的に基づいて前記ユーザの凝視の変化を決定するステップと、
    前記ユーザの前記凝視の変化に少なくとも部分的に基づいて前記触覚トラックの特徴を決定するステップと、
    前記プロセッサによって、前記触覚トラックに関連付けられる触覚信号を触覚出力デバイスに送信するステップと、
    前記触覚出力デバイスによって、前記触覚トラックを出力するステップと
    を含む、方法。
  14. 前記センサによって、前記ユーザと前記ディスプレイデバイスとの間の距離を検出するステップと、
    前記センサによって、前記距離に関連付けられる距離信号を前記プロセッサに送信するステップと、
    前記プロセッサによって、前記距離に少なくとも部分的に基づいて前記触覚トラックの特徴を決定するステップと
    を更に含む、請求項13に記載の方法。
  15. 前記触覚トラックの前記特徴は触覚効果の振幅、持続時間、場所、タイプ又は周波数を含む、請求項14に記載の方法。
  16. 前記プロセッサによって、前記ユーザの前記視野内の前記第1のコンテンツに関連付けられる第1の触覚効果を決定するステップと、
    前記プロセッサによって、前記ユーザの前記視野内の前記第2のコンテンツに関連付けられる第2の触覚効果を決定するステップと、
    前記プロセッサによって、前記第1の触覚効果に関連付けられる第1の触覚信号を送信するステップと、
    前記プロセッサによって、前記第2の触覚効果に関連付けられる第2の触覚信号を送信するステップと、
    前記触覚出力デバイスによって、前記第1の触覚効果及び前記第2の触覚効果を出力するステップであって、前記第1の触覚効果は前記第2の触覚効果とは異なるステップと
    を更に含む、請求項13に記載の方法。
  17. 前記プロセッサによって、前記第1のコンテンツ又は前記第2のコンテンツの方に向けられている前記ユーザの前記視野の比率を決定するステップと、
    前記プロセッサによって、前記第1のコンテンツ又は前記第2のコンテンツの方に向けられている前記ユーザの前記視野の前記比率に少なくとも部分的に基づいて、前記第1の触覚効果又は前記第2の触覚効果の特徴を決定するステップであって、前記特徴は、前記第1の触覚効果又は前記第2の触覚効果の振幅、持続時間、場所、タイプ又は周波数を含むステップと
    を更に含む、請求項16に記載の方法。
  18. 前記プロセッサによって、前記第1のコンテンツの方に向けられた前記ユーザの凝視の第1の方向を決定するステップと、
    前記プロセッサによって、前記第2のコンテンツの方に向けられた前記ユーザの凝視の第2の方向を決定するステップと、
    前記プロセッサによって、前記第1の方向及び前記第2の方向に基づいて前記ユーザの凝視の変化を決定するステップと、
    前記プロセッサによって、前記ユーザの凝視の変化に少なくとも部分的に基づいて、前記第1の触覚効果又は前記第2の触覚効果の特徴を決定するステップであって、前記特徴は、前記第1の触覚効果又は前記第2の触覚効果の振幅、持続時間、場所、タイプ又は周波数を含むステップと
    を更に含む、請求項16に記載の方法。
  19. 前記プロセッサによって、前記ユーザの前記視野内の前記ディスプレイデバイスの第1の部分に関連付けられる第1の触覚効果を決定するステップと、
    前記プロセッサによって、前記ユーザの前記視野内の前記ディスプレイデバイスの第2の部分に関連付けられる第2の触覚効果を決定するステップと、
    前記プロセッサによって、前記第1の触覚効果に関連付けられる第1の触覚信号を送信するステップと、
    前記プロセッサによって、前記第2の触覚効果に関連付けられる第2の触覚信号を送信するステップと、
    前記触覚出力デバイスによって、前記第1の触覚効果及び前記第2の触覚効果を出力するステップであって、前記第1の触覚効果は前記第2の触覚効果とは異なるステップと
    を更に含む、請求項13に記載の方法。
  20. 前記プロセッサによって、前記ディスプレイデバイスの前記第1の部分又は前記ディスプレイデバイスの前記第2の部分の方に向けられている前記ユーザの前記視野の比率を決定するステップと、
    前記プロセッサによって、前記ディスプレイデバイスの前記第1の部分又は前記ディスプレイデバイスの前記第2の部分の方に向けられている前記ユーザの前記視野の前記比率に少なくとも部分的に基づいて、前記第1の触覚効果又は前記第2の触覚効果の特徴を決定するステップであって、前記特徴は、前記第1の触覚効果又は前記第2の触覚効果の振幅、持続時間、場所、タイプ又は周波数を含むステップと
    を更に含む、請求項19に記載の方法。
  21. 前記センサは、前記ユーザの目の動きを監視するように構成され、
    前記プロセッサは、監視された動きに基づいて前記ユーザの前記視野の方向を決定するように構成される、請求項13に記載の方法。
  22. 前記センサは、前記ユーザの目における筋肉の動きを監視するように構成され、
    前記プロセッサは、監視された動きに基づいて前記ユーザの前記視野の方向を決定するように構成される、請求項13に記載の方法。
  23. 前記プロセッサによって、仮想現実環境を生成するステップと、
    前記プロセッサによって、前記仮想現実環境及び数のコンテンツを含むデータを前記ディスプレイデバイスに送信するステップと、
    前記ディスプレイデバイスによって、前記複数のコンテンツを表示するステップであって、前記複数のコンテンツは複数の仮想オブジェクトを含むステップと
    を更に含む、請求項13に記載の方法。
  24. 前記プロセッサによって、前記ユーザと前記第1のコンテンツ又は前記第2のコンテンツとの間の仮想距離に少なくとも部分的に基づいて前記触覚トラックの特徴を決定するステップを更に含む、請求項13に記載の方法。
  25. ディスプレイと、
    前記ディスプレイに対するユーザの視野を検出して、前記視野に関連付けられるセンサ信号を送信するように構成されるセンサと、
    前記センサに通信可能に結合されるプロセッサと
    を備え、
    前記プロセッサは、
    前記センサ信号に少なくとも部分的に基づいて、前記ディスプレイにおけるコンテンツが前記ユーザの前記視野内にあることを決定すること、
    前記ユーザと前記コンテンツとの間の仮想距離を決定すること、
    前記コンテンツに向けられる前記視野の比率を決定すること、
    前記仮想距離と前記コンテンツに向けられる前記視野の比率とに少なくとも部分的に基づいて触覚効果を決定すること、及び
    前記触覚効果を出力するように構成される触覚出力デバイスに前記触覚効果に関連付けられる触覚信号を送信すること
    を行うように構成される、システム。
  26. 前記プロセッサは、前記仮想距離に部分的に基づいて、前記触覚効果の振幅、持続時間、位置、タイプ、又は周波数の1つ以上を決定するように更に構成される、請求項25に記載のシステム。
  27. 前記センサは、前記ユーザと前記ディスプレイとの間の物理距離を検出し、前記プロセッサは、前記物理距離に少なくとも部分的に基づいて前記触覚効果を決定するように更に構成される、請求項25に記載のシステム。
  28. 前記プロセッサは、前記コンテンツの少なくとも1つのパラメータに対応するデータを含むルックアップテーブル又はデータベースの少なくとも1つにアクセスすること、及び前記コンテンツの前記少なくとも1つのパラメータに少なくとも部分的に基づいて前記仮想距離を決定することを行うように更に構成される、請求項26に記載のシステム。
  29. 前記コンテンツの前記少なくとも1つのパラメータは、前記コンテンツのサイズ、前記コンテンツの前記ディスプレイにおける位置、又は前記コンテンツの表示の角度の少なくとも1つを含む、請求項28に記載のシステム。
  30. 前記プロセッサは、前記仮想距離の変化に基づいて前記触覚効果を調節するように更に構成される、請求項26に記載のシステム。
  31. 前記プロセッサは、
    前記ユーザの前記視野内の第2のコンテンツに関連付けられる第2の触覚効果を決定することであって、前記第2の触覚効果は、前記ユーザと前記第2のコンテンツとの間の第2の仮想距離に少なくとも部分的に基づくこと、及び
    前記第2の触覚効果に関連付けられる第2の触覚信号を前記触覚出力デバイスに送信すること
    を行うように更に構成される、請求項26に記載のシステム。
  32. 前記プロセッサは、前記コンテンツ又は前記第2のコンテンツの方に向けられている前記視野の比率に少なくとも部分的に基づいて、前記触覚効果及び前記第2の触覚効果の特徴を決定するように更に構成される、請求項31に記載のシステム。
  33. 前記プロセッサは、
    前記コンテンツの方に向けられた前記ユーザの第1の凝視方向を決定すること、
    前記第2のコンテンツの方に向けられた前記ユーザの第2の凝視方向を決定すること、
    前記第1の凝視方向及び前記第2の凝視方向からの変化に少なくとも部分的に基づいて、前記触覚効果又は前記第2の触覚効果の特徴を決定すること
    を行うように更に構成される、請求項31に記載のシステム。
  34. 前記ディスプレイは、仮想現実ヘッドセットに結合されており、前記プロセッサは、
    仮想現実環境を生成すること、及び
    前記仮想現実環境及び前記コンテンツを含むデータを前記ディスプレイに送信することであって、前記コンテンツは複数の仮想オブジェクトを含むこと
    を行うように更に構成される、請求項26に記載のシステム。
  35. ディスプレイに対するユーザの視野を検出するステップと、
    前記ディスプレイにおけるコンテンツが前記ユーザの前記視野内にあることを決定するステップと、
    前記ユーザと前記コンテンツとの間の仮想距離を決定するステップと、
    前記コンテンツに向けられる前記視野の比率を決定するステップと、
    前記仮想距離と前記コンテンツに向けられる前記視野の比率とに少なくとも部分的に基づいて触覚効果を決定するステップと、
    前記触覚効果を出力するように構成される触覚出力デバイスに前記触覚効果に関連付けられる触覚信号を送信するステップと
    を含む、方法。
  36. 前記仮想距離に部分的に基づいて、前記触覚効果の振幅、持続時間、位置、タイプ、又は周波数の1つ以上を決定するステップを更に含む、請求項35に記載の方法。
  37. 前記ユーザと前記ディスプレイとの間の物理距離を検出するステップと、
    前記物理距離に少なくとも部分的に基づいて前記触覚効果を決定するステップと
    を更に含む、請求項35に記載の方法。
  38. 前記コンテンツの少なくとも1つのパラメータに対応するデータを含むルックアップテーブル又はデータベースの少なくとも1つにアクセスするステップと、
    前記コンテンツの前記少なくとも1つのパラメータに少なくとも部分的に基づいて前記仮想距離を決定するステップと
    を更に含む、請求項35に記載の方法。
  39. 前記コンテンツの前記少なくとも1つのパラメータは、前記コンテンツのサイズ、前記コンテンツの前記ディスプレイにおける位置、又は前記コンテンツの表示の角度の少なくとも1つを含む、請求項38に記載の方法。
  40. 前記仮想距離の変化に基づいて前記触覚効果を調節するステップを更に含む、請求項35に記載の方法。
  41. 前記ユーザの前記視野内の第2のコンテンツに関連付けられる第2の触覚効果を決定するステップであって、前記第2の触覚効果は、前記ユーザと前記第2のコンテンツとの間の第2の仮想距離に少なくとも部分的に基づくステップと、
    前記第2の触覚効果に関連付けられる第2の触覚信号を前記触覚出力デバイスに送信するステップと
    を更に含む、請求項35に記載の方法。
  42. 前記コンテンツ又は前記第2のコンテンツの少なくとも1つの方に向けられている前記ユーザの前記視野の比率に少なくとも部分的に基づいて、前記触覚効果及び前記第2の触覚効果の特徴を決定するステップを更に含む、請求項41に記載の方法。
  43. 前記コンテンツの方に向けられた前記ユーザの第1の凝視方向を決定するステップと、
    前記第2のコンテンツの方に向けられた前記ユーザの第2の凝視方向を決定するステップと、
    前記第1の凝視方向及び前記第2の凝視方向からの変化に少なくとも部分的に基づいて、前記触覚効果又は前記第2の触覚効果の特徴を決定するステップと
    を更に含む、請求項41に記載の方法。
  44. プログラムコードを含む非一時的なコンピュータ可読媒体であって、プロセッサによって実行されると、前記プログラムコードは、
    ディスプレイに対するユーザの視野を検出すること、
    前記ディスプレイにおけるコンテンツが前記ユーザの前記視野内にあることを決定すること、
    前記ユーザと前記コンテンツとの間の仮想距離を決定すること、
    前記コンテンツに向けられる前記視野の比率を決定すること、
    前記仮想距離と前記コンテンツに向けられる前記視野の比率とに少なくとも部分的に基づいて触覚効果を決定すること、及び
    前記触覚効果を出力するように構成される触覚出力デバイスに前記触覚効果に関連付けられる触覚信号を送信すること
    を前記プロセッサに行わせるように構成される、非一時的なコンピュータ可読媒体。
JP2017247341A 2016-12-27 2017-12-25 視野を用いる触覚フィードバック Active JP6985134B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/390,868 2016-12-27
US15/390,868 US10324531B2 (en) 2016-12-27 2016-12-27 Haptic feedback using a field of view

Publications (3)

Publication Number Publication Date
JP2018109974A JP2018109974A (ja) 2018-07-12
JP2018109974A5 JP2018109974A5 (ja) 2021-02-04
JP6985134B2 true JP6985134B2 (ja) 2021-12-22

Family

ID=60782063

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017247341A Active JP6985134B2 (ja) 2016-12-27 2017-12-25 視野を用いる触覚フィードバック

Country Status (5)

Country Link
US (2) US10324531B2 (ja)
EP (1) EP3343326B1 (ja)
JP (1) JP6985134B2 (ja)
KR (2) KR102285180B1 (ja)
CN (1) CN108334190B (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
CN105683878B (zh) 2013-09-03 2019-05-07 苹果公司 用户界面中的用户界面对象操作
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
CN106462340B (zh) 2014-06-27 2019-09-13 苹果公司 尺寸减小的用户界面
CN113824998A (zh) 2014-09-02 2021-12-21 苹果公司 音乐用户界面
US20160062571A1 (en) 2014-09-02 2016-03-03 Apple Inc. Reduced size user interface
TWI582641B (zh) 2014-09-02 2017-05-11 蘋果公司 按鈕功能性
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
DK179978B1 (en) * 2016-09-23 2019-11-27 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
US10401954B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Sensory enhanced augmented reality and virtual reality device
US10979685B1 (en) 2017-04-28 2021-04-13 Apple Inc. Focusing for virtual and augmented reality systems
WO2018200993A1 (en) 2017-04-28 2018-11-01 Zermatt Technologies Llc Video pipeline
JP6613267B2 (ja) 2017-06-02 2019-11-27 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP6837921B2 (ja) * 2017-06-02 2021-03-03 任天堂株式会社 ゲームプログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6653293B2 (ja) 2017-06-05 2020-02-26 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
US10861142B2 (en) * 2017-07-21 2020-12-08 Apple Inc. Gaze direction-based adaptive pre-filtering of video data
CA3037657C (en) * 2018-03-22 2023-03-14 Jennifer Hendrix Route guidance and obstacle avoidance system
US11725958B2 (en) 2018-03-22 2023-08-15 Jennifer Hendrix Route guidance and proximity awareness system
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
CN110134248B (zh) * 2018-09-11 2020-12-11 苹果公司 基于内容的触觉输出
DK179896B1 (en) 2018-09-11 2019-08-30 Apple Inc. CONTENT-BASED TACTILE OUTPUTS
US10775894B2 (en) * 2018-11-02 2020-09-15 Immersion Corporation Systems and methods for providing customizable haptic playback
US10860101B1 (en) 2018-11-21 2020-12-08 Facebook Technologies, Llc Systems and methods using patterned nanovoids for actuation and deformation sensing
WO2020219073A1 (en) * 2019-04-26 2020-10-29 Hewlett-Packard Development Company, L.P. Spatial audio and haptics
US10996761B2 (en) 2019-06-01 2021-05-04 Apple Inc. User interfaces for non-visual output of time
US11086398B2 (en) * 2019-06-07 2021-08-10 Microsoft Technology Licensing, Llc Haptic rendering
US11347312B1 (en) * 2019-09-23 2022-05-31 Apple Inc. Ultrasonic haptic output devices
US11429155B2 (en) * 2019-10-01 2022-08-30 Dell Products L.P. Information handling system including dynamic configuration of piezoelectric transducers for multi-functionality
JP2021067877A (ja) * 2019-10-25 2021-04-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、ヘッドマウントディスプレイ、および画像表示方法
US11093005B1 (en) * 2020-05-05 2021-08-17 International Business Machines Corporation Virtual reality rollable display device
DE112021005923T5 (de) * 2020-11-10 2023-09-28 Sony Group Corporation Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren und signalverarbeitungssystem
US11461991B2 (en) * 2020-12-30 2022-10-04 Imagine Technologies, Inc. Method of developing a database of controllable objects in an environment

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2422265A1 (en) * 2003-03-14 2004-09-14 Handshake Interactive Technologies Inc. A method and system for providing haptic effects
WO2006100645A2 (en) 2005-03-24 2006-09-28 Koninklijke Philips Electronics, N.V. Immersive reading experience using eye tracking
US8243970B2 (en) * 2008-08-11 2012-08-14 Telefonaktiebolaget L M Ericsson (Publ) Virtual reality sound for advanced multi-media applications
EP2376998B1 (en) * 2008-12-09 2015-11-04 Koninklijke Philips N.V. Method and system for providing immersive effects
WO2014006799A1 (ja) 2012-07-05 2014-01-09 日本電気株式会社 電子機器、その制御方法及び制御プログラムが格納された非一時的なコンピュータ可読媒体
US9202350B2 (en) * 2012-12-19 2015-12-01 Nokia Technologies Oy User interfaces and associated methods
US9466187B2 (en) 2013-02-04 2016-10-11 Immersion Corporation Management of multiple wearable haptic devices
US9833697B2 (en) * 2013-03-11 2017-12-05 Immersion Corporation Haptic sensations as a function of eye gaze
JP2014197338A (ja) * 2013-03-29 2014-10-16 株式会社東芝 プログラムの疎行列演算化装置
US9946348B2 (en) * 2014-03-21 2018-04-17 Immersion Corporation Automatic tuning of haptic effects
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US10613627B2 (en) 2014-05-12 2020-04-07 Immersion Corporation Systems and methods for providing haptic feedback for remote interactions
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US20160187976A1 (en) 2014-12-29 2016-06-30 Immersion Corporation Systems and methods for generating haptic effects based on eye tracking
US9711015B2 (en) 2015-09-16 2017-07-18 Immersion Corporation Customizing haptic feedback in live events

Also Published As

Publication number Publication date
JP2018109974A (ja) 2018-07-12
EP3343326B1 (en) 2021-11-17
CN108334190A (zh) 2018-07-27
KR102285180B1 (ko) 2021-08-03
US10564729B2 (en) 2020-02-18
US10324531B2 (en) 2019-06-18
KR20210095833A (ko) 2021-08-03
US20180181201A1 (en) 2018-06-28
KR20180076344A (ko) 2018-07-05
EP3343326A2 (en) 2018-07-04
US20190272036A1 (en) 2019-09-05
CN108334190B (zh) 2022-08-26
EP3343326A3 (en) 2018-11-21

Similar Documents

Publication Publication Date Title
JP6985134B2 (ja) 視野を用いる触覚フィードバック
JP6906580B6 (ja) ビューポートベースの拡張現実触覚効果のシステム、方法及び非一時的コンピュータ可読媒体
KR102596341B1 (ko) 환경에서 객체들을 조작하기 위한 방법들
GB2556347B (en) Virtual Reality
US10248210B2 (en) Systems and methods for haptically-enabled conformed and multifaceted displays
JP2022003535A (ja) 位置ベースの触覚効果のためのシステム及び方法
JP6516477B2 (ja) ユーザ生成コンテンツをオーサリングするためのシステム及び方法
US10474238B2 (en) Systems and methods for virtual affective touch
US20220253136A1 (en) Methods for presenting and sharing content in an environment
KR20220012990A (ko) 인공 현실 시스템들을 위한 팔 응시-구동 사용자 인터페이스 요소 게이팅
JP7355006B2 (ja) 情報処理装置、情報処理方法、および記録媒体
TW202105129A (zh) 具有用於閘控使用者介面元件的個人助理元件之人工實境系統
JP2019192237A (ja) 拡張又は仮想現実環境に対して動的触覚プレイバックを提供するためのシステム及び方法
US11900520B1 (en) Specifying effects for entering or exiting a computer-generated reality environment
JP2018113025A (ja) 触覚によるコンプライアンス錯覚のためのシステム及び方法
JP2022535322A (ja) 人工現実システムのための角を識別するジェスチャー駆動のユーザインターフェース要素ゲーティング
EP3367216A1 (en) Systems and methods for virtual affective touch
US20230343049A1 (en) Obstructed objects in a three-dimensional environment
US20190265794A1 (en) Haptic feedback for opportunistic displays
KR20200075773A (ko) 사용자의 모션 또는 환경에 기초하여 햅틱 효과들을 제공하는 시스템들 및 방법들
KR20240048522A (ko) 3차원 환경들과 상호작용하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201218

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201218

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211125

R150 Certificate of patent or registration of utility model

Ref document number: 6985134

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150