JP5779508B2 - テクスチャエンジン用のシステム及び方法 - Google Patents

テクスチャエンジン用のシステム及び方法 Download PDF

Info

Publication number
JP5779508B2
JP5779508B2 JP2011554180A JP2011554180A JP5779508B2 JP 5779508 B2 JP5779508 B2 JP 5779508B2 JP 2011554180 A JP2011554180 A JP 2011554180A JP 2011554180 A JP2011554180 A JP 2011554180A JP 5779508 B2 JP5779508 B2 JP 5779508B2
Authority
JP
Japan
Prior art keywords
haptic effect
processor
haptic
signal
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011554180A
Other languages
English (en)
Other versions
JP2012520137A (ja
Inventor
ファン マニュエル クルス−エルナンデス、
ファン マニュエル クルス−エルナンデス、
ダニー エイ． グラント、
ダニー エイ． グラント、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/696,900 external-priority patent/US9696803B2/en
Priority claimed from US12/697,042 external-priority patent/US10564721B2/en
Priority claimed from US12/697,010 external-priority patent/US9874935B2/en
Priority claimed from US12/697,037 external-priority patent/US9927873B2/en
Priority claimed from US12/696,893 external-priority patent/US9746923B2/en
Priority claimed from US12/696,908 external-priority patent/US10007340B2/en
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2012520137A publication Critical patent/JP2012520137A/ja
Application granted granted Critical
Publication of JP5779508B2 publication Critical patent/JP5779508B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H02N2/06—Drive circuits; Control arrangements or methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. tactile personal calling systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、一般に、触覚フィードバックに関し、より詳細には、テクスチャエンジン用のシステム及び方法に関する。
（関連出願への相互参照）
本特許出願は、２００９年３月１２日に提出された“Ｌｏｃａｔｉｎｇ Ｆｅａｔｕｒｅｓ Ｕｓｉｎｇ ａ Ｆｒｉｃｔｉｏｎ Ｄｉｓｐｌａｙ”と題された米国仮特許出願第６１／１５９，４８２号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２００９年１１月１７日に提出された“Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｉｎｃｒｅａｓｉｎｇ Ｈａｐｔｉｃ Ｂａｎｄｗｉｄｔｈ ｉｎ ａｎ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅ”と題された米国仮特許出願第６１／２６２，０４１号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２００９年１１月１７日に提出された“Ｆｒｉｃｔｉｏｎ Ｒｏｔａｒｙ Ｄｅｖｉｃｅ ｆｏｒ Ｈａｐｔｉｃ Ｆｅｅｄｂａｃｋ”と題された米国仮特許出願第６１／２６２，０３８号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２０１０年１月２９日に提出された“Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｐｒｏｖｉｄｉｎｇ Ｆｅａｔｕｒｅｓ Ｉｎ Ａ Ｆｒｉｃｔｉｏｎ Ｄｉｓｐｌａｙ”と題された米国特許出願第１２／６９６，８９３号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２０１０年１月２９日に提出された“Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｆｒｉｃｔｉｏｎ Ｄｉｓｐｌａｙｓ Ａｎｄ Ａｄｄｉｔｉｏｎａｌ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ”と題された米国特許出願第１２／６９６，９００号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２０１０年１月２９日に提出された“Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｅａｔｕｒｉｎｇ Ｓｕｒｆａｃｅ−Ｂａｓｅｄ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ”と題された米国特許出願第１２／６９６，９０８号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２０１０年１月２９日に提出された“Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ａ Ｔｅｘｔｕｒｅ Ｅｎｇｉｎｅ”と題された米国特許出願第１２／６９７，０１０号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２０１０年１月２９日に提出された“Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｕｓｉｎｇ Ｔｅｘｔｕｒｅｓ Ｉｎ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｗｉｄｇｅｔｓ”と題された米国特許出願第１２／６９７，０３７号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２０１０年１月２９日に提出された“Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｕｓｉｎｇ Ｍｕｌｔｉｐｌｅ Ａｃｔｕａｔｏｒｓ Ｔｏ Ｒｅａｌｉｚｅ Ｔｅｘｔｕｒｅｓ”と題された米国特許出願第１２／６９７，０４２号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
過去数年にわたり、あらゆる種類のハンドヘルド装置の使用が急増している。こうした装置は、携帯型オーガナイザ、電話、音楽プレーヤ、及びゲームシステムとして使用されている。現在、多くの最新式ハンドヘルド装置は、何らかの種類の触覚フィードバックを組み込んでいる。触覚技術が進歩するにつれて、装置はテクスチャをシミュレートする触覚フィードバックを組み込んでもよい。従って、触覚テクスチャエンジンが必要とされる。
本発明の実施形態は、テクスチャエンジン用のシステム及び方法を提供する。例えば、一実施形態では、テクスチャエンジン用のシステムは、複数のピクセルを含む表示信号を受信し、テクスチャを含む触覚効果を決定し、プロセッサと通信するアクチュエータに触覚効果に関連付けられる触覚信号を送信するように構成されるプロセッサを備え、アクチュエータは触覚信号を受信して触覚効果を出力するように構成される。
この例示の実施形態は、本発明を限定又は定義するのではなく、その理解を容易にする例示を提供するために言及される。例示の実施形態は、発明の詳細な説明において検討され、そこでは発明のさらなる説明が提供される。本発明の多様な実施形態によって提供される利点は、本明細書を吟味することでさらに理解され得る。
本発明のこれらの及び他の特徴、態様、及び利点は、添付の図面を参照して以下の詳細な説明を読めば、よりよく理解される。
本発明の一実施形態によるテクスチャエンジン用のシステムのブロック図である。 本発明の一実施形態によるテクスチャエンジン用のシステムの例示である。 本発明の一実施形態によるテクスチャエンジン用のシステムの例示である。 本発明の一実施形態によるテクスチャエンジン用のシステムの例示である。 本発明の一実施形態によるテクスチャエンジン用の方法の流れ図である。 本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの１つの例示である。 本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの１つの別の例示である。 本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの１つの別の例示である。 本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの１つの別の例示である。 本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの１つの別の例示である。 本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの１つの別の例示である。 本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの１つの別の例示である。 本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの１つの別の例示である。
本発明の実施形態は、テクスチャエンジン用のシステム及び方法を提供する。
（テクスチャエンジンの例示的な実施形態）
本発明の例示の実施形態は、例えば、携帯電話等のメッセージング装置を含む。例示の実施形態では、メッセージング装置は、以前はＩｍｍｅｒｓｉｏｎ社のＶｉｂｅＴｏｎｚ（Ｒ）振動触覚フィードバックシステムとして知られていた、Ｉｍｍｅｒｓｉｏｎ社のＴｏｕｃｈＳｅｎｓｅ（Ｒ）３０００、ＴｏｕｃｈＳｅｎｓｅ（Ｒ）４０００、又は ＴｏｕｃｈＳｅｎｓｅ（Ｒ）５０００という振動触覚フィードバックシステムを搭載したＳａｍｓｕｎｇ Ｈａｐｔｉｃ Ｐｈｏｎｅ（ＳＣＨ−Ｗ４２０）を含む。他の実施形態では、異なるメッセージング装置及び触覚フィードバックシステムが利用されてもよい。
例示のメッセージング装置は、ディスプレイ、スピーカ、ネットワークインターフェース、メモリ、及びこうした各要素と通信するプロセッサを備える。また、例示のメッセージング装置は、タッチセンサ式インターフェース及びアクチュエータも備える。これらは共にプロセッサと通信する。タッチセンサ式インターフェースは、メッセージング装置とユーザの相互作用を感知するように構成され、アクチュエータは、触覚効果を出力するように構成される。例示のメッセージング装置は、ユーザ相互作用を検出してユーザ相互作用に関連付けられるインターフェース信号をプロセッサに送信するように構成される操作子をさらに備えてもよい。
例示のメッセージング装置において、ディスプレイは、ユーザに対してグラフィカルユーザインターフェースを表示するように構成される。グラフィカルユーザインターフェースは、仮想オブジェクト、例えば、アイコン、ボタン、又は仮想キーボードを含んでもよい。例示のメッセージング装置は、例えば、ディスプレイの上に搭載されたタッチスクリーン等のタッチセンサ式インターフェースをさらに備える。タッチセンサ式インターフェースは、ユーザがグラフィカルユーザインターフェースに表示された仮想オブジェクトと相互作用することを可能にする。例えば、一実施形態では、グラフィカルユーザインターフェースは、仮想キーボードを備えてもよい。このような実施形態では、タッチセンサ式インターフェースは、ユーザが仮想キーボード上のキーに触れてキーに関連付けられる英数字を入力することを可能にする。この機能性は、メッセージをタイプし、又はグラフィカルユーザインターフェース内のオブジェクトと相互作用するために使用されてもよい。
例示のメッセージング装置において、プロセッサは、触覚効果を決定して、触覚効果を出力するように構成されるアクチュエータに触覚効果に対応する触覚信号を送信するように構成される。例示のメッセージング装置において、触覚効果は、タッチセンサ式インターフェースの表面でユーザが感じるテクスチャをシミュレートする。シミュレートされるテクスチャは、ディスプレイ上に示されるユーザインターフェースに関連付けられてもよい。例えば、ディスプレイは、岩の形状を含むアイコンを示してもよい。このような実施形態では、プロセッサは、タッチセンサ式インターフェースの表面上で岩のテクスチャをシミュレートするように構成される触覚効果を決定してもよい。次に、プロセッサは、触覚効果を出力するように構成されるアクチュエータに触覚信号を送信するであろう。アクチュエータは、触覚信号を受信すると、タッチセンサ式インターフェースの表面を岩のテクスチャに近似させるように構成される周波数で振動のような触覚効果を出力するであろう。
例示の実施形態では、プロセッサは、触覚効果を決定するために触覚マップを実装してもよい。例えば、例示の実施形態では、プロセッサは、各々が色彩に関連付けられる複数のピクセルを含む表示信号を受信してもよい。例えば、例示の実施形態では、表示信号における各ピクセルは、赤、緑又は青の色彩に関連付けられてもよく、さらに色彩ごとの強度に関連付けられてもよい。例示の実施形態では、プロセッサは、各色彩に対して触覚値を割り当て、さらに各色彩の強度に関連付けられる触覚強度を割り当てるであろう。次に、プロセッサは、触覚効果を出力するように構成されるアクチュエータに触覚値及び触覚強度を含む触覚信号を送信するであろう。
例示の実施形態では、プロセッサは、さらに外部トリガに基づいて触覚効果を決定してもよい。例えば、例示の実施形態では、プロセッサは、ユーザ相互作用を検出するように構成されるタッチセンサ式インターフェースからインターフェース信号を受信するように構成される。次に、例示の実施形態では、プロセッサは、インターフェース信号に少なくとも部分的に基づいて触覚効果を決定するであろう。例えば、プロセッサは、インターフェース信号に少なくとも部分的に基づいて触覚値又は触覚強度を修正してもよい。例示の実施形態では、タッチセンサ式インターフェースが高速又は高圧のユーザ相互作用を検出する場合、プロセッサはより高強度の触覚効果を決定するであろう。
例示のメッセージング装置は、多くの目的で触覚効果を出力してもよい。例えば、一実施形態では、触覚効果は、ユーザ相互作用に関連付けられるインターフェース信号をプロセッサが受信したことの確認として作用してもよい。例えば、グラフィカルユーザインターフェースは、ボタンを含んでもよく、タッチセンサ式インターフェースは、ボタンを押すことに関連付けられたユーザ相互作用を検出して、プロセッサにインターフェース信号を送信してもよい。これに応じて、プロセッサは、インターフェース信号を受信したことを確認するための触覚効果を決定してもよい。このような実施形態では、触覚効果は、タッチセンサ式インターフェースの表面でテクスチャをユーザに感知させてもよい。例示の実施形態では、プロセッサは、他の目的で触覚効果をさらに決定してもよい。例えば、例示のメッセージング装置は、ユーザにディスプレイの境界を警告し、又はディスプレイの表面にあるアイコン等のオブジェクトに対する識別としてテクスチャを出力してもよい。
この例示は、本明細書で検討される一般的な主題を読者に紹介するために与えられる。本発明は、この例示には限定されない。以下の段落は、テクスチャエンジン用のシステム及び方法の様々な追加の非限定的な実施形態及び例示を記載する。
（テクスチャエンジン用の例示のシステム）
次に、複数の図面を通じて同様の番号が同様の要素を示す図面を参照すると、図１は、本発明の一実施形態によるテクスチャエンジンのためのシステムのブロック図である。図１に示されるように、システム１００は、例えば、携帯電話、ＰＤＡ（ｐｏｒｔａｂｌｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、携帯型メディアプレーヤ、携帯型コンピュータ、携帯型ゲーム装置又は他の何らかの移動装置等のメッセージング装置１０２を備える。幾つかの実施形態では、メッセージング装置１０２は、ラップトップ、タブレット、デスクトップＰＣ、又は他の類似の装置を含んでもよい。さらに他の実施形態では、メッセージング装置は、ＰＣ又は他の何らかの装置と共に使用される外部モニタを含んでもよい。メッセージング装置１０２は、ネットワークインターフェース１１２、タッチセンサ式インターフェース１１４、ディスプレイ１１６、アクチュエータ１１８、スピーカ１２０、及びメモリ１２２と通信するプロセッサ１１０を備える。
プロセッサ１１０は、メモリ１２２に記憶されるコンピュータ実行可能プログラム命令を実行するように構成される。例えば、プロセッサ１１０は、メッセージング又は触覚フィードバック生成のために１つ以上のコンピュータプログラムを実行してもよい。プロセッサ１１０は、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、１つ以上のＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、又は状態機械を備えてもよい。プロセッサ１１０は、例えば、ＰＬＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｃｏｎｔｒｏｌｌｅｒ）、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ若しくはＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置をさらに備えてもよい。
メモリ１２２は、プロセッサ１１０によって実行されると、本明細書に記載したような様々なステップをプロセッサ１１０に実行させる命令を記憶するコンピュータ可読媒体を含む。コンピュータ可読媒体の実施形態は、限定されないが、電子、光学、磁気、又はプロセッサ１１０にコンピュータ可読命令を提供可能な他の記憶装置若しくは伝送装置を含んでもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読取り可能な任意の他の媒体を含む。さらに、様々な他の装置は、例えば、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。プロセッサ１１０及び記載された処理は、１つ以上の構造内にあってもよく、１つ以上の構造にわたって分散されてもよい。
プロセッサ１１０は、ネットワークインターフェース１１２と通信する。ネットワークインターフェース１１２は、例えば、赤外線、無線、Ｗｉ−Ｆｉ又はセルラネットワーク通信等の１つ以上の移動式通信方法を備えてもよい。他の変形では、ネットワークインターフェース１１２は、例えば、イーサネット（登録商標）等の有線ネットワークインターフェースを備える。メッセージング装置１０２は、例えば、セルラネットワーク及び／又はインターネット等のネットワークを介して他の装置（図示せず）とメッセージ又は仮想メッセージオブジェクトを交換するように構成され得る。装置間で交換されるメッセージの実施形態は、音声メッセージ、テキストメッセージ、データメッセージ、又は他の形態のデジタルメッセージを含んでもよい。
また、プロセッサ１１０は、１つ以上のタッチセンサ式インターフェース１１４とも通信する。幾つかの実施形態では、タッチセンサ式インターフェース１１４は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、幾つかの実施形態では、タッチセンサ式インターフェース１１４は、表示信号を受信してユーザに画像を出力するように構成されるディスプレイの上に搭載されるタッチスクリーンを含んでもよい。他の実施形態では、タッチセンサ式インターフェース１１４は、光学センサ又は別の種類のセンサを備えてもよい。一実施形態では、タッチセンサ式インターフェースは、ＬＥＤ検出器を備えてもよい。例えば、一実施形態では、タッチセンサ式インターフェース１１４は、ディスプレイ１１６の側部に取り付けられるＬＥＤ指検出器を備えてもよい。幾つかの実施形態では、プロセッサは、単一のタッチセンサ式インターフェース１１４と通信し、他の実施形態では、プロセッサは、複数のタッチセンサ式インターフェース、例えば、第１のタッチスクリーン及び第２のタッチスクリーンと通信する。タッチセンサ式インターフェース１１４は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ１１０に信号を送信するように構成される。幾つかの実施形態では、タッチセンサ式インターフェース１１４は、複数の態様のユーザ相互作用を検出するように構成されてもよい。例えば、タッチセンサ式インターフェース１１４は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。
また、図１に示される実施形態では、プロセッサ１１０は、ディスプレイ１１６とも通信する。プロセッサ１１０は、ディスプレイ１１６に示されるユーザインターフェースの図形表現を生成して、ディスプレイ１１６にこの図形表現を含む表示信号を送信するように構成され得る。他の実施形態では、ディスプレイ１１６は、別の装置から表示信号を受信するように構成される。例えば、幾つかの実施形態では、ディスプレイ１１６は、コンピュータモニタ等の外部ディスプレイを含んでもよい。ディスプレイ１１６は、表示信号を受信して、その表示信号に関連付けられる画像を出力するように構成される。幾つかの実施形態では、表示信号はＶＧＡ、ＨＤＭＩ、ＳＶＧＡ、ＶＩＤＥＯ、Ｓ−ＶＩＤＥＯ、又は当技術分野で周知の他の種類の表示信号を含んでもよい。幾つかの実施形態では、ディスプレイ１１６は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又はプラズマスクリーンディスプレイ等のフラットスクリーンディスプレイを含む。他の実施形態では、ディスプレイ１１６は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、又は当技術分野で周知の他の種類のディスプレイを含む。さらに他の実施形態では、ディスプレイ１１６は、タッチセンサ式インターフェース１１４を含んでもよく、例えば、ディスプレイ１１６は、タッチスクリーンＬＣＤを含んでもよい。さらに他の実施形態では、ディスプレイ１１６は、フレキシブルスクリーン又はフレキシブルディスプレイを含んでもよい。例えば、幾つかの実施形態では、ディスプレイ１１６は、その表面の下側に取り付けられる触角基板を備えてもよい。このような実施形態では、ディスプレイ１１６は可撓性材料から作られ、プロセッサ１１０から受信される信号に応答して、触覚基板が曲がることで、ディスプレイ１１６の表面に隆起、谷間、又は他の特徴を形成する。幾つかの実施形態では、触覚基板は、プラズマアクチュエータ、圧電性アクチュエータ、電気活性ポリマ、微小電気機械システム、形状記憶合金、流体グリッド又はガス充填セルを含んでもよい。
幾つかの実施形態では、プロセッサ１１０は、ディスプレイ１１６に示されるグラフィカルユーザインターフェースとの相互作用に関連付けられる信号をタッチセンサ式インターフェース１１４から受信する。例えば、一実施形態では、タッチセンサ式インターフェース１１４は、タッチスクリーンを含んでもよく、ディスプレイ１１６上のグラフィカルユーザインターフェースは、仮想キーボードを含んでもよい。このような実施形態では、ユーザが仮想キーボードのキーの１つと重なるタッチスクリーンの一部と相互作用すると、タッチスクリーンは、このユーザ相互作用に対応するインターフェース信号をプロセッサ１１０に送信するであろう。このインターフェース信号に基づいて、プロセッサ１１０は、ユーザが仮想キーボード上でキーの１つを押したことを決定するであろう。この機能性は、ユーザがディスプレイ１１６上の他のアイコン及び仮想オブジェクトと相互作用することを可能にする。例えば、幾つかの実施形態では、ユーザは、タッチスクリーンをフリックして、仮想ボールを移動させ又は仮想つまみを回してもよい。
また、図１に示されるように、プロセッサ１１０は、１つ以上のアクチュエータ１１８、各アクチュエータ用のサスペンションシステム、並びに各アクチュエータ用の電力及び制御配線を備える作動システムとも通信する。幾つかの実施形態では、メッセージング装置１０２は、１つ以上の作動システムを備える。プロセッサ１１０は、触覚効果を決定して、その触覚効果に対応する触覚信号をアクチュエータ１１８に送信するように構成される。幾つかの実施形態では、触覚効果は、ディスプレイ１１６、タッチセンサ式インターフェース１１４、又はメッセージング装置１０２の筐体の表面で感知される振動触覚テクスチャを含む。幾つかの実施形態では、触覚効果を決定することは、一連の計算を実行することを含んでもよい。他の実施形態では、触覚効果を決定することは、ルックアップテーブルにアクセスすることを含んでもよい。さらに他の実施形態では、触覚効果を決定することは、ルックアップテーブルとアルゴリズムとの組み合わせを含んでもよい。
幾つかの実施形態では、触覚効果を決定することは、触覚マップを含んでもよい。このような実施形態では、触覚効果を決定することは、表示信号をアクチュエータにマッピングすることを含んでもよい。例えば、表示信号は、各々が色彩に関連付けられる複数のピクセルを含んでもよい。このような実施形態では、各ピクセルは、赤、緑又は青の色彩に関連付けられてもよい。さらに各色彩は、強度、例えば、１−８の強度に関連付けられてもよい。このような実施形態では、触覚効果を決定することは、各色彩に触覚効果を割り当てることを含んでもよい。幾つかの実施形態では、触覚効果は、動作の方向及び強度を含んでもよい。例えば、一実施形態では、触覚信号は、回転アクチュエータを半分の力で時計回りに回転させるように構成されてもよい。幾つかの実施形態では、動作の強度は、色彩の強度に関連付けられてもよい。プロセッサ１１０は、触覚効果を決定すると、触覚効果を含む触覚信号を送信する。幾つかの実施形態では、プロセッサ１１０は、表示信号における一部のピクセルのみに触覚効果を割り当ててもよい。例えば、このような実施形態では、触覚効果は、表示信号の一部のみに関連付けられてもよい。
幾つかの実施形態では、プロセッサ１１０は、触覚マップを利用して触覚効果を決定し、それからディスプレイ１１６に表示信号を出力してもよい。他の実施形態では、プロセッサ１１０は、触覚マップを用いて触覚効果を決定し、それからディスプレイ１１６に表示信号を送信しなくてもよい。このような実施形態では、アクチュエータ１１８が触覚効果を出力している間に、ディスプレイ１１６は、暗色又は休止のままであってもよい。例えば、このような実施形態では、プロセッサ１１０は、メッセージング装置１０２に関連付けられるデジタルカメラから表示信号を受信してもよい。幾つかの実施形態では、バッテリを節約するために、ユーザは、ディスプレイ１１６を非活性化していてもよい。このような実施形態では、プロセッサは、触覚マップを利用して、ディスプレイの表面にテクスチャをシミュレートする触覚効果をユーザに提供してもよい。このテクスチャは、カメラの焦点が合っているとき、又は他の何らかのイベントが発生したときに、ユーザを警告するために使用されてもよい。例えば、プロセッサ１１０は、顔認識ソフトウェアを用いて、ディスプレイ１１６が活性化された場合に、ディスプレイ１１６上の複数の場所で顔に関係付けられるであろうテクスチャをシミュレートする触覚効果を決定してもよい。
幾つかの実施形態では、プロセッサ１１０は、ユーザ相互作用又はトリガに少なくとも部分的に基づいて触覚効果を決定してもよい。このような実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４からインターフェース信号を受信して、このインターフェース信号に少なくとも部分的に基づいて触覚効果を決定する。例えば、幾つかの実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４によって検出されるユーザ相互作用の場所に基づいて触覚効果を決定してもよい。例えば、このような実施形態では、プロセッサ１１０は、ユーザがディスプレイ１１６上で触れている仮想オブジェクトのテクスチャをシミュレートする触覚効果を決定してもよい。他の実施形態では、プロセッサ１１０は、インターフェース信号に少なくとも部分的に基づいて触覚効果の強度を決定してもよい。例えば、タッチセンサ式インターフェース１１４が高圧のユーザ相互作用を検出すると、プロセッサ１１０は、高強度の触覚効果を決定してもよい。別の実施形態では、タッチセンサ式インターフェース１１４が低圧のユーザ相互作用を検出すると、プロセッサ１１０は、低強度の触覚効果を決定してもよい。さらに他の実施形態では、プロセッサ１１０は、ユーザ相互作用の速度に少なくとも部分的に基づいて触覚効果の強度を決定してもよい。例えば、一実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４が低速のユーザ相互作用を検出すると、低強度の触覚効果を決定してもよい。さらに他の実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４からユーザ相互作用に関連付けられるインターフェース信号を受信しない限り、触覚効果を何ら決定しなくてもよい。
プロセッサ１１０は、触覚効果を決定すると、触覚効果に関連付けられる触覚信号をアクチュエータ１１８に送信する。アクチュエータ１１８は、プロセッサ１１０から触覚信号を受信して触覚効果を生成するように構成される。アクチュエータ１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又はリニア共振アクチュエータ（ＬＲＡ）であってもよい。幾つかの実施形態では、アクチュエータ１１８は、複数のアクチュエータ、例えば、ＥＲＭ及びＬＲＡを備えてもよい。
本発明の一実施形態では、アクチュエータ１１８によって生成される触覚効果は、タッチセンサ式インターフェース１１４又はディスプレイ１１６の表面にユーザが感知するテクスチャをシミュレートするように構成される。このテクスチャは、ディスプレイ１１６に示されるグラフィカルユーザインターフェースに関連付けられてもよい。例えば、ディスプレイ１１６は、岩の形状を含むアイコンを示してもよい。このような実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４の表面上で岩のテクスチャをシミュレートするように構成される触覚効果を決定してもよい。その後、プロセッサ１１０は、触覚効果を出力するアクチュエータ１１８に触覚効果に関連付けられる触覚信号を送信するであろう。例えば、アクチュエータ１１８は、触覚信号を受信すると、タッチセンサ式インターフェースの表面に岩のテクスチャを含ませるように構成される振動を所定の周波数で出力してもよい。他の実施形態では、アクチュエータ１１８は、ディスプレイ１１６又はタッチセンサ式インターフェース１１４の表面に水、氷、革、砂、砂利、雪、皮膚、毛皮、又は他の何らかの表面のテクスチャを含ませる振動を所定の周波数で出力するように構成されてもよい。幾つかの実施形態では、触覚効果は、メッセージング装置１０２の異なる部分に、例えば、その筐体上に出力されてもよい。幾つかの実施形態では、アクチュエータ１１８は、複数のテクスチャを同時に出力するように構成される多数の振動を出力してもよい。例えば、アクチュエータ１１８は、ディスプレイ１１６の表面に砂のテクスチャを含ませるように構成される振動を出力してもよい。このような実施形態では、アクチュエータ１１８は、ユーザに砂地の中の岩のテクスチャを感知させるように構成される追加の振動を出力するように構成されてもよい。
プロセッサ１１０は、様々な理由で触覚効果を決定してもよい。例えば、幾つかの実施形態では、プロセッサ１１０は、ディスプレイ１１６に示されるオブジェクトのテクスチャに対応する触覚効果を出力してもよい。このような実施形態では、ディスプレイは、複数のオブジェクトを示してもよく、プロセッサは、ユーザがオブジェクトからオブジェクトへと自身の指を動かすにつれて異なる触覚効果を決定してもよく、それによりオブジェクトごとに異なるテクスチャをシミュレートする。幾つかの実施形態では、触覚効果は、ユーザ相互作用に関連付けられた信号をプロセッサ１１０が受信したことの確認として作用してもよい。例えば、一実施形態では、グラフィカルユーザインターフェースはボタンを備えてもよく、タッチセンサ式インターフェース１１４は、このボタンを押すことに関連付けられるユーザ相互作用を検出してもよい。タッチセンサ式インターフェース１１４がユーザ相互作用に関連付けられるインターフェース信号をプロセッサ１１０に送信すると、プロセッサ１１０は、インターフェース信号の受信を確認するための触覚効果を決定してもよい。このような実施形態では、触覚効果は、タッチセンサ式インターフェース１１４の表面でテクスチャをユーザに感知させてもよい。例えば、プロセッサは、プロセッサ１１０がユーザ入力を受信したことを確認するために砂のテクスチャをシミュレートする触覚効果を出力してもよい。他の実施形態では、プロセッサは、異なるテクスチャ、例えば、水、氷、油、岩、又は皮膚のテクスチャを決定してもよい。幾つかの実施形態では、触覚効果は、異なる目的を果たしてもよく、例えば、ユーザにディスプレイ１１６の境界を警告し、又はユーザにディスプレイ１１６上の画像に関する触覚情報を提供してもよい。例えば、幾つかの実施形態では、ディスプレイ１１６上の各アイコンは、異なるテクスチャを含んでもよく、ユーザがあるアイコンから別のアイコンへと自身の指を動かすと、プロセッサは、各アイコンのテクスチャをシミュレートする触覚効果を決定するであろう。さらなる実施形態では、プロセッサは、ユーザの指がアイコンとの接触からディスプレイの背景との接触に移動すると、テクスチャを変化させ、それによりユーザがもはやアイコンに触れていないことを警告してもよい。
また、図１に示されるように、プロセッサ１１０は、スピーカ１２０とも通信する。スピーカ１２０は、プロセッサ１１０から音声信号を受信してユーザに出力するように構成される。幾つかの実施形態では、音声信号は、アクチュエータ１１８によって出力される触覚効果、又はディスプレイ１１６によって出力される画像に関連付けられてもよい。他の実施形態では、音声信号は、触覚効果又は画像に対応しなくてもよい。
幾つかの実施形態では、プロセッサ１１０は、１つ以上のセンサ、例えば、ＧＰＳセンサ、画像センサ、加速度計、場所センサ、回転速度センサ、光センサ、カメラ、マイクロホン、または他の何らかの種類のセンサをさらに含んでもよい。センサは、加速、傾斜、慣性、又は場所の変化を検出するように構成されてもよい。例えば、メッセージング装置１０２は、メッセージング装置の加速を測定するように構成される加速度計を備えてもよい。センサは、プロセッサ１１０にセンサ信号を送信するように構成される。
センサ信号は、メッセージング装置１０２の位置、移動、加速、又は「急な動き（ｊｅｒｋ）」（すなわち、加速の派生）に関連付けられる１つ以上のパラメータを含んでもよい。例えば、一実施形態では、センサは、複数のパラメータを含むセンサ信号を生成及び送信してもよい。各パラメータは、一つの測定された並進若しくは回転軸に沿って又はその周りの運動に関連付けられる。幾つかの実施形態では、センサは、プロセッサ１１０が１つ以上の軸に沿った運動を示すことを解釈するようにプログラムされる電圧又は電流を出力する。
幾つかの実施形態では、プロセッサ１１０は、センサ信号を受信して、仮想ワークスペースを活性化し且つ仮想ワークスペースの「中」の仮想的運動に対応するようにＸ、Ｙ、又はＺ方向にメッセージング装置１０２の感知された運動を解釈するべきことを決定するであろう。次に、ユーザは、仮想ワークスペース内で装置１０２を動かして、仮想スペース内でジェスチャを行なうことにより機能又はファイルを選択してもよい。例えば、仮想ワークスペース内の機能上でＺ軸にメッセージング装置１０２を動かすことにより行なう。幾つかの実施形態では、ユーザは、仮想ワークスペースでジェスチャを用いてメッセージング装置１０２によって出力される触覚効果を変更してもよい。
図２は、本発明の一実施形態によるテクスチャエンジン用のシステムの例示である。図２は、例えば、携帯電話、ＰＤＡ、携帯型メディアプレーヤ、携帯型ゲーム装置、又は携帯型コンピュータ等のメッセージング装置２００を含む。メッセージング装置２００は、例えば、セルラネットワーク又はインターネット等のネットワークを介して、音声メール、テキストメッセージ、及び他のデータメッセージのような信号を送信及び受信するように構成される。メッセージング装置２００は、無線ネットワークインターフェース及び／又は有線ネットワークインターフェース（図２には示されない）を備えてもよい。図２には装置２００がハンドヘルドメッセージング装置として例示されるが、他の実施形態は、例えば、ビデオゲームシステム及び／又はパーソナルコンピュータ等の異なる装置を含んでもよい。
図２に示されるように、メッセージング装置２００は、筐体２０２及びディスプレイ２１６を備える。幾つかの実施形態では、ディスプレイ２１６は、ＬＣＤディスプレイを含んでもよい。他の実施形態では、ディスプレイ２１６は、プラズマディスプレイ、又は当技術分野で周知の他の種類のディスプレイを含んでもよい。ディスプレイ２１６は、表示信号を受信して、その表示信号に関連付けられる画像を出力するように構成される。幾つかの実施形態では、表示信号はＶＧＡ、ＨＤＭＩ、ＳＶＧＡ、ＶＩＤＥＯ、Ｓ−ＶＩＤＥＯ、又は当技術分野で周知の他の種類の表示信号を含んでもよい。図２に示される実施形態では、ディスプレイ２１６はテクスチャ化されたボール２０４を含む。ディスプレイ２１６は、岩、砂、及び水のテクスチャを含むテクスチャ選択アイコン２０６をさらに含む。
さらに図２を参照すると、メッセージング装置２００は、操作子２１４をさらに備える。図２に示される実施形態では、操作子２１４は、ローラーボール及びボタンを備える。また、メッセージング装置２００は、タッチセンサ式インターフェース２１８も備える。図２に示される実施形態では、タッチセンサ式インターフェース２１８は、ディスプレイ２１６の上に配置されるタッチスクリーンを備える。幾つかの実施形態では、ディスプレイ２１６及びタッチスクリーンは、例えば、タッチスクリーンディスプレイ等の単一の一体型構成要素を含んでもよい。
操作子２１４及びタッチセンサ式インターフェース２１８は、ユーザ相互作用を検出して、このユーザ相互作用に対応するインターフェース信号をプロセッサに送信するように構成される。幾つかの実施形態では、ユーザ相互作用は、ディスプレイ２０６に示されるグラフィカルユーザインターフェースに関連付けられる。このような実施形態では、プロセッサは、インターフェース信号を受信して、このインターフェース信号に少なくとも部分的に基づいて、グラフィカルユーザインターフェースを操作する。例えば、図２に示される実施形態では、ユーザは、テクスチャ選択アイコン２０６の１つを選択するために操作子２１４又はタッチセンサ式インターフェース２１８のいずれかを用いてもよい。ユーザがテクスチャ化されたボール２０４用のテクスチャを選択した場合、そのテクスチャに対応するように画面上で外観が変化してもよい。例えば、ユーザが砂のテクスチャアイコンを選択する場合、プロセッサは、テクスチャ化されたボール２０４に砂状の表面の外観を与えるようにディスプレイを操作して、テクスチャ化されたボール２０４と相互作用する場合に砂状のテクスチャをユーザに感知させる触覚効果をさらに決定してもよい。又は、別の実施形態では、ユーザが岩のテクスチャアイコンを選択する場合、プロセッサは、ユーザがテクスチャ化されたボール２０４と相互作用するとユーザに岩のテクスチャを感知させる触覚効果を決定してもよい。
メッセージング装置２００は、触覚信号を受信して、触覚効果を出力するように構成されるアクチュエータをさらに備える（図２には示されない）。幾つかの実施形態では、触覚効果は、メッセージング装置２００のユーザによって感知される振動触覚テクスチャを含む。プロセッサ１１０は、触覚効果を決定して、その触覚効果に対応する触覚信号をアクチュエータ１１８に送信するように構成される。幾つかの実施形態では、触覚効果を決定することは、触覚効果を決定するための一連の計算を含んでもよい。他の実施形態では、触覚効果を決定することは、適切な触覚効果を決定するためにルックアップテーブルにアクセスすることを含んでもよい。さらに他の実施形態では、触覚効果を決定することは、ルックアップテーブルとアルゴリズムとの組み合わせを用いることを含んでもよい。プロセッサ１１０は、触覚効果を決定すると、触覚効果に関連付けられる触覚信号をアクチュエータに送信する。アクチュエータは、プロセッサ１１０から触覚信号を受信して触覚効果を生成する。ユーザは、ディスプレイ２１６の表面を介して又はメッセージング装置２００の他の一部を通じて、例えば、操作子２１４又は筐体２０２を介して触覚効果を感知してもよい。幾つかの実施形態では、プロセッサは、テクスチャの変化をシミュレートするために、テクスチャ化されたボール２０４の表面上をユーザの指が動くと、この触覚効果を変更してもよい。
（テクスチャエンジン用のシステムの例示）
図３ａは、本発明の一実施形態によるテクスチャエンジン用のシステムの例示である。図３ａは、例えば、携帯電話、ＰＤＡ、携帯型メディアプレーヤ、携帯型ゲーム装置、又は携帯型コンピュータ等のメッセージング装置３００を含む。メッセージング装置３００は、例えば、セルラネットワーク又はインターネット等のネットワークを介して、音声メール、テキストメッセージ、及び他のデータメッセージのようなメッセージを含む信号を送信及び受信するように構成される。メッセージング装置３００は、無線ネットワークインターフェース及び／又は有線ネットワークインターフェース（図３ａには示されない）を備えてもよい。図３ａには装置３００がハンドヘルドメッセージング装置として例示されるが、他の実施形態は、例えば、ビデオゲームシステム及び／又はパーソナルコンピュータ等の異なる装置を含んでもよい。
図３ａに示されるように、メッセージング装置３００は、ディスプレイ３１６を備える。ディスプレイ３１６は、表示信号を受信して、この表示信号に少なくとも部分的に基づいて画像を出力するように構成される。メッセージング装置３００は、表示信号をディスプレイ３１６に送信するように構成されるプロセッサ（図３ａには示されない）をさらに備える。メッセージング装置３００は、ディスプレイ３１６上に取り付けられるタッチセンサ式インターフェース３１４をさらに備える。タッチセンサ式インターフェース３１４は、ユーザ相互作用を検出して、このユーザ相互作用に対応するインターフェース信号をプロセッサに送信するように構成される。ディスプレイ３１６は、２つのアイコン３０２及び３０４を備える。ユーザがアイコン３０２及び３０４の一方と相互作用すると、タッチセンサ式インターフェース３１４は、ユーザ相互作用を検出して、対応するインターフェース信号をプロセッサに送信するであろう。このインターフェース信号に基づいて、プロセッサは、ユーザが一方のアイコンに結び付けられたファイルを開き、又は当技術分野で周知の他の何らかの動作を実行したことを決定してもよい。
図３ａに示されるように、アイコン３０２及び３０４の各々は、テクスチャを含む。図示の実施形態では、アイコン３０２は、煉瓦のテクスチャを含み、アイコン３０４は、岩のテクスチャを含む。他の実施形態では、異なるテクスチャ、例えば、砂、水、油、草、毛皮、皮膚、革、氷、木、又は当技術分野で周知の他の何らかのテクスチャが使用されてもよい。図３ａに指３０６として示されるユーザが各アイコンに関連付けられるディスプレイ３１６の一部と相互作用すると、プロセッサは、そのアイコンのテクスチャをシミュレートするように構成される触覚効果を決定するであろう。次に、プロセッサは、触覚効果を出力するように構成されるアクチュエータ（図３ａには示されない）に触覚効果に関連付けられる信号を出力するであろう。例えば、図３ａに示される実施形態では、ユーザがアイコン３０２に関連付けられるディスプレイ３１６の一部と相互作用すると、アイコン３０２は、煉瓦のテクスチャに関連付けられる触覚効果を決定するであろう。この触覚効果は、ユーザの指３０６がモルタル上を横断するときに高出力のパルスによって区切られるランダムな信号によって特徴付けられてもよい。他の実施形態では、ディスプレイ３１６に示される画像に対応し得る異なるテクスチャをシミュレートするために他の触覚効果が用いられるであろう。
図３ｂは、本発明の一実施形態によるテクスチャエンジン用のシステムの例示である。図３ｂに示される実施形態では、触覚効果を決定することは、表示信号をアクチュエータにマッピングすることを含む。図３ｂに示される実施形態は、ディスプレイ３５０の拡大部分を含む。ディスプレイ３５０は、プロセッサから表示信号を受信するように構成される。表示信号は、各々が色彩及びその色彩の強度に関連付けられる複数のピクセルを含む。ディスプレイ３５０は、この表示信号を受信して、この表示信号に関連付けられる画像を出力する。図３ｂに示される実施形態では、ディスプレイ３５０の拡大部は、６個のピクセル３５１、３５２、３５３、３５４、３５５、及び３５６を含む。各ピクセルは、色彩及び１−１０の範囲でその色彩に対する強度に関連付けられる。例えば、ピクセル３５５は、緑の色彩及び１０の中の３の色彩強度に関連付けられる。このように、ディスプレイ３５０は、ピクセル３５５の場所において強度３で緑の色彩を出力するであろう。
図３ｂに示される実施形態では、プロセッサは、表示信号及びディスプレイ３５０上に取り付けられるタッチセンサ式インターフェースから受信されるインターフェース信号に少なくとも部分的に基づいて触覚効果を決定するであろう（図３ｂには示されない）。例えば、図３ｂに示される実施形態では、プロセッサは、触覚効果を各ピクセルに関連付け、又は「マッピング」するために表示信号を使用する。例えば、図３ｂに示される実施形態では、プロセッサは、色彩ごとに異なる周波数の触覚効果を決定してもよい。プロセッサは、各ピクセルにおける触覚効果の強度を各ピクセルにおける色彩の強度にさらに関連付けてもよい。例えば、プロセッサは、色彩強度８のピクセルが同様に触覚強度８を有することを決定してもよい。プロセッサがディスプレイ上のピクセルを覆うユーザ相互作用に関連付けられるインターフェース信号を受信すると、プロセッサは、ユーザが相互作用するピクセルに関連付けられる触覚信号を出力するであろう。この触覚効果は、ディスプレイの表面でユーザにテクスチャを感知させるように構成される。
例えば、図３ｂに示される実施形態では、プロセッサは、青のピクセルがノッキングの触覚効果に関連付けられ、赤のピクセルがパルス性の振動に関連付けられ、緑のピクセルがクリックの触覚効果に関連付けられることを決定してもよい。このような実施形態では、タッチセンサ式インターフェースはユーザの指がピクセル３５１上を通過したことを検出すると、プロセッサは、強度１のノッキングを決定するであろう。次に、ユーザの指がピクセル３５２上を移動すると、プロセッサは、強度５のパルス振動を決定するであろう。そして、ユーザの指がディスプレイ３５０上をピクセル３５３まで移動し続けると、プロセッサは、強度３のクリック効果を決定してもよい。
こうした触覚効果は、ユーザがディスプレイ３５０の表面上で自身の指を動かすと、ディスプレイ３５０の表面上でユーザにテクスチャを感知させるように構成される。幾つかの実施形態では、プロセッサは、１つ以上のアクチュエータと通信してもよく、各色彩は、それ自身のアクチュエータに関連付けられてもよい。他の実施形態では、色彩、強度、及び触覚効果の異なる組み合わせが、ディスプレイの表面でユーザにテクスチャを感知させるために使用されてもよい。
図４は、図１に示される装置に関して検討される本発明の一実施形態によるテクスチャエンジン用の方法の流れ図である。図４に示されるように、方法４００は、プロセッサ１１０が複数のピクセルを含む表示信号を受信する（４０２）と開始する。表示信号はＶＧＡ、ＨＤＭＩ、ＳＶＧＡ、ＶＩＤＥＯ、Ｓ−ＶＩＤＥＯ、又は当技術分野で周知の他の種類の表示信号を含んでもよい。表示信号は、メッセージング装置がディスプレイ１１６を介してユーザに表示するグラフィカルユーザインターフェース又は他の画像を含んでもよい。
次に、タッチセンサ式インターフェース１１４はプロセッサ１１０にインターフェース信号を送信して、プロセッサ１１０はインターフェース信号を受信する（４０４）。幾つかの実施形態では、タッチセンサ式インターフェース１１４は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、幾つかの実施形態では、タッチセンサ式インターフェース１１４は、表示信号を受信してユーザに画像を出力するように構成されるディスプレイの上に搭載されるタッチスクリーンを含んでもよい。他の実施形態では、タッチセンサ式インターフェースは、ボタン、スイッチ、スクロールホイール、ローラーボール、又は当技術分野で周知の何らかの他の種類の物理的装置インターフェースを含んでもよい。幾つかの実施形態では、プロセッサ１１０は、単一のタッチセンサ式インターフェース１１４と通信する。他の実施形態では、プロセッサ１１０は、複数のタッチセンサ式インターフェース１１４、例えば、タッチスクリーン及びローラーボールと通信する。タッチセンサ式インターフェース１１４は、ユーザ相互作用を検出し、このユーザ相互作用に少なくとも部分的に基づいて、プロセッサに信号を送信するように構成される。幾つかの実施形態では、タッチセンサ式インターフェース１１４は、複数の態様のユーザ相互作用を検出するように構成されてもよい。例えば、タッチセンサ式インターフェース１１４は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。
次に、プロセッサ１１０は、テクスチャを含む触覚効果を決定する（４０６）。触覚効果は、ユーザがタッチセンサ式インターフェースの表面又は操作子を介して感知し得る振動を含んでもよい。幾つかの実施形態では、この振動は、タッチセンサ式インターフェースの表面でテクスチャをユーザに感知させてもよい。例えば、テクスチャは、革、雪、砂、氷、皮膚、又は他の何らかの表面である。幾つかの実施形態では、触覚効果を決定することは、触覚効果を決定するための一連の計算を含んでもよい。他の実施形態では、触覚効果を決定することは、適切な触覚効果を決定するためにルックアップテーブルにアクセスすることを含んでもよい。さらに他の実施形態では、触覚効果を決定することは、ルックアップテーブルとアルゴリズムとの組み合わせを含んでもよい。
幾つかの実施形態では、触覚効果を決定することは、触覚マップを含んでもよい。このような実施形態では、触覚効果を決定することは、表示信号をアクチュエータにマッピングすることを含んでもよい。例えば、表示信号は、各々が色彩に関連付けられる複数のピクセルを含んでもよい。このような実施形態では、触覚効果を決定することは、各色彩に触覚効果を割り当てることを含んでもよい。次に、プロセッサ１１０は、触覚効果を含む触覚信号を出力するであろう。幾つかの実施形態では、プロセッサ１１０は、表示信号における一部のピクセルのみに触覚効果を割り当ててもよい。例えば、このような実施形態では、触覚効果は、表示信号の一部のみに関連付けられてもよい。幾つかの実施形態では、プロセッサ１１０は、ユーザ相互作用又はトリガに少なくとも部分的に基づいて触覚効果を決定してもよい。このような実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４からインターフェース信号を受信して、このインターフェース信号に少なくとも部分的に基づいて触覚効果を決定する。例えば、幾つかの実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４から受信されるインターフェース信号に基づいて異なる強度の触覚効果を決定してもよい。例えば、タッチセンサ式インターフェース１１４が高圧のユーザ相互作用を検出すると、プロセッサ１１０は、高強度の触覚効果を決定してもよい。別の実施形態では、タッチセンサ式インターフェース１１４が低圧のユーザ相互作用を検出すると、プロセッサ１１０は、低強度の触覚効果を決定してもよい。さらに他の実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４が低速のユーザ相互作用を検出すると、低強度の触覚効果を決定してもよい。さらに、プロセッサ１１０は、タッチセンサ式インターフェース１１４が高速のユーザ相互作用を検出すると、高強度の触覚効果を決定してもよい。さらに他の実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４からユーザ相互作用を含むインターフェース信号を受信しない限り、触覚効果を何ら決定しなくてもよい。
最後に、プロセッサ１１０は、触覚信号を受信して触覚効果を出力するように構成されるアクチュエータ１１８に、触覚効果に関連付けられる触覚信号を送信する（４０８）。アクチュエータ１１８は、プロセッサ１１０から触覚信号を受信して触覚効果を生成するように構成される。アクチュエータ１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、リニア共振アクチュエータ、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又はリニア共振アクチュエータ（ＬＲＡ）であってもよい。
図５ａは、本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの１つの例示である。図５ａに示される実施形態は、煉瓦を含む。煉瓦のテクスチャは、煉瓦が粗い不規則なテクスチャを有し、モルタルが砂利の谷間の感覚により区切られることにより特徴付けられる。テクスチャエンジン用のシステムは、ユーザの指が動いている間に、中程度から高程度の最大変動を有するランダム信号を用いて、ＬＲＡ、ＬＰＡ、又はＦＰＡ等のアクチュエータを駆動することにより煉瓦の粗い不規則なテクスチャを生成してもよい。幾つかの実施形態では、この変化は、異なる粗さに調節されてもよい。幾つかの実施形態では、煉瓦からモルタルへの移行は、ＥＲＭによって生成される高持続性のポップ振動（ｐｏｐ）によってもたらされてもよい。さらに、モルタルが十分に厚い場合は、煉瓦のテクスチャを出力するアクチュエータを駆動するために使用されたものよりも変化の大きい低振幅信号でアクチュエータを駆動することによって、繊細なテクスチャがレンダリングされてもよい。
図５ｂは、本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの１つの例示である。図５ｂに示される実施形態は、岩を含む。岩のテクスチャは、ユーザが岩から岩へと動くときの移行で区切られる滑らかな表面により特徴付けられる。岩のテクスチャを出力するために、例えば、ＦＰＡ等のアクチュエータが低摩擦の区画を生成するために使用される。個々の岩は、表示された画像の非視覚エッジマップによってレンダリングされ、タッチセンサ式インターフェースがユーザの動作を検出すると、例えば、ＬＰＡ又はＥＲＭ等のアクチュエータに高振幅の触覚信号を出力してもよい。例えば、ユーザの指がある岩から別の岩へと移行していることをタッチセンサ式インターフェースが検出する度に触覚効果を出力する。
図５ｃは、本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの１つの例示である。図５ｃに示される実施形態は、砂又はサンドペーパーを含む。砂は、粗い砂利の感覚に加えて、砂粒子の山がユーザの指の前方に積もる感覚によって特徴付けられる。砂の粗い砂利のテクスチャを出力するために、例えば、ＬＲＡ、ＬＰＡ又はＦＰＡ等のアクチュエータは、ユーザの指が動いている間に高程度の最大変動を有するランダム信号によって駆動される。幾つかの実施形態では、プロセッサは、異なる程度の粗さを生成するために信号の変動を調節してもよい。砂が積み上がる感覚を生成するために、ＦＰＡ等のアクチュエータが使用されてもよい。このような実施形態では、ユーザがタッチスクリーン上で指を動かすと、プロセッサは、低強度で開始して、ユーザがある方向に指を動かすにつれて増加する信号によりアクチュエータを駆動するであろう。
別の実施形態では、図５ｃに示されるテクスチャはサンドペーパーを含んでもよい。サンドペーパーは、粗い砂利の感覚を有することにより特徴付けられる。粗い砂利の感覚を生成するために、プロセッサは、高程度の最大変動を有するランダム信号によって、例えば、ＬＲＡ、ＬＰＡ又はＦＰＡ等のアクチュエータを駆動する。幾つかの実施形態では、この信号は、ユーザの指がタッチセンサ式インターフェースの表面上を動いている間にのみ出力される。幾つかの実施形態では、プロセッサは、粗さのレベルを変えるために信号の変化を調節する。
図５ｄは、本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの１つの例示である。図５ｃに示される実施形態では、テクスチャは草のテクスチャを含む。草は、ユーザの指を擽るような周期的な軽い感覚によって特徴付けられる。草の感覚を生成するために、プロセッサは、草の区画で覆われる低摩擦の区画を生成するように構成される信号によって、例えば、ＦＰＡ等のアクチュエータを駆動してもよい。幾つかの実施形態では、プロセッサは、表示された画像の非視覚エッジマップを有し且つユーザインターフェースがユーザ相互作用を検出すると、例えば、ＬＰＡ又はＥＲＭ等のアクチュエータに低振幅の信号を出力することによって個々の草の葉をレンダリングしてもよい。
図５ｅは、本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの１つの例示である。図５ｅに示される実施形態では、テクスチャは織物のテクスチャを含む。織物は、軽い滑らかな感覚によって特徴付けられる。織物のテクスチャの感覚を生成するために、プロセッサは、ユーザの指がタッチセンサ式インターフェースの表面を横切ると、低振幅の高周波信号でＬＰＡ又はＬＲＡ等のアクチュエータを駆動してもよい。
図５ｆは、本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの１つの例示である。図５ｆに示される実施形態では、テクスチャは水又は糖蜜のテクスチャを含む。水は、ほぼ何も感覚を持たないことにより特徴付けられる。しかし、かき乱される水は、跳ね返って、ユーザの指にぶつかってもよい。水のテクスチャをエミュレートするために、プロセッサは、タッチセンサ式インターフェースの表面における摩擦を低減するようにＦＰＡ等のアクチュエータを駆動してもよい。水の中の動きをエミュレートするために、プロセッサは、ユーザがスクリーンに接触しているときにのみ触覚信号を出力してもよい。例えば、糖蜜又は油等のより粘性のある液体のテクスチャをエミュレートするために、プロセッサは、ユーザの指がタッチセンサ式インターフェースの表面を横切るときにユーザの指に対する摩擦を増加させるように構成される信号でアクチュエータを駆動してもよい。
図５ｇは、本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの１つの例示である。図５ｇに示される実施形態では、テクスチャは革のテクスチャを含む。革は、革の表面の隆起及び谷間を含む包括的で滑らかな感覚によって特徴付けられる。革のテクスチャの感覚を生成するために、プロセッサは、ユーザの指がタッチセンサ式インターフェースの表面を横切ると、摩擦を低減する触覚効果を出力するように構成される信号でＦＰＡ等のアクチュエータを駆動してもよい。プロセッサは、タッチセンサ式インターフェースがユーザの指の動きを検出するときに、非常に短い低振幅の触覚信号でアクチュエータを駆動することにより裂け目及び隆起を出力することが出来る。
図５ｇは、本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの１つの例示である。図５ｅに示される実施形態では、テクスチャは木のテクスチャを含む。木は、ユーザが板から板へと動くと鋭い移行によって区切られる不規則な凹凸のあるテクスチャにより特徴付けられてもよい。不規則な凹凸のあるテクスチャを生成するために、プロセッサは、表示された画像の非視覚エッジマップによってＬＲＡ、ＬＰＡ又はＦＰＡ等のアクチュエータを駆動し、ユーザの指が動く様々なときに非常に短い低振幅の信号でアクチュエータを駆動してもよい。厚板から厚板への移行を出力するために、プロセッサは、アクチュエータに高振幅の短い持続時間のポップ振動を生成させるように構成される触覚信号を出力してもよい。
他の実施形態では、異なるテクスチャに関連付けられる触覚効果が出力されてもよい。例えば、一実施形態では、プロセッサは、氷のテクスチャに関連付けられるテクスチャをユーザに感知させるように構成される触覚効果をアクチュエータに出力させるように構成される触覚信号を送信してもよい。氷は、低摩擦により特徴付けられる。幾つかの実施形態では、氷は完全に滑らかなテクスチャを有する。他の実施形態では、氷は、微細な低振幅の砂利のテクスチャを含む。氷のテクスチャを生成するために、プロセッサは、ユーザがタッチセンサ式インターフェースの表面上で指を動かしている間、アクチュエータに出来るだけ摩擦を低減させるように構成される触覚信号を決定してもよい。別の実施形態では、プロセッサは、ユーザが指を動かす間、低振幅の効果を出力するように構成される触覚信号によって、例えば、ＬＰＡ又はＬＲＡ等のアクチュエータを駆動してもよい。こうした低振幅の効果は、氷の表面の不完全性又は砂利に関連付けられてもよい。
別の実施形態では、プロセッサは、トカゲの皮のテクスチャに近似する触覚効果をアクチュエータに出力させるように構成される信号でアクチュエータを駆動してもよい。トカゲの皮は、皮にある隆起から隆起への移行によって区切られる包括的で滑らかな感覚によって特徴付けられる。トカゲの皮のテクスチャを含む触覚効果を実装するために、プロセッサは、タッチセンサ式インターフェース上に低摩擦の区画をアクチュエータに生成させるように構成される触覚信号でアクチュエータを駆動してもよい。プロセッサは、タッチセンサ式インターフェースが表面を横切るユーザの指の動きを検出すると、周期的に高振幅の触覚信号を出力することにより皮の表面にある裂け目をレンダリングしてもよい。こうした高振幅の信号は、皮の表面における裂け目に近似してもよい。さらに別の実施形態では、プロセッサは、毛皮のテクスチャに近似する触覚効果をアクチュエータに出力させるように構成される信号でアクチュエータを駆動してもよい。毛皮は、手触りが非常に柔軟な周期的な軽い感覚によって特徴付けられる。毛皮のテクスチャを含む触覚効果を実装するために、プロセッサは、タッチセンサ式インターフェースの表面でユーザが感知する摩擦を低減させるように構成される触覚効果をアクチュエータに出力させるように構成される触覚信号でアクチュエータを駆動してもよい。プロセッサは、タッチセンサ式インターフェースがユーザの動きを検出すると、低振幅のパルス性の触覚信号を出力して個々の毛をさらにレンダリングしてもよい。
さらに別の実施形態では、プロセッサは、金属のテクスチャに近似する触覚効果をアクチュエータに出力させるように構成される信号でアクチュエータを駆動してもよい。金属は、幾つかの実施形態では、軽い砂利を含む滑らかな低摩擦の表面により特徴付けられる。金属のテクスチャを含む触覚効果を実装するために、プロセッサは、タッチセンサ式インターフェースの表面でユーザが感知する摩擦を低下させるように構成される信号でアクチュエータを駆動してもよい。幾つかの実施形態では、プロセッサは、タッチセンサ式インターフェースが表面にユーザの動きを検出すると、短い高振幅の触覚信号を出力することにより個々の隆起をレンダリングしてもよい。こうした短い高振幅の信号は、金属の表面における砂利に近似してもよい。
さらに別の実施形態では、プロセッサは、別の感覚、例えば、熱に近似する触覚効果をアクチュエータに出力させるように構成される信号でアクチュエータを駆動してもよい。このような実施形態では、プロセッサは、ユーザが熱に関連付けられるディスプレイの要素に触れると、高周波の揺れる効果をアクチュエータに出力させるように構成される触覚信号を出力してもよい。
（テクスチャエンジン用のシステム及び方法の利点）
テクスチャエンジン用のシステム及び方法には多くの利点がある。例えば、テクスチャエンジンのシステム及び方法は、以前には使用されなかった触覚効果を移動装置に付加する。この新しい効果は、ユーザが移動装置のディスプレイを見なくても、ユーザが移動装置から情報を受信するための新しい手段を提供する。例えば、テクスチャエンジンのシステム及び方法は、ユーザが異なるテクスチャを異なるアイコン、ボタン、又はディスプレイの他の要素に割り当てることを可能にしてもよい。従って、ユーザは、アイコンを見なくても、どのアイコンに触っているかを決定することが可能であってもよい。これにより、装置の利便性が高まり、視覚障害者にとってより便利な装置となってもよい。
さらに、テクスチャエンジン用のシステム及び方法は、他の仕事からユーザの気を散らさずに、ユーザにより多くの情報を提供するので、ユーザの誤りを減らすであろう。例えば、ユーザは、テクスチャエンジン用のシステム及び方法を利用している場合、誤ったアイコンを押し又は誤ったキーを押すことがあまり起こらないであろう。この機能性は、ユーザ満足度を高めること並びにテクスチャエンジン用のシステム及び方法を組み込む技術の普及率を増加させることの双方に役立ち得る。
（概論）
本明細書における「適合される」又は「構成される」という用語は、追加のタスク又はステップを実行するように適合され又は構成される装置を排除しない開放型及び包括型の言語の意味で用いられる。さらに、「基づく」という用語は、１つ以上の記載された条件又は値に「基づく」プロセス、ステップ、計算、又は他の動作が、実際には、こうした記載以上の追加の条件又は値に基づいてもよいという点で、開放型及び包括型の意味で用いられる。本明細書に含まれる見出し、リスト、及び番号付けは、説明の簡略化のみを目的としており、限定することを意図していない。
本願の主題の態様による実施形態は、デジタル電子回路で、又はコンピュータハードウェア、ファームウェア、ソフトウェア、若しくはこれらの組み合わせで実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、例えば、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備え又はアクセスを有する。プロセッサは、センササンプリングルーチン、触覚効果選択ルーチン、及び上記の選択された触覚効果を発生させるための信号を生成する適切なプログラミングを含む１つ以上のコンピュータプログラムを実行するように、メモリに記憶されるコンピュータ実行可能プログラム命令を実行する。
このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を含んでもよい。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置をさらに備えてもよい。
このようなプロセッサは、プロセッサによって実行されるときに、プロセッサによって実行され又は支援される本明細書に記載のステップをプロセッサに実行させ得る命令を記憶し得る媒体、例えば有形のコンピュータ可読媒体を備え又はそれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、全ての電子、光学、磁気、又はコンピュータ可読命令をウェブサーバ内のプロセッサ等のプロセッサに提供可能な他の記憶装置を含んでもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読取り可能な任意の他の媒体を含む。また、様々な他の装置は、例えば、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造にわたって分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。
本願の主題はその特定の実施形態に関して詳細に記載されてきたが、先述の理解を達成すると、当業者であれば、このような実施形態への代替、変形、及び均等物を容易に製造し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されているのであって、当業者には自明の本願の主題への修正、変形及び／又は追加を包含することを除外しないことが理解されるべきである。

Claims (23)

  1. 複数のピクセルを含む表示信号を受信し、タッチセンサ式インターフェースから前記複数のピクセルのグループを覆うディスプレイの場所におけるユーザ相互作用に関連付けられるインターフェース信号を受信し、少なくとも前記複数のピクセルのグループ及び前記インターフェース信号に基づいて、仮想オブジェクトを表すテクスチャを含む触覚効果を決定し、且つ前記触覚効果に関連付けられる触覚信号を送信するように構成されるプロセッサと、
    前記プロセッサと通信するアクチュエータであって、前記触覚信号を受信して前記触覚効果を出力するように構成されるアクチュエータと
    を備え、
    前記複数のピクセルの各々は、色彩に関連付けられ、各色彩は、強度を含み、各ピクセルにおける前記色彩の強度が各ピクセルにおける前記触覚効果の強度に関連付けられ、前記触覚効果は前記複数のピクセルのグループにおいて色彩ごとに決定されることを特徴とするシステム。
  2. 前記テクスチャは、振動触覚効果であることを特徴とする、請求項１に記載のシステム。
  3. 前記テクスチャは、砂、トカゲの皮、又は煉瓦のテクスチャを含むことを特徴とする、請求項１に記載のシステム。
  4. 前記アクチュエータは、偏心回転質量モータ、リニア共振アクチュエータ、形状記憶合金、電気活性ポリマ又は圧電アクチュエータの１つを含むことを特徴とする、請求項１に記載のシステム。
  5. 前記触覚効果は、前記表示信号に少なくとも部分的に基づいて決定されることを特徴とする、請求項１に記載のシステム。
  6. 前記触覚効果を決定することは、前記色彩に触覚値を割り当てることを含むことを特徴とする、請求項５に記載のシステム。
  7. 前記触覚効果を決定することは、前記複数のピクセルの一部にのみ触覚値を割り当てることを含むことを特徴とする、請求項６に記載のシステム。
  8. 前記触覚効果を決定することは、前記色彩の強度に対応するように前記触覚値を調節することをさらに含むことを特徴とする、請求項６に記載のシステム。
  9. 前記ディスプレイは、前記プロセッサと通信し、前記表示信号を受信して、画像を出力するように構成されることを特徴とする、請求項１に記載のシステム。
  10. 前記テクスチャは、前記ディスプレイの表面上に出力されることを特徴とする、請求項９に記載のシステム。
  11. 前記アクチュエータは、前記ディスプレイに結合されることを特徴とする、請求項９に記載のシステム。
  12. 前記アクチュエータ及び前記プロセッサを取り囲むように構成される筐体をさらに備えることを特徴とする、請求項１に記載のシステム。
  13. 前記筐体は、移動装置の筐体を含むことを特徴とする、請求項１２に記載のシステム。
  14. 前記アクチュエータは、前記筐体に結合されることを特徴とする、請求項１２に記載のシステム。
  15. 前記タッチセンサ式インターフェースは、ユーザ相互作用を検出して、前記ユーザ相互作用に少なくとも部分的に基づいて前記プロセッサにセンサ信号を送信するように構成されることを特徴とする、請求項１に記載のシステム。
  16. 前記プロセッサは、前記センサ信号に少なくとも部分的に基づいて前記触覚効果を決定するようにさらに構成されることを特徴とする、請求項１５に記載のシステム。
  17. 前記タッチセンサ式インターフェースは、前記ユーザ相互作用の速度を検出するように構成され、前記触覚効果を決定することは、前記ユーザ相互作用の前記速度に対応するように前記触覚効果を調節することを含むことを特徴とする、請求項１６に記載のシステム。
  18. 前記タッチセンサ式インターフェースは、前記ユーザ相互作用の圧力を検出するように構成され、前記触覚効果を決定することは、前記ユーザ相互作用の前記圧力に対応するように前記触覚効果の強度を調節することを含むことを特徴とする、請求項１６に記載のシステム。
  19. 触覚効果を出力するための方法であって、
    複数のピクセルを含む表示信号を受信するステップと、
    タッチセンサ式インターフェースから前記複数のピクセルのグループを覆うディスプレイの場所におけるユーザ相互作用に関連付けられるインターフェース信号を受信するステップと、
    少なくとも前記複数のピクセルのグループ及びインターフェース信号に基づいて、仮想オブジェクトを表すテクスチャを含む触覚効果を決定するステップと、
    アクチュエータに前記触覚効果に関連付けられる触覚信号を送信するステップであって、前記アクチュエータは前記触覚信号を受信して前記触覚効果を出力するように構成されるステップと
    を備え、
    前記複数のピクセルの各々は、色彩に関連付けられ、各色彩は、強度を含み、各ピクセルにおける前記色彩の強度が各ピクセルにおける前記触覚効果の強度に関連付けられ、前記触覚効果は前記複数のピクセルのグループにおいて色彩ごとに決定されることを特徴とする方法。
  20. 前記触覚効果は、前記表示信号に少なくとも部分的に基づいて決定されることを特徴とする、請求項１９に記載の方法。
  21. 前記触覚効果を決定するステップは、各色彩に触覚値を割り当てることを含むことを特徴とする、請求項２０に記載の方法。
  22. 前記触覚効果を決定するステップは、前記触覚値を前記色彩の強度と関連付けることをさらに含むことを特徴とする、請求項２０に記載の方法。
  23. ユーザ相互作用を検出して前記ユーザ相互作用に対応する信号を送信するように構成されるタッチセンサ式インターフェースであって、前記ユーザ相互作用の速度及び圧力を検出するように構成されるタッチセンサ式インターフェースと、
    前記タッチセンサ式インターフェースと通信するプロセッサであって、各々が色彩及び強度を含む複数のピクセルを含む表示信号を受信し、前記ユーザ相互作用に関連付けられるディスプレイの場所における前記複数のピクセルのグループの前記色彩及び強度並びに前記ユーザ相互作用の前記速度及び圧力に少なくとも部分的に基づいて触覚効果を決定し、且つ前記触覚効果に関連付けられる触覚信号を送信するように構成されるプロセッサと、
    前記プロセッサと通信するアクチュエータであって、前記触覚信号を受信して前記触覚効果を出力するように構成されるアクチュエータと
    を備え、
    各ピクセルにおける前記色彩の強度が各ピクセルにおける前記触覚効果の強度に関連付けられ、前記触覚効果は前記複数のピクセルのグループにおいて色彩ごとに決定されることを特徴とするシステム。
JP2011554180A 2009-03-12 2010-03-11 テクスチャエンジン用のシステム及び方法 Expired - Fee Related JP5779508B2 (ja)

Applications Claiming Priority (19)

Application Number Priority Date Filing Date Title
US15948209P 2009-03-12 2009-03-12
US61/159,482 2009-03-12
US26204109P 2009-11-17 2009-11-17
US26203809P 2009-11-17 2009-11-17
US61/262,038 2009-11-17
US61/262,041 2009-11-17
US12/696,900 US9696803B2 (en) 2009-03-12 2010-01-29 Systems and methods for friction displays and additional haptic effects
US12/697,042 US10564721B2 (en) 2009-03-12 2010-01-29 Systems and methods for using multiple actuators to realize textures
US12/697,010 US9874935B2 (en) 2009-03-12 2010-01-29 Systems and methods for a texture engine
US12/697,037 US9927873B2 (en) 2009-03-12 2010-01-29 Systems and methods for using textures in graphical user interface widgets
US12/696,908 2010-01-29
US12/696,893 US9746923B2 (en) 2009-03-12 2010-01-29 Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US12/696,908 US10007340B2 (en) 2009-03-12 2010-01-29 Systems and methods for interfaces featuring surface-based haptic effects
US12/696,900 2010-01-29
US12/697,037 2010-01-29
US12/697,042 2010-01-29
US12/696,893 2010-01-29
US12/697,010 2010-01-29
PCT/US2010/026909 WO2010105012A1 (en) 2009-03-12 2010-03-11 Systems and methods for a texture engine

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015083829A Division JP6109229B2 (ja) 2009-03-12 2015-04-16 テクスチャエンジン用のシステム及び方法

Publications (2)

Publication Number Publication Date
JP2012520137A JP2012520137A (ja) 2012-09-06
JP5779508B2 true JP5779508B2 (ja) 2015-09-16

Family

ID=73451201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011554180A Expired - Fee Related JP5779508B2 (ja) 2009-03-12 2010-03-11 テクスチャエンジン用のシステム及び方法

Country Status (5)

Country Link
EP (1) EP2406704A1 (ja)
JP (1) JP5779508B2 (ja)
KR (2) KR102003426B1 (ja)
CN (1) CN102349038B (ja)
WO (1) WO2010105012A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073527B2 (en) 2009-03-12 2018-09-11 Immersion Corporation Systems and methods for providing features in a friction display including a haptic effect based on a color and a degree of shading

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9927873B2 (en) 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
US9448713B2 (en) * 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
WO2013157626A1 (ja) * 2012-04-20 2013-10-24 株式会社ニコン 電子機器及び振動制御方法
DE112013002412T5 (de) 2012-05-09 2015-02-19 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche zum Bereitstellen von Rückmeldung für das Wechseln von Aktivierungszuständen eines Benutzerschnittstellenobjekts
EP2847661A2 (en) 2012-05-09 2015-03-18 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
EP2847658B1 (en) 2012-05-09 2017-06-21 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
KR101683868B1 (ko) 2012-05-09 2016-12-07 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
EP3096218B1 (en) 2012-05-09 2018-12-26 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
DE202013012233U1 (de) 2012-05-09 2016-01-18 Apple Inc. Vorrichtung und grafische Benutzerschnittstelle zum Anzeigen zusätzlicher Informationen in Antwort auf einen Benutzerkontakt
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
CN102662477A (zh) * 2012-05-10 2012-09-12 孙晓颖 一种基于静电力触觉再现的装置
JP6392747B2 (ja) * 2012-05-31 2018-09-19 ノキア テクノロジーズ オサケユイチア ディスプレイ装置
JP6071372B2 (ja) * 2012-09-21 2017-02-01 キヤノン株式会社 電子機器及び電子機器の制御方法
US9196134B2 (en) * 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
JP6020083B2 (ja) * 2012-11-19 2016-11-02 アイシン・エィ・ダブリュ株式会社 操作支援システム、操作支援方法及びコンピュータプログラム
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
AU2013368440B2 (en) 2012-12-29 2017-01-05 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
EP2939096B1 (en) 2012-12-29 2019-08-28 Apple Inc. Device, method, and graphical user interface for determining whether to scroll or select contents
HK1215094A1 (zh) 2012-12-29 2016-08-12 Apple Inc. 用於根據具有模擬三維特徵的控制圖標的外觀變化來移動光標的設備、方法和圖形用戶界面
JP6276385B2 (ja) * 2013-04-26 2018-02-07 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ フレキシブルディスプレイのための、受動的剛性及び能動的変形の触覚出力装置
WO2014201151A1 (en) 2013-06-11 2014-12-18 Immersion Corporation Systems and methods for pressure-based haptic effects
AU2013378679B8 (en) * 2013-09-26 2015-03-05 Fujitsu Limited Drive controlling apparatus, electronic device and drive controlling method
JP6644466B2 (ja) * 2013-12-31 2020-02-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚通知を提供するシステム及び方法
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
JP6289100B2 (ja) * 2014-01-06 2018-03-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2015121970A1 (ja) * 2014-02-14 2015-08-20 富士通株式会社 教育用触感提供装置、及び、システム
JPWO2015121969A1 (ja) * 2014-02-14 2017-03-30 富士通株式会社 触感提供装置、及び、システム
WO2015121971A1 (ja) * 2014-02-14 2015-08-20 富士通株式会社 触感提供装置、及び、システム
JPWO2015121964A1 (ja) * 2014-02-14 2017-03-30 富士通株式会社 入力装置
KR20160134799A (ko) * 2014-03-21 2016-11-23 임머숀 코퍼레이션 힘-기반 물체 조작 및 햅틱 감각들을 위한 시스템, 방법 및 컴퓨터-판독가능 매체
US9645646B2 (en) * 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
JP2016057764A (ja) * 2014-09-08 2016-04-21 株式会社東海理化電機製作所 触覚呈示装置
KR102398389B1 (ko) * 2014-11-12 2022-05-16 엘지디스플레이 주식회사 햅틱 객체로부터 햅틱 신호를 모델링하는 방법, 디스플레이 장치 및 이의 구동 방법
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
EP3659011B1 (en) * 2017-07-27 2022-09-21 Telefonaktiebolaget LM Ericsson (PUBL) Improved perception of haptic objects
US10866697B2 (en) * 2017-10-24 2020-12-15 Microchip Technology Incorporated Touch-sensitive user-interface including configurable virtual widgets
JP7087367B2 (ja) * 2017-12-08 2022-06-21 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
US11158220B2 (en) * 2018-12-10 2021-10-26 Universal City Studios Llc Interactive animated protection window with haptic feedback system
JP7345387B2 (ja) * 2019-12-26 2023-09-15 Kddi株式会社 触感提示システム、触感提示システムのローカル端末およびサーバ装置ならびに触感提示方法および触感提示プログラム
WO2023108131A1 (en) * 2021-12-10 2023-06-15 Shaw Industries Group, Inc. Visceral surface covering simulator and method of use
KR102504937B1 (ko) 2021-12-22 2023-03-02 현대건설기계 주식회사 건설장비의 원격조종 시스템
KR102654176B1 (ko) 2022-01-10 2024-04-04 울산과학기술원 기계 학습 모델을 이용하여 시각 기반 촉감 출력을 위한 컴퓨터 장치 및 그의 방법
WO2024204530A1 (ja) * 2023-03-29 2024-10-03 株式会社栗本鐵工所 情報処理システム、情報処理装置、情報処理方法及びコンピュータプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
JP2001290572A (ja) * 2000-04-05 2001-10-19 Fuji Xerox Co Ltd 情報処理装置
JP2003099177A (ja) * 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
US6703924B2 (en) * 2001-12-20 2004-03-09 Hewlett-Packard Development Company, L.P. Tactile display apparatus
JP3852368B2 (ja) * 2002-05-16 2006-11-29 ソニー株式会社 入力方法及びデータ処理装置
JP2004310518A (ja) * 2003-04-08 2004-11-04 Fuji Xerox Co Ltd 画像情報処理装置
DE10340188A1 (de) 2003-09-01 2005-04-07 Siemens Ag Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe
US20060209037A1 (en) 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
US20060024647A1 (en) * 2004-07-30 2006-02-02 France Telecom Method and apparatus for communicating graphical information to a visually impaired person using haptic feedback
US8264465B2 (en) 2004-10-08 2012-09-11 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
US7616192B2 (en) * 2005-07-28 2009-11-10 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Touch device and method for providing tactile feedback
KR100791379B1 (ko) * 2006-01-02 2008-01-07 삼성전자주식회사 사용자 인터페이스 시스템 및 방법
US20080122589A1 (en) * 2006-11-28 2008-05-29 Ivanov Yuri A Tactile Output Device
US9170649B2 (en) * 2007-12-28 2015-10-27 Nokia Technologies Oy Audio and tactile feedback based on visual environment
US8766786B2 (en) * 2008-02-04 2014-07-01 Nokia Corporation Device and method for providing tactile information

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073527B2 (en) 2009-03-12 2018-09-11 Immersion Corporation Systems and methods for providing features in a friction display including a haptic effect based on a color and a degree of shading
US10747322B2 (en) 2009-03-12 2020-08-18 Immersion Corporation Systems and methods for providing features in a friction display

Also Published As

Publication number Publication date
KR20160110547A (ko) 2016-09-21
EP2406704A1 (en) 2012-01-18
CN102349038B (zh) 2016-08-24
KR102003426B1 (ko) 2019-07-24
CN102349038A (zh) 2012-02-08
KR20110130469A (ko) 2011-12-05
KR102051180B1 (ko) 2019-12-02
WO2010105012A1 (en) 2010-09-16
JP2012520137A (ja) 2012-09-06

Similar Documents

Publication Publication Date Title
JP6410860B2 (ja) テクスチャエンジン用のシステム及び方法
JP5779508B2 (ja) テクスチャエンジン用のシステム及び方法
JP6588951B2 (ja) テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法
JP5606462B2 (ja) テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法
JP6463795B2 (ja) グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
CN105892921B (zh) 用于使用多个致动器实现纹理的系统和方法
JP5694204B2 (ja) グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
KR101992070B1 (ko) 텍스처 엔진에 대한 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140401

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140408

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140502

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140703

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150416

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150713

R150 Certificate of patent or registration of utility model

Ref document number: 5779508

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees