JP5694204B2 - グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法 - Google Patents

グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法 Download PDF

Info

Publication number
JP5694204B2
JP5694204B2 JP2011554178A JP2011554178A JP5694204B2 JP 5694204 B2 JP5694204 B2 JP 5694204B2 JP 2011554178 A JP2011554178 A JP 2011554178A JP 2011554178 A JP2011554178 A JP 2011554178A JP 5694204 B2 JP5694204 B2 JP 5694204B2
Authority
JP
Japan
Prior art keywords
display
texture
display area
signal
haptic effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011554178A
Other languages
English (en)
Other versions
JP2012520522A (ja
Inventor
ファン マニュエル クルス−エルナンデス、
ファン マニュエル クルス−エルナンデス、
ダニー エイ． グラント、
ダニー エイ． グラント、
アリ モダレス、
アリ モダレス、
アンドリュー ゴスリン、
アンドリュー ゴスリン、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/696,900 external-priority patent/US9696803B2/en
Priority claimed from US12/697,010 external-priority patent/US9874935B2/en
Priority claimed from US12/697,037 external-priority patent/US9927873B2/en
Priority claimed from US12/696,893 external-priority patent/US9746923B2/en
Priority claimed from US12/697,042 external-priority patent/US10564721B2/en
Priority claimed from US12/696,908 external-priority patent/US10007340B2/en
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2012520522A publication Critical patent/JP2012520522A/ja
Application granted granted Critical
Publication of JP5694204B2 publication Critical patent/JP5694204B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H02N2/06—Drive circuits; Control arrangements or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、一般に、触覚フィードバックに関し、より詳細には、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法に関する。
（関連出願への相互参照）
本特許出願は、２００９年３月１２日に提出された“Ｌｏｃａｔｉｎｇ Ｆｅａｔｕｒｅｓ Ｕｓｉｎｇ ａ Ｆｒｉｃｔｉｏｎ Ｄｉｓｐｌａｙ”と題された米国仮特許出願第６１／１５９，４８２号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２００９年１１月１７日に提出された“Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｉｎｃｒｅａｓｉｎｇ Ｈａｐｔｉｃ Ｂａｎｄｗｉｄｔｈ ｉｎ ａｎ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅ”と題された米国仮特許出願第６１／２６２，０４１号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２００９年１１月１７日に提出された“Ｆｒｉｃｔｉｏｎ Ｒｏｔａｒｙ Ｄｅｖｉｃｅ ｆｏｒ Ｈａｐｔｉｃ Ｆｅｅｄｂａｃｋ”と題された米国仮特許出願第６１／２６２，０３８号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２０１０年１月２９日に提出された“Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｐｒｏｖｉｄｉｎｇ Ｆｅａｔｕｒｅｓ Ｉｎ Ａ Ｆｒｉｃｔｉｏｎ Ｄｉｓｐｌａｙ”と題された米国特許出願第１２／６９６，８９３号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２０１０年１月２９日に提出された“Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｆｒｉｃｔｉｏｎ Ｄｉｓｐｌａｙｓ Ａｎｄ Ａｄｄｉｔｉｏｎａｌ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ”と題された米国特許出願第１２／６９６，９００号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２０１０年１月２９日に提出された“Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｅａｔｕｒｉｎｇ Ｓｕｒｆａｃｅ−Ｂａｓｅｄ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ”と題された米国特許出願第１２／６９６，９０８号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２０１０年１月２９日に提出された“Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ａ Ｔｅｘｔｕｒｅ Ｅｎｇｉｎｅ”と題された米国特許出願第１２／６９７，０１０号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２０１０年１月２９日に提出された“Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｕｓｉｎｇ Ｔｅｘｔｕｒｅｓ Ｉｎ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｗｉｄｇｅｔｓ”と題された米国特許出願第１２／６９７，０３７号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２０１０年１月２９日に提出された“Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｕｓｉｎｇ Ｍｕｌｔｉｐｌｅ Ａｃｔｕａｔｏｒｓ Ｔｏ Ｒｅａｌｉｚｅ Ｔｅｘｔｕｒｅｓ”と題された米国特許出願第１２／６９７，０４２号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
過去数年にわたり、タッチスクリーン及び触覚フィードバックを組み込んだ装置の使用が急増している。こうした装置は、携帯型オーガナイザ、電話、音楽プレーヤ、及びゲームシステムとして使用される。触覚技術が進歩するにつれて、装置はテクスチャをシミュレートするように構成される触覚効果を組み込む場合がある。従って、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法が必要とされる。
本発明の実施形態は、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法を提供する。例えば、一実施形態では、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムは、触覚信号を受信して、前記触覚信号に少なくとも部分的に基づいて、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータと、ユーザ相互作用を検出して、インターフェース信号を出力するように構成されるタッチセンサ式インターフェースと、前記アクチュエータ及び前記タッチセンサ式インターフェースと通信するプロセッサであって、前記インターフェース信号を受信し、表示領域を定義する複数のピクセルを含む表示信号を受信し、前記表示領域の第１の部分を定義するピクセルの第１のグループに関連付けられる第１のテクスチャを決定し、前記表示領域の第２の部分を定義するピクセルの第２のグループに関連付けられる第２のテクスチャを決定し、前記アクチュエータに、前記ユーザ相互作用が前記表示領域の前記第１の部分に関連付けられる場合、前記第１のテクスチャをシミュレートするように構成される第１の触覚効果を出力させ、前記ユーザ相互作用が前記表示領域の前記第２の部分に関連付けられる場合、前記第２のテクスチャをシミュレートするように構成される第２の触覚効果を出力させるように構成される触覚信号を送信するように構成されるプロセッサとを備える。
こうした例示の実施形態は、本発明を限定又は定義するのではなく、その理解を容易にする例示を提供するために言及される。例示の実施形態は、発明の詳細な説明において検討され、そこでは発明のさらなる説明が提供される。本発明の多様な実施形態によって提供される利点は、本明細書を吟味することでさらに理解され得る。
本発明のこれらの及び他の特徴、態様、及び利点は、添付の図面を参照して以下の詳細な説明を読めば、よりよく理解される。
本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムのブロック図である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるための方法の流れ図である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの別の例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの別の例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの別の例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの別の例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの別の例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの別の例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの別の例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの別の例示である。
本発明の実施形態は、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法を提供する。
（グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示的な実施形態）
本発明の例示の実施形態は、例えば、携帯電話等のメッセージング装置を含む。例示の実施形態では、メッセージング装置は、以前はＩｍｍｅｒｓｉｏｎ社のＶｉｂｅＴｏｎｚ（Ｒ）振動触覚フィードバックシステムとして知られていた、Ｉｍｍｅｒｓｉｏｎ社のＴｏｕｃｈＳｅｎｓｅ（Ｒ）３０００、ＴｏｕｃｈＳｅｎｓｅ（Ｒ）４０００、又はＴｏｕｃｈＳｅｎｓｅ（Ｒ）５０００という振動触覚フィードバックシステムを搭載したＳａｍｓｕｎｇ Ｈａｐｔｉｃ Ｐｈｏｎｅ（ＳＣＨ−Ｗ４２０）を含む。他の実施形態では、異なるメッセージング装置及び触覚フィードバックシステムが利用されてもよい。
例示のメッセージング装置は、ディスプレイ、スピーカ、ネットワークインターフェース、メモリ、及びこうした各要素と通信するプロセッサを備える。また、例示のメッセージング装置は、タッチセンサ式インターフェース及びアクチュエータも備える。これらは共にプロセッサと通信する。タッチセンサ式インターフェースは、メッセージング装置とユーザの相互作用を感知するように構成され、アクチュエータは、触覚効果を出力するように構成される。例示のメッセージング装置は、ユーザ相互作用を検出してユーザ相互作用に関連付けられるインターフェース信号をプロセッサに送信するように構成される操作子をさらに備えてもよい。
例示のメッセージング装置において、ディスプレイは、グラフィカルユーザインターフェースをユーザに対して表示するように構成される。グラフィカルユーザインターフェースは、仮想オブジェクト、例えば、アイコン、ボタン、又は仮想キーボードを含んでもよい。例示のメッセージング装置は、例えば、ディスプレイの上に搭載されたタッチスクリーン等のタッチセンサ式インターフェースをさらに備える。タッチセンサ式インターフェースは、ユーザがグラフィカルユーザインターフェースに表示された仮想オブジェクトと相互作用することを可能にする。例えば、一実施形態では、グラフィカルユーザインターフェースは、仮想キーボードを含んでもよい。一実施形態では、タッチセンサ式インターフェースは、ユーザが仮想キーボード上のキーに触れて、このキーに関連付けられる英数字を入力することを可能にする。この機能性は、メッセージをタイプし、又はグラフィカルユーザインターフェース内のオブジェクトと相互作用するために使用されてもよい。
例示のメッセージング装置において、プロセッサは、触覚効果を決定して、触覚効果を出力するように構成されるアクチュエータに触覚効果に対応する触覚信号を送信するように構成される。例示のメッセージング装置において、この触覚効果は、タッチセンサ式インターフェースの表面でユーザが感知するテクスチャをシミュレートする。シミュレートされるテクスチャは、ディスプレイ上に示されるユーザインターフェースに関連付けられてもよい。例えば、ディスプレイは、岩の形状を含むアイコンを示してもよい。このような実施形態では、プロセッサは、タッチセンサ式インターフェースの表面上で岩のテクスチャをシミュレートするように構成される触覚効果を決定してもよい。次に、プロセッサは、触覚効果を出力するように構成されるアクチュエータに触覚信号を送信するであろう。アクチュエータは、触覚信号を受信すると、タッチセンサ式インターフェースの表面を岩のテクスチャに近似させるように構成される周波数で振動のような触覚効果を出力するであろう。例示の実施形態では、プロセッサは、触覚効果を決定するために触覚マップを実装してもよい。例えば、例示の実施形態では、プロセッサは、各々が色彩に関連付けられる複数のピクセルを含む表示信号を受信してもよい。例えば、例示の実施形態では、表示信号における各ピクセルは、赤、緑又は青の色彩に関連付けられてもよく、さらに色彩ごとの強度に関連付けられてもよい。例示の実施形態では、プロセッサは、各色彩に対して触覚値を割り当て、さらに各色彩の強度に関連付けられる触覚強度を割り当てるであろう。次に、プロセッサは、触覚効果を出力するように構成されるアクチュエータに触覚値及び触覚強度を含む触覚信号を送信するであろう。
例示の実施形態では、プロセッサは、さらに外部トリガに基づいて触覚効果を決定してもよい。例えば、例示の実施形態では、プロセッサは、ユーザ相互作用を検出するように構成されるタッチセンサ式インターフェースからインターフェース信号を受信するように構成される。次に、例示の実施形態では、プロセッサは、インターフェース信号に少なくとも部分的に基づいて触覚効果を決定するであろう。例えば、プロセッサは、インターフェース信号に少なくとも部分的に基づいて触覚値又は触覚強度を修正してもよい。例示の実施形態では、タッチセンサ式インターフェースが高速又は高圧のユーザ相互作用を検出する場合、プロセッサはより高強度の触覚効果を決定するであろう。
例示のメッセージング装置は、多くの目的で触覚効果を出力してもよい。例えば、一実施形態では、触覚効果は、ユーザ相互作用に関連付けられるインターフェース信号をプロセッサが受信したことの確認として作用してもよい。例えば、グラフィカルユーザインターフェースは、ボタンを含んでもよく、タッチセンサ式インターフェースは、ボタンを押すことに関連付けられたユーザ相互作用を検出して、プロセッサにインターフェース信号を送信してもよい。これに応じて、プロセッサは、インターフェース信号を受信したことを確認するための触覚効果を決定してもよい。このような実施形態では、触覚効果は、タッチセンサ式インターフェースの表面でテクスチャをユーザに感知させてもよい。例示の実施形態では、プロセッサは、他の目的で触覚効果をさらに決定してもよい。例えば、例示のメッセージング装置は、ユーザにディスプレイの境界を警告し、又はディスプレイの表面のアイコン等のオブジェクトに対する識別としてテクスチャを出力してもよい。
この例示は、本明細書で検討される一般的な主題を読者に紹介するために与えられる。本発明は、この例示には限定されない。以下の段落は、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法の様々な追加の非限定的な実施形態及び例示を記載する。
（グラフィカルユーザインターフェース装置においてテクスチャを用いるための例示的なシステム）
次に、複数の図面を通じて同様の番号が同様の要素を示す図面を参照すると、図１は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムのブロック図である。図１に示されるように、システム１００は、例えば、携帯電話、ＰＤＡ（ｐｏｒｔａｂｌｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、携帯型メディアプレーヤ、携帯型コンピュータ、携帯型ゲーム装置又は他の何らかの移動装置等のメッセージング装置１０２を備える。幾つかの実施形態では、メッセージング装置１０２は、ラップトップ、タブレット、デスクトップＰＣ、又は他の類似の装置を含んでもよい。さらに他の実施形態では、メッセージング装置は、ＰＣ又は他の何らかの装置と共に使用される外部モニタを含んでもよい。メッセージング装置１０２は、ネットワークインターフェース１１２、タッチセンサ式インターフェース１１４、ディスプレイ１１６、アクチュエータ１１８、スピーカ１２０、及びメモリ１２２と通信するプロセッサ１１０を備える。
プロセッサ１１０は、メモリ１２２に記憶されるコンピュータ実行可能プログラム命令を実行するように構成される。例えば、プロセッサ１１０は、メッセージング又は触覚フィードバック生成のために１つ以上のコンピュータプログラムを実行してもよい。プロセッサ１１０は、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、１つ以上のＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、又は状態機械を備えてもよい。プロセッサ１１０は、例えば、ＰＬＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｃｏｎｔｒｏｌｌｅｒ）、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ若しくはＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置をさらに備えてもよい。
メモリ１２２は、プロセッサ１１０によって実行されると、本明細書に記載したような様々なステップをプロセッサ１１０に実行させる命令を記憶するコンピュータ可読媒体を含む。コンピュータ可読媒体の実施形態は、限定されないが、電子、光学、磁気、又はプロセッサ１１０にコンピュータ可読命令を提供可能な他の記憶装置若しくは伝送装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読取り可能な任意の他の媒体を含む。さらに、様々な他の装置は、例えば、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。プロセッサ１１０及び記載された処理は、１つ以上の構造内にあってもよく、１つ以上の構造にわたって分散されてもよい。
プロセッサ１１０は、ネットワークインターフェース１１２と通信する。ネットワークインターフェース１１２は、例えば、赤外線、無線、Ｗｉ−Ｆｉ又はセルラネットワーク通信等の１つ以上の移動式通信方法を備えてもよい。他の変形では、ネットワークインターフェース１１２は、例えば、イーサネット（登録商標）等の有線ネットワークインターフェースを備える。メッセージング装置１０２は、例えば、セルラネットワーク及び／又はインターネット等のネットワークを介して他の装置（図示せず）とメッセージ又は仮想メッセージオブジェクトを交換するように構成され得る。装置間で交換されるメッセージの実施形態は、音声メッセージ、テキストメッセージ、データメッセージ、又は他の形態のデジタルメッセージを含んでもよい。
また、プロセッサ１１０は、１つ以上のタッチセンサ式インターフェース１１４とも通信する。幾つかの実施形態では、タッチセンサ式インターフェース１１４は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、幾つかの実施形態では、タッチセンサ式インターフェース１１４は、表示信号を受信してユーザに画像を出力するように構成されるディスプレイの上に搭載されるタッチスクリーンを含んでもよい。他の実施形態では、タッチセンサ式インターフェース１１４は、光学センサ又は別の種類のセンサを備えてもよい。一実施形態では、タッチセンサ式インターフェースは、ＬＥＤ検出器を備えてもよい。例えば、一実施形態では、タッチセンサ式インターフェース１１４は、ディスプレイ１１６の側部に取り付けられるＬＥＤ指検出器を備えてもよい。幾つかの実施形態では、プロセッサは、単一のタッチセンサ式インターフェース１１４と通信し、他の実施形態では、プロセッサは、複数のタッチセンサ式インターフェース、例えば、第１のタッチスクリーン及び第２のタッチスクリーンと通信する。タッチセンサ式インターフェース１１４は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ１１０に信号を送信するように構成される。幾つかの実施形態では、タッチセンサ式インターフェース１１４は、複数の態様のユーザ相互作用を検出するように構成されてもよい。例えば、タッチセンサ式インターフェース１１４は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。
また、図１に示される実施形態では、プロセッサ１１０は、ディスプレイ１１６とも通信する。プロセッサ１１０は、ディスプレイ１１６に示されるユーザインターフェースの図形表現を生成して、ディスプレイ１１６にこの図形表現を含む表示信号を送信するように構成され得る。他の実施形態では、ディスプレイ１１６は、別の装置から表示信号を受信するように構成される。例えば、幾つかの実施形態では、ディスプレイ１１６は、コンピュータモニタ等の外部ディスプレイを含んでもよい。ディスプレイ１１６は、表示信号を受信して、その表示信号に関連付けられる画像を出力するように構成される。幾つかの実施形態では、表示信号はＶＧＡ、ＨＤＭＩ、ＳＶＧＡ、ＶＩＤＥＯ、Ｓ−ＶＩＤＥＯ、又は当技術分野で周知の他の種類の表示信号を含んでもよい。幾つかの実施形態では、ディスプレイ１１６は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又はプラズマスクリーンディスプレイ等のフラットスクリーンディスプレイを含む。他の実施形態では、ディスプレイ１１６は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、又は当技術分野で周知の他の種類のディスプレイを含む。さらに他の実施形態では、ディスプレイ１１６は、タッチセンサ式インターフェース１１４を含んでもよく、例えば、ディスプレイ１１６は、タッチスクリーンＬＣＤを含んでもよい。さらに他の実施形態では、ディスプレイ１１６は、フレキシブルスクリーン又はフレキシブルディスプレイを含んでもよい。例えば、幾つかの実施形態では、ディスプレイ１１６は、その表面の下側に取り付けられる触角基板を備えてもよい。このような実施形態では、ディスプレイ１１６は可撓性材料から作られ、プロセッサ１１０から受信される信号に応答して、触覚基板が曲がることで、ディスプレイ１１６の表面に隆起、谷間、又は他の特徴を形成する。幾つかの実施形態では、触覚基板は、プラズマアクチュエータ、圧電アクチュエータ、電気活性ポリマ、微小電気機械システム、形状記憶合金、流体グリッド又はガス充填セルを含んでもよい。
幾つかの実施形態では、プロセッサ１１０は、ディスプレイ１１６に示されるグラフィカルユーザインターフェースとの相互作用に関連付けられる信号をタッチセンサ式インターフェース１１４から受信する。例えば、一実施形態では、タッチセンサ式インターフェース１１４は、タッチスクリーンを含んでもよく、ディスプレイ１１６上のグラフィカルユーザインターフェースは、仮想キーボードを含んでもよい。このような実施形態では、ユーザが仮想キーボードのキーの１つと重なるタッチスクリーンの一部と相互作用すると、タッチスクリーンは、このユーザ相互作用に対応するインターフェース信号をプロセッサ１１０に送信するであろう。このインターフェース信号に基づいて、プロセッサ１１０は、ユーザが仮想キーボード上でキーの１つを押したことを決定するであろう。この機能性は、ユーザがディスプレイ１１６上の他のアイコン及び仮想オブジェクトと相互作用することを可能にする。例えば、幾つかの実施形態では、ユーザは、タッチスクリーンをフリックして、仮想ボールを移動させ又は仮想つまみを回してもよい。
また、図１に示されるように、プロセッサ１１０は、１つ以上のアクチュエータ１１８、各アクチュエータ用のサスペンションシステム、並びに各アクチュエータ用の電力及び制御配線を備える作動システムとも通信する。幾つかの実施形態では、メッセージング装置１０２は、１つ以上の作動システムを備える。プロセッサ１１０は、触覚効果を決定して、その触覚効果に対応する触覚信号をアクチュエータ１１８に送信するように構成される。幾つかの実施形態では、触覚効果は、ディスプレイ１１６、タッチセンサ式インターフェース１１４、又はメッセージング装置１０２の筐体の表面で感じられる振動触覚テクスチャを含む。幾つかの実施形態では、触覚効果を決定することは、触覚効果を決定するための一連の計算を含んでもよい。他の実施形態では、触覚効果を決定することは、適切な触覚効果を決定するためにルックアップテーブルにアクセスすることを含んでもよい。さらに他の実施形態では、触覚効果を決定することは、ルックアップテーブルとアルゴリズムとの組み合わせを含んでもよい。
幾つかの実施形態では、触覚効果を決定することは、触覚マップを含んでもよい。このような実施形態では、触覚効果を決定することは、表示信号をアクチュエータにマッピングすることを含んでもよい。例えば、表示信号は、各々が色彩に関連付けられる複数のピクセルを含んでもよい。このような実施形態では、各ピクセルは、赤、緑又は青の色彩に関連付けられてもよい。さらに各色彩は、強度、例えば、１−８の強度に関連付けられてもよい。このような実施形態では、触覚効果を決定することは、各色彩に触覚効果を割り当てることを含んでもよい。幾つかの実施形態では、触覚効果は、動作の方向及び強度を含んでもよい。例えば、一実施形態では、触覚信号は、回転アクチュエータを半分の力で時計回りに回転させるように構成されてもよい。幾つかの実施形態では、動作の強度は、色彩の強度に関連付けられてもよい。プロセッサ１１０は、触覚効果を決定すると、触覚効果を含む触覚信号を送信する。幾つかの実施形態では、プロセッサ１１０は、表示信号における一部のピクセルのみに触覚効果を割り当ててもよい。例えば、このような実施形態では、触覚効果は、表示信号の一部のみに関連付けられてもよい。
幾つかの実施形態では、プロセッサ１１０は、触覚マップを利用して触覚効果を決定し、それからディスプレイ１１６に表示信号を出力してもよい。他の実施形態では、プロセッサ１１０は、触覚マップを用いて触覚効果を決定し、それからディスプレイ１１６に表示信号を送信しなくてもよい。このような実施形態では、アクチュエータ１１８が触覚効果を出力している間に、ディスプレイ１１６は、暗色又は休止のままであってもよい。例えば、このような実施形態では、プロセッサ１１０は、メッセージング装置１０２に関連付けられるデジタルカメラから表示信号を受信してもよい。幾つかの実施形態では、バッテリを節約するために、ユーザは、ディスプレイ１１６を非活性化していてもよい。このような実施形態では、プロセッサは、触覚マップを利用して、ディスプレイの表面にテクスチャをシミュレートする触覚効果をユーザに提供してもよい。このテクスチャは、カメラの焦点が合っているとき、又は他の何らかのイベントが発生したときに、ユーザに通知するために使用されてもよい。例えば、プロセッサ１１０は、顔認識ソフトウェアを用いて、ディスプレイ１１６が活性化された場合に、ディスプレイ１１６上の複数の場所で顔に関係付けられるであろうテクスチャをシミュレートする触覚効果を決定してもよい。
幾つかの実施形態では、プロセッサ１１０は、ユーザ相互作用又はトリガに少なくとも部分的に基づいて触覚効果を決定してもよい。このような実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４からインターフェース信号を受信して、このインターフェース信号に少なくとも部分的に基づいて触覚効果を決定する。例えば、幾つかの実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４によって検出されるユーザ相互作用の場所に基づいて触覚効果を決定してもよい。例えば、一実施形態では、プロセッサ１１０は、ユーザがディスプレイ１１６上で触れている仮想オブジェクトのテクスチャをシミュレートする触覚効果を決定してもよい。他の実施形態では、プロセッサ１１０は、インターフェース信号に少なくとも部分的に基づいて触覚効果の強度を決定してもよい。例えば、タッチセンサ式インターフェース１１４が高圧のユーザ相互作用を検出すると、プロセッサ１１０は、高強度の触覚効果を決定してもよい。別の実施形態では、タッチセンサ式インターフェース１１４が低圧のユーザ相互作用を検出すると、プロセッサ１１０は、低強度の触覚効果を決定してもよい。さらに他の実施形態では、プロセッサ１１０は、ユーザ相互作用の速度に少なくとも部分的に基づいて触覚効果の強度を決定してもよい。例えば、一実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４が低速のユーザ相互作用を検出すると、低強度の触覚効果を決定してもよい。さらに他の実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４からユーザ相互作用に関連付けられるインターフェース信号を受信しない限り、触覚効果を何ら決定しなくてもよい。
プロセッサ１１０は、触覚効果を決定すると、触覚効果に関連付けられる触覚信号をアクチュエータ１１８に送信する。アクチュエータ１１８は、プロセッサ１１０から触覚信号を受信して触覚効果を生成するように構成される。アクチュエータ１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又はリニア共振アクチュエータ（ＬＲＡ）であってもよい。幾つかの実施形態では、アクチュエータ１１８は、複数のアクチュエータ、例えば、ＥＲＭ及びＬＲＡを備えてもよい。
幾つかの実施形態では、アクチュエータ１１８によって生成される触覚効果は、タッチセンサ式インターフェース１１４又はディスプレイ１１６の表面にユーザが感知するテクスチャをシミュレートするように構成される。このテクスチャは、ディスプレイ１１６に示されるグラフィカルユーザインターフェースに関連付けられてもよい。例えば、ディスプレイ１１６は、岩の形状を含むアイコンを示してもよい。このような実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４の表面上で岩のテクスチャをシミュレートするように構成される触覚効果を決定してもよい。その後、プロセッサ１１０は、触覚効果を出力するアクチュエータ１１８に触覚効果に関連付けられる触覚信号を送信するであろう。例えば、アクチュエータ１１８は、触覚信号を受信すると、タッチセンサ式インターフェースの表面に岩のテクスチャを含ませるように構成される振動を所定の周波数で出力してもよい。他の実施形態では、アクチュエータ１１８は、ディスプレイ１１６又はタッチセンサ式インターフェース１１４の表面に水、氷、革、砂、砂利、雪、皮膚、毛皮、又は他の何らかの表面のテクスチャを含ませる振動を所定の周波数で出力するように構成されてもよい。幾つかの実施形態では、触覚効果は、メッセージング装置１０２の異なる部分に、例えば、その筐体上に出力されてもよい。幾つかの実施形態では、アクチュエータ１１８は、複数のテクスチャを同時に出力するように構成される多数の振動を出力してもよい。例えば、アクチュエータ１１８は、ディスプレイ１１６の表面に砂のテクスチャを含ませるように構成される振動を出力してもよい。また、アクチュエータ１１８は、ユーザに砂地の中の岩のテクスチャを感知させるように構成される追加の振動を出力するように構成されてもよい。
幾つかの実施形態では、図１には示されていないが、メッセージング装置１０２は、複数のアクチュエータを含んでもよい。２つ以上のアクチュエータを含む実施形態では、各アクチュエータは、同時に異なる触覚効果を出力してもよいので、利用可能な触覚効果の豊富度が増加する。例えば、各アクチュエータは、異なるテクスチャをシミュレートするように構成される異なる周波数又は種類の触覚効果を出力してもよい。幾つかの実施形態では、ユーザは、メッセージング装置１０２上でこうしたテクスチャを同じ時間における異なる場所で感知してもよい。例えば、一実施形態では、第１のアクチュエータは、第１のアイコン上のテクスチャをシミュレートするように構成される第１の触覚効果を出力してもよい。一方で同時に、第２のアクチュエータは、第２のアイコン上の第２のテクスチャをシミュレートするように構成される第２の触覚効果を出力してもよい。このような実施形態では、ユーザは、第１のアイコン上で第１のテクスチャを感知し、同時に、第２のアイコン上で第２のテクスチャを感知してもよい。他の実施形態では、双方のアクチュエータは、組み合わされると単一のテクスチャをシミュレートするように構成される別個の触覚効果を出力するように構成されてもよい。さらに、図１には示されていないが、メッセージング装置１０２は、複数のディスプレイを含んでもよい。幾つかの実施形態では、各ディスプレイは、１つ以上のアクチュエータに関連付けられてもよい。このような実施形態では、ユーザは、１つのディスプレイと相互作用して、他のディスプレイで対応する触覚効果を感知してもよい。
プロセッサ１１０は、様々な理由で触覚効果を決定してもよい。例えば、幾つかの実施形態では、プロセッサ１１０は、ディスプレイ１１６に示されるオブジェクトのテクスチャに対応する触覚効果を出力してもよい。このような実施形態では、ディスプレイは、複数のオブジェクトを示してもよく、プロセッサは、ユーザがオブジェクトからオブジェクトへと自身の指を動かすにつれて異なる触覚効果を決定して、それによりオブジェクトごとに異なるテクスチャをシミュレートしてもよい。幾つかの実施形態では、触覚効果は、ユーザ相互作用に関連付けられた信号をプロセッサ１１０が受信したことの確認として作用してもよい。例えば、一実施形態では、グラフィカルユーザインターフェースはボタンを備えてもよく、タッチセンサ式インターフェース１１４は、ボタンを押すことに関連付けられるユーザ相互作用を検出してもよい。タッチセンサ式インターフェース１１４がユーザ相互作用に関連付けられるインターフェース信号をプロセッサ１１０に送信すると、プロセッサ１１０は、インターフェース信号の受信を確認するための触覚効果を決定してもよい。このような実施形態では、触覚効果は、タッチセンサ式インターフェース１１４の表面でテクスチャをユーザに感知させてもよい。例えば、プロセッサは、プロセッサ１１０がユーザ入力を受信したことを確認するために砂のテクスチャをシミュレートする触覚効果を出力してもよい。他の実施形態では、プロセッサは、異なるテクスチャ、例えば、水、氷、油、岩、又は皮膚のテクスチャを決定してもよい。幾つかの実施形態では、触覚効果は、異なる目的を果たしてもよく、例えば、ユーザにディスプレイ１１６の境界を通知し、又はユーザにディスプレイ１１６上の画像に関する触覚情報を提供してもよい。例えば、幾つかの実施形態では、ディスプレイ１１６上の各アイコンは、異なるテクスチャを含んでもよく、ユーザがあるアイコンから別のアイコンへと自身の指を動かすと、プロセッサは、各アイコンのテクスチャをシミュレートする触覚効果を決定するであろう。さらなる実施形態では、プロセッサは、ユーザの指がアイコンとの接触からディスプレイの背景との接触に移動すると、テクスチャを変化させ、それによりユーザがもはやアイコンに触れていないことを通知してもよい。
また、図１に示されるように、プロセッサ１１０は、スピーカ１２０とも通信する。スピーカ１２０は、プロセッサ１１０から音声信号を受信して、ユーザに出力するように構成される。幾つかの実施形態では、音声信号は、アクチュエータ１１８によって出力される触覚効果、又はディスプレイ１１６によって出力される画像に関連付けられてもよい。他の実施形態では、音声信号は、触覚効果又は画像に対応しなくてもよい。
図１には示されない幾つかの実施形態では、プロセッサ１１０は、１つ以上のセンサ、例えば、ＧＰＳセンサ、画像センサ、加速度計、場所センサ、回転速度センサ、光センサ、カメラ、マイクロホン、または他の何らかの種類のセンサをさらに含んでもよい。センサは、加速、傾斜、慣性、又は場所の変化を検出するように構成されてもよい。例えば、メッセージング装置１０２は、メッセージング装置の加速を測定するように構成される加速度計を備えてもよい。センサは、プロセッサ１１０にセンサ信号を送信するように構成される。
センサ信号は、メッセージング装置１０２の位置、移動、加速、又は「急な動き（ｊｅｒｋ）」（すなわち、加速の派生）に関連付けられる１つ以上のパラメータを含んでもよい。例えば、一実施形態では、センサは、複数のパラメータを含むセンサ信号を生成及び送信してもよい。各パラメータは、一つの測定された並進又は回転軸に沿って又はその周りの運動に関連付けられる。幾つかの実施形態では、センサは、プロセッサ１１０が１つ以上の軸に沿った運動を示すように解釈するようにプログラムされる電圧又は電流を出力する。
幾つかの実施形態では、プロセッサ１１０は、センサ信号を受信して、仮想ワークスペースを活性化し且つ仮想ワークスペースの「中」の仮想的運動に対応するようにＸ、Ｙ又はＺ方向にメッセージング装置１０２の感知された運動を解釈するべきことを決定するであろう。次に、ユーザは、仮想ワークスペース内で装置１０２を動かして、仮想スペース内でジェスチャを行なうことにより機能又はファイルを選択してもよい。例えば、仮想ワークスペース内の機能上でＺ軸にメッセージング装置１０２を動かすことにより選択する。幾つかの実施形態では、ユーザは、仮想ワークスペース内でジェスチャを用いてメッセージング装置１０２によって出力される触覚効果を変更してもよい。
図２は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図２は、例えば、携帯電話、ＰＤＡ、携帯型メディアプレーヤ、携帯型ゲーム装置、又は携帯型コンピュータ等のメッセージング装置２００を含む。メッセージング装置２００は、例えば、セルラネットワーク又はインターネット等のネットワークを介して、音声メール、テキストメッセージ、及び他のデータメッセージのような信号を送信及び受信するように構成される。メッセージング装置２００は、無線ネットワークインターフェース及び／又は有線ネットワークインターフェース（図２には示されない）を備えてもよい。図２には装置２００がハンドヘルドメッセージング装置として例示されるが、他の実施形態は、例えば、ビデオゲームシステム及び／又はパーソナルコンピュータ等の異なる装置を含んでもよい。
図２に示されるように、メッセージング装置２００は、筐体２０２及びディスプレイ２１６を備える。幾つかの実施形態では、ディスプレイ２１６は、ＬＣＤディスプレイを含んでもよい。他の実施形態では、ディスプレイ２１６は、プラズマディスプレイ、又は当技術分野で周知の他の種類のディスプレイを含んでもよい。ディスプレイ２１６は、表示信号を受信して、その表示信号に関連付けられる画像を出力するように構成される。幾つかの実施形態では、表示信号はＶＧＡ、ＨＤＭＩ、ＳＶＧＡ、ＶＩＤＥＯ、Ｓ−ＶＩＤＥＯ、又は当技術分野で周知の他の種類の表示信号を含んでもよい。図２に示される実施形態では、ディスプレイ２１６はテクスチャ化されたボール２０４を含む。ディスプレイ２１６は、テクスチャ選択アイコン２０６をさらに含む。テクスチャ選択アイコン２０６は、岩、砂、及び水を含む。
さらに図２を参照すると、メッセージング装置２００は、操作子２１４をさらに備える。図２に示される実施形態では、操作子２１４は、ローラーボール及びボタンを備える。また、メッセージング装置２００は、タッチセンサ式インターフェース２１８も備える。図２に示される実施形態では、タッチセンサ式インターフェースは、ディスプレイ２１６の上に配置されるタッチスクリーンを備える。幾つかの実施形態では、ディスプレイ２１６及びタッチスクリーンは、例えば、タッチスクリーンディスプレイ等の単一の一体型構成要素を含んでもよい。
操作子２１４及びタッチセンサ式インターフェース２１８は、ユーザ相互作用を検出して、このユーザ相互作用に対応するインターフェース信号をプロセッサに送信するように構成される。幾つかの実施形態では、ユーザ相互作用は、ディスプレイ２０６に示されるグラフィカルユーザインターフェースに関連付けられる。このような実施形態では、プロセッサは、インターフェース信号を受信して、このインターフェース信号に少なくとも部分的に基づいて、ディスプレイ２１６上でグラフィカルユーザインターフェースを変更する。例えば、図２に示される実施形態では、ユーザは、テクスチャ選択アイコン２０６の１つを選択するために操作子２１４又はタッチセンサ式インターフェース２１８のいずれかを用いてもよい。ユーザがテクスチャ化されたボール２０４用のテクスチャを選択した場合、そのテクスチャに対応するようにディスプレイ上で外観が変化してもよい。例えば、ユーザが砂のテクスチャアイコンを選択する場合、プロセッサは、ユーザがテクスチャ化されたボール２０４と相互作用するときにユーザに砂状のテクスチャを感知させる触覚効果を決定するであろう。又は、別の実施形態では、ユーザが岩のテクスチャアイコンを選択する場合、プロセッサは、ユーザがテクスチャ化されたボール２０４と相互作用するとユーザに岩のテクスチャを感知させる触覚効果を決定してもよい。
メッセージング装置２００は、触覚信号を受信して、触覚効果を出力するように構成されるアクチュエータをさらに備える（図２には示されない）。幾つかの実施形態では、触覚効果は、メッセージング装置２００のユーザによって感知される振動触覚テクスチャを含む。プロセッサ１１０は、触覚効果を決定して、その触覚効果に対応する触覚信号をアクチュエータ１１８に送信するように構成される。幾つかの実施形態では、触覚効果を決定することは、一連の計算を実行することを含んでもよい。他の実施形態では、触覚効果を決定することは、ルックアップテーブルにアクセスすることを含んでもよい。さらに他の実施形態では、触覚効果を決定することは、ルックアップテーブルとアルゴリズムとの組み合わせを用いることを含んでもよい。プロセッサ１１０は、触覚効果を決定すると、触覚効果に関連付けられる触覚信号をアクチュエータに送信する。アクチュエータは、プロセッサ１１０から触覚信号を受信して触覚効果を出力する。ユーザは、ディスプレイ２１６の表面を介して又はメッセージング装置２００の他の一部を通じて、例えば、操作子２１４又は筐体２０２を介して触覚効果を感知してもよい。
図２に示される実施形態では、ディスプレイ２１６はテクスチャ化されたボール２０４を含む。ユーザがテクスチャ化されたボール２０４と相互作用すると、プロセッサは、ディスプレイ２１６の表面でテクスチャ化されたボール２０４のテクスチャをシミュレートする触覚効果を決定するであろう。例えば、テクスチャ化されたボールは、砂のテクスチャを含んでもよい。このような実施形態では、プロセッサは、砂の粗い砂利の感覚をシミュレートする触覚効果を決定してもよい。幾つかの実施形態では、プロセッサは、砂上で動きのあるテクスチャをシミュレートするために、テクスチャ化されたボール２０４の表面上でユーザが指を動かすと、この触覚効果を変更してもよい。
図３ａは、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図３ａは、例えば、携帯電話、ＰＤＡ、携帯型メディアプレーヤ、携帯型ゲーム装置、又は携帯型コンピュータ等のメッセージング装置３００を含む。メッセージング装置３００は、例えば、セルラネットワーク又はインターネット等のネットワークを介して、音声メール、テキストメッセージ、及び他のデータメッセージのようなメッセージを含む信号を送信及び受信するように構成される。メッセージング装置３００は、無線ネットワークインターフェース及び／又は有線ネットワークインターフェース（図３ａには示されない）を備えてもよい。図３ａには装置３００がハンドヘルドメッセージング装置として例示されるが、他の実施形態は、例えば、ビデオゲームシステム及び／又はパーソナルコンピュータ等の異なる装置を含んでもよい。
図３ａに示されるように、メッセージング装置３００は、ディスプレイ３１６を備える。ディスプレイ３１６は、表示信号を受信して、この表示信号に少なくとも部分的に基づいて画像を出力するように構成される。メッセージング装置３００は、表示信号をディスプレイ３１６に送信するように構成されるプロセッサ（図３ａには示されない）をさらに備える。メッセージング装置３００は、ディスプレイ３１６の上に取り付けられるタッチセンサ式インターフェース３１４をさらに備える。タッチセンサ式インターフェース３１４は、ユーザ相互作用を検出して、このユーザ相互作用に対応するインターフェース信号をプロセッサに送信するように構成される。ディスプレイ３１６は、２つのアイコン３０２及び３０４を備える。ユーザがアイコン３０２及び３０４の一方と相互作用すると、タッチセンサ式インターフェース３１４は、ユーザ相互作用を検出して、対応するインターフェース信号をプロセッサに送信するであろう。このインターフェース信号に基づいて、プロセッサは、ユーザが一方のアイコンに結び付けられたファイルを開き、又は当技術分野で周知の他の何らかの動作を実行したことを決定してもよい。
図３ａに示されるように、アイコン３０２及び３０４の各々は、テクスチャを含む。図示の実施形態では、アイコン３０２は、煉瓦のテクスチャを含み、アイコン３０４は、岩のテクスチャを含む。他の実施形態では、異なるテクスチャ、例えば、砂、水、油、草、毛皮、皮膚、革、氷、木、又は当技術分野で周知の他の何らかのテクスチャが使用されてもよい。図３ａに指３０６として示されるように、ユーザが各アイコンに関連付けられるディスプレイ３１６の一部と相互作用すると、プロセッサは、そのアイコンのテクスチャをシミュレートするように構成される触覚効果を決定するであろう。次に、プロセッサは、触覚効果を出力するように構成されるアクチュエータ（図３には示されない）に触覚効果に関連付けられる信号を出力するであろう。例えば、図３ａに示される実施形態では、ユーザがアイコン３０２に関連付けられるディスプレイの一部と相互作用すると、アイコン３０２は、煉瓦のテクスチャに関連付けられる触覚効果を決定するであろう。この触覚効果は、ユーザの指３０６がモルタル上を横断するときに高出力のパルスによって区切られるランダムな信号によって特徴付けられてもよい。他の実施形態では、ディスプレイ３１６に示される画像に対応し得る異なるテクスチャをシミュレートするために他の触覚効果が用いられてもよい。
図３ｂは、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図３ｂに示される実施形態では、触覚効果を決定することは、表示信号をアクチュエータにマッピングすることを含む。図３ｂに示される実施形態は、ディスプレイ３５０の拡大部分を含む。ディスプレイ３５０は、プロセッサから表示信号を受信するように構成される。表示信号は、各々が色彩及びその色彩の強度に関連付けられる複数のピクセルを含む。ディスプレイ３５０は、この表示信号を受信して、この表示信号に関連付けられる画像を出力する。図３ｂに示される実施形態では、ディスプレイ３５０の拡大部は、６個のピクセル３５１、３５２、３５３、３５４、３５５、及び３５６を含む。各ピクセルは、色彩及び１−１０の範囲でその色彩に対する強度に関連付けられる。例えば、ピクセル３５５は、緑の色彩及び１０のうちの３の色彩強度に関連付けられる。このように、ディスプレイ３５０は、ピクセル３５５の場所において強度３で緑の色彩を出力するであろう。
図３ｂに示される実施形態では、プロセッサは、表示信号及びディスプレイ３５０上に取り付けられるタッチセンサ式インターフェースから受信されるインターフェース信号に少なくとも部分的に基づいて触覚効果を決定するであろう（図３ｂには示されない）。例えば、図３ｂに示される実施形態では、プロセッサは、触覚効果を各ピクセルに関連付け、又は「マッピング」するために表示信号を使用する。例えば、図３ｂに示される実施形態では、プロセッサは、色彩ごとに異なる周波数の触覚効果を決定してもよい。プロセッサは、各ピクセルにおける触覚効果の強度を各ピクセルにおける色彩の強度にさらに関連付けてもよい。例えば、プロセッサは、色彩強度８のピクセルが同様に触覚強度８を有することを決定してもよい。プロセッサがディスプレイ上のピクセルを覆うユーザ相互作用に関連付けられるインターフェース信号を受信すると、プロセッサは、ユーザが相互作用するピクセルに関連付けられる触覚信号を出力するであろう。この触覚効果は、ディスプレイの表面でユーザにテクスチャを感知させるように構成される。
例えば、図３ｂに示される実施形態では、プロセッサは、青のピクセルがノッキングの触覚効果に関連付けられ、赤のピクセルがパルス性の振動に関連付けられ、緑のピクセルがクリックの触覚効果に関連付けられることを決定してもよい。このような実施形態では、タッチセンサ式インターフェースはユーザの指がピクセル３５１上を通過したことを検出すると、プロセッサは、強度１のノッキングを決定するであろう。次に、ユーザの指がピクセル３５２上を移動すると、プロセッサは、強度５のパルス性の振動を決定するであろう。そして、ユーザの指がディスプレイ３５０上をピクセル３５３まで移動し続けると、プロセッサは、強度３のクリック効果を決定してもよい。
こうした触覚効果は、ユーザがディスプレイ３５０の表面上で自身の指を動かすと、その表面上でユーザにテクスチャを感知させるように構成される。幾つかの実施形態では、メッセージング装置は複数のアクチュエータを含んでもよい。このような実施形態では、プロセッサは、触覚信号をどのアクチュエータに出力するかを決定するように構成されてもよい。例えば、一実施形態では、メッセージング装置は、異なる強度の触覚効果を出力するように構成される２つのアクチュエータを備えてもよい。このような実施形態では、プロセッサは、３未満の強度を有する全ての触覚効果が第１のアクチュエータによって出力されるべきであり、３以上の強度を有する全ての触覚効果が第２のアクチュエータによって出力されるべきであることを決定してもよい。他の実施形態では、各色彩は、特定のアクチュエータにマッピングされてもよい。例えば、このような実施形態では、青の色彩に関連付けられる全ての触覚効果は、第１のアクチュエータによって出力されてもよく、赤の色彩に関連付けられる全ての触覚効果は、第２のアクチュエータによって出力されてもよく、緑の色彩に関連付けられる全ての触覚効果は、第３のアクチュエータによって出力されてもよい。他の実施形態では、メッセージング装置は、ディスプレイの表面で様々なテクスチャをシミュレートするために、色彩、強度、触覚効果、及びアクチュエータの異なる組み合わせを実装してもよい。
（グラフィカルユーザインターフェース装置においてテクスチャを用いるための方法）
図４は、図１に示される装置に関して検討される本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるための方法の流れ図である。図４に示されるように、方法４００は、プロセッサ１１０が表示領域を定義する複数のピクセルを含む表示信号を受信すると開始する（４０２）。表示信号はＶＧＡ、ＨＤＭＩ、ＳＶＧＡ、ＶＩＤＥＯ、Ｓ−ＶＩＤＥＯ、又は当技術分野で周知の他の種類の表示信号を含んでもよい。表示信号は、メッセージング装置がディスプレイ１１６を介してユーザに表示するグラフィカルユーザインターフェース又は他の画像を含んでもよい。幾つかの実施形態では、表示領域は、当技術分野で周知の標準的なディスプレイサイズ、例えば、４８０ピクセル×３２０ピクセルを含んでもよい。他の実施形態では、表示領域は、より大きく又はより小さくてもよい。
このように、タッチセンサ式インターフェース１１４はプロセッサ１１０にインターフェース信号を送信して、プロセッサ１１０はインターフェース信号を受信する（４０４）。幾つかの実施形態では、タッチセンサ式インターフェース１１４は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、幾つかの実施形態では、タッチセンサ式インターフェース１１４は、表示信号を受信してユーザに画像を出力するように構成されるディスプレイの上に搭載されるタッチスクリーンを含んでもよい。他の実施形態では、タッチセンサ式インターフェース１１４は、ボタン、スイッチ、マウス、スクロールホイール、ローラーボール、又は当技術分野で周知の何らかの他の種類の物理的装置インターフェースを含んでもよい。幾つかの実施形態では、プロセッサ１１０は、単一のタッチセンサ式インターフェース１１４と通信する。他の実施形態では、プロセッサ１１０は、複数のタッチセンサ式インターフェース１１４、例えば、タッチスクリーン及びローラーボールと通信する。タッチセンサ式インターフェース１１４は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ１１０に信号を送信するように構成される。幾つかの実施形態では、タッチセンサ式インターフェース１１４は、複数の態様のユーザ相互作用を検出するように構成されてもよい。例えば、タッチセンサ式インターフェース１１４は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。幾つかの実施形態では、タッチセンサ式インターフェース１１４は、マルチタッチを検出することが可能である。
次に、プロセッサ１１０は、表示領域の第１の部分を定義するピクセルの第１のグループに関連付けられる第１のテクスチャを決定する（４０６）。ピクセルの第１のグループによって定義される表示領域の部分は、グラフィカルユーザインターフェース内のオブジェクト、例えば、テキスト、図、又はアイコンを定義してもよい。幾つかの実施形態では、プロセッサ１１０は、オブジェクトの特徴に関連付けられるテクスチャを決定するであろう。例えば、オブジェクトがテキストを含む場合、プロセッサ１１０は、「ｌ」のような背の高い文字に対してコーステクスチャ（ｃｏｕｒｓｅ ｔｅｘｔｕｒｅ）を決定し、「ｏ」のような背の低い文字に対してソフトテクスチャ（ｓｏｆｔｅｒ ｔｅｘｔｕｒｅ）を決定してもよい。別の実施形態では、プロセッサ１１０は、アイコンに関連付けられるファイルの内容に基づいてテクスチャを決定してもよい。例えば、プロセッサ１１０は、ユーザの定義を超えるデータ量を含むファイルに対してコーステクスチャを決定し、それより少ない量を含むファイルに対してソフトテクスチャを決定してもよい。第１のテクスチャは、当技術分野で周知の多くのテクスチャのうちの１つ、例えば、鋼鉄、氷、毛皮、皮膚、革、砂、サンドペーパ、岩、雪、水、又は油のテクスチャを含んでもよい。又は、幾つかの実施形態では、プロセッサ１１０は、第１のテクスチャがテクスチャを含まないことを決定してもよい。
次に、プロセッサ１１０は、表示領域の第２の部分を定義するピクセルの第２のグループに関連付けられる第２のテクスチャを決定する（４０８）。幾つかの実施形態では、表示領域の第２の部分は、表示領域の第１の部分によって占められていない全ての表示領域を含んでもよい。他の実施形態では、表示領域の第２の部分は、グラフィカルユーザインターフェース内の特定のオブジェクト、例えば、テキスト、図形又はアイコンを含んでもよい。さらに他の実施形態では、第２の部分は、第１の部分によって占められていない領域のサブセットを含んでもよい。幾つかの実施形態では、プロセッサ１１０は、第２のテクスチャがオブジェクトの特徴に関連付けられることを決定するであろう。第２のテクスチャは、当技術分野で周知の多くのテクスチャのうちの１つ、例えば、鋼鉄、氷、毛皮、皮膚、革、砂、サンドペーパ、岩、雪、水、又は油のテクスチャを含んでもよい。幾つかの実施形態では、プロセッサ１１０は、第２のテクスチャが第１のテクスチャと類似又は同一であることを決定してもよい。又は、幾つかの実施形態では、プロセッサ１１０は、第２のテクスチャがテクスチャを含まないことを決定してもよい。
幾つかの実施形態では、プロセッサ１１０は、第１及び第２の触覚効果を決定するために触覚マップを実装してもよい。このような実施形態では、プロセッサ１１０は、表示信号を１つ以上のアクチュエータにマッピングしてもよい。幾つかの実施形態では、表示信号をアクチュエータにマッピングすることは、表示信号に少なくとも部分的に基づいて、ディスプレイ上の様々な場所における触覚効果を決定することを含む。例えば、表示信号は、各々が色彩に関連付けられる複数のピクセルを含んでもよい。このような実施形態では、プロセッサ１１０は、表示信号における各色彩に触覚値を割り当てることによって触覚効果を決定してもよい。次に、プロセッサ１１０は、触覚値に少なくとも部分的に基づいて触覚効果を決定するであろう。幾つかの実施形態では、プロセッサ１１０は、表示信号における一部のピクセルのみに触覚値を割り当ててもよい。例えば、このような実施形態では、触覚効果は、表示信号の一部のみに関連付けられてもよい。
幾つかの実施形態では、プロセッサ１１０は、ユーザ相互作用又はトリガに少なくとも部分的に基づいて第１の触覚効果及び第２の触覚効果を決定してもよい。このような実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４からインターフェース信号を受信して、このインターフェース信号に少なくとも部分的に基づいて触覚効果を決定する。例えば、幾つかの実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４から受信されるインターフェース信号に基づいて異なる強度の触覚効果を決定してもよい。例えば、タッチセンサ式インターフェース１１４が高圧のユーザ相互作用を検出すると、プロセッサ１１０は、高強度の触覚効果を決定してもよい。別の実施形態では、タッチセンサ式インターフェース１１４が低圧のユーザ相互作用を検出すると、プロセッサ１１０は、低強度の触覚効果を決定してもよい。
次に、プロセッサ１１０は、触覚信号を受信して触覚効果を出力するように構成されるアクチュエータ１１８に触覚信号を送信する（４１０）。アクチュエータ１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、リニア共振アクチュエータ、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又はリニア共振アクチュエータ（ＬＲＡ）であってもよい。触覚効果は、例えば、振動、ノッキング、うなり、衝撃、又はトルクをメッセージング装置に与える当技術分野で周知の複数の触覚効果のうちの１つを含んでもよい。幾つかの実施形態では、触覚信号は、テクスチャをシミュレートする触覚効果をアクチュエータ１１８に出力させるように構成される。幾つかの実施形態では、ユーザ相互作用が表示領域の第１の部分に関連付けられることをプロセッサ１１０が決定する場合、テクスチャは、第１のテクスチャを含むであろう。他の実施形態では、ユーザ相互作用が表示領域の第２の部分に関連付けられることをプロセッサ１１０が決定する場合、テクスチャは、第２のテクスチャを含むであろう。幾つかの実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４から受信されるインターフェース信号に少なくとも部分的に基づいてユーザ相互作用の場所を決定してもよい。他の実施形態では、プロセッサ１１０は、別の要素、例えば、マウス、スクロールホイール、又はローラーボール等のセンサ又は操作子から受信されるセンサ信号に基づいてユーザ相互作用の場所を決定してもよい。
最後に、ディスプレイ１１６は、表示信号を受信して、その表示信号に少なくとも部分的に基づいて画像を出力する。幾つかの実施形態では、ディスプレイ１１６は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又はプラズマスクリーンディスプレイ等のフラットスクリーンディスプレイを含む。他の実施形態では、ディスプレイ１１６は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、又は当技術分野で周知の他の種類のディスプレイを含む。さらに他の実施形態では、ディスプレイ１１６は、タッチセンサ式インターフェース１１４を含んでもよく、例えば、ディスプレイ１１６は、タッチスクリーンＬＣＤを含んでもよい。幾つかの実施形態では、プロセッサ１１０は、ディスプレイ１１６に示されるユーザインターフェースの図形表現を生成してから、ディスプレイ１１６にこの図形表現を含む表示信号を送信するように構成される。他の実施形態では、ディスプレイ１１６は、別の装置から表示信号を受信するように構成される。例えば、幾つかの実施形態では、ディスプレイ１１６は、例えば、コンピュータモニタ等の外部ディスプレイを含んでもよい。
（グラフィカルユーザインターフェース装置においてテクスチャを用いる様々な実施形態の例示）
図５は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図５は、メッセージング装置５０２を備えるシステム５００を含む。メッセージング装置５０２は、ディスプレイ５１６を備える。ディスプレイ５１６は、ユーザにグラフィカルユーザインターフェースを表示するように構成される。さらに、ユーザ相互作用を検出するように構成されるタッチセンサ式インターフェースがディスプレイ５１６の上に取り付けられる。タッチセンサ式インターフェースは、ユーザがディスプレイ５１６に示されるグラフィカルユーザインターフェースと相互作用することを可能にする。例えば、ユーザがテキストを入力し、オブジェクトを選択し、又は当技術分野で周知の他の操作を実行することを可能にする。図５に示される実施形態では、システム５００は、ハンドヘルド装置を含む。他の実施形態では、システム５００は、例えば、ラップトップ若しくはデスクトップコンピュータ、又はキオスクにあるディスプレイ等の大きな装置を含んでもよい。幾つかの実施形態（図５には示されない）では、システム５００は、例えば、マウス、スクロールホイール、又はローラーボール等の操作子をさらに備えてもよく、それによってユーザがディスプレイ５１６上のグラフィカルユーザインターフェースと相互作用することが可能になる。
図５に示されるように、ディスプレイ５１６は、テキスト５０４を表示する。ディスプレイ５１６は、テキスト５０４の一部に選択ボックス５０６をさらに表示する。これは、ユーザがテキスト５０４内のテキストの一部５０６を選択したことを示す。幾つかの実施形態では、ユーザは、例えば、テキストに関連付けられるディスプレイ５１６の一部をタッピングすることによって、選択ボックス５０６内のテキストを強調していてもよい。他の実施形態では、テキスト編集プログラムが、例えば、トラック変更機能の一部として、ボックス５０６内のテキストを自動的に強調していてもよい。このような実施形態では、選択ボックス５０６は、既存のテキストファイルへのユーザによる追記を含んでもよい。
メッセージング装置５０２は、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータ（図５には示されない）をさらに備える。幾つかの実施形態では、ユーザは、装置５０２の筐体上でテクスチャを感知してもよい。他の実施形態では、ユーザは、ディスプレイ５１６の表面でテクスチャを感知することが出来る。例えば、幾つかの実施形態では、ユーザが選択ボックス５０６に関連付けられるディスプレイ５１６の一部に触れると、アクチュエータは、テクスチャをシミュレートするように構成される触覚効果を出力してもよい。さらに、このような実施形態では、アクチュエータは、ユーザが選択ボックス５０６に関連付けられないディスプレイ５１６の一部に触れると、異なるテクスチャをシミュレートする触覚効果を出力するように構成されてもよい。例えば、ユーザが選択ボックス５０６と相互作用すると、アクチュエータは、砂のテクスチャをシミュレートする触覚効果を出力してもよい。さらに、ユーザがディスプレイ５１６の残りの部分と相互作用すると、アクチュエータは、水のテクスチャをシミュレートする触覚効果を出力してもよい。他の実施形態では、アクチュエータは、異なるテクスチャをシミュレートするように構成される触覚効果を出力してもよい。幾つかの実施形態では、ユーザは、選択ボックス５０６に関連付けられるように１つのテクスチャを割り当て、ディスプレイ５１６の残りの部分に関連付けられるように別のテクスチャを割り当ててもよい。
幾つかの実施形態では、テクスチャは、選択ボックス５０６内のテキストに関連付けられてもよい。例えば、幾つかの実施形態では、アクチュエータは、“ｌ”のような背の高い文字と相互作用するとコーステクスチャを出力し、“ａ”のような背の低い文字と相互作用するとソフトテクスチャを出力してもよい。別の実施形態では、アクチュエータは、大文字と相互作用するとコーステクスチャを出力し、小文字と相互作用するとソフトテクスチャを出力してもよい。さらに他の実施形態では、テクスチャは、他の要素、例えば、フォント、フォントサイズ、テキスト長、又は個々のワード長に関連付けられてもよい。
幾つかの実施形態では、メッセージング装置５０２は、１つ以上のアクチュエータを備えてもよい。このような実施形態では、こうしたアクチュエータは、触覚効果を生成するために組み合わせて使用されてもよい。例えば、各アクチュエータの触覚効果が結合されると、それらは１つのテクスチャをシミュレートする単一の触覚効果を形成してもよい。他の実施形態では、メッセージング装置５０２は、アクチュエータを別々に用いてもよい。例えば、第１のアクチュエータは、ユーザが選択ボックス５０６に関連付けられるディスプレイ５１６の一部と相互作用すると第１の触覚効果を出力してもよく、第２のアクチュエータは、ユーザがディスプレイ５１６の残りの部分と相互作用すると第２の触覚効果を出力してもよい。
図６は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図６は、上記システム５００に似たシステム６００を含む。図６に示されるように、メッセージング装置６０２は、タッチセンサ式インターフェースの下部に配置されるディスプレイ６１６を備える。幾つかの実施形態（図６には示されない）では、システム６００は、例えば、マウス、スクロールホイール、又はローラーボール等の操作子をさらに備えてもよく、それによってユーザがディスプレイ６１６上のグラフィカルユーザインターフェースと相互作用することが可能になる。
図６に示されるように、ディスプレイ６１６は、テキスト６０４を含む。ディスプレイ６１６は、強調されたテキスト６０６をさらに含み、それは、図６に示される実施形態では、単語“ｐａｒｅｎｔｓ”の２つのインスタンスを含む。幾つかの実施形態では、ユーザは、例えば、そのテキストに関連付けられるディスプレイ６１６の場所をタッピングすることによって、テキストを強調されるように選択してもよい。他の実施形態では、テキスト編集プログラムが、例えば、テキスト編集プログラムの検索機能の一部として、自動的に強調６０６していてもよい。このような実施形態では、強調されたテキスト６０６は、テキストファイル内の検索用語の全てのインスタンスを含んでもよい。
メッセージング装置６０２は、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータ（図６には示されない）をさらに備える。幾つかの実施形態では、ユーザは、ディスプレイ６１６の表面でこのテクスチャを感知することが出来る。例えば、幾つかの実施形態では、ユーザが強調されたテキスト６０６に関連付けられるディスプレイ６１６の一部に触れると、アクチュエータは、テクスチャをシミュレートするように構成される触覚効果を出力してもよい。さらに、このような実施形態では、アクチュエータは、ユーザが強調されたテキスト６０６に関連付けられないディスプレイ６１６の一部に触れると、異なるテクスチャをシミュレートする触覚効果を出力するように構成されてもよい。例えば、ユーザが強調されたテキスト６０６と相互作用すると、アクチュエータは、草のテクスチャをシミュレートする触覚効果を出力してもよい。さらに、ユーザがディスプレイ６１６の残りの部分と相互作用すると、アクチュエータは、氷のテクスチャをシミュレートする触覚効果を出力してもよい。このような実施形態は、ユーザが、文書を見なくても、文書内の検索用語の全ての場所を迅速に決定することを可能にする。他の実施形態では、アクチュエータは、異なるテクスチャをシミュレートするように構成される触覚効果を出力してもよい。幾つかの実施形態では、ユーザは、強調されたテキスト６０６に関連付けられるように１つのテクスチャを割り当て、ディスプレイ６１６の残りの部分に関連付けられるように別のテクスチャを割り当ててもよい。幾つかの実施形態では、システム５００に関連して本明細書に記載されたように、メッセージング装置６０２は、１つ以上のアクチュエータを備えてもよい。
図７は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図７は、上記システム５００に似たシステム７００を含む。図７に示されるように、メッセージング装置７０２は、タッチセンサ式インターフェースの下部に配置されるディスプレイ７１６を備える。幾つかの実施形態（図７には示されない）では、システム７００は、例えば、マウス、スクロールホイール、又はローラーボール等の操作子をさらに備えてもよく、それによってユーザがディスプレイ７１６上のグラフィカルユーザインターフェースと相互作用することが可能になる。
図７に示されるように、ディスプレイ７１６は、数字キーパッド７０４を含む。テクスチャキー７０６が数字キーパッド７０４の中にある。図７に示される実施形態では、それは数字の５である。他の実施形態では、異なるキーがテクスチャキー７０６を含んでもよい。例えば、ユーザは任意のキーをテクスチャキー７０６に割り当ててもよい。さらに、他の実施形態では、数字キーパッド７０４は、異なる種類のキー、例えば、ＱＷＥＲＴＹキーボード、又は当技術分野で周知の何らかの他のキーボードを含んでもよい。
メッセージング装置７０２は、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータ（図７には示されない）をさらに備える。幾つかの実施形態では、ユーザは、ディスプレイ７１６の表面でこのテクスチャを感知することが出来る。例えば、幾つかの実施形態では、ユーザがテクスチャキー７０６に関連付けられるディスプレイ７１６の一部に触れると、アクチュエータは、テクスチャをシミュレートするように構成される触覚効果を出力してもよい。このような実施形態では、アクチュエータは、ユーザが数字キーパッド７０４の他の部分に触れる場合に、テクスチャを出力しなくてもよい。他の実施形態では、アクチュエータは、ユーザが数字キーパッド７０４の他の部分と相互作用すると異なるテクスチャを出力するが、ユーザがディスプレイ７１６の他の部分と相互作用するとテクスチャを出力しないように構成されてもよい。このような実施形態は、ユーザが、ディスプレイ７１６を見なくても、数字キーパッド７０４上の自身の指の場所を迅速に決定することを可能にしてもよい。
幾つかの実施形態では、メッセージング装置７０２は、数字キーパッド７０４上の各キーに関連付けられる一意のテクスチャをシミュレートするように構成されるより複雑な触覚効果を出力するように構成されてもよい。例えば、幾つかの実施形態では、メッセージング装置７０２は、数字キーパッド７０４上の各キーに対する端部をシミュレートするように構成される触覚効果を出力してもよい。幾つかの実施形態では、こうした触覚効果は、各キーについて４つの端部をシミュレートする振動を含んでもよい。幾つかの実施形態では、触覚効果は、キーごとに深さ又は表面特徴をシミュレートするようにさらに構成されてもよい。一実施形態では、触覚効果は、完全には平坦でないキー、例えば、僅かに窪んだキーをシミュレートするように構成されてもよい。この機能性により、ユーザがあるキーを別のキーと区別することが可能であり、ユーザがキーの中央部をキーの端部と区別することがさらに可能であってもよい。幾つかの実施形態では、類似の機能性が、より大きなキーボード、例えば、完全なＱＷＥＲＴＹキーボード上でテクスチャをシミュレートするのに適用されてもよい。幾つかの実施形態では、システム５００に関連して本明細書に記載されたように、メッセージング装置７０２は、１つ以上のアクチュエータを備えてもよい。
図８は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図８は、上記システム５００に似たシステム８００を含む。図８に示されるように、メッセージング装置８０２は、タッチセンサ式インターフェースの下部に配置されるディスプレイ８１６を備える。幾つかの実施形態（図８には示されない）では、システム８００は、例えば、マウス、スクロールホイール、又はローラーボール等の操作子をさらに備えてもよく、それによってユーザがディスプレイ８１６上のグラフィカルユーザインターフェースと相互作用することが可能になる。
図８に示されるように、ディスプレイ８１６は、各々がメッセージング装置８０２のハードドライブにファイルを保持するフォルダ８０４、８０６、８０８、及び８１０を含む。図８に示されるように、フォルダ８０６及び８０８は共にテクスチャを備えているが、フォルダ８０４及び８１０はテクスチャを備えていない。幾つかの実施形態では、ユーザは、追加のフォルダを作成して、そうしたフォルダにテクスチャを割り当ててもよい。他の実施形態では、ユーザは、フォルダを除去してもよい。従って、テクスチャを含み又は含まないフォルダの多くの組み合わせが可能である。幾つかの実施形態では、フォルダ８０４、８０６、８０８、及び８１０は、メッセージング装置８０２で実行され得るアプリケーションへのリンクを有するアイコンを含んでもよい。
メッセージング装置８０２は、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータ（図８には示されない）をさらに備える。幾つかの実施形態では、ユーザは、ディスプレイ８１６の表面でこのテクスチャを感知することが出来る。例えば、幾つかの実施形態では、ユーザがフォルダ８０６に関連付けられるディスプレイ８１６の一部に触れると、アクチュエータは、テクスチャをシミュレートするように構成される触覚効果を出力してもよい。このような実施形態では、アクチュエータは、ユーザがフォルダ８０４に関連付けられるディスプレイ８１６の一部に触れる場合に、テクスチャを出力しなくてもよい。さらに、このような実施形態では、ユーザがフォルダ８０８に関連付けられるディスプレイ８１６の一部に触れると、アクチュエータは、異なるテクスチャをシミュレートするように構成される異なる触覚効果を出力してもよい。幾つかの実施形態では、アクチュエータは、ユーザがフォルダ８０４、８０６、８０８、又は８１０の１つに関連付けられないディスプレイ８１６の他の部分と相互作用すると、異なるテクスチャを出力するように構成されてもよい。このような実施形態により、ユーザが、ディスプレイ８１６を見なくても、どのフォルダに触れているかを迅速に決定することが可能であってもよい。
幾つかの実施形態では、メッセージング装置８０２は、フォルダに関連付けられるファイルに基づいてテクスチャを決定してもよい。例えば、幾つかの実施形態では、フォルダ８０８はオーディオファイルを含んでもよい。このような実施形態では、メッセージング装置８０２は、オーディオファイルの種類に基づいてテクスチャを決定してもよく、例えば、ファイルがハードロックであればコーステクスチャを決定し、ファイルがクラシックであればソフトテクスチャを決定してもよい。別の実施形態では、メッセージング装置は、フォルダ内のファイルの特性に基づいてテクスチャを決定してもよい。例えば、フォルダ８０６は、保護されたファイル又は読取り専用ファイルを含んでもよい。一方で、フォルダ８０８は、修正可能なオーディオファイルを含んでもよい。このような実施形態では、メッセージング装置８０２は、ユーザがフォルダ８０６と相互作用するとコーステクスチャを決定し、ユーザがフォルダ８０８と相互作用すると静かな又はソフトなテクスチャを決定してもよい。他の実施形態では、フォルダに関連付けられる異なる要因、例えば、フォルダサイズ、フォルダの中身、フォルダが作成されてからの時間、フォルダのタイトル、ファイル若しくはフォルダの作成者、又は当技術分野で周知の他の何らかの要因が触覚効果を決定するために用いられてもよい。幾つかの実施形態では、システム５００に関連して本明細書に記載されたように、メッセージング装置８０２は、１つ以上のアクチュエータを備えてもよい。
図９は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図９は、上記システム５００に似たシステム９００を含む。図９に示されるように、メッセージング装置９０２は、タッチセンサ式インターフェースの下部に配置されるディスプレイ９１６を備える。幾つかの実施形態（図９には示されない）では、システム９００は、例えば、マウス、スクロールホイール、又はローラーボール等の操作子をさらに備えてもよく、それによってユーザがディスプレイ９１６上のグラフィカルユーザインターフェースと相互作用することが可能になる。
図９に示されるように、ディスプレイ９１６は、３次元オブジェクト９０４の２次元レンダリングを含む。３次元オブジェクト９０４の１側面は、テクスチャ化された側面９０６を含む。他の実施形態では、３次元オブジェクト９０４は、異なる形状を含んでもよい。幾つかの実施形態では、ユーザは、コンピュータ支援設計プログラムで異なる形状を有するオブジェクト、例えば、球又は三角形を描いてもよい。さらに、他の実施形態では、ユーザは、３次元オブジェクト９０４の追加の側面にテクスチャを割り当ててもよい。さらに他の実施形態では、ディスプレイ９１６は、テクスチャ化された側面の複数の組み合わせを有する複数の３次元オブジェクトを含んでもよい。例えば、幾つかの実施形態では、ディスプレイ９１６は、３次元オブジェクト９０４の複数のビューを含んでもよい。このような実施形態では、各ビューは、異なるテクスチャを含んでもよい。
メッセージング装置９０２は、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータ（図９には示されない）をさらに備える。幾つかの実施形態では、ユーザは、ディスプレイ９１６の表面でこのテクスチャを感知することが出来る。例えば、幾つかの実施形態では、ユーザがテクスチャ化された側面９０６に関連付けられるディスプレイ９１６の一部に触れると、アクチュエータは、テクスチャをシミュレートするように構成される触覚効果を出力してもよい。このような実施形態では、アクチュエータは、ユーザが３次元オブジェクト９０４の他の部分に触れる場合に、テクスチャを出力しなくてもよい。他の実施形態では、アクチュエータは、ユーザが３次元オブジェクト９０４に関連付けられないディスプレイ９１６の部分と相互作用すると、異なるテクスチャを出力するように構成されてもよい。さらに他の実施形態では、メッセージング装置９０２は、ユーザが３次元オブジェクト９０４を回転又は移動させると、テクスチャを出力してもよい。このような実施形態により、ユーザが、ディスプレイ９１６を見なくても、３次元オブジェクト９０４のどのビューがディスプレイ９１６上に示されているかを迅速に決定することが可能であってもよい。幾つかの実施形態では、システム５００に関連して本明細書に記載されたように、メッセージング装置９０２は、１つ以上のアクチュエータを備えてもよい。
図１０は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図１０は、上記システム５００に似たシステム１０００を含む。図１０に示されるように、メッセージング装置１００２は、タッチセンサ式インターフェースの下部に配置されるディスプレイ１０１６を備える。幾つかの実施形態（図１０には示されない）では、システム１０００は、例えば、マウス、スクロールホイール、又はローラーボール等の操作子をさらに備えてもよく、それによってユーザがディスプレイ１０１６上のグラフィカルユーザインターフェースと相互作用することが可能になる。
図１０に示されるように、ディスプレイ１０１６は、単純なコンピュータ支援設計プログラムのためのグラフィカルユーザインターフェースを含む。ディスプレイ１０１６は、３次元オブジェクト１００４の２次元レンダリングをさらに含む。ディスプレイ１０１６は、線選択ボックス１００６をさらに含む。線選択ボックス１００６は、線の太さが増す３つの線アイコン１００８、１０１０、及び１０１２を含む。他の実施形態では、３次元オブジェクト１００４は、異なる形状を含んでもよい。例えば、ユーザは、球又は平行四辺形のような異なる形状のオブジェクトを描いてもよい。さらに、他の実施形態では、線選択ボックス１００６ではなく、コンピュータ支援設計プログラムは、異なる機能性を制御するように構成される異なるボックス、例えば、形状選択ボックス、テキスト入力ボックス、ハッチング選択ボックス、又は当技術分野で周知の他の何らかの特徴を修正するように構成されるボックスを含んでもよい。
メッセージング装置１００２は、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータ（図１０には示されない）をさらに備える。幾つかの実施形態では、ユーザは、ディスプレイ１０１６の表面でこのテクスチャを感知することが出来る。例えば、幾つかの実施形態では、ユーザが線選択ボックス１００６に関連付けられるディスプレイ１０１６の一部に触れると、アクチュエータは、テクスチャをシミュレートするように構成される触覚効果を出力してもよい。幾つかの実施形態では、メッセージング装置１００２は、ユーザが選択する線の太さに関連付けられるテクスチャをシミュレートするように構成される触覚効果を出力してもよい。例えば、太い線１００８に対してコーステクスチャを出力し、細い線１０１２に対してソフトテクスチャを出力してもよい。幾つかの実施形態では、メッセージング装置１００２は、ユーザがオブジェクトを描く間に触覚効果を出力してもよい。他の実施形態では、メッセージング装置１００２は、ユーザが線を選択するときにだけ触覚効果を出力してもよい。さらに他の実施形態では、メッセージング装置１００２は、ユーザが３次元オブジェクト１００４と相互作用すると触覚効果を出力し、ユーザがディスプレイ１０１６の他の部分と相互作用すると触覚効果を出力しなくてもよい。幾つかの実施形態では、システム５００に関連して本明細書に記載されたように、メッセージング装置１００２は、１つ以上のアクチュエータを備えてもよい。
図１１は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図１１は、上記システム５００に似たシステム１１００を含む。図１１に示されるように、メッセージング装置１１０２は、タッチセンサ式インターフェースの下部に配置されるディスプレイ１１１６を備える。幾つかの実施形態（図１１には示されない）では、システム１１００は、例えば、マウス、スクロールホイール、又はローラーボール等の操作子をさらに備えてもよく、それによってユーザがディスプレイ１１１６上のグラフィカルユーザインターフェースと相互作用することが可能になる。
図１１に示されるように、ディスプレイ１１１６は、テキストファイルを読むためのインターフェースを含み、それはスクロールバートラック１１０４、スクロールバー１１０６、及びテキスト１１０８を含む。図１１に示される実施形態では、ユーザは、テキスト１１０８の異なる部分にスクロールするために、スクロールバートラック１１０４に沿ってスクロールバー１１０６を上下に動かしてもよい。幾つかの実施形態では、ユーザは、スクロールバートラック１１０４の一部をタッピングして、スクロールバートラック１１０４上のその地点に関連付けられる部分にスクロールバー１１０６及びテキスト１１０８を動かしてもよい。他の実施形態では、スクロールバートラック１１０４及びスクロールバー１１０６は、異なる外観を含んでもよく、又は異なる機能を実行してもよい。例えば、幾つかの実施形態では、スクロールバートラック１１０４及びスクロールバー１１０６は、ディスプレイ１１１６の上部又は下部に配置されて、ユーザがディスプレイを水平に動かすことを可能にしてもよい。さらなる実施形態では、スクロールバートラック１１０４及びスクロールバー１１０６は、異なる種類のユーザインターフェース、例えば、描画アプリケーション、ウェブ閲覧アプリケーション、Ｅメールアプリケーション、又は当技術分野で周知の他の何らかのアプリケーションを制御するために用いられてもよい。
メッセージング装置１１０２は、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータ（図１１には示されない）をさらに備える。幾つかの実施形態では、ユーザは、ディスプレイ１１１６の表面でこのテクスチャを感知することが出来る。例えば、幾つかの実施形態では、ユーザがスクロールバー１１０６に関連付けられるディスプレイ１１１６の一部に触れると、アクチュエータは、テクスチャをシミュレートするように構成される触覚効果を出力してもよい。このような実施形態では、アクチュエータは、ユーザがスクロールバートラック１１０４の一部に触れる場合に、異なるテクスチャを出力しなくてもよい。さらに、幾つかの実施形態では、アクチュエータは、ユーザがスクロールバートラック１１０４に沿ってスクロールバー１１０６を動かすと変化するテクスチャを出力してもよい。例えば、幾つかの実施形態では、ユーザがスクロールバートラック１１０４をさらに下に動かすと、より粗くなるテクスチャをシミュレートするように構成される触覚効果を出力してもよい。このような実施形態は、ユーザが、ディスプレイ１１１６を見なくても、又はテキスト１１０８を読むことから気を散らされることなく、スクロールバートラック１１０４上の自身の指の場所を迅速に決定することを可能にしてもよい。幾つかの実施形態では、システム５００に関連して本明細書に記載されたように、メッセージング装置１１０２は、１つ以上のアクチュエータを備えてもよい。
図１２は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図１２は、上記システム５００に似たシステム１２００を含む。図１２に示されるように、メッセージング装置１２０２は、タッチセンサ式インターフェースの下部に配置されるディスプレイ１２１６を備える。幾つかの実施形態（図１２には示されない）では、システム１２００は、例えば、マウス、スクロールホイール、又はローラーボール等の操作子をさらに備えてもよく、それによってユーザがディスプレイ１２１６上のグラフィカルユーザインターフェースと相互作用することが可能になる。
図１２に示されるように、ディスプレイ１２１６は、地図アプリケーション又はグローバルポジショニングシステム（ＧＰＳ）受信機のためのグラフィカルユーザインターフェースを含む。グラフィカルユーザインターフェースは、経路１２０４、目的地１２０６、及び経路１２０４に沿って又はその付近に複数の建物１２０８、１２１０、及び１２１２を含む。幾つかの実施形態では、経路１２０４は、図５に示されるものよりはるかに長くてもよい。例えば、幾つかの実施形態では、経路１２０４は、その全体が示されるのに複数の画面を必要としてもよい。従って、それは、常に経路１２０４の一部のみが示されるように細分されてもよい。さらなる実施形態では、中間地点及び当技術分野で周知の他の事項がグラフィカルユーザインターフェースに示されてもよい。
メッセージング装置１２０２は、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータ（図１２には示されない）をさらに備える。幾つかの実施形態では、ユーザは、ディスプレイ１２１６の表面でこのテクスチャを感知することが出来る。例えば、幾つかの実施形態では、ユーザが目的地１２０６に関連付けられるディスプレイ１２１６の一部に触れると、アクチュエータは、テクスチャをシミュレートするように構成される触覚効果を出力してもよい。このような実施形態では、アクチュエータは、ユーザがディスプレイ１２１６の他の部分に触れる場合に、テクスチャを出力しなくてもよい。従って、テクスチャは、ユーザがディスプレイ１２１６上の目的地１２０６の場所を迅速に決定することを可能にしてもよい。他の実施形態では、グラフィカルユーザインターフェースのさらなる特徴がテクスチャを含んでもよい。例えば、経路１２０４がテクスチャを含んでもよい。このような実施形態では、ユーザは、ディスプレイ１２１６の表面上で自身の指を動かして、指が経路１２０４に触れるとテクスチャを感知してもよい。
さらに他の実施形態では、メッセージング装置１２０２は、ユーザの経路に沿って他の建物にテクスチャを自動的に割り当ててもよい。例えば、幾つかの実施形態では、メッセージング装置は、所定の種類の建物、例えば、全ての給油所、レストラン、又は病院にテクスチャを自動的に割り当ててもよい。一実施形態では、建物１２０８は病院を含んでもよく、建物１２１０は商店街を含んでもよく、建物１２１２は給油所を含んでもよい。このような実施形態では、ユーザは、給油所を検索してもよい。この検索の一部として、ユーザは、自身の経路に沿って全ての給油所にテクスチャを割り当てることを可能にする検索メニューを入力してもよい。次に、ユーザは、給油所を探すために、ディスプレイ１２１６の表面上で指を走らせてもよい。ユーザは、ディスプレイ１２１６に触れると、建物１２１２に関連付けられるディスプレイの一部でテクスチャを感知して、それが給油所であることを知るであろう。他の実施形態では、インターフェースの異なる部分がテクスチャに関連付けられてもよい。例えば、一実施形態では、経路１２０４に沿った１つ以上の曲がり角がテクスチャに関連付けられてもよい。別の実施形態では、経路１２０４に沿った１つ以上の中間地点がテクスチャに関連付けられてもよい。
幾つかの実施形態では、システム５００に関連して本明細書に記載されたように、メッセージング装置１２０２は、１つ以上のアクチュエータを備えてもよい。
図１３は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図１３は、上記システム５００に似たシステム１３００を含む。図１３に示されるように、メッセージング装置１３０２は、タッチセンサ式インターフェースの下部に配置されるディスプレイ１３１６を備える。幾つかの実施形態（図１３には示されない）では、システム１３００は、例えば、マウス、スクロールホイール、又はローラーボール等の操作子をさらに備えてもよく、それによってユーザがディスプレイ１３１６上のグラフィカルユーザインターフェースと相互作用することが可能になる。
図１３に示されるように、ディスプレイ１３１６は、ソーシャルネットワーキングアプリケーション用のページを含む。ディスプレイ１３１６は、写真ボックス１３０４、名前ボックス１３０６、状況ボックス１３０８、及びテクスチャ１３１０をさらに含む。写真ボックス１３０４は、ユーザが自身のソーシャルネットワーキングページに写真を投稿することを可能にするように構成される。図１３に示される実施形態では、ユーザは、写真を投稿していないか、又は自身のネットワーク以外のユーザが写真ボックス１３０４にアクセス出来ないようにソーシャルページを保護している。名前ボックス１３０６は、ユーザが自身の名前又は何らかの他の識別特性を投稿することを可能にするように構成される。図１３に示される実施形態では、名前ボックス１３０６は、“Ｊｏｈｎ Ｄｏｅ’ｓ Ｓｏｃｉａｌ Ｐａｇｅ”というテキストを含む。他の実施形態では、ユーザは、追加の情報、例えば、所属政党、連絡先情報、性別、又は関係状況を投稿することが出来る。状況ボックス１３０８は、ユーザ又はユーザの友人がユーザのソーシャルネットワーキングページに状況更新を投稿することを可能にするように構成される。幾つかの実施形態では、こうした更新は、テキスト更新、画像更新、映像更新、又はテクスチャ更新を含んでもよい。図１３に示される実施形態では、状況更新ボックス１３０８は、２つの更新を含む。第１に、それは、“Ｊｏｈｎ Ｄｏｅ ｉｓ ｒｅａｄｙ ｆｏｒ ｔｈｅ ｗｅｅｋｅｎｄ”というテキスト更新を含む。第２に、それは、テクスチャ更新１３１０を含む。
メッセージング装置１３０２は、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータ（図１３には示されない）をさらに備える。幾つかの実施形態では、ユーザは、ディスプレイ１３１６の表面でこのテクスチャを感知することが出来る。例えば、図１３に示される実施形態では、テクスチャ更新１３１０は、木板のテクスチャを含む。ユーザ又はユーザのソーシャルネットワーキングページへの訪問者がテクスチャ更新１３１０に触れると、メッセージング装置１３０２は、木板のテクスチャをシミュレートするように構成される触覚効果を出力するであろう。他の実施形態では、テクスチャ更新１３１０は、異なるテクスチャ、例えば、油、砂、水、草、毛皮、皮膚、トカゲの皮、革、サンドペーパ、煉瓦、又は岩のテクスチャを含んでもよい。幾つかの実施形態では、ユーザは、自身のソーシャルネットワーキングページに現在の気分に関連付けられるテクスチャを投稿してもよい。他の実施形態では、ユーザは、友人への贈り物又はメッセージとして友人のページにテクスチャを投稿してもよい。さらに他の実施形態では、ユーザは、テクスチャをソーシャルネットワーキングページの他の部分と関連付けてもよい。例えば、幾つかの実施形態では、ユーザは、写真、メッセージ、状況、又はソーシャルネットワーキングページの他の何らかの部分にテクスチャを投稿してもよい。
幾つかの実施形態では、システム５００に関連して本明細書に記載されたように、メッセージング装置１３０２は、１つ以上のアクチュエータを備えてもよい。
（グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法の利点）
グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法には多くの利点が存在する。例えば、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法は、以前に使用されていない触覚効果を移動装置に付与する。この新しい効果は、ユーザが装置のディスプレイを見なくても、ユーザが移動装置から情報を受信するための新しい手段を提供する。例えば、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法は、ユーザが異なるテクスチャを異なるアイコン、ボタン、又はディスプレイの他の要素に割り当てることを可能にしてもよい。従って、ユーザは、アイコンを見なくても、どのアイコンに触っているかを決定することが可能であってもよい。これにより、装置の利便性が高まり、視覚障害者にとってより便利な装置となってもよい。また、それは、歩行中又は運転中のように、気が散る状況で移動装置を頻繁に用いるユーザによって以前に利用されていなかった異なる種類のアプリケーションの採用を増加させ得る。
さらに、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法は、他の仕事からユーザの気を散らさずに、ユーザにより多くの情報を提供し得る。従って、それはユーザによるエラーの可能性を減らすであろう。例えば、ユーザは、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法を利用している場合、誤ったアイコンを押し又は誤ったキーを押すことがあまり起こらないであろう。この機能性は、ユーザ満足度を高めると共に、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法を組み込む技術の普及率を増加させることに役立ってもよい。
（概論）
本明細書における「適合される」又は「構成される」という用語は、追加のタスク又はステップを実行するように適合され又は構成される装置を排除しない開放型及び包括型の言語の意味で用いられる。さらに、「基づく」は、１つ以上の記載された条件又は値に「基づく」プロセス、ステップ、計算、又は他の動作が、実際には、こうした記載以上の追加の条件又は値に基づいてもよいという点で、開放型及び包括型の意味で用いられる。本明細書に含まれる見出し、リスト、及び番号付けは、説明の簡略化のみを目的としており、限定することを意図していない。
本願の主題の態様による実施形態は、デジタル電子回路で、又はコンピュータハードウェア、ファームウェア、ソフトウェア、若しくはこれらの組み合わせで実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、例えば、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備え又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、触覚効果選択ルーチン、及び上記の選択された触覚効果を発生させるための信号を生成する適切なプログラミングを含む１つ以上のコンピュータプログラムを実行するように、メモリに記憶されるコンピュータ実行可能プログラム命令を実行する。
このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を含んでもよい。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ若しくはＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置をさらに備えてもよい。
このようなプロセッサは、プロセッサによって実行されるときに、プロセッサによって実行され又は支援される本明細書に記載のステップをプロセッサに実行させ得る命令を記憶し得る媒体、例えば有形のコンピュータ可読媒体を備え又はそれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、全ての電子、光学、磁気、又はコンピュータ可読命令をウェブサーバ内のプロセッサ等のプロセッサに提供可能な他の記憶装置を含んでもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読取り可能な任意の他の媒体を含む。また、様々な他の装置は、例えば、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造にわたって分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。
本願の主題はその特定の実施形態に関して詳細に記載されてきたが、先述の理解を達成すると、当業者であれば、このような実施形態への代替、変形、及び均等物を容易に製造し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されているのであって、当業者には自明の本主題への修正、変形及び／又は追加を包含することを除外しないことが理解されるべきである。

Claims (23)

  1. 触覚信号を受信して、前記触覚信号に少なくとも部分的に基づいて、テクスチャをシミュレートするように構成される触覚効果を出力するように構成される複数のアクチュエータと、
    ユーザ相互作用を検出して、インターフェース信号を出力するように構成されるタッチセンサ式インターフェースと、
    前記アクチュエータ及び前記タッチセンサ式インターフェースと通信するプロセッサであって、
    前記インターフェース信号を受信し、
    表示領域を定義し且つ各々が色彩に関連付けられる複数のピクセルを含む表示信号を受信し、
    前記表示領域の第１の部分を定義するピクセルの第１のグループに関連付けられる第１のテクスチャを決定し、
    前記表示領域の第２の部分を定義するピクセルの第２のグループに関連付けられる第２のテクスチャを決定し、且つ
    前記複数のアクチュエータの１つに、前記ユーザ相互作用が前記表示領域の前記第１の部分に関連付けられる場合、前記第１のテクスチャをシミュレートするように構成される第１の触覚効果を出力させ、且つ前記ユーザ相互作用が前記表示領域の前記第２の部分に関連付けられる場合、前記第２のテクスチャをシミュレートするように構成される第２の触覚効果を出力させるように構成される触覚信号を送信するように構成されるプロセッサと、
    を備え、
    前記プロセッサは各色彩を特定のアクチュエータにマッピングするようにさらに構成されることを特徴とするシステム。
  2. 前記第１のテクスチャ及び前記第２のテクスチャは、それぞれ前記表示信号に少なくとも部分的に基づくことを特徴とする、請求項１に記載のシステム。
  3. 前記第１及び第２のテクスチャは、振動触覚効果であることを特徴とする、請求項１に記載のシステム。
  4. 前記第１及び第２のテクスチャは、砂、草、煉瓦、岩、皮膚、又は毛皮のテクスチャを含むことを特徴とする、請求項１に記載のシステム。
  5. 前記アクチュエータは、リニア共振アクチュエータ、偏心回転質量アクチュエータ、形状記憶合金、電気活性ポリマ、又は圧電アクチュエータの１つを含むことを特徴とする、請求項１に記載のシステム。
  6. 前記表示領域の前記第１の部分は境界を含み、且つ前記表示領域の前記第２の部分は前記境界を含まない複数のピクセルを含むことを特徴とする、請求項１に記載のシステム。
  7. 前記表示領域の前記第１の部分は経路を含み、且つ前記表示領域の前記第２の部分はグローバルポジショニングシステムのインターフェースを含むことを特徴とする、請求項１に記載のシステム。
  8. 前記表示領域の前記第１の部分は目的地を含み、且つ前記表示領域の前記第２の部分はグローバルポジショニングシステムのインターフェースを含むことを特徴とする、請求項１に記載のシステム。
  9. 前記表示領域の前記第１の部分はソーシャルネットワーキングページ上の一つの場所を含み、且つ前記表示領域の前記第２の部分は前記ソーシャルネットワーキングページの残りの部分を含むことを特徴とする、請求項１に記載のシステム。
  10. 前記表示領域の前記第１の部分はスクロールバーを含み、且つ前記表示領域の前記第２の部分は前記スクロールバーを含まない複数のピクセルを含むことを特徴とする、請求項１に記載のシステム。
  11. 前記プロセッサは、前記スクロールバーが動くと前記表示領域の前記第１の部分において異なるテクスチャを決定するように構成されることを特徴とする、請求項１０に記載のシステム。
  12. 前記表示領域の前記第１の部分はテキストを含み、且つ前記表示領域の前記第２の部分は前記表示領域の残りの部分を含むことを特徴とする、請求項１に記載のシステム。
  13. 前記表示領域の前記第１の部分は前記インターフェース信号に少なくとも部分的に基づいて決定される前記表示領域の一部を含み、且つ前記表示領域の前記第２の部分は前記表示領域の残りの部分を含むことを特徴とする、請求項１に記載のシステム。
  14. 前記表示領域の前記第１の部分はアイコンを含み、且つ前記表示領域の前記第２の部分は前記表示領域の残りの部分を含むことを特徴とする、請求項１に記載のシステム。
  15. 前記アイコンは、描画ツールを含むことを特徴とする、請求項１４に記載のシステム。
  16. 前記アイコンは、フォルダを含むことを特徴とする、請求項１４に記載のシステム。
  17. 前記第１のテクスチャは、前記フォルダの内容に少なくとも部分的に基づいて決定されることを特徴とする、請求項１６に記載のシステム。
  18. 前記プロセッサと通信するディスプレイをさらに備え、前記ディスプレイは、前記表示信号を受信して、前記表示信号に少なくとも部分的に基づいて画像を出力するように構成されることを特徴とする、請求項１に記載のシステム。
  19. 前記第１のテクスチャ及び前記第２のテクスチャは、前記ディスプレイの表面で出力されることを特徴とする、請求項１８に記載のシステム。
  20. テクスチャを出力する方法であって、
    表示領域を定義し且つ各々が色彩に関連付けられる複数のピクセルを含む表示信号を受信するステップと、
    ユーザ相互作用を検出して、インターフェース信号を出力するように構成されるタッチセンサ式インターフェースからインターフェース信号を受信するステップと、
    前記表示領域の第１の部分を定義するピクセルの第１のグループに関連付けられる第１のテクスチャを決定するステップと、
    前記表示領域の第２の部分を定義するピクセルの第２のグループに関連付けられる第２のテクスチャを決定するステップと、
    触覚信号を受信して、触覚効果を出力するように構成される複数のアクチュエータの中の１つに前記触覚信号を送信するステップであって、前記触覚信号は、前記アクチュエータに、前記ユーザ相互作用が前記表示領域の前記第１の部分に関連付けられる場合、前記第１のテクスチャをシミュレートするように構成される第１の触覚効果を出力させ、且つ前記ユーザ相互作用が前記表示領域の前記第２の部分に関連付けられる場合、前記第２のテクスチャをシミュレートするように構成される第２の触覚効果を出力させるように構成されるステップと、
    各色彩を特定のアクチュエータにマッピングするステップと
    を含むことを特徴とする方法。
  21. 前記表示信号を受信して、前記表示信号に少なくとも部分的に基づいて画像を出力するステップをさらに含むことを特徴とする、請求項２０に記載の方法。
  22. 前記第１の触覚効果及び前記第２の触覚効果は、ディスプレイの表面において出力されることを特徴とする、請求項２１に記載の方法。
  23. 触覚信号を受信して、前記触覚信号に少なくとも部分的に基づいて、テクスチャをシミュレートするように構成される触覚効果を出力するように構成される複数のアクチュエータと、
    ユーザ相互作用を検出して、前記ユーザ相互作用に関連付けられるインターフェース信号を出力するように構成されるタッチセンサ式インターフェースと、
    前記アクチュエータ及び前記タッチセンサ式インターフェースと通信するプロセッサであって、
    前記インターフェース信号を受信し、
    表示領域を定義し且つ各々が色彩に関連付けられる複数のピクセルを含む表示信号を受信し、
    前記表示信号及び前記インターフェース信号に少なくとも部分的に基づいて、前記表示領域の第１の部分を定義するピクセルの第１のグループに関連付けられる第１のテクスチャを決定し、
    前記表示信号及び前記インターフェース信号に少なくとも部分的に基づいて、前記表示領域の第２の部分を定義するピクセルの第２のグループに関連付けられる第２のテクスチャを決定し、且つ
    前記複数のアクチュエータの１つに、前記ユーザ相互作用が前記表示領域の前記第１の部分に関連付けられる場合、前記第１のテクスチャをシミュレートするように構成される第１の触覚効果を出力させ、且つ前記ユーザ相互作用が前記表示領域の前記第２の部分に関連付けられる場合、前記第２のテクスチャをシミュレートするように構成される第２の触覚効果を出力させるように構成される触覚信号を送信するように構成されるプロセッサと、
    前記表示信号を受信して、前記表示信号に少なくとも部分的に基づいて画像を出力するように構成されるディスプレイと
    を備え、
    前記第１の触覚効果及び前記第２の触覚効果は、前記ディスプレイの表面において出力され、
    前記プロセッサは各色彩を特定のアクチュエータにマッピングするようにさらに構成されることを特徴とするシステム。
JP2011554178A 2009-03-12 2010-03-11 グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法 Expired - Fee Related JP5694204B2 (ja)

Applications Claiming Priority (19)

Application Number Priority Date Filing Date Title
US15948209P 2009-03-12 2009-03-12
US61/159,482 2009-03-12
US26204109P 2009-11-17 2009-11-17
US26203809P 2009-11-17 2009-11-17
US61/262,041 2009-11-17
US61/262,038 2009-11-17
US12/696,900 US9696803B2 (en) 2009-03-12 2010-01-29 Systems and methods for friction displays and additional haptic effects
US12/697,037 2010-01-29
US12/696,893 2010-01-29
US12/696,908 2010-01-29
US12/697,010 US9874935B2 (en) 2009-03-12 2010-01-29 Systems and methods for a texture engine
US12/697,010 2010-01-29
US12/697,042 2010-01-29
US12/697,037 US9927873B2 (en) 2009-03-12 2010-01-29 Systems and methods for using textures in graphical user interface widgets
US12/696,893 US9746923B2 (en) 2009-03-12 2010-01-29 Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US12/697,042 US10564721B2 (en) 2009-03-12 2010-01-29 Systems and methods for using multiple actuators to realize textures
US12/696,908 US10007340B2 (en) 2009-03-12 2010-01-29 Systems and methods for interfaces featuring surface-based haptic effects
US12/696,900 2010-01-29
PCT/US2010/026905 WO2010105010A1 (en) 2009-03-12 2010-03-11 Systems and methods for using textures in graphical user interface widgets

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015020403A Division JP5960307B2 (ja) 2009-03-12 2015-02-04 グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2012520522A JP2012520522A (ja) 2012-09-06
JP5694204B2 true JP5694204B2 (ja) 2015-04-01

Family

ID=73451207

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011554178A Expired - Fee Related JP5694204B2 (ja) 2009-03-12 2010-03-11 グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法

Country Status (5)

Country Link
EP (1) EP2406705B1 (ja)
JP (1) JP5694204B2 (ja)
KR (5) KR101761082B1 (ja)
CN (1) CN102349042A (ja)
WO (1) WO2010105010A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073527B2 (en) 2009-03-12 2018-09-11 Immersion Corporation Systems and methods for providing features in a friction display including a haptic effect based on a color and a degree of shading

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10503255B2 (en) * 2010-12-02 2019-12-10 Immersion Corporation Haptic feedback assisted text manipulation
US20130227409A1 (en) * 2011-12-07 2013-08-29 Qualcomm Incorporated Integrating sensation functionalities into social networking services and applications
US10845973B2 (en) 2012-06-03 2020-11-24 Maquet Critical Care Ab Breathing apparatus and method for user interaction therewith
US20140139451A1 (en) * 2012-11-20 2014-05-22 Vincent Levesque Systems and Methods For Providing Mode or State Awareness With Programmable Surface Texture
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
US9880623B2 (en) * 2013-01-24 2018-01-30 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
US9041647B2 (en) * 2013-03-15 2015-05-26 Immersion Corporation User interface device provided with surface haptic sensations
JP6352918B2 (ja) * 2013-08-01 2018-07-04 株式会社ニコン 電子機器、および電子機器の制御プログラム
US9317118B2 (en) * 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
CN106104426B (zh) * 2014-03-21 2020-04-03 意美森公司 用于基于力的对象操纵和触觉检测的系统、方法和计算机可读介质
US9710063B2 (en) * 2014-07-21 2017-07-18 Immersion Corporation Systems and methods for determining haptic effects for multi-touch input
AU2015306091B2 (en) * 2014-08-20 2021-04-01 Touchgram Pty Ltd A system and a method for sending a touch message
FR3026867A1 (fr) * 2014-10-02 2016-04-08 Dav Dispositif et procede de commande pour vehicule automobile
JP2018513455A (ja) * 2015-04-21 2018-05-24 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ エッチング入力の動的表現
US10147460B2 (en) * 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
US10606357B2 (en) * 2017-03-28 2020-03-31 Tanvas, Inc. Multi rate processing device for rendering haptic feedback
JP6620137B2 (ja) * 2017-11-06 2019-12-11 マケ クリティカル ケア エービー 呼吸装置、及び該装置とのユーザー相互作用の方法
JP7383226B2 (ja) * 2019-09-26 2023-11-20 Ｔｏｐｐａｎホールディングス株式会社 触覚情報生成プログラム、触覚情報入力装置、および、触覚情報通信システム
KR102679887B1 (ko) 2022-06-14 2024-06-28 경희대학교 산학협력단 햅틱 텍스처 생성 장치와 시스템 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912660A (en) * 1997-01-09 1999-06-15 Virtouch Ltd. Mouse-like input/output device with display screen and method for its use
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
DE10340188A1 (de) 2003-09-01 2005-04-07 Siemens Ag Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe
US20060209037A1 (en) 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
EP1805585B1 (en) * 2004-10-08 2017-08-16 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
US7616192B2 (en) * 2005-07-28 2009-11-10 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Touch device and method for providing tactile feedback
EP2126667B1 (en) * 2006-12-27 2020-06-24 Immersion Corporation Virtual detents through vibrotactile feedback
KR101348721B1 (ko) * 2007-09-03 2014-01-08 엘지전자 주식회사 휴대 단말기 및 그 휴대 단말기의 터치 인식 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073527B2 (en) 2009-03-12 2018-09-11 Immersion Corporation Systems and methods for providing features in a friction display including a haptic effect based on a color and a degree of shading
US10747322B2 (en) 2009-03-12 2020-08-18 Immersion Corporation Systems and methods for providing features in a friction display

Also Published As

Publication number Publication date
KR102086980B1 (ko) 2020-03-09
CN102349042A (zh) 2012-02-08
KR20160111533A (ko) 2016-09-26
KR101761082B1 (ko) 2017-07-24
KR101985159B1 (ko) 2019-05-31
KR20190061095A (ko) 2019-06-04
KR101658261B1 (ko) 2016-09-22
EP2406705B1 (en) 2017-10-04
KR101869809B1 (ko) 2018-06-22
JP2012520522A (ja) 2012-09-06
WO2010105010A1 (en) 2010-09-16
KR20180069135A (ko) 2018-06-22
KR20170087960A (ko) 2017-07-31
KR20110130471A (ko) 2011-12-05
EP2406705A1 (en) 2012-01-18

Similar Documents

Publication Publication Date Title
JP6463795B2 (ja) グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
JP5694204B2 (ja) グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
JP6410860B2 (ja) テクスチャエンジン用のシステム及び方法
JP6588951B2 (ja) テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法
KR102051180B1 (ko) 텍스처 엔진에 대한 시스템 및 방법
EP2406701B1 (en) System and method for using multiple actuators to realize textures
KR20170118864A (ko) 곡면형 디스플레이와의 사용자 상호작용을 위한 시스템들 및 방법들
KR101992070B1 (ko) 텍스처 엔진에 대한 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140424

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140502

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140527

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150204

R150 Certificate of patent or registration of utility model

Ref document number: 5694204

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees