JP6802299B2 - グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法 - Google Patents

グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法 Download PDF

Info

Publication number
JP6802299B2
JP6802299B2 JP2019000087A JP2019000087A JP6802299B2 JP 6802299 B2 JP6802299 B2 JP 6802299B2 JP 2019000087 A JP2019000087 A JP 2019000087A JP 2019000087 A JP2019000087 A JP 2019000087A JP 6802299 B2 JP6802299 B2 JP 6802299B2
Authority
JP
Japan
Prior art keywords
display
tactile
actuator
texture
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019000087A
Other languages
English (en)
Other versions
JP2019079555A (ja
Inventor
ファン マニュエル クルス−エルナンデス、
ファン マニュエル クルス−エルナンデス、
ダニー エイ． グラント、
ダニー エイ． グラント、
アリ モダレス、
アリ モダレス、
アンドリュー ゴスリン、
アンドリュー ゴスリン、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/696,908 external-priority patent/US10007340B2/en
Priority claimed from US12/696,900 external-priority patent/US9696803B2/en
Priority claimed from US12/697,010 external-priority patent/US9874935B2/en
Priority claimed from US12/696,893 external-priority patent/US9746923B2/en
Priority claimed from US12/697,042 external-priority patent/US10564721B2/en
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2019079555A publication Critical patent/JP2019079555A/ja
Application granted granted Critical
Publication of JP6802299B2 publication Critical patent/JP6802299B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06F3/04855—Interaction with scrollbars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H02N2/06—Drive circuits; Control arrangements or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Description

本発明は、一般に、触覚フィードバックに関し、より詳細には、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法に関する。
（関連出願への相互参照）
本特許出願は、２００９年３月１２日に提出された“Ｌｏｃａｔｉｎｇ Ｆｅａｔｕｒｅｓ Ｕｓｉｎｇ ａ Ｆｒｉｃｔｉｏｎ Ｄｉｓｐｌａｙ”と題された米国仮特許出願第６１／１５９，４８２号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２００９年１１月１７日に提出された“Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｉｎｃｒｅａｓｉｎｇ Ｈａｐｔｉｃ Ｂａｎｄｗｉｄｔｈ ｉｎ ａｎ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅ”と題された米国仮特許出願第６１／２６２，０４１号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２００９年１１月１７日に提出された“Ｆｒｉｃｔｉｏｎ Ｒｏｔａｒｙ Ｄｅｖｉｃｅ ｆｏｒ Ｈａｐｔｉｃ Ｆｅｅｄｂａｃｋ”と題された米国仮特許出願第６１／２６２，０３８号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２０１０年１月２９日に提出された“Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｐｒｏｖｉｄｉｎｇ Ｆｅａｔｕｒｅｓ Ｉｎ Ａ Ｆｒｉｃｔｉｏｎ Ｄｉｓｐｌａｙ”と題された米国特許出願第１２／６９６，８９３号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２０１０年１月２９日に提出された“Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｆｒｉｃｔｉｏｎ Ｄｉｓｐｌａｙｓ Ａｎｄ Ａｄｄｉｔｉｏｎａｌ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ”と題された米国特許出願第１２／６９６，９００号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２０１０年１月２９日に提出された“Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｅａｔｕｒｉｎｇ Ｓｕｒｆａｃｅ−Ｂａｓｅｄ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ”と題された米国特許出願第１２／６９６，９０８号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２０１０年１月２９日に提出された“Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ａ Ｔｅｘｔｕｒｅ Ｅｎｇｉｎｅ”と題された米国特許出願第１２／６９７，０１０号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２０１０年１月２９日に提出された“Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｕｓｉｎｇ Ｔｅｘｔｕｒｅｓ Ｉｎ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｗｉｄｇｅｔｓ”と題された米国特許出願第１２／６９７，０３７号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、２０１０年１月２９日に提出された“Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｕｓｉｎｇ Ｍｕｌｔｉｐｌｅ Ａｃｔｕａｔｏｒｓ Ｔｏ Ｒｅａｌｉｚｅ Ｔｅｘｔｕｒｅｓ”と題された米国特許出願第１２／６９７，０４２号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
過去数年にわたり、タッチスクリーン及び触覚フィードバックを組み込んだ装置の使用が急増している。こうした装置は、携帯型オーガナイザ、電話、音楽プレーヤ、及びゲームシステムとして使用される。触覚技術が進歩するにつれて、装置はテクスチャをシミュレートするように構成される触覚効果を組み込む場合がある。従って、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法が必要とされる。
本発明の実施形態は、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法を提供する。例えば、一実施形態では、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムは、触覚信号を受信して、前記触覚信号に少なくとも部分的に基づいて、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータと、ユーザ相互作用を検出して、インターフェース信号を出力するように構成されるタッチセンサ式インターフェースと、前記アクチュエータ及び前記タッチセンサ式インターフェースと通信するプロセッサであって、前記インターフェース信号を受信し、表示領域を定義する複数のピクセルを含む表示信号を受信し、前記表示領域の第１の部分を定義するピクセルの第１のグループに関連付けられる第１のテクスチャを決定し、前記表示領域の第２の部分を定義するピクセルの第２のグループに関連付けられる第２のテクスチャを決定し、前記アクチュエータに、前記ユーザ相互作用が前記表示領域の前記第１の部分に関連付けられる場合、前記第１のテクスチャをシミュレートするように構成される第１の触覚効果を出力させ、前記ユーザ相互作用が前記表示領域の前記第２の部分に関連付けられる場合、前記第２のテクスチャをシミュレートするように構成される第２の触覚効果を出力させるように構成される触覚信号を送信するように構成されるプロセッサとを備える。
こうした例示の実施形態は、本発明を限定又は定義するのではなく、その理解を容易にする例示を提供するために言及される。例示の実施形態は、発明の詳細な説明において検討され、そこでは発明のさらなる説明が提供される。本発明の多様な実施形態によって提供される利点は、本明細書を吟味することでさらに理解され得る。
本発明のこれらの及び他の特徴、態様、及び利点は、添付の図面を参照して以下の詳細な説明を読めば、よりよく理解される。
本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムのブロック図である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるための方法の流れ図である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの別の例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの別の例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの別の例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの別の例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの別の例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの別の例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの別の例示である。 本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの別の例示である。
本発明の実施形態は、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法を提供する。
（グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示的な実施形態）
本発明の例示の実施形態は、例えば、携帯電話等のメッセージング装置を含む。例示の実施形態では、メッセージング装置は、以前はＩｍｍｅｒｓｉｏｎ社のＶｉｂｅＴｏｎｚ（Ｒ）振動触覚フィードバックシステムとして知られていた、Ｉｍｍｅｒｓｉｏｎ社のＴｏｕｃｈＳｅｎｓｅ（Ｒ）３０００、ＴｏｕｃｈＳｅｎｓｅ（Ｒ）４０００、又はＴｏｕｃｈＳｅｎｓｅ（Ｒ）５０００という振動触覚フィードバックシステムを搭載したＳａｍｓｕｎｇ Ｈａｐｔｉｃ Ｐｈｏｎｅ（ＳＣＨ−Ｗ４２０）を含む。他の実施形態では、異なるメッセージング装置及び触覚フィードバックシステムが利用されてもよい。
例示のメッセージング装置は、ディスプレイ、スピーカ、ネットワークインターフェース、メモリ、及びこうした各要素と通信するプロセッサを備える。また、例示のメッセージング装置は、タッチセンサ式インターフェース及びアクチュエータも備える。これらは共にプロセッサと通信する。タッチセンサ式インターフェースは、メッセージング装置とユーザの相互作用を感知するように構成され、アクチュエータは、触覚効果を出力するように構成される。例示のメッセージング装置は、ユーザ相互作用を検出してユーザ相互作用に関連付けられるインターフェース信号をプロセッサに送信するように構成される操作子をさらに備えてもよい。
例示のメッセージング装置において、ディスプレイは、グラフィカルユーザインターフェースをユーザに対して表示するように構成される。グラフィカルユーザインターフェースは、仮想オブジェクト、例えば、アイコン、ボタン、又は仮想キーボードを含んでもよい。例示のメッセージング装置は、例えば、ディスプレイの上に搭載されたタッチスクリーン等のタッチセンサ式インターフェースをさらに備える。タッチセンサ式インターフェースは、ユーザがグラフィカルユーザインターフェースに表示された仮想オブジェクトと相互作用することを可能にする。例えば、一実施形態では、グラフィカルユーザインターフェースは、仮想キーボードを含んでもよい。一実施形態では、タッチセンサ式インターフェースは、ユーザが仮想キーボード上のキーに触れて、このキーに関連付けられる英数字を入力することを可能にする。この機能性は、メッセージをタイプし、又はグラフィカルユーザインターフェース内のオブジェクトと相互作用するために使用されてもよい。
例示のメッセージング装置において、プロセッサは、触覚効果を決定して、触覚効果を出力するように構成されるアクチュエータに触覚効果に対応する触覚信号を送信するように構成される。例示のメッセージング装置において、この触覚効果は、タッチセンサ式インターフェースの表面でユーザが感知するテクスチャをシミュレートする。シミュレートされるテクスチャは、ディスプレイ上に示されるユーザインターフェースに関連付けられてもよい。例えば、ディスプレイは、岩の形状を含むアイコンを示してもよい。このような実施形態では、プロセッサは、タッチセンサ式インターフェースの表面上で岩のテクスチャをシミュレートするように構成される触覚効果を決定してもよい。次に、プロセッサは、触覚効果を出力するように構成されるアクチュエータに触覚信号を送信するであろう。アクチュエータは、触覚信号を受信すると、タッチセンサ式インターフェースの表面を岩のテクスチャに近似させるように構成される周波数で振動のような触覚効果を出力するであろう。例示の実施形態では、プロセッサは、触覚効果を決定するために触覚マップを実装してもよい。例えば、例示の実施形態では、プロセッサは、各々が色彩に関連付けられる複数のピクセルを含む表示信号を受信してもよい。例えば、例示の実施形態では、表示信号における各ピクセルは、赤、緑又は青の色彩に関連付けられてもよく、さらに色彩ごとの強度に関連付けられてもよい。例示の実施形態では、プロセッサは、各色彩に対して触覚値を割り当て、さらに各色彩の強度に関連付けられる触覚強度を割り当てるであろう。次に、プロセッサは、触覚効果を出力するように構成されるアクチュエータに触覚値及び触覚強度を含む触覚信号を送信するであろう。
例示の実施形態では、プロセッサは、さらに外部トリガに基づいて触覚効果を決定してもよい。例えば、例示の実施形態では、プロセッサは、ユーザ相互作用を検出するように構成されるタッチセンサ式インターフェースからインターフェース信号を受信するように構成される。次に、例示の実施形態では、プロセッサは、インターフェース信号に少なくとも部分的に基づいて触覚効果を決定するであろう。例えば、プロセッサは、インターフェース信号に少なくとも部分的に基づいて触覚値又は触覚強度を修正してもよい。例示の実施形態では、タッチセンサ式インターフェースが高速又は高圧のユーザ相互作用を検出する場合、プロセッサはより高強度の触覚効果を決定するであろう。
例示のメッセージング装置は、多くの目的で触覚効果を出力してもよい。例えば、一実施形態では、触覚効果は、ユーザ相互作用に関連付けられるインターフェース信号をプロセッサが受信したことの確認として作用してもよい。例えば、グラフィカルユーザインターフェースは、ボタンを含んでもよく、タッチセンサ式インターフェースは、ボタンを押すことに関連付けられたユーザ相互作用を検出して、プロセッサにインターフェース信号を送信してもよい。これに応じて、プロセッサは、インターフェース信号を受信したことを確認するための触覚効果を決定してもよい。このような実施形態では、触覚効果は、タッチセンサ式インターフェースの表面でテクスチャをユーザに感知させてもよい。例示の実施形態では、プロセッサは、他の目的で触覚効果をさらに決定してもよい。例えば、例示のメッセージング装置は、ユーザにディスプレイの境界を警告し、又はディスプレイの表面のアイコン等のオブジェクトに対する識別としてテクスチャを出力してもよい。
この例示は、本明細書で検討される一般的な主題を読者に紹介するために与えられる。本発明は、この例示には限定されない。以下の段落は、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法の様々な追加の非限定的な実施形態及び例示を記載する。
（グラフィカルユーザインターフェース装置においてテクスチャを用いるための例示的なシステム）
次に、複数の図面を通じて同様の番号が同様の要素を示す図面を参照すると、図１は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムのブロック図である。図１に示されるように、システム１００は、例えば、携帯電話、ＰＤＡ（ｐｏｒｔａｂｌｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、携帯型メディアプレーヤ、携帯型コンピュータ、携帯型ゲーム装置又は他の何らかの移動装置等のメッセージング装置１０２を備える。幾つかの実施形態では、メッセージング装置１０２は、ラップトップ、タブレット、デスクトップＰＣ、又は他の類似の装置を含んでもよい。さらに他の実施形態では、メッセージング装置は、ＰＣ又は他の何らかの装置と共に使用される外部モニタを含んでもよい。メッセージング装置１０２は、ネットワークインターフェース１１２、タッチセンサ式インターフェース１１４、ディスプレイ１１６、アクチュエータ１１８、スピーカ１２０、及びメモリ１２２と通信するプロセッサ１１０を備える。
プロセッサ１１０は、メモリ１２２に記憶されるコンピュータ実行可能プログラム命令を実行するように構成される。例えば、プロセッサ１１０は、メッセージング又は触覚フィードバック生成のために１つ以上のコンピュータプログラムを実行してもよい。プロセッサ１１０は、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、１つ以上のＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、又は状態機械を備えてもよい。プロセッサ１１０は、例えば、ＰＬＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｃｏｎｔｒｏｌｌｅｒ）、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ若しくはＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置をさらに備えてもよい。
メモリ１２２は、プロセッサ１１０によって実行されると、本明細書に記載したような様々なステップをプロセッサ１１０に実行させる命令を記憶するコンピュータ可読媒体を含む。コンピュータ可読媒体の実施形態は、限定されないが、電子、光学、磁気、又はプロセッサ１１０にコンピュータ可読命令を提供可能な他の記憶装置若しくは伝送装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読取り可能な任意の他の媒体を含む。さらに、様々な他の装置は、例えば、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。プロセッサ１１０及び記載された処理は、１つ以上の構造内にあってもよく、１つ以上の構造にわたって分散されてもよい。
プロセッサ１１０は、ネットワークインターフェース１１２と通信する。ネットワークインターフェース１１２は、例えば、赤外線、無線、Ｗｉ−Ｆｉ又はセルラネットワーク通信等の１つ以上の移動式通信方法を備えてもよい。他の変形では、ネットワークインターフェース１１２は、例えば、イーサネット（登録商標）等の有線ネットワークインターフェースを備える。メッセージング装置１０２は、例えば、セルラネットワーク及び／又はインターネット等のネットワークを介して他の装置（図示せず）とメッセージ又は仮想メッセージオブジェクトを交換するように構成され得る。装置間で交換されるメッセージの実施形態は、音声メッセージ、テキストメッセージ、データメッセージ、又は他の形態のデジタルメッセージを含んでもよい。
また、プロセッサ１１０は、１つ以上のタッチセンサ式インターフェース１１４とも通信する。幾つかの実施形態では、タッチセンサ式インターフェース１１４は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、幾つかの実施形態では、タッチセンサ式インターフェース１１４は、表示信号を受信してユーザに画像を出力するように構成されるディスプレイの上に搭載されるタッチスクリーンを含んでもよい。他の実施形態では、タッチセンサ式インターフェース１１４は、光学センサ又は別の種類のセンサを備えてもよい。一実施形態では、タッチセンサ式インターフェースは、ＬＥＤ検出器を備えてもよい。例えば、一実施形態では、タッチセンサ式インターフェース１１４は、ディスプレイ１１６の側部に取り付けられるＬＥＤ指検出器を備えてもよい。幾つかの実施形態では、プロセッサは、単一のタッチセンサ式インターフェース１１４と通信し、他の実施形態では、プロセッサは、複数のタッチセンサ式インターフェース、例えば、第１のタッチスクリーン及び第２のタッチスクリーンと通信する。タッチセンサ式インターフェース１１４は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ１１０に信号を送信するように構成される。幾つかの実施形態では、タッチセンサ式インターフェース１１４は、複数の態様のユーザ相互作用を検出するように構成されてもよい。例えば、タッチセンサ式インターフェース１１４は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。
また、図１に示される実施形態では、プロセッサ１１０は、ディスプレイ１１６とも通信する。プロセッサ１１０は、ディスプレイ１１６に示されるユーザインターフェースの図形表現を生成して、ディスプレイ１１６にこの図形表現を含む表示信号を送信するように構成され得る。他の実施形態では、ディスプレイ１１６は、別の装置から表示信号を受信するように構成される。例えば、幾つかの実施形態では、ディスプレイ１１６は、コンピュータモニタ等の外部ディスプレイを含んでもよい。ディスプレイ１１６は、表示信号を受信して、その表示信号に関連付けられる画像を出力するように構成される。幾つかの実施形態では、表示信号はＶＧＡ、ＨＤＭＩ（登録商標）、ＳＶＧＡ、ＶＩＤＥＯ、Ｓ−ＶＩＤＥＯ、又は当技術分野で周知の他の種類の表示信号を含んでもよい。幾つかの実施形態では、ディスプレイ１１６は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又はプラズマスクリーンディスプレイ等のフラットスクリーンディスプレイを含む。他の実施形態では、ディスプレイ１１６は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、又は当技術分野で周知の他の種類のディスプレイを含む。さらに他の実施形態では、ディスプレイ１１６は、タッチセンサ式インターフェース１１４を含んでもよく、例えば、ディスプレイ１１６は、タッチスクリーンＬＣＤを含んでもよい。さらに他の実施形態では、ディスプレイ１１６は、フレキシブルスクリーン又はフレキシブルディスプレイを含んでもよい。例えば、幾つかの実施形態では、ディスプレイ１１６は、その表面の下側に取り付けられる触角基板を備えてもよい。このような実施形態では、ディスプレイ１１６は可撓性材料から作られ、プロセッサ１１０から受信される信号に応答して、触覚基板が曲がることで、ディスプレイ１１６の表面に隆起、谷間、又は他の特徴を形成する。幾つかの実施形態では、触覚基板は、プラズマアクチュエータ、圧電アクチュエータ、電気活性ポリマ、微小電気機械システム、形状記憶合金、流体グリッド又はガス充填セルを含んでもよい。
幾つかの実施形態では、プロセッサ１１０は、ディスプレイ１１６に示されるグラフィカルユーザインターフェースとの相互作用に関連付けられる信号をタッチセンサ式インターフェース１１４から受信する。例えば、一実施形態では、タッチセンサ式インターフェース１１４は、タッチスクリーンを含んでもよく、ディスプレイ１１６上のグラフィカルユーザインターフェースは、仮想キーボードを含んでもよい。このような実施形態では、ユーザが仮想キーボードのキーの１つと重なるタッチスクリーンの一部と相互作用すると、タッチスクリーンは、このユーザ相互作用に対応するインターフェース信号をプロセッサ１１０に送信するであろう。このインターフェース信号に基づいて、プロセッサ１１０は、ユーザが仮想キーボード上でキーの１つを押したことを決定するであろう。この機能性は、ユーザがディスプレイ１１６上の他のアイコン及び仮想オブジェクトと相互作用することを可能にする。例えば、幾つかの実施形態では、ユーザは、タッチスクリーンをフリックして、仮想ボールを移動させ又は仮想つまみを回してもよい。
また、図１に示されるように、プロセッサ１１０は、１つ以上のアクチュエータ１１８、各アクチュエータ用のサスペンションシステム、並びに各アクチュエータ用の電力及び制御配線を備える作動システムとも通信する。幾つかの実施形態では、メッセージング装置１０２は、１つ以上の作動システムを備える。プロセッサ１１０は、触覚効果を決定して、その触覚効果に対応する触覚信号をアクチュエータ１１８に送信するように構成される。幾つかの実施形態では、触覚効果は、ディスプレイ１１６、タッチセンサ式インターフェース１１４、又はメッセージング装置１０２の筐体の表面で感じられる振動触覚テクスチャを含む。幾つかの実施形態では、触覚効果を決定することは、触覚効果を決定するための一連の計算を含んでもよい。他の実施形態では、触覚効果を決定することは、適切な触覚効果を決定するためにルックアップテーブルにアクセスすることを含んでもよい。さらに他の実施形態では、触覚効果を決定することは、ルックアップテーブルとアルゴリズムとの組み合わせを含んでもよい。
幾つかの実施形態では、触覚効果を決定することは、触覚マップを含んでもよい。このような実施形態では、触覚効果を決定することは、表示信号をアクチュエータにマッピングすることを含んでもよい。例えば、表示信号は、各々が色彩に関連付けられる複数のピクセルを含んでもよい。このような実施形態では、各ピクセルは、赤、緑又は青の色彩に関連付けられてもよい。さらに各色彩は、強度、例えば、１−８の強度に関連付けられてもよい。このような実施形態では、触覚効果を決定することは、各色彩に触覚効果を割り当てることを含んでもよい。幾つかの実施形態では、触覚効果は、動作の方向及び強度を含んでもよい。例えば、一実施形態では、触覚信号は、回転アクチュエータを半分の力で時計回りに回転させるように構成されてもよい。幾つかの実施形態では、動作の強度は、色彩の強度に関連付けられてもよい。プロセッサ１１０は、触覚効果を決定すると、触覚効果を含む触覚信号を送信する。幾つかの実施形態では、プロセッサ１１０は、表示信号における一部のピクセルのみに触覚効果を割り当ててもよい。例えば、このような実施形態では、触覚効果は、表示信号の一部のみに関連付けられてもよい。
幾つかの実施形態では、プロセッサ１１０は、触覚マップを利用して触覚効果を決定し、それからディスプレイ１１６に表示信号を出力してもよい。他の実施形態では、プロセッサ１１０は、触覚マップを用いて触覚効果を決定し、それからディスプレイ１１６に表示信号を送信しなくてもよい。このような実施形態では、アクチュエータ１１８が触覚効果を出力している間に、ディスプレイ１１６は、暗色又は休止のままであってもよい。例えば、このような実施形態では、プロセッサ１１０は、メッセージング装置１０２に関連付けられるデジタルカメラから表示信号を受信してもよい。幾つかの実施形態では、バッテリを節約するために、ユーザは、ディスプレイ１１６を非活性化していてもよい。このような実施形態では、プロセッサは、触覚マップを利用して、ディスプレイの表面にテクスチャをシミュレートする触覚効果をユーザに提供してもよい。このテクスチャは、カメラの焦点が合っているとき、又は他の何らかのイベントが発生したときに、ユーザに通知するために使用されてもよい。例えば、プロセッサ１１０は、顔認識ソフトウェアを用いて、ディスプレイ１１６が活性化された場合に、ディスプレイ１１６上の複数の場所で顔に関係付けられるであろうテクスチャをシミュレートする触覚効果を決定してもよい。
幾つかの実施形態では、プロセッサ１１０は、ユーザ相互作用又はトリガに少なくとも部分的に基づいて触覚効果を決定してもよい。このような実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４からインターフェース信号を受信して、このインターフェース信号に少なくとも部分的に基づいて触覚効果を決定する。例えば、幾つかの実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４によって検出されるユーザ相互作用の場所に基づいて触覚効果を決定してもよい。例えば、一実施形態では、プロセッサ１１０は、ユーザがディスプレイ１１６上で触れている仮想オブジェクトのテクスチャをシミュレートする触覚効果を決定してもよい。他の実施形態では、プロセッサ１１０は、インターフェース信号に少なくとも部分的に基づいて触覚効果の強度を決定してもよい。例えば、タッチセンサ式インターフェース１１４が高圧のユーザ相互作用を検出すると、プロセッサ１１０は、高強度の触覚効果を決定してもよい。別の実施形態では、タッチセンサ式インターフェース１１４が低圧のユーザ相互作用を検出すると、プロセッサ１１０は、低強度の触覚効果を決定してもよい。さらに他の実施形態では、プロセッサ１１０は、ユーザ相互作用の速度に少なくとも部分的に基づいて触覚効果の強度を決定してもよい。例えば、一実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４が低速のユーザ相互作用を検出すると、低強度の触覚効果を決定してもよい。さらに他の実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４からユーザ相互作用に関連付けられるインターフェース信号を受信しない限り、触覚効果を何ら決定しなくてもよい。
プロセッサ１１０は、触覚効果を決定すると、触覚効果に関連付けられる触覚信号をアクチュエータ１１８に送信する。アクチュエータ１１８は、プロセッサ１１０から触覚信号を受信して触覚効果を生成するように構成される。アクチュエータ１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又はリニア共振アクチュエータ（ＬＲＡ）であってもよい。幾つかの実施形態では、アクチュエータ１１８は、複数のアクチュエータ、例えば、ＥＲＭ及びＬＲＡを備えてもよい。
幾つかの実施形態では、アクチュエータ１１８によって生成される触覚効果は、タッチセンサ式インターフェース１１４又はディスプレイ１１６の表面にユーザが感知するテクスチャをシミュレートするように構成される。このテクスチャは、ディスプレイ１１６に示されるグラフィカルユーザインターフェースに関連付けられてもよい。例えば、ディスプレイ１１６は、岩の形状を含むアイコンを示してもよい。このような実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４の表面上で岩のテクスチャをシミュレートするように構成される触覚効果を決定してもよい。その後、プロセッサ１１０は、触覚効果を出力するアクチュエータ１１８に触覚効果に関連付けられる触覚信号を送信するであろう。例えば、アクチュエータ１１８は、触覚信号を受信すると、タッチセンサ式インターフェースの表面に岩のテクスチャを含ませるように構成される振動を所定の周波数で出力してもよい。他の実施形態では、アクチュエータ１１８は、ディスプレイ１１６又はタッチセンサ式インターフェース１１４の表面に水、氷、革、砂、砂利、雪、皮膚、毛皮、又は他の何らかの表面のテクスチャを含ませる振動を所定の周波数で出力するように構成されてもよい。幾つかの実施形態では、触覚効果は、メッセージング装置１０２の異なる部分に、例えば、その筐体上に出力されてもよい。幾つかの実施形態では、アクチュエータ１１８は、複数のテクスチャを同時に出力するように構成される多数の振動を出力してもよい。例えば、アクチュエータ１１８は、ディスプレイ１１６の表面に砂のテクスチャを含ませるように構成される振動を出力してもよい。また、アクチュエータ１１８は、ユーザに砂地の中の岩のテクスチャを感知させるように構成される追加の振動を出力するように構成されてもよい。
幾つかの実施形態では、図１には示されていないが、メッセージング装置１０２は、複数のアクチュエータを含んでもよい。２つ以上のアクチュエータを含む実施形態では、各アクチュエータは、同時に異なる触覚効果を出力してもよいので、利用可能な触覚効果の豊富度が増加する。例えば、各アクチュエータは、異なるテクスチャをシミュレートするように構成される異なる周波数又は種類の触覚効果を出力してもよい。幾つかの実施形態では、ユーザは、メッセージング装置１０２上でこうしたテクスチャを同じ時間における異なる場所で感知してもよい。例えば、一実施形態では、第１のアクチュエータは、第１のアイコン上のテクスチャをシミュレートするように構成される第１の触覚効果を出力してもよい。一方で同時に、第２のアクチュエータは、第２のアイコン上の第２のテクスチャをシミュレートするように構成される第２の触覚効果を出力してもよい。このような実施形態では、ユーザは、第１のアイコン上で第１のテクスチャを感知し、同時に、第２のアイコン上で第２のテクスチャを感知してもよい。他の実施形態では、双方のアクチュエータは、組み合わされると単一のテクスチャをシミュレートするように構成される別個の触覚効果を出力するように構成されてもよい。さらに、図１には示されていないが、メッセージング装置１０２は、複数のディスプレイを含んでもよい。幾つかの実施形態では、各ディスプレイは、１つ以上のアクチュエータに関連付けられてもよい。このような実施形態では、ユーザは、１つのディスプレイと相互作用して、他のディスプレイで対応する触覚効果を感知してもよい。
プロセッサ１１０は、様々な理由で触覚効果を決定してもよい。例えば、幾つかの実施形態では、プロセッサ１１０は、ディスプレイ１１６に示されるオブジェクトのテクスチャに対応する触覚効果を出力してもよい。このような実施形態では、ディスプレイは、複数のオブジェクトを示してもよく、プロセッサは、ユーザがオブジェクトからオブジェクトへと自身の指を動かすにつれて異なる触覚効果を決定して、それによりオブジェクトごとに異なるテクスチャをシミュレートしてもよい。幾つかの実施形態では、触覚効果は、ユーザ相互作用に関連付けられた信号をプロセッサ１１０が受信したことの確認として作用してもよい。例えば、一実施形態では、グラフィカルユーザインターフェースはボタンを備えてもよく、タッチセンサ式インターフェース１１４は、ボタンを押すことに関連付けられるユーザ相互作用を検出してもよい。タッチセンサ式インターフェース１１４がユーザ相互作用に関連付けられるインターフェース信号をプロセッサ１１０に送信すると、プロセッサ１１０は、インターフェース信号の受信を確認するための触覚効果を決定してもよい。このような実施形態では、触覚効果は、タッチセンサ式インターフェース１１４の表面でテクスチャをユーザに感知させてもよい。例えば、プロセッサは、プロセッサ１１０がユーザ入力を受信したことを確認するために砂のテクスチャをシミュレートする触覚効果を出力してもよい。他の実施形態では、プロセッサは、異なるテクスチャ、例えば、水、氷、油、岩、又は皮膚のテクスチャを決定してもよい。幾つかの実施形態では、触覚効果は、異なる目的を果たしてもよく、例えば、ユーザにディスプレイ１１６の境界を通知し、又はユーザにディスプレイ１１６上の画像に関する触覚情報を提供してもよい。例えば、幾つかの実施形態では、ディスプレイ１１６上の各アイコンは、異なるテクスチャを含んでもよく、ユーザがあるアイコンから別のアイコンへと自身の指を動かすと、プロセッサは、各アイコンのテクスチャをシミュレートする触覚効果を決定するであろう。さらなる実施形態では、プロセッサは、ユーザの指がアイコンとの接触からディスプレイの背景との接触に移動すると、テクスチャを変化させ、それによりユーザがもはやアイコンに触れていないことを通知してもよい。
また、図１に示されるように、プロセッサ１１０は、スピーカ１２０とも通信する。スピーカ１２０は、プロセッサ１１０から音声信号を受信して、ユーザに出力するように構成される。幾つかの実施形態では、音声信号は、アクチュエータ１１８によって出力される触覚効果、又はディスプレイ１１６によって出力される画像に関連付けられてもよい。他の実施形態では、音声信号は、触覚効果又は画像に対応しなくてもよい。
図１には示されない幾つかの実施形態では、プロセッサ１１０は、１つ以上のセンサ、例えば、ＧＰＳセンサ、画像センサ、加速度計、場所センサ、回転速度センサ、光センサ、カメラ、マイクロホン、または他の何らかの種類のセンサをさらに含んでもよい。センサは、加速、傾斜、慣性、又は場所の変化を検出するように構成されてもよい。例えば、メッセージング装置１０２は、メッセージング装置の加速を測定するように構成される加速度計を備えてもよい。センサは、プロセッサ１１０にセンサ信号を送信するように構成される。
センサ信号は、メッセージング装置１０２の位置、移動、加速、又は「急な動き（ｊｅｒｋ）」（すなわち、加速の派生）に関連付けられる１つ以上のパラメータを含んでもよい。例えば、一実施形態では、センサは、複数のパラメータを含むセンサ信号を生成及び送信してもよい。各パラメータは、一つの測定された並進又は回転軸に沿って又はその周りの運動に関連付けられる。幾つかの実施形態では、センサは、プロセッサ１１０が１つ以上の軸に沿った運動を示すように解釈するようにプログラムされる電圧又は電流を出力する。
幾つかの実施形態では、プロセッサ１１０は、センサ信号を受信して、仮想ワークスペースを活性化し且つ仮想ワークスペースの「中」の仮想的運動に対応するようにＸ、Ｙ又はＺ方向にメッセージング装置１０２の感知された運動を解釈するべきことを決定するであろう。次に、ユーザは、仮想ワークスペース内で装置１０２を動かして、仮想スペース内でジェスチャを行なうことにより機能又はファイルを選択してもよい。例えば、仮想ワークスペース内の機能上でＺ軸にメッセージング装置１０２を動かすことにより選択する。幾つかの実施形態では、ユーザは、仮想ワークスペース内でジェスチャを用いてメッセージング装置１０２によって出力される触覚効果を変更してもよい。
図２は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図２は、例えば、携帯電話、ＰＤＡ、携帯型メディアプレーヤ、携帯型ゲーム装置、又は携帯型コンピュータ等のメッセージング装置２００を含む。メッセージング装置２００は、例えば、セルラネットワーク又はインターネット等のネットワークを介して、音声メール、テキストメッセージ、及び他のデータメッセージのような信号を送信及び受信するように構成される。メッセージング装置２００は、無線ネットワークインターフェース及び／又は有線ネットワークインターフェース（図２には示されない）を備えてもよい。図２には装置２００がハンドヘルドメッセージング装置として例示されるが、他の実施形態は、例えば、ビデオゲームシステム及び／又はパーソナルコンピュータ等の異なる装置を含んでもよい。
図２に示されるように、メッセージング装置２００は、筐体２０２及びディスプレイ２１６を備える。幾つかの実施形態では、ディスプレイ２１６は、ＬＣＤディスプレイを含んでもよい。他の実施形態では、ディスプレイ２１６は、プラズマディスプレイ、又は当技術分野で周知の他の種類のディスプレイを含んでもよい。ディスプレイ２１６は、表示信号を受信して、その表示信号に関連付けられる画像を出力するように構成される。幾つかの実施形態では、表示信号はＶＧＡ、ＨＤＭＩ（登録商標）、ＳＶＧＡ、ＶＩＤＥＯ、Ｓ−ＶＩＤＥＯ、又は当技術分野で周知の他の種類の表示信号を含んでもよい。図２に示される実施形態では、ディスプレイ２１６はテクスチャ化されたボール２０４を含む。ディスプレイ２１６は、テクスチャ選択アイコン２０６をさらに含む。テクスチャ選択アイコン２０６は、岩、砂、及び水を含む。
さらに図２を参照すると、メッセージング装置２００は、操作子２１４をさらに備える。図２に示される実施形態では、操作子２１４は、ローラーボール及びボタンを備える。また、メッセージング装置２００は、タッチセンサ式インターフェース２１８も備える。図２に示される実施形態では、タッチセンサ式インターフェースは、ディスプレイ２１６の上に配置されるタッチスクリーンを備える。幾つかの実施形態では、ディスプレイ２１６及びタッチスクリーンは、例えば、タッチスクリーンディスプレイ等の単一の一体型構成要素を含んでもよい。
操作子２１４及びタッチセンサ式インターフェース２１８は、ユーザ相互作用を検出して、このユーザ相互作用に対応するインターフェース信号をプロセッサに送信するように構成される。幾つかの実施形態では、ユーザ相互作用は、ディスプレイ２０６に示されるグラフィカルユーザインターフェースに関連付けられる。このような実施形態では、プロセッサは、インターフェース信号を受信して、このインターフェース信号に少なくとも部分的に基づいて、ディスプレイ２１６上でグラフィカルユーザインターフェースを変更する。例えば、図２に示される実施形態では、ユーザは、テクスチャ選択アイコン２０６の１つを選択するために操作子２１４又はタッチセンサ式インターフェース２１８のいずれかを用いてもよい。ユーザがテクスチャ化されたボール２０４用のテクスチャを選択した場合、そのテクスチャに対応するようにディスプレイ上で外観が変化してもよい。例えば、ユーザが砂のテクスチャアイコンを選択する場合、プロセッサは、ユーザがテクスチャ化されたボール２０４と相互作用するときにユーザに砂状のテクスチャを感知させる触覚効果を決定するであろう。又は、別の実施形態では、ユーザが岩のテクスチャアイコンを選択する場合、プロセッサは、ユーザがテクスチャ化されたボール２０４と相互作用するとユーザに岩のテクスチャを感知させる触覚効果を決定してもよい。
メッセージング装置２００は、触覚信号を受信して、触覚効果を出力するように構成されるアクチュエータをさらに備える（図２には示されない）。幾つかの実施形態では、触覚効果は、メッセージング装置２００のユーザによって感知される振動触覚テクスチャを含む。プロセッサ１１０は、触覚効果を決定して、その触覚効果に対応する触覚信号をアクチュエータ１１８に送信するように構成される。幾つかの実施形態では、触覚効果を決定することは、一連の計算を実行することを含んでもよい。他の実施形態では、触覚効果を決定することは、ルックアップテーブルにアクセスすることを含んでもよい。さらに他の実施形態では、触覚効果を決定することは、ルックアップテーブルとアルゴリズムとの組み合わせを用いることを含んでもよい。プロセッサ１１０は、触覚効果を決定すると、触覚効果に関連付けられる触覚信号をアクチュエータに送信する。アクチュエータは、プロセッサ１１０から触覚信号を受信して触覚効果を出力する。ユーザは、ディスプレイ２１６の表面を介して又はメッセージング装置２００の他の一部を通じて、例えば、操作子２１４又は筐体２０２を介して触覚効果を感知してもよい。
図２に示される実施形態では、ディスプレイ２１６はテクスチャ化されたボール２０４を含む。ユーザがテクスチャ化されたボール２０４と相互作用すると、プロセッサは、ディスプレイ２１６の表面でテクスチャ化されたボール２０４のテクスチャをシミュレートする触覚効果を決定するであろう。例えば、テクスチャ化されたボールは、砂のテクスチャを含んでもよい。このような実施形態では、プロセッサは、砂の粗い砂利の感覚をシミュレートする触覚効果を決定してもよい。幾つかの実施形態では、プロセッサは、砂上で動きのあるテクスチャをシミュレートするために、テクスチャ化されたボール２０４の表面上でユーザが指を動かすと、この触覚効果を変更してもよい。
図３ａは、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図３ａは、例えば、携帯電話、ＰＤＡ、携帯型メディアプレーヤ、携帯型ゲーム装置、又は携帯型コンピュータ等のメッセージング装置３００を含む。メッセージング装置３００は、例えば、セルラネットワーク又はインターネット等のネットワークを介して、音声メール、テキストメッセージ、及び他のデータメッセージのようなメッセージを含む信号を送信及び受信するように構成される。メッセージング装置３００は、無線ネットワークインターフェース及び／又は有線ネットワークインターフェース（図３ａには示されない）を備えてもよい。図３ａには装置３００がハンドヘルドメッセージング装置として例示されるが、他の実施形態は、例えば、ビデオゲームシステム及び／又はパーソナルコンピュータ等の異なる装置を含んでもよい。
図３ａに示されるように、メッセージング装置３００は、ディスプレイ３１６を備える。ディスプレイ３１６は、表示信号を受信して、この表示信号に少なくとも部分的に基づいて画像を出力するように構成される。メッセージング装置３００は、表示信号をディスプレイ３１６に送信するように構成されるプロセッサ（図３ａには示されない）をさらに備える。メッセージング装置３００は、ディスプレイ３１６の上に取り付けられるタッチセンサ式インターフェース３１４をさらに備える。タッチセンサ式インターフェース３１４は、ユーザ相互作用を検出して、このユーザ相互作用に対応するインターフェース信号をプロセッサに送信するように構成される。ディスプレイ３１６は、２つのアイコン３０２及び３０４を備える。ユーザがアイコン３０２及び３０４の一方と相互作用すると、タッチセンサ式インターフェース３１４は、ユーザ相互作用を検出して、対応するインターフェース信号をプロセッサに送信するであろう。このインターフェース信号に基づいて、プロセッサは、ユーザが一方のアイコンに結び付けられたファイルを開き、又は当技術分野で周知の他の何らかの動作を実行したことを決定してもよい。
図３ａに示されるように、アイコン３０２及び３０４の各々は、テクスチャを含む。図示の実施形態では、アイコン３０２は、煉瓦のテクスチャを含み、アイコン３０４は、岩のテクスチャを含む。他の実施形態では、異なるテクスチャ、例えば、砂、水、油、草、毛皮、皮膚、革、氷、木、又は当技術分野で周知の他の何らかのテクスチャが使用されてもよい。図３ａに指３０６として示されるように、ユーザが各アイコンに関連付けられるディスプレイ３１６の一部と相互作用すると、プロセッサは、そのアイコンのテクスチャをシミュレートするように構成される触覚効果を決定するであろう。次に、プロセッサは、触覚効果を出力するように構成されるアクチュエータ（図３には示されない）に触覚効果に関連付けられる信号を出力するであろう。例えば、図３ａに示される実施形態では、ユーザがアイコン３０２に関連付けられるディスプレイの一部と相互作用すると、アイコン３０２は、煉瓦のテクスチャに関連付けられる触覚効果を決定するであろう。この触覚効果は、ユーザの指３０６がモルタル上を横断するときに高出力のパルスによって区切られるランダムな信号によって特徴付けられてもよい。他の実施形態では、ディスプレイ３１６に示される画像に対応し得る異なるテクスチャをシミュレートするために他の触覚効果が用いられてもよい。
図３ｂは、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図３ｂに示される実施形態では、触覚効果を決定することは、表示信号をアクチュエータにマッピングすることを含む。図３ｂに示される実施形態は、ディスプレイ３５０の拡大部分を含む。ディスプレイ３５０は、プロセッサから表示信号を受信するように構成される。表示信号は、各々が色彩及びその色彩の強度に関連付けられる複数のピクセルを含む。ディスプレイ３５０は、この表示信号を受信して、この表示信号に関連付けられる画像を出力する。図３ｂに示される実施形態では、ディスプレイ３５０の拡大部は、６個のピクセル３５１、３５２、３５３、３５４、３５５、及び３５６を含む。各ピクセルは、色彩及び１−１０の範囲でその色彩に対する強度に関連付けられる。例えば、ピクセル３５５は、緑の色彩及び１０のうちの３の色彩強度に関連付けられる。このように、ディスプレイ３５０は、ピクセル３５５の場所において強度３で緑の色彩を出力するであろう。
図３ｂに示される実施形態では、プロセッサは、表示信号及びディスプレイ３５０上に取り付けられるタッチセンサ式インターフェースから受信されるインターフェース信号に少なくとも部分的に基づいて触覚効果を決定するであろう（図３ｂには示されない）。例えば、図３ｂに示される実施形態では、プロセッサは、触覚効果を各ピクセルに関連付け、又は「マッピング」するために表示信号を使用する。例えば、図３ｂに示される実施形態では、プロセッサは、色彩ごとに異なる周波数の触覚効果を決定してもよい。プロセッサは、各ピクセルにおける触覚効果の強度を各ピクセルにおける色彩の強度にさらに関連付けてもよい。例えば、プロセッサは、色彩強度８のピクセルが同様に触覚強度８を有することを決定してもよい。プロセッサがディスプレイ上のピクセルを覆うユーザ相互作用に関連付けられるインターフェース信号を受信すると、プロセッサは、ユーザが相互作用するピクセルに関連付けられる触覚信号を出力するであろう。この触覚効果は、ディスプレイの表面でユーザにテクスチャを感知させるように構成される。
例えば、図３ｂに示される実施形態では、プロセッサは、青のピクセルがノッキングの触覚効果に関連付けられ、赤のピクセルがパルス性の振動に関連付けられ、緑のピクセルがクリックの触覚効果に関連付けられることを決定してもよい。このような実施形態では、タッチセンサ式インターフェースはユーザの指がピクセル３５１上を通過したことを検出すると、プロセッサは、強度１のノッキングを決定するであろう。次に、ユーザの指がピクセル３５２上を移動すると、プロセッサは、強度５のパルス性の振動を決定するであろう。そして、ユーザの指がディスプレイ３５０上をピクセル３５３まで移動し続けると、プロセッサは、強度３のクリック効果を決定してもよい。
こうした触覚効果は、ユーザがディスプレイ３５０の表面上で自身の指を動かすと、その表面上でユーザにテクスチャを感知させるように構成される。幾つかの実施形態では、メッセージング装置は複数のアクチュエータを含んでもよい。このような実施形態では、プロセッサは、触覚信号をどのアクチュエータに出力するかを決定するように構成されてもよい。例えば、一実施形態では、メッセージング装置は、異なる強度の触覚効果を出力するように構成される２つのアクチュエータを備えてもよい。このような実施形態では、プロセッサは、３未満の強度を有する全ての触覚効果が第１のアクチュエータによって出力されるべきであり、３以上の強度を有する全ての触覚効果が第２のアクチュエータによって出力されるべきであることを決定してもよい。他の実施形態では、各色彩は、特定のアクチュエータにマッピングされてもよい。例えば、このような実施形態では、青の色彩に関連付けられる全ての触覚効果は、第１のアクチュエータによって出力されてもよく、赤の色彩に関連付けられる全ての触覚効果は、第２のアクチュエータによって出力されてもよく、緑の色彩に関連付けられる全ての触覚効果は、第３のアクチュエータによって出力されてもよい。他の実施形態では、メッセージング装置は、ディスプレイの表面で様々なテクスチャをシミュレートするために、色彩、強度、触覚効果、及びアクチュエータの異なる組み合わせを実装してもよい。
（グラフィカルユーザインターフェース装置においてテクスチャを用いるための方法）
図４は、図１に示される装置に関して検討される本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるための方法の流れ図である。図４に示されるように、方法４００は、プロセッサ１１０が表示領域を定義する複数のピクセルを含む表示信号を受信すると開始する（４０２）。表示信号はＶＧＡ、ＨＤＭＩ（登録商標）、ＳＶＧＡ、ＶＩＤＥＯ、Ｓ−ＶＩＤＥＯ、又は当技術分野で周知の他の種類の表示信号を含んでもよい。表示信号は、メッセージング装置がディスプレイ１１６を介してユーザに表示するグラフィカルユーザインターフェース又は他の画像を含んでもよい。幾つかの実施形態では、表示領域は、当技術分野で周知の標準的なディスプレイサイズ、例えば、４８０ピクセル×３２０ピクセルを含んでもよい。他の実施形態では、表示領域は、より大きく又はより小さくてもよい。
このように、タッチセンサ式インターフェース１１４はプロセッサ１１０にインターフェース信号を送信して、プロセッサ１１０はインターフェース信号を受信する（４０４）。幾つかの実施形態では、タッチセンサ式インターフェース１１４は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、幾つかの実施形態では、タッチセンサ式インターフェース１１４は、表示信号を受信してユーザに画像を出力するように構成されるディスプレイの上に搭載されるタッチスクリーンを含んでもよい。他の実施形態では、タッチセンサ式インターフェース１１４は、ボタン、スイッチ、マウス、スクロールホイール、ローラーボール、又は当技術分野で周知の何らかの他の種類の物理的装置インターフェースを含んでもよい。幾つかの実施形態では、プロセッサ１１０は、単一のタッチセンサ式インターフェース１１４と通信する。他の実施形態では、プロセッサ１１０は、複数のタッチセンサ式インターフェース１１４、例えば、タッチスクリーン及びローラーボールと通信する。タッチセンサ式インターフェース１１４は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ１１０に信号を送信するように構成される。幾つかの実施形態では、タッチセンサ式インターフェース１１４は、複数の態様のユーザ相互作用を検出するように構成されてもよい。例えば、タッチセンサ式インターフェース１１４は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。幾つかの実施形態では、タッチセンサ式インターフェース１１４は、マルチタッチを検出することが可能である。
次に、プロセッサ１１０は、表示領域の第１の部分を定義するピクセルの第１のグループに関連付けられる第１のテクスチャを決定する（４０６）。ピクセルの第１のグループによって定義される表示領域の部分は、グラフィカルユーザインターフェース内のオブジェクト、例えば、テキスト、図、又はアイコンを定義してもよい。幾つかの実施形態では、プロセッサ１１０は、オブジェクトの特徴に関連付けられるテクスチャを決定するであろう。例えば、オブジェクトがテキストを含む場合、プロセッサ１１０は、「ｌ」のような背の高い文字に対してコーステクスチャ（ｃｏｕｒｓｅｔｅｘｔｕｒｅ）を決定し、「ｏ」のような背の低い文字に対してソフトテクスチャ（ｓｏｆｔｅｒｔｅｘｔｕｒｅ）を決定してもよい。別の実施形態では、プロセッサ１１０は、アイコンに関連付けられるファイルの内容に基づいてテクスチャを決定してもよい。例えば、プロセッサ１１０は、ユーザの定義を超えるデータ量を含むファイルに対してコーステクスチャを決定し、それより少ない量を含むファイルに対してソフトテクスチャを決定してもよい。第１のテクスチャは、当技術分野で周知の多くのテクスチャのうちの１つ、例えば、鋼鉄、氷、毛皮、皮膚、革、砂、サンドペーパ、岩、雪、水、又は油のテクスチャを含んでもよい。又は、幾つかの実施形態では、プロセッサ１１０は、第１のテクスチャがテクスチャを含まないことを決定してもよい。
次に、プロセッサ１１０は、表示領域の第２の部分を定義するピクセルの第２のグループに関連付けられる第２のテクスチャを決定する（４０８）。幾つかの実施形態では、表示領域の第２の部分は、表示領域の第１の部分によって占められていない全ての表示領域を含んでもよい。他の実施形態では、表示領域の第２の部分は、グラフィカルユーザインターフェース内の特定のオブジェクト、例えば、テキスト、図形又はアイコンを含んでもよい。さらに他の実施形態では、第２の部分は、第１の部分によって占められていない領域のサブセットを含んでもよい。幾つかの実施形態では、プロセッサ１１０は、第２のテクスチャがオブジェクトの特徴に関連付けられることを決定するであろう。第２のテクスチャは、当技術分野で周知の多くのテクスチャのうちの１つ、例えば、鋼鉄、氷、毛皮、皮膚、革、砂、サンドペーパ、岩、雪、水、又は油のテクスチャを含んでもよい。幾つかの実施形態では、プロセッサ１１０は、第２のテクスチャが第１のテクスチャと類似又は同一であることを決定してもよい。又は、幾つかの実施形態では、プロセッサ１１０は、第２のテクスチャがテクスチャを含まないことを決定してもよい。
幾つかの実施形態では、プロセッサ１１０は、第１及び第２の触覚効果を決定するために触覚マップを実装してもよい。このような実施形態では、プロセッサ１１０は、表示信号を１つ以上のアクチュエータにマッピングしてもよい。幾つかの実施形態では、表示信号をアクチュエータにマッピングすることは、表示信号に少なくとも部分的に基づいて、ディスプレイ上の様々な場所における触覚効果を決定することを含む。例えば、表示信号は、各々が色彩に関連付けられる複数のピクセルを含んでもよい。このような実施形態では、プロセッサ１１０は、表示信号における各色彩に触覚値を割り当てることによって触覚効果を決定してもよい。次に、プロセッサ１１０は、触覚値に少なくとも部分的に基づいて触覚効果を決定するであろう。幾つかの実施形態では、プロセッサ１１０は、表示信号における一部のピクセルのみに触覚値を割り当ててもよい。例えば、このような実施形態では、触覚効果は、表示信号の一部のみに関連付けられてもよい。
幾つかの実施形態では、プロセッサ１１０は、ユーザ相互作用又はトリガに少なくとも部分的に基づいて第１の触覚効果及び第２の触覚効果を決定してもよい。このような実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４からインターフェース信号を受信して、このインターフェース信号に少なくとも部分的に基づいて触覚効果を決定する。例えば、幾つかの実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４から受信されるインターフェース信号に基づいて異なる強度の触覚効果を決定してもよい。例えば、タッチセンサ式インターフェース１１４が高圧のユーザ相互作用を検出すると、プロセッサ１１０は、高強度の触覚効果を決定してもよい。別の実施形態では、タッチセンサ式インターフェース１１４が低圧のユーザ相互作用を検出すると、プロセッサ１１０は、低強度の触覚効果を決定してもよい。
次に、プロセッサ１１０は、触覚信号を受信して触覚効果を出力するように構成されるアクチュエータ１１８に触覚信号を送信する（４１０）。アクチュエータ１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、リニア共振アクチュエータ、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又はリニア共振アクチュエータ（ＬＲＡ）であってもよい。触覚効果は、例えば、振動、ノッキング、うなり、衝撃、又はトルクをメッセージング装置に与える当技術分野で周知の複数の触覚効果のうちの１つを含んでもよい。幾つかの実施形態では、触覚信号は、テクスチャをシミュレートする触覚効果をアクチュエータ１１８に出力させるように構成される。幾つかの実施形態では、ユーザ相互作用が表示領域の第１の部分に関連付けられることをプロセッサ１１０が決定する場合、テクスチャは、第１のテクスチャを含むであろう。他の実施形態では、ユーザ相互作用が表示領域の第２の部分に関連付けられることをプロセッサ１１０が決定する場合、テクスチャは、第２のテクスチャを含むであろう。幾つかの実施形態では、プロセッサ１１０は、タッチセンサ式インターフェース１１４から受信されるインターフェース信号に少なくとも部分的に基づいてユーザ相互作用の場所を決定してもよい。他の実施形態では、プロセッサ１１０は、別の要素、例えば、マウス、スクロールホイール、又はローラーボール等のセンサ又は操作子から受信されるセンサ信号に基づいてユーザ相互作用の場所を決定してもよい。
最後に、ディスプレイ１１６は、表示信号を受信して、その表示信号に少なくとも部分的に基づいて画像を出力する。幾つかの実施形態では、ディスプレイ１１６は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又はプラズマスクリーンディスプレイ等のフラットスクリーンディスプレイを含む。他の実施形態では、ディスプレイ１１６は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、又は当技術分野で周知の他の種類のディスプレイを含む。さらに他の実施形態では、ディスプレイ１１６は、タッチセンサ式インターフェース１１４を含んでもよく、例えば、ディスプレイ１１６は、タッチスクリーンＬＣＤを含んでもよい。幾つかの実施形態では、プロセッサ１１０は、ディスプレイ１１６に示されるユーザインターフェースの図形表現を生成してから、ディスプレイ１１６にこの図形表現を含む表示信号を送信するように構成される。他の実施形態では、ディスプレイ１１６は、別の装置から表示信号を受信するように構成される。例えば、幾つかの実施形態では、ディスプレイ１１６は、例えば、コンピュータモニタ等の外部ディスプレイを含んでもよい。
（グラフィカルユーザインターフェース装置においてテクスチャを用いる様々な実施形態の例示）
図５は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図５は、メッセージング装置５０２を備えるシステム５００を含む。メッセージング装置５０２は、ディスプレイ５１６を備える。ディスプレイ５１６は、ユーザにグラフィカルユーザインターフェースを表示するように構成される。さらに、ユーザ相互作用を検出するように構成されるタッチセンサ式インターフェースがディスプレイ５１６の上に取り付けられる。タッチセンサ式インターフェースは、ユーザがディスプレイ５１６に示されるグラフィカルユーザインターフェースと相互作用することを可能にする。例えば、ユーザがテキストを入力し、オブジェクトを選択し、又は当技術分野で周知の他の操作を実行することを可能にする。図５に示される実施形態では、システム５００は、ハンドヘルド装置を含む。他の実施形態では、システム５００は、例えば、ラップトップ若しくはデスクトップコンピュータ、又はキオスクにあるディスプレイ等の大きな装置を含んでもよい。幾つかの実施形態（図５には示されない）では、システム５００は、例えば、マウス、スクロールホイール、又はローラーボール等の操作子をさらに備えてもよく、それによってユーザがディスプレイ５１６上のグラフィカルユーザインターフェースと相互作用することが可能になる。
図５に示されるように、ディスプレイ５１６は、テキスト５０４を表示する。ディスプレイ５１６は、テキスト５０４の一部に選択ボックス５０６をさらに表示する。これは、ユーザがテキスト５０４内のテキストの一部５０６を選択したことを示す。幾つかの実施形態では、ユーザは、例えば、テキストに関連付けられるディスプレイ５１６の一部をタッピングすることによって、選択ボックス５０６内のテキストを強調していてもよい。他の実施形態では、テキスト編集プログラムが、例えば、トラック変更機能の一部として、ボックス５０６内のテキストを自動的に強調していてもよい。このような実施形態では、選択ボックス５０６は、既存のテキストファイルへのユーザによる追記を含んでもよい。
メッセージング装置５０２は、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータ（図５には示されない）をさらに備える。幾つかの実施形態では、ユーザは、装置５０２の筐体上でテクスチャを感知してもよい。他の実施形態では、ユーザは、ディスプレイ５１６の表面でテクスチャを感知することが出来る。例えば、幾つかの実施形態では、ユーザが選択ボックス５０６に関連付けられるディスプレイ５１６の一部に触れると、アクチュエータは、テクスチャをシミュレートするように構成される触覚効果を出力してもよい。さらに、このような実施形態では、アクチュエータは、ユーザが選択ボックス５０６に関連付けられないディスプレイ５１６の一部に触れると、異なるテクスチャをシミュレートする触覚効果を出力するように構成されてもよい。例えば、ユーザが選択ボックス５０６と相互作用すると、アクチュエータは、砂のテクスチャをシミュレートする触覚効果を出力してもよい。さらに、ユーザがディスプレイ５１６の残りの部分と相互作用すると、アクチュエータは、水のテクスチャをシミュレートする触覚効果を出力してもよい。他の実施形態では、アクチュエータは、異なるテクスチャをシミュレートするように構成される触覚効果を出力してもよい。幾つかの実施形態では、ユーザは、選択ボックス５０６に関連付けられるように１つのテクスチャを割り当て、ディスプレイ５１６の残りの部分に関連付けられるように別のテクスチャを割り当ててもよい。
幾つかの実施形態では、テクスチャは、選択ボックス５０６内のテキストに関連付けられてもよい。例えば、幾つかの実施形態では、アクチュエータは、“ｌ”のような背の高い文字と相互作用するとコーステクスチャを出力し、“ａ”のような背の低い文字と相互作用するとソフトテクスチャを出力してもよい。別の実施形態では、アクチュエータは、大文字と相互作用するとコーステクスチャを出力し、小文字と相互作用するとソフトテクスチャを出力してもよい。さらに他の実施形態では、テクスチャは、他の要素、例えば、フォント、フォントサイズ、テキスト長、又は個々のワード長に関連付けられてもよい。
幾つかの実施形態では、メッセージング装置５０２は、１つ以上のアクチュエータを備えてもよい。このような実施形態では、こうしたアクチュエータは、触覚効果を生成するために組み合わせて使用されてもよい。例えば、各アクチュエータの触覚効果が結合されると、それらは１つのテクスチャをシミュレートする単一の触覚効果を形成してもよい。他の実施形態では、メッセージング装置５０２は、アクチュエータを別々に用いてもよい。例えば、第１のアクチュエータは、ユーザが選択ボックス５０６に関連付けられるディスプレイ５１６の一部と相互作用すると第１の触覚効果を出力してもよく、第２のアクチュエータは、ユーザがディスプレイ５１６の残りの部分と相互作用すると第２の触覚効果を出力してもよい。
図６は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図６は、上記システム５００に似たシステム６００を含む。図６に示されるように、メッセージング装置６０２は、タッチセンサ式インターフェースの下部に配置されるディスプレイ６１６を備える。幾つかの実施形態（図６には示されない）では、システム６００は、例えば、マウス、スクロールホイール、又はローラーボール等の操作子をさらに備えてもよく、それによってユーザがディスプレイ６１６上のグラフィカルユーザインターフェースと相互作用することが可能になる。
図６に示されるように、ディスプレイ６１６は、テキスト６０４を含む。ディスプレイ６１６は、強調されたテキスト６０６をさらに含み、それは、図６に示される実施形態では、単語“ｐａｒｅｎｔｓ”の２つのインスタンスを含む。幾つかの実施形態では、ユーザは、例えば、そのテキストに関連付けられるディスプレイ６１６の場所をタッピングすることによって、テキストを強調されるように選択してもよい。他の実施形態では、テキスト編集プログラムが、例えば、テキスト編集プログラムの検索機能の一部として、自動的に強調６０６していてもよい。このような実施形態では、強調されたテキスト６０６は、テキストファイル内の検索用語の全てのインスタンスを含んでもよい。
メッセージング装置６０２は、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータ（図６には示されない）をさらに備える。幾つかの実施形態では、ユーザは、ディスプレイ６１６の表面でこのテクスチャを感知することが出来る。例えば、幾つかの実施形態では、ユーザが強調されたテキスト６０６に関連付けられるディスプレイ６１６の一部に触れると、アクチュエータは、テクスチャをシミュレートするように構成される触覚効果を出力してもよい。さらに、このような実施形態では、アクチュエータは、ユーザが強調されたテキスト６０６に関連付けられないディスプレイ６１６の一部に触れると、異なるテクスチャをシミュレートする触覚効果を出力するように構成されてもよい。例えば、ユーザが強調されたテキスト６０６と相互作用すると、アクチュエータは、草のテクスチャをシミュレートする触覚効果を出力してもよい。さらに、ユーザがディスプレイ６１６の残りの部分と相互作用すると、アクチュエータは、氷のテクスチャをシミュレートする触覚効果を出力してもよい。このような実施形態は、ユーザが、文書を見なくても、文書内の検索用語の全ての場所を迅速に決定することを可能にする。他の実施形態では、アクチュエータは、異なるテクスチャをシミュレートするように構成される触覚効果を出力してもよい。幾つかの実施形態では、ユーザは、強調されたテキスト６０６に関連付けられるように１つのテクスチャを割り当て、ディスプレイ６１６の残りの部分に関連付けられるように別のテクスチャを割り当ててもよい。幾つかの実施形態では、システム５００に関連して本明細書に記載されたように、メッセージング装置６０２は、１つ以上のアクチュエータを備えてもよい。
図７は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図７は、上記システム５００に似たシステム７００を含む。図７に示されるように、メッセージング装置７０２は、タッチセンサ式インターフェースの下部に配置されるディスプレイ７１６を備える。幾つかの実施形態（図７には示されない）では、システム７００は、例えば、マウス、スクロールホイール、又はローラーボール等の操作子をさらに備えてもよく、それによってユーザがディスプレイ７１６上のグラフィカルユーザインターフェースと相互作用することが可能になる。
図７に示されるように、ディスプレイ７１６は、数字キーパッド７０４を含む。テクスチャキー７０６が数字キーパッド７０４の中にある。図７に示される実施形態では、それは数字の５である。他の実施形態では、異なるキーがテクスチャキー７０６を含んでもよい。例えば、ユーザは任意のキーをテクスチャキー７０６に割り当ててもよい。さらに、他の実施形態では、数字キーパッド７０４は、異なる種類のキー、例えば、ＱＷＥＲＴＹキーボード、又は当技術分野で周知の何らかの他のキーボードを含んでもよい。
メッセージング装置７０２は、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータ（図７には示されない）をさらに備える。幾つかの実施形態では、ユーザは、ディスプレイ７１６の表面でこのテクスチャを感知することが出来る。例えば、幾つかの実施形態では、ユーザがテクスチャキー７０６に関連付けられるディスプレイ７１６の一部に触れると、アクチュエータは、テクスチャをシミュレートするように構成される触覚効果を出力してもよい。このような実施形態では、アクチュエータは、ユーザが数字キーパッド７０４の他の部分に触れる場合に、テクスチャを出力しなくてもよい。他の実施形態では、アクチュエータは、ユーザが数字キーパッド７０４の他の部分と相互作用すると異なるテクスチャを出力するが、ユーザがディスプレイ７１６の他の部分と相互作用するとテクスチャを出力しないように構成されてもよい。このような実施形態は、ユーザが、ディスプレイ７１６を見なくても、数字キーパッド７０４上の自身の指の場所を迅速に決定することを可能にしてもよい。
幾つかの実施形態では、メッセージング装置７０２は、数字キーパッド７０４上の各キーに関連付けられる一意のテクスチャをシミュレートするように構成されるより複雑な触覚効果を出力するように構成されてもよい。例えば、幾つかの実施形態では、メッセージング装置７０２は、数字キーパッド７０４上の各キーに対する端部をシミュレートするように構成される触覚効果を出力してもよい。幾つかの実施形態では、こうした触覚効果は、各キーについて４つの端部をシミュレートする振動を含んでもよい。幾つかの実施形態では、触覚効果は、キーごとに深さ又は表面特徴をシミュレートするようにさらに構成されてもよい。一実施形態では、触覚効果は、完全には平坦でないキー、例えば、僅かに窪んだキーをシミュレートするように構成されてもよい。この機能性により、ユーザがあるキーを別のキーと区別することが可能であり、ユーザがキーの中央部をキーの端部と区別することがさらに可能であってもよい。幾つかの実施形態では、類似の機能性が、より大きなキーボード、例えば、完全なＱＷＥＲＴＹキーボード上でテクスチャをシミュレートするのに適用されてもよい。幾つかの実施形態では、システム５００に関連して本明細書に記載されたように、メッセージング装置７０２は、１つ以上のアクチュエータを備えてもよい。
図８は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図８は、上記システム５００に似たシステム８００を含む。図８に示されるように、メッセージング装置８０２は、タッチセンサ式インターフェースの下部に配置されるディスプレイ８１６を備える。幾つかの実施形態（図８には示されない）では、システム８００は、例えば、マウス、スクロールホイール、又はローラーボール等の操作子をさらに備えてもよく、それによってユーザがディスプレイ８１６上のグラフィカルユーザインターフェースと相互作用することが可能になる。
図８に示されるように、ディスプレイ８１６は、各々がメッセージング装置８０２のハードドライブにファイルを保持するフォルダ８０４、８０６、８０８、及び８１０を含む。図８に示されるように、フォルダ８０６及び８０８は共にテクスチャを備えているが、フォルダ８０４及び８１０はテクスチャを備えていない。幾つかの実施形態では、ユーザは、追加のフォルダを作成して、そうしたフォルダにテクスチャを割り当ててもよい。他の実施形態では、ユーザは、フォルダを除去してもよい。従って、テクスチャを含み又は含まないフォルダの多くの組み合わせが可能である。幾つかの実施形態では、フォルダ８０４、８０６、８０８、及び８１０は、メッセージング装置８０２で実行され得るアプリケーションへのリンクを有するアイコンを含んでもよい。
メッセージング装置８０２は、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータ（図８には示されない）をさらに備える。幾つかの実施形態では、ユーザは、ディスプレイ８１６の表面でこのテクスチャを感知することが出来る。例えば、幾つかの実施形態では、ユーザがフォルダ８０６に関連付けられるディスプレイ８１６の一部に触れると、アクチュエータは、テクスチャをシミュレートするように構成される触覚効果を出力してもよい。このような実施形態では、アクチュエータは、ユーザがフォルダ８０４に関連付けられるディスプレイ８１６の一部に触れる場合に、テクスチャを出力しなくてもよい。さらに、このような実施形態では、ユーザがフォルダ８０８に関連付けられるディスプレイ８１６の一部に触れると、アクチュエータは、異なるテクスチャをシミュレートするように構成される異なる触覚効果を出力してもよい。幾つかの実施形態では、アクチュエータは、ユーザがフォルダ８０４、８０６、８０８、又は８１０の１つに関連付けられないディスプレイ８１６の他の部分と相互作用すると、異なるテクスチャを出力するように構成されてもよい。このような実施形態により、ユーザが、ディスプレイ８１６を見なくても、どのフォルダに触れているかを迅速に決定することが可能であってもよい。
幾つかの実施形態では、メッセージング装置８０２は、フォルダに関連付けられるファイルに基づいてテクスチャを決定してもよい。例えば、幾つかの実施形態では、フォルダ８０８はオーディオファイルを含んでもよい。このような実施形態では、メッセージング装置８０２は、オーディオファイルの種類に基づいてテクスチャを決定してもよく、例えば、ファイルがハードロックであればコーステクスチャを決定し、ファイルがクラシックであればソフトテクスチャを決定してもよい。別の実施形態では、メッセージング装置は、フォルダ内のファイルの特性に基づいてテクスチャを決定してもよい。例えば、フォルダ８０６は、保護されたファイル又は読取り専用ファイルを含んでもよい。一方で、フォルダ８０８は、修正可能なオーディオファイルを含んでもよい。このような実施形態では、メッセージング装置８０２は、ユーザがフォルダ８０６と相互作用するとコーステクスチャを決定し、ユーザがフォルダ８０８と相互作用すると静かな又はソフトなテクスチャを決定してもよい。他の実施形態では、フォルダに関連付けられる異なる要因、例えば、フォルダサイズ、フォルダの中身、フォルダが作成されてからの時間、フォルダのタイトル、ファイル若しくはフォルダの作成者、又は当技術分野で周知の他の何らかの要因が触覚効果を決定するために用いられてもよい。幾つかの実施形態では、システム５００に関連して本明細書に記載されたように、メッセージング装置８０２は、１つ以上のアクチュエータを備えてもよい。
図９は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図９は、上記システム５００に似たシステム９００を含む。図９に示されるように、メッセージング装置９０２は、タッチセンサ式インターフェースの下部に配置されるディスプレイ９１６を備える。幾つかの実施形態（図９には示されない）では、システム９００は、例えば、マウス、スクロールホイール、又はローラーボール等の操作子をさらに備えてもよく、それによってユーザがディスプレイ９１６上のグラフィカルユーザインターフェースと相互作用することが可能になる。
図９に示されるように、ディスプレイ９１６は、３次元オブジェクト９０４の２次元レンダリングを含む。３次元オブジェクト９０４の１側面は、テクスチャ化された側面９０６を含む。他の実施形態では、３次元オブジェクト９０４は、異なる形状を含んでもよい。幾つかの実施形態では、ユーザは、コンピュータ支援設計プログラムで異なる形状を有するオブジェクト、例えば、球又は三角形を描いてもよい。さらに、他の実施形態では、ユーザは、３次元オブジェクト９０４の追加の側面にテクスチャを割り当ててもよい。さらに他の実施形態では、ディスプレイ９１６は、テクスチャ化された側面の複数の組み合わせを有する複数の３次元オブジェクトを含んでもよい。例えば、幾つかの実施形態では、ディスプレイ９１６は、３次元オブジェクト９０４の複数のビューを含んでもよい。このような実施形態では、各ビューは、異なるテクスチャを含んでもよい。
メッセージング装置９０２は、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータ（図９には示されない）をさらに備える。幾つかの実施形態では、ユーザは、ディスプレイ９１６の表面でこのテクスチャを感知することが出来る。例えば、幾つかの実施形態では、ユーザがテクスチャ化された側面９０６に関連付けられるディスプレイ９１６の一部に触れると、アクチュエータは、テクスチャをシミュレートするように構成される触覚効果を出力してもよい。このような実施形態では、アクチュエータは、ユーザが３次元オブジェクト９０４の他の部分に触れる場合に、テクスチャを出力しなくてもよい。他の実施形態では、アクチュエータは、ユーザが３次元オブジェクト９０４に関連付けられないディスプレイ９１６の部分と相互作用すると、異なるテクスチャを出力するように構成されてもよい。さらに他の実施形態では、メッセージング装置９０２は、ユーザが３次元オブジェクト９０４を回転又は移動させると、テクスチャを出力してもよい。このような実施形態により、ユーザが、ディスプレイ９１６を見なくても、３次元オブジェクト９０４のどのビューがディスプレイ９１６上に示されているかを迅速に決定することが可能であってもよい。幾つかの実施形態では、システム５００に関連して本明細書に記載されたように、メッセージング装置９０２は、１つ以上のアクチュエータを備えてもよい。
図１０は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図１０は、上記システム５００に似たシステム１０００を含む。図１０に示されるように、メッセージング装置１００２は、タッチセンサ式インターフェースの下部に配置されるディスプレイ１０１６を備える。幾つかの実施形態（図１０には示されない）では、システム１０００は、例えば、マウス、スクロールホイール、又はローラーボール等の操作子をさらに備えてもよく、それによってユーザがディスプレイ１０１６上のグラフィカルユーザインターフェースと相互作用することが可能になる。
図１０に示されるように、ディスプレイ１０１６は、単純なコンピュータ支援設計プログラムのためのグラフィカルユーザインターフェースを含む。ディスプレイ１０１６は、３次元オブジェクト１００４の２次元レンダリングをさらに含む。ディスプレイ１０１６は、線選択ボックス１００６をさらに含む。線選択ボックス１００６は、線の太さが増す３つの線アイコン１００８、１０１０、及び１０１２を含む。他の実施形態では、３次元オブジェクト１００４は、異なる形状を含んでもよい。例えば、ユーザは、球又は平行四辺形のような異なる形状のオブジェクトを描いてもよい。さらに、他の実施形態では、線選択ボックス１００６ではなく、コンピュータ支援設計プログラムは、異なる機能性を制御するように構成される異なるボックス、例えば、形状選択ボックス、テキスト入力ボックス、ハッチング選択ボックス、又は当技術分野で周知の他の何らかの特徴を修正するように構成されるボックスを含んでもよい。
メッセージング装置１００２は、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータ（図１０には示されない）をさらに備える。幾つかの実施形態では、ユーザは、ディスプレイ１０１６の表面でこのテクスチャを感知することが出来る。例えば、幾つかの実施形態では、ユーザが線選択ボックス１００６に関連付けられるディスプレイ１０１６の一部に触れると、アクチュエータは、テクスチャをシミュレートするように構成される触覚効果を出力してもよい。幾つかの実施形態では、メッセージング装置１００２は、ユーザが選択する線の太さに関連付けられるテクスチャをシミュレートするように構成される触覚効果を出力してもよい。例えば、太い線１００８に対してコーステクスチャを出力し、細い線１０１２に対してソフトテクスチャを出力してもよい。幾つかの実施形態では、メッセージング装置１００２は、ユーザがオブジェクトを描く間に触覚効果を出力してもよい。他の実施形態では、メッセージング装置１００２は、ユーザが線を選択するときにだけ触覚効果を出力してもよい。さらに他の実施形態では、メッセージング装置１００２は、ユーザが３次元オブジェクト１００４と相互作用すると触覚効果を出力し、ユーザがディスプレイ１０１６の他の部分と相互作用すると触覚効果を出力しなくてもよい。幾つかの実施形態では、システム５００に関連して本明細書に記載されたように、メッセージング装置１００２は、１つ以上のアクチュエータを備えてもよい。
図１１は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図１１は、上記システム５００に似たシステム１１００を含む。図１１に示されるように、メッセージング装置１１０２は、タッチセンサ式インターフェースの下部に配置されるディスプレイ１１１６を備える。幾つかの実施形態（図１１には示されない）では、システム１１００は、例えば、マウス、スクロールホイール、又はローラーボール等の操作子をさらに備えてもよく、それによってユーザがディスプレイ１１１６上のグラフィカルユーザインターフェースと相互作用することが可能になる。
図１１に示されるように、ディスプレイ１１１６は、テキストファイルを読むためのインターフェースを含み、それはスクロールバートラック１１０４、スクロールバー１１０６、及びテキスト１１０８を含む。図１１に示される実施形態では、ユーザは、テキスト１１０８の異なる部分にスクロールするために、スクロールバートラック１１０４に沿ってスクロールバー１１０６を上下に動かしてもよい。幾つかの実施形態では、ユーザは、スクロールバートラック１１０４の一部をタッピングして、スクロールバートラック１１０４上のその地点に関連付けられる部分にスクロールバー１１０６及びテキスト１１０８を動かしてもよい。他の実施形態では、スクロールバートラック１１０４及びスクロールバー１１０６は、異なる外観を含んでもよく、又は異なる機能を実行してもよい。例えば、幾つかの実施形態では、スクロールバートラック１１０４及びスクロールバー１１０６は、ディスプレイ１１１６の上部又は下部に配置されて、ユーザがディスプレイを水平に動かすことを可能にしてもよい。さらなる実施形態では、スクロールバートラック１１０４及びスクロールバー１１０６は、異なる種類のユーザインターフェース、例えば、描画アプリケーション、ウェブ閲覧アプリケーション、Ｅメールアプリケーション、又は当技術分野で周知の他の何らかのアプリケーションを制御するために用いられてもよい。
メッセージング装置１１０２は、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータ（図１１には示されない）をさらに備える。幾つかの実施形態では、ユーザは、ディスプレイ１１１６の表面でこのテクスチャを感知することが出来る。例えば、幾つかの実施形態では、ユーザがスクロールバー１１０６に関連付けられるディスプレイ１１１６の一部に触れると、アクチュエータは、テクスチャをシミュレートするように構成される触覚効果を出力してもよい。このような実施形態では、アクチュエータは、ユーザがスクロールバートラック１１０４の一部に触れる場合に、異なるテクスチャを出力しなくてもよい。さらに、幾つかの実施形態では、アクチュエータは、ユーザがスクロールバートラック１１０４に沿ってスクロールバー１１０６を動かすと変化するテクスチャを出力してもよい。例えば、幾つかの実施形態では、ユーザがスクロールバートラック１１０４をさらに下に動かすと、より粗くなるテクスチャをシミュレートするように構成される触覚効果を出力してもよい。このような実施形態は、ユーザが、ディスプレイ１１１６を見なくても、又はテキスト１１０８を読むことから気を散らされることなく、スクロールバートラック１１０４上の自身の指の場所を迅速に決定することを可能にしてもよい。幾つかの実施形態では、システム５００に関連して本明細書に記載されたように、メッセージング装置１１０２は、１つ以上のアクチュエータを備えてもよい。
図１２は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図１２は、上記システム５００に似たシステム１２００を含む。図１２に示されるように、メッセージング装置１２０２は、タッチセンサ式インターフェースの下部に配置されるディスプレイ１２１６を備える。幾つかの実施形態（図１２には示されない）では、システム１２００は、例えば、マウス、スクロールホイール、又はローラーボール等の操作子をさらに備えてもよく、それによってユーザがディスプレイ１２１６上のグラフィカルユーザインターフェースと相互作用することが可能になる。
図１２に示されるように、ディスプレイ１２１６は、地図アプリケーション又はグローバルポジショニングシステム（ＧＰＳ）受信機のためのグラフィカルユーザインターフェースを含む。グラフィカルユーザインターフェースは、経路１２０４、目的地１２０６、及び経路１２０４に沿って又はその付近に複数の建物１２０８、１２１０、及び１２１２を含む。幾つかの実施形態では、経路１２０４は、図５に示されるものよりはるかに長くてもよい。例えば、幾つかの実施形態では、経路１２０４は、その全体が示されるのに複数の画面を必要としてもよい。従って、それは、常に経路１２０４の一部のみが示されるように細分されてもよい。さらなる実施形態では、中間地点及び当技術分野で周知の他の事項がグラフィカルユーザインターフェースに示されてもよい。
メッセージング装置１２０２は、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータ（図１２には示されない）をさらに備える。幾つかの実施形態では、ユーザは、ディスプレイ１２１６の表面でこのテクスチャを感知することが出来る。例えば、幾つかの実施形態では、ユーザが目的地１２０６に関連付けられるディスプレイ１２１６の一部に触れると、アクチュエータは、テクスチャをシミュレートするように構成される触覚効果を出力してもよい。このような実施形態では、アクチュエータは、ユーザがディスプレイ１２１６の他の部分に触れる場合に、テクスチャを出力しなくてもよい。従って、テクスチャは、ユーザがディスプレイ１２１６上の目的地１２０６の場所を迅速に決定することを可能にしてもよい。他の実施形態では、グラフィカルユーザインターフェースのさらなる特徴がテクスチャを含んでもよい。例えば、経路１２０４がテクスチャを含んでもよい。このような実施形態では、ユーザは、ディスプレイ１２１６の表面上で自身の指を動かして、指が経路１２０４に触れるとテクスチャを感知してもよい。
さらに他の実施形態では、メッセージング装置１２０２は、ユーザの経路に沿って他の建物にテクスチャを自動的に割り当ててもよい。例えば、幾つかの実施形態では、メッセージング装置は、所定の種類の建物、例えば、全ての給油所、レストラン、又は病院にテクスチャを自動的に割り当ててもよい。一実施形態では、建物１２０８は病院を含んでもよく、建物１２１０は商店街を含んでもよく、建物１２１２は給油所を含んでもよい。このような実施形態では、ユーザは、給油所を検索してもよい。この検索の一部として、ユーザは、自身の経路に沿って全ての給油所にテクスチャを割り当てることを可能にする検索メニューを入力してもよい。次に、ユーザは、給油所を探すために、ディスプレイ１２１６の表面上で指を走らせてもよい。ユーザは、ディスプレイ１２１６に触れると、建物１２１２に関連付けられるディスプレイの一部でテクスチャを感知して、それが給油所であることを知るであろう。他の実施形態では、インターフェースの異なる部分がテクスチャに関連付けられてもよい。例えば、一実施形態では、経路１２０４に沿った１つ以上の曲がり角がテクスチャに関連付けられてもよい。別の実施形態では、経路１２０４に沿った１つ以上の中間地点がテクスチャに関連付けられてもよい。
幾つかの実施形態では、システム５００に関連して本明細書に記載されたように、メッセージング装置１２０２は、１つ以上のアクチュエータを備えてもよい。
図１３は、本発明の一実施形態によるグラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステムの例示である。図１３は、上記システム５００に似たシステム１３００を含む。図１３に示されるように、メッセージング装置１３０２は、タッチセンサ式インターフェースの下部に配置されるディスプレイ１３１６を備える。幾つかの実施形態（図１３には示されない）では、システム１３００は、例えば、マウス、スクロールホイール、又はローラーボール等の操作子をさらに備えてもよく、それによってユーザがディスプレイ１３１６上のグラフィカルユーザインターフェースと相互作用することが可能になる。
図１３に示されるように、ディスプレイ１３１６は、ソーシャルネットワーキングアプリケーション用のページを含む。ディスプレイ１３１６は、写真ボックス１３０４、名前ボックス１３０６、状況ボックス１３０８、及びテクスチャ１３１０をさらに含む。写真ボックス１３０４は、ユーザが自身のソーシャルネットワーキングページに写真を投稿することを可能にするように構成される。図１３に示される実施形態では、ユーザは、写真を投稿していないか、又は自身のネットワーク以外のユーザが写真ボックス１３０４にアクセス出来ないようにソーシャルページを保護している。名前ボックス１３０６は、ユーザが自身の名前又は何らかの他の識別特性を投稿することを可能にするように構成される。図１３に示される実施形態では、名前ボックス１３０６は、“Ｊｏｈｎ Ｄｏｅ’ｓ Ｓｏｃｉａｌ Ｐａｇｅ”というテキストを含む。他の実施形態では、ユーザは、追加の情報、例えば、所属政党、連絡先情報、性別、又は関係状況を投稿することが出来る。状況ボックス１３０８は、ユーザ又はユーザの友人がユーザのソーシャルネットワーキングページに状況更新を投稿することを可能にするように構成される。幾つかの実施形態では、こうした更新は、テキスト更新、画像更新、映像更新、又はテクスチャ更新を含んでもよい。図１３に示される実施形態では、状況更新ボックス１３０８は、２つの更新を含む。第１に、それは、“Ｊｏｈｎ Ｄｏｅ ｉｓ ｒｅａｄｙ ｆｏｒ ｔｈｅ ｗｅｅｋｅｎｄ”というテキスト更新を含む。第２に、それは、テクスチャ更新１３１０を含む。
メッセージング装置１３０２は、テクスチャをシミュレートするように構成される触覚効果を出力するように構成されるアクチュエータ（図１３には示されない）をさらに備える。幾つかの実施形態では、ユーザは、ディスプレイ１３１６の表面でこのテクスチャを感知することが出来る。例えば、図１３に示される実施形態では、テクスチャ更新１３１０は、木板のテクスチャを含む。ユーザ又はユーザのソーシャルネットワーキングページへの訪問者がテクスチャ更新１３１０に触れると、メッセージング装置１３０２は、木板のテクスチャをシミュレートするように構成される触覚効果を出力するであろう。他の実施形態では、テクスチャ更新１３１０は、異なるテクスチャ、例えば、油、砂、水、草、毛皮、皮膚、トカゲの皮、革、サンドペーパ、煉瓦、又は岩のテクスチャを含んでもよい。幾つかの実施形態では、ユーザは、自身のソーシャルネットワーキングページに現在の気分に関連付けられるテクスチャを投稿してもよい。他の実施形態では、ユーザは、友人への贈り物又はメッセージとして友人のページにテクスチャを投稿してもよい。さらに他の実施形態では、ユーザは、テクスチャをソーシャルネットワーキングページの他の部分と関連付けてもよい。例えば、幾つかの実施形態では、ユーザは、写真、メッセージ、状況、又はソーシャルネットワーキングページの他の何らかの部分にテクスチャを投稿してもよい。
幾つかの実施形態では、システム５００に関連して本明細書に記載されたように、メッセージング装置１３０２は、１つ以上のアクチュエータを備えてもよい。
（グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法の利点）
グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法には多くの利点が存在する。例えば、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法は、以前に使用されていない触覚効果を移動装置に付与する。この新しい効果は、ユーザが装置のディスプレイを見なくても、ユーザが移動装置から情報を受信するための新しい手段を提供する。例えば、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法は、ユーザが異なるテクスチャを異なるアイコン、ボタン、又はディスプレイの他の要素に割り当てることを可能にしてもよい。従って、ユーザは、アイコンを見なくても、どのアイコンに触っているかを決定することが可能であってもよい。これにより、装置の利便性が高まり、視覚障害者にとってより便利な装置となってもよい。また、それは、歩行中又は運転中のように、気が散る状況で移動装置を頻繁に用いるユーザによって以前に利用されていなかった異なる種類のアプリケーションの採用を増加させ得る。
さらに、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法は、他の仕事からユーザの気を散らさずに、ユーザにより多くの情報を提供し得る。従って、それはユーザによるエラーの可能性を減らすであろう。例えば、ユーザは、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法を利用している場合、誤ったアイコンを押し又は誤ったキーを押すことがあまり起こらないであろう。この機能性は、ユーザ満足度を高めると共に、グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法を組み込む技術の普及率を増加させることに役立ってもよい。
（概論）
本明細書における「適合される」又は「構成される」という用語は、追加のタスク又はステップを実行するように適合され又は構成される装置を排除しない開放型及び包括型の言語の意味で用いられる。さらに、「基づく」は、１つ以上の記載された条件又は値に「基づく」プロセス、ステップ、計算、又は他の動作が、実際には、こうした記載以上の追加の条件又は値に基づいてもよいという点で、開放型及び包括型の意味で用いられる。本明細書に含まれる見出し、リスト、及び番号付けは、説明の簡略化のみを目的としており、限定することを意図していない。
本願の主題の態様による実施形態は、デジタル電子回路で、又はコンピュータハードウェア、ファームウェア、ソフトウェア、若しくはこれらの組み合わせで実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、例えば、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備え又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、触覚効果選択ルーチン、及び上記の選択された触覚効果を発生させるための信号を生成する適切なプログラミングを含む１つ以上のコンピュータプログラムを実行するように、メモリに記憶されるコンピュータ実行可能プログラム命令を実行する。
このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を含んでもよい。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ若しくはＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置をさらに備えてもよい。
このようなプロセッサは、プロセッサによって実行されるときに、プロセッサによって実行され又は支援される本明細書に記載のステップをプロセッサに実行させ得る命令を記憶し得る媒体、例えば有形のコンピュータ可読媒体を備え又はそれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、全ての電子、光学、磁気、又はコンピュータ可読命令をウェブサーバ内のプロセッサ等のプロセッサに提供可能な他の記憶装置を含んでもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読取り可能な任意の他の媒体を含む。また、様々な他の装置は、例えば、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造にわたって分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。
本願の主題はその特定の実施形態に関して詳細に記載されてきたが、先述の理解を達成すると、当業者であれば、このような実施形態への代替、変形、及び均等物を容易に製造し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されているのであって、当業者には自明の本主題への修正、変形及び／又は追加を包含することを除外しないことが理解されるべきである。

Claims (20)

  1. 表示領域に関連付けられるタッチセンサ式インターフェースからインターフェース信号を受信すること、
    前記表示領域に関連付けられる表示信号を受信することであって、前記表示信号は１つ以上の色に関連付けられる複数のピクセルを含むこと、
    各色に触覚値を割り当てること、
    前記複数のピクセルのグループに関連付けられる前記触覚値を決定することにより、前記複数のピクセルの前記グループに関連付けられるテクスチャを決定すること、
    前記触覚値が閾値よりも小さい場合に第１のアクチュエータを選択すること及び前記触覚値が前記閾値以上である場合に第２のアクチュエータを選択することにより、選択アクチュエータを決定すること、及び
    前記テクスチャをシミュレートするように構成される触覚効果を前記選択アクチュエータに出力させるように構成される触覚信号を送信すること
    を行うように構成されるプロセッサ
    を備え、
    前記触覚値は前記各色の強度を含み、前記各色の強度は前記触覚効果の強度に対応し、前記各色は異なるタイプの触覚効果に対応する、システム。
  2. 前記表示領域は第１の部分及び第２の部分を含み、前記表示領域の前記第１の部分は境界を含み、前記表示領域の前記第２の部分は前記境界を含まないピクセルを含む、請求項１に記載のシステム。
  3. 前記選択アクチュエータは、リニア共振アクチュエータ、偏心回転質量アクチュエータ、形状記憶合金、電気活性ポリマ、又は圧電アクチュエータを含む、請求項１に記載のシステム。
  4. 前記表示領域は、グローバルポジショニングシステムのインターフェース、ソーシャルネットワーキングページ、スクロールバー、テキスト、描画ツール、フォルダ、又はアイコンの１つ以上を含む、請求項１に記載のシステム。
  5. 前記テクスチャは、前記フォルダの内容に部分的に基づいて決定される、請求項４に記載のシステム。
  6. 前記プロセッサは、前記複数のピクセルに関連付けられる画像を出力するように構成されるディスプレイに前記表示信号を出力するように更に構成される、請求項１に記載のシステム。
  7. 前記選択アクチュエータは、前記ディスプレイの表面に前記触覚効果を出力するように構成される、請求項６に記載のシステム。
  8. 表示領域に関連付けられるタッチセンサ式インターフェースからインターフェース信号を受信するステップと、
    前記表示領域に関連付けられる表示信号を受信するステップであって、前記表示信号は１つ以上の色に関連付けられる複数のピクセルを含むステップと、
    各色に触覚値を割り当てるステップと、
    前記複数のピクセルのグループに関連付けられる前記触覚値を決定することにより、前記複数のピクセルの前記グループに関連付けられるテクスチャを決定するステップと、
    前記触覚値が閾値よりも小さい場合に第１のアクチュエータを選択すること及び前記触覚値が前記閾値以上である場合に第２のアクチュエータを選択することにより、選択アクチュエータを決定するステップと、
    前記テクスチャをシミュレートするように構成される触覚効果を前記選択アクチュエータに出力させるように構成される触覚信号を送信するステップと
    を含み、
    前記触覚値は前記各色の強度を含み、前記各色の強度は前記触覚効果の強度に対応し、前記各色は異なるタイプの触覚効果に対応する、方法。
  9. 前記表示領域は第１の部分及び第２の部分を含み、前記表示領域の前記第１の部分は境界を含み、前記表示領域の前記第２の部分は前記境界を含まないピクセルを含む、請求項８に記載の方法。
  10. 前記選択アクチュエータは、リニア共振アクチュエータ、偏心回転質量アクチュエータ、形状記憶合金、電気活性ポリマ、又は圧電アクチュエータを含む、請求項８に記載の方法。
  11. 前記表示領域は、グローバルポジショニングシステムのインターフェース、ソーシャルネットワーキングページ、スクロールバー、テキスト、描画ツール、フォルダ、又はアイコンの１つ以上を含む、請求項８に記載の方法。
  12. 前記テクスチャは、前記フォルダの内容に部分的に基づいて決定される、請求項１１に記載の方法。
  13. 前記複数のピクセルに関連付けられる画像を出力するように構成されるディスプレイに前記表示信号を出力するステップを更に含む、請求項８に記載の方法。
  14. 前記選択アクチュエータは、前記ディスプレイの表面に前記触覚効果を出力するように構成される、請求項１３に記載の方法。
  15. プログラムコードを含む非一時的なコンピュータ可読媒体であって、１つ以上のプロセッサによって実行されると、前記プログラムコードは、
    表示領域に関連付けられるタッチセンサ式インターフェースからインターフェース信号を受信するステップと、
    前記表示領域に関連付けられる表示信号を受信するステップであって、前記表示信号は１つ以上の色に関連付けられる複数のピクセルを含むステップと、
    各色に触覚値を割り当てるステップと、
    前記複数のピクセルのグループに関連付けられる前記触覚値を決定することにより、前記複数のピクセルの前記グループに関連付けられるテクスチャを決定するステップと、
    前記触覚値が閾値よりも小さい場合に第１のアクチュエータを選択すること及び前記触覚値が前記閾値以上である場合に第２のアクチュエータを選択することにより、選択アクチュエータを決定するステップと、
    前記テクスチャをシミュレートするように構成される触覚効果を前記選択アクチュエータに出力させるように構成される触覚信号を送信するステップと
    を前記１つ以上のプロセッサに行わせるように構成され、
    前記触覚値は前記各色の強度を含み、前記各色の強度は前記触覚効果の強度に対応し、前記各色は異なるタイプの触覚効果に対応する、非一時的なコンピュータ可読媒体。
  16. 前記表示領域は第１の部分及び第２の部分を含み、前記表示領域の前記第１の部分は境界を含み、前記表示領域の前記第２の部分は前記境界を含まないピクセルを含む、請求項１５に記載の非一時的なコンピュータ可読媒体。
  17. 前記選択アクチュエータは、リニア共振アクチュエータ、偏心回転質量アクチュエータ、形状記憶合金、電気活性ポリマ、又は圧電アクチュエータを含む、請求項１５に記載の非一時的なコンピュータ可読媒体。
  18. 前記表示領域は、グローバルポジショニングシステムのインターフェース、ソーシャルネットワーキングページ、スクロールバー、テキスト、描画ツール、フォルダ、又はアイコンの１つ以上を含む、請求項１５に記載の非一時的なコンピュータ可読媒体。
  19. 前記テクスチャは、前記フォルダの内容に部分的に基づいて決定される、請求項１８に記載の非一時的なコンピュータ可読媒体。
  20. １つ以上のプロセッサによって実行されると、前記複数のピクセルに関連付けられる画像を出力するように構成されるディスプレイに前記表示信号を出力するステップを前記１つ以上のプロセッサに行わせるように構成されるプログラムコードを更に含む、請求項１５に記載の非一時的なコンピュータ可読媒体。
JP2019000087A 2009-03-12 2019-01-04 グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法 Active JP6802299B2 (ja)

Applications Claiming Priority (18)

Application Number Priority Date Filing Date Title
US15948209P 2009-03-12 2009-03-12
US61/159,482 2009-03-12
US26204109P 2009-11-17 2009-11-17
US26203809P 2009-11-17 2009-11-17
US61/262,038 2009-11-17
US61/262,041 2009-11-17
US12/696,900 2010-01-29
US12/696,908 US10007340B2 (en) 2009-03-12 2010-01-29 Systems and methods for interfaces featuring surface-based haptic effects
US12/697,037 US9927873B2 (en) 2009-03-12 2010-01-29 Systems and methods for using textures in graphical user interface widgets
US12/696,900 US9696803B2 (en) 2009-03-12 2010-01-29 Systems and methods for friction displays and additional haptic effects
US12/697,010 US9874935B2 (en) 2009-03-12 2010-01-29 Systems and methods for a texture engine
US12/696,893 2010-01-29
US12/697,010 2010-01-29
US12/697,037 2010-01-29
US12/696,908 2010-01-29
US12/696,893 US9746923B2 (en) 2009-03-12 2010-01-29 Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US12/697,042 US10564721B2 (en) 2009-03-12 2010-01-29 Systems and methods for using multiple actuators to realize textures
US12/697,042 2010-01-29

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017093154A Division JP6463795B2 (ja) 2009-03-12 2017-05-09 グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2019079555A JP2019079555A (ja) 2019-05-23
JP6802299B2 true JP6802299B2 (ja) 2020-12-16

Family

ID=73451949

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2015020403A Expired - Fee Related JP5960307B2 (ja) 2009-03-12 2015-02-04 グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
JP2016123698A Expired - Fee Related JP6143922B2 (ja) 2009-03-12 2016-06-22 グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
JP2017093154A Expired - Fee Related JP6463795B2 (ja) 2009-03-12 2017-05-09 グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
JP2019000087A Active JP6802299B2 (ja) 2009-03-12 2019-01-04 グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2015020403A Expired - Fee Related JP5960307B2 (ja) 2009-03-12 2015-02-04 グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
JP2016123698A Expired - Fee Related JP6143922B2 (ja) 2009-03-12 2016-06-22 グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
JP2017093154A Expired - Fee Related JP6463795B2 (ja) 2009-03-12 2017-05-09 グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法

Country Status (4)

Country Link
US (2) US9927873B2 (ja)
EP (1) EP3258346A1 (ja)
JP (4) JP5960307B2 (ja)
CN (1) CN106200955B (ja)

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0804355A2 (pt) * 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo
US20090256809A1 (en) * 2008-04-14 2009-10-15 Sony Ericsson Mobile Communications Ab Three-dimensional touch interface
US8195244B2 (en) * 2009-02-25 2012-06-05 Centurylink Intellectual Property Llc Multi-directional display communication devices, systems, and methods
US9927873B2 (en) 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
JP5343871B2 (ja) * 2009-03-12 2013-11-13 株式会社リコー タッチパネル装置、これを含むタッチパネル付き表示装置、及びタッチパネル装置の制御方法
US8686951B2 (en) 2009-03-18 2014-04-01 HJ Laboratories, LLC Providing an elevated and texturized display in an electronic device
US8681106B2 (en) * 2009-06-07 2014-03-25 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US10191547B2 (en) * 2009-08-27 2019-01-29 Kyocera Corporation Tactile sensation providing apparatus and control method for tactile sensation providing apparatus
US8350820B2 (en) * 2009-11-06 2013-01-08 Bose Corporation Touch-based user interface user operation accuracy enhancement
US8686957B2 (en) * 2009-11-06 2014-04-01 Bose Corporation Touch-based user interface conductive rings
US20110109560A1 (en) 2009-11-06 2011-05-12 Santiago Carvajal Audio/Visual Device Touch-Based User Interface
US8638306B2 (en) * 2009-11-06 2014-01-28 Bose Corporation Touch-based user interface corner conductive pad
US8692815B2 (en) * 2009-11-06 2014-04-08 Bose Corporation Touch-based user interface user selection accuracy enhancement
US8669949B2 (en) * 2009-11-06 2014-03-11 Bose Corporation Touch-based user interface touch sensor power
US9201584B2 (en) 2009-11-06 2015-12-01 Bose Corporation Audio/visual device user interface with tactile feedback
US20110113371A1 (en) * 2009-11-06 2011-05-12 Robert Preston Parker Touch-Based User Interface User Error Handling
WO2011090780A1 (en) * 2010-01-20 2011-07-28 Northwestern University Method and apparatus for increasing the forces applied to bare a finger on a haptic surface
US20110199342A1 (en) 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
CN102906667B (zh) 2010-04-23 2016-11-23 意美森公司 用于提供触觉效果的系统和方法
US8707195B2 (en) 2010-06-07 2014-04-22 Apple Inc. Devices, methods, and graphical user interfaces for accessibility via a touch-sensitive surface
US9030308B1 (en) * 2010-07-02 2015-05-12 Amazon Technologies, Inc. Piezoelectric haptic actuator integration
US8452600B2 (en) * 2010-08-18 2013-05-28 Apple Inc. Assisted reader
US8710968B2 (en) 2010-10-07 2014-04-29 Motorola Mobility Llc System and method for outputting virtual textures in electronic devices
KR101769818B1 (ko) * 2010-12-23 2017-08-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
WO2012090031A1 (en) * 2010-12-31 2012-07-05 Nokia Corporation A display apparatus producing audio and haptic output
KR20120102262A (ko) * 2011-03-08 2012-09-18 삼성전자주식회사 휴대용 단말기가 열람하는 텍스트에서 원하는 내용을 선택하는 방법 및 장치
EP2508963A1 (en) * 2011-04-08 2012-10-10 Research In Motion Limited Tactile feedback method and apparatus
US9448713B2 (en) * 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US20120274545A1 (en) * 2011-04-28 2012-11-01 Research In Motion Limited Portable electronic device and method of controlling same
EP3605280B1 (en) 2011-05-10 2022-12-14 North Western University A touch interface device having an electrostatic multitouch surface and method for controlling the device
US10108288B2 (en) 2011-05-10 2018-10-23 Northwestern University Touch interface device and method for applying controllable shear forces to a human appendage
US8751971B2 (en) 2011-06-05 2014-06-10 Apple Inc. Devices, methods, and graphical user interfaces for providing accessibility using a touch-sensitive surface
WO2012177719A2 (en) * 2011-06-21 2012-12-27 Northwestern University Touch interface device and method for applying lateral forces on a human appendage
JP6130844B2 (ja) * 2011-10-19 2017-05-17 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ブラインドナビゲーションのためのフィードバックによるリモートコントロール
US20130227409A1 (en) * 2011-12-07 2013-08-29 Qualcomm Incorporated Integrating sensation functionalities into social networking services and applications
US8881269B2 (en) 2012-03-31 2014-11-04 Apple Inc. Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader
KR101868352B1 (ko) * 2012-05-14 2018-06-19 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
EP2856282A4 (en) * 2012-05-31 2015-12-02 Nokia Technologies Oy DISPLAY APPARATUS
JP2014032506A (ja) * 2012-08-02 2014-02-20 Sharp Corp 情報処理装置、選択操作検出方法およびプログラム
DE102012215861B4 (de) * 2012-09-06 2022-09-15 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Objektiv- und Kamera-Fernsteuereinheit
KR102091597B1 (ko) * 2012-09-24 2020-03-20 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
US20140139451A1 (en) * 2012-11-20 2014-05-22 Vincent Levesque Systems and Methods For Providing Mode or State Awareness With Programmable Surface Texture
US9330544B2 (en) 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
US9836150B2 (en) 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US9046926B2 (en) * 2012-12-17 2015-06-02 International Business Machines Corporation System and method of dynamically generating a frequency pattern to realize the sense of touch in a computing device
US9880623B2 (en) 2013-01-24 2018-01-30 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
US9690378B2 (en) * 2013-01-30 2017-06-27 Olympus Corporation Operation apparatus
US9448642B2 (en) 2013-02-07 2016-09-20 Dell Products Lp Systems and methods for rendering keyboard layouts for a touch screen display
US9189098B2 (en) 2013-03-14 2015-11-17 Immersion Corporation Systems and methods for syncing haptic feedback calls
US9672553B2 (en) 2013-04-15 2017-06-06 Ebay Inc. Searchable texture index
US10027606B2 (en) 2013-04-17 2018-07-17 Nokia Technologies Oy Method and apparatus for determining a notification representation indicative of a cognitive load
US10359835B2 (en) 2013-04-17 2019-07-23 Nokia Technologies Oy Method and apparatus for causing display of notification content
US9507481B2 (en) 2013-04-17 2016-11-29 Nokia Technologies Oy Method and apparatus for determining an invocation input based on cognitive load
US10168766B2 (en) * 2013-04-17 2019-01-01 Nokia Technologies Oy Method and apparatus for a textural representation of a guidance
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9405369B2 (en) * 2013-04-26 2016-08-02 Immersion Corporation, Inc. Simulation of tangible user interface interactions and gestures using array of haptic cells
CN105556423B (zh) 2013-06-11 2019-01-15 意美森公司 用于基于压力的触觉效果的系统和方法
US10120447B2 (en) 2013-06-24 2018-11-06 Northwestern University Haptic display with simultaneous sensing and actuation
US9729730B2 (en) 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
KR102201730B1 (ko) * 2013-09-02 2021-01-12 엘지전자 주식회사 택타일 피드백을 발생하는 디스플레이 디바이스 및 그 제어 방법
US9520036B1 (en) * 2013-09-18 2016-12-13 Amazon Technologies, Inc. Haptic output generation with dynamic feedback control
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9489048B2 (en) * 2013-12-13 2016-11-08 Immersion Corporation Systems and methods for optical transmission of haptic display parameters
US9965034B2 (en) 2013-12-30 2018-05-08 Immersion Corporation Systems and methods for a haptically-enabled projected user interface
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
JP6319328B2 (ja) 2014-02-14 2018-05-09 富士通株式会社 教育用触感提供装置、及び、システム
EP3108344A4 (en) 2014-02-21 2017-11-22 Northwestern University Haptic display with simultaneous sensing and actuation
JP6381240B2 (ja) * 2014-03-14 2018-08-29 キヤノン株式会社 電子機器、触感制御方法及びプログラム
KR20160134799A (ko) * 2014-03-21 2016-11-23 임머숀 코퍼레이션 힘-기반 물체 조작 및 햅틱 감각들을 위한 시스템, 방법 및 컴퓨터-판독가능 매체
US9722985B2 (en) * 2014-05-01 2017-08-01 Qualcomm Incorporated Sensory output for image association
JP6294170B2 (ja) 2014-06-26 2018-03-14 京セラ株式会社 触感呈示装置
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
US9174134B1 (en) 2014-11-12 2015-11-03 Immersion Corporation Peripheral device with haptic diminishment prevention component
US10185396B2 (en) * 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
US9971406B2 (en) * 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback
US20170060241A1 (en) * 2015-08-26 2017-03-02 Fujitsu Ten Limited Input device, display device, method of controlling input device, and program
US9875625B2 (en) 2015-12-18 2018-01-23 Immersion Corporation Systems and methods for multifunction haptic output devices
KR101928550B1 (ko) * 2016-04-21 2018-12-12 주식회사 씨케이머티리얼즈랩 촉각 메시지 제공 방법 및 촉각 메시지 제공 장치
US9983675B2 (en) 2016-06-10 2018-05-29 Immersion Corporation Systems and methods for monitoring insulation integrity for electrostatic friction
DK201670728A1 (en) * 2016-09-06 2018-03-19 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Feedback During Interaction with an Intensity-Sensitive Button
US10234945B2 (en) 2016-09-09 2019-03-19 Immersion Corporation Compensated haptic rendering for flexible electronic devices
US10261586B2 (en) 2016-10-11 2019-04-16 Immersion Corporation Systems and methods for providing electrostatic haptic effects via a wearable or handheld device
JP6794763B2 (ja) * 2016-10-17 2020-12-02 コニカミノルタ株式会社 表示システム
US10416768B2 (en) 2016-12-28 2019-09-17 Immersion Corporation Unitary sensor and haptic actuator
US10955922B2 (en) * 2017-11-29 2021-03-23 International Business Machines Corporation Simulating tactile information for haptic technology
US10440848B2 (en) 2017-12-20 2019-10-08 Immersion Corporation Conformable display with linear actuator
EP3846005A4 (en) 2018-08-29 2022-05-04 Alps Alpine Co., Ltd. INPUT DEVICE, CONTROL METHOD AND PROGRAM
JP2021039260A (ja) * 2019-09-04 2021-03-11 株式会社東海理化電機製作所 提示装置
KR102242031B1 (ko) 2020-04-09 2021-04-19 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN111514581B (zh) * 2020-04-26 2023-09-15 网易（杭州）网络有限公司 游戏中虚拟对象的显示方法、装置以及电子终端
US11488331B2 (en) * 2020-11-03 2022-11-01 International Business Machines Corporation Smart interactive simulation-based content on a flexible display device

Family Cites Families (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6463795A (en) 1987-09-02 1989-03-09 Mitsubishi Electric Corp Guided missile
ES2074185T3 (es) 1990-03-23 1995-09-01 Rockwell International Corp Motor piezoelectrico.
EP0537384A1 (en) 1991-08-22 1993-04-21 Mitsubishi Jukogyo Kabushiki Kaisha Rotation control system for ultrasonic motor
US5629594A (en) * 1992-12-02 1997-05-13 Cybernet Systems Corporation Force feedback system
US6131097A (en) * 1992-12-02 2000-10-10 Immersion Corporation Haptic authoring
US5767839A (en) 1995-01-18 1998-06-16 Immersion Human Interface Corporation Method and apparatus for providing passive force feedback to human-computer interface systems
US5734373A (en) * 1993-07-16 1998-03-31 Immersion Human Interface Corporation Method and apparatus for controlling force feedback interface systems utilizing a host computer
WO1995020787A1 (en) * 1994-01-27 1995-08-03 Exos, Inc. Multimode feedback display technology
US6850222B1 (en) 1995-01-18 2005-02-01 Immersion Corporation Passive force feedback for computer interface devices
US5691898A (en) * 1995-09-27 1997-11-25 Immersion Human Interface Corp. Safe and low cost computer peripherals with force feedback for consumer applications
US5959613A (en) * 1995-12-01 1999-09-28 Immersion Corporation Method and apparatus for shaping force signals for a force feedback device
US5956484A (en) * 1995-12-13 1999-09-21 Immersion Corporation Method and apparatus for providing force feedback over a computer network
US6219032B1 (en) * 1995-12-01 2001-04-17 Immersion Corporation Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface
US7027032B2 (en) * 1995-12-01 2006-04-11 Immersion Corporation Designing force sensations for force feedback computer applications
US6028593A (en) * 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US6169540B1 (en) * 1995-12-01 2001-01-02 Immersion Corporation Method and apparatus for designing force sensations in force feedback applications
US6147674A (en) * 1995-12-01 2000-11-14 Immersion Corporation Method and apparatus for designing force sensations in force feedback computer applications
US6859819B1 (en) * 1995-12-13 2005-02-22 Immersion Corporation Force feedback enabled over a computer network
US6046527A (en) 1996-07-05 2000-04-04 Honeybee Robotics, Inc. Ultrasonic positioner with multiple degrees of freedom of movement
US6084587A (en) * 1996-08-02 2000-07-04 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with a haptic virtual reality environment
US7815436B2 (en) * 1996-09-04 2010-10-19 Immersion Corporation Surgical simulation interface device and method
JP4354540B2 (ja) * 1996-10-18 2009-10-28 ヤマハ株式会社 力覚駆動装置、力覚付与方法および記録媒体
US6285351B1 (en) * 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
US6292170B1 (en) * 1997-04-25 2001-09-18 Immersion Corporation Designing compound force sensations for computer applications
US6252579B1 (en) * 1997-08-23 2001-06-26 Immersion Corporation Interface device and method for providing enhanced cursor control with force feedback
JP4149574B2 (ja) 1997-08-29 2008-09-10 ゼロックス コーポレイション ユーザインターフェースサポートデバイス、及び情報入力方法
US6088019A (en) * 1998-06-23 2000-07-11 Immersion Corporation Low cost force feedback device with actuator for non-primary axis
US6448977B1 (en) * 1997-11-14 2002-09-10 Immersion Corporation Textures and other spatial sensations for a relative haptic interface device
WO1999038149A1 (en) * 1998-01-26 1999-07-29 Wayne Westerman Method and apparatus for integrating manual input
JP3987182B2 (ja) 1998-01-26 2007-10-03 Ｉｄｅｃ株式会社 情報表示装置および操作入力装置
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
JP3245571B2 (ja) * 1999-03-29 2002-01-15 関西日本電気ソフトウェア株式会社 視覚障害者のための画像表示システム、画像表示方法および画像表示プログラムを記録した記録媒体
DE20080209U1 (de) * 1999-09-28 2001-08-09 Immersion Corp Steuerung von haptischen Empfindungen für Schnittstellenvorrichtungen mit Vibrotaktiler Rückkopplung
US6433711B1 (en) * 1999-12-14 2002-08-13 Texas Instruments Incorporated System and method for offset error compensation in comparators
US6822635B2 (en) 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
JP2001290572A (ja) * 2000-04-05 2001-10-19 Fuji Xerox Co Ltd 情報処理装置
JP2001296950A (ja) * 2000-04-14 2001-10-26 Fuji Xerox Co Ltd 触力覚呈示装置及び記録媒体
US6963762B2 (en) * 2001-05-23 2005-11-08 Nokia Corporation Mobile phone using tactile icons
JP2003091233A (ja) * 2001-09-17 2003-03-28 Toru Saito 画像表示装置および画像入力装置
US7032188B2 (en) * 2001-09-28 2006-04-18 Nokia Corporation Multilevel sorting and displaying of contextual objects
US20050030292A1 (en) * 2001-12-12 2005-02-10 Diederiks Elmo Marcus Attila Display system with tactile guidance
WO2003052578A2 (de) 2001-12-18 2003-06-26 OCé PRINTING SYSTEMS GMBH Verfahren, gerätesystem und computerprogramm zum speichern und abrufen von druckdaten in einem netzwerk
US6703924B2 (en) 2001-12-20 2004-03-09 Hewlett-Packard Development Company, L.P. Tactile display apparatus
KR100769783B1 (ko) 2002-03-29 2007-10-24 가부시끼가이샤 도시바 표시 입력 장치 및 표시 입력 시스템
JP4061105B2 (ja) * 2002-03-29 2008-03-12 アルプス電気株式会社 力覚付与装置
US6904823B2 (en) 2002-04-03 2005-06-14 Immersion Corporation Haptic shifting devices
KR20040025398A (ko) 2002-09-19 2004-03-24 삼성전자주식회사 이동 통신 단말의 호착신 알림 방법
JP4117352B2 (ja) 2002-11-12 2008-07-16 株式会社ソニー・コンピュータエンタテインメント ファイル処理方法とこの方法を利用可能な装置
CN1320421C (zh) 2002-12-04 2007-06-06 皇家飞利浦电子股份有限公司 具有触摸检测能力的用于设备的控制面板及其控制方法
FI20022282A0 (fi) 2002-12-30 2002-12-30 Nokia Corp Menetelmä vuorovaikutuksen mahdollistamiseksi elektronisessa laitteessa ja elektroninen laite
EP1597895A2 (en) 2003-02-19 2005-11-23 Koninklijke Philips Electronics N.V. System for ad hoc sharing of content items between portable devices and interaction methods therefor
JP2004265281A (ja) 2003-03-04 2004-09-24 Univ Nihon 振動応答型タッチパネル
US20040218910A1 (en) * 2003-04-30 2004-11-04 Chang Nelson L. Enabling a three-dimensional simulation of a trip through a region
JP2004342018A (ja) 2003-05-19 2004-12-02 Alps Electric Co Ltd 力覚付与型入力装置
JP3856774B2 (ja) 2003-08-29 2006-12-13 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声出力装置、情報入力装置、ファイル選択装置、電話機、及びそのプログラムと記録媒体
DE10340188A1 (de) 2003-09-01 2005-04-07 Siemens Ag Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe
JP2005258666A (ja) 2004-03-10 2005-09-22 Sony Corp 入力装置および電子機器並びに電子機器の感触フィードバック入力方法
US20060209037A1 (en) 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
EP1728142B1 (en) * 2004-03-23 2010-08-04 Fujitsu Ltd. Distinguishing tilt and translation motion components in handheld devices
JP4046095B2 (ja) 2004-03-26 2008-02-13 ソニー株式会社 触覚機能付き入力装置、情報入力方法及び電子機器
US20060061545A1 (en) * 2004-04-02 2006-03-23 Media Lab Europe Limited ( In Voluntary Liquidation). Motion-activated control with haptic feedback
US20060024647A1 (en) 2004-07-30 2006-02-02 France Telecom Method and apparatus for communicating graphical information to a visually impaired person using haptic feedback
GB2416962B (en) 2004-08-05 2009-04-01 Vodafone Plc New communication type for mobile telecommunications networks
US9046922B2 (en) * 2004-09-20 2015-06-02 Immersion Corporation Products and processes for providing multimodal feedback in a user interface device
US8264465B2 (en) 2004-10-08 2012-09-11 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
US8677274B2 (en) 2004-11-10 2014-03-18 Apple Inc. Highlighting items for search results
JP4997114B2 (ja) * 2004-11-30 2012-08-08 イマージョン コーポレイション 振動触覚ハプティック効果を発生させるための共振装置を制御するためのシステムおよび方法
JP2006163579A (ja) * 2004-12-03 2006-06-22 Sony Corp 情報処理システム、情報処理装置及び情報処理方法
GB0503253D0 (en) * 2005-02-17 2005-03-23 Univ Northumbria Newcastle User control of a hand-held device
JP2006228151A (ja) 2005-02-21 2006-08-31 Tokai Rika Co Ltd タッチ式入力装置
DE102005011633A1 (de) * 2005-03-14 2006-09-21 Siemens Ag Berührungsempfindlicher Bildschirm mit haptischer Rückmeldung
US20060226298A1 (en) 2005-03-30 2006-10-12 Lionel L.L.C. Graphical method and system for model vehicle and accessory control
JP4756916B2 (ja) * 2005-05-31 2011-08-24 キヤノン株式会社 振動波モータ
EP2380640A3 (en) * 2005-06-27 2011-12-28 Coactive Drive Corporation Synchronized vibration device for haptic feedback
KR100739723B1 (ko) 2005-07-19 2007-07-13 삼성전자주식회사 오디오 썸네일 기능을 지원하는 오디오 재생 방법 및 장치
US7616192B2 (en) 2005-07-28 2009-11-10 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Touch device and method for providing tactile feedback
US8116740B2 (en) * 2005-09-21 2012-02-14 Nokia Corporation Mobile communication terminal and method
KR100791379B1 (ko) * 2006-01-02 2008-01-07 삼성전자주식회사 사용자 인터페이스 시스템 및 방법
WO2007111909A2 (en) * 2006-03-24 2007-10-04 Northwestern University Haptic device with indirect haptic feedback
US8525778B2 (en) 2007-03-21 2013-09-03 Northwestern University Haptic device with controlled traction forces
US8780053B2 (en) * 2007-03-21 2014-07-15 Northwestern University Vibrating substrate for haptic interface
WO2007117418A2 (en) 2006-03-31 2007-10-18 Wms Gaming Inc. Portable wagering game with vibrational cues and feedback mechanism
US20070236474A1 (en) 2006-04-10 2007-10-11 Immersion Corporation Touch Panel with a Haptically Generated Reference Key
US8174512B2 (en) * 2006-06-02 2012-05-08 Immersion Corporation Hybrid haptic device utilizing mechanical and programmable haptic effects
JP2007331066A (ja) * 2006-06-15 2007-12-27 Canon Inc 接触提示装置及び方法
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
US7920124B2 (en) 2006-08-29 2011-04-05 Canon Kabushiki Kaisha Force sense presentation device, mixed reality system, information processing method, and information processing apparatus
US20080068334A1 (en) * 2006-09-14 2008-03-20 Immersion Corporation Localized Haptic Feedback
US20100315345A1 (en) 2006-09-27 2010-12-16 Nokia Corporation Tactile Touch Screen
US7890863B2 (en) 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
JP5775669B2 (ja) * 2006-12-27 2015-09-09 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 振動触感フィードバックによる仮想移動止め機構
US8098234B2 (en) 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
JP2008225690A (ja) 2007-03-09 2008-09-25 Sony Corp 振動体、触覚機能付きの入力装置及び電子機器
WO2008132540A1 (en) 2007-04-26 2008-11-06 Nokia Corporation Method and mobile terminal with user input based on movement of the terminal detected by a sensor
US8315652B2 (en) 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
US8621348B2 (en) * 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
JP2009003867A (ja) 2007-06-25 2009-01-08 Panasonic Electric Works Co Ltd 表示装置およびコンピュータ・プログラム
US20090002328A1 (en) 2007-06-26 2009-01-01 Immersion Corporation, A Delaware Corporation Method and apparatus for multi-touch tactile touch panel actuator mechanisms
EP2026175B1 (en) * 2007-08-13 2010-10-13 Research In Motion Limited Tactile touchscreen for electronic device
US8565535B2 (en) 2007-08-20 2013-10-22 Qualcomm Incorporated Rejecting out-of-vocabulary words
US8209321B2 (en) 2007-08-31 2012-06-26 Microsoft Corporation Emphasizing search results according to conceptual meaning
KR101348721B1 (ko) 2007-09-03 2014-01-08 엘지전자 주식회사 휴대 단말기 및 그 휴대 단말기의 터치 인식 방법
US20090102805A1 (en) 2007-10-18 2009-04-23 Microsoft Corporation Three-dimensional object simulation using audio, visual, and tactile feedback
KR100954529B1 (ko) * 2007-11-27 2010-04-23 한국과학기술연구원 원환형 압전 초음파 공진기 및 그를 이용한 압전 초음파회전모터
US9569086B2 (en) 2007-12-12 2017-02-14 Nokia Technologies Oy User interface having realistic physical effects
EP2245612B1 (en) * 2008-02-04 2013-07-17 Nokia Corporation Device and method for providing tactile information
US20090207129A1 (en) * 2008-02-15 2009-08-20 Immersion Corporation Providing Haptic Feedback To User-Operated Switch
BRPI0804355A2 (pt) 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo
KR101956999B1 (ko) 2008-07-15 2019-03-11 임머숀 코퍼레이션 햅틱 메시지들을 송신하기 위한 시스템 및 방법
US20100020036A1 (en) 2008-07-23 2010-01-28 Edward Hui Portable electronic device and method of controlling same
NL2003141A1 (nl) * 2008-07-30 2010-02-02 Asml Holding Nv Actuator system using multiple piezoelectric actuators.
US8749495B2 (en) * 2008-09-24 2014-06-10 Immersion Corporation Multiple actuation handheld device
US8484179B2 (en) 2008-12-08 2013-07-09 Microsoft Corporation On-demand search result details
JP5779508B2 (ja) 2009-03-12 2015-09-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ テクスチャエンジン用のシステム及び方法
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US9927873B2 (en) 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
JP5668076B2 (ja) * 2009-11-17 2015-02-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 電子デバイスにおける触覚帯域を増加するためのシステム及び方法
WO2012125924A2 (en) 2011-03-17 2012-09-20 Coactive Drive Corporation Asymmetric and general vibration waveforms from multiple synchronized vibration actuators
US9836150B2 (en) 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US10168766B2 (en) 2013-04-17 2019-01-01 Nokia Technologies Oy Method and apparatus for a textural representation of a guidance
US20140317200A1 (en) 2013-04-17 2014-10-23 Nokia Corporation Method and Apparatus for a Textural Representation of a Notification
US9501147B2 (en) 2013-12-29 2016-11-22 Immersion Corporation Haptic device incorporating stretch characteristics

Also Published As

Publication number Publication date
US20180173312A1 (en) 2018-06-21
JP2016197425A (ja) 2016-11-24
US20100231541A1 (en) 2010-09-16
CN106200955B (zh) 2019-10-15
JP6463795B2 (ja) 2019-02-06
JP2015130186A (ja) 2015-07-16
JP5960307B2 (ja) 2016-08-02
JP6143922B2 (ja) 2017-06-07
JP2019079555A (ja) 2019-05-23
US10379618B2 (en) 2019-08-13
EP3258346A1 (en) 2017-12-20
US9927873B2 (en) 2018-03-27
CN106200955A (zh) 2016-12-07
JP2017174446A (ja) 2017-09-28
US20190187795A9 (en) 2019-06-20

Similar Documents

Publication Publication Date Title
JP6802299B2 (ja) グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
JP5694204B2 (ja) グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
US10198077B2 (en) Systems and methods for a texture engine
KR102051180B1 (ko) 텍스처 엔진에 대한 시스템 및 방법
EP2406701B1 (en) System and method for using multiple actuators to realize textures
KR101899506B1 (ko) 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법
KR20110130470A (ko) 다수의 액츄에이터를 사용하여 텍스처를 실현하는 시스템 및 방법
CN104516583B (zh) 输入装置及其控制方法、信息处理装置
US20160246375A1 (en) Systems And Methods For User Interaction With A Curved Display
FI118100B (fi) Valitsin

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201126

R150 Certificate of patent or registration of utility model

Ref document number: 6802299

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150