JP6224187B2 - テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法 - Google Patents

テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法 Download PDF

Info

Publication number
JP6224187B2
JP6224187B2 JP2016151799A JP2016151799A JP6224187B2 JP 6224187 B2 JP6224187 B2 JP 6224187B2 JP 2016151799 A JP2016151799 A JP 2016151799A JP 2016151799 A JP2016151799 A JP 2016151799A JP 6224187 B2 JP6224187 B2 JP 6224187B2
Authority
JP
Japan
Prior art keywords
actuator
haptic
haptic effect
texture
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016151799A
Other languages
English (en)
Other versions
JP2017010571A (ja
Inventor
ファン マニュエル クルス−エルナンデス、
ファン マニュエル クルス−エルナンデス、
ダニー エイ. グラント、
ダニー エイ. グラント、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/696,893 external-priority patent/US9746923B2/en
Priority claimed from US12/696,900 external-priority patent/US9696803B2/en
Priority claimed from US12/696,908 external-priority patent/US10007340B2/en
Priority claimed from US12/697,010 external-priority patent/US9874935B2/en
Priority claimed from US12/697,037 external-priority patent/US9927873B2/en
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2017010571A publication Critical patent/JP2017010571A/ja
Application granted granted Critical
Publication of JP6224187B2 publication Critical patent/JP6224187B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B06GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06BMETHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1601Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02NELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02NELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H02N2/06Drive circuits; Control arrangements or methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems

Description

本発明は、一般に、触覚フィードバックに関し、より詳細には、テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法に関する。
(関連出願への相互参照)
本特許出願は、2009年3月12日に提出された“Locating Features Using a Friction Display”と題された米国仮特許出願第61/159,482号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、2009年11月17日に提出された“System and Method for Increasing Haptic Bandwidth in an Electronic Device”と題された米国仮特許出願第61/262,041号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、2009年11月17日に提出された“Friction Rotary Device for Haptic Feedback”と題された米国仮特許出願第61/262,038号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、2010年1月29日に提出された“Systems And Methods For Providing Features In A Friction Display”と題された米国特許出願第12/696,893号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、2010年1月29日に提出された“Systems And Methods For Friction Displays And Additional Haptic Effects”と題された米国特許出願第12/696,900号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、2010年1月29日に提出された“Systems And Methods For Interfaces Featuring Surface−Based Haptic Effects”と題された米国特許出願第12/696,908号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、2010年1月29日に提出された“Systems And Methods For A Texture Engine”と題された米国特許出願第12/697,010号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、2010年1月29日に提出された“Systems And Methods For Using Textures In Graphical User Interface Widgets”と題された米国特許出願第12/697,037号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
本特許出願は、2010年1月29日に提出された“Systems And Methods For Using Multiple Actuators To Realize Textures”と題された米国特許出願第12/697,042号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
過去数年にわたり、あらゆる種類のハンドヘルド装置の使用が急増している。こうした装置は、携帯型オーガナイザ、電話、音楽プレーヤ、及びゲームシステムとして使用される。現在、多くの最新式ハンドヘルド装置には、何らかの種類の触覚フィードバックが組み込まれている。触覚技術が進歩するにつれて、装置にはテクスチャを含む触覚フィードバックが組み込まれる場合がある。こうした装置は、複数のアクチュエータから利益を享受し得る。従って、テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法が必要とされる。
本発明の実施形態は、テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法を提供する。例えば、一実施形態では、テクスチャを実現するために複数のアクチュエータを用いるシステムは、第1の触覚信号を受信して第1の触覚信号に少なくとも部分的に基づいて第1の触覚効果を出力するように構成される第1のアクチュエータと、第2の触覚信号を受信して第2の触覚信号に少なくとも部分的に基づいて第2の触覚効果を出力するように構成される第2のアクチュエータと、組み合わされると1つのテクスチャを出力するように構成される第1の触覚効果及び第2の触覚効果を決定し、第1のアクチュエータに第1の触覚信号を送信し且つ第2のアクチュエータに第2の触覚信号を送信するように構成されるプロセッサとを備えるシステムを含む。
こうした例示の実施形態は、本発明を限定又は定義するのではなく、その理解を容易にする例示を提供するために言及される。例示の実施形態は、発明の詳細な説明において検討され、そこでは本発明のさらなる説明が提供される。本発明の多様な実施形態によって提供される利点は、本明細書を吟味することでさらに理解され得る。
本発明のこれらの及び他の特徴、態様、及び利点は、添付の図面を参照して以下の詳細な説明を読めば、よりよく理解される。
本発明の一実施形態によるテクスチャを実現するために複数のアクチュエータを用いるシステムのブロック図である。 本発明の一実施形態によるテクスチャを実現するために複数のアクチュエータを用いるシステムの例示である。 本発明の一実施形態によるテクスチャを実現するために複数のアクチュエータを用いるシステムの別の例示である。 本発明の一実施形態によるテクスチャを実現するために複数のアクチュエータを用いるシステムの別の例示である。 本発明の一実施形態によるテクスチャを実現するために複数のアクチュエータを用いるシステムの別の例示である。 本発明の一実施形態によるテクスチャを実現するために複数のアクチュエータを用いる方法の流れ図である。 本発明の一実施形態により複数のアクチュエータを用いて実現され得るテクスチャの1つの例示である。 本発明の一実施形態により複数のアクチュエータを用いて実現され得るテクスチャの1つの別の例示である。 本発明の一実施形態により複数のアクチュエータを用いて実現され得るテクスチャの1つの別の例示である。 本発明の一実施形態により複数のアクチュエータを用いて実現され得るテクスチャの1つの別の例示である。 本発明の一実施形態により複数のアクチュエータを用いて実現され得るテクスチャの1つの別の例示である。 本発明の一実施形態により複数のアクチュエータを用いて実現され得るテクスチャの1つの別の例示である。
本発明の実施形態は、テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法を提供する。
(テクスチャを実現するために複数のアクチュエータを用いる例示的な実施形態)
本発明の1つの例示の実施形態は、例えば、携帯電話等のメッセージング装置を含む。例示の実施形態では、メッセージング装置は、以前はImmersion社のVibeTonz(R)振動触覚フィードバックシステムとして知られていた、Immersion社のTouchSense(R)3000、TouchSense(R)4000、又はTouchSense(R)5000という振動触覚フィードバックシステムを搭載したSamsung Haptic Phone(SCH−W420)を含む。他の実施形態では、異なるメッセージング装置及び触覚フィードバックシステムが利用されてもよい。
例示のメッセージング装置は、ディスプレイ、スピーカ、ネットワークインターフェース、メモリ、及びこうした各要素と通信するプロセッサを備える。また、例示のメッセージング装置は、タッチセンサ式インターフェース及び少なくとも2つのアクチュエータアクチュエータも備える。これらは全てプロセッサと通信する。タッチセンサ式インターフェースは、メッセージング装置とユーザの相互作用を感知するように構成され、アクチュエータは、触覚効果を出力するように構成される。例示のメッセージング装置は、ユーザ相互作用を検出してユーザ相互作用に関連付けられるインターフェース信号をプロセッサに送信するように構成される操作子をさらに備えてもよい。
例示のメッセージング装置において、ディスプレイは、グラフィカルユーザインターフェースをユーザに対して表示するように構成される。グラフィカルユーザインターフェースは、仮想オブジェクト、例えば、アイコン、ボタン、又は仮想キーボードを含んでもよい。例示のメッセージング装置は、例えば、ディスプレイの上に搭載されたタッチスクリーン等のタッチセンサ式インターフェースをさらに備える。タッチセンサ式インターフェースは、ユーザがグラフィカルユーザインターフェースに表示された仮想オブジェクトと相互作用することを可能にする。例えば、一実施形態では、グラフィカルユーザインターフェースは、仮想キーボードを備えてもよい。このような実施形態では、タッチセンサ式インターフェースは、ユーザが仮想キーボード上のキーに触れてそのキーを押すことを可能にする。この機能性は、メッセージをタイプし、又はグラフィカルユーザインターフェース内のオブジェクトと相互作用するために使用されてもよい。
例示のメッセージング装置において、プロセッサは、第1の触覚効果を決定して、第1の触覚効果を出力するように構成される第1のアクチュエータに第1の触覚効果に対応する第1の触覚信号を送信するように構成される。また、プロセッサは、第2の触覚効果を決定して、第2の触覚効果を出力するように構成される第2のアクチュエータに第2の触覚効果に対応する第2の触覚信号を送信するようにも構成される。それぞれのアクチュエータによって出力される触覚効果は、例えば、振動、ノッキング、うなり、衝撃、又はトルクをメッセージング装置に与える当技術分野で周知の複数の触覚効果のうちの1つを含んでもよい。例示のメッセージング装置において、こうした触覚効果は、タッチセンサ式インターフェースの表面でユーザが感知するテクスチャをシミュレートする。シミュレートされるテクスチャは、ディスプレイ上に示されるユーザインターフェースに関連付けられてもよい。例えば、ディスプレイは、岩の形状を含むアイコンを示してもよい。このような実施形態では、プロセッサは、タッチセンサ式インターフェースの表面上で岩のテクスチャをシミュレートするように構成される触覚効果を決定してもよい。次に、プロセッサは、第1のアクチュエータに第1の触覚信号を送信するであろう。第1のアクチュエータは、触覚信号を受信すると、タッチセンサ式インターフェースの表面を岩のテクスチャに近似させるように構成される周波数で振動のような触覚効果を出力するであろう。
幾つかの実施形態では、プロセッサは、実現するために複数のアクチュエータを必要とするより複雑な触覚効果を決定してもよい。例えば、岩石のテクスチャは、ユーザインターフェース上で指を動かすときにユーザが感知する裂け目及び隆起を含んでもよい。このような実施形態では、プロセッサは、裂け目及び隆起をシミュレートするように構成される第2の触覚効果をさらに決定してもよい。次に、プロセッサは、第2の触覚効果に関連付けられる第2の触覚信号を第2のアクチュエータに送信するようにも構成される。第2のアクチュエータは、第2の触覚信号を受信すると、第2の触覚効果を生成するであろう。
幾つかの実施形態では、第1及び第2の触覚効果は、組み合わされると、単一の触覚効果を形成するように構成される。例えば、第1及び第2の触覚効果は、組み合わされるとタッチセンサ式インターフェースの表面においてテクスチャをシミュレートする調和を形成する2つの振動を含んでもよい。他の実施形態では、2つの触覚効果は、別々に感知されてもよい。例えば、一方の触覚効果は、タッチセンサ式インターフェースの表面に砂のテクスチャをシミュレートするように構成される振動を含んでもよい。そして、第2の触覚効果は、小石又は砂中の他の材料のテクスチャをシミュレートするように構成されるパルス性の振動を含んでもよい。
例示の実施形態では、プロセッサは、第1及び第2の触覚効果を決定するために触覚マップを実装してもよい。例えば、例示の実施形態では、プロセッサは、各々が色彩に関連付けられる複数のピクセルを含む表示信号を受信してもよい。例えば、例示の実施形態では、表示信号における各ピクセルは、赤、緑又は青の色彩に関連付けられてもよく、さらにその色彩に対する強度に関連付けられてもよい。例示の実施形態では、プロセッサは、各色彩に対して触覚値を割り当て、さらに各色彩の強度に関連付けられる触覚強度を割り当てるであろう。次に、プロセッサは、第1のアクチュエータに触覚値及び触覚強度の一部を含む第1の触覚信号を送信するであろう。また、プロセッサは、第2のアクチュエータに追加の触覚値及び触覚強度を含む第2の触覚信号を送信してもよい。例示の実施形態では、プロセッサは、1つの色彩、例えば、赤の色彩に関連付けられる全ての触覚値を第1のアクチュエータに送信し、他の色彩に関連付けられる全ての触覚値を第2のアクチュエータに送信してもよい。
幾つかの実施形態では、プロセッサ110は、触覚マップを利用して触覚効果を決定し、それからディスプレイ116に表示信号を出力してもよい。他の実施形態では、プロセッサ110は、触覚マップを用いて触覚効果を決定し、それからディスプレイ116に表示信号を送信しなくてもよい。このような実施形態では、アクチュエータ118及び124が触覚効果を出力している間に、ディスプレイ116は、暗色又は休止のままであってもよい。例えば、このような実施形態では、プロセッサ110は、メッセージング装置102に関連付けられるデジタルカメラから表示信号を受信してもよい。幾つかの実施形態では、バッテリを節約するために、ユーザは、ディスプレイ116を非活性化していてもよい。このような実施形態では、プロセッサは、触覚マップを利用して、ディスプレイの表面にテクスチャをシミュレートする触覚効果をユーザに提供してもよい。このテクスチャは、カメラの焦点が合っているとき、又は他の何らかのイベントが発生したときに、ユーザに通知するために使用されてもよい。例えば、プロセッサ110は、顔認識ソフトウェアを用いて、ディスプレイ116が活性化された場合に、ディスプレイ116上の複数の場所で顔に関係付けられるであろうテクスチャをシミュレートする触覚効果を決定してもよい。
例示の実施形態では、プロセッサは、さらに外部トリガに基づいて第1の触覚効果及び第2の触覚効果を決定してもよい。例えば、例示の実施形態では、プロセッサは、ユーザ相互作用を検出するように構成されるタッチセンサ式インターフェースからインターフェース信号を受信するように構成される。次に、例示の実施形態では、プロセッサは、インターフェース信号に少なくとも部分的に基づいて第1の触覚効果及び第2の触覚効果を決定するであろう。例えば、プロセッサは、インターフェース信号に少なくとも部分的に基づいて各触覚効果の触覚値又は触覚強度を修正してもよい。例示の実施形態では、タッチセンサ式インターフェースが高速又は高圧のユーザ相互作用を検出する場合、プロセッサはより高強度の触覚効果を決定するであろう。
例示のメッセージング装置は、多くの目的で触覚効果を出力してもよい。例えば、一実施形態では、触覚効果は、ユーザ相互作用に関連付けられるインターフェース信号をプロセッサが受信したことの確認として作用してもよい。例えば、グラフィカルユーザインターフェースは、ボタンを含んでもよい。例えば、タッチセンサ式インターフェースは、ボタンを押すことに関連付けられたユーザ相互作用を検出すると、プロセッサにインターフェース信号を送信するであろう。これに応じて、プロセッサは、インターフェース信号を受信したことを確認するための触覚効果を決定してもよい。このような実施形態では、触覚効果は、タッチセンサ式インターフェースの表面でテクスチャをシミュレートするように構成されてもよい。例示の実施形態では、プロセッサは、他の目的で触覚効果をさらに決定してもよい。例えば、例示のメッセージング装置は、ユーザにディスプレイの境界を通知し、又はディスプレイの表面のアイコン等のオブジェクトに対する識別としてタッチセンサ式インターフェースの表面においてテクスチャをシミュレートしてもよい。
この例示は、本明細書で検討される一般的な主題を読者に紹介するために与えられる。本発明は、この例示には限定されない。以下の段落は、テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法の様々な追加の非限定的な実施形態及び例示を記載する。
(テクスチャを実現するために複数のアクチュエータを用いる例示的なシステム)
次に、複数の図面を通じて同様の番号が同様の要素を示す図面を参照すると、図1は、本発明の一実施形態によるテクスチャを実現するために複数のアクチュエータを用いるシステムのブロック図である。図1に示されるように、システム100は、例えば、携帯電話、PDA(portable digital assistant)、携帯型メディアプレーヤ、携帯型コンピュータ、携帯型ゲーム装置又は他の何らかの移動装置等のメッセージング装置102を備える。幾つかの実施形態では、メッセージング装置102は、ラップトップ、タブレット、又はデスクトップPC等の完全なコンピュータを含んでもよい。さらに他の実施形態では、メッセージング装置は、PC又は他の何らかの装置と共に使用される外部モニタを含んでもよい。メッセージング装置102は、ネットワークインターフェース112、タッチセンサ式インターフェース114、ディスプレイ116、2つのアクチュエータ118及び124、スピーカ120、並びにメモリ122と通信するプロセッサ110を備える。
プロセッサ110は、メモリ122に記憶されるコンピュータ実行可能プログラム命令を実行するように構成される。例えば、プロセッサ110は、メッセージング又は触覚フィードバック生成のために1つ以上のコンピュータプログラムを実行してもよい。プロセッサ110は、マイクロプロセッサ、DSP(digital signal processor)、ASIC(application−specific integrated circuit)、1つ以上のFPGA(field programmable gate array)、又は状態機械を備えてもよい。プロセッサ110は、例えば、PLC(programmable logic controller)、PIC(programmable interrupt controller)、PLD(programmable logic device)、PROM(programmable read−only memory)、EPROM若しくはEEPROM(electronically programmable read only memory)、又は他の類似の装置等のプログラム可能電子装置をさらに備えてもよい。
メモリ122は、プロセッサ110によって実行されると、本明細書に記載したような様々なステップをプロセッサ110に実行させる命令を記憶するコンピュータ可読媒体を含む。コンピュータ可読媒体の実施形態は、限定されないが、電子、光学、磁気、又はプロセッサ110にコンピュータ可読命令を提供可能な他の記憶装置若しくは伝送装置を含んでもよい。媒体の他の例は、限定されないが、フロッピー(登録商標)ディスク、CD−ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読取り可能な任意の他の媒体を含む。さらに、様々な他の装置は、例えば、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。プロセッサ110及び記載された処理は、1つ以上の構造内にあってもよく、1つ以上の構造にわたって分散されてもよい。
プロセッサ110は、ネットワークインターフェース112と通信する。ネットワークインターフェース112は、例えば、赤外線、無線、Wi−Fi又はセルラネットワーク通信等の1つ以上の移動式通信方法を備えてもよい。他の変形では、ネットワークインターフェース112は、例えば、イーサネット(登録商標)等の有線ネットワークインターフェースを備える。メッセージング装置102は、例えば、セルラネットワーク及び/又はインターネット等のネットワークを介して他の装置(図示せず)とメッセージ又は仮想メッセージオブジェクトを交換するように構成され得る。装置間で交換されるメッセージの実施形態は、音声メッセージ、テキストメッセージ、データメッセージ、又は他の形態のデジタルメッセージを含んでもよい。
また、プロセッサ110は、1つ以上のタッチセンサ式インターフェース114とも通信する。幾つかの実施形態では、タッチセンサ式インターフェース114は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、幾つかの実施形態では、タッチセンサ式インターフェース114は、表示信号を受信してユーザに画像を出力するように構成されるディスプレイの上に搭載されるタッチスクリーンを含んでもよい。他の実施形態では、タッチセンサ式インターフェース114は、光学センサ又は別の種類のセンサを備えてもよい。一実施形態では、タッチセンサ式インターフェースは、LED検出器を備えてもよい。例えば、一実施形態では、タッチセンサ式インターフェース114は、ディスプレイ116の側部に取り付けられるLED指検出器を備えてもよい。他の実施形態では、タッチセンサ式インターフェース114は、ボタン、スイッチ、スクロールホイール、ローラーボール、又は当技術分野で周知の何らかの他の種類の物理的装置インターフェースを含んでもよい。幾つかの実施形態では、プロセッサは、単一のタッチセンサ式インターフェース114と通信し、他の実施形態では、プロセッサは、複数のタッチセンサ式インターフェース、例えば、タッチスクリーン及びローラーボールと通信する。タッチセンサ式インターフェース114は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ110に信号を送信するように構成される。幾つかの実施形態では、タッチセンサ式インターフェース114は、複数の態様のユーザ相互作用を検出するように構成されてもよい。例えば、タッチセンサ式インターフェース114は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。
また、図1に示される実施形態では、プロセッサ110は、ディスプレイ116とも通信する。プロセッサ110は、ディスプレイ116に示されるユーザインターフェースの図形表現を生成してから、ディスプレイ116にこの図形表現を含む表示信号を送信するように構成され得る。他の実施形態では、ディスプレイ116は、別の装置から表示信号を受信するように構成される。例えば、幾つかの実施形態では、ディスプレイ116は、コンピュータモニタ等の外部ディスプレイを含んでもよい。ディスプレイ116は、表示信号を受信して、その表示信号に関連付けられる画像を出力するように構成される。幾つかの実施形態では、表示信号はVGA、HDMI、SVGA、VIDEO、S−VIDEO、又は当技術分野で周知の他の種類の表示信号を含んでもよい。幾つかの実施形態では、ディスプレイ116は、例えば、LCD(Liquid Crystal Display)又はプラズマスクリーンディスプレイ等のフラットスクリーンディスプレイを含む。他の実施形態では、ディスプレイ116は、CRT(Cathode Ray Tube)、又は当技術分野で周知の他の種類のディスプレイを含む。さらに他の実施形態では、ディスプレイ116は、タッチセンサ式インターフェース114を含んでもよく、例えば、ディスプレイ116は、タッチスクリーンLCDを含んでもよい。さらに他の実施形態では、ディスプレイ116は、フレキシブルスクリーン又はフレキシブルディスプレイを含んでもよい。例えば、幾つかの実施形態では、ディスプレイ116は、その表面の下側に取り付けられる触角基板を備えてもよい。このような実施形態では、ディスプレイ116は可撓性材料から作られ、プロセッサ110から受信される信号に応答して、触覚基板が曲がることで、ディスプレイ116の表面に隆起、谷間、又は他の特徴を形成する。幾つかの実施形態では、触覚基板は、プラズマアクチュエータ、圧電アクチュエータ、電気活性ポリマ、微小電気機械システム、形状記憶合金、流体グリッド又はガス充填セルを含んでもよい。
幾つかの実施形態では、プロセッサ110は、ディスプレイ116に示されるグラフィカルユーザインターフェースとの相互作用に関連付けられる信号をタッチセンサ式インターフェース114から受信する。例えば、一実施形態では、タッチセンサ式インターフェース114は、タッチスクリーンを含んでもよく、ディスプレイ116上のグラフィカルユーザインターフェースは、仮想キーボードを含んでもよい。このような実施形態では、ユーザが仮想キーボードのキーの1つと重なるタッチスクリーンの一部と相互作用すると、タッチスクリーンは、このユーザ相互作用に対応するインターフェース信号をプロセッサ110に送信するであろう。このインターフェース信号に基づいて、プロセッサ110は、ユーザが仮想キーボード上でキーの1つを押したことを決定するであろう。この機能性は、ユーザがディスプレイ116上の他のアイコン及び仮想オブジェクトと相互作用することを可能にする。例えば、幾つかの実施形態では、ユーザは、タッチスクリーンをフリックして、仮想ボールを移動させ又は仮想つまみを回してもよい。別の実施形態では、メッセージング装置102は、例えば、スクロールホイール、ローラーボール、又はボタン等の別のタッチセンサ式インターフェース114を備えてもよい。このような実施形態では、追加のタッチセンサ式インターフェース114は、ユーザとグラフィカルユーザインターフェースとの間の同様の相互作用を容易にしてもよい。
また、図1に示されるように、プロセッサ110は、少なくとも2つのアクチュエータ118及び124、各アクチュエータ用のサスペンションシステム、並びに各アクチュエータ用の電力及び制御配線を備える作動システムとも通信する。幾つかの実施形態では、メッセージング装置102は、1つ以上の作動システムを備える。プロセッサ110は、第1の触覚効果を決定して、第1の触覚効果に対応する第1の触覚信号をアクチュエータ118に送信するように構成される。また、プロセッサ110は、第2の触覚効果を決定して、第2の触覚効果に対応する第2の触覚信号をアクチュエータ124に送信するようにも構成される。幾つかの実施形態では、触覚効果は、ディスプレイ116、タッチセンサ式インターフェース114、又はメッセージング装置102の筐体の表面で感知される振動触覚テクスチャをシミュレートする。幾つかの実施形態では、各触覚効果を決定することは、一連の計算を実行することを含んでもよい。他の実施形態では、各触覚効果を決定することは、ルックアップテーブルにアクセスすることを含んでもよい。さらに他の実施形態では、各触覚効果を決定することは、ルックアップテーブルと計算との組み合わせを含んでもよい。
幾つかの実施形態では、触覚効果を決定することは、触覚マップを含んでもよい。このような実施形態では、触覚効果を決定することは、表示信号をアクチュエータ118及び124にマッピングすることを含んでもよい。例えば、表示信号は、各々が色彩に関連付けられる複数のピクセルを含んでもよい。このような実施形態では、各ピクセルは、赤、緑又は青の色彩に関連付けられてもよい。さらにその色彩は、強度、例えば、1−8の強度に関連付けられてもよい。このような実施形態では、触覚効果を決定することは、各色彩に触覚効果を割り当てることを含んでもよい。幾つかの実施形態では、触覚効果は、動作の方向及び強度を含んでもよい。例えば、一実施形態では、触覚信号は、回転アクチュエータを半分の力で時計回りに回転させるように構成されてもよい。幾つかの実施形態では、動作の強度は、色彩の強度に関連付けられてもよい。プロセッサ110は、触覚効果を決定すると、触覚効果を含む触覚信号をアクチュエータに送信する。幾つかの実施形態では、プロセッサ110は、表示信号における一部のピクセルのみに触覚効果を割り当ててもよい。例えば、このような実施形態では、触覚効果は、表示信号の一部のみに関連付けられてもよい。他の実施形態では、プロセッサ110は、一部の表示信号を一方のアクチュエータにマッピングし、残りの表示信号を他方のアクチュエータにマッピングするように構成される。例えば、このような実施形態では、プロセッサ110は、赤の色彩に関連付けられる触覚効果をアクチュエータ118にマッピングし、他の全ての触覚効果をアクチュエータ124にマッピングするように構成されてもよい。
幾つかの実施形態では、プロセッサ110は、ユーザ相互作用又はトリガに少なくとも部分的に基づいて第1の触覚効果及び第2の触覚効果を決定してもよい。このような実施形態では、プロセッサ110は、タッチセンサ式インターフェース114からインターフェース信号を受信して、このインターフェース信号に少なくとも部分的に基づいて第1の触覚効果及び第2の触覚効果を決定する。例えば、幾つかの実施形態では、プロセッサ110は、タッチセンサ式インターフェース114によって検出されるユーザ相互作用の場所に基づいて第1の触覚効果及び第2の触覚効果を決定してもよい。例えば、このような実施形態では、プロセッサ110は、ディスプレイ116上の仮想オブジェクトのテクスチャをシミュレートするために触覚効果を決定してもよい。他の実施形態では、プロセッサ110は、インターフェース信号に少なくとも部分的に基づいて各触覚効果の強度を決定してもよい。例えば、タッチセンサ式インターフェース114が高圧のユーザ相互作用を検出すると、プロセッサ110は、高強度の触覚効果を決定してもよい。別の実施形態では、タッチセンサ式インターフェース114が低圧のユーザ相互作用を検出すると、プロセッサ110は、低強度の触覚効果を決定してもよい。さらに他の実施形態では、プロセッサ110は、第1のテクスチャをシミュレートする持続性の振動であって、第1のアクチュエータによって出力される第1の触覚効果を決定してもよい。このような実施形態では、プロセッサは、第1のテクスチャ内のテクスチャをシミュレートするための短いパルス性の振動であって、第2のアクチュエータによって出力される第2の触覚効果を決定してもよい。例えば、一実施形態では、第1の触覚効果は、砂のテクスチャをシミュレートするように構成され、第2の触覚効果は、砂中の岩のテクスチャをシミュレートするように構成されてもよい。
プロセッサ110は、第1及び第2の触覚効果を決定すると、第1の触覚効果に関連付けられる第1の触覚信号をアクチュエータ118に送信し、第2の触覚効果に関連付けられる第2の触覚信号をアクチュエータ124に送信する。アクチュエータ118及び124は、プロセッサ110から第1及び第2の触覚信号を受信して、対応する触覚効果を出力するように構成される。アクチュエータ118及び124は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ(ERM)、固定圧電アクチュエータ(FPA)、リニア圧電アクチュエータ(LPA)又はリニア共振アクチュエータ(LRA)であってもよい。幾つかの実施形態では、アクチュエータ118及び124は、異なる種類のアクチュエータを含んでもよい。例えば、アクチュエータ118は、偏心回転質量モータを含んでもよく、アクチュエータ124は、リニア共振アクチュエータを含んでもよい。
アクチュエータ118及び124によって出力される触覚効果は、例えば、振動、ノッキング、うなり、衝撃、又はトルクをメッセージング装置に与える当技術分野で周知の複数の触覚効果のうちのいずれかを含んでもよい。幾つかの実施形態では、触覚効果は、タッチセンサ式インターフェース114又はディスプレイ116の表面にユーザが感知するテクスチャをシミュレートするように構成される。このテクスチャは、ディスプレイ116に示されるグラフィカルユーザインターフェースに関連付けられてもよい。例えば、ディスプレイ116は、革製の鞄を表示してもよい。このような実施形態では、プロセッサ110は、革のテクスチャをシミュレートする触覚効果をアクチュエータ118及び124に出力させるように構成される触覚信号をアクチュエータ118及び124に送信してもよい。他の実施形態では、アクチュエータ118及び124は、水、氷、砂、砂利、雪、皮膚、毛皮、又は別の表面のテクスチャをシミュレートする触覚効果を出力するように構成されてもよい。幾つかの実施形態では、触覚効果は、メッセージング装置102の異なる部分に、例えば、その筐体上に出力されてもよい。
幾つかの実施形態では、アクチュエータ118及び124は、組み合わされると単一の触覚効果を形成する別個の振動を出力するように構成される。例えば、アクチュエータ118及びアクチュエータ124は、異なる周波数で触覚効果をそれぞれ出力してもよい。幾つかの実施形態では、こうした2つの触覚効果が組み合わされると、それらはユーザが1つの触覚効果として感知する調和を形成する。例えば、幾つかの実施形態では、こうした調和は、タッチセンサ式インターフェース114の表面にユーザが感知するテクスチャをシミュレートしてもよい。他の実施形態では、アクチュエータ118及び124の一方は、テクスチャをシミュレートする持続性の触覚効果を出力するように構成される。このような実施形態では、他のアクチュエータは、そのテクスチャの撹乱をシミュレートする第2の触覚効果を出力するように構成されてもよい。例えば、 このような実施形態では、アクチュエータ118は、水のテクスチャをシミュレートする触覚効果を出力するように構成されてもよい。このような実施形態では、アクチュエータ124は、水中のオブジェクト、例えば、魚、海草、又は流木のテクスチャを表す触覚効果を周期的に出力するように構成されてもよい。さらに他の実施形態では、アクチュエータ118及びアクチュエータ124は、同じ触覚効果を出力するように構成されてもよいが、ユーザがタッチセンサ式インターフェース114の表面を移動すると触覚効果の周波数応答を増加するように構成されてもよい。例えば、一実施形態では、ディスプレイ116は仮想キーボードを含んでもよい。ユーザが各キーに触れると、プロセッサ110は、ユーザの入力を受信したことを確認するための触覚効果を決定してもよい。このような実施形態では、プロセッサは、触覚効果相互間の遅延時間を減らすためにアクチュエータ118及び124の両方を利用してもよい。例えば、プロセッサは、ユーザがキーボードをタイプすると、アクチュエータ118及び124を交互に繰り返してもよい。これにより、各アクチュエータが触覚効果を出力し、別の触覚信号を受信して別の触覚効果を出力する前に初期化することが可能になる。
プロセッサ110は、様々な理由で触覚効果を決定してもよい。幾つかの実施形態では、触覚効果は、ユーザ相互作用に関連付けられた信号をプロセッサ110がタッチセンサ式インターフェース114から受信したことの確認として作用してもよい。例えば、一実施形態では、グラフィカルユーザインターフェースはボタンを備えてもよく、タッチセンサ式インターフェース114は、ボタンを押すことに関連付けられるユーザ相互作用を検出してもよい。タッチセンサ式インターフェース114がユーザ相互作用に関連付けられるインターフェース信号をプロセッサ110に送信すると、プロセッサ110は、インターフェース信号の受信を確認するための触覚効果を決定してもよい。このような実施形態では、触覚効果は、タッチセンサ式インターフェース114の表面でテクスチャをユーザに感知させてもよい。例えば、プロセッサは、プロセッサ110がユーザ入力を受信したことを確認するために砂のテクスチャが用いられてもよい。他の実施形態では、異なるテクスチャ、例えば、水、氷、油、岩、又は皮膚のテクスチャが用いられてもよい。幾つかの実施形態では、触覚効果は、異なる目的を果たしてもよく、例えば、ユーザにディスプレイ116の境界を通知し、又はユーザにディスプレイ116上の画像に関する触覚情報を提供してもよい。例えば、ディスプレイ116上の各アイコンは、異なるテクスチャを含んでもよい。例えば、一実施形態では、ディスプレイ116は複数のアイコンを含んでもよい。このような実施形態では、プロセッサ110は、ユーザが各アイコンに触れると異なる触覚効果を決定してもよい。例えば、ユーザが1つのアイコンに触れると、プロセッサ110は、皮膚のテクスチャを含む触覚効果を決定してもよい。また、ユーザが別のアイコンに触れると、プロセッサ110は、水のテクスチャを含む触覚効果を決定してもよい。さらなる実施形態では、プロセッサは、ユーザの指がアイコンとの接触からディスプレイの背景との接触に移動すると、テクスチャを変化させ、それによりユーザがもはやアイコンに触れていないことを通知してもよい。
また、図1に示されるように、プロセッサ110は、スピーカ120とも通信する。スピーカ120は、プロセッサ110から音声信号を受信して、ユーザに出力するように構成される。幾つかの実施形態では、音声信号は、アクチュエータ118によって出力される触覚効果、又はディスプレイ116によって出力される画像に関連付けられてもよい。他の実施形態では、音声信号は、触覚効果又は画像に対応しなくてもよい。
幾つかの実施形態では、プロセッサ110は、1つ以上のセンサ、例えば、GPSセンサ、画像センサ、加速度計、場所センサ、回転速度センサ、光センサ、カメラ、マイクロホン、または他の何らかの種類のセンサをさらに含んでもよい。センサは、加速、傾斜、慣性、又は場所の変化を検出するように構成されてもよい。例えば、メッセージング装置102は、メッセージング装置の加速を測定するように構成される加速度計を備えてもよい。センサは、プロセッサ110にセンサ信号を送信するように構成される。
センサ信号は、メッセージング装置102の位置、移動、加速、又は「急な動き(jerk)」(すなわち、加速の派生)に関連付けられる1つ以上のパラメータを含んでもよい。例えば、一実施形態では、センサは、複数のパラメータを含むセンサ信号を生成及び送信してもよい。各パラメータは、一つの測定された並進又は回転軸に沿った又はその周囲の運動に関連付けられる。幾つかの実施形態では、センサは、プロセッサ110が1つ以上の軸に沿った運動を示すように解釈するようにプログラムされる電圧又は電流を出力する。
幾つかの実施形態では、プロセッサ110は、センサ信号を受信して、仮想ワークスペースを活性化し且つ仮想ワークスペースの「中」の仮想的運動に対応するようにX、Y、又はZ方向にメッセージング装置102の感知された運動を解釈するべきことを決定するであろう。次に、ユーザは、仮想ワークスペース内で装置102を動かして、仮想スペース内でジェスチャを行なうことにより機能又はファイルを選択してもよい。例えば、仮想ワークスペース内の機能の上でZ軸にメッセージング装置102を動かすことによって選択してもよい。幾つかの実施形態では、ユーザは、仮想ワークスペースでジェスチャを用いてメッセージング装置102によって出力される触覚効果を変更してもよい。
図2は、本発明の一実施形態によるテクスチャを実現するために複数のアクチュエータを用いるシステムの例示である。図2は、例えば、携帯電話、PDA、携帯型メディアプレーヤ、携帯型ゲーム装置、又は携帯型コンピュータ等のメッセージング装置200を含む。メッセージング装置200は、例えば、セルラネットワーク又はインターネット等のネットワークを介して、音声メール、テキストメッセージ、及び他のデータメッセージのような信号を送信及び受信するように構成される。メッセージング装置200は、無線ネットワークインターフェース及び/又は有線ネットワークインターフェース(図2には示されない)を備えてもよい。図2には装置200がハンドヘルドメッセージング装置として例示されるが、他の実施形態は、例えば、ビデオゲームシステム及び/又はパーソナルコンピュータ等の異なる装置を含んでもよい。
図2に示されるように、メッセージング装置200は、筐体202及びディスプレイ216を備える。幾つかの実施形態では、ディスプレイ216は、LCDディスプレイを含んでもよい。他の実施形態では、ディスプレイ216は、プラズマディスプレイ、又は当技術分野で周知の他の種類のディスプレイを含んでもよい。ディスプレイ216は、表示信号を受信して、その表示信号に関連付けられる画像を出力するように構成される。幾つかの実施形態では、表示信号はVGA、HDMI、SVGA、VIDEO、S−VIDEO、又は当技術分野で周知の他の種類の表示信号を含んでもよい。図2に示される実施形態では、ディスプレイ216はテクスチャ化されたボール204を含む。
さらに図2を参照すると、メッセージング装置200は、操作子214をさらに備える。図2に示される実施形態では、操作子214は、ローラーボール及びボタンを備える。また、メッセージング装置200は、タッチセンサ式インターフェース218も備える。図2に示される実施形態では、タッチセンサ式インターフェースは、ディスプレイ216の上に配置されるタッチスクリーンを備える。幾つかの実施形態では、ディスプレイ216及びタッチスクリーンは、例えば、タッチスクリーンディスプレイ等の単一の一体型構成要素を含んでもよい。
操作子214及びタッチセンサ式インターフェース218は、ユーザ相互作用を検出して、このユーザ相互作用に対応するインターフェース信号をプロセッサに送信するように構成される。幾つかの実施形態では、ユーザ相互作用は、ディスプレイ206に示されるグラフィカルユーザインターフェースに関連付けられる。このような実施形態では、プロセッサ110は、インターフェース信号を受信して、このインターフェース信号に少なくとも部分的に基づいて、グラフィカルユーザインターフェース上に示される画像を操作する。例えば、図2に示される実施形態では、ユーザは、テクスチャ化されたボール204と相互作用するために操作子214又はタッチセンサ式インターフェース218のいずれかを用いてもよい。ユーザがテクスチャ化されたボール204と相互作用すると,プロセッサは、テクスチャ化されたボール204の表面におけるテクスチャをシミュレートするように構成される触覚効果を決定するであろう。このテクスチャは、当技術分野で周知の多くのテクスチャの1つ、例えば、砂、岩、ガラス、水、又は革を含んでもよい。
メッセージング装置200は、触覚信号を受信して、触覚効果を出力するように構成される少なくとも2つのアクチュエータをさらに備える(図2には示されない)。幾つかの実施形態では、各アクチュエータによって出力される触覚効果は、メッセージング装置200のユーザによって感知される振動触覚テクスチャをシミュレートするように構成される。プロセッサ110は、第1の触覚効果を決定して、第1の触覚効果に対応する第1の触覚信号を第1のアクチュエータに送信するように構成される。さらに、プロセッサ110は、第2の触覚効果を決定して、第2の触覚効果に対応する第2の触覚信号を第2のアクチュエータに送信するように構成される。第1及び第2のアクチュエータは、それぞれの触覚信号を受信すると、決定された触覚効果を出力するように構成される。ユーザは、ディスプレイ216の表面を介して又はメッセージング装置200の他の一部を通じて、例えば、操作子214又は筐体202を介して各アクチュエータの触覚効果を感知してもよい。
図2に示される実施形態では、ディスプレイ216は、テクスチャ化されたボール204を含み、それはバスケットボールを含んでもよい。バスケットボールは、バスケットボールの外面中に継ぎ目を形成する浅い隆起を持つ一様な凹凸のあるテクスチャを含む。ユーザがテクスチャ化されたボール204と相互作用すると、プロセッサ110は、バスケットボールの一様な凹凸のあるテクスチャをシミュレートするための穏やかな振動を含む第1の触覚効果を決定してもよい。次に、プロセッサ110は、第1のアクチュエータに第1の触覚信号を送信してもよい。プロセッサ110は、バスケットボールにある隆起をシミュレートするための急峻なパルスを含む第2の触覚効果をさらに決定してもよい。このような実施形態では、プロセッサ110は、ユーザがバスケットボールの継ぎ目に関連付けられる部分と相互作用すると、第2の触覚効果を含む第2の触覚信号を出力してもよい。他の実施形態では、プロセッサは、ディスプレイ216の表面において異なるテクスチャをシミュレートするために異なる触覚効果を決定してもよい。
(テクスチャを実現するために複数のアクチュエータを用いる例示的なシステム)
図3aは、本発明の一実施形態によるテクスチャを実現するために複数のアクチュエータを用いるシステムの例示である。図3aは、例えば、携帯電話、PDA、携帯型メディアプレーヤ、携帯型ゲーム装置、又は携帯型コンピュータ等のメッセージング装置300を含む。メッセージング装置300は、例えば、セルラネットワーク又はインターネット等のネットワークを介して、音声メール、テキストメッセージ、及び他のデータメッセージのようなメッセージを含む信号を送信及び受信するように構成される。メッセージング装置300は、無線ネットワークインターフェース及び/又は有線ネットワークインターフェース(図3aには示されない)を備えてもよい。図3aには装置300がハンドヘルドメッセージング装置として例示されるが、他の実施形態は、例えば、ビデオゲームシステム及び/又はパーソナルコンピュータ等の異なる装置を含んでもよい。
図3aに示されるように、メッセージング装置300は、ディスプレイ316を備える。ディスプレイ316は、表示信号を受信して、この表示信号に少なくとも部分的に基づいて画像を出力するように構成される。メッセージング装置300は、表示信号をディスプレイ316に送信するように構成されるプロセッサ(図3aには示されない)をさらに備える。メッセージング装置300は、ディスプレイ316の上に取り付けられるタッチセンサ式インターフェース314をさらに備える。タッチセンサ式インターフェース314は、ユーザ相互作用を検出して、このユーザ相互作用に対応するインターフェース信号をプロセッサに送信するように構成される。ディスプレイ316は、2つのアイコン302及び304を備える。ユーザがアイコン302及び304の一方と相互作用すると、タッチセンサ式インターフェース314は、ユーザ相互作用を検出して、対応するインターフェース信号をプロセッサに送信するであろう。このインターフェース信号に基づいて、プロセッサは、ユーザが一方のアイコンに結び付けられたファイルを開き、又は当技術分野で周知の他の何らかの動作を実行したことを決定してもよい。
図3aに示されるように、アイコン302及び304の各々は、テクスチャを含む。図示の実施形態では、アイコン302は、煉瓦のテクスチャを含み、アイコン304は、岩のテクスチャを含む。他の実施形態では、異なるテクスチャ、例えば、砂、水、油、草、毛皮、皮膚、革、氷、木、又は当技術分野で周知の他の何らかのテクスチャが使用されてもよい。図3aに指306として示されるユーザが各アイコンに関連付けられるディスプレイ316の一部と相互作用すると、プロセッサは、そのアイコンのテクスチャをシミュレートするように構成される触覚効果を決定するであろう。次に、プロセッサは、触覚効果を出力するように構成される少なくとも2つのアクチュエータ(図3aには示されない)に触覚効果に関連付けられる信号を出力するであろう。
例えば、図3aに示される実施形態では、ユーザがディスプレイのアイコン302に関連付けられる部分と相互作用すると、プロセッサは、煉瓦の粗いテクスチャをシミュレートするように構成される第1の触覚効果を決定してもよい。このような実施形態では、プロセッサは、煉瓦間の粗いモルタルをシミュレートするように構成される第2の触覚効果をさらに決定してもよい。次に、ユーザがアイコン302と相互作用すると、プロセッサは、第1の触覚信号を第1のアクチュエータに出力して、ディスプレイ316の表面に煉瓦のテクスチャをシミュレートするであろう。さらに、ユーザがアイコン302上に指を動かすと、プロセッサは、モルタルのテクスチャをシミュレートするために第2の触覚信号を第2のアクチュエータに周期的に送信してもよい。
他の実施形態では、プロセッサは、互いに関連していない触覚効果を決定してもよい。例えば、図3aに示されるように、ディスプレイ316は、岩のテクスチャを含む第2のアイコン304も含む。このような実施形態では、プロセッサは、アイコン302のテクスチャをシミュレートするように構成される第1の触覚効果及びアイコン304のテクスチャをシミュレートするように構成される第2の触覚効果を決定してもよい。次に、ユーザがアイコン302と相互作用すると、プロセッサは、第1の触覚信号を第1のアクチュエータに出力してもよい。そして、ユーザがアイコン304と相互作用すると、プロセッサは、第2の触覚信号を第2のアクチュエータに出力してもよい。他方のアクチュエータが動作中に各アクチュエータは減速して初期化する時間を有するので、このような実施形態は、アクチュエータがより説得力のある触覚効果を出力することを可能にし得る。
図3bは、本発明の一実施形態によるテクスチャを実現するために複数のアクチュエータを用いるシステムの例示である。図3bに示される実施形態では、触覚効果を決定することは、表示信号を少なくとも2つのアクチュエータにマッピングすることを含む。図3bに示される実施形態は、ディスプレイ350の拡大部分を含む。ディスプレイ350は、プロセッサから表示信号を受信するように構成される。表示信号は、各々が色彩及びその色彩の強度に関連付けられる複数のピクセルを含む。ディスプレイ350は、この表示信号を受信して、この表示信号に関連付けられる画像を出力する。図3bに示される実施形態では、ディスプレイ350の拡大部は、6個のピクセル351、352、353、354、355、及び356を含む。各ピクセルは、色彩及び1−10の範囲でその色彩に対する強度に関連付けられる。例えば、ピクセル355は、緑の色彩及び10のうちの3の色彩強度に関連付けられる。このように、ディスプレイ350は、ピクセル355の場所において強度3で緑の色彩を出力するであろう。
図3bに示される実施形態では、プロセッサは、表示信号及びディスプレイ350上に取り付けられるタッチセンサ式インターフェースから受信されるインターフェース信号に少なくとも部分的に基づいて触覚効果を決定するであろう(図3bには示されない)。例えば、図3bに示される実施形態では、プロセッサは、触覚効果を各ピクセルに関連付け、又は「マッピング」するために表示信号を使用する。図3bに示される実施形態では、プロセッサは、色彩ごとに異なる周波数の触覚効果を決定してもよい。プロセッサは、各ピクセルにおける触覚効果の強度を各ピクセルにおける色彩の強度にさらに関連付けてもよい。例えば、プロセッサは、色彩強度8のピクセルが同様に触覚強度8を有することを決定してもよい。プロセッサがディスプレイ上のピクセルを覆うユーザ相互作用に関連付けられるインターフェース信号を受信すると、プロセッサは、ユーザが相互作用するピクセルに関連付けられる触覚信号を出力するであろう。この触覚効果は、ディスプレイの表面でユーザにテクスチャを感知させるように構成される。
例えば、図3bに示される実施形態では、プロセッサは、青のピクセルがノッキングの触覚効果に関連付けられ、赤のピクセルがパルス性の振動に関連付けられ、緑のピクセルがクリックの触覚効果に関連付けられることを決定してもよい。このような実施形態では、タッチセンサ式インターフェースはユーザの指がピクセル351上を通過したことを検出すると、プロセッサは、強度1のノッキングを決定するであろう。次に、ユーザの指がピクセル352上に移動すると、プロセッサは、強度5のパルス性の振動を決定するであろう。そして、ユーザの指がディスプレイ350上をピクセル353まで移動し続けると、プロセッサは、強度3のクリック効果を決定してもよい。
こうした触覚効果は、ユーザがディスプレイ350の表面上で自身の指を動かすと、ディスプレイ350の表面上でユーザにテクスチャを感知させるように構成される。幾つかの実施形態では、プロセッサは、触覚信号をどのアクチュエータに出力するかを決定するように構成されてもよい。例えば、一実施形態では、メッセージング装置は、異なる強度の触覚効果を出力するように構成される2つのアクチュエータを備えてもよい。このような実施形態では、プロセッサは、3未満の強度を有する全ての触覚効果が第1のアクチュエータによって出力されるべきであり、3以上の強度を有する全ての触覚効果が第2のアクチュエータによって出力されるべきであることを決定してもよい。他の実施形態では、各色彩は、特定のアクチュエータにマッピングされてもよい。例えば、このような実施形態では、青の色彩に関連付けられる全ての触覚効果は、第1のアクチュエータによって出力されてもよく、赤の色彩に関連付けられる全ての触覚効果は、第2のアクチュエータによって出力されてもよく、緑の色彩に関連付けられる全ての触覚効果は、第3のアクチュエータによって出力されてもよい。他の実施形態では、メッセージング装置は、ディスプレイの表面で様々なテクスチャをシミュレートするために、色彩、強度、触覚効果、及びアクチュエータの異なる組み合わせを実装してもよい。
図4は、本発明の一実施形態によるテクスチャを実現するために複数のアクチュエータを用いるシステムの別の例示である。図4は、ディスプレイ416を備えるメッセージング装置400を含む。ディスプレイ416は、タッチセンサ式インターフェースの下側に配置される。タッチセンサ式インターフェースは、ユーザ相互作用を検出して、ユーザ相互作用に関連付けられるインターフェース信号をプロセッサに送信するように構成される(図4には示されない)。図4に示されるように、ディスプレイ416は、仮想QWERTYキーボード402を備える。ユーザは、仮想QWERTYキーボード402を用いて、メッセージング装置400にテクスチャ情報を入力してもよい。
ユーザが仮想QWERTYキーボード402のキーと相互作用すると、メッセージング装置400は、プロセッサがタッチセンサ式インターフェースからインターフェース信号を受信したことをユーザに通知するために触覚効果を出力するように構成される。例えば、プロセッサは、ユーザが仮想QWERTYキーボード上のキーを押したことを示すインターフェース信号をタッチセンサ式インターフェースから受信すると、第1の触覚効果を決定してから、第1のアクチュエータに第1の触覚効果に対応する信号を送信してもよい。次に、第1のアクチュエータは、第1の触覚効果を出力する。プロセッサは、ユーザが仮想QWERTYキーボード上の別のキーを押したことを示すインターフェース信号を受信すると、第2の触覚効果を決定して、第2の触覚効果に対応する第2の信号を第2のアクチュエータに送信する。次に、第2のアクチュエータは、第2の触覚効果を出力する。
幾つかの実施形態では、第1及び第2の触覚効果は、同じ触覚効果を含むように構成されてもよい。例えば、幾つかの実施形態では、第1及び第2の触覚効果は共に、タッチセンサ式インターフェースの表面に砂のテクスチャをシミュレートするように構成されてもよい。他の実施形態では、第1及び第2の触覚効果は異なってもよい。例えば、第1の触覚効果は、砂のテクスチャをシミュレートするように構成されてもよく、第2の触覚効果は、草のテクスチャをシミュレートするように構成されてもよい。このような実施形態では、タッチセンサ式インターフェースの一部は第1の触覚効果に関連付けられてもよく、タッチセンサ式インターフェースの残りの部分は、第2の触覚効果に関連付けられてもよい。
これまでの段落で検討された機能性は、単一のアクチュエータを用いても実装され得る。しかし、図4は、2つ以上のアクチュエータを用いることの利点を例示する。図4に示される実施形態は、ハンドヘルド装置を含むメッセージング装置400を含む。ユーザは、親指と他の指とで仮想QWERTYキーボード402と相互作用してもよい。図4に示される実施形態では、仮想QWERTYキーボード402のキーは約6mmスクエアである。他の実施形態では、仮想QWERTYキーボード402のキーは、6mmスクエアより大きく又は小さくてもよい。図4に示される実施形態では、仮定のユーザは、7キー毎秒の速度で仮想キーボードを弄るかもしれない。このような仮定のユーザの指は、約42mm毎秒(7キー*6mm毎キー)で動くであろう。幾つかの実施形態では、触覚効果は、キーごとに2つの別個の端部をシミュレートするように構成される。例えば、触覚効果は、各キーに対する左端及び右端のテクスチャをシミュレートするために用いられてもよい。よって、別個の端部を含むテクスチャを各キーに適用するために、単一のアクチュエータであれば、1秒に最大14個の端部(7キー毎秒*2端部毎キー)を生成しなければならず、これは約71ミリ秒毎端部(1秒/14端部)に相当するであろう。
幾つかの実施形態では、単一の高周波数のアクチュエータは、14キー端部毎秒をシミュレート可能な応答速度で触覚効果を出力し得る。別の実施形態は、各アクチュエータに要求される応答時間を減らすために2つ以上のアクチュエータを実装してもよい。2つ以上のアクチュエータを含む実施形態は、各アクチュエータが出力を下げて、各触覚効果の間に初期化するのにより多くの時間を提供するので、1つのアクチュエータによって出力される触覚効果が渾然一体となる危険性を低減する。これは図表404及び406によって明示されている。図表404は、2個アクチュエータシステムにおける第1のアクチュエータ用のタイミングチャートを示す。図表406は、2個アクチュエータシステムにおける第2のアクチュエータ用のタイミングチャートを示す。図表404及び406に示されるように、2個アクチュエータシステムにおいて、プロセッサは、互いに重複しない2つの別個の触覚信号を出力することが出来る。よって、第2のアクチュエータが触覚効果を出力している間に、第1のアクチュエータは、出力を下げて初期化することが出来る。そして、第1のアクチュエータが触覚効果を出力している間に、第2のアクチュエータは、出力を下げて初期化することが出来る。これにより、アクチュエータの一方によって出力された触覚効果が出力したばかりの触覚効果に渾然一体となる危険性が低減される。幾つかの実施形態では、この機能性は、より速い応答速度で同じ触覚効果を出力するために使用されてもよい。他の実施形態では、この機能性は、互いの直後に異なる触覚効果を出力するために使用されてもよい。
2つ以上のアクチュエータを含む実施形態では、各アクチュエータは、同時に異なる触覚効果を出力してもよいので、利用可能な触覚効果の豊富度が増加する。例えば、各アクチュエータは、異なるテクスチャをシミュレートするように構成される異なる周波数又は種類の触覚効果を出力してもよい。幾つかの実施形態では、ユーザは、メッセージング装置400上でこうしたテクスチャを同じ時間における異なる場所で感知してもよい。例えば、一実施形態では、第1のアクチュエータは、第1のアイコン上のテクスチャをシミュレートするように構成される第1の触覚効果を出力してもよい。一方で同時に、第2のアクチュエータが第2のアイコン上の第2のテクスチャをシミュレートするように構成される第2の触覚効果を出力してもよい。このような実施形態では、ユーザは、第1のアイコン上で第1のテクスチャを感知し、同時に、第2のアイコン上で第2のテクスチャを感知してもよい。他の実施形態では、双方のアクチュエータは、組み合わされると単一のテクスチャをシミュレートするように構成される別個の触覚効果を出力するように構成されてもよい。
(テクスチャを実現するために複数のアクチュエータを用いる例示的な方法)
図5は、図1に示された装置について検討される本発明の一実施形態によるテクスチャを実現するために複数のアクチュエータを用いる方法の流れ図である。図5に示されるように、方法500は、プロセッサ110が複数のピクセルを含む表示信号を受信すると開始する(502)。表示信号は、VGA、HDMI、SVGA、VIDEO、S−VIDEO、又は当技術分野で周知の他の種類の表示信号を含んでもよい。表示信号は、メッセージング装置がディスプレイ116を介してユーザに表示するグラフィカルユーザインターフェース又は他の画像を含んでもよい。
次に、タッチセンサ式インターフェース114はプロセッサ110にインターフェース信号を送信して、プロセッサ110はインターフェース信号を受信する(504)。幾つかの実施形態では、タッチセンサ式インターフェース114は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、幾つかの実施形態では、タッチセンサ式インターフェース114は、表示信号を受信してユーザに画像を出力するように構成されるディスプレイ116の上に搭載されるタッチスクリーンを含んでもよい。他の実施形態では、タッチセンサ式インターフェース114は、ボタン、スイッチ、スクロールホイール、ローラーボール、又は当技術分野で周知の何らかの他の種類の物理的装置インターフェースを含んでもよい。幾つかの実施形態では、プロセッサ110は、単一のタッチセンサ式インターフェース114と通信する。他の実施形態では、プロセッサ110は、複数のタッチセンサ式インターフェース114、例えば、タッチスクリーン及びローラーボールと通信する。タッチセンサ式インターフェース114は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ110に信号を送信するように構成される。幾つかの実施形態では、タッチセンサ式インターフェース114は、複数の態様のユーザ相互作用を検出するように構成されてもよい。例えば、タッチセンサ式インターフェース114は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。
次に、プロセッサ110は、第1の触覚効果及び第2の触覚効果を決定する。第1及び第2の触覚効果は、組み合わされるとテクスチャをシミュレートするように構成される(506)。第1の触覚効果及び第2の触覚効果は共に、タッチセンサ式インターフェース114の表面又は操作子を介してユーザが感知する振動を含んでもよい。幾つかの実施形態では、こうした振動は、タッチセンサ式インターフェース114の表面でテクスチャをユーザに感知させてもよい。例えば、テクスチャは、革、雪、砂、氷、皮膚、又は他の何らかの表面である。幾つかの実施形態では、プロセッサ110は、アルゴリズムを用いて触覚効果を決定してもよい。他の実施形態では、プロセッサ110は、適切な触覚効果を決定するためにルックアップテーブルにアクセスしてもよい。さらに他の実施形態では、プロセッサ110は、触覚効果を決定するためにルックアップテーブルにアクセスし且つアルゴリズムを実装してもよい。
幾つかの実施形態では、プロセッサ110は、各触覚効果を決定するために触覚マップを実装してもよい。このような実施形態では、プロセッサ110は、表示信号を2つ以上のアクチュエータにマッピングしてもよい。例えば、表示信号は、各々が色彩に関連付けられる複数のピクセルを含んでもよい。このような実施形態では、プロセッサ110は、表示信号における各色彩に触覚値を割り当てることによって触覚効果を決定してもよい。次に、プロセッサ110は、触覚値を含む触覚信号を出力するであろう。幾つかの実施形態では、プロセッサ110は、表示信号における一部のピクセルのみに触覚値を割り当ててもよい。例えば、このような実施形態では、触覚効果は、表示信号の一部のみに関連付けられてもよい。
幾つかの実施形態では、プロセッサ110は、ユーザ相互作用又はトリガに少なくとも部分的に基づいて触覚効果を決定してもよい。このような実施形態では、プロセッサ110は、タッチセンサ式インターフェース114からインターフェース信号を受信して、このインターフェース信号に少なくとも部分的に基づいて触覚効果を決定する。例えば、幾つかの実施形態では、プロセッサ110は、タッチセンサ式インターフェース114から受信されるインターフェース信号に基づいて異なる強度の触覚効果を決定してもよい。例えば、タッチセンサ式インターフェース114が高圧のユーザ相互作用を検出すると、プロセッサ110は、高強度の触覚効果を決定してもよい。別の実施形態では、タッチセンサ式インターフェース114が低圧のユーザ相互作用を検出すると、プロセッサ110は、低強度の触覚効果を決定してもよい。
次に、プロセッサ110は、第1の触覚効果に関連付けられる第1の触覚信号を第1のアクチュエータ118に送信し、第1のアクチュエータ118は、触覚信号を受信して第1の触覚効果を出力するように構成される(508)。アクチュエータ118は、プロセッサ110から触覚信号を受信して触覚効果を出力するように構成される。アクチュエータ118は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、リニア共振アクチュエータ、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ(ERM)又はリニア共振アクチュエータ(LRA)であってもよい。触覚効果は、例えば、振動、ノッキング、うなり、衝撃、又はトルクをメッセージング装置に与える当技術分野で周知の複数の触覚効果のうちの1つを含んでもよい。
最後に、プロセッサ110は、第2の触覚効果に関連付けられる第2の触覚信号を第2のアクチュエータ124に送信し、第2のアクチュエータ124は、第2の触覚信号を受信して第2の触覚効果を出力するように構成される(510)。アクチュエータ124は、プロセッサ110から触覚信号を受信して触覚効果を出力するように構成される。アクチュエータ124は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、リニア共振アクチュエータ、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ又はリニア共振アクチュエータであってもよい。触覚効果は、例えば、振動、ノッキング、うなり、衝撃、又はトルクをメッセージング装置に与える当技術分野で周知の複数の触覚効果のうちの1つを含んでもよい。幾つかの実施形態では、アクチュエータ124は、アクチュエータ118と同じ種類のアクチュエータを含んでもよい。例えば、各アクチュエータは、偏心回転質量モータを含んでもよい。他の実施形態では、アクチュエータ118及びアクチュエータ124は、2つの異なる種類のアクチュエータを含んでもよい。例えば、アクチュエータ118は、リニア共振アクチュエータを含んでもよく、アクチュエータ124は、偏心回転質量モータを含んでもよい。
幾つかの実施形態では、アクチュエータ118によって出力される第1の触覚効果及びアクチュエータ124によって出力される第2の触覚効果は、組み合わされると単一の触覚効果を形成するように構成される。例えば、各触覚効果は、組み合わされるとタッチセンサ式インターフェース114の表面においてテクスチャをシミュレートする調和を形成する振動を含んでもよい。他の実施形態では、2つの触覚効果は、別々に感知されてもよい。例えば、触覚効果の1つは、タッチセンサ式インターフェース114の表面に草のテクスチャをシミュレートするように構成される振動を含んでもよい。そして、第2の触覚効果は、小石又は草の中の他の材料のテクスチャをシミュレートするように構成されるパルス性の振動を含んでもよい。
図6aは、本発明の一実施形態によりメッセージング装置がシミュレートし得るテクスチャの1つの例示である。図6aに示される実施形態は、煉瓦を含む。煉瓦のテクスチャは、モルタルが砂利の谷間の感覚により区切られる、煉瓦の粗い不規則なテクスチャにより特徴付けられる。幾つかの実施形態では、テクスチャを実現するために複数のアクチュエータを用いるシステムは、ユーザの指が動いている間に、中程度から高程度の最大変動で変化するランダム信号を用いて、リニア共振アクチュエータ、リニア圧電アクチュエータ又は固定圧電アクチュエータ等の第1のアクチュエータを駆動することにより煉瓦のテクスチャをシミュレートしてもよい。幾つかの実施形態では、この変化は、異なる粗さに調節されてもよい。このような実施形態では、煉瓦からモルタルへの移行は、第2のアクチュエータによるシミュレーションであってもよい。例えば、偏心回転質量モータによって生成される高継続性のポップ(pop)による。さらに、モルタルが十分に厚い場合は、煉瓦のテクスチャを出力するアクチュエータを駆動するために使用されたものよりも変化の大きい低振幅信号で第1のアクチュエータを駆動することによって、ディスプレイのモルタルに関連付けられる部分に、繊細なテクスチャがレンダリングされてもよい。
図6bは、本発明の一実施形態によりメッセージング装置がシミュレートし得るテクスチャの1つの例示である。図6bに示される実施形態は、岩を含む。岩のテクスチャは、ユーザが岩から岩へと動くときの移行で区切られる滑らかな表面により特徴付けられる。幾つかの実施形態では、テクスチャを実現するために複数のアクチュエータを用いるシステムは、ディスプレイ上に低摩擦の区分を生成するように構成される触覚信号を用いて、固定圧電アクチュエータ等の第1のアクチュエータを駆動することにより岩のテクスチャをシミュレートしてもよい。このような実施形態では、個々の岩は、表示された画像の非視覚エッジマップによってレンダリングされ、タッチセンサ式インターフェースがユーザの動作を検出すると、例えば、リニア圧電アクチュエータ又は偏心回転質量モータ等の第2のアクチュエータに高振幅の触覚信号を出力してもよい。例えば、ユーザの指がある岩から別の岩へと移行していることをタッチセンサ式インターフェースが検出する度に触覚効果を出力する。
図6cは、本発明の一実施形態によりメッセージング装置がシミュレートし得るテクスチャの1つの例示である。図6cに示される実施形態は、砂又はサンドペーパーを含む。砂は、粗い砂利の感覚に加えて、砂粒子の山がユーザの指の前方に積もる感覚によって特徴付けられる。幾つかの実施形態では、テクスチャを実現するために複数のアクチュエータを用いるシステムは、ユーザの指が動いている間に、高程度の最大変動を有するランダム信号を用いて、リニア共振アクチュエータ、リニア圧電アクチュエータ又は固定圧電アクチュエータ等の第1のアクチュエータを駆動することにより砂のテクスチャをシミュレートしてもよい。幾つかの実施形態では、プロセッサは、異なる程度の粗さを生成するために信号の変動を調節してもよい。砂が積み上がる感覚をシミュレートするために、システムは、固定圧電アクチュエータ等の第2のアクチュエータを用いてもよい。このような実施形態では、ユーザがタッチスクリーン上で指を動かすと、プロセッサは、低強度で開始して、ユーザがある方向に指を動かすにつれて増加する信号によりアクチュエータを駆動する。
別の実施形態では、図6cに示されるテクスチャはサンドペーパーを含んでもよい。サンドペーパーは、粗い砂利の感覚を有することにより特徴付けられる。幾つかの実施形態では、テクスチャを実現するために複数のアクチュエータを用いるシステムは、高程度の最大変動を有する第1の触覚信号を、リニア共振アクチュエータ、リニア圧電アクチュエータ又は固定圧電アクチュエータ等の第1のアクチュエータに送信することにより粗い砂利の感覚をシミュレートしてもよい。幾つかの実施形態では、この信号は、ユーザの指がタッチセンサ式インターフェースの表面上を動いている間にのみ出力される。幾つかの実施形態では、プロセッサは、粗さのレベルを変えるために信号の変動を調節する。
図6dは、本発明の一実施形態によりメッセージング装置がシミュレートし得るテクスチャの1つの例示である。図6dに示される実施形態では、テクスチャは草のテクスチャを含む。草は、ユーザの指を擽るような周期的な軽い感覚によって特徴付けられる。幾つかの実施形態では、テクスチャを実現するために複数のアクチュエータを用いるシステムは、草の区分で覆われた低摩擦の区分を生成するように構成される第1の触覚信号を、固定圧電アクチュエータ等の第1のアクチュエータに送信することにより草のテクスチャをシミュレートしてもよい。幾つかの実施形態では、プロセッサは、表示された画像の非視覚エッジマップを用いて、リニア圧電アクチュエータ又はLRM等の第2のアクチュエータを駆動することにより個々の草の葉をレンダリングしてもよい。
図6eは、本発明の一実施形態によりメッセージング装置がシミュレートし得るテクスチャの1つの例示である。図6eに示される実施形態では、テクスチャは革のテクスチャを含む。革は、革の表面の隆起及び谷間を含む包括的で滑らかな感覚によって特徴付けられる。幾つかの実施形態では、テクスチャを実現するために複数のアクチュエータを用いるシステムは、ユーザの指がタッチセンサ式インターフェースの表面を移動すると摩擦を低減する触覚効果を出力するように構成される第1の触覚信号を、固定圧電アクチュエータ等の第1のアクチュエータに送信することによりテクスチャをシミュレートしてもよい。プロセッサは、タッチセンサ式インターフェースが革を横切るユーザの指の動きを検出すると、非常に短い低振幅の触覚信号で第2のアクチュエータを駆動することにより革の表面にある隆起及び谷間をシミュレートしてもよい。
図6fは、本発明の一実施形態によりメッセージング装置がシミュレートし得るテクスチャの1つの例示である。図6fに示される実施形態では、テクスチャは木のテクスチャを含む。木は、ユーザが板から板へと動くと鋭い移行によって区切られる不規則な凹凸のあるテクスチャにより特徴付けられてもよい。幾つかの実施形態では、テクスチャを実現するために複数のアクチュエータを用いるシステムは、表示された画像の非視覚エッジマップを用いてリニア共振アクチュエータ、リニア圧電アクチュエータ又は固定圧電アクチュエータ等の第1のアクチュエータを駆動することにより不規則な凹凸のあるテクスチャをシミュレートしてもよく、ユーザの指が動くと何度も非常に短い低振幅の振動で第1のアクチュエータをさらに駆動してもよい。厚板から厚板への移行を出力するために、プロセッサは、第2のアクチュエータに高振幅の短い持続時間のポップ振動を出力させるように構成される第2の触覚信号を出力してもよい。
他の実施形態では、異なるテクスチャに関連付けられる触覚効果が出力されてもよい。例えば、一実施形態では、プロセッサは、氷のテクスチャに関連付けられるテクスチャをシミュレートするように構成される触覚効果をアクチュエータに出力させるように構成される触覚信号を送信してもよい。氷は、低摩擦により特徴付けられる。幾つかの実施形態では、氷は完全に滑らかなテクスチャを有する。他の実施形態では、氷は、微細な低振幅の砂利のようなテクスチャを含む。幾つかの実施形態では、テクスチャを実現するために複数のアクチュエータを用いるシステムは、出来るだけディスプレイの表面で摩擦を低減するように構成される触覚信号で第1のアクチュエータを駆動することにより氷のテクスチャをシミュレートしてもよい。プロセッサは、ユーザの指が動いている間に低振幅の効果を第2のアクチュエータに出力させるように構成される第2の触覚信号で、リニア圧電アクチュエータ又はリニア共振アクチュエータ等の第2のアクチュエータを駆動することにより氷の中の不完全性又は砂利をシミュレートしてもよい。こうした低振幅の効果は、氷の表面の不完全性又は砂利に関連付けられてもよい。
別の実施形態では、プロセッサは、トカゲの皮のテクスチャに近似する触覚効果をアクチュエータに出力させるように構成される触覚信号でアクチュエータを駆動してもよい。トカゲの皮は、皮にある隆起から隆起への移行によって区切られる包括的で滑らかな感覚によって特徴付けられる。幾つかの実施形態では、テクスチャを実現するために複数のアクチュエータを用いるシステムは、タッチセンサ式インターフェース上に低摩擦の区画をアクチュエータにシミュレートさせるように構成される触覚信号で第1のアクチュエータを駆動することによりトカゲの皮のテクスチャをシミュレートしてもよい。プロセッサは、タッチセンサ式インターフェースが表面を横切るユーザの指の動きを検出すると、第2の触覚信号で第2のアクチュエータを周期的に駆動することにより皮の表面にある裂け目をレンダリングしてもよい。
さらに別の実施形態では、プロセッサは、毛皮のテクスチャに近似する触覚効果をアクチュエータに出力させるように構成される触覚信号でアクチュエータを駆動してもよい。毛皮は、手触りが非常に柔軟な周期的な軽い感覚によって特徴付けられる。幾つかの実施形態では、テクスチャを実現するために複数のアクチュエータを用いるシステムは、タッチセンサ式インターフェースの表面でユーザが感知する摩擦を低減させるように構成される触覚効果を第1のアクチュエータに出力させるように構成される第1の触覚信号で第1のアクチュエータを駆動することにより、毛皮のテクスチャをシミュレートしてもよい。プロセッサは、低振幅のパルス信号を含む第2の触覚信号で第2のアクチュエータを駆動することにより個々の髪をさらにレンダリングしてもよい。幾つかの実施形態では、プロセッサは、タッチセンサ式インターフェースがユーザの動きを検出するときだけ第2の触覚信号を出力するであろう。
さらに別の実施形態では、プロセッサは、金属のテクスチャをシミュレートするように構成される触覚信号でアクチュエータを駆動してもよい。金属は、幾つかの実施形態では、軽い砂利を含む滑らかな低摩擦の表面により特徴付けられる。幾つかの実施形態では、テクスチャを実現するために複数のアクチュエータを用いるシステムは、タッチセンサ式インターフェースの表面でユーザが感知する摩擦を低下させるように構成される信号で第1のアクチュエータを駆動することによりテクスチャの金属をシミュレートしてもよい。幾つかの実施形態では、プロセッサは、短い高振幅の触覚信号を含む第2の触覚信号で第2のアクチュエータを駆動することにより個々の隆起をレンダリングしてもよい。幾つかの実施形態では、プロセッサは、タッチセンサ式インターフェースが表面にユーザの動きを検出するときだけ第2の触覚信号を出力するであろう。
(テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法の利点)
テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法には多くの利点がある。例えば、テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法は、以前に使用されていなかった触覚効果を移動装置に付加する。この新しい効果は、ユーザがメッセージング装置のディスプレイを見なくても、ユーザがメッセージング装置から情報を受信するための新しい手段を提供する。例えば、テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法は、ユーザが異なるテクスチャを異なるアイコン、ボタン、又はディスプレイの他の要素に割り当てることを可能にしてもよい。従って、ユーザは、アイコンを見なくても、どのアイコンに触っているかを決定することが可能であってもよい。これにより、装置の利便性が高まり、視覚障害者にとってより便利な装置となり得る。
さらに、テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法は、低速で、場合により安価なアクチュエータを用いて装置がテクスチャをレンダリングすることを可能にする。例えば、複数のアクチュエータを用いることで、プロセッサは、両方のアクチュエータが同じ触覚信号を用いて同時に駆動される場合に、より強い効果を出力することが出来る。さらに、アクチュエータの1つは、残りのアクチュエータが初期化される間に、触覚効果と共に駆動されてもよいので、触覚効果が変更され得る周波数が増加される。これは、アクチュエータによって出力される触覚効果が混ざる可能性を低減する。さらに、複数のアクチュエータは、メッセージング装置上の複数の場所に取り付けられてもよい。それにより、触覚効果がメッセージング装置上の複数の場所に出力されることを可能にする。
さらに、テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法は、他の仕事からユーザの気を散らさずに、ユーザにより多くの情報を提供し得る。従って、それはユーザによるエラーの可能性を減らすであろう。例えば、ユーザは、テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法を利用している場合、誤ったアイコンを押し又は誤ったキーを押すことがあまり起こらないであろう。この機能性は、ユーザ満足度を高めると共に、テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法を組み込む技術の普及率を増加させることに役立ってもよい。
(概論)
本明細書における「適合される」又は「構成される」という用語は、追加のタスク又はステップを実行するように適合され又は構成される装置を排除しない開放型及び包括型の言語の意味で用いられる。さらに、「基づく」は、1つ以上の記載された条件又は値に「基づく」プロセス、ステップ、計算、又は他の動作が、実際には、こうした記載以上の追加の条件又は値に基づいてもよいという点で、開放型及び包括型の意味で用いられる。本明細書に含まれる見出し、リスト、及び番号付けは、説明の簡略化のみを目的としており、限定することを意図していない。
本願の主題の態様による実施形態は、デジタル電子回路で、又はコンピュータハードウェア、ファームウェア、ソフトウェア、若しくはこれらの組み合わせで実装され得る。一実施形態では、コンピュータは、1つ又は複数のプロセッサを備えてもよい。プロセッサは、例えば、プロセッサに結合されるRAM(random access memory)等のコンピュータ可読媒体を備え又はプロセッサへのアクセスを有する。プロセッサは、センササンプリングルーチン、触覚効果選択ルーチン、及び上記の選択された触覚効果を発生させるための信号を生成する適切なプログラミングを含む1つ以上のコンピュータプログラムを実行するように、メモリに記憶されるコンピュータ実行可能プログラム命令を実行する。
このようなプロセッサは、マイクロプロセッサ、DSP(digital signal processor)、ASIC(application−specific integrated circuit)、FPGA(field programmable gate array)、及び状態機械を含んでもよい。このようなプロセッサは、PLC、PIC(programmable interrupt controller)、PLD(programmable logic device)、PROM(programmable read−only memory)、EPROM若しくはEEPROM(electronically programmable read−only memory)、又は他の類似の装置等のプログラム可能電子装置をさらに備えてもよい。
このようなプロセッサは、プロセッサによって実行されるときに、プロセッサによって実行され又は支援される本明細書に記載のステップをプロセッサに実行させ得る命令を記憶し得る媒体、例えば有形のコンピュータ可読媒体を備え又はそれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、全ての電子、光学、磁気、又はコンピュータ可読命令をウェブサーバ内のプロセッサ等のプロセッサに提供可能な他の記憶装置を含んでもよい。媒体の他の例は、限定されないが、フロッピー(登録商標)ディスク、CD−ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読取り可能な任意の他の媒体を含む。また、様々な他の装置は、例えば、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、1つ以上の構造内にあってもよく、1つ以上の構造にわたって分散されてもよい。プロセッサは、本明細書に記載の1つ以上の方法(又は方法の一部)を実行するためのコードを備えてもよい。
本願の主題はその特定の実施形態に関して詳細に記載されてきたが、先述の理解を達成すると、当業者であれば、このような実施形態への代替、変形、及び均等物を容易に製造し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されているのであって、当業者には容易に自明である本主題への修正、変形及び/又は追加を含むことを除外しないことが理解されるべきである。

Claims (24)

  1. グラフィカルユーザインターフェースにおけるユーザ相互作用を検出するように構成されるセンサと、
    前記センサに結合されるプロセッサであって、
    前記グラフィカルユーザインターフェースにおける前記ユーザ相互作用の場所を決定し、
    前記グラフィカルユーザインターフェースの第1の領域に関係付けられる第1のテクスチャをシミュレートするように構成される第1の触覚効果を決定し、且つ
    前記グラフィカルユーザインターフェースの第2の領域に関係付けられる第2のテクスチャをシミュレートするように構成される第2の触覚効果を決定するように構成されるプロセッサと
    第1の触覚信号を受信して前記第1の触覚効果を出力するように構成される第1のアクチュエータと、
    第2の触覚信号を受信して前記第2の触覚効果を出力するように構成される第2のアクチュエータと
    を備え、前記第1及び第2の触覚効果は同時に出力されるように構成され
    前記プロセッサは、前記第1の触覚信号及び第2の触覚信号を決定すると共に、前記第1のアクチュエータに前記第1の触覚信号を送信し且つ前記第2のアクチュエータに前記第2の触覚信号を送信するように更に構成されることを特徴とする、システム。
  2. グラフィカルユーザインターフェースにおけるユーザ相互作用を検出するように構成されるセンサと、
    前記センサに結合されるプロセッサであって、
    前記グラフィカルユーザインターフェースにおける前記ユーザ相互作用の場所を決定し、
    前記グラフィカルユーザインターフェースの第1の領域に関係付けられる第1のテクスチャをシミュレートするように構成される第1の触覚効果を決定し、且つ
    前記グラフィカルユーザインターフェースの第2の領域に関係付けられる第2のテクスチャをシミュレートするように構成される第2の触覚効果を決定するように構成されるプロセッサと
    を備え、前記第1及び第2の触覚効果は同時に出力されるように構成され、
    前記プロセッサは、複数のピクセルを含む表示信号を受信して、前記表示信号に少なくとも部分的に基づいて前記第1の触覚効果及び前記第2の触覚効果を決定することを特徴とする、システム。
  3. 前記グラフィカルユーザインターフェースの前記第1の領域は、アイコン、音声メール、テキストメッセージ、又はデータメッセージの1つ以上を含むことを特徴とする、請求項1又は2に記載のシステム。
  4. 前記グラフィカルユーザインターフェースの前記第2の領域は、端、背景、又は境界の1つ以上を含むことを特徴とする、請求項1又は2に記載のシステム。
  5. 前記第1のアクチュエータ及び前記第2のアクチュエータは、異なる種類のアクチュエータを含むことを特徴とする、請求項に記載のシステム。
  6. 前記第1の触覚効果及び前記第2の触覚効果は、異なる触覚効果を含むことを特徴とする、請求項1又は2に記載のシステム。
  7. 前記第1のアクチュエータは、偏心回転質量アクチュエータを含むことを特徴とする、請求項に記載のシステム。
  8. 前記第1のアクチュエータは、低振幅の触覚信号に基づく触覚効果を出力するように構成されることを特徴とする、請求項7に記載のシステム。
  9. 前記第2のアクチュエータは、リニア共振アクチュエータを含むことを特徴とする、請求項に記載のシステム。
  10. 前記第2のアクチュエータは、高振幅の触覚信号に基づく触覚効果を出力するように構成されることを特徴とする、請求項9に記載のシステム。
  11. 前記第1のアクチュエータは、圧電アクチュエータ、電気活性ポリマ又は形状記憶合金の1つを含むことを特徴とする、請求項に記載のシステム。
  12. 筐体をさらに備えることを特徴とする、請求項に記載のシステム。
  13. 前記筐体は、移動装置の筐体を含むことを特徴とする、請求項12に記載のシステム。
  14. 前記筐体は、コンピュータモニタの筐体を含むことを特徴とする、請求項12に記載のシステム。
  15. 前記第1のアクチュエータ及び前記第2のアクチュエータの少なくとも一方は、前記筐体に結合されることを特徴とする、請求項12に記載のシステム。
  16. 前記表示信号を受信して、前記表示信号に少なくとも部分的に基づいて画像を出力するように構成されるディスプレイをさらに備えることを特徴とする、請求項に記載のシステム。
  17. 前記第1のテクスチャ及び前記第2のテクスチャは、前記ディスプレイの表面で感知されるように構成されることを特徴とする、請求項16に記載のシステム。
  18. 前記第1の触覚効果を出力するように構成される第1のアクチュエータ又は前記第2の触覚効果を出力するように構成される第2のアクチュエータの少なくとも一方は、前記ディスプレイに結合されることを特徴とする、請求項16に記載のシステム。
  19. 前記第1の触覚効果及び前記第2の触覚効果は、前記ユーザ相互作用の場所に少なくとも部分的に基づいて決定されることを特徴とする、請求項1に記載のシステム。
  20. 触覚テクスチャを出力する方法であって、
    グラフィカルユーザインターフェースにおけるユーザ相互作用を検出するステップと、
    前記グラフィカルユーザインターフェースにおける前記ユーザ相互作用の場所を決定するステップと、
    前記グラフィカルユーザインターフェースの第1の領域に関係付けられる第1のテクスチャをシミュレートするように構成される第1の触覚効果を決定するステップと、
    前記グラフィカルユーザインターフェースの第2の領域に関係付けられる第2のテクスチャをシミュレートするように構成される第2の触覚効果を決定するステップと
    第1のアクチュエータに前記第1の触覚効果に関連付けられる第1の触覚信号を送信するステップであって、前記第1のアクチュエータは前記第1の触覚信号を受信して前記第1の触覚効果を出力するように構成されるステップと、
    第2のアクチュエータに前記第2の触覚効果に関連付けられる第2の触覚信号を送信するステップであって、前記第2のアクチュエータは前記第2の触覚信号を受信して前記第2の触覚効果を出力するように構成されるステップと
    を含み、前記第1及び第2の触覚効果は同時に出力されるように構成されることを特徴とする、方法。
  21. 触覚テクスチャを出力する方法であって、
    グラフィカルユーザインターフェースにおけるユーザ相互作用を検出するステップと、
    前記グラフィカルユーザインターフェースにおける前記ユーザ相互作用の場所を決定するステップと、
    前記グラフィカルユーザインターフェースの第1の領域に関係付けられる第1のテクスチャをシミュレートするように構成される第1の触覚効果を決定するステップと、
    前記グラフィカルユーザインターフェースの第2の領域に関係付けられる第2のテクスチャをシミュレートするように構成される第2の触覚効果を決定するステップと、
    複数のピクセルを含む表示信号を受信するステップと
    を含み、前記第1及び第2の触覚効果は同時に出力されるように構成され、
    前記第1の触覚効果及び前記第2の触覚効果を決定するステップは、前記表示信号に少なくとも部分的に基づくことを特徴とする、方法。
  22. 前記グラフィカルユーザインターフェースの前記第1の領域は、アイコン、音声メール、テキストメッセージ、又はデータメッセージの1つ以上を含むことを特徴とする、請求項20又は21に記載の方法。
  23. 前記グラフィカルユーザインターフェースの前記第2の領域は、端、背景、又は境界の1つ以上を含むことを特徴とする、請求項20又は21に記載の方法。
  24. 前記第1のテクスチャ及び前記第2のテクスチャは、タッチセンサ式インターフェースの表面で感知されるように構成されることを特徴とする、請求項20又は21に記載の方法。
JP2016151799A 2009-03-12 2016-08-02 テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法 Expired - Fee Related JP6224187B2 (ja)

Applications Claiming Priority (18)

Application Number Priority Date Filing Date Title
US15948209P 2009-03-12 2009-03-12
US61/159,482 2009-03-12
US26203809P 2009-11-17 2009-11-17
US26204109P 2009-11-17 2009-11-17
US61/262,041 2009-11-17
US61/262,038 2009-11-17
US12/696,893 US9746923B2 (en) 2009-03-12 2010-01-29 Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US12/697,042 US10564721B2 (en) 2009-03-12 2010-01-29 Systems and methods for using multiple actuators to realize textures
US12/697,037 2010-01-29
US12/697,010 2010-01-29
US12/696,900 US9696803B2 (en) 2009-03-12 2010-01-29 Systems and methods for friction displays and additional haptic effects
US12/696,908 US10007340B2 (en) 2009-03-12 2010-01-29 Systems and methods for interfaces featuring surface-based haptic effects
US12/696,900 2010-01-29
US12/697,010 US9874935B2 (en) 2009-03-12 2010-01-29 Systems and methods for a texture engine
US12/696,908 2010-01-29
US12/696,893 2010-01-29
US12/697,042 2010-01-29
US12/697,037 US9927873B2 (en) 2009-03-12 2010-01-29 Systems and methods for using textures in graphical user interface widgets

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014171836A Division JP5984888B2 (ja) 2009-03-12 2014-08-26 テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017194165A Division JP6588951B2 (ja) 2009-03-12 2017-10-04 テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法

Publications (2)

Publication Number Publication Date
JP2017010571A JP2017010571A (ja) 2017-01-12
JP6224187B2 true JP6224187B2 (ja) 2017-11-01

Family

ID=73451950

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2014171836A Expired - Fee Related JP5984888B2 (ja) 2009-03-12 2014-08-26 テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法
JP2016151799A Expired - Fee Related JP6224187B2 (ja) 2009-03-12 2016-08-02 テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法
JP2017194165A Expired - Fee Related JP6588951B2 (ja) 2009-03-12 2017-10-04 テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014171836A Expired - Fee Related JP5984888B2 (ja) 2009-03-12 2014-08-26 テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017194165A Expired - Fee Related JP6588951B2 (ja) 2009-03-12 2017-10-04 テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法

Country Status (3)

Country Link
US (1) US10564721B2 (ja)
JP (3) JP5984888B2 (ja)
KR (1) KR20110130470A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10466792B2 (en) 2009-03-12 2019-11-05 Immersion Corporation Systems and methods for friction displays and additional haptic effects

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20085475A0 (fi) * 2008-05-19 2008-05-19 Senseg Oy Kosketuslaiteliitäntä
WO2009037379A1 (en) 2007-09-18 2009-03-26 Senseg Oy Method and apparatus for sensory stimulation
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
EP2472365B1 (en) 2009-08-27 2016-10-12 Kyocera Corporation Tactile sensation imparting device and control method of tactile sensation imparting device
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US8766933B2 (en) 2009-11-12 2014-07-01 Senseg Ltd. Tactile stimulation apparatus having a composite section comprising a semiconducting material
US20110260988A1 (en) * 2010-01-20 2011-10-27 Northwestern University Method and apparatus for increasing magnitude and frequency of forces applied to a bare finger on a haptic surface
US10013058B2 (en) 2010-09-21 2018-07-03 Apple Inc. Touch-based user interface with haptic feedback
US8710968B2 (en) 2010-10-07 2014-04-29 Motorola Mobility Llc System and method for outputting virtual textures in electronic devices
BR112013011300A2 (pt) 2010-11-09 2019-09-24 Koninl Philips Electronics Nv interface de usuário, método de fornecimento de retroalimentação táctil ao usuário que toca uma superfície de interação (s) com um conjunto de acionadores e aparelho que compreende uma interface de usuário
US10120446B2 (en) 2010-11-19 2018-11-06 Apple Inc. Haptic input device
US8725443B2 (en) 2011-01-24 2014-05-13 Microsoft Corporation Latency measurement
US8988087B2 (en) 2011-01-24 2015-03-24 Microsoft Technology Licensing, Llc Touchscreen testing
JP5809079B2 (ja) * 2011-02-10 2015-11-10 京セラ株式会社 電子機器及び電子機器の制御方法
US8982061B2 (en) 2011-02-12 2015-03-17 Microsoft Technology Licensing, Llc Angular contact geometry
US9542092B2 (en) 2011-02-12 2017-01-10 Microsoft Technology Licensing, Llc Prediction-based touch contact tracking
US8773377B2 (en) 2011-03-04 2014-07-08 Microsoft Corporation Multi-pass touch contact tracking
US10108288B2 (en) 2011-05-10 2018-10-23 Northwestern University Touch interface device and method for applying controllable shear forces to a human appendage
WO2012154972A2 (en) 2011-05-10 2012-11-15 Northwestern University A touch interface device having an electrostatic multitouch surface and method for controlling the device
US10007341B2 (en) * 2011-06-21 2018-06-26 Northwestern University Touch interface device and method for applying lateral forces on a human appendage
US8913019B2 (en) 2011-07-14 2014-12-16 Microsoft Corporation Multi-finger detection and component resolution
US9378389B2 (en) 2011-09-09 2016-06-28 Microsoft Technology Licensing, Llc Shared item account selection
US9582178B2 (en) 2011-11-07 2017-02-28 Immersion Corporation Systems and methods for multi-pressure interaction on touch-sensitive surfaces
US9785281B2 (en) 2011-11-09 2017-10-10 Microsoft Technology Licensing, Llc. Acoustic touch sensitive testing
US9013426B2 (en) 2012-01-12 2015-04-21 International Business Machines Corporation Providing a sense of touch in a mobile device using vibration
US8914254B2 (en) 2012-01-31 2014-12-16 Microsoft Corporation Latency measurement
US9178509B2 (en) * 2012-09-28 2015-11-03 Apple Inc. Ultra low travel keyboard
US9196134B2 (en) * 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
US8947216B2 (en) 2012-11-02 2015-02-03 Immersion Corporation Encoding dynamic haptic effects
US9836150B2 (en) 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
US9898084B2 (en) * 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
US9046926B2 (en) * 2012-12-17 2015-06-02 International Business Machines Corporation System and method of dynamically generating a frequency pattern to realize the sense of touch in a computing device
US9880623B2 (en) 2013-01-24 2018-01-30 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
US9189098B2 (en) 2013-03-14 2015-11-17 Immersion Corporation Systems and methods for syncing haptic feedback calls
DE102013006069A1 (de) * 2013-04-08 2014-10-09 Audi Ag Verfahren zum Herstellen eines Bedienelements und Bedienelement
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9361709B2 (en) * 2013-05-08 2016-06-07 International Business Machines Corporation Interpreting texture in support of mobile commerce and mobility
GB2513884B (en) 2013-05-08 2015-06-17 Univ Bristol Method and apparatus for producing an acoustic field
US10120447B2 (en) 2013-06-24 2018-11-06 Northwestern University Haptic display with simultaneous sensing and actuation
US9729730B2 (en) 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
US9652040B2 (en) 2013-08-08 2017-05-16 Apple Inc. Sculpted waveforms with no or reduced unforced response
US9779592B1 (en) 2013-09-26 2017-10-03 Apple Inc. Geared haptic feedback element
WO2015047356A1 (en) 2013-09-27 2015-04-02 Bodhi Technology Ventures Llc Band with haptic actuators
WO2015047343A1 (en) 2013-09-27 2015-04-02 Honessa Development Laboratories Llc Polarized magnetic actuators for haptic response
WO2015047364A1 (en) 2013-09-29 2015-04-02 Pearl Capital Developments Llc Devices and methods for creating haptic effects
CN105683865B (zh) 2013-09-30 2018-11-09 苹果公司 用于触觉响应的磁性致动器
US9317118B2 (en) 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
KR102312649B1 (ko) * 2013-11-27 2021-10-14 엘지디스플레이 주식회사 햅틱 렌더링 회로 및 이를 사용한 햅틱 디스플레이
WO2015088491A1 (en) 2013-12-10 2015-06-18 Bodhi Technology Ventures Llc Band attachment mechanism with haptic response
US9965034B2 (en) 2013-12-30 2018-05-08 Immersion Corporation Systems and methods for a haptically-enabled projected user interface
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションImmersion Corporation 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
US9244532B2 (en) 2013-12-31 2016-01-26 Immersion Corporation Systems and methods for controlling multiple displays with single controller and haptic enabled user interface
US9501912B1 (en) 2014-01-27 2016-11-22 Apple Inc. Haptic feedback device with a rotating mass of variable eccentricity
EP3382512A1 (en) 2014-02-21 2018-10-03 Northwestern University Haptic display with simultaneous sensing and actuation
US9594429B2 (en) 2014-03-27 2017-03-14 Apple Inc. Adjusting the level of acoustic and haptic output in haptic devices
WO2015163842A1 (en) 2014-04-21 2015-10-29 Yknots Industries Llc Apportionment of forces for multi-touch input devices of electronic devices
DE102015209639A1 (de) 2014-06-03 2015-12-03 Apple Inc. Linearer Aktuator
JP6294170B2 (ja) 2014-06-26 2018-03-14 京セラ株式会社 触感呈示装置
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
WO2016036671A2 (en) 2014-09-02 2016-03-10 Apple Inc. Haptic notifications
GB2530036A (en) 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
KR20160050664A (ko) * 2014-10-30 2016-05-11 삼성전자주식회사 촉감 센서를 포함하는 전자 장치, 그의 운용 방법 및 시스템
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
KR101666532B1 (ko) * 2014-12-01 2016-10-14 김정훈 실시간 진동 피드백을 제공하는 진동 마우스
US10613628B2 (en) * 2014-12-23 2020-04-07 Immersion Corporation Media driven haptics
JP6332476B2 (ja) 2015-01-26 2018-05-30 富士通株式会社 駆動制御装置、電子機器、駆動制御プログラム、及び駆動制御方法
US10101811B2 (en) 2015-02-20 2018-10-16 Ultrahaptics Ip Ltd. Algorithm improvements in a haptic system
EP3537265B1 (en) 2015-02-20 2021-09-29 Ultrahaptics Ip Ltd Perceptions in a haptic system
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
US10818162B2 (en) 2015-07-16 2020-10-27 Ultrahaptics Ip Ltd Calibration techniques in haptic systems
DE102015216390B3 (de) * 2015-08-27 2016-12-15 Audi Ag Vorrichtung und Verfahren zur Generierung eines haptischen Momentes an einem Aktor
US10566888B2 (en) 2015-09-08 2020-02-18 Apple Inc. Linear actuators for use in electronic devices
EP3144774A1 (en) * 2015-09-15 2017-03-22 Thomson Licensing Methods and apparatus of transmitting a rotation angle information to a set of actuators associated with a surface
WO2017053761A1 (en) * 2015-09-25 2017-03-30 Immersion Corporation Haptic effects design system
US9875625B2 (en) 2015-12-18 2018-01-23 Immersion Corporation Systems and methods for multifunction haptic output devices
US11189140B2 (en) 2016-01-05 2021-11-30 Ultrahaptics Ip Ltd Calibration and detection techniques in haptic systems
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
US9983675B2 (en) 2016-06-10 2018-05-29 Immersion Corporation Systems and methods for monitoring insulation integrity for electrostatic friction
US10649529B1 (en) * 2016-06-28 2020-05-12 Apple Inc. Modification of user-perceived feedback of an input device using acoustic or haptic output
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
US9898904B1 (en) 2016-08-17 2018-02-20 Immersion Corporation Selective control of an electric field to deliver a touchless haptic effect
US10372214B1 (en) 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
US10234945B2 (en) 2016-09-09 2019-03-19 Immersion Corporation Compensated haptic rendering for flexible electronic devices
US11500538B2 (en) * 2016-09-13 2022-11-15 Apple Inc. Keyless keyboard with force sensing and haptic feedback
US10261586B2 (en) 2016-10-11 2019-04-16 Immersion Corporation Systems and methods for providing electrostatic haptic effects via a wearable or handheld device
US10943578B2 (en) 2016-12-13 2021-03-09 Ultrahaptics Ip Ltd Driving techniques for phased-array systems
US10437359B1 (en) 2017-02-28 2019-10-08 Apple Inc. Stylus with external magnetic influence
US10558266B2 (en) 2017-06-30 2020-02-11 Microsoft Technology Licensing, Llc Shape memory alloy actuated haptic feedback
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10775850B2 (en) 2017-07-26 2020-09-15 Apple Inc. Computer with keyboard
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
US10556252B2 (en) 2017-09-20 2020-02-11 Apple Inc. Electronic device having a tuned resonance haptic actuation system
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
EP3729417A1 (en) 2017-12-22 2020-10-28 Ultrahaptics Ip Ltd Tracking in haptic systems
US11704983B2 (en) 2017-12-22 2023-07-18 Ultrahaptics Ip Ltd Minimizing unwanted responses in haptic systems
AU2019264014A1 (en) 2018-05-02 2020-12-03 Ultrahaptics Ip Ltd Blocking plate structure for improved acoustic transmission efficiency
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
US11098951B2 (en) 2018-09-09 2021-08-24 Ultrahaptics Ip Ltd Ultrasonic-assisted liquid manipulation
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
US11378997B2 (en) 2018-10-12 2022-07-05 Ultrahaptics Ip Ltd Variable phase and frequency pulse-width modulation technique
WO2020141330A2 (en) 2019-01-04 2020-07-09 Ultrahaptics Ip Ltd Mid-air haptic textures
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
US11226685B2 (en) * 2019-06-12 2022-01-18 Microsoft Technology Licensing, Llc Haptic controller
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
US11553295B2 (en) 2019-10-13 2023-01-10 Ultraleap Limited Dynamic capping with virtual microphones
US11374586B2 (en) 2019-10-13 2022-06-28 Ultraleap Limited Reducing harmonic distortion by dithering
WO2021090028A1 (en) 2019-11-08 2021-05-14 Ultraleap Limited Tracking techniques in haptics systems
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
US20210232308A1 (en) 2020-01-28 2021-07-29 Immersion Corporation Systems, devices, and methods for providing localized haptic effects
US10996693B1 (en) 2020-02-17 2021-05-04 Robert Bosch Gmbh Haptic feedback actuation via open/closed loop control system
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
WO2022058738A1 (en) 2020-09-17 2022-03-24 Ultraleap Limited Ultrahapticons
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
US11954256B2 (en) * 2021-12-17 2024-04-09 Google Llc Haptic interface for computing devices
CN117378219A (zh) * 2022-02-23 2024-01-09 谷歌有限责任公司 组合的音频和触觉致动器组件

Family Cites Families (165)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2074185T3 (es) 1990-03-23 1995-09-01 Rockwell International Corp Motor piezoelectrico.
EP0537384A1 (en) 1991-08-22 1993-04-21 Mitsubishi Jukogyo Kabushiki Kaisha Rotation control system for ultrasonic motor
JPH087182Y2 (ja) 1992-07-31 1996-03-04 朝日電装株式会社 コード押え装置
US5629594A (en) 1992-12-02 1997-05-13 Cybernet Systems Corporation Force feedback system
US6131097A (en) 1992-12-02 2000-10-10 Immersion Corporation Haptic authoring
US5734373A (en) 1993-07-16 1998-03-31 Immersion Human Interface Corporation Method and apparatus for controlling force feedback interface systems utilizing a host computer
US5767839A (en) 1995-01-18 1998-06-16 Immersion Human Interface Corporation Method and apparatus for providing passive force feedback to human-computer interface systems
WO1995020787A1 (en) 1994-01-27 1995-08-03 Exos, Inc. Multimode feedback display technology
JP3225477B2 (ja) * 1994-06-23 2001-11-05 日本電信電話株式会社 触覚刺激表出方法及び装置と触覚刺激ディスプレイ
US6850222B1 (en) 1995-01-18 2005-02-01 Immersion Corporation Passive force feedback for computer interface devices
US5691898A (en) 1995-09-27 1997-11-25 Immersion Human Interface Corp. Safe and low cost computer peripherals with force feedback for consumer applications
US5959613A (en) 1995-12-01 1999-09-28 Immersion Corporation Method and apparatus for shaping force signals for a force feedback device
US7027032B2 (en) 1995-12-01 2006-04-11 Immersion Corporation Designing force sensations for force feedback computer applications
US6219032B1 (en) 1995-12-01 2001-04-17 Immersion Corporation Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface
US5956484A (en) 1995-12-13 1999-09-21 Immersion Corporation Method and apparatus for providing force feedback over a computer network
US6028593A (en) 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US6169540B1 (en) 1995-12-01 2001-01-02 Immersion Corporation Method and apparatus for designing force sensations in force feedback applications
US6147674A (en) 1995-12-01 2000-11-14 Immersion Corporation Method and apparatus for designing force sensations in force feedback computer applications
US6859819B1 (en) 1995-12-13 2005-02-22 Immersion Corporation Force feedback enabled over a computer network
US6046730A (en) 1996-03-15 2000-04-04 At&T Corp Backlighting scheme for a multimedia terminal keypad
US6046527A (en) 1996-07-05 2000-04-04 Honeybee Robotics, Inc. Ultrasonic positioner with multiple degrees of freedom of movement
US6084587A (en) 1996-08-02 2000-07-04 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with a haptic virtual reality environment
US7815436B2 (en) 1996-09-04 2010-10-19 Immersion Corporation Surgical simulation interface device and method
JP4354540B2 (ja) 1996-10-18 2009-10-28 ヤマハ株式会社 力覚駆動装置、力覚付与方法および記録媒体
US6285351B1 (en) 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
US6292170B1 (en) 1997-04-25 2001-09-18 Immersion Corporation Designing compound force sensations for computer applications
US6252579B1 (en) 1997-08-23 2001-06-26 Immersion Corporation Interface device and method for providing enhanced cursor control with force feedback
JP4149574B2 (ja) 1997-08-29 2008-09-10 ゼロックス コーポレイション ユーザインターフェースサポートデバイス、及び情報入力方法
US6088019A (en) 1998-06-23 2000-07-11 Immersion Corporation Low cost force feedback device with actuator for non-primary axis
US6448977B1 (en) 1997-11-14 2002-09-10 Immersion Corporation Textures and other spatial sensations for a relative haptic interface device
EP1717684A3 (en) 1998-01-26 2008-01-23 Fingerworks, Inc. Method and apparatus for integrating manual input
JP3987182B2 (ja) 1998-01-26 2007-10-03 Idec株式会社 情報表示装置および操作入力装置
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6433711B1 (en) 1999-12-14 2002-08-13 Texas Instruments Incorporated System and method for offset error compensation in comparators
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
JP3929672B2 (ja) 2000-03-10 2007-06-13 独立行政法人科学技術振興機構 弾性波を用いたコンピュータ入出力装置
JP2001290572A (ja) * 2000-04-05 2001-10-19 Fuji Xerox Co Ltd 情報処理装置
JP3949912B2 (ja) 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
US6963762B2 (en) 2001-05-23 2005-11-08 Nokia Corporation Mobile phone using tactile icons
JP2003067135A (ja) 2001-08-27 2003-03-07 Matsushita Electric Ind Co Ltd タッチパネル入力方法、並びにタッチパネル入力装置
JP2003091233A (ja) 2001-09-17 2003-03-28 Toru Saito 画像表示装置および画像入力装置
JP2003099177A (ja) 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
US7032188B2 (en) 2001-09-28 2006-04-18 Nokia Corporation Multilevel sorting and displaying of contextual objects
ES2257583T3 (es) 2001-12-12 2006-08-01 Koninklijke Philips Electronics N.V. Sistema de visualizacion con guiado tactil.
US7474426B2 (en) 2001-12-18 2009-01-06 Oce Printing Systems Gmbh Method, device system and computer program for saving and retrieving print data in a network
US6703924B2 (en) 2001-12-20 2004-03-09 Hewlett-Packard Development Company, L.P. Tactile display apparatus
JP4434609B2 (ja) 2002-03-29 2010-03-17 株式会社東芝 表示入力システム
JP4061105B2 (ja) 2002-03-29 2008-03-12 アルプス電気株式会社 力覚付与装置
KR100769783B1 (ko) 2002-03-29 2007-10-24 가부시끼가이샤 도시바 표시 입력 장치 및 표시 입력 시스템
US6904823B2 (en) 2002-04-03 2005-06-14 Immersion Corporation Haptic shifting devices
JP3937982B2 (ja) * 2002-08-29 2007-06-27 ソニー株式会社 入出力装置および入出力装置を有する電子機器
KR20040025398A (ko) 2002-09-19 2004-03-24 삼성전자주식회사 이동 통신 단말의 호착신 알림 방법
JP4117352B2 (ja) 2002-11-12 2008-07-16 株式会社ソニー・コンピュータエンタテインメント ファイル処理方法とこの方法を利用可能な装置
US7278119B2 (en) 2002-11-29 2007-10-02 Sigmatel, Inc. Battery-optimized system-on-a-chip and applications thereof
CN1320421C (zh) 2002-12-04 2007-06-06 皇家飞利浦电子股份有限公司 具有触摸检测能力的用于设备的控制面板及其控制方法
FI20022282A0 (fi) 2002-12-30 2002-12-30 Nokia Corp Menetelmä vuorovaikutuksen mahdollistamiseksi elektronisessa laitteessa ja elektroninen laite
JP2006518507A (ja) 2003-02-19 2006-08-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ポータブル装置間でのコンテンツアイテムのアドホック共有のためのシステムと、そのインタラクション方法
JP2004265281A (ja) 2003-03-04 2004-09-24 Univ Nihon 振動応答型タッチパネル
US20040218910A1 (en) 2003-04-30 2004-11-04 Chang Nelson L. Enabling a three-dimensional simulation of a trip through a region
JP2004342018A (ja) 2003-05-19 2004-12-02 Alps Electric Co Ltd 力覚付与型入力装置
JP4713070B2 (ja) 2003-08-26 2011-06-29 ヤマハ株式会社 ポインティングデバイス
JP3830476B2 (ja) 2003-08-29 2006-10-04 ファナック株式会社 教示操作盤
JP3856774B2 (ja) 2003-08-29 2006-12-13 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声出力装置、情報入力装置、ファイル選択装置、電話機、及びそのプログラムと記録媒体
DE10340188A1 (de) 2003-09-01 2005-04-07 Siemens Ag Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe
JP2005128891A (ja) * 2003-10-24 2005-05-19 Canon Inc 視触覚情報呈示装置
JP2005258666A (ja) 2004-03-10 2005-09-22 Sony Corp 入力装置および電子機器並びに電子機器の感触フィードバック入力方法
US20060209037A1 (en) 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
KR100853605B1 (ko) 2004-03-23 2008-08-22 후지쯔 가부시끼가이샤 핸드헬드 장치에서의 경사 및 평행 이동 운동 성분들의구별
JP4046095B2 (ja) 2004-03-26 2008-02-13 ソニー株式会社 触覚機能付き入力装置、情報入力方法及び電子機器
US20060061545A1 (en) 2004-04-02 2006-03-23 Media Lab Europe Limited ( In Voluntary Liquidation). Motion-activated control with haptic feedback
GB2416962B (en) 2004-08-05 2009-04-01 Vodafone Plc New communication type for mobile telecommunications networks
JP2006079238A (ja) 2004-09-08 2006-03-23 Alpine Electronics Inc タッチパネル装置
US9046922B2 (en) 2004-09-20 2015-06-02 Immersion Corporation Products and processes for providing multimodal feedback in a user interface device
US7545550B2 (en) 2004-09-27 2009-06-09 Idc, Llc Systems and methods of actuating MEMS display elements
US8232969B2 (en) 2004-10-08 2012-07-31 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
US8677274B2 (en) 2004-11-10 2014-03-18 Apple Inc. Highlighting items for search results
US7440947B2 (en) 2004-11-12 2008-10-21 Fuji Xerox Co., Ltd. System and method for identifying query-relevant keywords in documents with latent semantic analysis
JP4892829B2 (ja) * 2004-11-15 2012-03-07 ソニー株式会社 振動発生装置、触覚機能付きの入出力装置及びその電子機器
EP1817121B1 (en) 2004-11-30 2021-01-06 Immersion Corporation Systems and methods for controlling a resonant device for generating vibrotactile haptic effects
JP2006157642A (ja) 2004-11-30 2006-06-15 Matsushita Electric Ind Co Ltd 携帯端末装置
JP2006163206A (ja) 2004-12-09 2006-06-22 Ntt Docomo Inc 触覚提示装置
GB0503253D0 (en) 2005-02-17 2005-03-23 Univ Northumbria Newcastle User control of a hand-held device
JP2006228151A (ja) 2005-02-21 2006-08-31 Tokai Rika Co Ltd タッチ式入力装置
US8122354B1 (en) 2005-02-25 2012-02-21 The Mathworks, Inc. Systems and methods for providing an indicator of detection of input related to an element of a user interface
JP2006268068A (ja) 2005-03-22 2006-10-05 Fujitsu Ten Ltd タッチパネル装置
US20060226298A1 (en) 2005-03-30 2006-10-12 Lionel L.L.C. Graphical method and system for model vehicle and accessory control
JP4675152B2 (ja) 2005-05-16 2011-04-20 株式会社ワコム 可搬性を備えるコンピュータ
JP4756916B2 (ja) 2005-05-31 2011-08-24 キヤノン株式会社 振動波モータ
US7919945B2 (en) 2005-06-27 2011-04-05 Coactive Drive Corporation Synchronized vibration device for haptic feedback
KR100739723B1 (ko) 2005-07-19 2007-07-13 삼성전자주식회사 오디오 썸네일 기능을 지원하는 오디오 재생 방법 및 장치
US7616192B2 (en) 2005-07-28 2009-11-10 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Touch device and method for providing tactile feedback
US8116740B2 (en) 2005-09-21 2012-02-14 Nokia Corporation Mobile communication terminal and method
JP2007133698A (ja) 2005-11-10 2007-05-31 Sony Ericsson Mobilecommunications Japan Inc 携帯端末
CN102662597B (zh) 2005-11-14 2016-03-09 意美森公司 编辑用于仿真的物理系统的模型的系统和方法
KR100877067B1 (ko) 2006-01-03 2009-01-07 삼성전자주식회사 햅틱 버튼 및 이를 이용한 햅틱 기기
GB2434877A (en) 2006-02-06 2007-08-08 Qinetiq Ltd MOEMS optical modulator
US8525778B2 (en) 2007-03-21 2013-09-03 Northwestern University Haptic device with controlled traction forces
US8405618B2 (en) 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
US8780053B2 (en) 2007-03-21 2014-07-15 Northwestern University Vibrating substrate for haptic interface
US8018431B1 (en) 2006-03-29 2011-09-13 Amazon Technologies, Inc. Page turner for handheld electronic book reader device
WO2007117418A2 (en) 2006-03-31 2007-10-18 Wms Gaming Inc. Portable wagering game with vibrational cues and feedback mechanism
US20070236474A1 (en) 2006-04-10 2007-10-11 Immersion Corporation Touch Panel with a Haptically Generated Reference Key
WO2007135888A1 (ja) 2006-05-18 2007-11-29 Alps Electric Co., Ltd. 静電アクチュエータ
US8174512B2 (en) 2006-06-02 2012-05-08 Immersion Corporation Hybrid haptic device utilizing mechanical and programmable haptic effects
US7516406B1 (en) 2006-06-06 2009-04-07 Adobe Systems Incorporated Partial functionality indicator
JP2007331066A (ja) 2006-06-15 2007-12-27 Canon Inc 接触提示装置及び方法
US7920124B2 (en) 2006-08-29 2011-04-05 Canon Kabushiki Kaisha Force sense presentation device, mixed reality system, information processing method, and information processing apparatus
EP2069893A1 (en) 2006-09-27 2009-06-17 Nokia Corporation Tactile touch screen
US7890863B2 (en) 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
CN101523329A (zh) 2006-10-05 2009-09-02 英默森公司 多模触觉反馈系统
US20080218488A1 (en) 2006-11-30 2008-09-11 Electronics And Telecommunications Research Institute Active driving type visual-tactile display device
US9430042B2 (en) 2006-12-27 2016-08-30 Immersion Corporation Virtual detents through vibrotactile feedback
US8098234B2 (en) 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
JP2008225690A (ja) 2007-03-09 2008-09-25 Sony Corp 振動体、触覚機能付きの入力装置及び電子機器
WO2008112519A1 (en) 2007-03-12 2008-09-18 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Fingertip visual haptic sensor controller
US20100207871A1 (en) 2007-04-26 2010-08-19 Nokia Corporation Method and portable apparatus
JP2008287402A (ja) * 2007-05-16 2008-11-27 Sony Corp タッチパネルディスプレイ装置およびタッチパッド並びに電子機器
US8315652B2 (en) 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
US8621348B2 (en) 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
JP2009003867A (ja) 2007-06-25 2009-01-08 Panasonic Electric Works Co Ltd 表示装置およびコンピュータ・プログラム
US20090002328A1 (en) 2007-06-26 2009-01-01 Immersion Corporation, A Delaware Corporation Method and apparatus for multi-touch tactile touch panel actuator mechanisms
US8154537B2 (en) 2007-08-16 2012-04-10 Immersion Corporation Resistive actuator with dynamic variations of frictional forces
US8565535B2 (en) 2007-08-20 2013-10-22 Qualcomm Incorporated Rejecting out-of-vocabulary words
US20090053683A1 (en) 2007-08-24 2009-02-26 Immersion Medical, Inc. Flexible Member Based Simulator
US8639708B2 (en) 2007-08-31 2014-01-28 Microsoft Corporation Fact-based indexing for natural language search
KR101348721B1 (ko) 2007-09-03 2014-01-08 엘지전자 주식회사 휴대 단말기 및 그 휴대 단말기의 터치 인식 방법
US9619143B2 (en) 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
US8098235B2 (en) 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
US20090102805A1 (en) 2007-10-18 2009-04-23 Microsoft Corporation Three-dimensional object simulation using audio, visual, and tactile feedback
US8004498B1 (en) 2007-10-22 2011-08-23 Adobe Systems Incorporated Systems and methods for multipoint temporary anchoring
US20090112572A1 (en) 2007-10-30 2009-04-30 Karl Ola Thorn System and method for input of text to an application operating on a device
KR100954529B1 (ko) 2007-11-27 2010-04-23 한국과학기술연구원 원환형 압전 초음파 공진기 및 그를 이용한 압전 초음파회전모터
US20090135142A1 (en) 2007-11-27 2009-05-28 Motorola, Inc. Data entry device and method
US9569086B2 (en) 2007-12-12 2017-02-14 Nokia Technologies Oy User interface having realistic physical effects
US9170649B2 (en) 2007-12-28 2015-10-27 Nokia Technologies Oy Audio and tactile feedback based on visual environment
WO2009097866A1 (en) 2008-02-04 2009-08-13 Nokia Corporation Device and method for providing tactile information
US20090207129A1 (en) 2008-02-15 2009-08-20 Immersion Corporation Providing Haptic Feedback To User-Operated Switch
BRPI0804355A2 (pt) 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo
KR101498622B1 (ko) 2008-06-25 2015-03-04 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
EP3130983B1 (en) 2008-07-15 2018-11-14 Immersion Corporation Systems and methods for shifting haptic feedback function between passive and active modes
US20100020036A1 (en) 2008-07-23 2010-01-28 Edward Hui Portable electronic device and method of controlling same
NL2003141A1 (nl) 2008-07-30 2010-02-02 Asml Holding Nv Actuator system using multiple piezoelectric actuators.
US8749495B2 (en) 2008-09-24 2014-06-10 Immersion Corporation Multiple actuation handheld device
US10289199B2 (en) 2008-09-29 2019-05-14 Apple Inc. Haptic feedback system
US8456320B2 (en) 2008-11-18 2013-06-04 Sony Corporation Feedback with front light
US9116569B2 (en) 2008-11-26 2015-08-25 Blackberry Limited Touch-sensitive display method and apparatus
US8484179B2 (en) 2008-12-08 2013-07-09 Microsoft Corporation On-demand search result details
US8378979B2 (en) 2009-01-27 2013-02-19 Amazon Technologies, Inc. Electronic device with haptic feedback
US20100223133A1 (en) 2009-02-27 2010-09-02 Research In Motion Limited Communications system providing mobile wireless communications device predicted search query terms based upon groups of related advertising terms
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
JP6148820B2 (ja) 2009-03-12 2017-06-14 イマージョン コーポレーションImmersion Corporation サーフェースベースの触覚効果を特徴とするインターフェースのためのシステム及び方法
KR20190045395A (ko) 2009-03-12 2019-05-02 임머숀 코퍼레이션 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
WO2010105011A1 (en) 2009-03-12 2010-09-16 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
JP4778591B2 (ja) 2009-05-21 2011-09-21 パナソニック株式会社 触感処理装置
US8294557B1 (en) 2009-06-09 2012-10-23 University Of Ottawa Synchronous interpersonal haptic communication system
EP2502215B1 (en) 2009-11-17 2020-06-03 Immersion Corporation Systems and methods for increasing haptic bandwidth in an electronic device
JP5449403B2 (ja) 2009-12-28 2014-03-19 パナソニック株式会社 表示する文章に応じた触覚を提示する文章表示装置、文章表示プログラム、及び文章表示方法
US8551576B2 (en) 2010-05-20 2013-10-08 GM Global Technology Operations LLC Method for controlling a coefficient of friction
US8704647B2 (en) 2010-12-21 2014-04-22 Electronics And Telecommunications Research Institute Haptic feedback case for electronic equipment
EP2686941A4 (en) * 2011-03-17 2014-12-03 Coactive Drive Corp ASYMMETRIC AND GENERAL VIBRATION WAVE SHAPES FROM MULTIPLE SYNCHRONIZED VIBRATION ACTUATORS
US9836150B2 (en) 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US20140317200A1 (en) 2013-04-17 2014-10-23 Nokia Corporation Method and Apparatus for a Textural Representation of a Notification
US10168766B2 (en) 2013-04-17 2019-01-01 Nokia Technologies Oy Method and apparatus for a textural representation of a guidance
US9501147B2 (en) 2013-12-29 2016-11-22 Immersion Corporation Haptic device incorporating stretch characteristics

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10466792B2 (en) 2009-03-12 2019-11-05 Immersion Corporation Systems and methods for friction displays and additional haptic effects

Also Published As

Publication number Publication date
JP2018032417A (ja) 2018-03-01
KR20110130470A (ko) 2011-12-05
JP6588951B2 (ja) 2019-10-09
JP2017010571A (ja) 2017-01-12
US10564721B2 (en) 2020-02-18
US20100231508A1 (en) 2010-09-16
JP2015028788A (ja) 2015-02-12
JP5984888B2 (ja) 2016-09-06

Similar Documents

Publication Publication Date Title
JP6588951B2 (ja) テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法
JP6410860B2 (ja) テクスチャエンジン用のシステム及び方法
JP5606462B2 (ja) テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法
JP5779508B2 (ja) テクスチャエンジン用のシステム及び方法
CN105892921B (zh) 用于使用多个致动器实现纹理的系统和方法
JP6463795B2 (ja) グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
JP5694204B2 (ja) グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
KR101992070B1 (ko) 텍스처 엔진에 대한 시스템 및 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171004

R150 Certificate of patent or registration of utility model

Ref document number: 6224187

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees