JP5319719B2 - Haptic feedback sensation based on audio output from computer equipment - Google Patents
Haptic feedback sensation based on audio output from computer equipment Download PDFInfo
- Publication number
- JP5319719B2 JP5319719B2 JP2011055834A JP2011055834A JP5319719B2 JP 5319719 B2 JP5319719 B2 JP 5319719B2 JP 2011055834 A JP2011055834 A JP 2011055834A JP 2011055834 A JP2011055834 A JP 2011055834A JP 5319719 B2 JP5319719 B2 JP 5319719B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- haptic
- haptic effect
- output
- sound data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
Abstract
Description
本発明は、一般的に人間がコンピュータシステムとインタフェースすることを可能にするシステムに関し、さらに詳しくは、サウンド出力を含む一つまたはそれ以上のコンピュータアプリケーションとインタフェースするユーザに触覚フィードバックを提供するための方法に関する。 The present invention relates generally to a system that allows a human to interface with a computer system, and more particularly to provide haptic feedback to a user interfacing with one or more computer applications including sound output. Regarding the method.
ユーザはコンピュータによって表示される環境と対話して、コンピュータでゲームをし、シミュレーションまたは仮想現実環境を経験し、コンピュータ支援設計システムを使用し、グラフィカルユーザインタフェース(GUI)を操作し、ウェブページをナビゲートするなどの機能およびタスクを実行することができる。そのような対話に使用される一般的なヒューマン−コンピュータインタフェース装置は、コンピュータ環境を制御するコンピュータシステムと通信するマウス、ジョイスティック、トラックボール、ゲームパッド、リモートコントロール、ステアリングホイール、スタイラス、タブレット、感圧球体、または類似物を含む。コンピュータは、ジョイスティックハンドル、ボタン、またはマウスなどの物理的マニピュランダムのユーザの操作に応答して環境を更新し、表示スクリーンおよびオーディオスピーカを利用して、視覚的および聴覚的フィードバックをユーザに提供する。コンピュータは、コンピュータに位置信号を送信するインタフェース装置に設けられたセンサを通して、ユーザオブジェクトのユーザの操作を感知する。 Users interact with the environment displayed by the computer, play games on the computer, experience a simulation or virtual reality environment, use a computer-aided design system, operate a graphical user interface (GUI), and navigate web pages. Can perform functions and tasks such as gating. Typical human-computer interface devices used for such interactions are mice, joysticks, trackballs, gamepads, remote controls, steering wheels, styluses, tablets, pressure sensitive devices that communicate with computer systems that control the computer environment. Includes spheres or the like. The computer updates the environment in response to physical manipulatory user operations such as joystick handles, buttons, or mice, and utilizes a display screen and audio speakers to provide visual and audible feedback to the user . The computer senses a user operation on the user object through a sensor provided in an interface device that transmits a position signal to the computer.
一部のインタフェース装置では、より一般的にここでは集合的に「触覚フィードバック」として知られる、運動感覚力フィードバックおよび/または触知フィードバックもユーザに提供される。これらの型のインタフェース装置は、インタフェース装置のユーザマニピュランダムを操作するユーザによって体感される物理的感覚を提供することができる。一つまたはそれ以上のモータまたは他のアクチュエータがマニピュランダムに結合され、制御コンピュータシステムに接続される。コンピュータシステムは、制御信号またはコマンドをアクチュエータに送ることによって、コンピュータ事象と連動しかつ協調してマニピュランダムの力を制御する。したがってコンピュータシステムは、ユーザがインタフェース装置またはインタフェース装置の操作可能なオブジェクトを把持するかそれに接触しているときに、他の供給フィードバックと共に物理的力感覚をユーザに伝えることができる。 In some interface devices, kinesthetic force feedback and / or tactile feedback is also provided to the user, more commonly known herein as “tactile feedback”. These types of interface devices can provide a physical sensation experienced by a user manipulating user interface of the interface device. One or more motors or other actuators are coupled in a manipulantly manner and connected to a control computer system. The computer system controls the force of the manipulandum in conjunction with and in coordination with the computer event by sending control signals or commands to the actuator. Thus, the computer system can convey a physical force sensation to the user along with other supply feedback when the user is gripping or touching the interface device or an operable object of the interface device.
ユーザに提供される聴覚的フィードバックは、多くのアプリケーションプログラム、特にゲームの内在的部分である。一部の既存の触覚フィードバック装置は、コンピュータからのサウンド出力に直接基づいて触覚感覚を提供するように設計される。サウンド出力波形は、スピーカが動作する方法と同様に、振動などの触知感覚がサウンド出力波形またはそのフィルタリングされた部分に直接基づくように、インタフェース装置に直接送られる。 Auditory feedback provided to the user is an intrinsic part of many application programs, especially games. Some existing haptic feedback devices are designed to provide haptic sensations directly based on sound output from a computer. The sound output waveform is sent directly to the interface device so that the tactile sensation such as vibration is directly based on the sound output waveform or its filtered portion, similar to the way the speaker operates.
直接サウンド波形に基づく既存の触覚感覚の弱点は、触覚感覚がサウンド信号に直接基づく単純な効果であることである。信号を触覚装置に送る前に、サウンド信号の評価または処理は行なわれない。サウンド出力の全てが触覚感覚への直接変換に適しているわけではないので、これは、望ましくないかまたは当惑するような触覚感覚をユーザに出力する結果をまねくおそれがある。 A weakness of existing haptic sensations based on direct sound waveforms is that haptic sensations are simple effects based directly on sound signals. The sound signal is not evaluated or processed prior to sending the signal to the haptic device. Since not all of the sound output is suitable for direct conversion to a tactile sensation, this can lead to the result of outputting an undesired or embarrassing haptic sensation to the user.
本発明は、コンピュータ装置からのサウンド出力に基づいて触覚感覚の出力をトリガすることを目的とする。触覚感覚の出力は、サウンドデータの特徴を分析することによってインテリジェントにトリガされ、改善されたユーザ経験を可能にする。 An object of the present invention is to trigger an output of a tactile sensation based on a sound output from a computer device. The tactile sensation output is intelligently triggered by analyzing the characteristics of the sound data, allowing an improved user experience.
さらに詳しくは、本発明のインタフェース装置は、コンピュータからのサウンド出力で検出されたサウンド特徴から触覚感覚をトリガするための方法を提供し、触覚感覚はコンピュータと通信する触覚フィードバック装置のユーザに出力することができる。サウンドデータの一部分は格納され、それはコンピュータで実行されるアプリケーションプログラムからオーディオとしてユーザに出力される。サウンドデータは、コンピュータのメモリバッファに格納される。サウンドデータの該部分から少なくとも一つのサウンド特徴を抽出するために、サウンドの該部分はインテリジェントヒューリスティックスを使用して分析される。少なくとも一つの触覚効果の実行はサウンド特徴に基づいてトリガされ、触覚効果は、サウンドの一部分のオーディオとしてのユーザへの出力にほぼ相関される触覚フィードバック装置に命令される。触覚効果はユーザに対し触覚感覚を出力させる。 More particularly, the interface device of the present invention provides a method for triggering a haptic sensation from sound features detected in a sound output from a computer, the haptic sensation being output to a user of a haptic feedback device in communication with the computer. be able to. A portion of the sound data is stored and output to the user as audio from an application program running on the computer. Sound data is stored in a memory buffer of the computer. In order to extract at least one sound feature from the portion of the sound data, the portion of the sound is analyzed using intelligent heuristics. The execution of the at least one haptic effect is triggered based on the sound feature, and the haptic effect is commanded to a haptic feedback device that is substantially correlated to the output of the portion of the sound to the user as audio. The haptic effect causes the user to output a haptic sensation.
トリガされた触覚感覚は、サウンドデータで見つかったサウンド特徴に割り当てることが好ましい。一部の実施形態では、サウンドデータの一部分の分析は、サウンドデータを複数の異なる周波数範囲に処理し、各々の周波数範囲でサウンド特徴を探索することを含むことができる。各々の周波数範囲に対し、サウンド特徴がその周波数範囲に存在する場合、触覚効果をトリガすることができる。サウンドデータにフィルタを適用することができ、あるいは高速フーリエ変換を使用することができる。各周波数範囲は異なる触覚感覚を関連付けるかマッピングすることができる。例えば、各々の周波数範囲に異なる周波数を有する周期的触覚感覚を関連付けることができる。他の型の触覚感覚をサウンド特徴にマッピングするか関連付けて、これらのサウンド特徴の出力によりそれらがトリガされるようにすることもできる。 The triggered haptic sensation is preferably assigned to a sound feature found in the sound data. In some embodiments, analyzing the portion of the sound data may include processing the sound data into a plurality of different frequency ranges and searching for sound features in each frequency range. For each frequency range, if a sound feature is present in that frequency range, a haptic effect can be triggered. A filter can be applied to the sound data, or a fast Fourier transform can be used. Each frequency range can be associated or mapped with a different tactile sensation. For example, periodic tactile sensations having different frequencies can be associated with each frequency range. Other types of haptic sensations can be mapped or associated with sound features so that the output of these sound features can trigger them.
本発明は、サウンド出力を有するアプリケーションプログラムを実行するコンピュータシステムによって触覚フィードバックを出力させることができることが有利である。本発明はサウンドデータ内の特徴に触覚感覚をインテリジェントに割り当て、サウンド出力を引き起こしたアプリケーションプログラム内の事象に関連する触覚フィードバックを提供する。これは結果的に、サウンド出力に基づく触覚フィードバックのユーザ経験に全体的な改善をもたらす。 The present invention advantageously allows tactile feedback to be output by a computer system executing an application program having sound output. The present invention intelligently assigns haptic sensations to features in sound data and provides haptic feedback related to the event in the application program that caused the sound output. This results in an overall improvement in the user experience of haptic feedback based on sound output.
本発明のこれらおよび他の利点は、本発明の以下の明細書を読み、かつ図面の幾つかの図を検討することにより、当業者には明らかになるであろう。 These and other advantages of the invention will be apparent to those of ordinary skill in the art upon reading the following specification of the invention and studying the several figures of the drawings.
図1は、ホストコンピュータ14と通信する触覚フィードバックインタフェース装置12を含む、本発明に使用するのに適したコンピュータシステム10を示すブロック図である。 FIG. 1 is a block diagram illustrating a computer system 10 suitable for use with the present invention, including a haptic feedback interface device 12 in communication with a host computer 14.
ホストコンピュータ14は、ホストマイクロプロセッサ20、クロック22、表示スクリーン26、およびオーディオ出力装置24を含むことが好ましい。ホストコンピュータはまた、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、および入力/出力(I/O)電子部品(図示せず)のような他の周知の構成部品をも含む。ホストコンピュータ14は、多種多様な形態を取ることができるコンピューティング装置である。例えば、記載する実施形態では、コンピュータ14は、PC互換性コンピュータまたはマッキントッシュパーソナルコンピュータ、もしくはサンまたはシリコン・グラフィックスワークステーションのようなパーソナルコンピュータまたはワークステーションである。そのようなコンピュータ14は、Windows(登録商標)、MacOS(登録商標)、Unix(登録商標)、MS−DOS、または他のオペレーティングシステムの下で動作することができる。代替的に、ホストコンピュータ14は、任天堂、セガ、ソニー、またはマイクロソフトから入手可能なシステムのような、テレビジョンセットまたは他の表示装置に一般的に接続される種々のホームビデオゲームコンソールシステムの一つとすることができる。他の実施形態では、ホストコンピュータシステム14は「セットトップボックス」、「ネットワーク」、または「インターネットコンピュータ」、携帯コンピュータまたはゲーム装置、家庭用電子機器(ステレオコンポーネント等)、(パーソナルデジタルアシスタント)PDA等とすることができる。
The host computer 14 preferably includes a
ホストコンピュータ14は、ユーザが装置12および適切な場合には他の周辺装置を介して対話する、ホストアプリケーションプログラムを実装することが好ましい。本発明の文脈では、ホストアプリケーションプログラムとは、以下でさらに詳述する通り、デジタルオーディオ編集プログラムである。装置12の入力を利用し、かつ装置12に触覚フィードバックコマンドを出力する、他のアプリケーションプログラムを使用することもできる。ホストアプリケーションプログラムは、グラフィカルユーザインタフェース(GUI)を利用してユーザにオプションを提示し、かつユーザから入力を受け取ることが好ましい。このアプリケーションプログラムは、以下で述べる触覚フィードバック機能性を含むことができ、あるいは触覚フィードバック制御は、ドライバまたは他のアプリケーションプログラムなど、ホストコンピュータで実行される別のプログラムに実装することができる。ここで、コンピュータ14は「グラフィカル環境」を提示すると言うことができ、それはグラフィカルユーザインタフェース、ゲーム、シミュレーション、または他の視覚的環境とすることができる。コンピュータは「グラフィカルオブジェクト」または「コンピュータオブジェクト」を表示する。それらは物理的オブジェクトではなく、当業者には周知の通り、コンピュータ14によって表示スクリーン26上に画像として表示することのできるデータおよび/またはプロシージャの論理ソフトウェア単位集合である。ソフトウェアを触覚フィードバック装置とインタフェースする適切なソフトウェアドライバは、カリフォルニア州サンノゼのイマージョン・コーポレーションから入手可能である。
The host computer 14 preferably implements a host application program that allows the user to interact through the device 12 and other peripheral devices as appropriate. In the context of the present invention, a host application program is a digital audio editing program, as will be described in further detail below. Other application programs that utilize the input of device 12 and output haptic feedback commands to device 12 may also be used. The host application program preferably utilizes a graphical user interface (GUI) to present options to the user and receive input from the user. This application program can include the haptic feedback functionality described below, or the haptic feedback control can be implemented in another program running on the host computer, such as a driver or other application program. Here, the computer 14 can be said to present a “graphical environment”, which can be a graphical user interface, game, simulation, or other visual environment. The computer displays “graphical objects” or “computer objects”. They are not physical objects, but a logical software unit set of data and / or procedures that can be displayed as an image on the
表示装置26はホストコンピュータシステム14に含めることができ、標準表示スクリーン(LCD、CRT、フラットパネル等)、3Dゴグル、映写装置、または他の映像出力装置とすることができる。表示装置26は、オペレーティングシステムアプリケーション、シミュレーション、ゲーム等によって命令された画像を表示する。スピーカなどのオーディオ出力装置24は、ユーザにサウンド出力を提供する。本発明の文脈では、ステレオ受信機、増幅器等のような、他のオーディオ関連装置をホストコンピュータに接続することもできる。記憶装置(ハードディクスドライブ、CD ROMドライブ、フロッピー(登録商標)ディスクドライブ等)、プリンタ、および他の入出力装置のような、他の型の周辺装置もホストプロセッサ20に接続することができる。
The
マウス、ノブ、ゲームパッド、トラックボール、ジョイスティック、リモートコントロールユニット、PDAスクリーンなどの触覚フィードバックインタフェース装置12は、双方向バス30によってホストコンピュータシステム14に接続される。双方向バスはホストコンピュータシステム14とインタフェース装置との間でどちらの方向にも信号を送信する。バス30は、RS232シリアルインタフェース、RS−422、ユニバーサルシリアルバス(USB)、MIDI、または当業者には周知の他のプロトコルなどのシリアルインタフェースバスとすることができ、あるいはパラレルバス、またはワイヤレスリンクとすることができる。一部のインタフェースは装置12のアクチュエータに電力を提供することもできる。
A haptic feedback interface device 12 such as a mouse, knob, gamepad, trackball, joystick, remote control unit, PDA screen, etc. is connected to the host computer system 14 by a
装置12はローカルプロセッサ40を含むことができる。ローカルプロセッサ40は任意選択的に、マウスの他の構成部品との効率的な通信を可能にするために、装置12のハウジング内に含めることができる。プロセッサ40は、コンピュータホスト14からのコマンドまたは要求を待ち、コマンドまたは要求を復号し、コマンドまたは要求に従って入力および出力信号を処理/制御するためのソフトウェア命令を備えることができる。加えて、プロセッサ40は、センサ信号を読み取り、これらのセンサ信号、時間信号、およびホストコマンドに従って選択された格納またはリレーされた命令から適切な力またはコマンドを計算することによって、ホストコンピュータ14とは独立して動作することができる。ローカルプロセッサ40として使用するための適切なマイクロプロセッサとして、例えばモトローラによるMC68HC711E9、マイクロチップによるPIC16C74、およびインテル社による82930AXのみならず、イマージョン・タッチセンス・プロセッサのようなより高機能の力フィードバックプロセッサがある。プロセッサ40は、一個のマイクロプロセッサチップ、複数個のプロセッサおよび/またはコプロセッサチップ、および/またはデジタル信号プロセッサ(DSP)機能を含むことができる。 The device 12 can include a local processor 40. A local processor 40 can optionally be included within the housing of the device 12 to allow efficient communication with other components of the mouse. The processor 40 may comprise software instructions for waiting for a command or request from the computer host 14, decoding the command or request, and processing / controlling input and output signals in accordance with the command or request. In addition, the processor 40 reads the sensor signals and calculates the appropriate force or command from these sensor signals, time signals, and stored or relayed instructions selected according to the host command, thereby deducing the host computer 14. Can work independently. Suitable microprocessors for use as local processor 40 include, for example, MC68HC711E9 by Motorola, PIC16C74 by Microchip, and 82930AX by Intel, as well as more powerful force feedback processors such as immersion touch sense processors. is there. The processor 40 may include a single microprocessor chip, multiple processors and / or coprocessor chips, and / or digital signal processor (DSP) functionality.
マイクロプロセッサ40は、ホストコンピュータ14によって提供される命令に従って、センサ42から信号を受け取り、アクチュエータアセンブリ44に信号を提供することができる。例えば、ローカル制御の実施形態では、ホストコンピュータ14はバス30を通して高レベル監視コマンドをプロセッサ40に提供し、プロセッサ40はホストコンピュータ14の高レベルコマンドコマンドに従ってホストコンピュータとは独立してコマンドを復号し、センサおよびアクチュエータへの低レベルの力制御ループを管理する。この動作は米国特許第5739811号および第5734373号に詳細に記載されており、両方を参照によってここに組み込む。ホスト制御ループでは、ホストコンピュータからの力コマンドが、指定された特性を有する力または力感覚を出力するようにプロセッサに指示する。ローカルプロセッサ40は位置および他のセンサデータをホストコンピュータに報告し、ホストコンピュータはそれを使用して実行プログラムを更新する。ローカル制御ループでは、アクチュエータ信号がプロセッサ40からアクチュエータ44に提供され、センサ信号がセンサ42および他の入力装置48からプロセッサ40に提供される。プロセッサ40は入力センサ信号を処理して、格納された命令に従うことによって適切な出力アクチュエータ信号を決定することができる。ここで、用語「触覚感覚」または「触感」とは、ユーザに感覚を与えるアクチュエータによって出力される単一の力または一連の力のいずれかを指す。用語「触覚効果」とは一般的に、装置に送られた、触覚効果を定義するコマンド、パラメータおよび/またはデータを指し、それは、効果が装置によって力としてユーザに出力されたときに、触覚感覚をもたらす。
Microprocessor 40 can receive signals from
さらに別の実施形態では、プロセッサ40としての機能性を提供するために、他のより簡単なハードウェアを装置12に局所的に提供することができる。例えば、ハードウェア状態機械または固定論理を組み込んだASICを使用して、アクチュエータ44に信号を提供し、センサ42からセンサ信号を受け取り、予め定められたシーケンス、アルゴリズム、またはプロセスに従って触感信号を出力することができる。
In yet another embodiment, other simpler hardware can be provided locally to the device 12 to provide functionality as the processor 40. For example, a hardware state machine or ASIC incorporating fixed logic is used to provide a signal to the
異なるホスト制御実施形態では、ホストコンピュータ14はバス30を通して低レベル力コマンドを提供することができ、それはプロセッサ40を介してアクチュエータ44に直接伝送される。ホストコンピュータ14はこうして、装置12への、または装置12からの全ての信号を直接制御し、かつ処理する。単純なホスト制御の実施形態では、ホストから装置への信号は、アクチュエータに予め定められた周波数および大きさの力を出力するように命令することができ、あるいは大きさおよび/または方向を含むか、もしくは長時間にわたって加えるべき所望の力値を示す単純なコマンドとすることができる。
In different host control embodiments, the host computer 14 can provide a low level force command over the
プロセッサ40のための命令を格納し、かつ一時的データおよび他のデータを格納するために、RAMおよび/またはROMなどのローカルメモリ52を装置12内のプロセッサ40に接続することが好ましい。例えば、プロセッサによって出力することのできる一連の格納された力値、またはユーザオブジェクトの現在の位置に基づいて出力される力値のルックアップテーブルのような力プロファイルをメモリ52に格納することができる。加えて、ホストコンピュータ14のシステムクロックと同様のタイミングデータを提供するために、ローカルクロック54をプロセッサ40に接続することができる。タイミングデータは、例えばアクチュエータ44によって出力される力(例えば、算出された速度または他の時間依存因子に依存する力)を算出するために必要となる。USB通信インタフェースを使用する実施形態では、プロセッサ40のためのタイミングデータは代替的にUSB信号から検索することができる。
A
センサ42は装置および/またはマニピュランダムの位置または動きを感知し、位置または動きを表わす情報を含む信号をプロセッサ40(またはホスト14)に提供する。操作を検出するのに適したセンサとして、デジタル光符号器、光センサシステム、線形光符号器、電位差計、光センサ、速度センサ、加速センサ、歪み計が含まれ、あるいは他の型のセンサも使用することができ、相対センサまたは絶対センサのいずれでも設けることができる。センサ信号をプロセッサ40および/またはホスト14が解釈できる信号に変換するために、任意選択的センサインタフェース46を使用することができる。
The
アクチュエータ44は、プロセッサ40および/またはホストコンピュータ14から受け取った信号に応答して、装置12のハウジングまたは一つまたはそれ以上のマニピュランダム60に力を伝達することによって触覚感覚を出力する。アクチュエータ44は、DCモータ、ボイスコイル、空気圧または油圧アクチュエータ、トルカー、圧電アクチュエータ、可動磁石アクチュエータ等のような能動アクチュエータ、またはブレーキなどの受動アクチュエータをはじめとする、多くの型のアクチュエータのいずれにもすることができる。
プロセッサ40からの信号を、アクチュエータ44を駆動するのに適した信号に変換するために、アクチュエータ44とプロセッサ40との間に任意選択的にアクチュエータインタフェース50を接続することができる。インタフェース50は、当業者には周知の通り、電力増幅器、スイッチ、デジタルアナログ制御装置(DAC)、アナログデジタル制御装置(ADC)、および他の構成要素を含むことができる。装置12内に他の入力装置48が含まれ、ユーザによって操作されたときに入力信号をプロセッサ40またはホスト14に送る。そのような入力装置はボタン、スクロールホイール、dパッド、ダイヤル、スイッチ、または他の制御装置または機構を含むことができる。
An
アクチュエータに電力を提供するために、アクチュエータインタフェース50および/またはアクチュエータ44に接続された電源56を任意選択的に装置12に含むか、または別個の構成要素として設けることができる。代替的に、電力は装置12から分離された電源から引き込むか、またはバス30を介して受け取ることができる。一部の実施形態は、ピーク力を加えることができることを確実にするために、(参照によってここに組み込む米国特許第5929607号に記載するように)装置内の電力貯蔵装置を使用することができる。代替的に、この技術をワイヤレス装置に使用することができ、その場合、触感アクチュエータを駆動するためにバッテリ電力が使用される。ユーザが安全上の理由からアクチュエータ44の動作を停止させることを可能にするために、任意選択的に安全スイッチ58を含めることができる。
A
ここに記載する本発明に多くの型のインタフェースまたは制御装置を使用することができる。例えば、そのようなインタフェース装置は触覚フィードバックトラックボール、ジョイスティックハンドル、ステアリングホイール、ノブ、ハンドヘルドリモートコントロール装置、ビデオゲームまたはコンピュータゲーム用のゲームパッドコントローラ、スタイラス、グリップ、ホイール、ボタン、携帯電話、PDA、タッチパッド、または他の操作可能な物体、表面またはハウジングを含めることができる。 Many types of interfaces or controllers can be used with the invention described herein. For example, such interface devices include tactile feedback trackballs, joystick handles, steering wheels, knobs, handheld remote control devices, gamepad controllers for video games or computer games, styluses, grips, wheels, buttons, mobile phones, PDAs, A touchpad, or other operable object, surface or housing may be included.
図2は、本発明に使用するのに適した装置12のマウスの実施形態100の側面断面図である。
FIG. 2 is a cross-sectional side view of a
マウス装置100は、ハウジング101、センシングシステム102、およびアクチュエータ104を含む。ハウジング101は、ユーザが平面自由度内でマウスを移動し、ボタン106を操作する間、標準的マウスのようにユーザの手にフィットするように形作られる。多くの異なる実施形態では、他のハウジング形状を提供することができる。
センサ102はその平面自由度内で、たとえばXおよびY軸に沿って、マウスの位置を検出する。記載する実施形態では、センサ102は、コンピュータシステムに方向入力を提供するために、標準的マウスボール110を含む。代替的に、任意選択的センサまたは他の型のセンサを使用することができる。
The
マウス装置100は、マウスのユーザに触感などの触覚フィードバックを与えるために、一つまたはそれ以上のアクチュエータ104を含む。アクチュエータ104は、ユーザに触覚フィードバックを提供するためにハウジング101に接続される。一実施形態では、アクチュエータはアクチュエータによって運動する慣性質量に接続される。慣性質量の運動によって生じる慣性力は、慣性質量に対してマウスのハウジングに加えられ、それによってハウジングに触れているユーザに触感のような触覚フィードバックを伝える。一部の実施形態は、アクチュエータ自体が慣性質量として運動することができる。そのような実施形態は米国特許第6211861号および米国特許出願第09/585741号にさらに詳しく記載されており、参照によって両方を丸ごとここに組み込む。ゲームパッド、ハンドヘルドリモートコントロール、携帯電話、PDA等のような他の型のインタフェース装置は、慣性触感用のアクチュエータを含むことができる。
他の型のインタフェース装置およびアクチュエータも本発明で使用することができる。例えば、ゲームパッド、マウス、または他の装置は、装置のハウジングまたはマニピュランダムに慣性触感を提供するために、アクチュエータの回転軸に結合された偏心回転質量を含むことができる。ジョイスティック、ノブ、スクロールホイール、ゲームパッド、ステアリングホイール、トラックボール、マウス等のような他の型の触覚装置は、運動感覚力フィードバックを提供することができ、力はマニピュランダムの感知される自由度で出力される。例えば、運動感覚マウス触覚装置の実施形態は米国特許第6100874号および第6166723号に開示されており、参照によって両方を丸ごとここに組み込む。 Other types of interface devices and actuators can also be used with the present invention. For example, a gamepad, mouse, or other device can include an eccentric rotating mass coupled to the axis of rotation of the actuator to provide an inertial feel to the device housing or manipulandum. Other types of haptic devices such as joysticks, knobs, scroll wheels, gamepads, steering wheels, trackballs, mice etc. can provide kinematic force feedback, the force is manipundant perceived freedom Is output. For example, embodiments of kinesthetic mouse haptic devices are disclosed in US Pat. Nos. 6,100,904 and 6,166,723, both of which are hereby incorporated by reference in their entirety.
触覚フィードバック付きサウンド出力
本発明は、ホストコンピュータで実行される一つまたはそれ以上のアプリケーションプログラム(または他のプログラム)のサウンド出力と協調する触覚感覚の出力のユーザ経験を改善する。
Sound Output with Tactile Feedback The present invention improves the user experience of tactile sensation output coordinating with the sound output of one or more application programs (or other programs) running on a host computer.
本発明の好適な実施形態は、ホストコンピュータによって出力されるサウンド信号またはデータに基づいて触覚フィードバック装置に出力するための触覚効果を提供し、それは触覚感覚としてユーザに出力される。一部の代替実施形態では、触覚効果は、例えばマイクロホンまたはオーディオ装置からコンピュータシステムに入力されるサウンド信号内の特徴またはデータに基づいて、同様に提供することができる。サウンドの一時的特徴および特性が識別され、予め定められた触覚効果にマッピングされるか関連付けられる。これらの触覚効果に基づく触覚感覚は即座に触覚フィードバック装置12で実行することができ、あるいはメモリに格納して任意のサウンドの「触覚プロファイル」を形成することができる。本発明の方法は、先行技術で行なわれるように単にサウンド信号を触覚感覚として出力するために触覚装置に直接送るだけではなく、種々の高レベルサウンド特徴に種々の高レベル触覚感覚を関連付け、サウンド特徴を使用して適切な触覚感覚の出力をトリガする。 A preferred embodiment of the present invention provides a haptic effect for output to a haptic feedback device based on sound signals or data output by a host computer, which is output to the user as a haptic sensation. In some alternative embodiments, haptic effects may be provided as well based on features or data in a sound signal input to the computer system, for example from a microphone or audio device. Temporal features and characteristics of the sound are identified and mapped or associated with a predetermined haptic effect. Tactile sensations based on these haptic effects can be immediately performed by the haptic feedback device 12 or stored in memory to form a “tactile profile” of any sound. The method of the present invention not only sends the sound signal directly to the haptic device for output as a haptic sensation, as is done in the prior art, but also associates various high level haptic sensations with various high level sound features, Use the feature to trigger the appropriate tactile sensation output.
本発明の重要な利点は、ソフトウェアアプリケーション開発者がプログラムに触覚効果をプログラミングするのに手間を掛ける必要なく、そのアプリケーションプログラム、例えばゲームにおける種々の事象に対してサウンドを出力するプログラムに強力な触覚感覚がもたらされることである。したがって、既製のどんなゲームプログラムでも、ゲームが触覚装置を制御するコードを含むか否か、あるいはそれが非触覚フィードバック装置用に開発されただけであるか否かに関係なく、触覚フィードバック装置と容易に連動させることでき、広範囲のプログラムでユーザのより強力な対話的かつ没入的経験を可能にする。さらに、本発明は、サウンド効果の型をおおよそ区別し、異なる事象に異なる触覚感覚を関連付け、ユーザのより豊かな経験を可能にする。 An important advantage of the present invention is that a powerful tactile sensation in the application program, such as a program that outputs sound for various events in the game, without the need for the software application developer to spend time programming the haptic effect in the program It is to bring a sense. Thus, any off-the-shelf game program can be easily combined with a haptic feedback device, regardless of whether the game includes code that controls the haptic device or whether it is only developed for a non-tactile feedback device. , Enabling a more interactive and immersive experience for users with a wide range of programs. Furthermore, the present invention roughly distinguishes the types of sound effects and associates different events with different haptic sensations, allowing a richer experience for the user.
一実施形態では、ホストコンピュータで実行される低レベルドライバプログラムが、本発明の方法を実行する。他の実施形態では、ホスト(または触覚フィードバック装置のマイクロプロセッサ)で実行される他のレベルのソフトウェアが、本発明の特徴またはステップの一部または全部を実行することができる(アプリケーションプログラム、API等)。本発明を実行するためのプログラム命令はハードウェア(例えば論理部品)として、または電子メモリ、磁気ディスク、光ディスク、磁気テープ等のようなコンピュータ可読媒体に格納されたソフトウェアとして格納することができる。 In one embodiment, a low level driver program running on a host computer performs the method of the present invention. In other embodiments, other levels of software running on the host (or microprocessor of the haptic feedback device) can perform some or all of the features or steps of the invention (application programs, APIs, etc.). ). Program instructions for carrying out the invention can be stored as hardware (eg, logical components) or as software stored on a computer readable medium such as an electronic memory, magnetic disk, optical disk, magnetic tape, or the like.
図3は、所与のサウンドデータまたはサウンド信号に基づく触覚感覚として出力される触覚効果を提供するための本発明の方法の第一実施形態200を示す流れ図である。該方法は202で開始され、任意選択的ステップ204で、触覚効果が装置に命令されるのに、ユーザには出力されない。例えば、触覚装置12は、装置が多数の異なる触覚効果のデータを格納することを可能にするローカルメモリを含むことができる。装置のメモリに常駐する触覚効果は、ホストコマンドを受け取ったとき、または他の条件(予め定められた時間が経過した等)に基づいて実行することができる。装置に送られたデータは、触覚効果のためのパラメータを含むことができる。例えば周期的振動効果の場合、パラメータは振動数、持続時間、大きさを含むことができる。効果はステップ204で装置にロードすることができ、一部の実施形態では、後のステップでより高い大きさに命令する準備として、例えば零の大きさで実行するように命令することができる。ステップ204は、同一セットの触覚感覚が常時ユーザに出力される実施形態に最も適している。他の実施形態では、触覚効果はそれらがユーザに出力されるときに命令することができる。
FIG. 3 is a flow diagram illustrating a
次のステップ206で、ホストコンピュータで実行されているアプリケーションプログラムまたは他のソフトウェア層またはプログラムから、または代替的に外部オーディオ装置から直接、サウンドデータを受け取る。サウンドデータはデジタルデータであることが好ましく、それは、MIDI、wavファイル、mp3ファイル等のデジタルサウンドサンプルのような、いずれかの標準化フォーマットとすることができる。サウンドデータはステップ206で、それがスピーカのようなオーディオ出力装置にも送られ、ユーザにサウンドとして出力されるときに受け取られる。一般的に、サウンドデータは、ゲームのアクションまたは事象の結果発生するゲームのサウンド効果、ゲーム開始または他の事象が発生した後で演奏されるゲームまたは他のアプリケーションプログラム内の音楽、グラフィカルユーザインタフェースの対話中の警報音、CDまたはDVDからの音楽の演奏、または他のサウンド事象のような、アプリケーションで発生するサウンド事象からアプリケーションプログラムによって生成される。記載した実施形態では、このステップで受け取って分析されるサウンドデータは、現在スピーカによってユーザに出力されている。したがって、後述するようにサウンドデータが処理されて、触覚感覚が出力されるときまでに、サウンドデータはすでにユーザに出力されている。しかし、少量のサウンドデータが格納されるので、サウンドと触覚の出力間には、ユーザが認識できないミリ秒単位の遅延が発生するだけである。サウンドデータ出力が事前に知らされる他の実施形態では、触覚感覚をトリガするサウンドデータと同時に、またはほぼ同時に、触覚感覚を出力することができる。
In a
ステップ208で、受け取った予め定められた量のサウンドデータが、ホストコンピュータ14のメモリの一時的バッファに格納される。一実施形態では、これは、迅速に処理して触覚感覚に関連付けることができるように充分に適度に小さい一方で、意味のある処理および分析ができるように充分に大きい量のデータである。一実施形態では、約10msに匹敵するサウンドデータの部分が格納されるが、他の実施形態では異なる量を格納することができる。例えば、ホストコンピュータ上のDirectSoundまたは他のサウンド捕捉APIを使用して、10msのセグメントにサウンドをデジタル記録することができる。 In step 208, the received predetermined amount of sound data is stored in a temporary buffer in the memory of the host computer 14. In one embodiment, this is a sufficiently large amount of data to allow meaningful processing and analysis while being reasonably small enough to be quickly processed and associated with a tactile sensation. In one embodiment, a portion of sound data comparable to about 10 ms is stored, but in other embodiments different amounts can be stored. For example, DirectSound on the host computer or other sound capture API can be used to digitally record sound into 10 ms segments.
ステップ210で、格納されたサウンドデータは処理され分析されて、どの触覚感覚を出力すべきかの決定に関連すると指定された特定のサウンド特性または特徴を識別する。すなわち、これらのサウンド特徴は、触覚感覚の出力をトリガするキューとして働く。広い意味では、本発明はインテリジェントヒューリスティックスを使用して、アプリケーションプログラムで意味を持つ可能性が高いサウンド特徴を抽出し、そのようなサウンド特徴を、抽出されたサウンド特徴およびこれらの特徴が表わしている可能性が高い事象にほぼ一致する、予め定められ事前プログラムされた触覚感覚に関連付ける。例えば、多くの現在のビデオゲームアプリケーションでありそうな事象は、爆弾、手榴弾、ミサイル等の爆発、銃またはロケット砲などの武器の発砲、車両の衝突、ぱたぱたという足音、物体が水中に飛び込む音、プレーヤに何らかのゲーム事象を警告するための警告音等であるかもしれない。これらの事象は、適切な分析後に受け取ったサウンドデータから認識できる特定のサウンド特徴を持つかもしれない。
At
多種多様な方法を使用してデータを処理することができる。一部の実施形態を図4および5に関連して以下で述べる。これらの特定の実施形態は、サウンドデータに処理を実行して、サウンドデータによって表わされる波形を、本発明に従って多数の異なる周波数範囲に分割する。各周波数範囲のサウンドは、特定のサウンド特徴について別個に分析することができる。この周波数範囲の分割は、サウンドをトリガした事象に基づいて、サウンドがしばしば異なる周波数範囲で発生するという利点を持つ。例えば、ゲームにおける爆発は低周波数のサウンドを持つかもしれないが、銃の発砲はより高い周波数音を持つかもしれない。したがって事象の型は、サウンドが位置する周波数範囲に基づいておおよそ区別することができ、以下で記述する通り、異なる触覚効果をコマンドして出力することが可能になる。 A wide variety of methods can be used to process the data. Some embodiments are described below with respect to FIGS. These particular embodiments perform processing on the sound data to divide the waveform represented by the sound data into a number of different frequency ranges in accordance with the present invention. Each frequency range sound can be analyzed separately for specific sound characteristics. This division of frequency ranges has the advantage that sounds often occur in different frequency ranges based on the event that triggered the sound. For example, an explosion in a game may have a low frequency sound, while a gunfire may have a higher frequency sound. Event types can thus be roughly distinguished based on the frequency range in which the sound is located, and different haptic effects can be commanded and output as described below.
ひとたびサウンドデータが処理され分析されると、次のステップ212で、触覚コマンドが触覚装置に出力され、装置を操作するユーザに触覚感覚が出力される。触覚コマンドは、ステップ210で、サウンドデータに見つかったサウンド特徴がもしあれば、それに基づいてトリガされる。例えばサウンドの周波数またはサウンドの他の特性に基づいて、異なる触覚感覚を異なる型のサウンドに割り当てるために、インテリジェントヒューリスティックスを使用することができる。触覚コマンドは、装置常駐触覚効果を命令された大きさで実行開始させるかまたは実行させる。一実施形態では、ステップ204から装置のメモリにすでに常駐している触覚効果が、所望の触覚感覚を実現するために適切な新しいパラメータまたはデータにより変更される。代替的に、新しい触覚効果を作成し、直ちに装置によって触覚感覚として出力するように命令することができる。上で説明した通り、コマンドから結果的に生じる触覚感覚は、関連付けられるサウンド特徴がオーディオとして出力された少し後に、しかし好ましくはユーザが遅延があることを認識できないように充分に早く、出力させることができる。
Once the sound data is processed and analyzed, in the
一実施形態では、命令された触覚感覚は、関連付けられた周波数範囲のサウンドデータの大きさに比例する大きさに設定することができる。例えば、図4および5に関連して論じた実施形態では、サウンドデータをフィルタリングするかまたは5種類の周波数範囲に編成する。これらの周波数範囲の各々が、それに関連付けられた異なる触覚感覚を持つことができる。例えば、利用可能な慣性触知フィードバックマウスを使用して、異なる周波数の周期的触覚効果を各々の周波数範囲に関連付ける。したがって、例えば、62Hz(例えば高い大きさの感覚を引き起こす触覚装置の第一共振周波数またはその付近)の触覚周波数を有する周期的触覚効果は、第一サウンド周波数範囲(例えば0Hzないし150Hz)に関連付けられる。他の周期的触覚効果は、各々昇順に別のサウンド周波数範囲に対応する75Hz、90Hz、115Hz、および250Hzの触覚周波数を持つことができる(他の実施形態では、他の周期的周波数を使用することができる)。これらの周期的触覚効果の各々の大きさは、関連付けられる周波数範囲のサウンドデータの大きさに比例する値に設定することができる。周囲サウンドレベルの大きさの移動平均を触覚効果生成の最小しきい値として使用することができる。例えば、特定の周波数範囲のサウンド信号がしきい値より高い大きさを持つ場合には、その周波数範囲に関連付けられた触覚効果を出力するように命令することができ、あるいは零レベルより上の大きさを持つように命令することができる。 In one embodiment, the commanded haptic sensation can be set to a magnitude that is proportional to the magnitude of the sound data in the associated frequency range. For example, in the embodiment discussed in connection with FIGS. 4 and 5, the sound data is filtered or organized into five different frequency ranges. Each of these frequency ranges can have a different haptic sensation associated with it. For example, available inertial tactile feedback mice are used to associate periodic haptic effects of different frequencies with each frequency range. Thus, for example, a periodic haptic effect having a haptic frequency of 62 Hz (eg, at or near the first resonant frequency of a haptic device that causes a high magnitude sensation) is associated with a first sound frequency range (eg, 0 Hz to 150 Hz). . Other periodic haptic effects can have haptic frequencies of 75 Hz, 90 Hz, 115 Hz, and 250 Hz, each corresponding to a different sound frequency range in ascending order (in other embodiments, other periodic frequencies are used). be able to). The magnitude of each of these periodic haptic effects can be set to a value proportional to the magnitude of the sound data in the associated frequency range. A moving average of ambient sound level magnitude can be used as the minimum threshold for haptic effect generation. For example, if a sound signal in a particular frequency range has a magnitude that is higher than a threshold, it can be commanded to output a haptic effect associated with that frequency range, or a magnitude above zero level. Can be ordered to have
したがって、上に提示した方法は、サウンドデータによって表わされる異なる周波数範囲のサウンド信号の対応する変動する大きさに基づいて、5種類の触覚効果の大きさを変動させる。一部のサウンドが全ての周波数範囲に成分を有する場合、これは5種類の触覚効果を一度に出力させることができる。しかし、幾つかの周波数範囲にまたがって広がる多くのサウンド特徴は短時間続くので、ユーザは、異なる周波数の歪みではなく、短い振動または一続きのパルスを知覚するだけである。他のより長く持続するサウンド効果は一つまたは二つの周波数範囲のみに集中させることができ、それにより一つまたは二つの触覚効果が同時に出力される(他の周波数範囲の触覚効果は零の大きさに設定される)。したがって、ユーザは大まかにサウンド効果の周波数に対応する触覚を体感する。これについては、図4に関連しても述べる。 Thus, the method presented above varies the magnitude of the five haptic effects based on the corresponding varying magnitude of the sound signal in different frequency ranges represented by the sound data. If some sounds have components in the entire frequency range, this can output five different haptic effects at once. However, many sound features that span several frequency ranges last for a short time, so the user only perceives a short vibration or a series of pulses, not a distortion of different frequencies. Other longer-lasting sound effects can only be concentrated in one or two frequency ranges, so that one or two haptic effects are output simultaneously (the haptic effects in other frequency ranges are of zero magnitude) Is set). Accordingly, the user roughly feels a tactile sense corresponding to the frequency of the sound effect. This is also described in connection with FIG.
したがって、特定の周波数範囲または帯域に関連付けられる触覚感覚の振幅は、上述した通り、その周波数帯域のサウンド信号の大きさレベルに直接対応させることができる。この連続触覚出力に加えて、サウンド信号の振幅の突然のスパイクを、連続振動感覚上に重ねることができる追加的衝撃、パルス、または他の短く強力な触覚感覚にマッピングすることができる。 Thus, the haptic sensation amplitude associated with a particular frequency range or band can directly correspond to the magnitude level of the sound signal in that frequency band, as described above. In addition to this continuous haptic output, sudden spikes in the amplitude of the sound signal can be mapped to additional shocks, pulses, or other short powerful haptic sensations that can be superimposed on the continuous vibration sensation.
他の実施形態では、ステップ210のサウンドデータの処理および分析に基づき、かつインテリジェントヒューリスティックスに基づき、より高度の触覚感覚を出力することができる。ゲームのような多くのアプリケーションでは、サウンドの型は、それが主として位置する周波数範囲に基づいて決定することができる。これはより高度なマッピングスキームを可能にし、そこでは完全に異なる触覚感覚を異なるサウンド周波数範囲にマッピングすることができる。これについては、図5に関連しても述べる。
In other embodiments, a higher degree of haptic sensation can be output based on the processing and analysis of the sound data in
例えば、ビデオゲームアプリケーションで武器発砲が高周波サウンドの突然のバーストに関連付けられることがしばしばある。この字術をインテリジェントヒューリスティックスとして使用して、ステップ210でゲームからのサウンド出力データを分析し、高周波サウンドが出力されたことを示す特徴を識別することができる。例えば、サウンドの振幅の突然のバーストまたはスパイクが無いか、特定の周波数範囲を検査することができる。ステップ212で、サウンド中で見つかったサウンドバーストに基づいて、武器発砲に関連付けられた触覚感覚を出力するように、インテリジェントに命令することができる。一部の実施形態では、サウンドおよび触覚感覚を実行されている間に、触覚感覚をすぐさま変更することができ、そこで触覚感覚の大きさおよび持続時間は、サウンドバーストの大きさ、バーストの持続時間、および/またはバーストの固有周波数成分に基づいて、連続的に調整される。
For example, in video game applications, weapon firing is often associated with a sudden burst of high frequency sound. Using this literacy as intelligent heuristics, sound output data from the game can be analyzed at
一部の実施形態では、サウンド特徴に対し、サウンド特徴の詳細に基づいて全く異なる触覚プロファイルを選択することができ、そこでサウンド特性と触覚効果との間の事前にプログラムされたマッピングが参照される(例えばルックアップテーブルまたはデータテーブルをメモリに格納することができる)。例えば、非常に異なる周波数範囲のサウンドバーストが、全く異なる触覚感覚をトリガすることができる。例えば、ビデオゲーム内の低周波のサウンドバーストを一人物の足音とすることができる。低周波振動または波状力のような適切な触覚感覚をそのサウンド特徴にマッピングすることができる。 In some embodiments, for sound features, a completely different haptic profile can be selected based on the details of the sound features, where a pre-programmed mapping between sound characteristics and haptic effects is referenced. (For example, a lookup table or a data table can be stored in memory). For example, sound bursts in very different frequency ranges can trigger totally different haptic sensations. For example, a low frequency sound burst in a video game can be a footstep of one person. Appropriate tactile sensations such as low frequency vibrations or wavy forces can be mapped to the sound features.
一部のゲームまたは他のプログラムは、同様の事象に対して同様のサウンド効果を出力ことができ、上述した通り、おおよそのマッピングが可能になる。しかし、他のゲームまたはプログラムは、同様に響くサウンドを異なる事象に関連付けることができる。したがって、一実施形態では、特定のルックアップテーブルまたは他のマッピングデータを各々の個別ゲーム(または他のアプリケーションプログラム)に関連付けることができる。該テーブルを使用して、本発明の方法はテーブル上で、どのゲームが実行されているかを識別し、次いでそのゲームのサウンド特性とテーブルの作者によって割り当てられた触覚感覚との間の適切なマッピングを見つけることができる。これにより、特定のゲーム用に仕立てられたヒューリスティックスの調整が可能になり、より正確なマッピングが使用可能になる。これは、ゲーム自体に触覚効果またはマッピングを組み込む必要がなく、現在入手可能なゲームのサウンド出力に基づく触覚マッピングを含むドライバの更新の生産を触覚装置の製造者に依存する開発者にとって有利になり得る。 Some games or other programs can output similar sound effects for similar events, allowing approximate mapping as described above. However, other games or programs can associate similarly sounding sounds with different events. Thus, in one embodiment, a particular look-up table or other mapping data can be associated with each individual game (or other application program). Using the table, the method of the present invention identifies on the table which game is running, and then an appropriate mapping between the sound characteristics of that game and the tactile sensation assigned by the author of the table. Can be found. This allows heuristics tailored for a specific game to be adjusted and more accurate mapping to be used. This is advantageous for developers who do not need to incorporate haptic effects or mapping into the game itself and rely on the haptic device manufacturer to produce driver updates that include haptic mapping based on currently available game sound outputs. obtain.
代替実施形態では、見つかったサウンド特徴に関連付けられる触覚効果はすぐにはユーザに触覚感覚として出力されず、代わりにメモリの格納されて所与のサウンドの「触覚プロファイル」を形成する。これは、触覚効果の設計を支援するのに使用することができる。例えば、サウンドファイルはロードすることができ、ユーザはグラフィカルユーザインタフェースでコントロールを選択して、本発明の方法でサウンドに対応する複合触覚効果を生成させることができる。次いで、生成された複合触覚効果を命令することによって、生成された触覚効果(または触覚の大きさ、力値等)をプログラム内で使用することができる。代替的に、触覚プロファイル(生成された効果)は新しい触覚効果プリミティブになることができ、開発者はこのプリミティブに基づいて新しい効果を生成することが可能になる。例えば周期的効果、テクスチャ、一時的プロファイル等を作成することができる。 In an alternative embodiment, the haptic effect associated with the found sound feature is not immediately output to the user as a haptic sensation, but instead stored in memory to form a “tactile profile” for a given sound. This can be used to assist in designing haptic effects. For example, a sound file can be loaded and the user can select a control in the graphical user interface to generate a composite haptic effect corresponding to the sound in the method of the present invention. The generated haptic effect (or haptic magnitude, force value, etc.) can then be used in the program by commanding the generated composite haptic effect. Alternatively, the haptic profile (generated effect) can be a new haptic effect primitive, allowing the developer to generate a new effect based on this primitive. For example, periodic effects, textures, temporary profiles, etc. can be created.
例えばゲームは何百ものサウンド効果を持つことができる。本発明の方法は、ゲームのサウンドファイルをロードし、標準化フォーマット(カリフォルニア州サンノゼのイマージョン・コーポレーションによって作成されたプロトコルで使用される.ifrファイルのような)のサウンドデータから触覚効果を生成するように指示することができる。したがって、開発者は各触覚効果を手動で作成する必要が無く、大量の開発時間の節約になる。設計者もまた生成された触覚効果を検討し、希望するならば、それらを編集することができる。これは、自分のゲームにコードを追加して触覚装置に伝統的な方法で触覚効果を命令することを希望するが、適切な触覚効果の設計に大量の時間を費やしたくない開発者にとって有利である。 For example, a game can have hundreds of sound effects. The method of the present invention loads a game sound file and generates haptic effects from sound data in a standardized format (such as an .ifr file used in a protocol created by Immersion Corporation of San Jose, Calif.). Can be directed to. Thus, the developer does not need to manually create each haptic effect, saving a lot of development time. The designer can also review the generated haptic effects and edit them if desired. This is advantageous for developers who want to add code to their game to command the haptic device in a traditional way but do not want to spend a lot of time designing the appropriate haptic effect. is there.
触覚感覚の出力後、該方法はステップ206に戻って、さらなるサウンドデータを受け取るかどうか検査する。受け取る場合、サウンドデータの次の部分が、上述したように処理される。それ以上サウンドデータを受け取らない場合、プロセスは242で終了する(次にサウンドデータが出力されたときに再び始動する)。 After the output of the tactile sensation, the method returns to step 206 to check whether additional sound data is received. If so, the next part of the sound data is processed as described above. If no more sound data is received, the process ends at 242 (the next time sound data is output, it starts again).
図4は、バッファに格納されたサウンドデータが処理され分析される、図3のステップ210の一実施形態を示す流れ図である。該方法は270で開始され、ステップ272で、格納されたサウンドデータが複数のフィルタに通されて、異なる周波数範囲を分離する。例えば、上記の例で説明したようにサウンドデータを五つの周波数範囲に分割する場合、低域通過フィルタ、高域通過フィルタ、および三つの帯域通過フィルタを使用することができる。一例として、低域通過フィルタは0〜170Hz以外の周波数の全てのデータを除去することができ、第一の帯域通過フィルタは170〜430Hz以外の全周波数を除去することができ、第二の帯域通過フィルタは430Hz〜2kHz以外の全周波数を除去することができ、第三の帯域通過フィルタは2〜10kHz以外の全周波数を除去することができ、高域通過フィルタは10kHzより低い全周波数を除去することができる。
FIG. 4 is a flow diagram illustrating one embodiment of
ステップ274で、各々のフィルタ出力からのサウンドの大きさの移動平均が維持される。これは、コンピュータから出力される周囲サウンドを平均化して、周囲レベルより大きいサウンドだけが触覚感覚をトリガすることを可能にする。次のステップ276で、フィルタ出力の大きさが、ユーザが使用している触覚装置12に要求される範囲にスケーリングされる。したがって、先行技術のように実際のフィルタ出力を使用して触覚感覚を生成するのではなく、フィルタ出力に基づいて新しい触覚コマンドおよび効果が生成される。
At step 274, a moving average of the sound magnitude from each filter output is maintained. This averages the ambient sound output from the computer and allows only sounds above ambient level to trigger a haptic sensation. In the
一部の実施形態では、各フィルタの出力の大きさの二乗をスケーリングすることができる。これは、一部の実施形態で、各周波数範囲のサウンドデータ内でより大きいピークまたはスパイクだけを抽出して、多すぎる検出ピークから発生する装置の持続される轟音/振動を低減するのにより効率的であるかもしれない。 In some embodiments, the square of the magnitude of the output of each filter can be scaled. This is more efficient in some embodiments by extracting only the larger peaks or spikes in the sound data for each frequency range and reducing the sustained stuttering / vibration of the device that occurs from too many detected peaks. May be the target.
次のステップ278で、周期的触覚効果が各々のフィルタの出力に割り当てられる。周期的効果は各々、各フィルタに見つかったスケーリングされた大きさに等しい大きさを割り当てられる。フィルタに出力が無い場合、すなわちその周波数範囲のサウンドがサウンドデータに存在しない場合、またはフィルタの出力が予め定められたしきい振幅を超えない場合には、その周波数範囲に割り当てられた触覚効果には零の大きさが割り当てられる。周期的感覚は各々、対応するサウンド周波数を伝達するのに効果的であることが判明した五つの触覚周波数のうちの一つを持つことができる。振動など、そのような周期的触覚は、慣性触知感覚を提供するゲームパッドまたはマウスなどの触知装置に非常によく適している。振動は運動感覚フィードバック装置によって出力することもできる。上で決定されスケーリングされた大きさに基づく大きさを持つ、他の型の触覚感覚も運動感覚装置の実施形態によって出力することができる。割り当てられる触覚感覚の型は、ポップ、衝撃、跳びはね、ダンピング等のように、異なる実施形態では異なることができ、またスケーリングされた大きさに基づく大きさを持って出力することができる。例えば事前にプログラムされたマッピングを参照してマップされた触覚効果を割り当てることができる。
In the
該方法は次いで280で終了する。割り当てられた周期的触覚は、図3の次のステップ212で使用することができ、そこで触覚フィードバック装置に触覚効果を命令することによって、触覚感覚がユーザに出力される。
The method then ends at 280. The assigned periodic haptics can be used in the
図5は、バッファに格納されたサウンドデータが処理され分析される、図3のステップ210の異なる実施形態210’を示す流れ図である。該方法は290で開始され、ステップ292でサウンドデータに高速フーリエ変換(FFT)が実行され、データは、データの周波数スペクトルの異なる周波数成分にフィルタリングされる。周波数成分は各々、FFTによって出力される成分の数およびカバーされる全体的周波数範囲に基づく周波数範囲をスパンする。例えば、FFTが512個の出力を持ち、サウンドデータの全体的周波数範囲が約22kHzである場合、各FFT出力周波数成分は22kHz/512=約43Hzの周波数範囲を有する。次いでこれらの周波数成分が集団化され、合計して所望の周波数範囲になる。例えば、図4の実施形態と同様の五つの周波数範囲を達成するために、四つの成分を結合して0〜170Hzの第一の周波数範囲をカバーすることができ、六つの成分で170〜430Hzの範囲をカバーし、37個の成分で430Hz〜2kHzの範囲をカバーし、185個の成分で2kHz〜10kHzの範囲をカバーし、256個の成分で10〜22kHzの範囲をカバーする。他の実施形態では、他の周波数範囲および成分を使用することができる。
FIG. 5 is a flow diagram illustrating a different embodiment 210 'of
次のステップ294で、該方法は、ステップ292で集団化された周波数範囲のいずれかが予め定められた特性を持つか否かを検査する。これらの特性は、触覚感覚の出力をトリガするのに充分に有意のサウンドデータ内の特徴である。一実施形態では、各周波数範囲に対して平均振幅が維持され、振幅のスパイクが探索される。平均振幅の3〜4倍の振幅のスパイクが見つかると、それは有意とみなされ、触覚効果がその特徴に割り当てられるか、またはその特徴によってトリガされる。 In the next step 294, the method checks whether any of the frequency ranges grouped in step 292 have a predetermined characteristic. These characteristics are features in the sound data that are significant enough to trigger tactile sensation output. In one embodiment, the average amplitude is maintained for each frequency range and an amplitude spike is searched. If a spike with an amplitude 3-4 times the average amplitude is found, it is considered significant and a haptic effect is assigned to or triggered by the feature.
予め定められた特性が見つかると、プロセスはステップ296に進み、予め定められた特性を持つこれらの周波数範囲に触覚効果を割り当て、プロセスは298で終了し、該方法は図3のステップ212に戻る。ステップ294で、所望の特性を持つ周波数範囲が見つからない場合には、プロセスは298で終了し、該方法は図3のステップ212に戻る。 If a predetermined characteristic is found, the process proceeds to step 296, assigning haptic effects to those frequency ranges having the predetermined characteristic, the process ends at 298, and the method returns to step 212 of FIG. . If at step 294 no frequency range with the desired characteristics is found, the process ends at 298 and the method returns to step 212 of FIG.
所望の特性を持つ周波数範囲に割り当てられる触覚効果は、幾つかの異なる型のいずれかとすることができ、かつ/または異なるパラメータを持つことができ、対応するサウンドデータの大きさに比例する大きさを持つ必要は無い。例えば、いずれかの抽出されたサウンド特徴(振幅の上昇のような)に衝撃、パルス、またはデテントをマッピングすることができる。衝撃またはデテントの大きさは、振幅スパイクが見つかった周波数範囲に基づくことができる。例えば、低周波数範囲に高い大きさの触覚感覚を割り当てることができる(またはその逆も然り)。周期的感覚、方向感覚(装置の自由度で特定の方向に力を出力できる触覚装置の場合)、跳びはね感覚、ダンピング感覚等を異なる周波数範囲にマッピングすることができる。一実施形態では、増大するサウンドデータの振幅に対応して触覚感覚の大きさを増大することができ、次いで触覚振幅を自動的に零レベルまで低下させることができる。再び、サウンド特徴と触覚感覚との間の事前プログラムされたマッピングを参照することができる。 The haptic effect assigned to the frequency range with the desired characteristics can be of any of several different types and / or have different parameters, with a magnitude proportional to the magnitude of the corresponding sound data There is no need to have. For example, an impact, pulse, or detent can be mapped to any extracted sound feature (such as an increase in amplitude). The magnitude of the shock or detent can be based on the frequency range in which the amplitude spike is found. For example, a high magnitude haptic sensation can be assigned to the low frequency range (or vice versa). Periodic sensation, direction sensation (in the case of a haptic device capable of outputting force in a specific direction with the degree of freedom of the device), jumping sensation, damping sensation, and the like can be mapped to different frequency ranges. In one embodiment, the magnitude of the haptic sensation can be increased in response to increasing sound data amplitude, and then the haptic amplitude can be automatically reduced to zero level. Again, a pre-programmed mapping between sound features and haptic sensations can be referenced.
図5の実施形態のFFT出力は、図4の実施形態のフィルタ出力より効率的であり、より多くの情報を提供する傾向がある。例えば、FFTは、振幅のスパイクがどこで発生するか、サウンド信号における波または特徴の位相オフセット等に関し、より詳細な周波数情報を提供することができる。また、図5について上述した異なる型の触覚感覚の割当またはトリガを、図4の実施形態でも実行することができ、また図4のサウンド振幅に比例する触覚感覚の大きさを図5の実施形態で実施することができることにも注目されたい。 The FFT output of the embodiment of FIG. 5 is more efficient than the filter output of the embodiment of FIG. 4 and tends to provide more information. For example, the FFT can provide more detailed frequency information regarding where amplitude spikes occur, phase offsets of waves or features in the sound signal, and the like. Also, the different types of tactile sensation assignments or triggers described above with respect to FIG. 5 can be performed in the embodiment of FIG. 4 and the magnitude of the tactile sensation proportional to the sound amplitude of FIG. Note also that it can be done in
一部のアプリケーションでは、ゲーム内のサウンド効果だけが触覚感覚をトリガして出力させるように、ゲームアプリケーション中の背景音楽のような周囲の背景サウンドを無視することができる。しばしば、サウンド効果の大きさは背景音楽の振幅よりずっと高く、平均振幅より上のサウンド効果をスパイクとして見出すことができる。他の状況では、背景音楽を無視し、サウンド効果をオーディオデータの型によって処理することができる。例えば、背景音楽がMIDIフォーマットであり、サウンド効果が.wavファイルである場合、MIDIデータを無視し、wavデータを本発明によって処理して触覚感覚を提供することができる。 In some applications, surrounding background sounds such as background music in the game application can be ignored so that only in-game sound effects trigger and output haptic sensations. Often, the magnitude of the sound effect is much higher than the amplitude of the background music, and sound effects above the average amplitude can be found as spikes. In other situations, background music can be ignored and sound effects can be handled by the type of audio data. For example, the background music is in the MIDI format and the sound effect is. If it is a wav file, the MIDI data can be ignored and the wav data can be processed by the present invention to provide a tactile sensation.
一部の実施形態は、サウンドデータをどのように分析するか、触覚効果をどのように割り当てるか、および触覚感覚をどのように出力するかを調節することのできる選好を、例えば触覚効果の強度、サウンド特徴を認識するための振幅の最低しきいレベル(例えば、背景音楽をゲームでよりよく無視することができるように)を、ユーザに入力させることができる。 Some embodiments have preferences that can adjust how sound data is analyzed, how haptic effects are assigned, and how haptic sensations are output, e.g., intensity of haptic effects A minimum threshold level of amplitude for recognizing sound features can be entered by the user (eg, so that background music can be better ignored in the game).
本発明はまた、ゲーム以外の他の型のアプリケーションプログラムでも使用することができる。例えば、ユーザがオーディオ出力を聞きながら触覚装置に触れている場合に、音楽の拍子、持続される響き、スピーチの特徴等のようなオーディオの特徴をユーザが触覚的に経験することができるように、オーディオ出力に触覚感覚を加えることによって、ストリーミングオーディオのユーザの経験を増強することができる。さらに、本発明は、例えばインターネットのようなネットワークを介してストリーミングビデオと一緒に出力されるサウンドトッラクにも使用することができる。 The present invention can also be used in other types of application programs other than games. For example, if a user is touching a haptic device while listening to audio output, the user can experience tactilely audio features such as musical time signature, sustained reverberation, speech features, etc. By adding a haptic sensation to the audio output, the streaming audio user experience can be enhanced. Furthermore, the present invention can also be used for soundtracks that are output together with streaming video over a network such as the Internet.
本発明を幾つかの好適な実施形態に関して説明したが、その変形、並べ替え、および均等物は、本明細書を読み、図面を検討することにより、当業者には明らかになるであろう。例えば、ジョイスティック、ステアリングホイール、ゲームパッド、及びリモートコントロールを含む触覚フィードバック装置の多くの様々な実施形態を使用して、本書で記述した触覚感覚を出力することができる。さらに、特定の用語法を使用したのは説明を分かり易くするためであって、本発明を限定するためではない。 While the invention has been described with reference to several preferred embodiments, variations, permutations and equivalents thereof will become apparent to those skilled in the art upon reading this specification and reviewing the drawings. For example, many different embodiments of haptic feedback devices including joysticks, steering wheels, game pads, and remote controls can be used to output the haptic sensations described herein. Furthermore, the use of specific terminology is for ease of explanation and is not intended to limit the invention.
Claims (15)
前記サウンドデータの少なくとも部分をコンピュータのメモリバッファに格納するステップであって、前記サウンドデータは、プロセッサによって分析され、分析されたサウンドデータから前記触覚効果が出力される、ステップと、
前記サウンドデータの少なくとも部分を複数の周波数範囲に分割するステップであって、前記周波数範囲の少なくとも一つは、周期的触覚効果と関連付けられている、ステップと、
前記周波数範囲ごとに前記プロセッサによって分析をして、前記周波数範囲の少なくとも一つに対応する1以上の前記サウンド特徴を決定するステップと、
前記アプリケーションプログラムを識別し、識別された前記アプリケーションプログラムに関連付けられた前記マッピングデータにより、前記決定された1以上の前記サウンド特徴に関連付けられた、少なくとも一つの前記触覚効果の実行をトリガするステップと、
を含む、方法。 Mapping data in which the sound feature and the haptic effect are associated with each other in order to trigger a force that generates the haptic effect based on the sound feature detected from the sound data output from the application program to the computer; In a method executed by a device having a table associated with the application program,
Comprising the steps of storing at least part in a memory buffer of the computer of the sound data, the sound data are analyzed by a processor, wherein the haptic effect is output from the analyzed sound data, comprising the steps,
Dividing at least a portion of the sound data into a plurality of frequency ranges, wherein at least one of the frequency ranges is associated with a periodic haptic effect;
Determining by an analysis by the processor for each of the frequency ranges, at least one to corresponding one or more of the sound features of the frequency range,
Identifying the application program, by the mapping data associated with the identified the application program has been, associated with one or more of the sound features the determined, a step of triggering the execution of at least one of the haptic effect ,
Including a method.
前記決定された1以上の前記サウンド特徴は、前記平均がしきい値を上回るサウンドの大きさを有する、請求項2記載の方法。 For each frequency range, further comprising calculating an average sound magnitude;
1 or more of the sound features the determined, the average has a magnitude of sound above a threshold The method of claim 2 wherein.
前記サウンドデータの少なくとも部分をコンピュータのメモリバッファに格納するコードであって、前記サウンドデータは、プロセッサによって分析され、分析されたサウンドデータから前記触覚効果が出力される、コードと、
前記サウンドデータの少なくとも部分を複数の周波数範囲に分割するコードであって、前記周波数範囲の少なくとも一つは、周期的触覚効果と関連付けられている、コードと、
前記プロセッサに前記周波数範囲ごとに分析をさせ、前記周波数範囲の少なくとも一つに対応する1以上の前記サウンド特徴を決定するコードと、
前記アプリケーションプログラムを識別し、識別された前記アプリケーションプログラムに関連付けられた前記マッピングデータにより、前記決定された1以上の前記サウンド特徴に関連付けられた、少なくとも一つの前記触覚効果の実行をトリガするコードと、を含む、コンピュータ可読媒体。 Mapping data in which the sound feature and the haptic effect are associated with each other in order to trigger a force that generates the haptic effect based on the sound feature detected from the sound data output from the application program to the computer; A computer readable medium encoded with a computer program having code readable by a processor having a table associated with the application program , the code comprising:
A code for storing at least part in a memory buffer of the computer of the sound data, the sound data are analyzed by a processor, wherein the haptic effect is output from the analyzed sound data, and code,
A code that divides at least a portion of the sound data into a plurality of frequency ranges, wherein at least one of the frequency ranges is associated with a periodic haptic effect;
Code for the processor to analyze for each of the frequency range to determine one or more of the sound features corresponding to at least one of said frequency range,
Identifying the application program, by the mapping data associated with the identified the application program has been, associated with one or more of the sound features said determined code to trigger the execution of at least one of the haptic effect A computer readable medium comprising:
請求項8記載のコンピュータ可読媒体。 At least one of the haptic effect associated with at least one frequency component,
The computer readable medium of claim 8.
前記決定された1以上の前記サウンド特徴は、前記平均がしきい値を上回るサウンドの大きさを有する、請求項8記載のコンピュータ可読媒体。 The code for each of said frequency range, further comprising a code for calculating an average of the sound magnitude,
1 or more of the sound features the determined, the average has a magnitude of sound above the threshold, computer-readable medium of claim 8.
前記サウンドデータの少なくとも部分をコンピュータのメモリバッファに格納する手段であって、前記サウンドデータは、プロセッサによって分析され、分析された前記サウンドデータから前記触覚効果が出力される手段と、
前記サウンドデータの少なくとも部分を複数の周波数範囲に分割する手段であって、前記周波数範囲の少なくとも一つは、周期的触覚効果と関連付けられている、手段と、
前記プロセッサによって前記周波数範囲ごとに分析を行い、前記周波数範囲の少なくとも一つに対応する1以上の前記サウンド特徴を決定する手段と、
前記アプリケーションプログラムを識別し、識別された前記アプリケーションプログラムに関連付けられた前記マッピングデータにより、前記決定された1以上の前記サウンド特徴に関連付けられた、少なくとも一つの前記触覚効果の実行をトリガする手段と、を含む、装置。 Mapping data in which the sound feature and the haptic effect are associated with each other in order to trigger a force that generates the haptic effect based on the sound feature detected from the sound data output from the application program to the computer; A device having a table associated with the application program,
And means for storing at least part in a memory buffer of the computer of the sound data, the sound data are analyzed by a processor, and hand stage the haptic effect from the analyzed the sound data is Ru is output,
And means for dividing into a plurality of frequency ranges at least part of the sound data, at least one of said frequency ranges is associated with a periodic haptic effect, and means,
Analyzes for each of the frequency ranges by the processor, means for determining one or more of the sound features corresponding to at least one of said frequency range,
Identifying the application program, by the mapping data associated with the identified the application program has been, associated with one or more of the sound features the determined, and means for triggering the execution of at least one of the haptic effect Including the device.
前記決定された1以上の前記サウンド特徴は、前記平均がしきい値を上回るサウンドの大きさを有する、請求項14記載の装置。 For each of the frequency range, further comprising means for calculating an average of the sound magnitude,
1 or more of the sound features the determined, the average has a magnitude of sound above a threshold The apparatus of claim 14, wherein.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/974,759 | 2001-10-09 | ||
US09/974,759 US7623114B2 (en) | 2001-10-09 | 2001-10-09 | Haptic feedback sensations based on audio output from computer devices |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003535176A Division JP2005506613A (en) | 2001-10-09 | 2002-10-08 | Haptic feedback sensation based on audio output from computer equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011141890A JP2011141890A (en) | 2011-07-21 |
JP5319719B2 true JP5319719B2 (en) | 2013-10-16 |
Family
ID=25522407
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003535176A Pending JP2005506613A (en) | 2001-10-09 | 2002-10-08 | Haptic feedback sensation based on audio output from computer equipment |
JP2011055834A Expired - Fee Related JP5319719B2 (en) | 2001-10-09 | 2011-03-14 | Haptic feedback sensation based on audio output from computer equipment |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003535176A Pending JP2005506613A (en) | 2001-10-09 | 2002-10-08 | Haptic feedback sensation based on audio output from computer equipment |
Country Status (8)
Country | Link |
---|---|
US (3) | US7623114B2 (en) |
EP (1) | EP1438706B1 (en) |
JP (2) | JP2005506613A (en) |
KR (1) | KR100925293B1 (en) |
CN (2) | CN100445930C (en) |
AT (1) | ATE400032T1 (en) |
DE (1) | DE60227398D1 (en) |
WO (1) | WO2003032289A1 (en) |
Families Citing this family (256)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7091948B2 (en) * | 1997-04-25 | 2006-08-15 | Immersion Corporation | Design of force sensations for haptic feedback computer interfaces |
US6429846B2 (en) | 1998-06-23 | 2002-08-06 | Immersion Corporation | Haptic feedback for touchpads and other touch controls |
US6822635B2 (en) | 2000-01-19 | 2004-11-23 | Immersion Corporation | Haptic interface for laptop computers and other portable devices |
US7877243B2 (en) * | 2001-07-16 | 2011-01-25 | Immersion Corporation | Pivotable computer interface |
US7623114B2 (en) | 2001-10-09 | 2009-11-24 | Immersion Corporation | Haptic feedback sensations based on audio output from computer devices |
US6703550B2 (en) * | 2001-10-10 | 2004-03-09 | Immersion Corporation | Sound data output and manipulation using haptic feedback |
US7369115B2 (en) * | 2002-04-25 | 2008-05-06 | Immersion Corporation | Haptic devices having multiple operational modes including at least one resonant mode |
US8059088B2 (en) * | 2002-12-08 | 2011-11-15 | Immersion Corporation | Methods and systems for providing haptic messaging to handheld communication devices |
US8830161B2 (en) * | 2002-12-08 | 2014-09-09 | Immersion Corporation | Methods and systems for providing a virtual touch haptic effect to handheld communication devices |
AU2003297716A1 (en) | 2002-12-08 | 2004-06-30 | Immersion Corporation | Methods and systems for providing haptic messaging to handheld communication devices |
US8841847B2 (en) | 2003-01-17 | 2014-09-23 | Motorola Mobility Llc | Electronic device for controlling lighting effects using an audio file |
US8008561B2 (en) * | 2003-01-17 | 2011-08-30 | Motorola Mobility, Inc. | Audio file format with mapped lighting effects and method for controlling lighting effects using an audio file format |
JP4310127B2 (en) * | 2003-04-14 | 2009-08-05 | アルプス電気株式会社 | Haptic input device |
JP4713070B2 (en) * | 2003-08-26 | 2011-06-29 | ヤマハ株式会社 | pointing device |
US7966034B2 (en) * | 2003-09-30 | 2011-06-21 | Sony Ericsson Mobile Communications Ab | Method and apparatus of synchronizing complementary multi-media effects in a wireless communication device |
US20060066569A1 (en) * | 2003-12-08 | 2006-03-30 | Immersion Corporation, A Delaware Corporation | Methods and systems for providing haptic messaging to handheld communication devices |
US7982711B2 (en) * | 2003-12-19 | 2011-07-19 | Immersion Corporation | Haptic profiling system and method |
US7791588B2 (en) * | 2003-12-22 | 2010-09-07 | Immersion Corporation | System and method for mapping instructions associated with haptic feedback |
US7742036B2 (en) * | 2003-12-22 | 2010-06-22 | Immersion Corporation | System and method for controlling haptic devices having multiple operational modes |
US20080111408A1 (en) * | 2004-02-03 | 2008-05-15 | Raymond Jamie Duran | Video Game Chair |
US20070257530A1 (en) * | 2006-05-08 | 2007-11-08 | Florez Richard E | Video game chair |
US7765333B2 (en) | 2004-07-15 | 2010-07-27 | Immersion Corporation | System and method for ordering haptic effects |
US8115091B2 (en) * | 2004-07-16 | 2012-02-14 | Motorola Mobility, Inc. | Method and device for controlling vibrational and light effects using instrument definitions in an audio file format |
US20060017691A1 (en) * | 2004-07-23 | 2006-01-26 | Juan Manuel Cruz-Hernandez | System and method for controlling audio output associated with haptic effects |
EP1812892B1 (en) * | 2004-08-02 | 2010-09-29 | Koninklijke Philips Electronics N.V. | Touch screen with pressure-dependent visual feedback |
WO2006017612A2 (en) * | 2004-08-06 | 2006-02-16 | Sensable Technologies, Inc. | Virtual musical interface in a haptic virtual environment |
US20100312129A1 (en) | 2005-01-26 | 2010-12-09 | Schecter Stuart O | Cardiovascular haptic handle system |
WO2007030603A2 (en) | 2005-09-08 | 2007-03-15 | Wms Gaming Inc. | Gaming machine having display with sensory feedback |
US8700791B2 (en) | 2005-10-19 | 2014-04-15 | Immersion Corporation | Synchronization of haptic effect data in a media transport stream |
US8210942B2 (en) | 2006-03-31 | 2012-07-03 | Wms Gaming Inc. | Portable wagering game with vibrational cues and feedback mechanism |
US10152124B2 (en) * | 2006-04-06 | 2018-12-11 | Immersion Corporation | Systems and methods for enhanced haptic effects |
US7979146B2 (en) * | 2006-04-13 | 2011-07-12 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
US8000825B2 (en) * | 2006-04-13 | 2011-08-16 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio file |
US8378964B2 (en) * | 2006-04-13 | 2013-02-19 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
US20100292706A1 (en) * | 2006-04-14 | 2010-11-18 | The Regents Of The University California | Novel enhanced haptic feedback processes and products for robotic surgical prosthetics |
US20090189748A1 (en) | 2006-08-24 | 2009-07-30 | Koninklijke Philips Electronics N.V. | Device for and method of processing an audio signal and/or a video signal to generate haptic excitation |
KR20080029676A (en) * | 2006-09-29 | 2008-04-03 | 한국전자통신연구원 | Apparatus for providing sensing information |
EP1936929A1 (en) * | 2006-12-21 | 2008-06-25 | Samsung Electronics Co., Ltd | Haptic generation method and system for mobile phone |
US8098234B2 (en) * | 2007-02-20 | 2012-01-17 | Immersion Corporation | Haptic feedback system with stored effects |
WO2008151642A1 (en) * | 2007-06-12 | 2008-12-18 | Nokia Corporation | Directing shoe insole |
EP3254663B8 (en) * | 2007-06-18 | 2021-06-30 | SonicSensory Inc. | Vibrating footwear device and entertainment system for use therewith |
JP4931240B2 (en) * | 2007-09-13 | 2012-05-16 | インターナショナル・ビジネス・マシーンズ・コーポレーション | A system to support image recognition |
US20090079690A1 (en) * | 2007-09-21 | 2009-03-26 | Sony Computer Entertainment America Inc. | Method and apparatus for enhancing entertainment software through haptic insertion |
US8073676B2 (en) * | 2007-09-21 | 2011-12-06 | Sony Computer Entertainment Inc. | Method and apparatus for emulation enhancement |
US20090088220A1 (en) * | 2007-10-01 | 2009-04-02 | Sony Ericsson Mobile Communications Ab | Cellular terminals and other electronic devices and methods using electroactive polymer transducer indicators |
US9019087B2 (en) | 2007-10-16 | 2015-04-28 | Immersion Corporation | Synchronization of haptic effect data in a media stream |
US7911328B2 (en) * | 2007-11-21 | 2011-03-22 | The Guitammer Company | Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events |
KR100930835B1 (en) * | 2008-01-29 | 2009-12-10 | 한국과학기술원 | Sound playback device |
US9513704B2 (en) * | 2008-03-12 | 2016-12-06 | Immersion Corporation | Haptically enabled user interface |
DK2274668T3 (en) * | 2008-03-27 | 2012-01-23 | Cryptera As | Safe keyboard system |
US20090259359A1 (en) * | 2008-04-09 | 2009-10-15 | David Michael Whitton | Variable intensity haptic level control based on vehicle conditions |
EP3206381A1 (en) * | 2008-07-15 | 2017-08-16 | Immersion Corporation | Systems and methods for mapping message contents to virtual physical properties for vibrotactile messaging |
EP2321019B1 (en) * | 2008-08-11 | 2019-04-10 | Immersion Corporation | A haptic enabled gaming peripheral for a musical game |
US7969287B2 (en) * | 2008-08-18 | 2011-06-28 | Visteon Global Technologies, Inc. | Haptic effect control system |
KR100891120B1 (en) * | 2008-09-01 | 2009-04-03 | 그로위드(주) | Pattern file manufacturing method for control and drive for sensory device of electric/electronic device, control and drive apparatus system for sensory device of electric/electronic device by using the pattern file |
US9639187B2 (en) * | 2008-09-22 | 2017-05-02 | Apple Inc. | Using vibration to determine the motion of an input device |
US8749495B2 (en) * | 2008-09-24 | 2014-06-10 | Immersion Corporation | Multiple actuation handheld device |
US9400555B2 (en) * | 2008-10-10 | 2016-07-26 | Internet Services, Llc | System and method for synchronization of haptic data and media data |
US20120126959A1 (en) * | 2008-11-04 | 2012-05-24 | Bayer Materialscience Ag | Electroactive polymer transducers for tactile feedback devices |
GB2466242B (en) * | 2008-12-15 | 2013-01-02 | Audio Analytic Ltd | Sound identification systems |
CN102577434A (en) * | 2009-04-10 | 2012-07-11 | 伊默兹公司 | Systems and methods for acousto-haptic speakers |
US20110063218A1 (en) * | 2009-09-15 | 2011-03-17 | International Business Machines Corporation | Embedded omni-directional pointer component for limited form factor computing devices |
US8605053B2 (en) * | 2009-12-02 | 2013-12-10 | Analog Devices, Inc. | Method and device for detecting user input |
KR20110074333A (en) * | 2009-12-24 | 2011-06-30 | 삼성전자주식회사 | Method and apparatus for generating vibration in potable terminal |
US20110248930A1 (en) * | 2010-04-08 | 2011-10-13 | Research In Motion Limited | Portable electronic device and method of controlling same to provide tactile feedback |
WO2011151664A1 (en) * | 2010-06-03 | 2011-12-08 | B-K Medical Aps | Control device |
US9132352B1 (en) | 2010-06-24 | 2015-09-15 | Gregory S. Rabin | Interactive system and method for rendering an object |
WO2012061840A1 (en) * | 2010-11-05 | 2012-05-10 | Georgia Tech Research Corporation | Haptic systems, devices, and methods using transmission of pressure through a flexible medium |
US11314344B2 (en) * | 2010-12-03 | 2022-04-26 | Razer (Asia-Pacific) Pte. Ltd. | Haptic ecosystem |
US8717152B2 (en) | 2011-02-11 | 2014-05-06 | Immersion Corporation | Sound to haptic effect conversion system using waveform |
US9448626B2 (en) * | 2011-02-11 | 2016-09-20 | Immersion Corporation | Sound to haptic effect conversion system using amplitude value |
US8942828B1 (en) | 2011-04-13 | 2015-01-27 | Stuart Schecter, LLC | Minimally invasive cardiovascular support system with true haptic coupling |
US20120302323A1 (en) | 2011-05-23 | 2012-11-29 | Wms Gaming Inc. | Haptic gaming chairs and wagering game systems and machines with a haptic gaming chair |
CN102208138A (en) * | 2011-05-23 | 2011-10-05 | 南京航空航天大学 | Learning and cognitive system based on texture haptic display |
US9083821B2 (en) * | 2011-06-03 | 2015-07-14 | Apple Inc. | Converting audio to haptic feedback in an electronic device |
US9449456B2 (en) | 2011-06-13 | 2016-09-20 | Bally Gaming, Inc. | Automated gaming chairs and wagering game systems and machines with an automated gaming chair |
CN102843334A (en) * | 2011-06-20 | 2012-12-26 | 华为技术有限公司 | Interactive method of online application, server, client device and system |
US10013857B2 (en) * | 2011-12-21 | 2018-07-03 | Qualcomm Incorporated | Using haptic technologies to provide enhanced media experiences |
EP2624099B1 (en) * | 2012-02-03 | 2019-11-13 | Immersion Corporation | Method and system for sound to haptic effect conversion using waveform |
EP2629178B1 (en) | 2012-02-15 | 2018-01-10 | Immersion Corporation | High definition haptic effects generation using primitives |
US9715276B2 (en) * | 2012-04-04 | 2017-07-25 | Immersion Corporation | Sound to haptic effect conversion system using multiple actuators |
US10013082B2 (en) | 2012-06-05 | 2018-07-03 | Stuart Schecter, LLC | Operating system with haptic interface for minimally invasive, hand-held surgical instrument |
US9063570B2 (en) * | 2012-06-27 | 2015-06-23 | Immersion Corporation | Haptic feedback control system |
US9030428B2 (en) * | 2012-07-11 | 2015-05-12 | Immersion Corporation | Generating haptic effects for dynamic events |
WO2014032181A1 (en) | 2012-08-27 | 2014-03-06 | Université Du Québec À Chicoutimi | Method to determine physical properties of the ground, foot-worn sensor therefore, and method to advise a user of a risk of falling based thereon |
US9116546B2 (en) * | 2012-08-29 | 2015-08-25 | Immersion Corporation | System for haptically representing sensor input |
US9368005B2 (en) | 2012-08-31 | 2016-06-14 | Immersion Corporation | Sound to haptic effect conversion system using mapping |
CN102929386B (en) * | 2012-09-16 | 2019-01-25 | 吴东辉 | A kind of dynamic method and system for reappearing virtual reality |
US9092059B2 (en) * | 2012-10-26 | 2015-07-28 | Immersion Corporation | Stream-independent sound to haptic effect conversion system |
US8947216B2 (en) | 2012-11-02 | 2015-02-03 | Immersion Corporation | Encoding dynamic haptic effects |
US9898084B2 (en) | 2012-12-10 | 2018-02-20 | Immersion Corporation | Enhanced dynamic haptic effects |
DE102012223007A1 (en) * | 2012-12-13 | 2014-06-18 | Hilti Aktiengesellschaft | Hand-held or semi-stationary tool device and method for operating such a tool device |
KR101427993B1 (en) * | 2012-12-17 | 2014-08-08 | 포항공과대학교 산학협력단 | Method for converting audio signal to haptic signal and apparatus for performing the same |
US9261960B2 (en) | 2013-01-24 | 2016-02-16 | Immersion Corporation | Haptic sensation recording and playback |
US8754757B1 (en) * | 2013-03-05 | 2014-06-17 | Immersion Corporation | Automatic fitting of haptic effects |
US9866924B2 (en) | 2013-03-14 | 2018-01-09 | Immersion Corporation | Systems and methods for enhanced television interaction |
US9098984B2 (en) * | 2013-03-14 | 2015-08-04 | Immersion Corporation | Haptic effects broadcasting during a group event |
US9992491B2 (en) * | 2013-03-15 | 2018-06-05 | Immersion Corporation | Method and apparatus for encoding and decoding haptic information in multi-media files |
KR101666393B1 (en) * | 2013-03-27 | 2016-10-14 | 한국전자통신연구원 | Apparatus and method for reproducing haptic effect using sound effect |
US9997032B2 (en) * | 2013-04-09 | 2018-06-12 | Immersion Corporation | Offline haptic conversion system |
GB2513884B (en) | 2013-05-08 | 2015-06-17 | Univ Bristol | Method and apparatus for producing an acoustic field |
US9519346B2 (en) * | 2013-05-17 | 2016-12-13 | Immersion Corporation | Low-frequency effects haptic conversion system |
US9274603B2 (en) * | 2013-05-24 | 2016-03-01 | Immersion Corporation | Method and apparatus to provide haptic feedback based on media content and one or more external parameters |
CN105452992B (en) | 2013-05-30 | 2019-03-08 | Tk控股公司 | Multidimensional Trackpad |
TWI557596B (en) | 2013-08-19 | 2016-11-11 | 瑞昱半導體股份有限公司 | Audio device and audioutilization method having haptic compensation function |
US9245429B2 (en) | 2013-09-06 | 2016-01-26 | Immersion Corporation | Haptic warping system |
US9514620B2 (en) | 2013-09-06 | 2016-12-06 | Immersion Corporation | Spatialized haptic feedback based on dynamically scaled values |
US9158379B2 (en) | 2013-09-06 | 2015-10-13 | Immersion Corporation | Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns |
US9652945B2 (en) * | 2013-09-06 | 2017-05-16 | Immersion Corporation | Method and system for providing haptic effects based on information complementary to multimedia content |
US10599218B2 (en) * | 2013-09-06 | 2020-03-24 | Immersion Corporation | Haptic conversion system using frequency shifting |
US10162416B2 (en) * | 2013-09-06 | 2018-12-25 | Immersion Corporation | Dynamic haptic conversion system |
JP6667987B2 (en) | 2013-09-06 | 2020-03-18 | イマージョン コーポレーションImmersion Corporation | Method and apparatus for converting a control track to provide haptic feedback |
US9576445B2 (en) * | 2013-09-06 | 2017-02-21 | Immersion Corp. | Systems and methods for generating haptic effects associated with an envelope in audio signals |
US9898085B2 (en) * | 2013-09-06 | 2018-02-20 | Immersion Corporation | Haptic conversion system using segmenting and combining |
US9711014B2 (en) | 2013-09-06 | 2017-07-18 | Immersion Corporation | Systems and methods for generating haptic effects associated with transitions in audio signals |
US9898086B2 (en) * | 2013-09-06 | 2018-02-20 | Immersion Corporation | Systems and methods for visual processing of spectrograms to generate haptic effects |
US9619980B2 (en) * | 2013-09-06 | 2017-04-11 | Immersion Corporation | Systems and methods for generating haptic effects associated with audio signals |
US9898087B2 (en) * | 2013-10-08 | 2018-02-20 | Tk Holdings Inc. | Force-based touch interface with integrated multi-sensory feedback |
US10328344B2 (en) * | 2013-10-11 | 2019-06-25 | Valve Corporation | Game controller systems and methods |
US9783137B2 (en) * | 2013-10-30 | 2017-10-10 | Powervoice Co., Ltd. | Sound QR system for vehicular services |
US9619029B2 (en) | 2013-11-14 | 2017-04-11 | Immersion Corporation | Haptic trigger control system |
US9164587B2 (en) | 2013-11-14 | 2015-10-20 | Immersion Corporation | Haptic spatialization system |
US9349378B2 (en) * | 2013-11-19 | 2016-05-24 | Dolby Laboratories Licensing Corporation | Haptic signal synthesis and transport in a bit stream |
US9671826B2 (en) * | 2013-11-27 | 2017-06-06 | Immersion Corporation | Method and apparatus of body-mediated digital content transfer and haptic feedback |
US10437341B2 (en) * | 2014-01-16 | 2019-10-08 | Immersion Corporation | Systems and methods for user generated content authoring |
FR3017220B1 (en) * | 2014-01-31 | 2017-11-03 | Dav | SENSITIVE RETURN DEVICE FOR MOTOR VEHICLE AND METHOD FOR GENERATING A SENSITIVE RETURN |
JP2015166890A (en) * | 2014-03-03 | 2015-09-24 | ソニー株式会社 | Information processing apparatus, information processing system, information processing method, and program |
JP2015170174A (en) * | 2014-03-07 | 2015-09-28 | ソニー株式会社 | Information processor, information processing system, information processing method and program |
KR20150110356A (en) | 2014-03-21 | 2015-10-02 | 임머숀 코퍼레이션 | Systems and methods for converting sensory data to haptic effects |
US10304114B2 (en) * | 2014-03-25 | 2019-05-28 | Ebay Inc. | Data mesh based environmental augmentation |
WO2015171452A1 (en) * | 2014-05-09 | 2015-11-12 | Sony Computer Entertainment Inc. | Scheme for embedding a control signal in an audio signal using pseudo white noise |
US9928728B2 (en) | 2014-05-09 | 2018-03-27 | Sony Interactive Entertainment Inc. | Scheme for embedding a control signal in an audio signal using pseudo white noise |
JP6322830B2 (en) | 2014-05-09 | 2018-05-16 | 任天堂株式会社 | Information processing apparatus, information processing program, information processing system, and information processing method |
US9330547B2 (en) * | 2014-05-20 | 2016-05-03 | Immersion Corporation | Haptic effect authoring tool based on a haptification model |
US9913033B2 (en) | 2014-05-30 | 2018-03-06 | Apple Inc. | Synchronization of independent output streams |
JP6327417B2 (en) * | 2014-05-30 | 2018-05-23 | 任天堂株式会社 | Information processing system, information processing apparatus, information processing program, and information processing method |
US9613506B2 (en) * | 2014-05-30 | 2017-04-04 | Apple Inc. | Synchronization of independent output streams |
JP2015231098A (en) * | 2014-06-04 | 2015-12-21 | ソニー株式会社 | Vibration device and vibration method |
US10139907B2 (en) | 2014-06-16 | 2018-11-27 | Immersion Corporation | Systems and methods for foley-style haptic content creation |
KR20170030510A (en) * | 2014-07-07 | 2017-03-17 | 임머숀 코퍼레이션 | Second screen haptics |
KR101641418B1 (en) * | 2014-07-25 | 2016-07-20 | 포항공과대학교 산학협력단 | Method for haptic signal generation based on auditory saliency and apparatus therefor |
JP6441612B2 (en) * | 2014-08-26 | 2018-12-19 | 任天堂株式会社 | Information processing apparatus, information processing system, information processing program, and information processing method |
JP2016045848A (en) | 2014-08-26 | 2016-04-04 | 任天堂株式会社 | Information processor, information processing system, information processing program, and method for information processing |
JP6357387B2 (en) | 2014-08-26 | 2018-07-11 | 任天堂株式会社 | Information processing apparatus, information processing system, information processing program, and information processing method |
US10186138B2 (en) | 2014-09-02 | 2019-01-22 | Apple Inc. | Providing priming cues to a user of an electronic device |
GB2530036A (en) | 2014-09-09 | 2016-03-16 | Ultrahaptics Ltd | Method and apparatus for modulating haptic feedback |
US10466826B2 (en) | 2014-10-08 | 2019-11-05 | Joyson Safety Systems Acquisition Llc | Systems and methods for illuminating a track pad system |
US10185396B2 (en) | 2014-11-12 | 2019-01-22 | Immersion Corporation | Haptic trigger modification system |
US9174134B1 (en) | 2014-11-12 | 2015-11-03 | Immersion Corporation | Peripheral device with haptic diminishment prevention component |
US9812165B2 (en) | 2014-12-19 | 2017-11-07 | Immersion Corporation | Systems and methods for recording haptic data for use with multi-media data |
EP3037918A1 (en) * | 2014-12-23 | 2016-06-29 | Thomson Licensing | System and method for localizing haptic effects on a body |
US9466188B2 (en) * | 2014-12-24 | 2016-10-11 | Immersion Corporation | Systems and methods for haptically-enabled alarms |
JP6761225B2 (en) * | 2014-12-26 | 2020-09-23 | 和俊 尾花 | Handheld information processing device |
US10269392B2 (en) * | 2015-02-11 | 2019-04-23 | Immersion Corporation | Automated haptic effect accompaniment |
EP3259653B1 (en) | 2015-02-20 | 2019-04-24 | Ultrahaptics Ip Ltd | Method for producing an acoustic field in a haptic system |
CN107534810B (en) | 2015-02-20 | 2019-12-20 | 超级触觉资讯处理有限公司 | Method for providing improved haptic feedback |
US10613629B2 (en) | 2015-03-27 | 2020-04-07 | Chad Laurendeau | System and method for force feedback interface devices |
US10427040B2 (en) * | 2015-06-03 | 2019-10-01 | Razer (Asia-Pacific) Pte. Ltd. | Haptics devices and methods for controlling a haptics device |
KR20170000845A (en) | 2015-06-24 | 2017-01-04 | 희성전자 주식회사 | Work equipment for multidirectional work |
US10818162B2 (en) | 2015-07-16 | 2020-10-27 | Ultrahaptics Ip Ltd | Calibration techniques in haptic systems |
US9967640B2 (en) * | 2015-08-20 | 2018-05-08 | Bodyrocks Audio Incorporation | Devices, systems, and methods for vibrationally sensing audio |
US9990815B2 (en) | 2016-02-18 | 2018-06-05 | Immersion Corporation | Wearable haptic effects with permissions settings |
CN105807868A (en) * | 2016-04-25 | 2016-07-27 | 王明 | Sound high-powder combined type computer |
JP6371328B2 (en) * | 2016-05-11 | 2018-08-08 | 本田技研工業株式会社 | Active sound effect generator |
KR101790892B1 (en) * | 2016-05-17 | 2017-10-26 | 주식회사 씨케이머티리얼즈랩 | A method of transforming a sound signal to a tactual signal and haptic device of using thereof |
JP6992045B2 (en) * | 2016-07-22 | 2022-01-13 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | Tactile guidance system |
US10699538B2 (en) * | 2016-07-27 | 2020-06-30 | Neosensory, Inc. | Method and system for determining and providing sensory experiences |
US10268275B2 (en) | 2016-08-03 | 2019-04-23 | Ultrahaptics Ip Ltd | Three-dimensional perceptions in haptic systems |
JP6401758B2 (en) * | 2016-08-25 | 2018-10-10 | 株式会社ファセテラピー | Tactile content generating device, tactile content generating method, and tactile content using device |
EP3509549A4 (en) | 2016-09-06 | 2020-04-01 | Neosensory, Inc. | Method and system for providing adjunct sensory information to a user |
US10373452B2 (en) * | 2016-11-29 | 2019-08-06 | Immersion Corporation | Targeted haptic projection |
KR20180062174A (en) * | 2016-11-30 | 2018-06-08 | 삼성전자주식회사 | Method for Producing Haptic Signal and the Electronic Device supporting the same |
US10427039B2 (en) * | 2016-12-08 | 2019-10-01 | Immersion Corporation | Haptic surround functionality |
US10297120B2 (en) * | 2016-12-13 | 2019-05-21 | Disney Enterprises, Inc. | Haptic effect generation system |
US10943578B2 (en) | 2016-12-13 | 2021-03-09 | Ultrahaptics Ip Ltd | Driving techniques for phased-array systems |
CN106774891A (en) * | 2016-12-15 | 2017-05-31 | 北京小鸟看看科技有限公司 | The audio effect generating method of virtual reality scenario, equipment and virtual reality device |
EP3612915A4 (en) | 2017-04-17 | 2020-02-26 | Facebook, Inc. | Haptic communication system using cutaneous actuators for simulation of continuous human touch |
US10744058B2 (en) * | 2017-04-20 | 2020-08-18 | Neosensory, Inc. | Method and system for providing information to a user |
US10371544B2 (en) | 2017-05-04 | 2019-08-06 | Wearworks | Vibrating haptic device for the blind |
US10732714B2 (en) | 2017-05-08 | 2020-08-04 | Cirrus Logic, Inc. | Integrated haptic system |
CN110709802B (en) * | 2017-06-27 | 2024-01-30 | 福特全球技术公司 | Haptic device operation |
US11259121B2 (en) | 2017-07-21 | 2022-02-22 | Cirrus Logic, Inc. | Surface speaker |
US20190041987A1 (en) | 2017-08-03 | 2019-02-07 | Immersion Corporation | Haptic effect encoding and rendering system |
CN107464572B (en) * | 2017-08-16 | 2020-10-16 | 重庆科技学院 | Multi-mode interactive music perception system and control method thereof |
KR102443324B1 (en) * | 2017-09-15 | 2022-09-14 | 풔스 디멘션 에스에이알엘 | Vibro-tactile force feedback method and device |
KR102518400B1 (en) * | 2017-11-22 | 2023-04-06 | 삼성전자주식회사 | Method for providing vibration and electronic device for supporting the same |
US11531395B2 (en) | 2017-11-26 | 2022-12-20 | Ultrahaptics Ip Ltd | Haptic effects from focused acoustic fields |
JP2021508423A (en) | 2017-12-22 | 2021-03-04 | ウルトラハプティクス アイピー リミテッドUltrahaptics Ip Ltd | Minimize unwanted responses in haptic systems |
WO2019122912A1 (en) | 2017-12-22 | 2019-06-27 | Ultrahaptics Limited | Tracking in haptic systems |
WO2019129427A1 (en) * | 2017-12-25 | 2019-07-04 | Arcelik Anonim Sirketi | A system and a method for generating bass effect |
US10620704B2 (en) | 2018-01-19 | 2020-04-14 | Cirrus Logic, Inc. | Haptic output systems |
US10455339B2 (en) | 2018-01-19 | 2019-10-22 | Cirrus Logic, Inc. | Always-on detection systems |
US10572016B2 (en) | 2018-03-06 | 2020-02-25 | Microsoft Technology Licensing, Llc | Spatialized haptic device force feedback |
US11139767B2 (en) | 2018-03-22 | 2021-10-05 | Cirrus Logic, Inc. | Methods and apparatus for driving a transducer |
US10795443B2 (en) | 2018-03-23 | 2020-10-06 | Cirrus Logic, Inc. | Methods and apparatus for driving a transducer |
US10820100B2 (en) | 2018-03-26 | 2020-10-27 | Cirrus Logic, Inc. | Methods and apparatus for limiting the excursion of a transducer |
US10667051B2 (en) | 2018-03-26 | 2020-05-26 | Cirrus Logic, Inc. | Methods and apparatus for limiting the excursion of a transducer |
US10832537B2 (en) | 2018-04-04 | 2020-11-10 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
MX2020011492A (en) | 2018-05-02 | 2021-03-25 | Ultrahaptics Ip Ltd | Blocking plate structure for improved acoustic transmission efficiency. |
US11069206B2 (en) | 2018-05-04 | 2021-07-20 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
JP7028976B2 (en) * | 2018-07-10 | 2022-03-02 | 株式会社ソニー・インタラクティブエンタテインメント | Controller device and its control method |
CN110719540A (en) * | 2018-07-12 | 2020-01-21 | 惠州迪芬尼声学科技股份有限公司 | Method for regulating equalizer by using track ball and sound output device with track ball |
CN109246554B (en) * | 2018-08-08 | 2021-02-09 | 瑞声科技(新加坡)有限公司 | Terminal and regulation and control method of vibrator thereof |
KR102100871B1 (en) * | 2018-08-09 | 2020-04-23 | 김정욱 | Apparatus for generating vibration pattern based on sound source |
US11269415B2 (en) | 2018-08-14 | 2022-03-08 | Cirrus Logic, Inc. | Haptic output systems |
EP3847529A1 (en) * | 2018-09-09 | 2021-07-14 | Ultrahaptics IP Limited | Event triggering in phased-array systems |
US11098951B2 (en) | 2018-09-09 | 2021-08-24 | Ultrahaptics Ip Ltd | Ultrasonic-assisted liquid manipulation |
US10800433B2 (en) | 2018-09-14 | 2020-10-13 | Honda Motor Co., Ltd. | Seat haptic system and method of equalizing haptic output |
US11378997B2 (en) | 2018-10-12 | 2022-07-05 | Ultrahaptics Ip Ltd | Variable phase and frequency pulse-width modulation technique |
GB201817495D0 (en) | 2018-10-26 | 2018-12-12 | Cirrus Logic Int Semiconductor Ltd | A force sensing system and method |
GB2578454A (en) * | 2018-10-28 | 2020-05-13 | Cambridge Mechatronics Ltd | Haptic feedback generation |
EP3650956A1 (en) * | 2018-11-07 | 2020-05-13 | Tissot S.A. | Method for broadcasting an acoustic signal |
CN109999488A (en) * | 2018-12-29 | 2019-07-12 | 瑞声科技(新加坡)有限公司 | A kind of method for oscillating, terminal and storage medium |
WO2020141330A2 (en) | 2019-01-04 | 2020-07-09 | Ultrahaptics Ip Ltd | Mid-air haptic textures |
US11533557B2 (en) | 2019-01-22 | 2022-12-20 | Universal City Studios Llc | Ride vehicle with directional speakers and haptic devices |
JP7253183B2 (en) * | 2019-02-18 | 2023-04-06 | 株式会社東海理化電機製作所 | controller and program |
KR102273805B1 (en) * | 2019-02-19 | 2021-07-06 | 주식회사 동운아나텍 | Method and apparatus for generating a haptic signal using audio signal pattern |
CN109947248A (en) * | 2019-03-14 | 2019-06-28 | 努比亚技术有限公司 | Vibration control method, mobile terminal and computer readable storage medium |
US10955955B2 (en) | 2019-03-29 | 2021-03-23 | Cirrus Logic, Inc. | Controller for use in a device comprising force sensors |
US10828672B2 (en) | 2019-03-29 | 2020-11-10 | Cirrus Logic, Inc. | Driver circuitry |
US10726683B1 (en) | 2019-03-29 | 2020-07-28 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus |
US20200313529A1 (en) | 2019-03-29 | 2020-10-01 | Cirrus Logic International Semiconductor Ltd. | Methods and systems for estimating transducer parameters |
US10992297B2 (en) | 2019-03-29 | 2021-04-27 | Cirrus Logic, Inc. | Device comprising force sensors |
US11644370B2 (en) | 2019-03-29 | 2023-05-09 | Cirrus Logic, Inc. | Force sensing with an electromagnetic load |
US11509292B2 (en) | 2019-03-29 | 2022-11-22 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter |
US11842517B2 (en) | 2019-04-12 | 2023-12-12 | Ultrahaptics Ip Ltd | Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network |
WO2020219073A1 (en) * | 2019-04-26 | 2020-10-29 | Hewlett-Packard Development Company, L.P. | Spatial audio and haptics |
US10976825B2 (en) | 2019-06-07 | 2021-04-13 | Cirrus Logic, Inc. | Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system |
US11150733B2 (en) | 2019-06-07 | 2021-10-19 | Cirrus Logic, Inc. | Methods and apparatuses for providing a haptic output signal to a haptic actuator |
KR20220024091A (en) | 2019-06-21 | 2022-03-03 | 시러스 로직 인터내셔널 세미컨덕터 리미티드 | Method and apparatus for configuring a plurality of virtual buttons on a device |
US11853479B2 (en) * | 2019-09-16 | 2023-12-26 | Jonah B Saunders | Haptic garment |
WO2021062276A1 (en) | 2019-09-25 | 2021-04-01 | Neosensory, Inc. | System and method for haptic stimulation |
US11374586B2 (en) | 2019-10-13 | 2022-06-28 | Ultraleap Limited | Reducing harmonic distortion by dithering |
KR20220080737A (en) | 2019-10-13 | 2022-06-14 | 울트라립 리미티드 | Dynamic capping by virtual microphones |
US11408787B2 (en) | 2019-10-15 | 2022-08-09 | Cirrus Logic, Inc. | Control methods for a force sensor system |
US11467668B2 (en) | 2019-10-21 | 2022-10-11 | Neosensory, Inc. | System and method for representing virtual object information with haptic stimulation |
US11380175B2 (en) | 2019-10-24 | 2022-07-05 | Cirrus Logic, Inc. | Reproducibility of haptic waveform |
US11545951B2 (en) | 2019-12-06 | 2023-01-03 | Cirrus Logic, Inc. | Methods and systems for detecting and managing amplifier instability |
US11715453B2 (en) | 2019-12-25 | 2023-08-01 | Ultraleap Limited | Acoustic transducer structures |
CN115176216A (en) | 2019-12-30 | 2022-10-11 | 乔伊森安全系统收购有限责任公司 | System and method for intelligent waveform interrupts |
KR102286822B1 (en) * | 2020-01-06 | 2021-08-06 | 김수영 | System and method for converting sound to tactile effect |
WO2021142162A1 (en) | 2020-01-07 | 2021-07-15 | Neosensory, Inc. | Method and system for haptic stimulation |
US11662821B2 (en) | 2020-04-16 | 2023-05-30 | Cirrus Logic, Inc. | In-situ monitoring, calibration, and testing of a haptic actuator |
US11816267B2 (en) | 2020-06-23 | 2023-11-14 | Ultraleap Limited | Features of airborne ultrasonic fields |
WO2022058738A1 (en) | 2020-09-17 | 2022-03-24 | Ultraleap Limited | Ultrahapticons |
CN112083807B (en) * | 2020-09-20 | 2021-10-29 | 吉林大学 | Foot terrain touch reproduction method and device based on sound-touch conversion |
US11497675B2 (en) | 2020-10-23 | 2022-11-15 | Neosensory, Inc. | Method and system for multimodal stimulation |
CN112506341B (en) * | 2020-12-01 | 2022-05-03 | 瑞声新能源发展(常州)有限公司科教城分公司 | Vibration effect generation method and device, terminal equipment and storage medium |
JP2022097227A (en) * | 2020-12-18 | 2022-06-30 | 株式会社Jvcケンウッド | Information provision device, information provision method, and program |
KR102457452B1 (en) * | 2020-12-21 | 2022-10-21 | 신성호 | Haptic generator and driving method thereof |
US11933822B2 (en) | 2021-06-16 | 2024-03-19 | Cirrus Logic Inc. | Methods and systems for in-system estimation of actuator parameters |
US11908310B2 (en) | 2021-06-22 | 2024-02-20 | Cirrus Logic Inc. | Methods and systems for detecting and managing unexpected spectral content in an amplifier system |
US11765499B2 (en) | 2021-06-22 | 2023-09-19 | Cirrus Logic Inc. | Methods and systems for managing mixed mode electromechanical actuator drive |
US11862147B2 (en) | 2021-08-13 | 2024-01-02 | Neosensory, Inc. | Method and system for enhancing the intelligibility of information for a user |
US11552649B1 (en) | 2021-12-03 | 2023-01-10 | Cirrus Logic, Inc. | Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths |
CN114995638A (en) * | 2022-05-12 | 2022-09-02 | 北京有竹居网络技术有限公司 | Tactile signal generation method and device, readable medium and electronic equipment |
Family Cites Families (269)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3157853A (en) | 1957-12-06 | 1964-11-17 | Hirsch Joseph | Tactile communication system |
US2972140A (en) | 1958-09-23 | 1961-02-14 | Hirsch Joseph | Apparatus and method for communication through the sense of touch |
GB958325A (en) | 1962-07-08 | 1964-05-21 | Communications Patents Ltd | Improvements in or relating to ground-based flight training or simulating apparatus |
US3623046A (en) * | 1965-10-05 | 1971-11-23 | Lynch Corp | Transducer system |
US3497668A (en) | 1966-08-25 | 1970-02-24 | Joseph Hirsch | Tactile control system |
US3517446A (en) | 1967-04-19 | 1970-06-30 | Singer General Precision | Vehicle trainer controls and control loading |
US3623064A (en) | 1968-10-11 | 1971-11-23 | Bell & Howell Co | Paging receiver having cycling eccentric mass |
US3903614A (en) | 1970-03-27 | 1975-09-09 | Singer Co | Apparatus for simulating aircraft control loading |
US3765624A (en) * | 1971-09-29 | 1973-10-16 | Us Navy | Fluidically augmented variable gain artificial feel system |
JPS4990914U (en) | 1972-11-25 | 1974-08-07 | ||
JPS5240841B2 (en) * | 1972-12-28 | 1977-10-14 | ||
JPS49118401U (en) | 1973-02-07 | 1974-10-09 | ||
JPS49118401A (en) * | 1973-03-12 | 1974-11-12 | ||
US3902687A (en) | 1973-06-25 | 1975-09-02 | Robert E Hightower | Aircraft indicator system |
JPS5245921Y2 (en) | 1973-06-30 | 1977-10-19 | ||
JPS57511B2 (en) * | 1973-07-05 | 1982-01-06 | ||
US3911416A (en) | 1974-08-05 | 1975-10-07 | Motorola Inc | Silent call pager |
JPS51123017A (en) * | 1975-04-18 | 1976-10-27 | Matsushita Electric Ind Co Ltd | Voice responce indecator |
US4081829A (en) * | 1976-08-23 | 1978-03-28 | Atari, Inc. | Audio activated video display |
US4160508A (en) | 1977-08-19 | 1979-07-10 | Nasa | Controller arm for a remotely related slave arm |
JPS6022805B2 (en) | 1977-08-23 | 1985-06-04 | オリンパス光学工業株式会社 | Electromagnetic device for releasing restraint |
US4127752A (en) | 1977-10-13 | 1978-11-28 | Sheldahl, Inc. | Tactile touch switch panel |
JPS54116618A (en) | 1978-03-02 | 1979-09-11 | Ricoh Co Ltd | Step motor driving control system |
US4262549A (en) | 1978-05-10 | 1981-04-21 | Schwellenbach Donald D | Variable mechanical vibrator |
US4236325A (en) | 1978-12-26 | 1980-12-02 | The Singer Company | Simulator control loading inertia compensator |
US4334280A (en) | 1980-06-09 | 1982-06-08 | Texas Instruments Incorporated | System and method for providing an audible sound and a tactile feedback in an electronic data processing system |
US4355348A (en) * | 1980-07-30 | 1982-10-19 | Williams Theodore R | Audio signal responsive optical display |
US4464117A (en) | 1980-08-27 | 1984-08-07 | Dr. Ing. Reiner Foerst Gmbh | Driving simulator apparatus |
US4333070A (en) | 1981-02-06 | 1982-06-01 | Barnes Robert W | Motor vehicle fuel-waste indicator |
US4382217A (en) | 1981-05-15 | 1983-05-03 | Gould Inc. | Starting control circuit for an A.C. motor |
US4599070A (en) | 1981-07-29 | 1986-07-08 | Control Interface Company Limited | Aircraft simulator and simulated control system therefor |
JPS5829754U (en) | 1981-08-21 | 1983-02-26 | 日立金属株式会社 | Actuator for door lock |
DE3380420D1 (en) | 1982-01-22 | 1989-09-21 | British Aerospace | Control apparatus |
US4484191A (en) | 1982-06-14 | 1984-11-20 | Vavra George S | Tactile signaling systems for aircraft |
US4937685A (en) | 1983-12-02 | 1990-06-26 | Lex Computer And Management Corporation | Method of display presentation for video editing |
US4581491A (en) | 1984-05-04 | 1986-04-08 | Research Corporation | Wearable tactile sensory aid providing information on voice pitch and intonation patterns |
US4935728A (en) | 1985-01-02 | 1990-06-19 | Altra Corporation | Computer control |
US5078152A (en) | 1985-06-23 | 1992-01-07 | Loredan Biomedical, Inc. | Method for diagnosis and/or training of proprioceptor feedback capabilities in a muscle and joint system of a human patient |
GB2179775B (en) | 1985-08-30 | 1989-01-25 | Unisys Corp | Tactile alarm system for gaining the attention of an individual |
US4713007A (en) | 1985-10-11 | 1987-12-15 | Alban Eugene P | Aircraft controls simulator |
US5275174B1 (en) | 1985-10-30 | 1998-08-04 | Jonathan A Cook | Repetitive strain injury assessment |
NL8503096A (en) | 1985-11-11 | 1987-06-01 | Fokker Bv | SIMULATOR OF MECHANICAL PROPERTIES OF OPERATING SYSTEM. |
US4934694A (en) | 1985-12-06 | 1990-06-19 | Mcintosh James L | Computer controlled exercise system |
US4891764A (en) | 1985-12-06 | 1990-01-02 | Tensor Development Inc. | Program controlled force measurement and control system |
US5195179A (en) | 1986-01-29 | 1993-03-16 | Hitachi, Ltd. | Coordinate input apparatus |
US4768412A (en) | 1986-05-09 | 1988-09-06 | Sanderson Stephen N | Low profile keyboard device and system for recording and scoring music |
US4897582A (en) | 1987-01-06 | 1990-01-30 | Harris Corp. | Linear dc motor vibration controller |
US4794392A (en) | 1987-02-20 | 1988-12-27 | Motorola, Inc. | Vibrator alert device for a communication receiver |
JPS6443398U (en) * | 1987-09-10 | 1989-03-15 | ||
US5038089A (en) | 1988-03-23 | 1991-08-06 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Synchronized computational architecture for generalized bilateral control of robot arms |
US4885565A (en) | 1988-06-01 | 1989-12-05 | General Motors Corporation | Touchscreen CRT with tactile feedback |
NL8801653A (en) | 1988-06-29 | 1990-01-16 | Stork Kwant Bv | OPERATING SYSTEM. |
US4930770A (en) | 1988-12-01 | 1990-06-05 | Baker Norman A | Eccentrically loaded computerized positive/negative exercise machine |
US4933584A (en) | 1988-12-22 | 1990-06-12 | General Electric Company | Electronically commutated motor having skewed magnetics |
JPH02185278A (en) | 1989-01-12 | 1990-07-19 | Taito Corp | Light beam gun shooting game device |
US5186695A (en) | 1989-02-03 | 1993-02-16 | Loredan Biomedical, Inc. | Apparatus for controlled exercise and diagnosis of human performance |
US5019761A (en) | 1989-02-21 | 1991-05-28 | Kraft Brett W | Force feedback control for backhoe |
KR930010167B1 (en) | 1989-03-31 | 1993-10-15 | 샤프 가부시끼가이샤 | Signal generating circuit and compressor controller |
JPH0633752Y2 (en) * | 1989-11-24 | 1994-08-31 | サンデン株式会社 | Vibration device |
US5022407A (en) | 1990-01-24 | 1991-06-11 | Topical Testing, Inc. | Apparatus for automated tactile testing |
JPH03292524A (en) | 1990-04-11 | 1991-12-24 | Oki Electric Ind Co Ltd | Cursor shift system |
US5035242A (en) | 1990-04-16 | 1991-07-30 | David Franklin | Method and apparatus for sound responsive tactile stimulation of deaf individuals |
JPH0685820B2 (en) | 1990-04-25 | 1994-11-02 | 株式会社エポック社 | Experience game machine |
US5022384A (en) | 1990-05-14 | 1991-06-11 | Capitol Systems | Vibrating/massage chair |
JPH04230798A (en) * | 1990-05-28 | 1992-08-19 | Matsushita Electric Ind Co Ltd | Noise predicting device |
US5547382A (en) | 1990-06-28 | 1996-08-20 | Honda Giken Kogyo Kabushiki Kaisha | Riding simulation system for motorcycles |
US5165897A (en) | 1990-08-10 | 1992-11-24 | Tini Alloy Company | Programmable tactile stimulator array system and method of operation |
US5264836A (en) | 1991-01-15 | 1993-11-23 | Apple Computer, Inc. | Three dimensional cursor |
US5212473A (en) | 1991-02-21 | 1993-05-18 | Typeright Keyboard Corp. | Membrane keyboard and method of using same |
US5334027A (en) | 1991-02-25 | 1994-08-02 | Terry Wherlock | Big game fish training and exercise device and method |
US5194786A (en) | 1991-02-27 | 1993-03-16 | Kollmorgen Corporation | Linear current source amplifier for brushless dc motor |
US5240417A (en) | 1991-03-14 | 1993-08-31 | Atari Games Corporation | System and method for bicycle riding simulation |
US5203563A (en) | 1991-03-21 | 1993-04-20 | Atari Games Corporation | Shaker control device |
WO1992016922A1 (en) | 1991-03-21 | 1992-10-01 | Atari Games Corporation | Vehicle simulator including cross-network feedback |
US5524187A (en) | 1991-03-25 | 1996-06-04 | The Trustees Of Columbia University | Worlds-within-worlds nested display and interaction system and method |
US5351412A (en) | 1991-06-11 | 1994-10-04 | International Business Machines Corporation | Micro positioning device |
US5388992A (en) | 1991-06-19 | 1995-02-14 | Audiological Engineering Corporation | Method and apparatus for tactile transduction of acoustic signals from television receivers |
JPH07501437A (en) | 1991-07-12 | 1995-02-09 | デンネ ディベロプメンツ リミテッド | Electromagnetic device for linear drive |
US5321762A (en) | 1991-08-05 | 1994-06-14 | Aura Systems, Inc. | Voice coil actuator |
US5175459A (en) | 1991-08-19 | 1992-12-29 | Motorola, Inc. | Low profile vibratory alerting device |
US5186629A (en) | 1991-08-22 | 1993-02-16 | International Business Machines Corporation | Virtual graphics display capable of presenting icons and windows to the blind computer user and method |
US5889670A (en) | 1991-10-24 | 1999-03-30 | Immersion Corporation | Method and apparatus for tactilely responsive user interface |
US5271290A (en) | 1991-10-29 | 1993-12-21 | United Kingdom Atomic Energy Authority | Actuator assembly |
US5309140A (en) | 1991-11-26 | 1994-05-03 | The United States Of America As Represented By The Secretary Of The Navy | Feedback system for remotely operated vehicles |
US5471571A (en) | 1991-12-27 | 1995-11-28 | Xerox Corporation | Method and apparatus for setting a graphical object's position and orientation with viscous dragging |
JPH05192449A (en) | 1992-01-20 | 1993-08-03 | Taito Corp | Video type rifle-shooting battle game machine and its control method |
FR2688105B1 (en) | 1992-02-28 | 1994-05-06 | Moving Magnet Technologies Sa | ELECTROMAGNETIC ROTARY ACTUATOR SINGLE-PHASE RACE BETWEEN 60 AND 120 DEGREES. |
US5999185A (en) | 1992-03-30 | 1999-12-07 | Kabushiki Kaisha Toshiba | Virtual reality control using image, model and control data to manipulate interactions |
US5757358A (en) | 1992-03-31 | 1998-05-26 | The United States Of America As Represented By The Secretary Of The Navy | Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback |
US5189355A (en) | 1992-04-10 | 1993-02-23 | Ampex Corporation | Interactive rotary controller system with tactile feedback |
JP2677315B2 (en) | 1992-04-27 | 1997-11-17 | 株式会社トミー | Driving toys |
US5245245A (en) | 1992-05-04 | 1993-09-14 | Motorola, Inc. | Mass-loaded cantilever vibrator |
US5437607A (en) | 1992-06-02 | 1995-08-01 | Hwe, Inc. | Vibrating massage apparatus |
US5327790A (en) | 1992-06-19 | 1994-07-12 | Massachusetts Institute Of Technology | Reaction sensing torque actuator |
JP2605550B2 (en) | 1992-07-14 | 1997-04-30 | 岩崎通信機株式会社 | Electrophotographic lithographic printing plate for laser light |
EP0580117A3 (en) | 1992-07-20 | 1994-08-24 | Tdk Corp | Moving magnet-type actuator |
US6008800A (en) | 1992-09-18 | 1999-12-28 | Pryor; Timothy R. | Man machine interfaces for entering data into a computer |
US5283970A (en) | 1992-09-25 | 1994-02-08 | Strombecker Corporation | Toy guns |
JPH06126041A (en) * | 1992-10-20 | 1994-05-10 | Casio Comput Co Ltd | Game apparatus |
US5629594A (en) | 1992-12-02 | 1997-05-13 | Cybernet Systems Corporation | Force feedback system |
US6131097A (en) | 1992-12-02 | 2000-10-10 | Immersion Corporation | Haptic authoring |
US6433771B1 (en) | 1992-12-02 | 2002-08-13 | Cybernet Haptic Systems Corporation | Haptic device attribute control |
US5526480A (en) | 1992-12-28 | 1996-06-11 | International Business Machines Corporation | Time domain scroll bar for multimedia presentations in a data processing system |
US5550562A (en) | 1993-01-12 | 1996-08-27 | Fujitsu Limited | Data processing device that enables mouse-operated application programs to be operated from an operation pad, and an operation pad for use with the same |
US5451924A (en) | 1993-01-14 | 1995-09-19 | Massachusetts Institute Of Technology | Apparatus for providing sensory substitution of force feedback |
US5675709A (en) * | 1993-01-21 | 1997-10-07 | Fuji Xerox Co., Ltd. | System for efficiently processing digital sound data in accordance with index data of feature quantities of the sound data |
US5690582A (en) | 1993-02-02 | 1997-11-25 | Tectrix Fitness Equipment, Inc. | Interactive exercise apparatus |
US5785630A (en) | 1993-02-02 | 1998-07-28 | Tectrix Fitness Equipment, Inc. | Interactive exercise apparatus |
US5374942A (en) | 1993-02-05 | 1994-12-20 | Gilligan; Federico G. | Mouse and method for concurrent cursor position and scrolling control |
JPH0675438U (en) * | 1993-04-07 | 1994-10-25 | 並木精密宝石株式会社 | Deafening vibration pager type voice detector |
US5456341A (en) | 1993-04-23 | 1995-10-10 | Moog Inc. | Method and apparatus for actively adjusting and controlling a resonant mass-spring system |
US5524195A (en) | 1993-05-24 | 1996-06-04 | Sun Microsystems, Inc. | Graphical user interface for interactive television with an animated agent |
US5405152A (en) | 1993-06-08 | 1995-04-11 | The Walt Disney Company | Method and apparatus for an interactive video game with physical feedback |
US5466213A (en) | 1993-07-06 | 1995-11-14 | Massachusetts Institute Of Technology | Interactive robotic therapist |
US5436622A (en) | 1993-07-06 | 1995-07-25 | Motorola, Inc. | Variable frequency vibratory alert method and structure |
JP2856036B2 (en) | 1993-07-12 | 1999-02-10 | 株式会社セガ・エンタープライゼス | Gun unit for game machine provided with slide type vibration mechanism and game device |
US5347306A (en) | 1993-12-17 | 1994-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Animated electronic meeting place |
US5461711A (en) | 1993-12-22 | 1995-10-24 | Interval Research Corporation | Method and system for spatial accessing of time-based information |
US5438529A (en) | 1994-01-26 | 1995-08-01 | Immersion Human Interface Corporation | Percussion input device for personal computer systems |
CA2140164A1 (en) | 1994-01-27 | 1995-07-28 | Kenneth R. Robertson | System and method for computer cursor control |
US6404107B1 (en) | 1994-01-27 | 2002-06-11 | Active Control Experts, Inc. | Packaged strain actuator |
US5554900A (en) | 1994-02-04 | 1996-09-10 | Schlenker Enterprises Ltd. | Motor including embedded permanent-magnet rotor |
US5564004A (en) | 1994-04-13 | 1996-10-08 | International Business Machines Corporation | Method and system for facilitating the selection of icons |
US5586257A (en) | 1994-05-05 | 1996-12-17 | Perlman; Stephen G. | Network architecture to support multiple site real-time video games |
US6160489A (en) | 1994-06-23 | 2000-12-12 | Motorola, Inc. | Wireless communication device adapted to generate a plurality of distinctive tactile alert patterns |
US5565887A (en) | 1994-06-29 | 1996-10-15 | Microsoft Corporation | Method and apparatus for moving a cursor on a computer screen |
US6310604B1 (en) | 1994-07-19 | 2001-10-30 | Asahi Kasei Kabushiki Kaisha | Virtual reality and telereality system |
US5835693A (en) | 1994-07-22 | 1998-11-10 | Lynch; James D. | Interactive system for simulation and display of multi-body systems in three dimensions |
US5575761A (en) | 1994-07-27 | 1996-11-19 | Hajianpour; Mohammed-Ali | Massage device applying variable-frequency vibration in a variable pulse sequence |
US5808381A (en) | 1994-08-09 | 1998-09-15 | Hitachi Metals, Ltd. | Linear motor |
AU3329595A (en) | 1994-08-18 | 1996-03-14 | Interval Research Corporation | Content-based haptic input device for video |
US5649020A (en) | 1994-08-29 | 1997-07-15 | Motorola, Inc. | Electronic driver for an electromagnetic resonant transducer |
US5565840A (en) | 1994-09-21 | 1996-10-15 | Thorner; Craig | Tactile sensation generator |
US5684722A (en) * | 1994-09-21 | 1997-11-04 | Thorner; Craig | Apparatus and method for generating a control signal for a tactile sensation generator |
US5669818A (en) | 1995-03-23 | 1997-09-23 | Thorner; Craig | Seat-based tactile sensation generator |
US6422941B1 (en) | 1994-09-21 | 2002-07-23 | Craig Thorner | Universal tactile feedback system for computer video games and simulations |
US5570111A (en) | 1994-10-03 | 1996-10-29 | International Business Machines Corporation | Graphical user interface cursor positioning device having a negative inertia transfer function |
US5766016A (en) | 1994-11-14 | 1998-06-16 | Georgia Tech Research Corporation | Surgical simulator and method for simulating surgical procedure |
EP0713172B1 (en) | 1994-11-15 | 2002-02-06 | Microsoft Corporation | Slide out interface bar |
US5696535A (en) | 1994-11-17 | 1997-12-09 | International Business Machines Corporation | Graphics display pointer with integrated selection |
IT1280212B1 (en) | 1995-02-14 | 1998-01-05 | Sintecna S R L | PROCEDURE FOR CHECKING DEVICES FOR AIMING THE CURSOR ON THE SCREEN OF INTERACTIVE SYSTEMS AND LOGIC FOR ITS IMPLEMENTATION |
US5565888A (en) | 1995-02-17 | 1996-10-15 | International Business Machines Corporation | Method and apparatus for improving visibility and selectability of icons |
JP3348265B2 (en) | 1995-03-27 | 2002-11-20 | 富士通株式会社 | Overhead transfer control method |
DE69619592T2 (en) | 1995-04-11 | 2002-11-07 | Dragon Systems Inc | Movement of a pointer shown on the screen |
US5651070A (en) * | 1995-04-12 | 1997-07-22 | Blunt; Thomas O. | Warning device programmable to be sensitive to preselected sound frequencies |
US5492312A (en) | 1995-04-17 | 1996-02-20 | Lord Corporation | Multi-degree of freedom magnetorheological devices and system for using same |
US5661446A (en) | 1995-06-07 | 1997-08-26 | Mts Systems Corporation | Electromagnetic actuator |
US6166723A (en) | 1995-11-17 | 2000-12-26 | Immersion Corporation | Mouse interface device providing force feedback |
US5650704A (en) | 1995-06-29 | 1997-07-22 | Massachusetts Institute Of Technology | Elastic actuator for precise force control |
JP3562049B2 (en) | 1995-07-21 | 2004-09-08 | セイコーエプソン株式会社 | Video display method and apparatus |
US5628686A (en) | 1995-07-31 | 1997-05-13 | Microsoft Corporation | Apparatus and method for bidirectional data communication in a game port |
US5749533A (en) | 1995-08-03 | 1998-05-12 | Daniels; John J. | Fishing reel with electronically variable brake for preventing backlash |
US5977977A (en) | 1995-08-04 | 1999-11-02 | Microsoft Corporation | Method and system for multi-pass rendering |
US5864342A (en) | 1995-08-04 | 1999-01-26 | Microsoft Corporation | Method and system for rendering graphical objects to image chunks |
EP0789160B1 (en) | 1995-08-11 | 2003-10-29 | Ebara Corporation | Magnetically levitated vibration damping apparatus |
US5805165A (en) | 1995-08-31 | 1998-09-08 | Microsoft Corporation | Method of selecting a displayed control item |
US5808601A (en) | 1995-09-12 | 1998-09-15 | International Business Machines Corporation | Interactive object selection pointer method and apparatus |
US5959613A (en) | 1995-12-01 | 1999-09-28 | Immersion Corporation | Method and apparatus for shaping force signals for a force feedback device |
CN1149465C (en) | 1995-10-09 | 2004-05-12 | 任天堂株式会社 | Stereo image processing system |
US5990875A (en) | 1995-10-16 | 1999-11-23 | Packard Bell Nec | Double pen up event |
US5896125A (en) | 1995-11-06 | 1999-04-20 | Niedzwiecki; Richard H. | Configurable keyboard to personal computer video game controller adapter |
US5767457A (en) | 1995-11-13 | 1998-06-16 | Cirque Corporation | Apparatus and method for audible feedback from input device |
US5710574A (en) | 1995-11-14 | 1998-01-20 | International Business Machines Corporation | Method and system for positioning a graphical pointer within a widget of a data processing system graphical user interface |
JPH09140168A (en) | 1995-11-15 | 1997-05-27 | Nikon Corp | Driver for oscillation motor |
US6639581B1 (en) | 1995-11-17 | 2003-10-28 | Immersion Corporation | Flexure mechanism for interface device |
US5877748A (en) | 1995-11-20 | 1999-03-02 | Redlich; Sanford I. | Computer control input interface system |
JPH10513593A (en) * | 1995-11-24 | 1998-12-22 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | Method for presenting virtual reality enhanced by tactile stimuli and system for performing the method |
WO1997020305A1 (en) | 1995-11-30 | 1997-06-05 | Virtual Technologies, Inc. | Tactile feedback man-machine interface device |
US6147674A (en) | 1995-12-01 | 2000-11-14 | Immersion Corporation | Method and apparatus for designing force sensations in force feedback computer applications |
US5956484A (en) | 1995-12-13 | 1999-09-21 | Immersion Corporation | Method and apparatus for providing force feedback over a computer network |
US6028593A (en) | 1995-12-01 | 2000-02-22 | Immersion Corporation | Method and apparatus for providing simulated physical interactions within computer generated environments |
US6169540B1 (en) | 1995-12-01 | 2001-01-02 | Immersion Corporation | Method and apparatus for designing force sensations in force feedback applications |
US6161126A (en) | 1995-12-13 | 2000-12-12 | Immersion Corporation | Implementing force feedback over the World Wide Web and other computer networks |
US6750877B2 (en) | 1995-12-13 | 2004-06-15 | Immersion Corporation | Controlling haptic feedback for enhancing navigation in a graphical environment |
US6300936B1 (en) | 1997-11-14 | 2001-10-09 | Immersion Corporation | Force feedback system including multi-tasking graphical host environment and interface device |
US6078308A (en) | 1995-12-13 | 2000-06-20 | Immersion Corporation | Graphical click surfaces for force feedback applications to provide user selection using cursor interaction with a trigger position within a boundary of a graphical object |
KR19980032013A (en) | 1995-12-15 | 1998-07-25 | 모리시타요오이찌 | Vibration generator |
IL125649A (en) * | 1996-03-08 | 2002-12-01 | Motorola Inc | Method and device for recognizing a sampled sound signal in noise |
ITPN960017A1 (en) | 1996-03-12 | 1997-09-12 | Sole Spa | ELECTRIC MACHINE, IN PARTICULAR ELECTRIC MOTOR |
DE19613025A1 (en) | 1996-03-19 | 1997-09-25 | Peter Klose | Computer input equipment with connection |
US5668423A (en) | 1996-03-21 | 1997-09-16 | You; Dong-Ok | Exciter for generating vibration in a pager |
US6111577A (en) | 1996-04-04 | 2000-08-29 | Massachusetts Institute Of Technology | Method and apparatus for determining forces to be applied to a user through a haptic interface |
JP3007047B2 (en) * | 1996-04-19 | 2000-02-07 | 建司 高橋 | Sound identification device |
US5857986A (en) | 1996-05-24 | 1999-01-12 | Moriyasu; Hiro | Interactive vibrator for multimedia |
US5737144A (en) | 1996-06-05 | 1998-04-07 | Quantum Corporation | Switched boost voltage generator for actuator retract in disk drive |
US5802353A (en) | 1996-06-12 | 1998-09-01 | General Electric Company | Haptic computer modeling system |
US5795228A (en) | 1996-07-03 | 1998-08-18 | Ridefilm Corporation | Interactive computer-based entertainment system |
US5791992A (en) | 1996-07-31 | 1998-08-11 | International Business Machines Corporation | Video game system with internet cartridge |
US5896139A (en) | 1996-08-01 | 1999-04-20 | Platinum Technology Ip, Inc. | System and method for optimizing a scene graph for optimizing rendering performance |
US6084587A (en) | 1996-08-02 | 2000-07-04 | Sensable Technologies, Inc. | Method and apparatus for generating and interfacing with a haptic virtual reality environment |
US5877750A (en) | 1996-09-17 | 1999-03-02 | International Business Machines Corporation | Method and apparatus for in-place line width selection for graphics applications |
JPH10111958A (en) | 1996-10-04 | 1998-04-28 | Olympus Optical Co Ltd | Simulation system using computer graphics and model representing method of simulation system |
US5889506A (en) | 1996-10-25 | 1999-03-30 | Matsushita Electric Industrial Co., Ltd. | Video user's environment |
GB9622556D0 (en) | 1996-10-30 | 1997-01-08 | Philips Electronics Nv | Cursor control with user feedback mechanism |
US5884029A (en) | 1996-11-14 | 1999-03-16 | International Business Machines Corporation | User interaction with intelligent virtual objects, avatars, which interact with other avatars controlled by different users |
US5973670A (en) | 1996-12-31 | 1999-10-26 | International Business Machines Corporation | Tactile feedback controller for computer cursor control device |
US6111562A (en) | 1997-01-06 | 2000-08-29 | Intel Corporation | System for generating an audible cue indicating the status of a display object |
US5841710A (en) | 1997-02-14 | 1998-11-24 | Micron Electronics, Inc. | Dynamic address remapping decoder |
GB9706711D0 (en) | 1997-04-02 | 1997-05-21 | Philips Electronics Nv | User interface with compound cursor |
US6160907A (en) | 1997-04-07 | 2000-12-12 | Synapix, Inc. | Iterative three-dimensional process for creating finished media content |
JPH10295937A (en) | 1997-04-24 | 1998-11-10 | Sony Computer Entertainment:Kk | Operation device for game machine |
US7091948B2 (en) | 1997-04-25 | 2006-08-15 | Immersion Corporation | Design of force sensations for haptic feedback computer interfaces |
US6285351B1 (en) * | 1997-04-25 | 2001-09-04 | Immersion Corporation | Designing force sensations for computer applications including sounds |
US6292170B1 (en) | 1997-04-25 | 2001-09-18 | Immersion Corporation | Designing compound force sensations for computer applications |
US6005551A (en) | 1997-04-25 | 1999-12-21 | Microsoft Corporation | Offline force effect rendering |
US6215495B1 (en) | 1997-05-30 | 2001-04-10 | Silicon Graphics, Inc. | Platform independent application program interface for interactive 3D scene management |
US6071194A (en) | 1997-06-19 | 2000-06-06 | Act Labs Ltd | Reconfigurable video game controller |
US6057753A (en) | 1997-07-03 | 2000-05-02 | Projects Unlimited, Inc. | Vibrational transducer |
AUPO794697A0 (en) | 1997-07-15 | 1997-08-07 | Silverbrook Research Pty Ltd | A device (MEMS10) |
US6292174B1 (en) | 1997-08-23 | 2001-09-18 | Immersion Corporation | Enhanced cursor control using limited-workspace force feedback devices |
US6002184A (en) | 1997-09-17 | 1999-12-14 | Coactive Drive Corporation | Actuator with opposing repulsive magnetic forces |
JP3560450B2 (en) | 1997-10-29 | 2004-09-02 | アルプス電気株式会社 | Game console operating device |
US6394239B1 (en) | 1997-10-29 | 2002-05-28 | Lord Corporation | Controllable medium device and apparatus utilizing same |
US6252583B1 (en) | 1997-11-14 | 2001-06-26 | Immersion Corporation | Memory and force output management for a force feedback system |
KR100263167B1 (en) | 1997-11-21 | 2000-08-01 | 윤종용 | Resolution changing apparatus for liquid crystal display monitor |
JPH11155955A (en) * | 1997-11-26 | 1999-06-15 | Hisanobu Kaitani | Phobia treatment equipment |
US5896076A (en) | 1997-12-29 | 1999-04-20 | Motran Ind Inc | Force actuator with dual magnetic operation |
US5984880A (en) | 1998-01-20 | 1999-11-16 | Lander; Ralph H | Tactile feedback controlled by various medium |
TW404846B (en) * | 1998-01-23 | 2000-09-11 | Koninkl Philips Electronics Nv | Multiperson tactual virtual environment |
US6437770B1 (en) | 1998-01-26 | 2002-08-20 | University Of Washington | Flat-coil actuator having coil embedded in linkage |
US6219034B1 (en) | 1998-02-23 | 2001-04-17 | Kristofer E. Elbing | Tactile computer interface |
US6139324A (en) * | 1998-03-04 | 2000-10-31 | D-Box Audio Inc. | Multi-sense home entertainment chair transducer system |
US6210168B1 (en) | 1998-03-16 | 2001-04-03 | Medsim Ltd. | Doppler ultrasound simulator |
US6198206B1 (en) | 1998-03-20 | 2001-03-06 | Active Control Experts, Inc. | Inertial/audio unit and construction |
US6266053B1 (en) | 1998-04-03 | 2001-07-24 | Synapix, Inc. | Time inheritance scene graph for representation of media content |
US6078126A (en) | 1998-05-29 | 2000-06-20 | Motorola, Inc. | Resonant piezoelectric alerting device |
US5945772A (en) | 1998-05-29 | 1999-08-31 | Motorla, Inc. | Damped resonant piezoelectric alerting device |
US6686901B2 (en) | 1998-06-23 | 2004-02-03 | Immersion Corporation | Enhancing inertial tactile feedback in computer interface devices having increased mass |
JP2000024307A (en) * | 1998-07-09 | 2000-01-25 | Sony Corp | Apparatus and method for game bodily sensing |
US6375471B1 (en) | 1998-07-10 | 2002-04-23 | Mitsubishi Electric Research Laboratories, Inc. | Actuator for independent axial and rotational actuation of a catheter or similar elongated object |
US6421048B1 (en) | 1998-07-17 | 2002-07-16 | Sensable Technologies, Inc. | Systems and methods for interacting with virtual objects in a haptic virtual reality environment |
JP2000056943A (en) * | 1998-08-07 | 2000-02-25 | Mitsubishi Electric Corp | Setting display unit |
US6373463B1 (en) | 1998-10-14 | 2002-04-16 | Honeywell International Inc. | Cursor control system with tactile feedback |
US6282455B1 (en) | 1998-10-19 | 2001-08-28 | Rockwell Technologies, Llc | Walk-through human/machine interface for industrial control |
US6373465B2 (en) | 1998-11-10 | 2002-04-16 | Lord Corporation | Magnetically-controllable, semi-active haptic interface system and apparatus |
JP3457552B2 (en) * | 1998-11-17 | 2003-10-20 | Necマイクロシステム株式会社 | Voice input control method and device |
JP2000163099A (en) * | 1998-11-25 | 2000-06-16 | Brother Ind Ltd | Noise eliminating device, speech recognition device, and storage medium |
JP2000157720A (en) * | 1998-11-26 | 2000-06-13 | Square Co Ltd | Game apparatus, game control and information recording medium |
JP2000194427A (en) | 1998-12-25 | 2000-07-14 | Tokai Rika Co Ltd | Touch operation input device |
US6292776B1 (en) * | 1999-03-12 | 2001-09-18 | Lucent Technologies Inc. | Hierarchial subband linear predictive cepstral features for HMM-based speech recognition |
JP4587243B2 (en) * | 1999-08-31 | 2010-11-24 | 株式会社ソニー・コンピュータエンタテインメント | Entertainment device, entertainment system, recording medium, and vibration setting method |
US7061486B2 (en) | 1999-09-24 | 2006-06-13 | Sun Microsystems, Inc. | Using messaging to manage scene-based rendering |
DE50008899D1 (en) | 1999-11-27 | 2005-01-13 | Ebm Papst St Georgen Gmbh & Co | Electronically commutated DC motor |
US6339420B2 (en) | 2000-01-25 | 2002-01-15 | Michael B. Wittig | Actuation device having multiple degrees of freedom of movement and reduced inertia |
JP2001236085A (en) * | 2000-02-25 | 2001-08-31 | Matsushita Electric Ind Co Ltd | Sound domain detecting device, stationary noise domain detecting device, nonstationary noise domain detecting device and noise domain detecting device |
JP2001314652A (en) * | 2000-05-10 | 2001-11-13 | Sugiyama Electron:Kk | Audio system for game machine, and audio system |
US6819922B1 (en) | 2000-08-14 | 2004-11-16 | Hewlett-Packard Development Company, L.P. | Personal digital assistant vehicle interface and method |
AU2001294852A1 (en) | 2000-09-28 | 2002-04-08 | Immersion Corporation | Directional tactile feedback for haptic feedback interface devices |
US20020112035A1 (en) * | 2000-10-30 | 2002-08-15 | Carey Brian M. | System and method for performing content experience management |
US6654003B2 (en) | 2000-12-01 | 2003-11-25 | International Business Machines Corporation | Cursor control device |
US6727916B1 (en) | 2000-12-21 | 2004-04-27 | Sprint Spectrum, L.P. | Method and system for assisting a user to engage in a microbrowser-based interactive chat session |
US6885876B2 (en) | 2001-03-12 | 2005-04-26 | Nokia Mobile Phones Ltd. | Mobile phone featuring audio-modulated vibrotactile module |
JP3564501B2 (en) * | 2001-03-22 | 2004-09-15 | 学校法人明治大学 | Infant voice analysis system |
JP2002306849A (en) * | 2001-04-13 | 2002-10-22 | Artoon:Kk | Electronic game machine |
US6587091B2 (en) | 2001-04-23 | 2003-07-01 | Michael Lawrence Serpa | Stabilized tactile output mechanism for computer interface devices |
US6963762B2 (en) | 2001-05-23 | 2005-11-08 | Nokia Corporation | Mobile phone using tactile icons |
US6501203B2 (en) | 2001-06-01 | 2002-12-31 | Canadian Space Agency | Vibration control apparatus |
US6664664B2 (en) | 2001-06-08 | 2003-12-16 | Aerotech, Inc. | Printed circuit linear motor |
US6937211B2 (en) * | 2001-09-27 | 2005-08-30 | Koninklijke Philips Electronics N.V. | Apparatus and system for abstract visual representation of audio signals |
US7623114B2 (en) * | 2001-10-09 | 2009-11-24 | Immersion Corporation | Haptic feedback sensations based on audio output from computer devices |
US6703550B2 (en) | 2001-10-10 | 2004-03-09 | Immersion Corporation | Sound data output and manipulation using haptic feedback |
US6940497B2 (en) | 2001-10-16 | 2005-09-06 | Hewlett-Packard Development Company, L.P. | Portable electronic reading apparatus |
US7127271B1 (en) | 2001-10-18 | 2006-10-24 | Iwao Fujisaki | Communication device |
US6854573B2 (en) | 2001-10-25 | 2005-02-15 | Lord Corporation | Brake with field responsive material |
US7171191B2 (en) | 2002-04-08 | 2007-01-30 | Gateway Inc. | User dynamically definable centralized notification between portable devices |
US7175642B2 (en) | 2002-04-19 | 2007-02-13 | Pelikan Technologies, Inc. | Methods and apparatus for lancet actuation |
US7161580B2 (en) | 2002-04-25 | 2007-01-09 | Immersion Corporation | Haptic feedback using rotary harmonic moving mass |
US7421088B2 (en) | 2003-08-28 | 2008-09-02 | Motorola, Inc. | Multifunction transducer |
JP5192449B2 (en) | 2009-06-18 | 2013-05-08 | 中外炉工業株式会社 | Steel strip heating device |
-
2001
- 2001-10-09 US US09/974,759 patent/US7623114B2/en not_active Expired - Fee Related
-
2002
- 2002-10-08 CN CNB02824091XA patent/CN100445930C/en not_active Expired - Fee Related
- 2002-10-08 AT AT02786371T patent/ATE400032T1/en not_active IP Right Cessation
- 2002-10-08 EP EP02786371A patent/EP1438706B1/en not_active Expired - Lifetime
- 2002-10-08 WO PCT/US2002/031979 patent/WO2003032289A1/en active Application Filing
- 2002-10-08 JP JP2003535176A patent/JP2005506613A/en active Pending
- 2002-10-08 DE DE60227398T patent/DE60227398D1/en not_active Expired - Fee Related
- 2002-10-08 KR KR1020047005145A patent/KR100925293B1/en active IP Right Grant
- 2002-10-08 CN CN2008101761451A patent/CN101424975B/en not_active Expired - Fee Related
-
2009
- 2009-11-23 US US12/623,685 patent/US8441437B2/en not_active Expired - Lifetime
-
2011
- 2011-03-14 JP JP2011055834A patent/JP5319719B2/en not_active Expired - Fee Related
-
2012
- 2012-12-19 US US13/719,755 patent/US8686941B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2003032289A1 (en) | 2003-04-17 |
KR20040062559A (en) | 2004-07-07 |
JP2011141890A (en) | 2011-07-21 |
KR100925293B1 (en) | 2009-11-04 |
CN100445930C (en) | 2008-12-24 |
CN101424975B (en) | 2011-08-17 |
US8686941B2 (en) | 2014-04-01 |
US8441437B2 (en) | 2013-05-14 |
US20030067440A1 (en) | 2003-04-10 |
US7623114B2 (en) | 2009-11-24 |
DE60227398D1 (en) | 2008-08-14 |
EP1438706A1 (en) | 2004-07-21 |
JP2005506613A (en) | 2005-03-03 |
CN101424975A (en) | 2009-05-06 |
ATE400032T1 (en) | 2008-07-15 |
US20100066512A1 (en) | 2010-03-18 |
US20130106691A1 (en) | 2013-05-02 |
EP1438706A4 (en) | 2006-01-18 |
EP1438706B1 (en) | 2008-07-02 |
CN1599925A (en) | 2005-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5319719B2 (en) | Haptic feedback sensation based on audio output from computer equipment | |
JP4751019B2 (en) | Audio data output and manipulation using haptic feedback | |
EP2873447B1 (en) | Haptic trigger control system | |
JP2010061667A (en) | Method and apparatus for controlling force feedback interface utilizing host computer | |
EP3261737B1 (en) | Modifying haptic effects for slow motion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110314 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130711 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5319719 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |