JP6426356B2 - グループイベント時のハプティック効果のブロードキャスト - Google Patents

グループイベント時のハプティック効果のブロードキャスト Download PDF

Info

Publication number
JP6426356B2
JP6426356B2 JP2014047765A JP2014047765A JP6426356B2 JP 6426356 B2 JP6426356 B2 JP 6426356B2 JP 2014047765 A JP2014047765 A JP 2014047765A JP 2014047765 A JP2014047765 A JP 2014047765A JP 6426356 B2 JP6426356 B2 JP 6426356B2
Authority
JP
Japan
Prior art keywords
haptic
effect
mobile devices
haptic effect
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014047765A
Other languages
English (en)
Other versions
JP2014179984A (ja
Inventor
ロバート ダブリュー. ヘウベル
ロバート ダブリュー. ヘウベル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2014179984A publication Critical patent/JP2014179984A/ja
Application granted granted Critical
Publication of JP6426356B2 publication Critical patent/JP6426356B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H04W4/08User group management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03FAMPLIFIERS
    • H03F1/00Details of amplifiers with only discharge tubes, only semiconductor devices or only unspecified devices as amplifying elements
    • H03F1/34Negative-feedback-circuit arrangements with or without positive feedback
    • H03F1/36Negative-feedback-circuit arrangements with or without positive feedback in discharge-tube amplifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00Public address systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W56/00Synchronisation arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Power Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明の一実施形態の対象は、全般的には、ハプティック効果であり、特に、グループイベント時のハプティック効果のブロードキャストである。
携帯電話、スマートフォン、カメラ付き携帯電話、カメラ、携帯情報端末(PDA)などの携帯型モバイル電子装置は、一般的には、装置に対して特定のイベントが発生したことをユーザに警告するための出力機構を含む。例えば、携帯電話は、通常、ユーザに電話の発呼を音声で知らせるためのスピーカを含む。音声信号は、特有の着信音、音楽、音響効果などを含む場合がある。さらに、携帯電話は、ユーザに電話の発呼を視覚的に知らせるのに使用できる表示画面を含む場合がある。
一部のモバイル装置では、特に、総称として「ハプティックフィードバック」または「ハプティック効果」として周知である運動感覚フィードバック(例えば、能動的かつ抵抗性の力のフィードバック)および/または触覚フィードバック(例えば、振動、テクスチャ、および熱)もユーザに提供される。ハプティックフィードバックは、ユーザインターフェースを拡張し簡略化するキューを提供することができる。具体的には、ユーザに特定のイベントを警告するために、またはシミュレート環境もしくは仮想環境内でより深く感覚的に熱中することができるように現実的なフィードバックを提供するために、電子装置のユーザにキューを提供するのに、振動効果または振動触覚ハプティック効果が有効である場合がある。
さらに、映画、音楽コンサートなどのグループイベント時に、一般に、映画館に居るグループに種々の効果がブロードキャストされる。通常、映画の時の音声映像効果がグループにブロードキャストされ、いくつかの環境においては、グループの特定のメンバーが他のメンバーとは異なる効果を体験する場合がある。例えば、一部の音声効果は、Dolby(登録商標)Surround Soundのような技術を使用して、映画館内でのユーザの座席位置に応じて違って聞こえる場合がある。また、テーマパークの劇場での一部の「三次元」体験では、「風」効果、「雨」効果、および劇場内のそれぞれの座席に(誰がその座席に座っているかに関係なく)固有の動き効果が得られる。
一実施形態は、グループイベント時に携帯電話にハプティック効果を生成するシステムである。当該システムは、グループイベント時にブロードキャストされる第1のタイプのハプティック効果のアイデンティティを受信して、グループイベント時にハプティック効果を生成する第1の組のモバイル装置を決定する。その後、システムはグループイベント時に第1のタイプのハプティック効果を第1の組のモバイル装置にブロードキャストする。
本発明の一実施形態の中央サーバを実装することができ、本発明の別の実施形態の任意のモバイル装置を実装することができるシステムのブロック図である。 一実施形態の同期の一実施例を示した映画館の概略図である。 一実施形態の同期の別の実施例を示した映画館の概略図である。 一実施形態の非同期の一実施例を示した映画館の概略図である。 一実施形態の非同期の別の実施例を示した映画館の概略図である。 一実施形態の中央サーバにおいてハプティック効果をブロードキャストする、またはそれぞれのモバイル装置においてブロードキャストされたハプティック効果を受信して生成する時の図1のハプティック・グループ・ブロードキャスト・モジュールとシステムの機能フロー図である。
一実施形態は、ハプティック効果、さらには場合によっては、音声効果および視覚効果のような他の効果を、グループイベントの観衆/グループ内の各ユーザが携帯しているモバイル装置にブロードキャストするシステムである。各ユーザは、グループ内のユーザの位置に応じて、異なる時間に異なるハプティック効果を受信することができる。その結果、グループのそれぞれの特定のユーザに対する体験を拡張することができる。
一実施形態では、中央サーバ/コントローラは、映画もしくはコンサートのようなグループイベント時に、グループの各メンバーもしくはユーザが所持している1つまたは複数のハンドヘルド装置もしくはモバイル装置にハプティック効果または他の効果をブロードキャストする。図1は、一実施形態の中央サーバを実装し、別個の実施形態の任意のモバイル装置を実装することができるシステム10のブロック図である。これらの実装のいずれも、図1に示されている要素の全てが必要であるとは限らない、もしくは存在するわけではない。例えば、通常はハプティック効果が直接生成されない中央サーバでは、図1に示されているアクチュエータは含まれない場合がある。
システム10は、情報を通信するためのバス12もしくは他の通信機構と、情報を処理するためのバス12に結合されたプロセッサ22とを含む。プロセッサ22は、任意のタイプの汎用もしくは専用のプロセッサにしてもよい。プロセッサ22は、どんなハプティック効果が実行されるのかを決定し、そして高レベルのパラメータに基づいて実行されるハプティック効果の順序を決定することができる。一般に、特定のハプティック効果を定義する高レベルパラメータは、マグニチュード、周波数、および継続時間を含む。特定のハプティック効果を決定するのにストリーミング運動命令のような低レベルパラメータを使用してもよい。ハプティック効果は、ハプティック効果が生成される時に上述のパラメータの一部の変化を含む場合、またはユーザインタラクションに基づいて上述のパラメータの変化を含む場合に、「動的」であると見なすことができる。
システム10は、情報およびプロセッサ22によって実行される命令を記憶するためのメモリ14を含む。メモリ14は、ランダム・アクセス・メモリ(RAM)、リード・オンリ・メモリ(ROM)、磁気ディスクもしくは光ディスクなどの静的記憶装置、フラッシュメモリ、または任意の他のタイプのコンピュータ可読媒体の任意の組み合わせで構成される。
コンピュータ可読媒体は、プロセッサ22がアクセスできる任意の利用可能な媒体としてもよいし、揮発性および不揮発性の媒体、取り外し可能および取り外し不可能な媒体、通信媒体、ストレージ媒体を含んでもよい。通信媒体は、コンピュータ可読命令、データ構造体、プログラムモジュール、またはキャリア波もしくは搬送機構のような変調データ信号の他のデータを含んでもよく、また当技術分野で周知の任意の他の形態の情報送達媒体を含んでもよい。ストレージ媒体は、RAM、フラッシュメモリ、ROM、消去可能プログラマブル・リード・オンリ・メモリ(EPROM)、電気的消去可能プログラマブル・リード・オンリ・メモリ(EEPROM)、レジスタ、ハードディスク、リムーバブルディスク、コンパクト・ディスク・リード・オンリ・メモリ(CD−ROM)、または当技術分野で周知の任意の他の形態のストレージ媒体を含んでもよい。
一実施形態では、メモリ14は、プロセッサ22によって実行される時に機能を提供するソフトウェアモジュールを記憶する。モジュールは、システム10のオペレーティングシステム機能を提供するオペレーティングシステム15を含む。モジュールはさらに、以下で詳述するように、(システム10が中央サーバを実装する場合)ハプティック効果をブロードキャストする、または(システム10がモバイル装置の1つを実装する場合)ブロードキャストされたハプティック効果を受信および生成するハプティック・グループ・ブロードキャスト・モジュール16を含む。システム10は、一般的には、TouchSense(登録商標)Haptic Feedback Technology(Immersion社)を支援するためのソフトウェアのような追加の機能を含むために1つまたは複数の追加のアプリケーションモジュール18を含む。
システム10はさらに、Bluetooth(登録商標)のようなワイヤレスネットワーク通信、赤外線、無線、Wi−Fi、またはセルラーネットワーク通信を提供するためのネットワーク・インターフェース・カードなどの通信装置20を含む。通信は、中央サーバとモバイル装置との間の通信、いくつかの実施形態ではその逆の通信である。
プロセッサ22はさらに、グラフィック表現またはユーザインターフェースをユーザに表示するために、バス12を介して液晶ディスプレイ(LDC)のようなディスプレイ24に結合される。ディスプレイ24は、プロセッサ22からの信号を送受信する構造であるタッチスクリーンのようなタッチセンサー式入力装置としてもよいし、マルチタッチ式タッチスクリーンとしてもよい。ディスプレイ24は、映像効果を生成することができ、さらに音声効果を生成するためのスピーカを含むことができる。
システム10はさらに、1つまたは複数のアクチュエータ26を含む。プロセッサ22は、ハプティック効果に関連付けられたハプティック信号をアクチュエータ26に送信し、これを受けてアクチュエータ26がハプティック効果を出力してもよい。アクチュエータ26は、例えば、電気モータ、電磁アクチュエータ、音声コイル、線形共振アクチュエータ、圧電アクチュエータ、形状記憶合金、電気活性高分子、ソレノイド、偏心モータ(ERM)、または線形共振アクチュエータ(LRA)としてよい。
システム10は、アクチュエータ26の他に、静電気摩擦(ESF)、超音波表面摩擦(USF)を使用する装置や、超音波ハプティック変換器によって音響放射圧を誘発する装置、ハプティック基板および可撓性もしくは変形可能な表面もしくは形状が変化するデバイスを使用した装置であって、ユーザの身体に付着することができる装置、空気ジェットを使用して空気を吹き出すような放出式のハプティック出力を提供する装置などの非機械的もしくは非振動式装置である他のタイプのハプティック出力装置(図示せず)を含んでもよい。複数のハプティック効果を有する複数のハプティック出力装置で、ハプティック効果を生成することができる。
ブロードキャストされるハプティック効果は、例えば、振動、変形、締め付け、つつき、伸縮、表面摩擦、熱などの広範囲の効果および技術を含むことができる。また、ハプティック効果は、モバイル装置自身によって、または装身具(例えば、ブレスレット、眼鏡、靴、ベルトなど)、または他の遠隔操作の付属品(例えば、車のキー、ラップトップコンピュータ、音楽プレイヤ、もしくは任意の他の触覚対応の装置)によって生成される場合もある。
システム10はさらに、1つまたは複数のセンサ28を含む。センサ28は、加速度計、ジャイロスコープ、全地球測位システム(GPS)センサ、タッチセンサー式入力装置(例えば、タッチスクリーン、タッチパッド)、テクスチャスタイラス、画像センサ、またはいくつかの他のタイプのセンサとしてよい。センサ28は、加速変化、傾斜変化、慣性変化、または位置変化を検出する構造にしてよい。また、センサ28は、位置センサ、回転速度センサ、光センサ、圧力センサ、テクスチャセンサ、カメラ、マイクロホン、または他のタイプのセンサとしてもよい。
一実施形態によれば、中央サーバは、ハプティック効果を同期的に(すなわち、全ての人に対して同じハプティック効果を)、または非同期的に(すなわち、それぞれの人の位置もしくは属性に応じて多様な効果を)音声/視覚イベントに関連したユーザのグループにブロードキャストすることにより、音声/視覚効果のみでは得ることができなかった高度な体験が可能になる。ほとんどのユーザがモバイル装置を携帯している状態でこの視聴体験をするので、スクリーンもしくはステージ上での音声/視覚イベントと同期した装置を使用してグループハプティック体験を実現することができる。さらに、心臓が鼓動するような音声要素もしくは視覚要素がなくても、鼓動シミュレートハプティック効果のように、音声/視覚イベントとは切り離されたグループハプティック効果が生成される場合がある。ハプティック効果はモバイル装置自体によって生成されるので、この実施形態は、いくつかの周知の「三次元」視聴体験のような座席固有の効果ではない。中央サーバは、実際のハプティック信号自体(すなわち、ハプティックパラメータ)またはハプティック効果のアイデンティティもしくは機能をブロードキャストして、受信側のモバイル装置のプロセッサがメモリからハプティック信号を読み出す、またはハプティック信号を生成するようにしてもよい。
当技術分野で周知であるように、マグニチュード、周波数、または継続時間のような1つまたは複数のハプティック効果パラメータを変化させることによって、異なるタイプのハプティック効果を生成することができる。また、運動シグナルを受信してハプティック効果を生成するアクチュエータまたは他のハプティック出力装置の種類を変えることで、異なるタイプのハプティック効果を生成することも可能である。例えば、ERMアクチュエータによって生成されるハプティック効果は、ESF装置によって生成されるハプティック効果とは異なるタイプのハプティック効果である。
各ユーザの位置に基づいて非同期的にハプティック効果を送信する実施形態は、まず各ユーザのグループ内の近似位置を決定する。この位置では、ハプティック効果を受信する各ユーザがモバイル装置を携帯している。そのために、モバイル装置の現在位置を追跡/決定する周知の方法を使用することができる。例えば、イベントが屋外で行われる場合、モバイル装置の近似位置を決定するために、GPSに基づく技術を使用することができる。イベントが映画館のような屋内で行われる場合、モバイル装置またはスマートフォンの位置を追跡する屋内位置機能、例えば、「Micro−Location」システム(NearBuy Systems社製)を提供するために、映画館内のワイヤレス・アクセス・ポイントを使用することができる。各モバイル装置の位置を決定する他の方法は、Wi−Fi、Bluetooth(登録商標)、または近距離無線通信(NFC)に基づく位置決定システムを含む。
一実施形態では、各モバイル装置は装置識別子を有し、各モバイル装置(任意で対応するユーザ)は、イベントにおいてユーザがグループの一部である時に識別される。一実施形態では、各ユーザは、手動でまたは自動的にログインすることによって、または他の検出方法を使用することによって、イベントのネットワークに接続する。各モバイル装置のアイデンティティ、およびグループ内にあるモバイル装置と対応する座席位置の全てのマッピングに基づいて、中央サーバは、必要に応じて、位置に基づいて異なる装置に異なるハプティック効果をブロードキャストすることができる。アイデンティティは、モバイル装置の構成、例えば、ハプティック効果を生成するのに利用できるアクチュエータおよび他のハプティック出力装置のアイデンティティを含んでもよい。
本発明の実施形態を、全般的には、映画館内に座って映画を観ているグループ/観衆の一例に関して説明する。観衆のメンバーは映画を観賞している時に、映画の「ハプティックトラック」内の特定のイベントに基づいて観衆のモバイル装置にトリガされたハプティック効果/イベントを体感する。観衆のモバイル装置に送信されるハプティック効果は、
・座席位置または映画のイベントのタイミングに関係なく、それぞれの観衆メンバーに対して全く同じである(すなわち、全員に対する同期体験)、
・座席位置または映画のイベントのタイミングに基づいて、ぞれぞれの観衆メンバーに対して異なる(すなわち、非同期体験)、
・座席位置と映画のイベントのタイミングの両方に基づいて、それぞれの観衆メンバーに対して異なる(すなわち、非同期例)、
・観衆のモバイル装置に送信される音声/視覚イベントを含んでもよいし、含まなくてもよい。
図2は、一実施形態の同期例を示した映画館50の概略図である。映画館50は、視覚要素55(例えば、映画スクリーン)と、音声要素61〜64(例えば、音声サラウンドシステムの一部のスピーカ)のような音声要素と、座席71〜74のような座席とを含み、この座席にはシステム10によって実現可能である触覚対応のモバイル装置をそれぞれ携帯しているユーザが座っている。図2の例は同期例であるので、それぞれのモバイル装置は同じハプティック効果(すなわち、ハプティック効果「H1」)を受信する。
同期例では、映画の中のイベントは、同じハプティックイベントをトリガして同時に全てのユーザのモバイル装置上で再生する。例えば、雨が降り始める映画の1シーンでは、雨が降り始めると同時に観衆の誰もが、モバイル装置上で生成された雨をシミュレートしたハプティック効果H1によって同じ触覚的な降雨感覚を体感することができる。別の例では、登場人物が全ての観衆メンバーがお化け屋敷内を移動する時または恋人が部屋に入ってくるのを見た時に、モバイル装置上で鼓動が速くなる感覚をシミュレートしたハプティック効果を受信する。図2の例では、全ての観客メンバーが同時に同じハプティック効果を体感し、各ユーザの位置は必要でない、または利用されない。
図3は、一実施形態の別の同期例を示した映画館50の概略図である。この例では、ユーザの位置が必要であり、ユーザが座っている座席列が決定される。各ユーザのモバイル装置は、その位置に基づいて識別される。図3の例では、映画の中のイベントは同じハプティックイベントをトリガして同時に全てのユーザのモバイル装置上で再生するが、ハプティック効果のタイプは位置によって異なる場合がある(すなわち、ハプティック効果のタイプは、「H1」、「H2」、または「H3」である)。例えば、爆発が発生する映画の1シーンでは、前列にいるユーザは、異なるハプティック効果のマグニチュードによって、爆発力をシミュレートしたハプティック効果を中央列もしくは後列のユーザよりも強く体感することができる。
図4は、一実施形態の非同期例を示した映画館50の概略図である。この例では、ユーザの位置が必要であり、各ユーザが座っている列が決定される。ハプティック効果を受信する各ユーザは、同じハプティック効果(すなわち、ハプティック効果「H1」)を受信する。図4の例では、映画の中のイベントは同じハプティックイベントをトリガして、経時的に特定のユーザのモバイル装置上でのみハプティックイベントを再生する。例えば、ネズミが群衆の中を走っている映画の1シーンでは、前列の特定のユーザがハプティック効果を体感し(時間T1)、前列のユーザに対する効果は中央列の何人かのユーザに対して同じ効果がトリガされた時に終了し(時間T1+T2)、その後、中央列のユーザに対する効果は後列の数人のユーザに対して同じ効果がトリガされた時に終了する(時間T1+T2+T3)。映画のイベントタイミングと座席位置とに基づいた別の例では、車がスクリーンの左側から右側に駆け抜けるというシーンがある。車がスクリーンを横切って移動すると、ハプティック効果が観衆メンバーに送信されて室内の左側に疾走車を表現し、その後、車がスクリーンの右側に走り去る時にハプティック効果は室内の右側の他の観衆メンバーへと移る。
図5は、一実施形態の別の非同期例を示した映画館50の概略図である。図5の例では、映画の中のイベントは異なるハプティックイベントをトリガして、経時的に特定のユーザのモバイル装置上でのみハプティックイベントを再生する(すなわち、ハプティック効果「H1」、「H2」、または「H3」)。例えば、ジェット戦闘機が敵戦闘機を破壊し、敵戦闘機がスクリーンの左側近くの空中で爆発し、勝利した戦闘機が必然的に爆発の中を飛行するという航空戦闘シーンの場合がある。前列左側のユーザは強い爆発のハプティック効果を体感し(時間T1)、中央列の中央より左側のユーザはジェット機がデブリの真ん中を移動する時にトリガされる弱いハプティック効果を体感し(時間T1+T2)、後列中央のユーザはジェット機がデブリ雲の中を移動し終わるとすぐに、次第に減少していくハプティック効果を体感する(時間T1+T2+T3)。
図6は、一実施形態に従って、中央サーバでハプティック効果をブロードキャストし、またはブロードキャストされたハプティック効果を各モバイル装置で受信して生成する時の図1のハプティック・グループ・ブロードキャスト・モジュール16およびシステム10の機能フロー図である。一実施形態では、図6のフロー図の機能は、メモリまたはコンピュータ可読媒体もしくは有形媒体に記憶されているソフトウェアによって実現され、プロセッサによって実行される。他の実施形態では、図6のフロー図の機能は、ハードウェア(例えば、特定用途向け集積回路(ASIC)を使用して)、プログラマブル・ゲート・アレイ(PGA)、フィールド・プログラマブル・ゲート・アレイ(FPGA)など、またはハードウェアとソフトウェアの任意の組み合わせによって実行可能である。
602において、中央サーバが、グループ内の1つまたは複数のモバイル装置にブロードキャストされてそのモバイル装置で生成されるハプティック効果のアイデンティティ/記述を受信する。一実施形態では、ハプティック効果は、映画の時間軸のようにイベントの音声または映像と同期する。それぞれのハプティック効果は、マグニチュード、周波数、および継続時間などの高レベルのパラメータで定義することができる。一部のユーザのみがハプティック効果を受信する(例えば、第1列のユーザが第1のタイプのハプティック効果を受信し、第2列のユーザが第2のタイプのハプティック効果を受信するなど)の実施形態では、アイデンティティ/記述は、ハプティック効果を受信して生成する1つまたは複数のモバイル装置のアイデンティティを含む。
604において、必要に応じて、各モバイル装置の位置およびIDが決定される、または取り出される。上述したように、位置およびIDは周知の技術を使用して決定される。IDは、アクチュエータまたは各モバイル装置内の他のハプティック出力装置のアイデンティティを含む場合がある。
606において、ハプティック効果を生成するモバイル装置が決定される。一部のハプティック効果の場合、全てのモバイル装置がハプティック効果を生成するが、その他のハプティック効果の場合は、全てのモバイル装置のうちの一部のみがハプティック効果を生成する。
608において、ハプティック効果自体またはハプティック効果のアイデンティティが中央サーバから全ての識別されたモバイル装置にブロードキャストされる。一実施形態では、ハプティック効果は、通常、グループ全体にブロードキャストされ、ハプティック効果を生成するモバイル装置の識別子を含む。識別されていないモバイル装置は、ブロードキャストされたハプティック効果を無視する。
610において、606で決定されたそれぞれのモバイル装置がハプティック効果を生成する。一実施形態では、ハプティック効果パラメータは、ローカルメモリから取り出されて、アクチュエータまたは他のタイプのハプティック出力装置に送信される運動シグナルに変換される。アクチュエータは、その後、振動に基づくハプティック効果または上述したような他の種類のハプティック効果を生成する。ハプティック効果は、ハプティック効果のアイデンティティがブロードキャストから受信されるとすぐに生成されてもよいし、ブロードキャストの中で指定したようにタイミングを遅らせることも可能である。
実施形態は、ハプティック効果、またはハプティック効果と音声効果ならびに映像効果との組み合わせをブロードキャストすることができる。さらに、実施形態は、同じハプティック効果を全てのモバイル装置にブロードキャストする、またはモバイル装置の位置に基づいてブロードキャストすることができる。さらに、実施形態は同じタイプのハプティック効果を全てのモバイル装置にブロードキャストする、または異なるタイプのハプティック効果を異なるモバイル装置にブロードキャストする(すなわち、それぞれのハプティック効果を全てのモバイル装置の一部(いくつか)にブロードキャストする)ことができる。以下に、本発明の実施形態の可能な実装例のいくつかについて説明する。
「Single Effect Some−triggered at once synched w/AV」:同じハプティック効果が音声/映像コンテンツに合わせていくつかのモバイル装置上で同時にトリガされる。例えば、スクリーン上の爆発シーンにおいて、スクリーンイベントの最も近くに座っている人のみにハプティック効果が送信される。
「Single Effect All−triggered at once synched w/AV」:同じハプティック効果が音声/映像コンテンツに合わせて全てのモバイル装置上で同時にトリガされる。例えば、スクリーン上の爆発シーンにおいて、どのモバイル装置にも同じハプティックパラメータが同時に送信される。
「Different Effect Some−triggered at once synched w/AV」:異なるハプティック効果が音声/映像コンテンツに合わせて全てのモバイル装置上で同時にトリガされる。例えば、爆発シーンにおいて、前列に座っている人が他の全ての列の人より強いハプティック効果を受信するが、そのハプティック効果は全て同時にトリガされる。別の例として、同じ効果のタイプ(例えば、発砲をシミュレートしたハプティック効果)であるが、異なるハプティック効果パラメータをいくつかのモバイル装置に送信して、異なるモバイル装置アクチュエータのタイプ(例えば、ERM、LRA、圧電式、静電気式など)の差異を補償することができる。これは、モバイル装置のいくつかに異なるパラメータを送信することによって全てのモバイル装置にわたって同じハプティック体験を作り出すのが目的である。
「Different Effect All−triggered at once synched w/AV」:ハプティック効果は、音声/映像コンテンツに合わせて同時にいくついかのモバイル装置でのみトリガされる。全てのユーザが爆発ハプティック効果を体感するが、それぞれのモバイル装置は強さに差がある異なるパラメータのハプティック効果を体感する。上述したように、異なる装置アクチュエータタイプの差異を補償することもできる。
「Single Effect Some−triggered at once synched w/A only」:ハプティック効果に関連付けられた視覚要素がなく、音声のみである一実施形態では、音声要素に最も近い人のみが同時にハプティック効果を体感する。例えば、体験の後列に座っている人のみがイベントに対して後方スピーカで鼓動を聞いて、シミュレートされた鼓動のハプティック効果を体感するが、スクリーン上で視覚的な鼓動を見ることできない、またはイベントで、コンサートホールでよくあることだが、スクリーンが使用されないかもしれない。
「Single Effect All−triggered at once synched w/A only」:上述した「Single Effect Some−triggered at once synched w/A only」と同様であるが、この場合、ハプティック効果は同時に等しく全てのモバイル装置に送信される。
「Different Effect Some−triggered at once synched w/A only」:上述した「Different Effect Some−triggered at once synched w/AV」と同様であるが、この場合は視覚要素がない。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。
「Different Effect All−triggered at once synched w/A only」:上述した「Different Effect All−triggered at once synched w/AV」と同様であるが、この場合は視覚要素がない。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。
「Single Effect Some−triggered at once synched w/V only」:上述した「Single Effect Some−triggered at once synched w/AV」と同様であるが、この場合は音声要素がない。例えば、この場合のハプティック効果は、例えば、宇宙空間の爆発のように全く音がしない視覚要素に対するハプティック効果とすることができる。観衆は、視覚要素を見て、体験に関係するハプティック効果を体感することができるが、音声は聞こえない。爆発の最も近くに座っている人のみがこのハプティック効果を体感するかもしれない。
「Single Effect All−triggered at once synched w/V only」:上述した「Single Effect Some−triggered at once synched w/V only」と同様であるが、この場合は、同じハプティック効果が全てのモバイル装置に送信される。
「Different Effect Some−triggered at once synched w/V only」:上述した「Different Effect Some−triggered at once synched w/AV」と同様であるが、この場合は音声要素がない。例えば、この場合のハプティック効果は、いくつかの三次元物体が観衆の中に向かって映し出される3D映画のハプティック効果があるが、それに関連した音は全く出ない。3D効果の影響を最も受ける観衆メンバーは、最も強いハプティック効果の再生を受信する可能性があり、あまり影響を受けないメンバーはそれよりも弱いハプティック効果を受信し、さらに他のメンバーは全くハプティック効果の再生を受信しないかもしれない。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。これらの効果の全ては、経時的にではなく、一度にトリガされる。
「Different Effect All−triggered at once synched w/V only」:上述した「Different Effect Some−triggered at once synched w/V only」と同様であるが、いくつかのモバイル装置は異なるハプティック効果パラメータを受信し、このパラメータは異なるアクチュエータタイプの差異の補償を含むことができる。
「Single Effect Some−triggered at once separate from A/V」:同じハプティック効果がいくつかのモバイル装置でのみ同時にトリガされるが、この場合のハプティック効果は音声/映像コンテンツのいずれにも関連付けられていない。一例として、観衆の一部における音質または警告の設定を助けるような完全に周囲環境のハプティックイベントがある。例えば、ホラー映画では、幼い子供が目を覆うことができるように、観衆の一部に怖い瞬間が迫っていることを警告する必要がある場合がある。さらに、コンサート体験では、バンドがアリーナに登場する直前に、バンドがステージの左もしくはステージの右から、または観衆エリアの一部の中から登場する場合に、特定の観衆メンバーにハプティック効果を送信して観衆の一部にバンドがそのエリアに到着したことを警告するが、ハプティック効果は任意の映し出される視覚媒体もしくは音声媒体に関連付けられていない。
「Single Effect All−triggered at once separate from A/V」:上述した「Single Effect Some−triggered at once separate from A/V」と同様であるが、この場合は、同じハプティック効果が全てのモバイル装置に伝達される。
「Different Effect Some−triggered at once separate from A/V」:上述した「Single Effect Some−triggered at once separate from A/V」と同様であるが、ハプティック効果の強さのパラメータは、観衆の中のモバイル装置の位置に基づいて再生される。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。
「Different Effect All−triggered at once separate from A/V」:上述した「Single Effect Some−triggered at once separate from A/V」と同様であるが、ブロードキャストの中で全てのモバイル装置にわたって、強さなどのハプティック効果パラメータは、観衆の中のモバイル装置の位置に応じて変化する場合がある。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。
「Single Effect Some−triggered over time synched w/AV」:例えば、いくつかの3D物体が関連する音声と一緒に観衆の中に向かって映し出されるという3D映画のハプティック効果がある。3D要素は観衆メンバーに対して経時的に閾値を超えるので、おそらく映画館の後方にいる一部の観衆メンバーは全くハプティック再生を受信できないと思われる場合でも同じハプティック効果をトリガすることができる。3Dでない例としては、物体がスクリーンの一方から他方にズームする場合で、同じ1つのハプティック効果が室内を横断するが、最もスクリーンに近いモバイル装置上でのみ再生される。
「Single Effect All−triggered over time synched w/AV」:上述した「Single Effect Some−triggered over time synched w/AV」と同様であるが、全ての観衆メンバーが経時的に同じ効果を受信する、つまり、いくつかの閾値条件が満たされて全ての観衆メンバーに対してハプティック効果をトリガするものである。3Dでない例としては、物体がスクリーンの一方から他方にズームする場合で、同じ1つのハプティック効果が室内を横断し、ブロードキャストの中で全てのモバイル装置上で再生される。
「Different Effect Some−triggered over time synched w/AV」:一例として、ジェット戦闘機が敵戦闘機を破壊し、敵戦闘機がスクリーンの左側近くの空中で爆発し、勝利した戦闘機が必然的に爆発の中を飛行するという映画の航空戦闘シーンがある。前列左側のユーザは、強い爆発のハプティック効果を体感し、中央列の中央より左側のユーザはジェット機がデブリの真ん中を移動する時にトリガされる弱いハプティック効果を体感し、後列中央のユーザはジェット機がデブリ雲の中を移動し終わるとすぐに、次第に減少していくハプティック効果を体感するするかもしれない。この例では、全体のシーンに応じて異なるハプティック効果が再生されており、観衆の誰もがハプティック効果を体感するとは限らない。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。
「Different Effect All−triggered over time synched w/AV」:上述した「Different Effect Some−triggered over time synched w/AV」と同様であるが、この場合は、全てのモバイル装置が体験の中に含まれる。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。
「Single Effect Some−triggered over time synched w/A only」:一例として、目に見えないハエの羽音が観衆の中で響くサラウンド音響のハプティック効果がある。同じハプティック効果を、映画館の中のハエの羽音が最も響くエリアだけでなく、全てのユーザのモバイル装置上で経時的にトリガすることができる。
「Single Effect All−triggered over time synched w/A only」:上述した「Single Effect Some−triggered over time synched w/A only」と同様であるが、この場合は、同じハプティック効果が全てのモバイル装置に送られる。
「Different Effect Some−triggered over time synched w/A only」:上述した「Single Effect Some−triggered over time synched w/A only」と同様であるが、この場合は、例えば、音声パラメータの変化に応じてハプティック効果パラメータが異なる。例えば、ハエの羽音が一部の観衆メンバーの周囲で大きく響く場合、ハプティック効果も映画館のその領域で強くなる可能性がある。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。
「Different Effect All−triggered over time synched w/A only」:上述した「Different Effect Some−triggered over time synched w/A only」と同様であるが、この場合は、ハプティック効果は全ての観衆のモバイル装置上で再生され、ハプティックパラメータはそれぞれのモバイル装置上で異なる場合がある。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。
「Single Effect Some−triggered over time synched w/V only」:上述した「Single Effect Some−triggered at once synched w/A only」と同様であるが、この場合は、爆発または他の視覚要素がスクリーンを横断する時に、閾値トリガ点に達すると、移動している物体に最も近い観衆メンバーに対して同じハプティック効果がトリガされる。
「Single Effect All−triggered over time synched w/V only」:上述した「Single Effect Some−triggered over time synched w/V only」と同様であるが、この場合は、トリガされた時に全てのモバイル装置が同じハプティック効果を受信する。
「Different Effect Some−triggered over time synched w/V only」:上述した「Different Effect All−triggered over time synched w/AV」と同様であるが、この場合は、視覚媒体のみに基づいて行われる。例えば、ジェット戦闘機ではなく、音の出ない宇宙戦闘機の場合がある。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。
「Different Effect All−triggered over time synched w/V only」:上述した「Different Effect Some−triggered over time synched w/V only」と同様であるが、この場合は、室内の全てのモバイル装置がハプティック効果再生を体験する。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。
「Single Effect Some−triggered over time separate from A/V」:上述した「Single Effect Some−triggered at once separate from A/V」と同様であるが、この場合はハプティック効果が経時的に観衆の中を移動することができる。例えば、「ハプティックウェーブ」は、群衆がスタジアム内で「ウェーブ」を作るために立ち上がる様子と同じように観衆の中を移動して行くことができるが、この場合は、全ての観衆メンバーがハプティックイベントを受信するわけではない。
「Single Effect All−triggered over time separate from A/V」:上述した「Single Effect Some−triggered over time separate from A/V」と同様であるが、この場合は全ての観衆メンバーがハプティックイベントを受信する。
「Different Effect Some−triggered over time separate from A/V」:上述した「Single Effect Some−triggered over time separate from A/V」と同様であるが、この場合は、ハプティック効果の強さのパラメータは、観衆の中のモバイル装置の位置に基づいて再生される。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。
「Different Effect All−triggered over time separate from A/V」:上述した「Single Effect Some−triggered over time separate from A/V」と同様であるが、この場合は、ブロードキャストの中で全てのモバイル装置にわたって、強さなどのハプティック効果パラメータは、観衆の中のモバイル装置の位置に応じて変化する場合がある。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。
上述したように、いくつかの実施形態は、ライブの音楽コンサートのような音声特定のイベントに応答してハプティック効果をブロードキャストする。この実施形態では、ライブパフォーマンスのハプティックイベントへのストリーミング変換を使用して、観衆に対して同期および非同期ハプティックイベントが実現される。例えば、同期ハプティック効果は、ブロードキャストされる音声/ハプティックイベントストレート変換によって生成され、全ての観衆メンバーが位置に関係なく同じハプティック効果を体感する。非同期実施形態は、観衆が体感するものが観衆の中の位置に関係付けられるサラウンドサウンドにリンクされる場合がある。この実施形態では、観衆の前方/中央/後方かつ左側/右側にブロードキャストされる内容は、特に、サウンド・システム・サラウンド・ダイナミクスによって演出されている内容によって決まる場合がある。
さらに、映画の実施形態およびコンサートの実施形態の両方において、音声要素および視覚要素をモバイル装置にブロードキャストすることも可能である。これらの追加の要素は、主要なメディアコンテンツと同期することができる、または非同期である場合がある。ネズミが観衆の中を走っている例では、ハプティック体験は、ユーザのモバイル装置からすぐに入ってくる局所的な視覚要素または音声要素によってさらに効果が高まる。
上述の実施形態の他に、ユーザは、ユーザのモバイル装置のソフトウェア設定を選択することで、例えば、ハプティック体験の強さのマグニチュードを高くするもしくは低くすることによって、または媒体の特定の要素を強調することによって、例えば、(1)低音域または高音域を変える、(2)映画の中の鼓動の例のように、周囲環境のコンテンツを増やす、(3)ハプティック体験と共にモバイル装置に追加の音声/映像ブロードキャストを追加することによって、ユーザ自身の体験をカスタマイズすることができる。さらに、いくつかの実施形態では、モバイル装置のユーザがハプティック効果を介してコンテンツの特定の要素のみを体感できるように、ブロードキャストがフィルタリングされる。 例えば、フィルタリングすることにより、ユーザは音楽ブロードキャストの中の特定の楽器のみ、または映像ブロードキャストの中の特定の視覚要素のみを体感することができる。
上述したように、実施形態は、一人または複数人の観衆にハプティック効果をブロードキャストする。実施形態は、「ハプティックトラック」を有する音声および/映像を含むマルチモーダル媒体と、再生媒体と観衆のモバイル装置との間の通信を含む、またはこれらによって機能する。実施形態は、マルチモーダルコンテンツとインターフェース接続するためにモバイル装置にアプリケーションレベルのサポートまたはソフトウェアスイッチを含んでもよい。これは、カスタムビデオプレイヤのようなアプリケーションまたはユーザ側でハプティック受信器の機能を果たすアプリケーションとしてもよい。ハプティックトラックからのハプティックイベントは、観衆のモバイル装置上でこの媒体に関連して再生される。観衆の全てのモバイル装置を位置マッピングすることにより、経時的に、同期的および非同期的なハプティック効果の再生が可能になり、「サラウンドハプティック」体験が作り出される。
本明細書では、複数の実施形態を具体的に例示および/または説明している。しかし、開示されている実施形態の修正および変更も、上述の教示の対象範囲に含まれ、本発明の精神および範囲から逸脱せずに添付の請求項の範囲内に含まれるものとする。

Claims (9)

  1. モバイル装置に対して通信接続された中央サーバで、グループイベント時に前記モバイル装置に対するハプティック効果を生成する方法であって、
    前記中央サーバにおいて、前記グループイベント時にブロードキャストされる第1のタイプのハプティック効果のアイデンティティを受信するステップであって、前記グループイベントは、音声/視覚イベントとハプティックトラックとを含み、前記ハプティックトラックは、ハプティックイベントを含む、ステップと、
    前記中央サーバにおいて、前記グループイベント時に前記第1のタイプのハプティック効果を生成する第1の組のモバイル装置を決定するステップであって、少なくとも前記第1の組のモバイル装置のそれぞれのモバイル装置の位置に基づいて決定される、ステップと、
    前記グループイベント時に前記第1のタイプのハプティック効果生成のためのデータを前記中央サーバから前記第1の組のモバイル装置にブロードキャストするステップであって、前記第1のタイプのハプティック効果は、1又は複数のハプティックイベントと、1又は複数の音声/視覚イベントによって同期される、ステップと
    を含む方法。
  2. 前記中央サーバにおいて、前記グループイベント時にハプティック効果ブロードキャストを受信するように構成される全てのモバイル装置を含む第2の組のモバイル装置の位置およびIDを決定するステップ
    をさらに含む、請求項1に記載の方法。
  3. 前記第1の組のモバイル装置は、前記第2の組のモバイル装置の一部を含む、請求項2に記載の方法。
  4. 前記第1のタイプのハプティック効果のアイデンティティは前記ハプティックトラックから受信される、請求項1に記載の方法。
  5. 前記中央サーバにおいて、前記グループイベント時にブロードキャストされる第2のタイプのハプティック効果のアイデンティティを受信するステップと、
    前記中央サーバにおいて、前記グループイベント時に前記第2のタイプのハプティック効果を生成する第3の組のモバイル装置を決定するステップと、
    前記グループイベント時に、前記第2のタイプのハプティック効果を前記中央サーバから前記第3の組のモバイル装置にブロードキャストするステップと、をさらに含み、
    前記第2のタイプのハプティック効果は、前記第1のタイプのハプティック効果とは異なるタイプである、請求項1に記載の方法。
  6. 前記第1のタイプのハプティック効果は、前記第2のタイプのハプティック効果と同時にブロードキャストされ、前記第1の組のモバイル装置は第2の組のモバイル装置と異なる、請求項5に記載の方法。
  7. 前記第1の組のモバイル装置を決定するステップは、前記第1の組のモバイル装置のそれぞれのモバイル装置を使用するユーザの属性に基づく、請求項1に記載の方法。
  8. 前記中央サーバのプロセッサ(22)によって実行される時に、前記プロセッサに請求項1から請求項7のいずれか一項に記載の方法の各ステップを実行させる命令を記憶するコンピュータ可読媒体(14)。
  9. 前記中央サーバのプロセッサ(22)と、
    前記プロセッサに結合される請求項8に記載のコンピュータ可読媒体(14)と
    を備えるグループイベント用ブロードキャストシステム。
JP2014047765A 2013-03-14 2014-03-11 グループイベント時のハプティック効果のブロードキャスト Active JP6426356B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/803,277 US9098984B2 (en) 2013-03-14 2013-03-14 Haptic effects broadcasting during a group event
US13/803,277 2013-03-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018199917A Division JP6576538B2 (ja) 2013-03-14 2018-10-24 グループイベント時のハプティック効果のブロードキャスト

Publications (2)

Publication Number Publication Date
JP2014179984A JP2014179984A (ja) 2014-09-25
JP6426356B2 true JP6426356B2 (ja) 2018-11-21

Family

ID=50423954

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014047765A Active JP6426356B2 (ja) 2013-03-14 2014-03-11 グループイベント時のハプティック効果のブロードキャスト
JP2018199917A Expired - Fee Related JP6576538B2 (ja) 2013-03-14 2018-10-24 グループイベント時のハプティック効果のブロードキャスト

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018199917A Expired - Fee Related JP6576538B2 (ja) 2013-03-14 2018-10-24 グループイベント時のハプティック効果のブロードキャスト

Country Status (5)

Country Link
US (3) US9098984B2 (ja)
EP (2) EP2779706B1 (ja)
JP (2) JP6426356B2 (ja)
KR (1) KR102220727B1 (ja)
CN (2) CN109582135B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11190874B2 (en) 2017-07-10 2021-11-30 Sony Corporation Information processing device and information processing method

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
JP2014183559A (ja) * 2013-03-21 2014-09-29 Casio Comput Co Ltd 報知制御装置、報知制御方法及びプログラム
WO2015009993A1 (en) * 2013-07-19 2015-01-22 El Media Holdings Usa, Llc Multiple contact and/or sense promotional systems and methods
US20150054727A1 (en) * 2013-08-23 2015-02-26 Immersion Corporation Haptically enabled viewing of sporting events
US10236760B2 (en) 2013-09-30 2019-03-19 Apple Inc. Magnetic actuators for haptic response
US20150293590A1 (en) * 2014-04-11 2015-10-15 Nokia Corporation Method, Apparatus, And Computer Program Product For Haptically Providing Information Via A Wearable Device
WO2015163842A1 (en) 2014-04-21 2015-10-29 Yknots Industries Llc Apportionment of forces for multi-touch input devices of electronic devices
TWI547827B (zh) * 2014-10-14 2016-09-01 拓連科技股份有限公司 群組事件管理方法及系統,及相關電腦程式產品
EP3037918A1 (en) * 2014-12-23 2016-06-29 Thomson Licensing System and method for localizing haptic effects on a body
JP2016197352A (ja) * 2015-04-03 2016-11-24 シャープ株式会社 身体装着型通信機器、身体装着型通信機器システム、および身体装着型通信機器の制御方法
JP2016197350A (ja) * 2015-04-03 2016-11-24 シャープ株式会社 情報伝送装置、行動体感システム、情報伝送方法および行動体感方法
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
US9691238B2 (en) * 2015-07-29 2017-06-27 Immersion Corporation Crowd-based haptics
WO2017044618A1 (en) 2015-09-08 2017-03-16 Apple Inc. Linear actuators for use in electronic devices
US9711015B2 (en) 2015-09-16 2017-07-18 Immersion Corporation Customizing haptic feedback in live events
US10039080B2 (en) * 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
DE112017001918T5 (de) * 2016-04-07 2018-12-20 Sony Corporation System, Endgerätevorrichtung, Verfahren und Aufzeichnungsmedium
US10741028B2 (en) * 2016-09-08 2020-08-11 Sony Corporation Output control device, output controlling method and program
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
JP2020502607A (ja) * 2016-09-14 2020-01-23 ソニックセンソリー、インコーポレイテッド 同期化を伴うマルチデバイスオーディオストリーミングシステム
WO2018061528A1 (ja) * 2016-09-30 2018-04-05 ソニー株式会社 コンテンツ提供システム、制御装置及び受信装置
KR102692701B1 (ko) * 2016-12-14 2024-08-08 이현세 집단 물리 상호작용을 위한 미들웨어 장치 및 시스템
WO2018110432A1 (ja) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、コントローラデバイスの制御方法、及びプログラム
WO2018110433A1 (ja) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、振動制御方法、及びプログラム
US10963055B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Vibration device and control system for presenting corrected vibration data
JP6955861B2 (ja) * 2016-12-16 2021-10-27 株式会社バンダイナムコエンターテインメント イベント制御システム及びプログラム
US10075251B2 (en) 2017-02-08 2018-09-11 Immersion Corporation Haptic broadcast with select haptic metadata based on haptic playback capability
WO2018193514A1 (ja) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11145172B2 (en) 2017-04-18 2021-10-12 Sony Interactive Entertainment Inc. Vibration control apparatus
JP6887011B2 (ja) 2017-04-19 2021-06-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP6757466B2 (ja) 2017-04-26 2020-09-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11228855B2 (en) 2017-07-10 2022-01-18 Sony Corporation Information processing device and information processing method
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
JP6771435B2 (ja) 2017-07-20 2020-10-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
JP6893561B2 (ja) 2017-08-24 2021-06-23 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2019038887A1 (ja) 2017-08-24 2019-02-28 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2019043781A1 (ja) 2017-08-29 2019-03-07 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置、振動制御方法、及びプログラム
US10360599B2 (en) * 2017-08-30 2019-07-23 Ncr Corporation Tracking of members within a group
KR102208810B1 (ko) * 2017-10-20 2021-01-28 주식회사 씨케이머티리얼즈랩 촉각 정보 제공 시스템
KR101899538B1 (ko) * 2017-11-13 2018-09-19 주식회사 씨케이머티리얼즈랩 햅틱 제어 신호 제공 장치 및 방법
US10917180B2 (en) 2018-07-24 2021-02-09 Comcast Cable Communications, Llc Controlling vibration output from a computing device
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
US11107286B2 (en) * 2019-09-25 2021-08-31 Disney Enterprises, Inc. Synchronized effects for multi-user mixed reality experiences
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3774358B2 (ja) * 2000-07-14 2006-05-10 株式会社東芝 携帯通信端末を利用したコンテンツサービス方法
WO2002068777A1 (en) * 2001-02-26 2002-09-06 Worldstage, Llc Integrated, adaptable theater, club and multiplex
JP2003036981A (ja) * 2001-07-24 2003-02-07 Komaden:Kk 携帯発光装置による演出用発光装置及び演出方法
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
JP4078404B2 (ja) * 2002-03-25 2008-04-23 株式会社フジタ 火災体験装置
JP4215256B2 (ja) * 2004-04-13 2009-01-28 日本電信電話株式会社 一体感を伝える通信システム
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
KR101515767B1 (ko) * 2006-12-27 2015-04-28 임머숀 코퍼레이션 진동 촉각 피드백을 통한 가상 디텐트
US8621348B2 (en) * 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
US8638219B2 (en) * 2007-06-18 2014-01-28 Qualcomm Incorporated Device and methods of providing radio data system information alerts
US7839269B2 (en) 2007-12-12 2010-11-23 Immersion Corporation Method and apparatus for distributing haptic synchronous signals
US8180296B2 (en) 2008-04-29 2012-05-15 Immersion Corporation Providing haptic effects to users in a short range wireless system
KR101498622B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
EP2323351A4 (en) * 2008-09-05 2015-07-08 Sk Telecom Co Ltd MOBILE COMMUNICATION TERMINAL PROVIDING VIBRATION INFORMATION AND ASSOCIATED METHOD
KR100989079B1 (ko) * 2008-10-28 2010-10-25 한국전자통신연구원 오케스트라 미디어 서비스 시스템 및 방법
US8362882B2 (en) * 2008-12-10 2013-01-29 Immersion Corporation Method and apparatus for providing Haptic feedback from Haptic textile
US9003447B2 (en) 2008-12-31 2015-04-07 Google Technology Holdings LLC System and method for customizing communication in a social television framework
US8108468B2 (en) * 2009-01-20 2012-01-31 Disney Enterprises, Inc. System and method for customized experiences in a shared online environment
JP5299018B2 (ja) * 2009-03-26 2013-09-25 ソニー株式会社 情報処理装置、コンテンツ処理方法及びプログラム
JP5163906B2 (ja) * 2009-03-30 2013-03-13 岩崎通信機株式会社 画像発信型サーバ装置
KR101553842B1 (ko) * 2009-04-21 2015-09-17 엘지전자 주식회사 멀티 햅틱 효과를 제공하는 휴대 단말기 및 그 제어방법
KR20110051044A (ko) * 2009-11-09 2011-05-17 광주과학기술원 사용자에게 3차원 객체의 촉감 정보를 제공하는 방법 및 장치
KR20110074333A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 휴대 단말의 진동 발생 방법 및 장치
US9436280B2 (en) * 2010-01-07 2016-09-06 Qualcomm Incorporated Simulation of three-dimensional touch sensation using haptics
KR101746453B1 (ko) * 2010-04-12 2017-06-13 삼성전자주식회사 실감 효과 처리 시스템 및 방법
US10191546B2 (en) * 2011-06-20 2019-01-29 Immersion Corporation Haptic theme framework
WO2013018310A1 (ja) * 2011-07-29 2013-02-07 パナソニック株式会社 電子機器
EP2629178B1 (en) * 2012-02-15 2018-01-10 Immersion Corporation High definition haptic effects generation using primitives
US9715276B2 (en) * 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US9368005B2 (en) * 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11190874B2 (en) 2017-07-10 2021-11-30 Sony Corporation Information processing device and information processing method

Also Published As

Publication number Publication date
US9349264B2 (en) 2016-05-24
CN109582135A (zh) 2019-04-05
US20150325090A1 (en) 2015-11-12
CN109582135B (zh) 2021-02-12
US20160234662A1 (en) 2016-08-11
JP6576538B2 (ja) 2019-09-18
EP3270614B1 (en) 2020-02-26
US9098984B2 (en) 2015-08-04
JP2019017113A (ja) 2019-01-31
KR20140113390A (ko) 2014-09-24
US20140266644A1 (en) 2014-09-18
KR102220727B1 (ko) 2021-02-26
CN104049735B (zh) 2018-12-07
EP3270614A1 (en) 2018-01-17
US9510164B2 (en) 2016-11-29
EP2779706B1 (en) 2017-10-18
JP2014179984A (ja) 2014-09-25
CN104049735A (zh) 2014-09-17
EP2779706A1 (en) 2014-09-17

Similar Documents

Publication Publication Date Title
JP6576538B2 (ja) グループイベント時のハプティック効果のブロードキャスト
US9906885B2 (en) Methods and systems for inserting virtual sounds into an environment
US10445941B2 (en) Interactive mixed reality system for a real-world event
CN108141696B (zh) 用于空间音频调节的系统和方法
KR101490725B1 (ko) 비디오 디스플레이 장치, 오디오-비디오 시스템, 음향 재생을 위한 방법 및 로컬라이즈된 지각적 오디오를 위한 음향 재생 시스템
JP2017033536A (ja) 観衆ベースのハプティック
JP2015041385A (ja) スポーツイベントのハプティック可能な閲覧
US9276541B1 (en) Event-based presentation and processing of content
CN105764581A (zh) 可变音频参数设置
WO2019093155A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN110677781B (zh) 利用编码光线引导扬声器阵列和麦克风阵列的系统和方法
JP6218197B1 (ja) 模擬地震被害の実現象データ生成システム、模擬地震被害の実現象データ生成方法
JP6523038B2 (ja) 感覚提示装置
US11696085B2 (en) Apparatus, method and computer program for providing notifications
WO2023281820A1 (ja) 情報処理装置、情報処理方法、記憶媒体
US20240107257A1 (en) Relocation of sound components in spatial audio content
JP2023181567A (ja) 情報処理装置、情報処理方法、情報処理システム、及びデータ生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181025

R150 Certificate of patent or registration of utility model

Ref document number: 6426356

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250