JP6411029B2 - 触感記録および再生 - Google Patents

触感記録および再生 Download PDF

Info

Publication number
JP6411029B2
JP6411029B2 JP2014007521A JP2014007521A JP6411029B2 JP 6411029 B2 JP6411029 B2 JP 6411029B2 JP 2014007521 A JP2014007521 A JP 2014007521A JP 2014007521 A JP2014007521 A JP 2014007521A JP 6411029 B2 JP6411029 B2 JP 6411029B2
Authority
JP
Japan
Prior art keywords
video
haptic
haptic output
audio
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014007521A
Other languages
English (en)
Other versions
JP2014160529A (ja
Inventor
ラクロワ，ロバート
マヌエル クルス‐ヘルナンデス，ファン
マヌエル クルス‐ヘルナンデス，ファン
サボウン，ジャマル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2014160529A publication Critical patent/JP2014160529A/ja
Application granted granted Critical
Publication of JP6411029B2 publication Critical patent/JP6411029B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、触感記録（haptic sensation recording）および触感再生（haptic sensation playback）およびを提供するためのシステムおよび方法に関する。
電子装置は、イベントの視覚的側面および音声的側面の両方を取り込み得るビデオをユーザが記録することを可能にする。電子装置は、該電子装置で再生されているビデオをユーザが見ている間に触感を提供するようにプログラムされることもできる。触感は、ビデオが再生されるときに該ビデオと関連してユーザが触覚効果を体験できるように前もってプログラムされ、ユーザのためにより没入的な体験を提供する。従来の装置は、ビデオが記録された後に触覚効果が決定されることを可能にするに過ぎない。現在、触覚効果および感覚を生成することは、リアルタイムでは行われない労働集約的プロセスである。
ビデオを見て触感再生を感じるユーザによりリアルで没入的な体験を提供するためにイベントのリアルタイム側面が触感としてビデオと共に再生され得るように、イベントのビデオを記録すると同時に該イベントのリアルタイム側面を記録できることが望ましい。シーン中の物体からのリアルタイムデータを記録し、その体験を触覚的に再生することは、プログラミングツールでオフラインで芸術的編集をし、触覚効果をビデオと同期させようとするために同期コードを書き込むことと比べると、体験を“取り込む”より直観的な方法である。そのようなコンテンツの生成を簡単にすることが望ましい。
本発明の一側面に従って、ビデオデータを記録するように構成されたビデオレコーダと、物体の運動を感知して該物体の該運動を表すセンサデータを出力するように構成されたセンサと、該センサデータを触覚出力信号に変換するように構成された変換器と、該触覚出力信号に基づいてユーザに対して触覚効果を生成するように構成された触覚出力装置と、ビデオを表示するように構成されたディスプレイと、該触覚効果が該ディスプレイで表示される該ビデオと同期させられるように、該ビデオデータと該触覚出力信号とを同期させ、該ビデオデータを該ディスプレイへ出力するとともに該触覚出力信号を該触覚出力装置へ出力するように構成されたプロセッサとを含むシステムが提供される。
一実施態様では、該システムは、オーディオデータを記録するように構成されたオーディオレコーダと、音声を射出するように構成されたスピーカとをも含む。該プロセッサは、該音声が該ディスプレイで表示される該ビデオおよび該触覚出力装置により生成される該触覚効果と同期させられるように、該オーディオデータを受け取り、該オーディオデータを該ビデオデータおよび該触覚出力信号と同期させ、該オーディオデータを該スピーカへ出力するようにさらに構成され得る。
一実施態様では、該ビデオレコーダ、該オーディオレコーダ、および該センサは同じ電子装置の部分である。一実施態様では、該触覚出力装置、該ディスプレイ、および該スピーカは同じ電子装置の部分である。一実施態様では、該ビデオレコーダ、オーディオレコーダ、該センサ、該触覚出力装置、該ディスプレイ、該スピーカ、および該プロセッサは同じ電子装置の部分である。一実施態様では、該触覚出力装置および該ディスプレイは同じ電子装置の部分である。
一実施態様では、該プロセッサは、該変換器を含み、該ビデオデータおよび該触覚出力信号を同期させるように構成されたデコーダをさらに含む。
一実施態様では、該センサは、加速度計、ジャイロスコープ、および接点圧力センサから成るグループから選択される。
一実施態様では、該システムは複数のセンサを含み、該複数のセンサは加速度計、ジャイロスコープ、および接点圧力センサから成るグループから選択される。
本発明の一側面に従って、ビデオを表示するように構成されたディスプレイと、ビデオデータを記録するように構成されたビデオレコーダと、物体の運動を感知して該物体の該運動を表すセンサデータを出力するように構成されたセンサと、該センサデータを触覚出力信号に変換するように構成された変換器と、電子ハンドヘルド装置とを含むシステムが提供される。該電子ハンドヘルド装置は、該触覚出力信号に基づいて該ハンドヘルド装置のユーザに対して触覚効果を生成するように構成された触覚出力装置と、該触覚効果が該ディスプレイで表示される該ビデオと同期させられるように、該ビデオデータおよび該触覚出力信号を同期させて該ビデオデータを該ディスプレイへ出力するとともに該触覚出力信号を該触覚出力装置へ出力するように構成されたプロセッサとを含む。
本発明の一側面に従って、ビデオレコーダでビデオを記録することと、該ビデオで記録されている物体の運動をセンサで感知することと、該感知された運動を触覚出力信号に変換することと、該ビデオおよび該触覚出力信号を同期させることとを含む方法が提供される。
一実施態様では、該方法は、該触覚出力信号に基づいて少なくとも１つの触覚効果を生成することと、該触覚効果と同期して該ビデオをディスプレイで表示することとを含む。
一実施態様では、該方法は、オーディオをオーディオレコーダで記録することと、該オーディオを該ビデオおよび該触覚出力信号と同期させることとを含む。
一実施態様では、該方法は、該触覚出力信号に基づいて触覚効果を生成することと、該ビデオをディスプレイで表示することと、該触覚効果が該ディスプレイで表示される該ビデオおよびスピーカにより射出されるオーディオと同期させられるように該オーディオを該スピーカで射出することとを含む。
以下の図の構成要素は、本開示の一般的原理を強調するために描かれていて、必ずしも等縮尺で描かれてはいない。対応する構成要素を示す参照記号は、一貫性および明瞭性を目的として図面全体にわたって必要に応じて繰り返されている。
触覚効果を記録し提供するためのシステムの実施態様を示す。
図１のシステムの部分として使用され得るウェアラブルセンサの実施態様を示す。
図２のセンサにより測定され得る時間の関数としての垂直加速度を表す信号を示す。
図２のセンサにより測定され得る時間の関数としての加速度を表す信号を示す。
本発明の一実施態様に従う方法の流れ図である。
図１は、本発明の一実施態様に従うシステム１００を示す。図示されているように、システム１００は、物体の運動を感知して該感知された運動をセンサデータに変換するように構成された１つ以上のセンサ１０２と、イメージを取り込んで記録するように構成されたビデオレコーダ１０４と、音声を取り込んで記録するように構成されたオーディオレコーダ１０６とを含む。一実施態様では、１つまたは複数のセンサ１０２と、ビデオレコーダ１０４と、オーディオレコーダ１０６とは同じ電子装置の部分であり得る。一実施態様では、ビデオレコーダ１０４とオーディオレコーダ１０６とは同じ電子装置の部分であり得、１つまたは複数のセンサ１０２はビデオレコーダ１０４とオーディオレコーダ１０６とを含む電子装置とは別個であり得る。一実施態様では、１つまたは複数のセンサ１０２と、ビデオレコーダ１０４と、オーディオレコーダ１０６とは別個のスタンドアロン装置であるかあるいは別個のスタンドアロン装置の部分であり得る。
プロセッサ１１０は、以下でさらに詳しく論じられるように、１つまたは複数のセンサ１０２、ビデオレコーダ１０４、およびオーディオレコーダ１０６により出力された信号およびデータを処理するように構成される。システム１００は、入力変換器１１２と、プロセッサ１１０の部分であり得る出力変換器１１４と、同じくプロセッサ１１０の部分であり得るデコーダ１１６とをも含む。入力変換器１１２、出力変換器１１４、およびデコーダ１１６の側面は、以下でさらに詳しく論じられる。
図１に示されているように、システム１００は、該システムのユーザに対して触覚効果を出力するように構成された触覚出力装置１１８と、ビデオレコーダ１０４により取り込まれたイメージなどのイメージを表示するように構成されたディスプレイ１２０と、オーディオレコーダ１０６により取り込まれた音声であり得る音声を出力するように構成されたスピーカ１２２とをも含む。以下でさらに詳しく論じられるように、触覚出力装置１１８、ディスプレイ１２０、およびスピーカ１２２は電子再生装置１３０の部分であり得る。一実施態様では、触覚出力装置１１８、ディスプレイ１２０、およびスピーカ１２２は、例えば無線接続を通して互いに通信するように構成された別々の装置であり得る。一実施態様では、触覚出力装置１１８はウェアラブル装置の部分であり得、ディスプレイ１２０はテレビジョンの部分であり得、スピーカ１２２はディスプレイ１２０とは別個の無線スピーカであり得る。
触覚出力装置１１８は、例えば、偏心質量がモータにより動かされる偏心回転質量（Ｅｃｃｅｎｔｒｉｃ Ｒｏｔａｔｉｎｇ Ｍａｓｓ（“ＥＲＭ”））、ばねに取り付けられた質量が前後に駆動される線形共振アクチュエータ（Ｌｉｎｅａｒ Ｒｅｓｏｎａｎｔ Ａｃｔｕａｔｏｒ（“ＬＲＡ”））などの電磁アクチュエータ、圧電、電気活性ポリマもしくは形状記憶合金などの“スマート材料”、マクロコンポジットファイバアクチュエータ、静電アクチュエータ、電気触覚アクチュエータ、および／または触覚（例えば、振動触覚）フィードバックなどの物理的フィードバックを提供する他のタイプのアクチュエータ、などのアクチュエータを含むことができる。触覚出力装置１１８は、静電摩擦（ｅｌｅｃｔｒｏｓｔａｔｉｃ ｆｒｉｃｔｉｏｎ（ＥＳＦ））、超音波表面摩擦（ｕｌｔｒａｓｏｎｉｃ ｓｕｒｆａｃｅ ｆｒｉｃｔｉｏｎ（ＵＳＦ））を用いるもの、あるいは超音波触覚トランスデューサで音響放射圧力を誘導するもの、あるいは触覚基板および可撓性もしくは変形可能な表面を用いるもの、あるいはエアージェットを用いて空気のパフなどの射出される触覚出力を提供するものなど、非機械式もしくは非振動式装置を含むことができる。
電子メモリ１２４は、１つまたは複数のセンサ１０２により感知されたデータを記憶するために使用され得、電子メモリ１２６はビデオレコーダ１０４により記録されたデータを記憶するために使用され得、電子メモリ１２８はオーディオレコーダ１０６により記録されたデータを記憶するために使用され得る。メモリ１２４、１２６、１２８は１つ以上の内部に固定されたストレージユニット、取り外し可能なストレージユニット、および／または遠隔アクセス可能なストレージユニットを含み得る。それらの種々のストレージユニットは、揮発性メモリおよび不揮発性メモリの任意の組み合わせを含み得る。該ストレージユニットは、情報、データ、命令、ソフトウェアコードなどの任意の組み合わせを記憶するように構成され得る。１つまたは複数のセンサ１０２、ビデオレコーダ１０４、およびオーディオレコーダ１０６が同じ電子装置の部分である実施態様においては、メモリ１２４、１２６、１２８は同じ場所に配置され得る。ビデオレコーダ１０４およびオーディオレコーダ１０６が同じ電子装置の部分である実施態様においては、メモリ１２６、１２８は同じ場所に配置され得る。
一実施態様では、ユーザは、ビデオレコーダ１０４および／またはオーディオレコーダ１０６を用いてシーンまたはイベントのビデオおよび／またはオーディオを記録することができる。一実施態様では、ビデオレコーダ１０４およびオーディオレコーダ１０６は、ビデオキャムコーダ、スマートフォンなどの、同じ記録装置の部分であり得る。記録されるビデオおよびオーディオは、上で論じられたように電子メモリ１２６に格納され得る。一実施態様では、１つまたは複数のセンサ１０２は、ビデオで記録される物体などの、関心の対象である物体の上に置かれ得る。
上で論じられたように、１つまたは複数のセンサ１０２により生成されたデータは電子メモリ１２４に格納され得る。さらに、図１に示されているように、１つまたは複数のセンサ１０２により生成されたデータは、電子メモリ１２４に格納される前に入力変換器１１２によって変換され得る。センサデータの変換はオプションのステップと考えられ、該変換が必要か否かは、使用されるセンサの性質に依存し得る。センサ１０２の実施態様の詳細が以下でさらに詳しく論じられる。
ビデオ、すなわちメディアファイル、を再生するように構成されたメディアプレーヤの部分であり得るデコーダ１１６は、１つまたは複数のセンサ１０２により生成されたデータを電子メモリ１２４から読み出し、該一時データを、オーディオデータおよび記録されて電子メモリ１２６に格納されたビデオデータと関連付けるように構成される。メディア再生中、デコーダ１１６は、センサデータを、該センサデータを触覚出力信号または触感コマンドに変換するように構成された出力変換器１１４を通過させることができ、それらは振動、表面摩擦変調、皮膚つまみ（ｓｋｉｎ ｐｉｎｃｈ）、皮膚圧搾（ｓｋｉｎ ｓｑｕｅｅｚｅ）などを含むがこれらに限定はされない。デコーダ１１６は、再生中に触覚効果がビデオおよびオーディオと同期させられるように、センサデータから変換された触覚出力信号をビデオデータおよびオーディオデータと同期させるように構成され得る。一実施態様では、該同期は、再生中に時間がビデオデータ、オーディオデータ、および触覚効果において同じであることを保証することによって完成され得る。
プロセッサ１１０は、システム１００の動作および機能を管理あるいは制御するための汎用もしくは特定目的プロセッサであり得る。例えば、プロセッサ１１０は、触覚効果を提供するために触覚出力装置１１８への出力信号を制御する特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ（“ＡＳＩＣ”））として特に設計され得る。プロセッサ１１０は、所定ファクタに基づいて、どんな触覚効果が生成されるべきかを決定し、該触覚効果が生成される順序を決定し、該触覚効果の大きさ、頻度、持続時間、および／または他のパラメータを決定するように構成され得る。プロセッサ１１０は、特定の触覚効果を提供するために触覚出力装置１１８を駆動するために使用され得るストリーミングコマンドを提供するようにも構成され得る。或る実施態様では、プロセッサ１１０は、システム１００内で各々一定の機能を実行するように構成された複数のプロセッサを実際に含むことができる。プロセッサ１１０は、触覚効果プロファイル、触覚出力装置１１８がどのように駆動されるべきかの命令、および／または触覚効果を生成するための他の情報を含み得る１つ以上のストレージ装置を含むメモリを含むこともできる。図１に示されているシステム１００全体が単一の電子装置の部分である実施態様においては、メモリ１２４、１２６はプロセッサ１１０の部分であり得る。
次に、触覚出力装置１１８を含む電子再生装置１３０を通して該メディアを体験する一人または複数の人が、再生されているイベントをより十分に体験し得るように、触覚出力信号はプロセッサ１１０から、例えばプロセッサ１１０のデコーダ１１６から、触覚出力装置１１８へ送られることができる。電子再生装置１３０は、携帯電話、ゲーム装置、パーソナルデジタルアシスタント（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ（“ＰＤＡ”））、ポータブル電子メール装置、ポータブルインターネットアクセス装置、計算機、タブレットなどの電子ハンドヘルド装置などの、任意の装置であり得る。電子再生装置１３０は、該メディアを表示する高精細度ディスプレイであり得るディスプレイ１２０を伴うハンドヘルド装置、触感あるいは触覚効果を生じさせることのできるハンドヘルドの物体、あるいはユーザの体に取り付けられ、ユーザの体にもたれ、あるいは別の方法で触感および触覚効果をユーザに伝えることのできる物体を含むことができるけれども、これらに限定はされない。
一実施態様では、プロセッサ１１０と触覚出力装置１１８とは、電話機またはタブレットであり得る電子ハンドヘルド装置の部分であり得、該電子ハンドヘルド装置は、テレビジョンであり得る別のディスプレイ１２０へビデオデータを出力するように構成される。
一実施態様では、システム１００は、センサ１０２のためのジャイロスコープ、コンパス、および３軸加速度センサ、およびビデオレコーダ１０４のための内蔵カメラを有する携帯電話を含むことができる。この場合、データ記録センサ１０２と、ビデオレコーダ１０４と、オーディオレコーダ１０６と、デコーダ１１６および出力変換器１１４を含むプロセッサ１１０と、触覚出力装置１１８と、ディスプレイ１２０と、スピーカ１２２と、入力変換器１１２と、電子メモリ１２４、１２６とを含む、図１に示されているコンポーネントの全ては自己内蔵型であり得、システム１００全体が、人に、または関心の対象である動作を行う装置に付けられることができる。
一実施態様では、関心の対象である動作を行うヘルメットまたは装置に第１人透視ビデオカメラが取り付けられ得、該ビデオカメラは、加速度計、全地球測位システム（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ（“ＧＰＳ”））、およびジャイロスコープなどの幾つかのデータセンサ１０２、必要に応じて入力変換器１１２、電子メモリ１２４、ビデオレコーダ１０４、オーディオレコーダ１０６、ならびに電子メモリ１２６を組み込むことができる。デコーダ１１６および出力変換器１１４を含むプロセッサ１１０、触覚出力装置１１８、ディスプレイ１２０、ならびにスピーカ１２２などの、システム１００の残りの部分は、上で論じられたように、電子再生装置１３０などの別の再生装置に置かれることができる。
一実施態様では、加速度計、ＧＰＳなどの１つ以上のデータセンサを含み得る１つまたは複数のセンサ１０２は、人に、あるいは関心の対象である動作を行う装置に、付けられることができる。１つまたは複数のセンサ１０２は、センサボックスに、あるいは該１つまたは複数のセンサ１０２を保護するように構成されている他のなんらかの容器に内蔵されることができる。該センサボックスは、内蔵された入力変換器１１２および電子メモリ１２４などのデータ記録手段を持つことができ、あるいは、該動作中にデータを記録するために二次的装置（モバイル装置など）へのデータ接続に依拠することができる。
一実施態様では、１つまたは複数のセンサ１０２はビデオの主題である人に取り付けられることができ、ビデオレコーダ１０４と、随意にオーディオレコーダ１０６とは他の人によって操作されることができる。例えば、ビデオの主題である人はスノーボーダーであり得、少なくとも１つのセンサ１０２は該スノーボーダーのブーツに、および／または該スノーボーダーのスノーボードなどの他の衣類または装置に、取り付けられることができる。１つまたは複数のセンサ１０２は、該スノーボードが経験するｇフォース（g-force）加速度を提供するように構成された加速度計、該スノーボードの向きを提供するように構成されたジャイロスコープセンサ、および該スノーボーダーのブーツにより該スノーボードに加えられる荷重を提供するように構成された接点圧力センサを含むことができる。一実施態様では、雪の上を進むスノーボードの音が取り込まれ得るように、オーディオレコーダ１０６は、スノーボーダーのヘルメットなどの、衣類または装置に取り付けられることができる。
一実施態様では、加速度データ、ジャイロスコープデータ、および接点圧力データのストリームがビデオおよびオーディオデータと一緒に記録される記録セッションが開始されることができる。ビデオレコーダ１０４および／またはオーディオレコーダ１０６はスノーボーダーのヘルメットに取り付けられることができる。一実施態様では、ビデオレコーダ１０４および／またはオーディオレコーダ１０６は、スノーボード動作が行われるスノーパークのハーフパイプのいろいろな位置に取り付けられたビデオカメラのアレイであり得る。一実施態様では、ビデオレコーダ１０４はスノーパークのハーフパイプのいろいろな位置に置かれたビデオカメラのアレイであることができ、オーディオレコーダ１０６は、上記のように、スノーボーダーの衣類または装置に取り付けられることができる。再生中に電子再生装置１３０のユーザによって最適の触覚／音声／視覚体験が実現され得るように、１つまたは複数のセンサ１０２、ビデオレコーダ１０４、およびオーディオレコーダ１０６の位置の他の組み合わせが使用されることができるとともに、記録される動作に依拠することができる。これらのデータストリームの全ての同期は記録ソフトウェアにより管理されることができ、該ソフトウェアは図１に示されているシステム１００のプロセッサ１１０に存在することができる。
一実施態様では、ビデオおよびオーディオ以外のデータを単一のファイルコンテナに蓄積することに備えたＭＰＥＧ−４などのフレキシブルなコンテナフォーマットが使用されることができる。そのような実施態様では、記録時にセンサデータをＭＰＥＧ−４ファイルに入れるために特別のエンコーダのセットが必要とされることがある。一実施態様では、非オーディオおよびビデオ（Ａ／Ｖ）センサデータを別のファイルに蓄積するために特別のソフトウェアが書かれることができるが、再生時に適切な同期化が行われるように該センサデータ内に特別のマーカを伴う。この実施態様では、設計された記録フォーマットの制限事項に従うようにセンサデータを整形する以外には非常にわずかな入力変換が加えられるだけでよいであろう。正確なフォーマットは作成者により決定され得る。スノーボーダーが自分の動作を終えると、記録は止められてよい。ＭＰＥＧ−４ファイルは閉じられることができ、センサデータの全ては該ＭＰＥＧ−４ファイル内に存在するであろう。
一実施態様では、再生装置は、図１の電子再生装置１３０であることができ、ディスプレイ１２０、スピーカ１２２、および触覚効果を提供するための触覚出力装置１１８としての振動装置を有する携帯電話またはタブレットの形であることができる。一実施態様では、再生装置は、ディスプレイ１２０およびスピーカ１２２を有するテレビジョンに接続されるとともに、触覚効果を提供する触覚出力装置１１８を含むゲームパッドなどのゲーム周辺装置にも接続されるゲームコンソールであり得る。
後に、あるいは該動作が行われると同時に、一人以上の視聴者がその動作を体験することに興味を持つことがある。該動作を再生するために、該視聴者は該演技者の動作を体験する目的で自分たちの再生装置で適切な再生ソフトウェアを起動することができる。一実施態様では、該再生ソフトウェアは、デコーダ１１６により実行されるセンサデコーディング方式を組み込んだプレーヤソフトウェアアプリケーションと、該センサデータを該再生装置の触覚出力装置１１８に適する触覚出力信号に変換するために出力変換器１１４により実行され得る出力変換ソフトウェアとを含むことができる。一実施態様では、プレーヤソフトウェアアプリケーションは該センサデコーディング方式を組み込むことができる。該プレーヤソフトウェアは該再生装置に常駐するかあるいは予めインストールされる該出力変換ソフトウェアに依拠することができ、そのような出力変換ソフトウェアは、該センサデータを再生装置の触覚出力装置１１８に適する触覚出力信号に変換することができる。換言すれば、出力変換器１１４および／またはデコーダ１１６は再生装置に置かれることができる。
一実施態様では、プレーヤソフトウェアアプリケーションは、メディア再生を実行するために再生装置のオペレーティングシステムソフトウェアに依拠することができ、それはセンサデコーディング方式を組み込んでいる。該オペレーティングシステムソフトウェアは再生装置に常駐しているかあるいは予めインストールされる出力変換ソフトウェアに依拠することができ、そのような出力変換ソフトウェアは、センサデータを再生装置の触覚出力装置１１８に適する触覚出力信号に変換する。そのとき、該視聴者は、該演技の視聴に関連付けられている触感を体験することができ、そのような触感は該出力変換ソフトウェアにより生成される。
一実施態様では、該出力変換ソフトウェアはセンサデータのうちのあるものを含むことができ、他のセンサデータは無視される。例えば、ジャイロスコープデータは含まれることができるけれども、接点圧力センサデータは無視され得る。加速度データの絶対値は，Ｘ−Ｙ−Ｚ加速度成分のベクトル絶対値を計算することによって計算され得る。この加速度絶対値信号は、その後、２０−２００Ｈｚの範囲内の加速度絶対値信号だけが出力されて、その他の周波数内容が取り除かれるようにバンドパスフィルタリングされることができる。次に、フィルタリング済み加速度信号は出力絶対値を＋６Ｇと−６Ｇとの間に穏やかにクリップするソフトニー圧縮アルゴリズムに通されることができ、次にすべての負信号がゼロにされ／無視され、その結果としての圧縮済みの片側出力信号は、触覚出力装置により提供される振動の大きさを０−１００％振動の間で制御するために使用されることができる。このようにして、視聴者は、演技者のスノーボードにより感じられる加速度の表現を感じることができる。
一実施態様では、加速度データ、ジャイロスコープデータ、および接点圧力センサデータは次のようして組み合わされて触覚出力信号とされることができる。接点圧力が低いときには、スノーボーダーはジャンプしていると想定されることができ、従ってすべての触覚出力はゼロにされる。接点圧力が有意であるときには、該接点圧力に加速度絶対値が掛けられることができる。次に、“動作強度”信号を得るためにこの出力に方向変化信号（ジャイロスコープ信号から得られた進行方向の一次導関数）が掛けられることができる。次に、この信号は、スノーボード動作中に演技者が体験する感覚の範囲の穏当な表現を得るように、フィルタリングされて圧縮されることができ、該信号は再生装置の触覚出力装置１１８に加えられることができる。
一実施態様では、接点圧力が低いときには、スノーボーダーはジャンプしていると想定されることができ、従ってすべての触覚出力はゼロにされる。接点圧力が有意であるときには、加速度絶対値は例えば１００−２００Ｈｚの範囲でバンドパスフィルタリングされることができ、その出力範囲はハードニー圧縮器を用いて高度に圧縮されることができる。この信号は再生装置の触覚出力装置１１８に加えられることができる。
触覚出力装置１１８をつかむかあるいは別の方法で該触覚出力装置と接触している視聴者は、そのとき、出力変換器１１４により生成されて触覚出力装置１１８により出力される感覚を感じることができる。
（実施例）
同時に取得されたビデオおよびセンサの記録を用いて十分な触覚効果／感覚が生成された。３軸加速度計がセンサ１０２のために使用され、図２に示されているようにストラップオンにより第１スノーボーダーのブーツに固定された。該３軸加速度計は、図２に示されているように、Ｘ軸がだいたい上から下を向くように整列され、Ｙ軸がだいたい後ろから前へ向くように整列され、Ｚ軸がだいたい右から左へ向くように整列されるように、向けられた。ビデオキャムコーダがビデオレコーダ１０４およびオーディオレコーダ１０６のために使用されて第２のスノーボーダーにより操作され、この第２のスノーボーダーは、第１のスノーボーダーがセンサデータを生成していたときにビデオおよびオーディオデータを生成するために第１のスノーボーダーを追っていた。
該データの全てが記録された後、センサ１０２（加速度計）からの登録されたデータは、ビデオレコーダ１０４およびオーディオレコーダ１０６により記録されたビデオイメージおよびオーディオデータと同期化された。第１スノーボーダーは、降下を開始する前に４回ジャンプするように求められた。その４回のジャンプのタイミングは、ビデオレコーダ１０４からのビデオフィードを１イメージずつ解析することによって検出された。さらに、該ジャンプのタイミングは、図３に示されているように、４つの連続するピークに変換されたジャンプとして、センサ１０２からの垂直加速度信号Ａxを解析することによって検出された。加速度計の読みにはタイムスタンプが付けられていたので、加速度が抽出されてビデオ全体と同期化されることができた。
データを同期化させたのち、空中でのジャンプの後の、あるいは何らかの物体（例えば、レール）上でのホッピングの間の着地の瞬間に関連する“バンプ”と称される特定のイベントが自動的に検出された。これらのバンプは、着地の方向に関連する加速度信号中の突然のピークを生じさせることを特徴とする。スノーボーディングにおいては、着地は垂直であったり‘傾いて’いたりすることがあるので、各加速度サンプルについてベクトルＡx＋Ａyの絶対値が計算された。該絶対値が一定スレショルドより大きくなるごとに、該サンプルはバンプを表すと見なされた。検出された各バンプについて、バンプ効果が、その発生の瞬間における触覚効果として触覚トラック中に導入された。該効果の強さは、バンプ絶対値に比例した。
該スノーボーダーが滑っている表面のテクスチャが取り込まれて、次のアプローチによって該触覚トラックにおいて表された。図４において４０１、４０２，４０３でそれぞれ表される３つの加速度信号Ａx、Ａy、およびＡzの各々は、高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ（“ＦＦＴ”））によって時間領域から周波数領域に変換された。その後、その３つの周波数領域信号は、単一の信号Ａtransfを形成するためにベクトルとして加え合わされた。この後者の信号は、最後に、図４において４０４で表されるように、逆に時間領域へＡtrans信号に変換された。３つの信号を１つの信号に変換するこの手法は当該技術分野で知られているので、該変換の具体的詳細は本書においては与えられない。
単一のＡtrans信号４０４は、次にその元のサンプリングレート（すなわち、４００Ｈｚ）から８０００Ｈｚまで線形補間によりアップサンプリングされた。この補間された信号において、バンプに対応する値の全ては０に固定された。次に、その結果としての信号は、１２０Ｈｚと２７０Ｈｚとの間のランダムな周波数を有する正弦波を掛けられ、次に、正規化されて、それゆえに該テクスチャおよびバンプ効果を包含することになる該触覚トラックに直接コピーされた。該触覚トラックは、次に、再生装置で触覚出力装置１１８によって再生されることができた。一実施態様では、該加速度信号がアンダーサンプリング（例えば１００Ｈｚ未満のサンプリングレートで）されるとき、変換後の信号の８０００Ｈｚへのアップサンプリングは、補間の代わりに、捕獲されたデータサンプル間にホワイトベイジアンノイズを加えることによって行われ得る。
一実施態様では、スノーボーダーの“スウィング”、すなわち、左から右への方向変化あるいは“ｓ−カーブ”、が検出されることができて、関連する触覚効果が生成されて該テクスチャおよびバンプに加えられることができる。一実施態様では、スノーボーダーではなくてスノーボード自体の加速度が使用され得る。一実施態様では、加速度信号は、Ａtransf信号に加えられる前に周波数領域で１５０Ｈｚシフトされ得る。
図５は、本書に記載された本発明の実施態様に従う方法５００を示す。方法５００は５０２から始まる。５０４で、上記のビデオレコーダ１０４などのビデオレコーダでビデオが記録され、該ビデオレコーダにより記録されている物体の運動が、上記のセンサ１０２などのセンサで感知される。５０６で、該センサにより感知された運動は触覚出力信号に変換され、５０８で、該ビデオおよび該触覚出力信号は同期化される。該方法は５１２で終わることができる。一実施態様では、該方法は、さらに、例えば上記の触覚出力装置１１８で該触覚出力信号に基づいて触覚効果を生成すること、ならびに、上記の電子再生装置１３０などの再生装置での再生中にディスプレイで表示される該ビデオと該触覚効果が同期させられるように、該ビデオを上記のディスプレイ１２０などのディスプレイで表示することを含むことができる。一実施態様では、オーディオも、記録され、同期化され、該再生装置での再生中に射出されることができる。
本書に記載された本発明の実施態様は、コンテンツクリエータがビデオおよび／またはオーディオなどのメディアおよび他のデータを記録し、もしかするとそれを変換し、該コンテンツクリエータにより体験され記録された該メディアと関連付けられた触感を伝えることを可能にする。触覚出力を生成するための実世界センサデータを記録し変換することは、触感コンテンツを生成するよりコスト効率の良い方法であり（触感信号の手作りによる合成と比べたとき）、適切な出力変換で文脈上適切な“現実的”感覚を生じさせることができる。
本書に記載された実施態様は、幾つかの可能な実施形態および例を代表するものであって、必ずしも本開示を特定の実施態様に限定するように意図されてはいない。例えば、上記の実施態様においては、共通の機能は、代表的なビデオおよびオーディオフィード以外のセンサデータの収集および記録のうちの１つである。当業者に理解されるであろうように、これらの実施態様に種々の改変を加えることができる。そのような改変は全て本開示の趣旨及び範囲の中に含まれ、添付されている請求項により保護されるべく意図されている。

Claims (16)

  1. ビデオデータを記録するように構成されたビデオレコーダと、
    前記ビデオデータに記録されている物体又は人に取り付けられ、該物体又は人の運動を感知して該物体又は人の前記運動を表すセンサデータを出力するように構成されたセンサと、
    前記センサデータを触覚出力信号に変換するように構成された変換器と、
    前記触覚出力信号に基づいてユーザに対して触覚効果を生成するように構成された触覚
    出力装置と、
    ビデオを表示するように構成されたディスプレイと、
    前記触覚効果が前記ディスプレイで表示される前記ビデオと同期化されるように前記ビ
    デオデータおよび前記触覚出力信号を同期化して前記ビデオデータを前記ディスプレイに
    出力するとともに前記触覚出力信号を前記触覚出力装置に出力するように構成されたプロ
    セッサと、
    を備えるシステム。
  2. オーディオデータを記録するように構成されたオーディオレコーダと、音声を射出する
    ように構成されたスピーカとをさらに備え、前記プロセッサは、前記音声が前記ディスプ
    レイで表示される前記ビデオおよび前記触覚出力装置により生成される前記触覚効果と同
    期化されるように、前記オーディオデータを受け取り、前記オーディオデータを前記ビデ
    オデータおよび前記触覚出力信号と同期させ、前記オーディオデータを前記スピーカへ出
    力するようにさらに構成されている、請求項１に記載のシステム。
  3. 前記ビデオレコーダ、前記オーディオレコーダ、および前記センサは同じ電子装置の部
    分である、請求項２に記載のシステム。
  4. 前記触覚出力装置、前記ディスプレイ、および前記スピーカは同じ電子装置の部分であ
    る、請求項２に記載のシステム。
  5. 前記ビデオレコーダ、前記オーディオレコーダ、前記センサ、前記触覚出力装置、前記
    ディスプレイ、前記スピーカ、および前記プロセッサは同じ電子装置の部分である、請求
    項２に記載のシステム。
  6. 前記触覚出力装置および前記ディスプレイは同じ電子装置の部分である、請求項１に記
    載のシステム。
  7. 前記プロセッサは前記変換器を含み、前記ビデオデータおよび前記触覚出力信号を同期
    させるように構成されたデコーダをさらに含む、請求項１に記載のシステム。
  8. 前記センサは、加速度計、ジャイロスコープ、および接点圧力センサから成るグループ
    から選択される、請求項１に記載のシステム。
  9. 前記システムは複数のセンサを含み、前記複数のセンサは加速度計、ジャイロスコープ
    、および接点圧力センサから成るグループから選択される、請求項１に記載のシステム。
  10. ビデオを表示するように構成されたディスプレイと、
    ビデオデータを記録するように構成されたビデオレコーダと、
    前記ビデオデータに記録されている物体又は人に取り付けられ、該物体又は人の運動を感知して該物体又は人の前記運動を
    表すセンサデータを出力するように構成されたセンサと、
    前記センサデータを触覚出力信号に変換するように構成された変換器と、
    電子ハンドヘルド装置と、を備えるシステムであって、 前記電子ハンドヘルド装置は
    、
    前記触覚出力信号に基づいて前記ハンドヘルド装置のユーザに対して触覚効果を生成す
    るように構成された触覚出力装置、及び
    前記触覚効果が前記ディスプレイで表示される前記ビデオと同期化されるように前記ビ
    デオデータおよび前記触覚出力信号を同期化して前記ビデオデータを前記ディスプレイに
    出力するとともに前記触覚出力信号を前記触覚出力装置に出力するように構成されたプロ
    セッサを含む、
    システム。
  11. オーディオデータを記録するように構成されたオーディオレコーダ、および音声を射出
    するように構成されたスピーカをさらに含み、前記プロセッサは、前記音声が前記ディス
    プレイで表示される前記ビデオおよび前記触覚出力装置により生成される前記触覚効果と
    同期させられるように、前記オーディオデータを受け取り、前記オーディオデータを前記
    ビデオデータおよび前記触覚出力信号と同期させ、前記オーディオデータを前記スピーカ
    へ出力するようにさらに構成されている、請求項１０に記載のシステム。
  12. ビデオレコーダでビデオを記録するステップと、
    前記ビデオで記録されている物体又は人の運動を該物体又は人に取り付けられたセンサ
    で感知するステップと、
    前記感知された運動を触覚出力信号に変換するステップと、
    前記ビデオおよび前記触覚出力信号を同期させるステップと、
    を備える方法。
  13. 前記触覚出力信号に基づいて少なくとも１つの触覚効果を生成するステップと、
    前記ビデオを前記触覚効果と同期してディスプレイで表示するステップと、
    をさらに備える、請求項１２に記載の方法。
  14. オーディオをオーディオレコーダで記録するステップと、前記オーディオを前記ビデオ
    および前記触覚出力信号と同期させるステップとをさらに備える、請求項１２に記載の方
    法。
  15. 前記触覚出力信号に基づいて触覚効果を生成するステップと、前記ビデオをディスプレ
    イで表示するステップと、前記触覚効果が前記ディスプレイで表示される前記ビデオおよ
    びスピーカにより射出される前記オーディオと同期させられるように前記オーディオを前
    記スピーカで射出するステップとをさらに備える、請求項１４に記載の方法。
  16. 前記センサは加速度計、ジャイロスコープ、および接点圧力センサから成るグループか
    ら選択される、請求項１２に記載の方法。
JP2014007521A 2013-01-24 2014-01-20 触感記録および再生 Active JP6411029B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361756418P 2013-01-24 2013-01-24
US61/756,418 2013-01-24
US13/804,692 US9261960B2 (en) 2013-01-24 2013-03-14 Haptic sensation recording and playback
US13/804,692 2013-03-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018142393A Division JP6664137B2 (ja) 2013-01-24 2018-07-30 触感記録および再生

Publications (2)

Publication Number Publication Date
JP2014160529A JP2014160529A (ja) 2014-09-04
JP6411029B2 true JP6411029B2 (ja) 2018-10-24

Family

ID=50112682

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014007521A Active JP6411029B2 (ja) 2013-01-24 2014-01-20 触感記録および再生
JP2018142393A Active JP6664137B2 (ja) 2013-01-24 2018-07-30 触感記録および再生

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018142393A Active JP6664137B2 (ja) 2013-01-24 2018-07-30 触感記録および再生

Country Status (5)

Country Link
US (2) US9261960B2 (ja)
EP (1) EP2759908B1 (ja)
JP (2) JP6411029B2 (ja)
KR (1) KR20140095976A (ja)
CN (2) CN103970266B (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150121001A (ko) * 2013-02-27 2015-10-28 톰슨 라이센싱 햅틱 액추에이터 제어 파라미터들을 갖고 있는 시청각 콘텐츠의 아이템을 재생하기 위한 방법과 그 방법을 구현하는 장치
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
EP3089657A4 (en) * 2014-02-24 2017-09-27 Sony Corporation Smart wearable devices and methods with attention level and workload sensing
KR20150110356A (ko) 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
US10133351B2 (en) * 2014-05-21 2018-11-20 Apple Inc. Providing haptic output based on a determined orientation of an electronic device
US10139907B2 (en) 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
KR20170030510A (ko) 2014-07-07 2017-03-17 임머숀 코퍼레이션 제2 스크린 햅틱
KR102073227B1 (ko) * 2014-09-25 2020-02-04 한국과학기술원 촉감 서비스 제공 장치
KR102249479B1 (ko) * 2014-10-28 2021-05-12 엘지전자 주식회사 단말기 및 그 동작 방법
US9919208B2 (en) 2014-12-11 2018-03-20 Immersion Corporation Video gameplay haptics
US9812165B2 (en) * 2014-12-19 2017-11-07 Immersion Corporation Systems and methods for recording haptic data for use with multi-media data
EP3054451A1 (en) * 2015-02-03 2016-08-10 Thomson Licensing Method, apparatus and system for synchronizing audiovisual content with inertial measurements
JP6523038B2 (ja) * 2015-05-08 2019-05-29 日本放送協会 感覚提示装置
US20160378186A1 (en) * 2015-06-23 2016-12-29 Intel Corporation Technologies for controlling haptic feedback intensity
US9711015B2 (en) * 2015-09-16 2017-07-18 Immersion Corporation Customizing haptic feedback in live events
KR102512840B1 (ko) * 2015-10-15 2023-03-22 삼성전자주식회사 실행 화면 레코딩 방법 및 그 방법을 처리하는 전자 장치
WO2017102026A1 (en) 2015-12-18 2017-06-22 Telefonaktiebolaget Lm Ericsson (Publ) Immersive video with haptic feedback
CN106534142B (zh) * 2016-11-22 2018-04-20 包磊 多媒体数据的实时传输方法及装置
CN106454365B (zh) * 2016-11-22 2018-07-10 包磊 多媒体数据的编码、解码方法及编码、解码装置
US10297120B2 (en) * 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
CN110476437B (zh) * 2017-01-26 2022-04-15 迪宝克技术公司 捕获运动并使运动与记录的音频/视频同步
US20180288364A1 (en) * 2017-03-30 2018-10-04 Zen-Me Labs Oy Method and system for sensory environment replication
WO2018191169A1 (en) * 2017-04-09 2018-10-18 4D Reality, Inc. Synchronous capture and playback of 4d content
JP6837921B2 (ja) * 2017-06-02 2021-03-03 任天堂株式会社 ゲームプログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6613267B2 (ja) 2017-06-02 2019-11-27 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP6653293B2 (ja) 2017-06-05 2020-02-26 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
US20190121433A1 (en) * 2017-10-20 2019-04-25 Immersion Corporation Determining a haptic profile using a built-in accelerometer
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
CN114008569A (zh) 2019-06-21 2022-02-01 思睿逻辑国际半导体有限公司 用于在装置上配置多个虚拟按钮的方法和设备
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
FR3103667A1 (fr) * 2019-11-27 2021-05-28 Sagemcom Broadband Sas Equipement décodeur transmettant des métadonnées à un équipement auxiliaire pour le piloter
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
CN113206912B (zh) * 2021-04-26 2023-07-04 瑞声光电科技(常州)有限公司 多媒体信息处理方法、装置、电子设备及存储介质
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
CN114115538A (zh) * 2021-11-23 2022-03-01 瑞声开泰声学科技(上海)有限公司 一种触觉反馈数据处理方法、装置及计算机可读存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09205607A (ja) * 1996-01-25 1997-08-05 Sony Corp ビデオ記録装置および再生装置
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US20050062841A1 (en) * 2003-09-18 2005-03-24 Rivera-Cintron Carlos A. System and method for multi-media record, distribution and playback using wireless communication
JP4923420B2 (ja) * 2005-03-15 2012-04-25 日本電気株式会社 動画撮影・再生システム、その撮影・再生方法、その携帯装置およびその撮影、再生方法
US8700791B2 (en) 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
WO2007117649A2 (en) 2006-04-06 2007-10-18 Immersion Corporation Systems and methods for enhanced haptic effects
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US9019087B2 (en) 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US7911328B2 (en) 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
JP2011523364A (ja) 2008-05-09 2011-08-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 感情を伝達する方法及びシステム
JP2010015551A (ja) * 2008-06-03 2010-01-21 Univ Of Electro-Communications 触覚情報提示装置及び触覚情報提示システム
JP2013500544A (ja) * 2009-07-24 2013-01-07 ディジマーク コーポレイション 改善された音声／映像の方法及びシステム
KR101295147B1 (ko) 2011-01-06 2013-08-09 한국과학기술원 충격량 제공장치, 햅틱 피드백 제공장치, 이를 이용한 진동 제공방법, 및 그 기록매체
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US20130198625A1 (en) * 2012-01-26 2013-08-01 Thomas G Anderson System For Generating Haptic Feedback and Receiving User Inputs
US20130222565A1 (en) * 2012-02-28 2013-08-29 The Johns Hopkins University System and Method for Sensor Fusion of Single Range Camera Data and Inertial Measurement for Motion Capture
US8842969B2 (en) * 2012-09-28 2014-09-23 Intel Corporation Haptic playback of video

Also Published As

Publication number Publication date
US11137828B2 (en) 2021-10-05
EP2759908A1 (en) 2014-07-30
JP6664137B2 (ja) 2020-03-13
US20160162028A1 (en) 2016-06-09
EP2759908B1 (en) 2020-08-05
CN110399041A (zh) 2019-11-01
CN103970266A (zh) 2014-08-06
CN103970266B (zh) 2019-08-27
US9261960B2 (en) 2016-02-16
JP2018198444A (ja) 2018-12-13
US20140205260A1 (en) 2014-07-24
KR20140095976A (ko) 2014-08-04
JP2014160529A (ja) 2014-09-04

Similar Documents

Publication Publication Date Title
JP6664137B2 (ja) 触感記録および再生
US10444843B2 (en) Systems and methods for converting sensory data to haptic effects
JP6664069B2 (ja) 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
US10083578B2 (en) Crowd-based haptics
US10650859B2 (en) Systems and methods for recording haptic data for use with multi-media data
US11036305B2 (en) Signal processing apparatus and signal processing method
US11656683B2 (en) Signal generation device, signal generation method, and reproduction device
WO2009030891A2 (en) Karaoke system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161024

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170228

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180112

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180730

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180926

R150 Certificate of patent or registration of utility model

Ref document number: 6411029

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250