JP6664069B2 - 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法 - Google Patents

触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法 Download PDF

Info

Publication number
JP6664069B2
JP6664069B2 JP2014263906A JP2014263906A JP6664069B2 JP 6664069 B2 JP6664069 B2 JP 6664069B2 JP 2014263906 A JP2014263906 A JP 2014263906A JP 2014263906 A JP2014263906 A JP 2014263906A JP 6664069 B2 JP6664069 B2 JP 6664069B2
Authority
JP
Japan
Prior art keywords
video
vibration
user
sensor
haptic effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014263906A
Other languages
English (en)
Other versions
JP2015130169A (ja
Inventor
レベスク，ヴィンセント
サボウヌ，ジャマール
バーンバウム，ディビッド，エム．
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2015130169A publication Critical patent/JP2015130169A/ja
Application granted granted Critical
Publication of JP6664069B2 publication Critical patent/JP6664069B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H04N5/9305—Regeneration of the television signal or of selected parts thereof involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7475—Constructional details of television projection apparatus
    • H04N5/7491—Constructional details of television projection apparatus of head mounted projectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

［関連出願の相互参照］
本出願は、２０１３年１２月３１日に出願された米国仮特許出願第６１／９２２，６４８号からの優先権の利益を請求するものであり、この出願の全内容が引用により本明細書に組み入れられる。
本発明は、触覚コンテンツを伴う視点動画（ｐｏｉｎｔ−ｏｆ−ｖｉｅｗ ｖｉｄｅｏｓ）を記録及び再生するシステム並びに方法に関する。
電子装置により、ユーザは、イベントの可視的側面及び音声的側面の両方を撮影した動画を記録することができる。電子装置は、ユーザが当該電子装置で再生される動画を見る時に、触覚感覚を提供するようにプログラムされ得る。触覚感覚は、典型的には予めプログラムされ、動画が再生されると、ユーザは当該動画に連動して触覚効果を体験することができ、没入感のある体験をユーザに提供することができる。既存の装置では、動画を記録した後でのみ、触覚効果を決定することができる。現在、触覚効果及び触覚感覚の作成は、リアルタイムでは行われない労働力をかなり要するプロセスである。
Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）のようなヘッドマウント型のディスプレイの形態である新世代の電子装置では、装着者が自身の視点でイベントの可視的側面及び音声的側面を記録及び再生可能とする、いわゆる「視点動画（ｐｏｉｎｔ−ｏｆ−ｖｉｅｗ ｖｉｄｅｏｓ：ＰＯＶ動画）」を可能にする。この動画を他者に送信してもよく、視聴者は、自身の電子装置で動画を再生することにより、当該視聴者がまるでそのイベントを直接体験しているかのように、イベントを追体験することができる。
イベントの視点動画を記録すると同時に、当該イベントのその他のリアルタイム側面を記録できるようにすることが望ましい。このようにすることにより、イベントのリアルタイム側面が、触覚効果として動画と共に再生することができ、視点動画を視聴し触覚感覚の再生を感じる視聴者に、よりリアルな没入感のある体験を提供することができる。
本発明の一側面によれば、イベントの視点動画を記録するように構成された動画記録装置と、前記イベントに関連する振動を検出するように構成されたセンサと、記録された前記視点動画と検出された前記振動とを同期させるように構成されたプロセッサと、ディスプレイ及び触覚出力装置を有する再生装置とを備えるシステムを提供する。前記再生装置は、同期された前記視点動画及び前記振動を再生するように構成され、前記触覚出力装置は、前記振動に基づいて触覚効果を生成するように構成される。
一実施形態において、前記動画記録装置及び前記センサは、第１電子装置の一部である。一実施形態において、第１電子装置は、ヘッドマウントディスプレイ装置である。一実施形態において、前記プロセッサ及び前記再生装置は、前記ヘッドマウントディスプレイ装置の一部である。一実施形態において、前記再生装置は、前記第１電子装置とは別個の第２電子装置であり、前記第１電子装置と無線接続される。一実施形態において、前記第２電子装置は、ヘッドマウントディスプレイ装置である。
一実施形態において、前記視点動画は、トレーニング動画を含む。
本発明の別の側面によれば、動画記録装置により、イベントの視点動画を記録する段階と、前記視点動画を記録すると同時に、前記イベントに関連する振動をセンサにより検出する段階と、記録された前記視点動画と検出された前記振動とを同期させる段階と、同期された前記視点動画及び前記振動を、ディスプレイ及び触覚出力装置を有する再生装置により再生する段階とを備え、前記触覚出力装置は、前記振動に基づいて触覚出力効果を生成する方法が提供される。
一実施形態において、前記方法は、同期された前記視点動画及び前記振動を、前記再生装置に伝送する段階を更に備える。一実施形態において、前記伝送する段階は、無線により行われ完了する。一実施形態において、前記伝送する段階は、少なくとも部分的にインターネットを介して行われ完了する。
本発明の別の側面によれば、システムのユーザが体験するイベントと関連する振動を検出するように構成されたセンサと、前記振動に基づいて触覚効果を生成し、前記ユーザが前記イベントを体験している時に前記ユーザに前記触覚効果を出力するように構成された触覚出力装置とを備えるシステムを提供する。
本発明の別の側面によれば、イベントを体験するユーザによって搬送されるセンサにより、前記イベントに関連する振動を検出する段階と、触覚出力装置により、前記振動に基づいて触覚効果を生成する段階と、前記ユーザが前記イベントを体験している時に、前記ユーザに前記触覚効果を出力する段階とを備える方法を提供する。
本発明の上記及び上記以外の目的、特徴、及び性質、並びに、関連する構成要素の動作方法及び機能、そして製造における各部分の組み合わせと経済性については、添付図面を参照しつつ以下の詳細な説明と添付の特許請求の範囲を検討することによってさらに明らかになる。これらはいずれも本明細書の一部を構成する。添付図面は例示及び説明のためのものであり、本発明の発明特定事項の定義として用いることは意図されていない。本明細書及び特許請求の範囲における用法によれば、単数形の「ａ」、「ａｎ」及び「ｔｈｅ」には複数のものへの言及が含まれる。ただし、文脈によって別に解すべきことが明白な場合はこの限りでない。
以下の図面の構成要素は、本開示の一般的な原理を強調するように描写されており、必ずしも寸法通りには記載されていない。一貫性及び明瞭性を確保するために、対応する構成要素を指し示す参照番号は、必要に応じ、複数の図面にわたって繰り返し用いられる。
本発明の実施形態にかかるシステムを模式的に示す。
本発明の実施形態にかかる方法を模式的に示す。
本発明の一実施形態に係る、図１のシステムの実装形態を示した図である。
本発明の一実施形態に係る、図１のシステムの実装形態を示した図である。
本発明の一実施形態に係る、図１のシステムの実装形態を示した図である。 本発明の一実施形態に係る、図１のシステムの実装形態を示した図である。
本発明の一実施形態に係る、図１のシステムの実装形態を示した図である。
本発明の一実施形態に係る、図１のシステムの実装形態を示した図である。
本発明の一実施形態に係る、図１のシステムの実装形態を示した図である。
本発明の一実施形態に係る、図１のシステムの実装形態を示した図である。
図１は、本発明の一実施形態に係るシステム１００を模式的に示した図である。図に示すように、システム１００は、イベント又はイベントの対象であるオブジェクトを記録するユーザが体験した振動を検出して、検出された振動をセンサのデータに変換するように構成された一の又は複数のセンサ１０２を備える。システム１００はまた、イベントの画像を取得及び記録するように構成された動画記録装置１０４、及び、当該イベントに関連する音声を取得及び記録するように構成された音声記録装置１０６を備える。一実施形態において、センサ１０２、動画記録装置１０４及び音声記録装置１０６は、同一の電子装置１４０の一部であってもよい。一実施形態において、動画記録装置１０４及び音声記録装置１０６は、同一の電子装置の一部であり、センサ１０２は、動画記録装置１０４及び音声記録装置１０６を備える電子デバイスとは別個に設けられてもよい。動画記録装置１０４及び音声記録装置１０６が同一の電子装置の一部である実施形態では、電子装置は、例えば、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）のようなヘッドマウントデバイスであってもよい。一実施形態において、センサ１０２、動画記録装置１０４及び音声記録装置１０６は、別個に設けられてもよいし、スタンドアローンデバイス、又は、別個のスタンドアローンデバイスの一部分であってもよい。
プロセッサ１１０は、以下に詳細に説明するように、センサ１０２、動画記録装置１０４及び音声記録装置１０６によって出力される信号及びデータを処理するように構成される。システム１００はまた、プロセッサ１１０の一部を構成していてもよい入力変換器１１２、出力変換器１１４、及び、プロセッサ１１０の一部を構成していてもよいデコーダ１１６を備える。入力変換器１１２、出力変換器１１４及びデコーダ１１６の側面については、以下に詳細に説明する。
図１に示すように、システム１００はまた、システムのユーザに対して触覚効果を出力するように構成された触覚出力装置１１８、例えば、動画記録装置１０４が撮像した画像のような画像を表示するように構成されたディスプレイ１２０、及び、音声記録装置１０６によって録音された音声のような音声を出力するように構成されたスピーカ１２２を備える。触覚出力装置１１８、ディスプレイ１２０及びスピーカ１２２は、以下に更に詳細に説明するように、電子再生装置１３０の一部であってもよい。一実施形態において、触覚出力装置１１８、ディスプレイ１２０及び／又はスピーカ１２２は、ヘッドマウントディスプレイのようなウェアラブルデバイスの一部分であってもよい。一実施形態において、触覚出力装置１１８、ディスプレイ１２０及びスピーカ１２２は、例えば、互いに無線により接続されるように構成された別個の装置であってもよい。一実施形態において、触覚出力装置１１８は、ウェアラブルデバイスの一部であってもよく、ディスプレイ１２０は、テレビの一部であってもよく、スピーカ１２２は、ディスプレイ１２０とは別個に設けられた無線スピーカであってもよい。
触覚出力装置１１８が含み得るアクチュエータは、例えば、偏心質量体がモータにより動かされる偏心回転質量体（「ＥＲＭ」）などの電磁アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ」）、又は圧電材料、電気活性ポリマー、もしくは形状記憶合金などの「スマートマテリアル」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、及び／又は触覚（例えば、振動触知）フィードバックなどの物理的フィードバックを提供する他の種類のアクチュエータ、である。触覚出力装置１１８は、非機械的又は非振動装置、例えば、静電摩擦（「ＥＳＦ」）や超音波摩擦（「ＵＳＦ」）を用いる装置、超音波触覚トランスデューサを用いて音響放射圧力を生じさせる装置、触覚基板及び可撓性もしくは変形可能な表面を用いる装置、又はエアジェットを用いた空気の吹きかけなどの発射型の触覚出力を提供する装置などを含んでもよい。
電子メモリ１２４は、センサ１０２が検出したデータを格納するのに使用されてもよく、電子メモリ１２６は、動画記録装置１０４によって記録されたデータを格納するのに使用されてもよく、電子メモリ１２８は、音声記録装置１０６によって記録されたデータを格納するのに使用されてもよい。メモリ１２４、１２６、１２８は、内部に固定された１つ又は複数の記憶ユニット、リムーバブル記憶ユニット及び／又はリモート・アクセスが可能な記憶ユニットを含む。これら様々な記憶ユニットは、揮発性メモリと不揮発性メモリとのいかなる組合せをも含み得る。記憶ユニットは、情報、データ、命令、ソフトウェアコード等の任意の組み合わせを格納するように構成されてもよい。センサ１０２、動画記録装置１０４及び音声記録装置１０６は、同一の電子装置１４０の一部であってもよい実施形態では、メモリ１２４、１２６、１２８は、同じ位置に設けられてもよい。動画記録装置１０４及び音声記録装置１０６が同一の電子装置の一部であってもよい実施形態では、メモリ１２６、１２８は、同じ位置に設けられてもよい。
一実施形態において、ユーザは、動画記録装置１０４及び／又は音声記録装置１０６を使用して、現場又はイベントの動画及び／又は音声を記録してもよい。一実施形態において、動画記録装置１０４及び／又は音声記録装置１０６は、ビデオカメラ、スマートフォン、ヘッドマウント記録装置等の同一の記録装置の一部であってもよい。記録された動画及び音声は、上記で説明したような電子メモリ１２６、１２８に格納されてもよい。一実施形態において、センサ１０２は、対象物に取り付けられてもよく、例えば、イベントを記録するユーザ、又は、ユーザがイベントを記録する時にユーザが接触する物体に取り付けられてもよい。一実施形態において、センサ１０２は、イベントを記録するユーザから離れた場所に位置する当該イベントにおける対象物に配置されてもよい。
上記したように、センサ１０２によって生成されるデータは、電子メモリ１２４に格納されてもよい。加えて、センサ１０２によって生成されるデータは、図１に示すような電子メモリ１２４に格納される前に、入力変換器１１２によって変換されてもよい。センサデータの変換は、任意に行われる段階と考えられ、変換が必要であるか否かは、使用されるセンサの性質による。センサ１０２の実施形態の詳細については後述する。
動画、すなわち、メディアファイルを再生するように構成されたメディアプレーヤの一部を構成してもよいデコーダ１１６は、センサ１０２によって生成されたデータを電子メモリ１２４から読み出し、電子メモリ１２６、１２８に格納されている記録済みの音声データ及び動画データと、当該読み出したデータとを時間的に関連付ける。メディア再生の間に、デコーダ１１６は、センサのデータを出力変換器１１４を通過させてもよく、出力変換器１１４は、センサデータを触覚出力信号へと変換するように構成される。触覚出力信号は、これに限定されないが、例えば、振動、表面摩擦変調、皮膚をつまむ、皮膚を強く押す、といった一の又は複数の触覚効果又は触覚感覚のコマンドを生成するために生成される。デコーダ１１６は、センサデータから変換された触覚出力信号と、動画データ及び音声データとを同期させて、再生の際に、触覚効果が、動画及び音声と同期されるようにする。一実施形態において、再生の間に動画データ、音声データ及び触覚効果における時間が一致していることを確かにすることで、完了する。
プロセッサ１１０は、汎用又は特殊用途プロセッサ、あるいはシステム１００の動作及び機能を管理又は制御するマイクロ・コントローラである。例えば、プロセッサ１１０は、触覚効果を提供するために、触覚出力装置１１８への出力信号を制御する特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：「ＡＳＩＣ」）として、特に設計されてもよい。プロセッサ１１０は、どのような触覚効果が生成され、当該触覚効果がどのような順序で生成され、及び／又はどの程度の大きさ、頻度、持続時間、及び／又はその他のパラメータを触覚効果が有するかを、所定の係数に基づいて決定する。また、プロセッサ１１０は、特定の触覚効果を提供するために触覚出力装置１１８を駆動するのに使用され得るストリーミング・コマンドを提供するように構成されてもよい。ある実施形態では、プロセッサ１１０は複数のプロセッサであってもよく、当該複数のプロセッサの各々がシステム１００の内部で特定の機能を果たすように構成されている。プロセッサ１１０は、触覚効果プロファイル、触覚出力装置１１８がどのように駆動されるべきか示した命令、及び／又は、触覚効果を生成するためのその他の情報を含んでもよい一の又は複数の記憶装置を備えるメモリを有してもよい。図１に示したシステム１００全体が、一つの電子装置の一部である一実施形態では、メモリ１２４、１２６、１２８は、プロセッサ１１０の一部であってもよい。
触覚出力装置１１８を含む電子再生装置１３０を通じてメディアを体験する人が、再生されるイベントをより完全に体験できるようにするべく、触覚出力信号が、プロセッサ１１０、例えば、プロセッサ１１０ののデコーダ１１６から触覚出力装置１１８へと送信されてもよい。電子再生装置１３０は、電子携帯端末のような任意の装置であってよく、例えば、携帯電話（すなわち、スマートフォン）、ゲーム機器、パーソナルデジタルアシスタント（ＰＤＡ）、ポータブル電子メール装置、ポータブルインターネットアクセス装置、タブレット等であってもよい。電子再生装置１３０は、これに限定されないが、ディスプレイ１２０を備える携帯用デバイス又はウェアラブルデバイスを含んでもよい。ディスプレイ１２０は、メディアを再生する高画質ディスプレイであってもよい。電子再生装置１３０は更に、触覚感覚又は触覚効果を生成することができる携帯可能な物体、ユーザの身体に取り付けることができる物体、ユーザに寄り掛からせることができる物体、又は、ユーザに触知的感覚送信することができる物体を備えてもよい。
一実施形態において、プロセッサ１１０及び触覚出力装置１１８は、電子携帯用デバイスの一部であってもよく、電話、タブレット又はウェアラブルデバイスの一部であってもよい。ウェアラブルデバイスとしては、スマートウオッチ、ブレスレット、ネックレス、ヘッドバンド、眼鏡、ヘッドマウントディスプレイ等が挙げられる。電子携帯用デバイスは、動画データを、例えばテレビである別個のディスプレイ１２０に出力するように構成されてもよい。この実施形態において、イベントを再生するユーザは、テレビでイベントを視聴し、電子携帯用デバイスで当該イベントと関連付けられた振動を感じるようにしてもよい。
一実施形態において、センサ１０２、動画記録装置１０４、音声記録装置１０６、入力変換器１１２及び関連するメモリデバイス１２４、１２６、１２８は、同一の電子装置１４０の一部であってもよい。一実施形態において、電子装置１４０は、ヘッドマウントディスプレイ装置であってもよい。一実施形態において、電子再生装置１３０は、センサ１０２、動画記録装置１０４及び音声記録装置１０６を含む電子装置１４０と同じ装置であってもよい。一実施形態において、電子再生装置１３０及び電子装置１４０は、例えば、互いに無線により接続されるように構成されてもよい。一実施形態において、図１に示すシステム１００全体が、例えば、ヘッドマウントディスプレイ装置であってもよい同一の電子装置の一部であってもよい。
一実施形態において、システム１００は、センサ１０２のためのジャイロスコープ、コンパス及び３軸加速度計センサを有する携帯電話又はウェアラブル小型電子装置、並びに、動画記録装置１０４のための内蔵カメラを備えてもよい。この例では、データ記録センサ１０２、動画記録装置１０４、音声記録装置１０６、デコーダ１１６及び出力変換器１１４を含むプロセッサ１１０、触覚出力装置１１８、ディスプレイ１２０、スピーカ１２２、入力変換器１１２、及び、電子メモリ１２４、１２６を含む、図１に示される全ての構成要素は、自己完結型であってもよい。また、システム１００全体が、人又は対象のアクティビティを実行する機器の一部に取り付けられてもよい。
一実施形態において、一人称視点ビデオカメラをヘルメット又は対象のアクティビティを実行する機器の一部に取り付けてもよい。ビデオカメラは、複数のデータセンサ１０２が組み込まれてもよく、例えば、必要に応じて、加速度計、グローバルポジショニングシステム（「ＧＰＳ」）、ジャイロスコープ、入力変換器１１２、電子メモリ１２４、動画記録装置１０４、音声記録装置１０６及び電子メモリ１２６が組み込まれてもよい。システム１００の残りの部分、例えば、デコーダ１１６及び出力変換器１１４を含むプロセッサ１１０、触覚出力装置１１８、ディスプレイ１２０及びスピーカ１２２は、例えば、上記で説明した電子再生装置１３０のような別個の再生装置に配置されてもよい。
一実施形態において、加速度計、レーザ振動計、ＧＰＳ等の一の又は複数のデータセンサを含み得るセンサ１０２（複数の場合もありうる）が、人又は対象のアクティビティを実行する機器の何れかに取り付けられてもよい。センサ１０２は、センサボックス、又は、センサ１０２を保護するように構成されたその他の筐体に収容されてもよい。センサボックスは、例えば、内蔵の入力変換器１１２及び電子メモリ１２４のようなデータ記憶手段を備えてもよい、又は、アクティビティの間にデータを記録するべく第２の装置（例えば、携帯装置）とのデータ接続を利用してもよい。
一実施形態において、動画記録装置１０４を操作する人が体験する振動を、動画記録装置１０４に直接又は間接的に接続された加速度計の形態のセンサ１０２を使用して記録してもよい。加速度計は、例えば、動画記録装置１０４に組み込まれていていもよいし、例えば、自転車であるユーザの機器又はブレスレットのようなウェアラブルな物に搭載されてもよい。一実施形態において、センサ１０２は、振動を体験する人又はその他の場所に設けられるレーザ振動計の形態であってもよい。一実施形態において、ビデオ画像の動きから、又は、動画と共に音声記録装置１０６によって記録された音声から、振動を推測してもよい。振動の強さは、例えば、記録された動画の揺れから推測してもよい。振動に関するノイズ、又は、衝撃のような離散的事象を検出するべく、音声の解析を同様に行ってもよい。一実施形態では、音声出力に使用される骨導振動子を介して、振動を記録してもよい。
一実施形態では、プロセッサ１１０は、スマートフィルタリング又はスマート変換を使用して、振動記録からノイズを除去してもよい。例えば、ヘッドマウント記録装置へのタッチ入力によって引き起こされる振動は、ヘッドマウント記録装置のフレーム上で測定が行われる場合には、モデル化される又は記録から除去される必要がある。動画を異なる視点から撮影してもよく、例えば、ヘッドマウント記録装置の正面、背面又は側面からの視点、スマートフォンのような携帯カメラからの視点、テレプレゼンスロボットのようなロボットからの視点、及び／又は、例えば、遠隔制御された車両からの視点から動画を撮影してもよい。
一実施形態において、センサデータのストリームが動画データ及び音声データと共に記憶される記録セッションが開始されてもよい。動画記録装置１０４及び／又は音声記録装置１０６は、イベントを記録する人によって装着される又は搬送されてもよい。振動、動画及び音声データを含むデータストリームの全ての同期は、図１のシステム１００のプロセッサ１１０内に配置されていてもよい記録ソフトウェアによって管理されてもよい。
一実施形態において、一つのファイルコンテナに動画及び音声以外のデータも格納可能とする、例えば、ＭＰＥＧ−４のようなフレキシブルなコンテナフォーマットを使用してもよい。このような一実施形態では、エンコーダの特定のセットを使用して、記録の間に、センサデータをＭＰＥＧ−４ファイル内に配置するのに使用してもよい。一実施形態において、非音声・画像（Ａ／Ｖ）センサデータを別個のファイルに格納するべく、専用のソフトウェアを作ってもよいが、再生時に適切な同期を可能とするべくセンサデータに特別なマーカが必要となる。このような実施形態では、設計された記録フォーマットの制約に適合させるようにセンサデータを整形する以外に、入力変換を行う必要はほとんどない。正確なフォーマットは、実装者によって決定されてもよい。イベントを記録する人が、アクティビティを完了させると、記録が停止されてもよい。この場合、ＭＰＥＧ−４ファイルが閉じられて、全てのセンサデータがＭＰＥＧ−４ファイルに配置されてもよい。
一実施形態において、再生装置は、図１の電子再生装置１３０であってもよく、ディスプレイ１２０、スピーカ１２２、及び、触覚効果を提供する触覚出力装置１１８のような振動装置を有する携帯電話又はタブレットの形態であってもよい。一実施形態において、再生装置は、ディスプレイ１２０及びスピーカ１２２を有するテレビと、触覚効果を提供する触覚出力装置１１８を有するゲームパッドのようなゲーム周辺機器と接続されるゲーム機であってもよい。
アクティビティが実行された後に又は実行されるのと同時に、一の又は複数の視聴者が、アクティビティを体験するのに興味を示したとする。アクティビティを再生するべく、視聴者は、パフォーマのアクティビティをパフォーマの視点から体験するという目的で、視聴者の再生装置で適切な再生ソフトウェアを起動することができる。一実施形態において、再生ソフトウェアは、デコーダ１１６によって実行されるセンサデコード方式を組み込んだ再生ソフトウェアアプリケーション、及び、再生装置１３０における触覚出力装置１１８に適した触覚出力信号へとセンサデータを変換するべく出力変換器１１４によって実行されてもよい出力変換ソフトウェアを含んでもよい。一実施形態において、再生ソフトウェアアプリケーションは、センサデコード方式を組み込んでもよい。再生ソフトウェアは、再生装置内に存在する又は予めインストールされる出力変換ソフトウェアを利用してもよく、当該出力変換ソフトウェアは、再生装置における触覚出力装置１１８に適した触覚出力信号へとセンサデータを変換してもよい。すなわち、出力変換器１１４及び／又はデコーダ１１６は、再生装置１３０に位置してもよい。
一実施形態において、再生ソフトウェアアプリケーションは、メディア再生を実行するべく、センサでコード方式を組み込んだ再生装置のオペレーティングシステムソフトウェアを利用してもよい。オペレーティングシステムは、再生装置内に存在する又は予めインストールされる出力変換ソフトウェアを利用してもよく、当該出力変換ソフトウェアは、再生装置における触覚出力装置１１８に適した触覚出力信号へとセンサデータを変換してもよい。そして、視聴者は、パフォーマンスの表示と関連付けられた触覚感覚を体験する。触覚感覚は、出力変換ソフトウェアによって生成される。
動画及びセンサデータストリームは、同期され、結合されて、再生装置１３０に送信されてもよい。有線又は無線ネットワークを介して通信を行う独立した複数の装置によって撮像が行われていることを考慮して、例えば、動画フレームごと及びセンサ測定ごとにタイムスタンプを組み込むことにより同期を行ってもよい。したがって、記録装置は、例えば、ＧＰＳシステムからの共通の時間基準を取得する必要がある。これに代えて、例えば、ジャンプを３回行うといったように、動画ストリーム及びセンサデータストリームの両方において検出可能な特定のアクションを実行することにより、同期を行ってもよい。
その結果生成されたデータは、振動及び動画の両方を組み合わせた一つのデータストリームとして、又は、同期情報を伴った２つのデータストリームとして、送信されてもよい。データストリームは、次第に再生装置へと送信されてもよいし、後の再生に備えてファイルに格納されてもよい。一実施形態において、触覚フィードバックは、編集ツールを使用してオフラインで生成されて、撮影後の編集段階で視点ビデオに付加されてもよい。
視点ビデオは、一の又は複数の受信者によって、後で再生されてもよいし、リアルタイムでストリーミングされてもよい。ビデオは、これらに限定されないが、スマートグラス（例えば、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標））、スマートフォン又はタブレット、コンピュータ、ホームシアターシステム等を含む複数の装置で再生され得る。
一実施形態において、触覚フィードバックは、フィードバックの品質を監視するべく又は触覚体験を増幅させるべく、記録を行った人によって、即時に再生されてもよい。触覚フィードバックは同様に、スマートフォン若しくはタブレット、ヘッドマウントディスプレイ装置、スマートウォッチ、リストバンド、指輪若しくは手袋のようなウェアラブルデバイス、又は、椅子若しくはテーブルのような家具といった場所に設けられる、様々な触覚出力装置を使用して生成されてもよい。
再生装置は、動画ストリーム及び振動をデコードし、動画と振動との間の同期を維持することができる。再生装置１３０における一つのマイクロコントローラは、例えば、動画ストリーム及び振動ストリームに基づいて、動画ディスプレイ１２０及び触覚出力装置１１８両方の制御を行ってもよい。
図２は、本発明の一実施形態に係る方法２００を示した図である。段階２１０において、上記の動画記録装置１４０のような記録装置によって動画が記録される。段階２２０において、上記のセンサ１０２のようなセンサによって、振動が検出される。段階２３０において、上記のプロセッサ１１０のようなプロセッサを使用して、動画及び振動が同期される。段階２４０において、ディスプレイ１２０及び触覚出力装置１１８を備える上記した電子再生装置１３０のような電子再生装置を使用して、同期された動画及び振動が再生される。
図３〜９には、上記したシステム１００の実施形態の様々な実装例が示されている。これらの実装例及び実施形態は、いかなる限定をも意味するものではない。
図３には、動画記録装置と少なくとも一つの振動センサを備えるヘッドマウントディスプレイ装置３１０を装着してスノーボードをしている間のスタントを、視点動画としてユーザが撮影する場合の上記したシステム１００の一実施形態３００が示されている。ユーザは、後に、触覚トラックが埋め込まれた動画をインターネット上に投稿して、ユーザの友人が、例えば、ディスプレイ３２２及び少なくとも一つの触覚出力装置３２４を備えるタブレットのような自身の電子再生装置３２０で動画を視聴することが考えられる。触覚出力装置３２４で生成された触覚効果ＨＥ及びユーザによって記録された振動Ｖの表現が、ユーザの友人らに当該友人らがユーザと共にその場所にいたかのように感じられる。ユーザが装着する振動センサにより、スタントの間にユーザが感じた振動の全て、特に、ジャンプした後に着地した時の衝撃を、ユーザの友人も感じることが可能となる。
図４には、ヘッドマウントディスプレイ装置４１０を装着してユーザがマウンテンバイクに乗っている時の、特に、整地されていない所を乗って走る時の視点動画をユーザが記録する場合のシステム１００の実施形態４００が示されている。ユーザは、マウンテンバイクの振動Ｖを記録し、ユーザの背中に搭載された触覚出力装置４２０又はヘッドマウントディスプレイデバイス４１０によって生成される触覚効果ＨＥを通じて、ユーザの背中で増幅された振動を感じる。触覚効果ＨＥとして生された増幅された振動により、ユーザは、マウンテンバイクで走るのに、よりスリルを感じることができるようになる。
図５Ａ及び５Ｂには、ヘッドマウントディスプレイ５１０を装着したユーザが、ユーザの視点からゴルフを行っている視点トレーニング動画を記録するのに上記のシステム１００が使用される実施形態５００が示されており、これによりユーザが動画をユーザの生徒と共有できる実施形態が示されている。図５は、ヘッドマウントディスプレイ５１０を装着し、伸ばしている腕ＡにゴルフクラブＧＣを保持したユーザを模式的に示した斜視図である。ゴルフボールＧＢをゴルフクラブＧＣで打った時の振動Ｖが記録される。再生時には、生徒は、ユーザのコツをユーザの視点で見ることができ、図５Ｂに示すように、ゴルフボールＧＢがゴルフクラブＧＣと衝突する時の衝撃を「感じる」ことができるようにしてもよい。自身のヘッドマウントディスプレイ装置で動画を再生する場合、生徒は、自分でスイングを練習しているかのように動画を見ることができる。
図６には、ユーザが、自身で発見した新しい材料Ｍについて話をする工業デザインについてのブログを有する場合の上記のシステム１００の実施形態６００が示されている。ユーザは、ヘッドマウントディスプレイ及びユーザがテクスチャＴを記録することを可能にするセンサを備える特別な手袋６１０を使用して、ユーザが新しい材料Ｍに触れた時の感覚を共有可能としてもよい。これにより、ブログの視聴者は、自身のスマートフォン、又は、場合によっては、自身の手袋を使用して新規の材料ＭのテクスチャＴを感じることが可能になる。上記スマートフォン及び手袋は、例えば、静電摩擦又は超音波表面摩擦触覚効果の生成により、記録されたテクスチャＴを再生可能な触覚出力装置を備える。
図７には、ヘッドマウントディスプレイ装置７１０を介して遠隔制御される車ＲＣとユーザがやり取りを行う場合のシステム１００の一実施形態７００が示されている。ヘッドマウントディスプレイ装置７１０は、上記した動画ディスプレイ１２０及び触覚出力装置１１８のような、動画ディスプレイ及び触覚出力装置を備える。視点動画記録装置及び振動センサは、車両ＲＣに搭載されてもよく、信号が、動画記録装置及び振動センサから、ヘッドマウントディスプレイ装置７１０へと送信されてもよい。これにより、ユーザは、車両ＲＣの視点から見ることができ、車両ＲＣの振動Ｖを触覚出力装置によって生成された触覚効果ＨＥとして、ユーザが車両ＲＣの中に居るかのように感じることができる。
図８には、ユーザが修理を行っている工業機械の内部を見ることができるカメラ及び振動センサを備えるスマートフォン８１０をユーザが使用する場合の上記のシステム１００の一実施形態８００が示されている。図８に示される実施形態８００は、ユーザによって装着され、スマートフォン８００のカメラによって撮像された画像を表示することができるように構成されたヘッドマウントディスプレイ装置８２０を含む。ヘッドマウントディスプレイ装置８２０は、上記したような触覚出力装置１１８のような触覚出力装置を備える。これにより、ユーザは、スマートフォン８１０のカメラの視点で見ることが可能となり、スマートフォン８１０が機械にぶつかった時又は機械を擦った時に生成された振動Ｖを、触覚出力装置によって提供される触覚効果ＨＥを介して感じることができる。
図９には、ユーザが、機械の修理の仕方を学ぶべく、ヘッドマウントディスプレイ装置に表示される取扱説明書動画を見ることができる上記のシステム１００の一実施形態９００が示されている。インストラクターが視点動画において、つまみＫＮが締まるまでどのようにつまみを回すかを教える時には、ユーザは、ヘッドマウントディスプレイ装置に位置する触覚出力装置が生成する触覚効果ＨＥを介して、インストラクターが再現しようとしている感覚を感じることができる。
上記の発明の実装例及び実施形態は、いかなる限定をも意味するものではない。例えば、上記の実装例では、振動の検出が行われたが、生成されるべき触覚効果に対するバイアス又は要因として利用可能なその他の信号を使用してもよい。例えば、ユーザ又は対象の物体の動き（例えば、人が呼吸を行う際に拡張及び収縮する胸部）、ユーザ又は対象の物体の鉛直方向運動及び高さ、ユーザ又は対象の物体向き（例えば、カーブにおいて左側又は右側に傾いたスキーヤーの傾き）、地面との接触又は距離（例えば、スキーをしている時又は自転車に乗っている時のジャンプ）、対象物に対してユーザが印加する圧力（例えば、自転車の座席又はハンドルに対する圧力）、対象物の移動又は構成要素（例えば、マウンテンバイクのチャック（ｃｈｕｃｋ））、温度、風速等の環境状態等に基づいた信号であってもよい。生成される触覚効果は、上記のようなその他の信号に基づいてもよく、このような信号を表すのに、これに限定されないが、移動、力、変形、圧迫、温度変化等の任意の種類の触覚フィードバックが使用されてもよい。
本発明の実施形態の一部の実装例では、検出結果が直接出力にマッピングされてもよい。例えば、スキーヤーの検出された傾斜を、モーションプラットフォームを使用して再現してもよい。本発明の実施形態の一部の実装例では、触覚出力装置によって入力が出力されるように、システムが入力を変換してもよい。例えば、自転車のハンドルにかかる圧力を、振動にマッピングしてもよい。
本発明の実施形態の一部の実装例では、システムのユーザが持つ動画記録装置によって動画が記録されるが、ユーザの視点からイベントを記録する代わりに、動画記録装置が異なる方向に向けられていてもよい。例えば、ヘッドマウントディスプレイのカメラが、ユーザが見ている方向とは異なる方向に向けられていてもよい。例えば、ダイバーは、ダイバーの頭部から垂直方向に向けられたカメラを有してもよく、ダイバーが潜水する時には、カメラが水の方に向くようにしてもよい。言い換えると、視点は、必ずしもユーザの視線と一致しなくてもよく、例えば、ユーザの身体の主要部と一致させてもよい。
本明細書に記載された実施形態は、実施可能な実装例及び実施例であるが、本発明を特定の実施形態に制限することを必ずしも意図するものではない。むしろ、これらの実施形態には、当該技術分野における当業者に理解できるような変更を加えることができる。このような変更が加えられた態様も本発明の要旨及び範囲に含まれ、そして以下の請求項によって保護されるべきものである。

Claims (14)

  1. イベントの動画を記録するように構成された動画記録装置と、
    前記動画記録装置が前記動画を記録している間に前記イベントに関連する振動を検出するように構成されたセンサと、
    プロセッサと、
    を備え、
    前記プロセッサは、
    前記センサによって検出された振動に基づいて、生成されるべき触覚効果を決定し、
    前記動画において検出されたユーザが実行したアクションと前記センサによって検出された前記振動に基づいて検出された前記ユーザが実行したアクションとのタイミングに基づいて前記動画と前記触覚効果とを同期させて、同期された動画を生成し、
    再生装置での再生のために前記同期された動画と前記触覚効果とを結合し、
    前記再生装置は、ディスプレイ及び触覚出力装置を有し、同期された前記動画及び前記触覚効果を再生するように構成され、
    前記触覚出力装置は、前記触覚効果を生成するように構成される、システム。
  2. 前記動画記録装置及び前記センサは、第１電子装置の一部である、請求項１に記載のシステム。
  3. 前記第１電子装置がヘッドマウントディスプレイ装置である、請求項２に記載のシステム。
  4. 前記プロセッサ及び前記再生装置は、前記ヘッドマウントディスプレイ装置の一部である、請求項３に記載のシステム。
  5. 前記再生装置は、前記第１電子装置とは別個の第２電子装置であり、前記第１電子装置と無線接続される、請求項２に記載のシステム。
  6. 前記第２電子装置がヘッドマウントディスプレイ装置である、請求項５に記載のシステム。
  7. 前記動画はトレーニング動画を含む、請求項１に記載のシステム。
  8. 動画記録装置により、イベントの動画を記録する段階と、
    前記動画を記録すると同時に、前記イベントに関連する振動をセンサにより検出する段階と、
    前記振動に基づいて、生成されるべき触覚効果を決定する段階と、
    前記動画において検出されたユーザが実行したアクションと前記センサによって検出された前記振動に基づいて検出された前記ユーザが実行したアクションとのタイミングに基づいて、前記動画と前記触覚効果とを同期させる段階と、
    再生装置での再生のために前記動画と前記触覚効果とを結合する段階と、
    を備え、
    前記再生装置は、ディスプレイ及び触覚出力装置を有し、
    前記触覚出力装置は、前記触覚効果を生成する、方法。
  9. 前記動画はトレーニング動画を含む、請求項８に記載の方法。
  10. 同期された前記動画及び前記触覚効果を、前記再生装置に伝送する段階を更に備える、請求項８に記載の方法。
  11. 前記伝送する段階は、無線により行われ完了する、請求項１０に記載の方法。
  12. 前記伝送する段階は、少なくとも部分的にインターネットを介して行われ完了する、請求項１０に記載の方法。
  13. ユーザが自身によって実行され又は視聴されたアクティビティを含むイベントの発生を体験し、前記イベントと関連する振動を感じている時に、前記振動を検出するように構成された加速度計を有するセンサと、
    前記振動の検出に基づいて触覚効果を生成して前記センサによって検出された前記振動を増幅し、前記イベントが発生している間に前記ユーザに前記触覚効果を出力するように構成された触覚出力装置と、を備えるシステム。
  14. ユーザが自身によって実行され又は視聴されたアクティビティを含むイベントの発生を体験し、前記振動を感じている時に、ユーザによって搬送される加速度計を有するセンサにより、前記イベントに関連する振動を検出する段階と、
    触覚出力装置により、前記振動の検出に基づいて触覚効果を生成して前記センサによって検出された前記振動を増幅する段階と、前記ユーザが前記イベントを体験している時に、前記ユーザに前記触覚効果を出力する段階と、を備える方法。
JP2014263906A 2013-12-31 2014-12-26 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法 Expired - Fee Related JP6664069B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361922648P 2013-12-31 2013-12-31
US61/922,648 2013-12-31

Publications (2)

Publication Number Publication Date
JP2015130169A JP2015130169A (ja) 2015-07-16
JP6664069B2 true JP6664069B2 (ja) 2020-03-13

Family

ID=52272969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014263906A Expired - Fee Related JP6664069B2 (ja) 2013-12-31 2014-12-26 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法

Country Status (5)

Country Link
US (1) US20150189223A1 (ja)
EP (1) EP2889728A3 (ja)
JP (1) JP6664069B2 (ja)
KR (1) KR20150080435A (ja)
CN (1) CN104750245A (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2754008A4 (en) * 2011-06-21 2015-04-22 Univ Northwestern TOUCHING INTERFACE DEVICE AND METHOD FOR USING CROSS-HOLLOWS ON HUMAN LIMBS
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9965034B2 (en) 2013-12-30 2018-05-08 Immersion Corporation Systems and methods for a haptically-enabled projected user interface
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
KR20170030510A (ko) * 2014-07-07 2017-03-17 임머숀 코퍼레이션 제2 스크린 햅틱
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
KR20180048629A (ko) * 2015-09-25 2018-05-10 임머숀 코퍼레이션 햅틱 효과 설계 시스템
KR102512840B1 (ko) * 2015-10-15 2023-03-22 삼성전자주식회사 실행 화면 레코딩 방법 및 그 방법을 처리하는 전자 장치
CN105653029A (zh) * 2015-12-25 2016-06-08 乐视致新电子科技（天津）有限公司 在虚拟现实系统中获得沉浸感的方法、系统及智能手套
CN105975053A (zh) * 2016-05-11 2016-09-28 乐视控股（北京）有限公司 虚拟头盔控制方法、装置及虚拟头盔
US10770113B2 (en) * 2016-07-22 2020-09-08 Zeality Inc. Methods and system for customizing immersive media content
US10222958B2 (en) 2016-07-22 2019-03-05 Zeality Inc. Customizing immersive media content with embedded discoverable elements
KR101864685B1 (ko) * 2016-10-05 2018-06-05 씨제이포디플렉스 주식회사 가상현실 4d 컨텐츠 상영 시스템 및 그 방법
US10102723B2 (en) * 2016-10-31 2018-10-16 Immersion Corporation Dynamic haptic generation based on detected video events
JP7184780B2 (ja) * 2017-01-26 2022-12-06 ディー－ボックス テクノロジーズ インコーポレイテッド 動きの取り込み、及び記録オーディオ／ビデオとの動きの同期
CN108235099B (zh) * 2018-01-12 2021-06-15 瑞声科技(新加坡)有限公司 一种媒体与振动的同步播放方法及其装置
WO2020031527A1 (ja) * 2018-08-10 2020-02-13 ソニー株式会社 信号生成装置、信号生成方法、プログラム、再生装置
WO2020054415A1 (ja) 2018-09-11 2020-03-19 ソニー株式会社 情報処理装置、情報処理方法、及び、記録媒体
KR20210119964A (ko) * 2019-02-01 2021-10-06 소니그룹주식회사 복호 장치, 복호 방법 및 프로그램
ES1249864Y (es) * 2020-05-25 2020-10-16 Corts Francesc Xavier Vila Sistema de animación para eventos
KR20210114059A (ko) * 2020-06-30 2021-09-17 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 비디오 처리 방법, 장치, 전자 기기 및 저장 매체
JP7298921B2 (ja) * 2020-08-12 2023-06-27 株式会社赤外線高精度技術利用機構 赤外線調査解析診断装置
CN115734333A (zh) * 2021-08-31 2023-03-03 上海华为技术有限公司 一种数据传输方法以及相关设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124178A (ja) * 1996-10-15 1998-05-15 Olympus Optical Co Ltd 電子メール端末、電子メール端末の処理方法、媒体
JP3733075B2 (ja) * 2002-02-07 2006-01-11 株式会社国際電気通信基礎技術研究所 インタラクション・メディアシステム
JP2003299013A (ja) * 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd 体験情報再現装置
US20060038818A1 (en) * 2002-10-22 2006-02-23 Steele Robert C Multimedia racing experience system and corresponding experience based displays
US20050062841A1 (en) * 2003-09-18 2005-03-24 Rivera-Cintron Carlos A. System and method for multi-media record, distribution and playback using wireless communication
CN101027684B (zh) * 2004-09-14 2011-01-12 松下电器产业株式会社 机器控制系统及机器控制方法
JP5208362B2 (ja) * 2005-10-28 2013-06-12 ソニー株式会社 電子機器
JP4926799B2 (ja) * 2006-10-23 2012-05-09 キヤノン株式会社 情報処理装置、情報処理方法
US7911328B2 (en) * 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
US8462125B2 (en) * 2008-07-15 2013-06-11 Immersion Corporation Systems and methods for shifting haptic feedback function between passive and active modes
US9400555B2 (en) * 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
WO2010042884A2 (en) * 2008-10-10 2010-04-15 Internet Services, Llc Haptic otuput device for use with haptic encoded media
US9727139B2 (en) * 2008-12-12 2017-08-08 Immersion Corporation Method and apparatus for providing a haptic monitoring system using multiple sensors
US20130198625A1 (en) * 2012-01-26 2013-08-01 Thomas G Anderson System For Generating Haptic Feedback and Receiving User Inputs
JP2013178639A (ja) * 2012-02-28 2013-09-09 Seiko Epson Corp 頭部装着型表示装置および画像表示システム

Also Published As

Publication number Publication date
KR20150080435A (ko) 2015-07-09
EP2889728A3 (en) 2015-08-05
JP2015130169A (ja) 2015-07-16
CN104750245A (zh) 2015-07-01
EP2889728A2 (en) 2015-07-01
US20150189223A1 (en) 2015-07-02

Similar Documents

Publication Publication Date Title
JP6664069B2 (ja) 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
JP6664137B2 (ja) 触感記録および再生
US10650859B2 (en) Systems and methods for recording haptic data for use with multi-media data
US10444843B2 (en) Systems and methods for converting sensory data to haptic effects
US10083578B2 (en) Crowd-based haptics
US10075251B2 (en) Haptic broadcast with select haptic metadata based on haptic playback capability
JP2015041385A (ja) スポーツイベントのハプティック可能な閲覧
CN105915849A (zh) 一种虚拟现实体育赛事播放方法及系统
JP2017005709A (ja) ブロードキャスト用ハプティクスアーキテクチャ
US11656683B2 (en) Signal generation device, signal generation method, and reproduction device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180918

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191206

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20191212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200122

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200130

R150 Certificate of patent or registration of utility model

Ref document number: 6664069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees