JP6516477B2 - ユーザ生成コンテンツをオーサリングするためのシステム及び方法 - Google Patents

ユーザ生成コンテンツをオーサリングするためのシステム及び方法 Download PDF

Info

Publication number
JP6516477B2
JP6516477B2 JP2015005703A JP2015005703A JP6516477B2 JP 6516477 B2 JP6516477 B2 JP 6516477B2 JP 2015005703 A JP2015005703 A JP 2015005703A JP 2015005703 A JP2015005703 A JP 2015005703A JP 6516477 B2 JP6516477 B2 JP 6516477B2
Authority
JP
Japan
Prior art keywords
haptic effect
haptic
video signal
user
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015005703A
Other languages
English (en)
Other versions
JP2015135678A (ja
Inventor
デイヴィッド エム. バーンバウム、
デイヴィッド エム. バーンバウム、
クリストファー ウルリッヒ、
クリストファー ウルリッヒ、
ロバート ラクロア、
ロバート ラクロア、
サトヴァー シング バティア、
サトヴァー シング バティア、
マイケル パウエル、
マイケル パウエル、
スティーブン ランク、
スティーブン ランク、
イヴァ セガルマン、
イヴァ セガルマン、
アマヤ ベッカー ウェドル、
アマヤ ベッカー ウェドル、
ペイジ レインズ、
ペイジ レインズ、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2015135678A publication Critical patent/JP2015135678A/ja
Application granted granted Critical
Publication of JP6516477B2 publication Critical patent/JP6516477B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8545Content authoring for generating interactive applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本願は、ユーザ生成コンテンツをオーサリングするためのシステム及び方法に関する。
(関連出願の相互参照)
本願は、2014年1月16日に提出され、“User Generated Content Authoring”と題された仮出願第61/928,357号への優先権を主張し、その全体は参照により本明細書に組み込まれる。
タッチ可能装置はますます人気になってきている。例えば、ユーザがタッチセンサ式ディスプレイのタッチ部分で入力を提供できるように、携帯式及び他の装置がタッチセンサ式ディスプレイを用いて構成される場合がある。別の例示として、トラックパッド、マウス又は他の装置等のディスプレイとは別のタッチ可能表面が入力に使用される場合がある。こうしたタッチ可能装置に多くの映像が表示される場合がある。更に、こうした装置は、映像作成及び編集の処理機能を有する。多くの装置は、触覚機能が更に装備される。従って、ユーザ生成コンテンツをオーサリングするためのシステム及び方法が必要とされている。
本発明の実施形態は、映像表示機能及び触覚信号を決定して触覚効果を出力する機能を特徴とする装置を含む。一部の実施形態では、こうした触覚効果は、タッチ領域において1つ以上の特徴をシミュレートする表面ベースの触覚効果を含んでもよい。限定されないが、特長には、テクスチャの変化、及び/又は境界、障害物若しくは表面と接触しているオブジェクトの使用を通じて知覚され得るタッチ面の他の不連続性のシミュレーションが含まれてもよい。一部の実施形態では、触覚効果は、表面変形、信号、及び当技術分野で周知の触覚効果を含んでもよい。一部の実施形態では、こうした触覚効果は、映像内の特徴、例えば、アクション効果又は映像内で発生する音声及び/又はアクションに関係付けられる効果をシミュレートする又は高めるために使用されてもよい。
一実施形態では、コンテンツオーサリングのための方法は、映像信号を受信するステップと、触覚オーサリングに関係付けられるユーザインターフェースを表示するステップと、触覚効果に関係付けられるジェスチャを検出するステップと、ジェスチャに部分的に基づいて触覚効果を決定するステップと、触覚効果を映像信号における場所と関係付けるステップと、映像信号及び関係付けられた触覚効果を記憶するステップとを含む。
別の例示の実施形態では、コンテンツオーサリングのためのシステムは、映像信号を受信して映像信号に関係付けられるユーザインターフェースを出力するように構成されるディスプレイと、ジェスチャを検出してジェスチャに関係付けられるセンサ信号を送信するように構成されるセンサと、センサ及びディスプレイと通信するプロセッサとを備え、プロセッサは、センサ信号を受信してジェスチャに部分的に基づいて触覚効果を決定し、触覚効果を映像信号における場所と関係付け、映像信号及び関係付けられた触覚効果を記憶するように構成される。
別の例示の実施形態は、プログラムコードを含む一時的でないコンピュータ可読媒体を含み、プログラムコードは、プロセッサによって実行されると、プロセッサに、映像信号を受信させ、触覚オーサリングに関係付けられるユーザインターフェースに関係付けられる表示信号をディスプレイに送信させ、触覚効果に関係付けられるジェスチャを検出させ、ジェスチャに基づいて触覚効果を決定させ、触覚効果を映像信号における場所と関係付け、映像信号及び関係付けられた触覚効果を記憶させるように構成される。
こうした例示の実施形態は、本主題の限界を限定又は定義するためではなく、その理解を支援するための例示を提供するために言及される。例示の実施形態は、詳細な説明において検討され、そこでは更なる説明が提供される。本明細書を吟味することによって、及び/又は請求項に記載の主題の1つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。
本明細書の以下の部分には完全且つ実施可能な開示がより詳細に説明される。本明細書は以下の添付の図面を参照する。
ユーザ生成コンテンツをオーサリングするための例示のシステムを示す。 図1Aで示されたシステムの一実施形態の外観図を示す。 図1Aで示されたシステムの別の実施形態の外観図を示す。 ユーザ生成コンテンツをオーサリングするための例示の実施形態を示す。 ユーザ生成コンテンツをオーサリングするための別の例示の実施形態を示す。 ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態を示す。 ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態を示す。 ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態を示す。 ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態を示す。 ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態を示す。 ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態を示す。 ユーザ生成コンテンツをオーサリングするための例示の実施形態のための方法のフローチャートである。
次に、多様な及び代替的な例示の実施形態並びに添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供される。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、更なる実施形態を生み出すために別の実施形態に対して使用されてもよい。従って、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。
(ユーザ生成コンテンツをオーサリングするための装置の例示)
本開示の例示の実施形態は、タブレット、Eリーダ、携帯電話、又はラップトップ若しくはデスクトップコンピュータ又は装着可能装置等のコンピュータ等の電子装置を含む。電子装置は、ディスプレイ(例えば、タッチスクリーンディスプレイ)、メモリ、及びこうした要素の各々と通信するプロセッサを備える。
例示の装置は、1つ以上の記録された映像を記憶するように構成されるメモリを含む。こうした映像は、リモートデータソース、例えば、インターネット上のデータベースからデータ接続を介してダウンロードされる映像を含んでもよい。代替的に、こうした映像は、例示の装置のユーザによってキャプチャされた映像を含んでもよい。例えば、例示の装置はデジタルカメラ(例えば、移動装置上の前部又は後部に設置されるカメラ)を含んでもよく、これによりユーザはデジタル画像及び映像をキャプチャしてもよい。例示の装置は、ユーザジェスチャを検出して、ユーザジェスチャに基づいてこうした映像にコンテンツを適用するセンサを含む。一部の実施形態では、コンテンツは、ユーザ生成コンテンツを含んでもよい。一部の実施形態では、コンテンツは、触覚効果、グラフィックス、音声又は他の種類のコンテンツを含んでもよい。
例示の実施形態では、移動装置は、本明細書に開示の実施形態によるコンテンツオーサリングのためのプログラムコードを含んでもよい。例示の実施形態では、このプログラムコードは、コンテンツオーサリング用のユーザインターフェースを表示するためのプログラムコードを含んでもよい。例示の実施形態によれば、ユーザは、コンテンツオーサリングのユーザインターフェースにおいて利用可能なカメラインターフェースを使用することにより映像をキャプチャしてもよい。例えば、一実施形態では、ユーザは、装置に関係付けられるカメラを使用して猫の映像をキャプチャしてもよい。代替的に、ユーザは、コンピュータ装置のデータストアで利用可能な又はネットワーク接続を介して利用可能な既存の映像を選択してもよい。例えば、ユーザは、最初から組み込まれている映像、例えば、スキーヤーの映像を選択してもよい。
例示の実施形態では、一旦映像を選択すると、ユーザはコンテンツオーサリングのインターフェースを介して触覚コンテンツを映像に適用してもよい。例示の実施形態では、ユーザは、映像内の場所を最初に選択することにより触覚コンテンツを適用してもよい。例えば、例示の実施形態では、ディスプレイの一部が映像からのフレームのシーケンスを含んでもよく、ユーザはそのフレームに関係付けられる映像内の場所を選択するためにこれと相互作用してもよい。例示の実施形態では、一旦映像内の場所を選択すると、ユーザは触覚効果をその場所に割り当ててもよい。一部の実施形態では、ユーザは、以下に更に詳細に記載されるように、ジェスチャを用いて触覚効果を割り当ててもよい。
例示の実施形態では、ユーザは、1つ以上の既定の触覚効果を選択してもよい。こうした効果は、触覚効果、感情をシミュレートするように構成される効果、アクションをシミュレートするように構成される効果、又は他の種類の効果を含んでもよい。一部の実施形態では、既定の触覚効果は、多次元触覚効果を含んでもよい。例えば、一部の実施形態では、触覚効果は、振動、表面ベースの効果、表面変形、又は当技術分野で周知の他の触覚効果の1つ以上を含んでもよい。更に、ユーザは、こうした効果の特徴を修正してもよい。例えば、ユーザは、持続時間、強度、周波数、又は任意の他の特徴を触覚効果に割り当ててもよい。上述の実施形態では、ユーザは、触覚効果を猫の映像に割り当ててもよい。触覚効果は、猫がのどを鳴らすことをシミュレートするように構成される振動を含んでもよい。
一部の実施形態では、ユーザは触覚効果を生成してもよい。例えば、ユーザは、装置と相互作用すること(例えば、装置を振ること又は装置上の場所を押すこと)により触覚効果を生成してもよい。こうしたジェスチャは、移動装置における1つ以上のセンサによりキャプチャされて、触覚効果に変換されてもよい。一部の実施形態では、装置における(複数の)触覚出力装置が、装置に対してX、Y又はZ平面に力を出力するように構成されてもよい。一部の実施形態では、こうした効果は、ディスプレイ上でオブジェクトが移動する感覚をシミュレートするように構成されてもよい。例えば、一実施形態では、多次元触覚効果は、X平面(左又は右)、Y平面(上又は下)、Z平面(ディスプレイの中へ又は外へ)、又はこうした各面のベクトルに移動するオブジェクト(例えば、以下に記載されるように適用されるステッカー)をシミュレートするように構成されてもよい。こうした触覚効果は、以下に更に詳細に検討される1つ以上の異なる種類の触覚出力装置により出力されてもよい。
一部の実施形態では、ユーザは多方向又は多次元触覚効果を生成してもよい。先に検討されたように、装置は、移動装置の動きを検出するように構成される1つ以上のセンサ(例えば、加速度計、ジャイロスコープ、カメラ、GPS、又は他のセンサ)及び表面の相互作用を検出するように構成されるセンサを含んでもよい。ユーザは、装置の表面でジェスチャ(例えば、タッチ、タップ、又はスワイプ)を行ってもよい。また、ユーザは、装置によるジェスチャを行ってもよい(例えば、装置を空間内で移動させ、傾け、回し、揺らし、又は回転させる)。こうしたジェスチャはセンサによってキャプチャされてもよい。次に、センサは、ジェスチャに関係付けられる信号をプロセッサに送信してもよい。プロセッサは、ジェスチャをシミュレートするように構成される1つ以上の触覚効果を決定してもよい。例えば、プロセッサは、装置を下方に動かしたジェスチャをシミュレートするためにZ平面に力を出力する触覚効果を決定してもよい。更に、プロセッサは、タッチスクリーンの表面におけるジェスチャをシミュレートするためにX又はY平面に出力する触覚効果(例えば、タッチスクリーンの表面における表面ベースの効果)も決定してもよい。
更に、例示の実施形態では、装置は、カメラ(例えば、移動装置の前部又は後部向きのカメラ)から受信したデータに部分的に基づいて触覚効果を決定してもよい。例えば、例示の実施形態では、ユーザは、カメラの可視範囲内でジェスチャを行ってもよい。カメラは、このジェスチャをキャプチャして、ジェスチャに関係付けられる信号をプロセッサに送信してもよい。プロセッサは、ジェスチャに関係付けられる触覚効果を決定してもよい。例えば、プロセッサは、ジェスチャをシミュレートするように構成される触覚効果を決定してもよい。一部の実施形態では、ジェスチャは、多次元ジェスチャを含んでもよい。このような実施形態では、カメラは、テニス等のゲームをプレーしているユーザの映像をキャプチャしてもよい。プロセッサは、ゲームに関係付けられる様々なジェスチャ(例えば、フォアハンド又はバックハンド等の手の動き、及びステップ等の足のジェスチャ)を決定してもよい。プロセッサは、こうしたジェスチャに関係付けられる触覚効果を決定してもよい。こうした触覚効果は、ユーザの映像に関係付けられてもよい。代替的に、こうした触覚効果は、触覚ライブラリに関係付けられて、他のアプリケーション又は映像で使用するために後で選択されてもよい。
一部の実施形態では、カメラは、ジェスチャをキャプチャし、こうしたジェスチャに関係付けられる触覚効果を決定し、次に触覚効果を異なる映像に関係付けてもよい。例えば、カメラは、ユーザが手をたたく等のジェスチャを行うことをキャプチャしてもよい。プロセッサは、このジェスチャに関係付けられる触覚効果を決定してもよい。この新しい触覚効果は、利用可能な触覚効果の触覚ライブラリに記憶されてもよい。更に、この新しい触覚効果は、映像、例えば、滑降するスキーヤーの映像に関係付けられてもよい。例えば、このような実施形態では、触覚効果は、例えば、スキーヤーが他のスキーヤーを追い越す、オブジェクトに衝突する、ターンする場合等、イベントが発生する映像内の場所に配置されてもよい。
例示の実施形態では、ユーザが触覚効果を割り当てた後で、ユーザインターフェースは効果が割り当てられた映像内の場所を示す指標を表示してもよい。例えば、触覚効果を適用するためにユーザが場所を選択したフレームのシーケンスは、触覚効果の場所においてオーバレイを含んでもよい。更に、オーバレイは、映像の長さと比較して触覚効果の持続時間を示すようにスケーリングされてもよい。
例示の実施形態では、ユーザは、映像内の場所にステッカー又はタグを更に適用してもよい。ステッカーは、既に生成されており、コンテンツオーサリングのインターフェースを介してユーザに利用可能なアニメーション又はグラフィックスを含んでもよい。代替的に、ステッカーは、ユーザによって生成されたグラフィックス、アニメーション及び/又は音声効果を含んでもよい。例示の実施形態では、ユーザは、触覚効果を映像に適用するためにユーザが行ったことに類似したアクションを行うことにより映像内の場所にステッカーを適用してもよい。例えば、先に検討された実施形態では、ユーザは、“purr”と綴る白のレタリングを有する赤いタグを含むステッカーを生成してもよい。次に、ユーザは、のどを鳴らすこと(purr)をシミュレートする触覚効果と同時に現れるようにこのステッカーを割り当ててもよい。
一部の実施形態では、オーサリングインターフェースは、音声効果をオーサリングするための機能を更に含んでもよい。例えば、ユーザは、既存の音声効果を選択し、又はインターフェースを使用して、例えばマイクロホンで若しくは装置と関係付けられた音声アプリケーションで新しい音声効果を作成してよい。例示の実施形態では、ユーザは、触覚効果を映像に適用するためにユーザが行ったことに類似したアクションを行うことにより映像内の場所に音声効果を適用してもよい。
例示の実施形態では、ユーザは、多数の種類のコンテンツ、例えば、多数の触覚効果、音声効果及びステッカーを映像中の多くの場所に適用してもよい。一旦ユーザがコンテンツの適用を完了すると、オーサリングアプリケーションは、映像、触覚効果、音声効果及びステッカーを記憶するであろう。例示の実施形態では、このデータは、単一のメディアファイル、例えば、MP4メディアファイルに一緒に記憶されてもよい。代替的に、各構成要素は、別々にファイルに記憶されてもよい。例えば、映像ファイルはその元のフォーマットで記憶されてもよく、音声ファイルはその元のフォーマットで記憶されてもよく、触覚データを含む触覚トラックは別に記憶されてもよい。
例示の実施形態では、次に、ユーザは、映像ファイルを再生して、割り当てられた触覚効果を感じると共に、割り当てられたステッカーを見てもよい。例えば、先に検討された実施形態では、ユーザが猫の映像を再生して、触覚効果が割り当てられた場所に映像が到達すると、装置は触覚効果を出力してもよい。更に、装置は、ステッカー、例えば、先に検討された実施形態では、“purr”というテキストを有するステッカー及び/又は関連付けられた音声効果を出力してもよい。更に例示の実施形態では、ユーザは映像を他のユーザに送信してもよく、そのユーザは映像を見ること及び割り当てられた触覚効果を感じること及びステッカーを見ることが可能であってもよい。
(ユーザ生成コンテンツをオーサリングするための例示のシステム)
図1Aは、ユーザ生成コンテンツをオーサリングするための例示のシステム100を示す。特に、この例示では、システム100は、バス106を介して他のハードウェアとインターフェース接続されるプロセッサ102を有するコンピュータ装置101を含む。RAM、ROM又はEEPROM等の任意の適切な有形の(及び一時的でない)コンピュータ可読媒体を含み得るメモリ104が、コンピュータ装置の動作を構成するプログラム要素を具現化する。この例示では、コンピュータ装置101は、1つ以上のネットワークインターフェース装置110、入力/出力(I/O)インターフェース要素112、及び追加の記憶装置114を更に含む。
ネットワーク装置110は、ネットワーク接続を容易にする1つ以上の任意の構成要素を表し得る。限定されないが、例示には、Ethernet(登録商標)、USB、IEEE1394等の有線インターフェース、及び/又はIEEE802.11、Bluetooth(登録商標)等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース(例えば、CDMA、GSM(登録商標)、UMTS又は他の移動通信ネットワーク)が含まれる。
I/O要素112は、1つ以上のディスプレイ、キーボード、マウス、スピーカ、マイクロホン、カメラ(例えば、移動装置の前部又は後部向きのカメラ)、及び/又はデータの入力又は出力に使用される他のハードウェア等の装置への接続を容易にするために使用されてもよい。記憶装置114は、装置101に含まれる磁気、光学、又は他の記憶媒体等の不揮発性記憶装置を表す。
(複数の)音声/映像出力装置115は、(複数の)プロセッサ102から信号を受信して、ユーザに音声又は映像出力を提供するように構成される1つ以上の装置を含む。例えば、一部の実施形態では、(複数の)音声/映像出力装置115は、タッチスクリーンディスプレイ、LCDディスプレイ、プラズマディスプレイ、CRTディスプレイ、プロジェクションディスプレイ、又は当技術分野で周知の何らかの他のディスプレイを含んでもよい。更に、音声/映像出力装置は、音声をユーザに出力するように構成される1つ以上のスピーカを含んでもよい。
システム100は、この例示では、装置101に統合されるタッチ面116を更に含む。タッチ面116は、ユーザの接触入力を感知するように構成される任意の表面を表す。1つ以上のセンサ108は、物体がタッチ面に接触する場合に接触領域における接触を検出して、プロセッサ102によってユーザに適切なデータを提供するように構成されてもよい。センサの任意の適切な数、種類、又は配置が使用され得る。例えば、抵抗性及び/又は容量性のセンサが、タッチ面116に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。別の例示として、接触位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。一部の実施形態では、センサ108及びタッチ面116は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、一部の実施形態では、タッチ面116及びセンサ108は、表示信号を受信して、ユーザに画像を出力するように構成されるディスプレイの上(overtop)に取り付けられるタッチスクリーンを含んでもよい。他の実施形態では、センサ108は、LED検出器を含んでもよい。例えば、一実施形態では、タッチ面116は、ディスプレイの側部に取り付けられるLED指検出器を含んでもよい。一部の実施形態では、プロセッサは単一のセンサ108と通信し、他の実施形態では、プロセッサは複数のセンサ108、例えば、第1のタッチスクリーン及び第2のタッチスクリーンと通信する。一部の実施形態では、1つ以上のセンサ108は、移動装置の運動を検出するように構成される1つ以上のセンサ(例えば、加速度計、ジャイロスコープ、カメラ、GPS、又は他のセンサ)を更に含む。こうしたセンサは、X、Y又はZ平面に装置を移動させるユーザ相互作用を検出するように構成されてもよい。センサ108は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ102に信号を送信するように構成される。一部の実施形態では、センサ108は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、センサ108は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。更に、一部の実施形態では、ユーザ相互作用は、装置から離れた多次元ユーザ相互作用を含む。例えば、一部の実施形態では、装置に関係付けられるカメラが、ユーザの動き、例えば、手、指、体、頭、目若しくは足の動作又は別の人物若しくはオブジェクトとの相互作用を検出するように構成されてもよい。
一部の実施形態では、入力は、ジェスチャを含んでもよい。ジェスチャは、意味又はユーザの意思を伝達する何らかの体の動きである。単純なジェスチャがより複雑なジェスチャを形成するように結合されてもよいことが理解されるであろう。例えば、指をタッチセンサ面と接触させることは「フィンガーオン」ジェスチャと呼ばれてもよく、指をタッチセンサ面から取り除くことは別の「フィンガーオフ」ジェスチャと呼ばれてもよい。「フィンガーオン」と「フィンガーオフ」ジェスチャとの間の時間が比較的短い場合、結合されたジェスチャは「タップ」と呼ばれてもよく、「フィンガーオン」と「フィンガーオフ」ジェスチャとの間の時間が比較的長い場合、結合されたジェスチャは「ロングタップ」と呼ばれてもよく、「フィンガーオン」及び「フィンガーオフ」ジェスチャの2次元(x、y)位置の間の距離が比較的大きい場合、結合されたジェスチャは「スワイプ」と呼ばれてもよく、「フィンガーオン」及び「フィンガーオフ」ジェスチャの2次元(x、y)位置の間の距離が比較的小さい場合、結合されたジェスチャは「スミア(smearing)」、「スマッジ(smudging)」又は「フリック」と呼ばれてもよい。任意の数の2次元又は3次元の単純な又は複雑なジェスチャが様々な態様で結合されて、限定されないが、装置への多数の指の接触、掌又は拳の接触、又は近接を含む任意の数の他のジェスチャを形成してもよい。また、ジェスチャは、加速度計、ジャイロスコープ又は他の運動センサを有する装置によって認識され、電気信号に変換される任意の形態の手の動きであり得る。このような電気信号は、仮想サイコロを振る等の動的効果をアクティブ化することができ、センサは動的効果を生成するユーザの意思をキャプチャする。
この例示では、触覚出力装置118がプロセッサ102と通信し、タッチ面116に結合される。一部の実施形態では、触覚出力装置118は、触覚信号に応じてタッチ面においてテクスチャをシミュレートする触覚効果を出力するように構成される。追加的又は代替的に、触覚出力装置118は、タッチ面を制御して動かす振動触覚効果を提供してもよい。一部の触覚効果は、装置の筐体に結合されるアクチュエータを利用してもよい。また、一部の触覚効果は、順番に及び/又は同時に複数のアクチュエータを使用してもよい。例えば、一部の実施形態では、表面テクスチャは、異なる周波数で表面を振動させることによりシミュレートされてもよい。このような実施形態では、触覚出力装置118は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ(ERM)又は線形共振アクチュエータ(LRA)の1つ以上を含んでもよい。一部の実施形態では、触覚出力装置118は、複数のアクチュエータ、例えば、ERM及びLRAを含んでもよい。
一部の実施形態では、1つ以上の触覚出力装置が、装置に対してX、Y又はZ平面に力を出力するように構成されてもよい。一部の実施形態では、こうした効果は、ディスプレイ内のオブジェクトが移動する感覚をシミュレートするように構成されてもよい。例えば、一実施形態では、多次元触覚効果は、X平面(左又は右)、Y平面(上又は下)、Z平面(ディスプレイの中へ又は外へ)、又はこうした面のベクトルに移動するオブジェクト(例えば、以下に記載されるように張られるステッカー)をシミュレートするように構成されてもよい。こうした多次元の触覚効果が特徴をシミュレートしてもよい。
本明細書では単一の触覚出力装置118が示されているが、複数の実施形態では、触覚効果を出力するために、例えば、タッチ面において表面テクスチャをシミュレートするために同じ又は異なる種類の複数の触覚出力装置が使用されてもよい。一実施形態では、超音波周波数で、例えば、一部の実施形態では20−25kHzよりも高い周波数で動作するアクチュエータ等を使用することによって、垂直に及び/又は水平にタッチ面116の一部又は全部を移動するために圧電アクチュエータが使用されてもよい。一部の実施形態では、偏心回転質量モータ及び線形共振アクチュエータ等の複数のアクチュエータが、異なるテクスチャ及び他の触覚効果を与えるために単独で又は同時に使用され得る。
更に他の実施形態では、触覚出力装置118は、タッチ面116の表面でテクスチャをシミュレートするために、例えば、静電表面アクチュエータを使用することによって、静電引力を使用してもよい。同様に、一部の実施形態では、触覚出力装置118は、タッチ面116の表面でユーザが感じる摩擦を変化させるために静電引力を使用してもよい。例えば、一実施形態では、触覚出力装置118は、触覚効果を生成するために機械的な動きの代わりに電圧及び電流を加える静電ディスプレイ又は任意の他の装置を含んでもよい。このような実施形態では、静電アクチュエータは、導電層及び絶縁層を含んでもよい。このような実施形態では、導電層は、任意の半導体又は銅、アルミニウム、金又は銀等の他の導電性材料であってもよい。また、絶縁層は、ガラス、プラスチック、ポリマ、又は任意の他の絶縁性材料であってもよい。
プロセッサ102は、導電層に電気信号を加えることによって静電アクチュエータを動作させてもよい。一部の実施形態では、電気信号は、導電層をタッチ面116に近い又は接触しているオブジェクトと容量結合するAC信号であってもよい。一部の実施形態では、AC信号は、高圧増幅器によって生成されてもよい。他の実施形態では、容量結合は、タッチ面116の表面における摩擦係数又はテクスチャをシミュレートしてもよい。例えば、一実施形態では、タッチ面116の表面は円滑であるが、容量結合はタッチ面116の表面の付近のオブジェクト間に引力を生み出してもよい。一部の実施形態では、オブジェクトと導電層との間の引力のレベルを変化させることは、タッチセンサ面116の表面で動くオブジェクトにおける擬似テクスチャを変化させること、又はオブジェクトがタッチ面116の表面で動くときに感じられる摩擦係数を変化させることができる。更に、一部の実施形態では、静電アクチュエータが、タッチ面116の表面において擬似テクスチャを変化させるために従来のアクチュエータと共に使用されてもよい。例えば、アクチュエータはタッチ面116の表面のテクスチャの変化をシミュレートするように振動してもよい。一方では同時に、静電アクチュエータがタッチ面116の表面において、又はコンピュータ装置101の別の部分(例えば、その筐体又は別の入力装置)において異なるテクスチャ又は他の効果をシミュレートしてもよい。
当業者であれば、摩擦係数を変化させること又は表面上のテクスチャをシミュレートすること等の触覚効果を出力するために多くの技術が使用され得ることを理解するであろう。例えば、一部の実施形態では、テクスチャは、表面再構成可能な触覚基板(限定されないが、例えば、繊維、ナノチューブ、電気活性ポリマ、圧電要素、又は形状記憶合金を含む)又は磁性流体からの接触に基づいてそのテクスチャを変化させるように構成される可撓性表面層を使用してシミュレートされ又は出力されてもよい。別の実施形態では、表面のテクスチャは、例えば、変形機構、空気若しくは流体ポケット、材料の局部変形、共振機構要素、圧電性材料、微小電気機械システム(“MEMS”)要素、熱流体ポケット、MEMSポンプ、可変多孔性膜(variable porosity membranes)、又は層流変調で、1つ以上の表面特徴を上昇又は下降させることによって変化させられてもよい。
一部の実施形態では、タッチ面116に近接した又は接触している体の部分をシミュレートすることによって触覚効果を生成するために静電アクチュエータが使用されてもよい。例えば、一部の実施形態では、ユーザの指の皮膚の神経終端又は静電アクチュエータに応答することができるスタイラスの構成要素をシミュレートしてもよい。例えば、皮膚の神経終端は、刺激されて、振動又は何らかのより具体的な感覚として静電アクチュエータ(例えば、容量結合)を感知してもよい。例えば、一実施形態では、静電アクチュエータの導電層が、ユーザの指の導電部分と結合するAC電圧信号を受信してもよい。ユーザがタッチ面116に触れてタッチ面上で自身の指を動かすと、ユーザは、チクチク、ザラザラ、ガタガタ、でこぼこ、粘々、又は何らかの他のテクスチャを感知してもよい。
メモリ104に関しては、例示のプログラム構成要素124、126及び128が、ユーザ生成コンテンツオーサリングを与えるために一部の実施形態では、装置がどのように構成され得るかを示すように描かれている。この例示では、検出モジュール124が、タッチの位置を決定するためにセンサ108を介してタッチ面116を監視するようにプロセッサ102を構成する。例えば、モジュール124は、タッチの存在又は不存在を追跡して、タッチが存在する場合、場所、経路、速度、加速度、圧力及び/又は経時的なタッチの他の特性を追跡するためにセンサ108をサンプリングしてもよい。
触覚効果決定モジュール126は、生成すべき触覚効果を選択するためのタッチ特性に関するデータを分析するプログラム構成要素を表す。例えば、一実施形態では、モジュール126は、接触の場所に基づいて、生成すべき触覚効果を決定するコードを含む。例えば、触覚効果決定モジュール126は、ユーザによって選択され得る1つ以上の最初から組み込まれている触覚効果を含んでもよい。こうした触覚効果は、(複数の)触覚出力装置118が生成することができる任意の種類の触覚効果を含んでもよい。更に、一部の実施形態では、モジュール126は、触覚効果の特性、例えば、効果の強度、周波数、持続時間、ディーティサイクル、又は触覚効果に関係付けられる任意の他の特性を操作するように構成されるプログラムコードを含んでもよい。一部の実施形態では、モジュール126は、例えば、グラフィカルユーザインターフェースを介して、こうした特性をユーザが操作できるようにするプログラムコードを含んでもよい。
更に、一部の実施形態では、モジュール126は、ユーザ相互作用に基づいて触覚効果を決定するように構成されるプログラムコードを含んでもよい。例えば、モジュール126は、タッチ面116におけるユーザ入力又は移動装置の動作を検出するように構成される慣性センサ等の他のセンサを監視するように構成されてもよい。モジュール126は、この入力を検出して、入力に基づいて触覚効果を生成してもよい。例えば、一部の実施形態では、モジュール126は、ユーザ相互作用をシミュレートするように構成される触覚効果を決定するように構成されてもよい。
触覚効果生成モジュール128は、プロセッサ102に触覚信号を生成させて触覚出力装置118に送信させ、それにより、触覚出力装置118に選択された触覚効果を生成させるプログラミングを表す。例えば、生成モジュール128は、記憶された波形又はコマンドにアクセスして、触覚出力装置118に送信してもよい。別の例示として、触覚効果生成モジュール128は、所望の種類のテクスチャを受信して、適切な信号を生成して触覚出力装置118に送信するために、信号処理アルゴリズムを利用してもよい。更なる例示として、触覚効果に関する目標座標と共に所望のテクスチャが示されて、表面(及び/又は他の装置要素)の適切な変位を生成して触覚効果を与えるために1つ以上のアクチュエータに適切な波形が送信されてもよい。一部の実施形態は、触覚効果を出力するために同時に複数の触覚出力装置を利用してもよい。例えば、インターフェース上でボタン間の境界を横断することをシミュレートするためにテクスチャの変化が使用されてもよい。一方で、触覚振動効果が、ボタンが押されたことをシミュレートする。
コンピュータシステムの特定の実施形態によっては、タッチ面がディスプレイを覆ってもよく、又は覆わなくてもよい(或いは、対応しても、対応してなくてもよい)。図1Bでは、コンピュータシステム100Bの外観図が示される。コンピュータ装置101は、装置のタッチ面及びディスプレイを組み合わせたタッチ可能ディスプレイ116を含む。タッチ面は、ディスプレイ外部又は実際のディスプレイ構成要素上の1つ以上の材料層に対応してもよい。
図1Cは、タッチ面がディスプレイをオーバレイしないタッチ可能コンピュータシステムの別の例を示す。この例示では、コンピュータ装置101は、装置101とインターフェース接続されたコンピュータシステム120に含まれるディスプレイ122に設けられるグラフィカルユーザインターフェースにマッピングされ得るタッチ面116を特徴とする。例えば、コンピュータ装置101は、マウス、トラックパッド、又は他の装置を含んでもよいが、コンピュータシステム120は、デスクトップ若しくはラップトップコンピュータ、セットトップボックス(例えば、DVDプレーヤ、DVR、ケーブルテレビボックス)、又は別のコンピュータシステムを含んでもよい。別の例示として、タッチ面116及びディスプレイ122は、ディスプレイ122を特徴付けるラップトップコンピュータにおけるタッチ可能トラックパッド等の同じ装置に配置されてもよい。ディスプレイと統合されるか否かに関わらず、本明細書の例示における平面的なタッチ面の描写は、限定することを意図していない。他の実施形態は、表面ベースの触覚効果を与えるように更に構成される湾曲した又は不規則なタッチ可能面を含む。
図2A−2Bは、ユーザ生成コンテンツをオーサリングするための装置の例示の実施形態を示す。図2Aは、タッチ可能ディスプレイ202を特徴とするコンピュータ装置201を含むシステム200の外観図を示す図面である。図2Bは、装置201の断面図を示す。装置201は図1Aの装置101と同様に構成され得るが、プロセッサ、メモリ及びセンサ等は明確のためこの図面には示されていない。
図2Bに見られるように、装置201は、複数の触覚出力装置218及び追加の触覚出力装置222を特徴とする。触覚出力装置218−1は、ディスプレイ202に垂直の力を与えるように構成されるアクチュエータを含んでもよいが、一方で218−2は横方向にディスプレイ202を動かしてもよい。この例では、触覚出力装置218、222はディスプレイに直接結合されているが、触覚出力装置218、222は別のタッチ面、例えば、ディスプレイ202の上にある材料の層に結合され得ることが理解されるべきである。更に、1つ以上の触覚出力装置218又は222が上記の静電アクチュエータを含んでもよいことが理解されるべきである。更に、触覚出力装置222は、装置201の構成要素を保持する筐体に結合されてもよい。図2A−2Bの例では、ディスプレイ202の領域はタッチ領域に対応するが、原理はディスプレイとは完全に分離したタッチ面に適用され得る。
一実施形態では、触覚出力装置218の各々は圧電アクチュエータを含むが、追加の触覚出力装置222は、偏心回転質量モータ、線形共振アクチュエータ又は別の圧電アクチュエータを含む。触覚出力装置222は、プロセッサからの触覚信号に応答して振動触覚効果を提供するように構成され得る。振動触覚効果は、表面ベースの触覚効果と併せて及び/又は他の目的で利用され得る。例えば、ディスプレイ202の表面におけるテクスチャをシミュレートするために各アクチュエータが併せて使用されてもよい。
一部の実施形態では、触覚出力装置218−1及び218−2のいずれか又は両方は、圧電アクチュエータ以外のアクチュエータを含み得る。いずれのアクチュエータも、例えば、圧電アクチュエータ、電磁アクチュエータ、電気活性ポリマ、形状記憶合金、可撓性複合圧電アクチュエータ(例えば、可撓性材料を含むアクチュエータ)、静電、及び/又は磁歪アクチュエータを含み得る。更に、触覚出力装置222が示されているが、複数の他の触覚出力装置が装置201の筐体に結合可能であり、及び/又は触覚出力装置222は別の場所に結合されてもよい。装置201は、同様に、異なる場所でタッチ面に結合される複数の触覚出力装置218−1/218−2を特徴としてもよい。
次に図3Aを参照すると、図3Aは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図3Aに示された実施形態は、コンピュータ装置300を含む。図3Aに示されたように、コンピュータ装置300は、タッチスクリーンディスプレイ302を備える。更に、図300に示されたように、多数の映像304がユーザに選択されるように利用可能である。映像304は、ローカルに保存された映像、リモートデータベース(例えば、インターネットアクセス可能データベース)、プライベートデータベースに保存された映像、コンピュータ装置300で利用可能なカメラを使用してキャプチャされた映像、又は他の何らかの種類の映像等の任意の数の利用可能な映像を含んでもよい。
図3Aに示される実施形態では、ユーザは、映像と相互作用するジェスチャを行うことによって1つ以上の映像304を選択してもよい。例えば、図3Aに示される実施形態では、ユーザは、タッチスクリーン302上でジェスチャを行うことによって映像304と相互作用してもよい。他の実施形態では、ユーザは、コンピュータマウス、タッチパッド、又は他のユーザインターフェース装置を使用してそれを選択することにより映像と相互作用してもよい。一旦映像の1つを選択すると、ユーザは、本明細書に記載のシステム及び方法を用いて生成されたコンテンツを映像に適用してもよい。
図3Bは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図3Bに示された実施形態は、コンピュータ装置350を含む。図3Bに示されたように、コンピュータ装置350は、タッチスクリーンディスプレイ302を備える。図3Bに示されたように、ユーザは、利用可能な映像の1つを選択しており、ユーザ生成コンテンツを適用しているところである。
図3Bに示されたように、移動装置350は、映像場所352のタイムラインを示すユーザインターフェースを備える。一部の実施形態では、映像場所352は、選択された映像内のフレームの縮小図を含む。タッチスクリーン302の右側の映像場所352Aは、映像の最初の場所を含んでもよい。タッチスクリーン302の左側の映像場所352Bは、映像の終了に向かう場所を含んでもよい。ユーザは、触覚効果を配置するために映像場所352を選択するジェスチャを行ってもよい。ユーザが映像場所352を選択すると、表示領域354は、映像内のその場所のより大きな画像を示してもよい。一旦場所を選択すると、ユーザは、本明細書に記載のシステム及び方法を用いて映像内のその場所に触覚効果等のユーザ生成コンテンツを適用してもよい。図3Bに示されるように、一部の実施形態では、映像場所352のこのタイムラインは、表示領域354において映像をオーバレイしてもよい。
図4Aは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図4Aに示された実施形態は、コンピュータ装置400を含む。図4Aに示されたように、コンピュータ装置400は、タッチスクリーンディスプレイ402を備える。図4Aに示されたように、ユーザは、映像内の場所を選択するジェスチャを行っており、触覚効果を適用しているところである。図4に示されるように、ユーザは、例示の触覚効果404の1つを選択してもよい。例えば、ユーザは、その触覚効果を選択するために触覚効果404に関係付けられる場所においてタッチスクリーン402と相互作用するジェスチャを行ってもよい。一旦ユーザが触覚効果を割り当てると、効果は映像内の選択された場所に関係付けられるであろう。
図4Aに示されるように、ユーザは、多数の異なる種類の利用可能な触覚効果404の1つを選択してもよい。例えば、図4Aに示されるように、ユーザは、触知効果、感情ベースの効果、アクションベースの効果等の広い部類の触覚効果から選択してもよい。更に、こうした効果は、例えば、ランプアップ(ramp up)、ランプダウン(ramp down)、バンプ(bump)、シャープヒット(sharp hit)、ダブルヒット(double hit)、テクスチャ、摩擦、鼓動、トゥインクル(twinkle)、驚き、ワオ(wow)、エンジェル、喝采、ヒュー(whoosh)、ポップ(pop)、バン(bam)、ポカン(pow)、破壊、ザップ(zap)、又は振動、表面ベースの効果、表面変形若しくは当技術分野で周知の他の種類の触覚効果を用いて生成され得る何らかの他の種類の触覚効果を含んでもよい。
他の実施形態では、ユーザは触覚効果を生成してもよい。例えば、ユーザは、装置でジェスチャを行うこと(例えば、装置を振ること又は装置上の場所を押すこと)により触覚効果を生成してもよい。このジェスチャは、移動装置における1つ以上のセンサ(例えば、心拍センサ、加速度計、又は動作を検出するように構成されるセンサ)によってキャプチャされて、触覚効果に変換されてもよい。更に、一部の実施形態では、ユーザは、多数の触覚効果を映像中の単一の又は多数の場所に適用してもよい。
更に、一部の実施形態では、移動装置400は、触覚効果の特性、例えば、効果の強度、周波数、持続時間、ディーティサイクル、又は触覚効果に関係付けられる任意の他の特性をユーザが操作できるように構成されるユーザインターフェースを表示するためのプログラムコードを含んでもよい。これにより、ユーザは、既存の触覚効果を取って、特定の映像に対して、例えば、ユーザが他のユーザと共有することを意図する映像に対して効果をパーソナライズすることができる。
図4Bは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図4Bに示された実施形態は、コンピュータ装置450を含む。図4Bに示されたように、コンピュータ装置450は、タッチスクリーンディスプレイ402を備える。図4Bに示されるように、ユーザは、既に映像内の場所を選択しており、映像内に触覚効果を配置するジェスチャを行っている。図4Bに示される実施形態では、ユーザは、映像内の触覚効果の場所を微調整することができる。例えば、図4に示されるように、ユーザは、触覚効果を前方に少しずつ動かすジェスチャ(例えば、.2秒等の少量だけ効果を前方に動かす)又は触覚効果を後方に少しずつ動かすジェスチャ(例えば、.2秒等の少量だけ効果を後方に動かす)を行うことができる。また、ユーザは、映像から効果を消去することもできる。
更に、図4Bに示されるように、特徴454は、映像の長さとの比較により触覚効果の持続時間を示す。図4Bに示される実施形態では、特徴454は、完全な映像の長さと比較して触覚効果の持続時間に一致する長さのオーバレイを含む。従って、例えば、図4Bに示される実施形態では、映像は、特徴454によって表された効果の持続時間の倍数である持続時間を含んでもよい。一部の実施形態では、ユーザは触覚効果の持続時間を増加又は減少させてもよく、特徴454の同等の長さが対応する変化を有してもよい。
図5Aは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図5Aに示された実施形態は、コンピュータ装置500を含む。図5Aに示されたように、コンピュータ装置500は、タッチスクリーンディスプレイ502を備える。図5Aに示される実施形態では、ユーザは、映像内の場所にステッカー又はタグを適用している。ステッカーは、既に生成されており、コンテンツオーサリングのインターフェースを介してユーザに利用可能なアニメーション又はグラフィックスを含んでもよい。こうしたステッカーは、図5Aではステッカー504として示される。一部の実施形態では、ステッカーは、ユーザによって作成されるグラフィックス又はアニメーション、又は選択的に音声効果を含んでもよい。例えば、ユーザは、別の描画モードに入ってもよい。ここで、ユーザは、例えば、描画アプリケーションのプラグインで新しいステッカーを描いてもよく、又は例えば、ステッカーにテキスト又はアニメーションを追加することで既存のステッカーを修正してもよい。
図5に示される実施形態では、ユーザは、触覚効果を映像に適用するためにユーザが行ったことに似たアクションを行うことにより映像内の場所にステッカーを適用してもよい。例えば、図5に示される実施形態では、ユーザは、映像内の所定の場所にハート形状のステッカーを適用してもよい。一部の実施形態では、この場所は、関連する触覚効果と同じ場所であってもよい。例えば、ユーザは、ハート形状のステッカー及び映像内の同じ場所で鼓動するハートをシミュレートするように構成される触覚効果を適用してもよい。他の実施形態では、ユーザは、触覚効果に関係付けられない場所でステッカーを適用してもよい。更に、一部の実施形態では、ユーザは、対応する触覚効果に関係付けられ得る又は関係付けられない場所で多数のステッカーを適用してもよい。
図5Bは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図5Bに示された実施形態は、コンピュータ装置550を含む。図5Bに示されたように、コンピュータ装置550は、タッチスクリーンディスプレイ502を備える。図5Bに示される実施形態では、ユーザは、1つ以上の触覚効果及び1つ以上のステッカーを既に選択して割り当てている。図5Bに示される実施形態では、ユーザは映像を見てもよい。映像内の割り当てられた場所において、コンピュータ装置550は、触覚効果を出力してステッカーを表示するであろう。更に、一部の実施形態では、ユーザは映像及び関連する触覚データを共有してもよい。例えば、一実施形態では、ユーザは、埋め込まれた触覚データを含む映像ファイルを共有してもよい。別の実施形態では、ユーザは、映像ファイルを共有し、触覚データを含む触覚トラックも共有してもよい。
(ユーザ生成コンテンツをオーサリングするための方法)
図6は、一実施形態によるユーザ生成コンテンツをオーサリングするための方法を実行するためのステップのフローチャートである。一部の実施形態では、図6のステップは、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図6に示される1つ以上のステップは省略され又は異なる順番で行われてもよい。同様に、一部の実施形態では、図6に示されない追加のステップが実行されてもよい。以下のステップは図1に示されたコンピュータ装置100に関して記載された構成要素を参照して記載される。
方法600は、ステップ602において、コンピュータ装置100が映像信号を受信すると開始する。映像信号は、リモートデータベース(例えば、インターネットアクセス可能データベース)から受信した映像信号、例えば、メモリ104又は記憶装置114等のデータストアでローカルに保存された映像信号、又はコンピュータ装置101のカメラを用いてキャプチャされた映像を含んでもよい。
次に、プロセッサ102は、ユーザインターフェースを表示する(604)。一部の実施形態では、プロセッサは、コンピュータ装置101のタッチスクリーンディスプレイ等のディスプレイにユーザインターフェースを表示してもよい。ユーザインターフェースは、図3A−5Bに関して先に記載された種類のタッチ可能ユーザインターフェースを含んでもよい。ユーザインターフェースは、本明細書に記載の実施形態に従ってユーザ生成コンテンツのオーサリングを可能にするタッチ可能機能を含む。例えば、ユーザインターフェースは、映像選択、触覚効果選択、触覚効果調節、触覚効果配置、触覚効果作成、ステッカー選択、ステッカー配置、ステッカー修正、映像の保存及び映像の再生のためのインターフェースを含む。一部の実施形態では、ユーザは、ジェスチャ、例えば、ユーザインターフェースに関係付けられるジェスチャを行うことにより映像を選択してもよい。
次に、プロセッサ102は、触覚効果に関係付けられるジェスチャを検出する(606)。一部の実施形態では、ジェスチャは、タッチ面116によるユーザ入力を含んでもよい。一実施形態では、このジェスチャ、例えば、タッチスクリーンディスプレイの表面におけるジェスチャは、既存の触覚効果を選択してもよい。一部の実施形態では、このジェスチャは、1つ以上のセンサ108によって検出されて、プロセッサ102によって触覚効果に変換されるジェスチャを含んでもよい。先に検討されたように、装置は、移動装置の動きを検出するように構成される1つ以上のセンサ及び表面の相互作用を検出するように構成されるセンサを含んでもよい。ユーザは、装置の表面でジェスチャ(例えば、タッチ、タップ、又はスワイプ)を行ってもよい。また、ユーザは、装置によるジェスチャを行ってもよい(例えば、装置を空間内で移動させ、傾け、回し、揺らし、又は回転させる)。こうしたジェスチャはセンサによってキャプチャされてもよい。次に、センサは、ジェスチャに関係付けられる信号をプロセッサに送信してもよい。更に、一部の実施形態では、ジェスチャは、装置のカメラ(例えば、移動装置の前部若しくは後部向きカメラ又はリモートカメラ)によってキャプチャされるジェスチャを含んでもよい。カメラは、このジェスチャをキャプチャして、ジェスチャに関係付けられる信号をプロセッサ102に送信してもよい。ステップ608に関して更に検討されるように、プロセッサは、ジェスチャをシミュレートするように構成される1つ以上の触覚効果を決定してもよい。
次に、プロセッサは触覚効果を決定する(608)。一部の実施形態では、プロセッサ102は、ユーザ選択に基づいて触覚効果を決定してもよい。例えば、図4Aに関して検討されるように、ユーザは利用可能な触覚効果を選択してもよい。例えば、コンピュータ装置101のデータストアは、ユーザが選択し得る多数の触覚効果に関係付けられるデータを含んでもよい。更に、ユーザは、触覚効果に関係付けられる特性を調節してもよい。例えば、ユーザは、触覚効果に関係付けられる持続時間、周波数、強度、又は触覚効果に関係付けられる何らかの他の特性を修正してもよい。一部の実施形態では、プロセッサ102は、触覚効果を自動的に選択してもよい。例えば、一部の実施形態では、プロセッサ102は、映像内で起こるイベントに関係付けられる触覚効果を選択してもよい。こうしたイベントは、映像イベント又は音声イベントを含んでもよい。例えば、プロセッサ102は、例えば、滑降するスキーヤーの映像において発生するアクションイベントに触覚効果を関係付けてもよく、プロセッサ102は、スキーヤーの各衝突に関係付けられる触覚効果を決定してもよい。代替的に、プロセッサは、映像に関係付けられる鋭い音声、例えば、スキー映像における最初の銃の発射を検出して、この音声に触覚効果を関係付けてもよい。
一部の実施形態では、プロセッサ102は、映像信号における音声を考慮せずに、映像信号における画像に基づいて触覚効果を決定してもよい。他の実施形態では、プロセッサ102は、映像信号の画像成分を使用せずに、触覚効果を決定するために信号における音声を使用してもよい。一部の実施形態では、プロセッサ102は、映像信号の視覚及び聴覚部分の両方を使用してもよい。更に、一部の実施形態では、プロセッサ102は、別個の音声及び映像ストリームを受信して、触覚効果を決定するために両者を一緒に又は別々に使用してもよい。
一部の実施形態では、プロセッサ102は、ジェスチャに基づいて新しい触覚を作成してもよい。例えば、ユーザは、装置と相互作用すること(例えば、装置を振ること又は装置上の場所を押すこと)により触覚効果を生成してもよい。この相互作用は、移動装置における1つ以上のセンサ108によりキャプチャされて、触覚効果に変換されてもよい。例えば、一実施形態では、ユーザは、装置を激しく振ることにより新しい触覚効果を作成してもよい。この振ることは、慣性センサによって検出されてもよい。プロセッサ102は、装置が激しく振られることをシミュレートするように構成される触覚効果を決定するために慣性センサからの信号を使用してもよい。一部の実施形態では、プロセッサ102は、ユーザ相互作用に関係付けられる特性に基づいて触覚効果を決定する。例えば、プロセッサ102は、ユーザ相互作用の種類、場所、持続時間、又は他の特性に基づいて触覚効果を決定してもよい。更に、プロセッサ102は、多次元触覚効果を決定してもよい。例えば、プロセッサ102は、装置を下方に動かしたジェスチャをシミュレートするためにZ平面に力を出力する触覚効果を決定してもよい。更に、プロセッサは、タッチスクリーンの表面におけるジェスチャをシミュレートするためにX又はY平面に出力する触覚効果(例えば、タッチスクリーンの表面における表面ベースの効果)も決定してもよい。一部の実施形態では、こうした触覚効果は、映像内のオブジェクト(例えば、ユーザによって追加されたステッカー又は既に映像にあるオブジェクト)が動く感覚をシミュレートしてもよい。例えば、触覚効果は、オブジェクトが左右に、上下に、前後に動き、動作中に傾斜し、又はディスプレイの内外に動く感覚をシミュレートしてもよい。一部の実施形態では、こうした触覚効果は、ディスプレイにおける視覚効果、例えば、ステッカーに関係付けられるアニメーションに対応してもよい。
例えば、一実施形態では、ユーザは、タッチスクリーンの左側にあるオブジェクトをタップして、タッチスクリーンの右側にオブジェクトを移動させることによりオブジェクトが左から右に動く感覚をシミュレートするように構成される触覚効果を作成してもよい。プロセッサは、ディスプレイの左側からディスプレイの右側に動くオブジェクトの「質量(mass)」をシミュレートするように構成される触覚を決定してもよい。
一部の実施形態では、コンピュータ装置101は関連する「触覚プロファイル」を記憶してもよく、ユーザは利用したい触覚効果の「プロファイル」を決定してメモリ104に保存することができる。例えば、一実施形態では、ユーザは、どの触覚効果を映像に挿入したいかをオプションのリストから選択することができる。
一部の実施形態では、プロセッサ102は、コンピュータ装置101で利用可能な(複数の)触覚出力装置に部分的に基づいて触覚効果を決定してもよい。一部の実施形態では、プロセッサ102は、コンピュータ装置101に関係付けられる帯域幅の制約に基づいて触覚効果を決定してもよい。例えば、一部の実施形態では、コンピュータ装置101は、単一の触覚出力装置118を備えてもよい。このような実施形態では、プロセッサ102は、一度に1つの触覚効果が出力されることを決定してもよい。他の実施形態では、コンピュータ装置101は、複数の触覚出力装置118を含んでもよい。このような実施形態では、プロセッサ102は、多数の重畳する触覚効果が出力されることを決定してもよい。更に、このような実施形態では、プロセッサ102は、触覚出力装置118によって同時に出力される2つ以上の触覚効果の結合により生成される調和によって出力される複合触覚効果を決定してもよい。
次に、プロセッサ102は、触覚効果を映像信号に関係付ける(610)。図3B及び4Bに関して先に検討されたように、ユーザは触覚効果を配置するために映像内の場所を選択してもよい。この場所は、映像におけるイベントに関係付けられてもよい。例えば、ユーザは、映像において所定回数発生するように触覚効果を選択してもよい。例えば、映像が滑降するスキーヤーの映像を含む先に検討された実施形態では、ユーザは、スキーヤーが他のオブジェクトと衝突する場所に触覚効果を関係付けてもよい。こうした触覚効果は、映像の鑑賞体験を向上させてもよい。更に、一部の実施形態では、プロセッサ102は、触覚効果を配置する映像内の場所を自動的に選択するように構成されてもよい。例えば、プロセッサは、映像に関係付けられるアクション、遷移、移動又は他の特性等の特徴を検出して、こうした特長に関係付けられる場所に触覚効果を配置するように構成されてもよい。
次に、プロセッサ102は、ステッカーを映像信号に関係付ける(612)。図5Aに関して先に検討されたように、ユーザは、ステッカーを選択して、ステッカーが現れる映像内の場所も選択してもよい。先に検討されたように、ユーザは、既存のステッカーを選択してもよい。代替的に、ユーザは、新しいステッカーを作成してもよい。例えば、プロセッサは、新しいステッカーを作成するためのインターフェースを表示してもよい。このインターフェースは、ステッカーを描画及び修正するための特徴を含んでもよい。更に、一部の実施形態では、ユーザは、ステッカーにテキスト、アニメーション又は他の特徴を適用することにより既存のステッカーを修正してもよい。
次に、プロセッサ102は、映像信号、触覚効果及びステッカーを記憶する(614)。一部の実施形態では、プロセッサは、単一のファイル、例えば、MP4ファイルにこうした成分の各々を記憶してもよい。他の実施形態では、任意の既知の映像ファイルフォーマット、例えば、MP2トランスポートストリーム、HDライブストリーム、1つ以上の種類のMPEG、又は当技術分野で周知の他の映像フォーマットが使用されてもよい。一部の実施形態では、プロセッサは、映像信号、触覚効果及びステッカーを別個のファイルに記憶してもよい。例えば、プロセッサは、映像ファイルに同期された触覚トラックを作成してもよい。
次に、プロセッサ102は、映像、ステッカー及び触覚効果を出力する。映像及びステッカーは、ディスプレイを用いて出力されてもよい。一部の実施形態では、ステッカーは、再生中に映像内で動くアニメーション化されたステッカーを含んでもよい。他の実施形態では、ステッカーは、動かない固定ステッカーを含んでもよい。例えば、ステッカーはテキストボックスを含んでもよい。
触覚効果を出力するために、プロセッサ102は、触覚効果を出力する触覚出力装置118に触覚効果に関係付けられる触覚信号を送信してもよい。触覚効果は、テクスチャ(例えば、砂質、凹凸又は円滑)、振動、知覚される摩擦係数の変化、温度の変化、ストローク感、電気触知効果、又は変形(即ち、コンピュータ装置101に関係付けられる表面の変形)を含んでもよい。
追加して又は代替的に、一部の実施形態では、コンピュータ装置101は、音声及び/又は情報をディスプレイに出力してもよい。音声及び/又は情報は、オブジェクトの特性及び/又は機能に関係付けられてもよい。
(ユーザ生成コンテンツのオーサリングの利点)
ユーザ生成コンテンツのオーサリングには多くの利点がある。例えば、映像の触知性強化は、創作的なコンテンツ作成への道を開いてもよい。アニメーション化されたステッカー又は触知のみと向上したアニメーション化されたステッカーとの結合は、映像作成におけるユーザ体験に対する追加のはけ口を更に提供してもよい。更に、アニメーション化されたオーバレイ概念に追加された追加の特徴として触知性強化の使用(例えば、映画内のアニメーション化されたステッカー)は、ユーザ体験を更に高めることができる。
本開示の一部の実施形態は、サードパーティアプリケーションの構成要素又は装置内アプリケーションの構成要素として実装され得る。一部の実施形態では、本明細書に開示のシステム及び方法は、複数の装置の間で互換性があり、例えば、映像又は触覚トラックはプラットフォームとは独立しており、一旦作成されると任意の装置で再生可能であってもよい。
(概論)
上記の方法、システム及び装置は例示である。様々な構成によって、適宜、様々な手続き又は構成要素が省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び/又はステージが追加、省略及び/又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は請求項の範囲を限定しない。
例示的な構成(実装を含む)の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、こうした構成は特定の詳細なしで実施されてもよい。例えば、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細なしで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、当業者に記載された技術を実装するための実施可能な説明を提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。
また、構成は、流れ図又はブロック図として描かれる処理として記載されてもよい。各々が連続した工程として操作を説明している場合があるが、こうした操作の多くは並列的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の一時的でないコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。
複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムの構成要素であってもよく、他の規則が本発明のアプリケーションに優先し又はそれを修正してもよい。また、上記の要素が検討される前、間、又は後で多くのステップが行われてもよい。従って、先の記載によって請求項の範囲は縛られない。
本明細書における「適合される」又は「構成される」の使用は、追加のタスク又はステップを実行するように適合又は構成される装置を排除しない開放的且つ包括的な言語を意図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており、即ち、1つ以上の記載された条件又は値に「基づく」処理、ステップ、計算、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。
本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせに実装され得る。一実施形態では、コンピュータは、1つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるRAM(random access memory)等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。
このようなプロセッサは、マイクロプロセッサ、DSP(digital signal processor)、ASIC(application−specific integrated circuit)、FPGA(field programmable gate array)、及び状態機械を含む。このようなプロセッサは、PLC、PIC(programmable interrupt controller)、PLD(programmable logic device)、PROM(programmable read−only memory)、EPROM又はEEPROM(electronically programmable read−only memory)、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。
このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることが出来る命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー(登録商標)ディスク、CD−ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他の装置は、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、1つ以上の構造内にあってもよく、1つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の1つ以上の方法(又は方法の一部)を実行するためのコードを備えてもよい。
本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化、及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び/又は追加を含むことを排除しないことが理解されるべきである。

Claims (22)

  1. 映像信号を受信するステップと、
    触覚オーサリングに関係付けられるユーザインターフェースを表示するステップと、
    触覚効果に変換されるジェスチャを検出するステップであって、前記ジェスチャは移動装置を動かすことであるステップと、
    前記ジェスチャに部分的に基づいて触覚効果を決定するステップであって、前記触覚効果は前記移動装置が動く方向に力を出力することにより前記移動装置のディスプレイに表示されたオブジェクトが動く感覚をシミュレートするように構成されるステップと、
    前記触覚効果を前記映像信号内の場所と関係付けるステップと、
    前記映像信号及び関係付けられた触覚効果を記憶するステップと
    を含む、コンテンツオーサリングのための方法。
  2. 前記ユーザインターフェースは、前記映像信号に関係付けられる画像及び前記画像の上にタイムラインを含む、請求項1に記載の方法。
  3. 前記タイムラインは、前記触覚効果のグラフィカル表現を含む、請求項2に記載の方法。
  4. 前記映像信号は、移動装置のカメラから受信される信号を含む、請求項1に記載の方法。
  5. 記移動装置を動かすジェスチャは、加速度計、ジャイロスコープ、カメラ及びGPSの少なくとも1つによって検出される、請求項1に記載の方法。
  6. 前記映像信号及び前記関係付けられた触覚効果を記憶するステップは、前記映像信号及び前記関係付けられた触覚効果を単一のメディアファイルに記憶することを含む、請求項1に記載の方法。
  7. 前記映像信号及び関係付けられた触覚効果を記憶するステップは、前記映像信号を前記触覚効果とは別のファイルに記憶することを含む、請求項1に記載の方法。
  8. 前記オブジェクトはステッカーを含み、
    前記映像信号に前記ステッカーを関係付けるステップを更に含む、請求項1に記載の方法。
  9. 前記ステッカーは、ユーザが選択したステッカーを含む、請求項8に記載の方法。
  10. 前記ステッカー、前記映像信号、及び前記関係付けられた触覚効果を単一のファイルに記憶するステップを更に含む、請求項8に記載の方法。
  11. コンテンツオーサリングのためのシステムであって、
    映像信号を受信して、前記映像信号に関係付けられるユーザインターフェースを出力するように構成されるディスプレイと、
    触覚効果に変換されるジェスチャを検出して、前記ジェスチャに関係付けられるセンサ信号を送信するように構成されるセンサであって、前記ジェスチャは前記システムを動かすことであるセンサと、
    前記センサ及び前記ディスプレイと通信するプロセッサであって、
    前記センサ信号を受信して、前記ジェスチャに部分的に基づいて前記触覚効果を決定することであって、前記触覚効果は前記システムが動く方向に力を出力することにより前記システムの前記ディスプレイに表示されたオブジェクトの動きをシミュレートするように構成されること、
    前記触覚効果を前記映像信号内の場所と関係付けること、及び
    前記映像信号及び関係付けられた触覚効果を記憶すること
    を行うように構成されるプロセッサと
    を備える、ステム。
  12. 前記ユーザインターフェースは、前記映像信号に関係付けられる画像及び前記画像の上にタイムラインを含む、請求項11に記載のシステム。
  13. 前記タイムラインは、前記触覚効果のグラフィカル表現を含む、請求項12に記載のシステム。
  14. 画像をキャプチャするように構成されるカメラを更に備え、前記映像信号が前記画像に関係付けられる、請求項11に記載のシステム。
  15. システムを動かすジェスチャは、加速度計、ジャイロスコープ、カメラ及びGPSの少なくとも1つを含む前記センサによって検出される、請求項11に記載のシステム。
  16. 前記映像信号及び前記関係付けられた触覚効果を記憶することは、前記映像信号及び前記関係付けられた触覚効果を単一のメディアファイルに記憶することを含む、請求項11に記載のシステム。
  17. 前記オブジェクトはステッカーを含み、
    前記プロセッサは、前記映像信号に前記ステッカーを関係付けるように更に構成される、請求項11に記載のシステム。
  18. 前記ステッカーは、ユーザが選択したステッカーを含む、請求項17に記載のシステム。
  19. 前記プロセッサは、前記ステッカー、前記映像信号、及び前記関係付けられた触覚効果を単一のファイルに記憶するように更に構成される、請求項18に記載のシステム。
  20. 前記プロセッサと通信する触覚出力装置を更に備える、請求項11に記載のシステム。
  21. 前記触覚出力装置は、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ(ERM)又は線形共振アクチュエータ(LRA)の1つ以上を含む、請求項20に記載のシステム。
  22. プロセッサによって実行されると、前記プロセッサに
    映像信号を受信すること、
    触覚オーサリングに関係付けられるユーザインターフェースに関係付けられる表示信号をディスプレイに送信すること、
    触覚効果に変換されるジェスチャを検出することであって、前記ジェスチャは移動装置を動かすことであること
    前記ジェスチャに基づいて触覚効果を決定することであって、前記触覚効果は前記移動装置が動く方向に力を出力することにより前記移動装置の前記ディスプレイに表示されたオブジェクトの動きをシミュレートするように構成されること、
    前記触覚効果を前記映像信号内の場所と関係付けること、及び
    前記映像信号及び関係付けられた触覚効果を記憶すること
    を行わせるように構成されるプログラムコードを含む、一時的でないコンピュータ可読媒体。
JP2015005703A 2014-01-16 2015-01-15 ユーザ生成コンテンツをオーサリングするためのシステム及び方法 Expired - Fee Related JP6516477B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461928357P 2014-01-16 2014-01-16
US61/928,357 2014-01-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019031909A Division JP2019125376A (ja) 2014-01-16 2019-02-25 ユーザ生成コンテンツをオーサリングするためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2015135678A JP2015135678A (ja) 2015-07-27
JP6516477B2 true JP6516477B2 (ja) 2019-05-22

Family

ID=52434541

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015005703A Expired - Fee Related JP6516477B2 (ja) 2014-01-16 2015-01-15 ユーザ生成コンテンツをオーサリングするためのシステム及び方法
JP2019031909A Pending JP2019125376A (ja) 2014-01-16 2019-02-25 ユーザ生成コンテンツをオーサリングするためのシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019031909A Pending JP2019125376A (ja) 2014-01-16 2019-02-25 ユーザ生成コンテンツをオーサリングするためのシステム及び方法

Country Status (5)

Country Link
US (2) US10437341B2 (ja)
EP (2) EP2897026A1 (ja)
JP (2) JP6516477B2 (ja)
KR (1) KR20150085801A (ja)
CN (1) CN104793737B (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971406B2 (en) * 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback
US10739971B2 (en) * 2015-06-05 2020-08-11 Apple Inc. Accessing and displaying information corresponding to past times and future times
KR20180048629A (ko) * 2015-09-25 2018-05-10 임머숀 코퍼레이션 햅틱 효과 설계 시스템
KR102512840B1 (ko) 2015-10-15 2023-03-22 삼성전자주식회사 실행 화면 레코딩 방법 및 그 방법을 처리하는 전자 장치
US10031580B2 (en) * 2016-01-13 2018-07-24 Immersion Corporation Systems and methods for haptically-enabled neural interfaces
US10102723B2 (en) 2016-10-31 2018-10-16 Immersion Corporation Dynamic haptic generation based on detected video events
US10101813B2 (en) * 2016-12-14 2018-10-16 Immersion Corporation Automatic haptic generation based on color features and motion analysis
US10147460B2 (en) * 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
FR3064504B1 (fr) * 2017-03-31 2022-02-04 Commissariat Energie Atomique Interface offrant une modulation de friction localisee par lubrification acoustique
US10194128B2 (en) 2017-06-12 2019-01-29 Amazon Technologies, Inc. Systems and processes for generating a digital content item
US10684689B2 (en) * 2018-04-20 2020-06-16 Immersion Corporation Cross-platform dynamic haptic effect design tool for augmented or virtual reality environments
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
CN109379485B (zh) * 2018-09-26 2021-03-19 腾讯数码(天津)有限公司 应用程序的反馈方法、装置、终端及存储介质
US20200150765A1 (en) * 2018-11-14 2020-05-14 Immersion Corporation Systems and methods for generating haptic effects based on visual characteristics
US20200192480A1 (en) * 2018-12-18 2020-06-18 Immersion Corporation Systems and methods for providing haptic effects based on a user's motion or environment
CN110572709B (zh) * 2019-08-30 2022-01-25 杭州影笑科技有限责任公司 一种贴纸快捷定位方法
US10972682B1 (en) * 2019-12-12 2021-04-06 Facebook, Inc. System and method for adding virtual audio stickers to videos
JP2022541968A (ja) * 2020-06-30 2022-09-29 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド ビデオ処理方法、装置、電子機器及び記憶媒体
US11579838B2 (en) * 2020-11-26 2023-02-14 Verses, Inc. Method for playing audio source using user interaction and a music application using the same
US11989348B2 (en) 2020-12-31 2024-05-21 Snap Inc. Media content items with haptic feedback augmentations
EP4272059A1 (en) 2020-12-31 2023-11-08 Snap Inc. Electronic communication interface with haptic feedback response
CN116670635A (zh) 2020-12-31 2023-08-29 斯纳普公司 具有触觉反馈的实时视频通信界面
US12050729B2 (en) 2021-03-31 2024-07-30 Snap Inc. Real-time communication interface with haptic and audio feedback response
EP4343492A1 (en) * 2021-05-19 2024-03-27 Alps Alpine Co., Ltd. Sensation control method, sensation control system, conversion model generation method, conversion model generation system, relational expression conversion method, and program
CN113949900B (zh) * 2021-10-08 2023-11-24 上海哔哩哔哩科技有限公司 直播贴图处理方法、系统、设备及存储介质
US11809630B1 (en) * 2022-04-21 2023-11-07 Meta Platforms Technologies, Llc Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof
CN118550490A (zh) * 2023-02-27 2024-08-27 京东方科技集团股份有限公司 一种触觉交互信息处理方法、装置及设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250689A (ja) 1999-03-03 2000-09-14 Minolta Co Ltd 仮想物体呈示システム
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
GB0426247D0 (en) * 2004-11-25 2004-12-29 Koninkl Philips Electronics Nv User interface for content authoring
EP1758398A1 (en) 2005-08-23 2007-02-28 Syneola SA Multilevel semiotic and fuzzy logic user and metadata interface means for interactive multimedia system having cognitive adaptive capability
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
KR100827241B1 (ko) 2006-12-18 2008-05-07 삼성전자주식회사 동적 영상물을 생성하기 위한 템플릿을 편집하는 장치 및방법
WO2008090859A1 (ja) * 2007-01-22 2008-07-31 Sony Corporation 情報処理装置および方法、並びにプログラム
US20090079690A1 (en) 2007-09-21 2009-03-26 Sony Computer Entertainment America Inc. Method and apparatus for enhancing entertainment software through haptic insertion
KR101556522B1 (ko) * 2008-06-27 2015-10-01 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
EP3206381A1 (en) 2008-07-15 2017-08-16 Immersion Corporation Systems and methods for mapping message contents to virtual physical properties for vibrotactile messaging
EP2321019B1 (en) 2008-08-11 2019-04-10 Immersion Corporation A haptic enabled gaming peripheral for a musical game
CN102227694A (zh) 2008-10-10 2011-10-26 因特网服务有限责任公司 供触觉编码的媒体使用的触觉输出装置
US8540571B2 (en) 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
EP2561424B1 (en) 2010-04-23 2019-02-20 Immersion Corporation Systems and methods for providing haptic effects
US20140085414A1 (en) 2010-06-28 2014-03-27 Xiaoming Zhou Enhancing content viewing experience
US20120210200A1 (en) * 2011-02-10 2012-08-16 Kelly Berger System, method, and touch screen graphical user interface for managing photos and creating photo books
US8923684B2 (en) * 2011-05-23 2014-12-30 Cctubes, Llc Computer-implemented video captioning method and player
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8711118B2 (en) 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
KR102035305B1 (ko) * 2013-01-15 2019-11-18 삼성전자주식회사 휴대 단말에서 햅틱 효과를 제공하는 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US20140380380A1 (en) 2013-06-24 2014-12-25 Cinematique, L.L.C. System and method for encoding media with motion touch objects and display thereof

Also Published As

Publication number Publication date
EP3448053A1 (en) 2019-02-27
JP2015135678A (ja) 2015-07-27
KR20150085801A (ko) 2015-07-24
US20150199024A1 (en) 2015-07-16
US20200057506A1 (en) 2020-02-20
US10437341B2 (en) 2019-10-08
CN104793737B (zh) 2020-06-05
CN104793737A (zh) 2015-07-22
JP2019125376A (ja) 2019-07-25
EP2897026A1 (en) 2015-07-22

Similar Documents

Publication Publication Date Title
JP6516477B2 (ja) ユーザ生成コンテンツをオーサリングするためのシステム及び方法
JP6985134B2 (ja) 視野を用いる触覚フィードバック
US10444829B2 (en) Systems and methods for viewport-based augmented reality haptic effects
US10276004B2 (en) Systems and methods for generating haptic effects associated with transitions in audio signals
JP7457082B2 (ja) 反応型映像生成方法及び生成プログラム
JP6653536B2 (ja) 触覚使用可能な可変表面に対する形状入力及び出力のためのシステム及び方法
US10474238B2 (en) Systems and methods for virtual affective touch
EP3647915A1 (en) Systems and methods for providing customizable haptic playback
CN108255295A (zh) 用于空间依赖性内容的触觉效果生成
KR20160062698A (ko) 변형 기반의 햅틱 효과들을 위한 시스템들 및 방법들
JP2018506765A (ja) ハプティック効果のオーバレイ
US20180232051A1 (en) Automatic localized haptics generation system
US10101813B2 (en) Automatic haptic generation based on color features and motion analysis
KR20170059368A (ko) 햅틱 가능 플렉시블 디바이스들
US10600290B2 (en) Automatic haptic generation based on visual odometry
US20160246375A1 (en) Systems And Methods For User Interaction With A Curved Display
US11681372B2 (en) Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects
JP2018113025A (ja) 触覚によるコンプライアンス錯覚のためのシステム及び方法
EP3367216A1 (en) Systems and methods for virtual affective touch

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181002

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190225

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190416

R150 Certificate of patent or registration of utility model

Ref document number: 6516477

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees