JP6893868B2 - 空間依存コンテンツのための力覚エフェクト生成 - Google Patents

空間依存コンテンツのための力覚エフェクト生成 Download PDF

Info

Publication number
JP6893868B2
JP6893868B2 JP2017251387A JP2017251387A JP6893868B2 JP 6893868 B2 JP6893868 B2 JP 6893868B2 JP 2017251387 A JP2017251387 A JP 2017251387A JP 2017251387 A JP2017251387 A JP 2017251387A JP 6893868 B2 JP6893868 B2 JP 6893868B2
Authority
JP
Japan
Prior art keywords
force
video
pixel
data
texture map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017251387A
Other languages
English (en)
Other versions
JP2018109984A (ja
JP2018109984A5 (ja
Inventor
クリストファー・ウルリッチ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2018109984A publication Critical patent/JP2018109984A/ja
Publication of JP2018109984A5 publication Critical patent/JP2018109984A5/ja
Application granted granted Critical
Publication of JP6893868B2 publication Critical patent/JP6893868B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

空間依存コンテンツのための力覚エフェクト生成に関する。
力覚は、振動、モーション、ならびに他の力および刺激などといった力覚エフェクトによってユーザの感覚器を巧みに利用する触覚および力フィードバック技術である。モバイルデバイス、ゲーミングデバイス、タッチスクリーンデバイス、およびパーソナルコンピュータなどのデバイスを、力覚エフェクトを生成するように構成することができる。力覚フィードバックは、運動感覚フィードバック(アクティブおよび抵抗力フィードバックなど)および/または触覚フィードバック(振動、振動触覚フィードバック、テクスチャ、熱など)をユーザに提供することできる。力覚エフェクトは、特定のイベントに対してユーザにアラートをするのに、または、シミュレーションまたは仮想環境内でのよりすばらしい感覚没入を作成する現実的なフィードバックを提供するのに役立ち得る。
デバイスを、力覚エフェクトの出力をビデオ、ゲーム、または他のメディアなどの他のコンテンツの出力と連動するように構成することができる。360度ビデオ、3次元ビデオ、またはバーチャルリアリティビデオなどといった、いくつかのタイプのビデオコンテンツにおいては、ビデオシーンは、ユーザまたはビューアのパースペクティブまたは関心地点に基づいて変更することができ、シーンにおいてユーザの視界が向けられている異なるオブジェクトに対しては異なる力覚エフェクトを提供することが望ましい場合がある。
1つの態様は、力覚エフェクトをオーサリングする方法である。方法は、力覚トラックおよびビデオテクスチャマップを受信するステップと、力覚ピクセルに関連付けられた力覚データ修飾子を生成するステップとを含む。力覚トラックは、力覚アクチュエータの動作を定義する力覚データを有する。ビデオテクスチャマップは、ビデオの少なくとも1つのフレームを表す。力覚トラックは、ビデオの少なくとも1つのフレームに関連付けられている。ビデオテクスチャマップは、複数のビデオピクセルを有する。各力覚ピクセルは、少なくとも1つのビデオピクセルに関連付けられている。力覚データ修飾子は、力覚データの少なくとも一部を修正するとともに力覚アクチュエータの動作を修正するように構成される。
別の態様は、力覚エフェクトをオーサリングするための装置である。装置は、装置の動作を制御するように構成される、処理デバイスと、ソフトウェア命令を記憶する、1つまたは複数のコンピュータ可読データ記憶媒体とを備え、ソフトウェア命令は、処理デバイスによって実行されると、装置に、力覚トラックおよびビデオテクスチャマップを受信することと、力覚ピクセルに関連付けられた力覚データ修飾子を生成することとをさせる。力覚トラックは、力覚アクチュエータの動作を定義する力覚データを有する。ビデオテクスチャマップは、ビデオの少なくとも1つのフレームを表す。力覚トラックは、ビデオのフレームに関連付けられており、ビデオテクスチャマップは、複数のビデオピクセルを有する。各力覚ピクセルは、少なくとも1つのビデオピクセルに関連付けられている。力覚データ修飾子は、力覚データの少なくとも一部を修正するとともに力覚アクチュエータの動作を修正するように構成される。
さらに別の態様は、力覚エフェクトを生成する方法である。方法は、力覚データを含む力覚トラックを受信するステップであって、力覚データは、力覚アクチュエータの動作を定義する、ステップと、力覚データ修飾子を含む複数の力覚ピクセルを受信するステップであって、各力覚ピクセルは、少なくとも1つのビデオピクセルに関連付けられており、少なくとも1つのビデオピクセルは、ビデオの少なくとも1つのフレームを表すビデオテクスチャマップに含まれる、ステップと、ビデオのフレーム内の関心地点を特定するステップであって、関心地点は、ビデオのフレーム内のターゲットビデオピクセルを含む、ステップと、力覚ピクセルのうちのターゲット力覚ピクセルを決定するステップであって、ターゲット力覚ピクセルは、ビデオのフレーム内のターゲットビデオピクセルに対応する、ステップと、ターゲット力覚ピクセルに含まれるターゲット力覚データ修飾子を取得するステップと、ターゲット力覚データ修飾子に基づいて力覚トラック内の力覚データを修正するステップと、修正後の力覚データに基づいて力覚アクチュエータの動作を制御するステップとを含む。
さらに別の態様は、力覚エフェクトを生成するための装置である。装置は、1つまたは複数のアクチュエータと、アクチュエータを動作するように構成される、アクチュエータドライブ回路と、関心地点を検出するように構成される、センサと、アクチュエータドライブ回路およびセンサに接続される、処理デバイスとを備える。プロセッサは、力覚データを含む力覚トラックを受信することであって、力覚データは、力覚アクチュエータの動作を定義する、受信することをし、力覚データ修飾子を含む複数の力覚ピクセルを受信することであって、各力覚ピクセルは、少なくとも1つのビデオピクセルに関連付けられており、ビデオテクスチャマップに含まれる少なくとも1つのビデオピクセルは、ビデオのフレームを表す、受信することをし、センサを使用して、ビデオのフレーム内の関心地点を特定することであって、関心地点は、ビデオのフレーム内のターゲットビデオピクセルを含む、特定することをし、力覚ピクセルのうちのターゲット力覚ピクセルを決定することであって、ターゲット力覚ピクセルは、ビデオのフレーム内のターゲットビデオピクセルに対応する、決定することをし、ターゲット力覚ピクセルに含まれるターゲット力覚データ修飾子を取得し、ターゲット力覚データ修飾子に基づいて力覚トラック内の力覚データを修正し、修正後の力覚データに基づいて制御信号を生成し、制御信号をアクチュエータドライブ回路に送信することであって、制御信号は、アクチュエータドライブ回路がアクチュエータを制御することを可能にする、送信することをするように構成される。
さらに別の態様は、力覚エフェクトを生成する方法である。方法は、複数の力覚ピクセルを受信するステップであって、各力覚ピクセルは、少なくとも1つのビデオピクセルに関連付けられるとともに力覚データを含み、力覚データは、力覚アクチュエータの動作を定義し、少なくとも1つのビデオピクセルは、ビデオの少なくとも1つのフレームを表すビデオテクスチャマップに含まれる、ステップと、ビデオの少なくとも1つのフレーム内の関心地点を特定するステップであって、関心地点は、ビデオの少なくとも1つのフレーム内のターゲットビデオピクセルを含む、ステップと、力覚ピクセルのうちのターゲット力覚ピクセルを決定するステップであって、ターゲット力覚ピクセルは、ビデオの少なくとも1つのフレーム内のターゲットビデオピクセルに対応する、ステップと、ターゲット力覚ピクセルに含まれるターゲット力覚データを取得するステップと、ターゲット力覚データに基づいて力覚アクチュエータの動作を制御するステップとを含む。
さらに別の態様は、力覚エフェクトを生成するための装置である。装置は、1つまたは複数のアクチュエータと、アクチュエータを動作するように構成される、アクチュエータドライブ回路と、関心地点を検出するように構成される、センサと、アクチュエータドライブ回路およびセンサに接続される、処理デバイスとを備える。プロセッサは、複数の力覚ピクセルを受信することであって、各力覚ピクセルは、少なくとも1つのビデオピクセルに関連付けられるとともに力覚データを含み、力覚データは、力覚アクチュエータの動作を定義し、ビデオテクスチャマップに含まれる少なくとも1つのビデオピクセルは、ビデオのフレームを表す、受信することをし、ビデオのフレーム内の関心地点を特定することであって、関心地点は、ビデオのフレーム内のターゲットビデオピクセルを含む、特定することをし、力覚ピクセルのうちのターゲット力覚ピクセルを決定することであって、ターゲット力覚ピクセルは、ビデオのフレーム内のターゲットビデオピクセルに対応する、決定することをし、ターゲット力覚ピクセルに含まれるターゲット力覚データを取得し、ターゲット力覚データに基づいて制御信号を生成し、制御信号をアクチュエータドライブ回路に送信することであって、制御信号は、アクチュエータドライブ回路がアクチュエータを制御することを可能にする、送信することをするように構成される。
本開示の例示的な実施形態による、力覚エフェクトをオーサリングおよびレンダリングするためのシステムのブロック図である。 図1のシステムを動作するための例示的な方法を図示するフローチャートである。 図1に図示したような力覚エフェクトオーサリングデバイスの可能な実施形態のブロック図である。 力覚エフェクトオーサリングデバイスの例示的動作を図示するブロック図である。 力覚エフェクトオーサリングデバイスを動作する可能な例示的な方法を図示するフローチャートである。 ビデオを再生する例示的な方法の図である。 ビデオテクスチャマップを力覚テクスチャマップに関連付ける例示的な方法の図である。 力覚ピクセルの1つの可能な例示的データ構造である。 力覚データ修飾子を生成するための例示的な方法を図示するフローチャートである。 力覚データ修飾子の値のユーザ入力を受信するためのユーザインターフェースの1つの可能な実施形態の図である。 図1に図示したような力覚対応装置の1つの多くの可能な実施形態のブロック図である。 力覚エフェクトを生成するための例示的な方法を図示するフローチャートである。 ビデオフレーム内の関心地点を決定する例示的な方法の図である。 図13に図示したような関心地点を特定するための例示的方法のフローチャートである。 力覚エフェクトとともにビデオコンテンツをレンダリングする例示的なプロセスの図である。 力覚ピクセルのセットに定義されるターゲット力覚ピクセルの図である。 力覚ピクセルの別の例示的なセットのデータ構造の図である。 図17の力覚ピクセルを使用して力覚エフェクトを生成するための可能な例示的な方法の図である。
様々な実施形態を図面を参照して詳細に説明する、ここで、類似の参照番号はいくつかの図面にわたる類似の部分およびアセンブリを表す。様々な実施形態への参照は、本明細書に添付の特許請求の範囲の範囲を限定するものではない。加えて、本明細書に記載の任意の例は、限定を意図したものではなく、添付の特許請求の範囲に関する多くの可能な実施形態の一部を単に記載しているに過ぎない。
適切であるならば、単数形において使用される用語はまた複数形を含み得るし、逆もまた同様である。本明細書における「a」の使用は、特に断りがない限り、または、「1つまたは複数」の使用が明確に不適切ではない限り、「1つまたは複数」を意味する。「または」の使用は、特に断りがない限り「および/または」を意味する。「含む」、「含み」、「含んでいる」、「備える」、「備え」、「備えている」、「など」、「有する」、および「有している」などの用語は、互いに代替可能であり、限定することを意図していない。例えば、「含んでいる」という用語は、「含んでいるが、それに限定されるわけではない」を意味し得る。
一般に、本開示は、ビデオなどのコンテンツのための力覚エフェクトをオーサリングおよび符号化するためのシステムおよび方法に関する。本開示のシステムおよび方法は、360度ビデオ、3次元ビデオ、または仮想または拡張現実コンテンツなどといった、空間依存(または、配向もしくは方向依存)コンテンツのオーサリングおよび符号化を可能にしている。本開示は、そのようなコンテンツ内の1つまたは複数の特定のロケーションまたはオブジェクトに対する力覚エフェクトを局在させることを可能にしている。
力覚エフェクトまたは力覚フィードバックは、人間に伝えられる任意のタイプの触覚感覚であり得る。いくつかの実施形態においては、力覚エフェクトは、キュー、通知、力覚対応物品とのユーザのインタラクションのフィードバックもしくは確認、またはより複雑なメッセージまたは他の情報などの情報を具現化する。別の実施形態においては、力覚エフェクトは、摩擦、フロー、およびデテントなどの物理プロパティまたはエフェクトをシミュレーションすることによって、デバイスとのユーザのインタラクションを強化するために使用され得る。
システムおよび本開示の方法は、力覚テクスチャマップなどの1つまたは複数の力覚レイヤを生成し得る。力覚レイヤは、力覚エフェクトを符号化または編集する情報を含む複数の力覚ピクセルを有する。力覚ピクセルは、ビデオコンテンツなどのコンテンツに関連付けられた力覚エフェクトを決定または調整するための情報を含む。1つの可能な実施形態においては、各力覚ピクセルは、力覚ピクセルを1つまたは複数の対応するビデオフレームまたはビデオテクスチャマップに関連付けるための座標を含み得る。
各力覚レイヤは、ビデオを生成するためにストリーミングされる少なくとも1つのビデオフレームに基づいて作成され得る。ある例においては、力覚レイヤは、ビデオフレームと同一のフレームレートで作成および使用され得る。他の例においては、力覚レイヤは、単一の力覚レイヤが複数のビデオフレームのための力覚エフェクトを符号化するように、ビデオフレームとは異なるフレームレートで使用され得る。
ある例においては、各力覚レイヤは、力覚ピクセルを有し、力覚ピクセルの各々は、対応するビデオフレーム内の少なくとも1つのピクセルまたは対応する1つまたは複数のビデオフレーム内のビデオテクスチャマップに関連付けられている。特定の力覚レイヤ内の各力覚ピクセルは、少なくとも1つのビデオフレーム内の1つまたは複数のピクセル、または、その力覚レイヤに対応するビデオテクスチャマップに関連付けられた力覚エフェクトを符号化または編集することができる。そのため、力覚レイヤ内の力覚ピクセルは、異なる情報、パラメータ、および/または値を有し得るため、力覚エフェクトを、力覚レイヤに対応する1つまたは複数のビデオフレームにおいて望ましいように局在させることができる。
1つまたは複数の力覚トラックは、力覚エフェクトを生成するための力覚データを提供するために使用され、力覚レイヤは、力覚データを修正して力覚エフェクトを調整するための情報を含む。例えば、力覚トラックは、振幅信号を生成するための力覚データを含み、力覚レイヤ内の各力覚ピクセルは、力覚データを変更するための力覚データ修飾子を有し、それによって、振幅信号を調整している。異なる力覚データ修飾子を力覚レイヤ内の力覚ピクセルに提供することによって、異なる力覚エフェクト(例えば、力覚エフェクトの異なる振幅)を力覚レイヤに関連付けられた1つまたは複数のビデオフレーム内の異なるロケーションに提供することを可能にしている。本開示のシステムは、ユーザが力覚データ修飾子をカスタマイズすることを可能にするためのユーザインターフェースを提供し得る。
ある実施形態においては、そのような力覚トラックは、力覚レイヤ内の力覚ピクセルが力覚エフェクトを生成するために使用される力覚データを含むように、力覚レイヤに符号化され得る。このような構成においては、ビデオコンテンツの再生中に、力覚エフェクトは、別個の力覚トラックを必要とすることなく力覚レイヤを使用して生成され得る。
ビデオコンテンツの再生中に、ビデオコンテンツ内の関心地点は、特定の時間において決定されるとともに、関心地点に関連付けられた適切な力覚エフェクトをインデックス化するために使用され得る。ある実施形態においては、関心地点は、ビューアの方向ベクトルである。関心地点は、そのときの力覚レイヤ内の力覚ピクセルとして表され得る、または関連付けられ得る。関心地点に関連付けられた力覚エフェクトは、ビデオ再生(すなわち、そのときのビデオフレーム)と同期させてレンダリングされる。
本開示において説明した多くの例が360度ビデオに関連しているが、本開示の内容はまた、力覚エフェクトをユーザが周囲を見渡すことができる仮想または拡張現実体験などの他のコンテンツの再生に適用することができる、他の活用を含み得ることを理解されたい。
図1は、本開示の例示的な実施形態による、力覚エフェクトをオーサリングおよびレンダリングするためのシステムのブロック図である。システムは、概して、参照番号100で指定されており、力覚エフェクトオーサリングデバイス102および力覚対応装置104を含む。少なくともいくつかの実施形態においては、力覚対応装置104は、力覚エフェクトレンダリングデバイス106およびコンテンツ提示デバイス108を含む。
力覚エフェクトオーサリングデバイス102は、力覚エフェクトを生成するための力覚データを修正するように動作する。ある実施形態においては、力覚データは、1つまたは複数の力覚トラック112に含まれ、1つまたは複数の力覚アクチュエータの動作を定義し得る。少なくともいくつかの実施形態においては、力覚エフェクトオーサリングデバイス102は、振幅、周波数、波形、シャープネス、および他の可能な力覚エフェクトの属性などといった力覚エフェクトの特性を定義または編集する、1つまたは複数のパラメータの入力を受信し、パラメータに基づいて力覚データを修正する。力覚エフェクトオーサリングデバイス102の例を、図3〜10を参照してここでより詳細に説明する。
少なくともいくつかの実施形態においては、力覚エフェクトオーサリングデバイス102は、力覚ピクセル110のセットを生成する。ある実施形態においては、力覚エフェクトオーサリングデバイス102は、1つまたは複数の力覚トラック112およびコンテンツデータ114を受信および使用して、力覚ピクセル110を生成し得る。
力覚ピクセル110は、コンテンツデータ114に関連付けられた力覚エフェクトを定義または編集するデータを含む。例えば、コンテンツデータ114は、(本明細書に記載のビデオテクスチャマップなどといった)1つまたは複数のコンテンツデータテクスチャマップ内のデータピクセルとして表され、力覚ピクセル110の各々は、コンテンツデータテクスチャマップ内の少なくとも1つのデータピクセルに関連付けられた力覚エフェクトを定義するデータを含む。本明細書に記載しているように、力覚ピクセル110は、図7に関連付けられた説明を含みつつ、ここでより詳細に説明しているように、力覚テクスチャマップとして表され得る。
力覚対応装置104は、コンテンツを再生中にコンテンツデータ114に基づいて力覚エフェクトを生成するように動作する。ある実施形態においては、力覚対応装置104は、力覚ピクセル110および力覚トラック112を受信して、力覚エフェクトをレンダリングする。力覚対応装置104の例を、図11を参照してここでより詳細にさらに説明する。
力覚対応装置104内の力覚エフェクトレンダリングデバイス106は、コンテンツ提示デバイス108を使用して提示されるコンテンツに関連付けられた力覚エフェクトをレンダリングするように構成される。ある例においては、力覚エフェクトレンダリングデバイス106は、コンテンツ提示デバイス108がコンテンツを提示している間に、コンテンツデータ114に基づいて力覚エフェクトを生成する。コンテンツデータ114は、ビデオコンテンツであり、コンテンツ提示デバイス108は、コンテンツデータ114に基づいてビデオコンテンツを表示し、力覚エフェクトレンダリングデバイス106は、ビデオコンテンツに対応する力覚エフェクトをレンダリングする。
コンテンツ提示デバイス108は、コンテンツデータ114に基づいてコンテンツを提示するように動作する。コンテンツ提示デバイス108には、コンテンツデータ114のタイプに応じた様々なタイプが存在し得る。例えば、コンテンツデータ114は、ビデオコンテンツデータを含み、コンテンツ提示デバイス108は、ビデオコンテンツを表示するための(図11に図示したような)表示デバイスを含み。他の例においては、コンテンツデータ114は、オーディオコンテンツデータを含み、コンテンツ提示デバイス108は、オーディオ再生デバイスを含む。
図12および13を参照してここでさらに記載しているように、力覚エフェクトレンダリングデバイス106は、レンダリング中にコンテンツデータ内の関心地点を特定するための、方向センサなどといった、1つまたは複数のセンサをさらに含む。関心地点は、ビデオフレーム内の1つまたは複数の様々な点であり得る。いくつかの実施形態においては、関心地点は、ユーザまたはビューアがビデオフレームを眺望している点である。他の実施形態においては、関心地点は、ユーザまたはビューアがビデオフレームを提示している表示デバイス上でポインタまたはカーソルを置いた点である。そのような点を、本明細書では、ユーザパースペクティブベクトルまたはルックベクトルと称し得る。
いくつかの可能な実施形態においては、力覚エフェクトレンダリングデバイス106およびコンテンツ提示デバイス108は、単一のデバイスに一体化される。そのような構成においては、ルックベクトルなどの関心地点は、力覚エフェクトレンダリングデバイス106とコンテンツ提示デバイス108とにおいて同一であり得る。他の可能な実施形態においては、力覚エフェクトレンダリングデバイス106は、コンテンツ提示デバイス108とは異なり得る。例えば、力覚エフェクトレンダリングデバイス106がハンドヘルドコントローラとして実装され得る一方で、コンテンツ提示デバイス108はヘッドセットとして構成される。このような構成においては、例えば、ハンドヘルドコントローラを使用して選択され得る関心地点は、例えば、ヘッドセットを使用したユーザのパースペクティブを表すルックベクトルとは異なり得る。
力覚対応装置104を、力覚エフェクトレンダリングデバイス106およびコンテンツ提示デバイス108を含むような図示した実施形態において説明しているが、力覚エフェクトレンダリングデバイス106およびコンテンツ提示デバイス108のいずれかまたは両方を力覚対応装置104から独立して構成することができることを理解されたい。
図1をさらに参照すれば、力覚トラック112は、力覚エフェクトに関連付けられた力覚データを含む。力覚データは、1つまたは複数の力覚アクチュエータを駆動するための力覚ドライブ信号を生成するためのパラメータを定義する。例示的な実施形態においては、そのようなパラメータは、振幅、周波数、位相、反転、期間、波形、アタックタイム、立ち上がり時間、あるイベントに対するラグまたはリードタイム、およびフェードタイムなどといった、力覚ドライブ信号の特性に関連する、または関連付けられている。力覚ドライブ信号は、1つまたは複数の力覚アクチュエータに適用され1つまたは複数の力覚エフェクトを引き起こす。
コンテンツデータ114は、コンテンツ提示デバイス108を介してユーザに配信され得るコンテンツを生成するために使用されるデータである。本明細書においては、コンテンツデータ114を、360度ビデオなどのビデオコンテンツのためのデータとして主に説明する。他の実施形態においては、しかしながら、本開示の内容を、3次元ビデオ、仮想または拡張現実コンテンツ、およびオーディオコンテンツなどといった、他のタイプのコンテンツに同様に適用することができる。
図示した実施形態においては、力覚エフェクトオーサリングデバイス102は、コンテンツデータ114および力覚トラック112に基づいて力覚ピクセル110を生成する。このような構成においては、力覚対応装置104は、力覚トラック112および力覚ピクセル110の両方を受信して、コンテンツデータ114に関連付けられた力覚エフェクトを生成し得る。他の実施形態においては、力覚エフェクトオーサリングデバイス102は、力覚トラック112を必要とすることなく、コンテンツデータ114に基づいて力覚ピクセル110を生成し得る。そのような実施形態においては、さもなければ、力覚トラックに含まれ得る力覚データは、力覚ピクセル110に符号化され、力覚対応装置104は、力覚ピクセル110を使用して力覚エフェクトをレンダリングし得る。
図2は、図1のシステム100を動作するための例示的な方法130を図示するフローチャートである。ある実施形態においては、システム100は、ユーザに提示されるコンテンツに関連付けられた力覚エフェクトを提供する2つのステップを行うように一般的に動作する。まず、システム100は、コンテンツに関する力覚エフェクトをオーサリングすることを有効にするように構成および使用され(動作132)、コンテンツが提示されると力覚エフェクトをレンダリングする(動作134)。いくつかの実施形態においては、動作132は、システム100内の力覚エフェクトオーサリングデバイス102および他の関連デバイスを使用して行われ得るし、動作134は、システム内の力覚エフェクトレンダリングデバイス106および他の関連デバイスを使用して行われ得る。動作132の例を図3〜10を参照して図示および説明しており、動作134の例を図11〜15を参照して図示および説明をしている。
図3は、図1に図示したような力覚エフェクトオーサリングデバイス102の可能な実施形態のブロック図である。本実施形態においては、力覚エフェクトオーサリングデバイス102は、バス140、プロセッサ142、入力/出力(I/O)コントローラ144、メモリ146、ネットワークインターフェースコントローラ(NIC)148、およびユーザインターフェース150を備える。バス140は、プロセッサ142、I/Oコントローラ144、メモリ146、およびNIC148を備えるデバイス102内のコンポーネント間で、データを伝達する経路を提供するための導体または伝送ラインを含む。バス140は、制御バス、アドレスバス、およびデータバスを通常は含む。しかしながら、バス140は、デバイス102内のコンポーネント間でデータを伝達するのに適した、任意のバスまたはバスの組合せであり得る。
プロセッサ142は、情報を処理するように構成される、任意の回路であり得るし、任意の適切なアナログまたはデジタル回路を含み得る。プロセッサ142はまた、命令を実行するプログラマブル回路を含み得る。プログラマブル回路の例としては、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路(ASIC)、プログラマブルゲートアレイ(PLA)、フィールドプログラマブルゲートアレイ(FPGA)、または命令を実行するのに適した任意の他のプロセッサもしくはハードウェアを含む。様々な実施形態において、プロセッサ142は、単一のユニットまたは2つ以上のユニットの組合せであり得る。プロセッサ142が2つ以上のユニットを含む場合には、ユニットは、単一のコントローラにまたは別個のデバイスに物理的に位置し得る。
I/Oコントローラ144は、デバイス102およびユーザインターフェース150などの周辺機器または外部デバイスの動作をモニタする回路である。I/Oコントローラ144はまた、デバイス102と周辺機器デバイスとの間のデータフローを管理し、周辺機器デバイスのモニタおよび制御に関連する些細なことからプロセッサ142を開放する。I/Oコントローラ144がインターフェースで接続している他の周辺機器または外部デバイスの例は、外部ストレージデバイス、モニタ、キーボードおよびポインティングデバイスなどの入力デバイス、外部コンピュータデバイス、アンテナ、人間が身につける他の物品、および任意の他のリモートデバイスを含む。
メモリ146は、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、電気的に消去可能プログラマブルリードオンリーメモリ(EEPROM)、フラッシュメモリ、磁気メモリ、光学メモリ、または任意の他の適切なメモリ技術などといった、揮発性メモリを含み得る。メモリ146はまた、揮発性の組合せおよび不揮発性メモリを含み得る。
メモリ146は、ユーザ入力獲得モジュール152、データ獲得モジュール154、力覚オーサリングモジュール156、および通信モジュール158を含む、プロセッサ142による実行のための多数のプログラムモジュールを記憶し得る。各モジュールは、データ、ルーチン、オブジェクト、コール、および1つまたは複数の特定のタスクを行う他の命令の集合である。モジュールを本明細書に開示しているが、本明細書に記載の様々な命令およびタスクは、本明細書に開示したもの以外の単一のモジュール、異なるモジュール、モジュールの組合せ、またはデバイス102と無線または有線のいずれかにより通信するリモートデバイスによって実行されるモジュールによって行われ得る。
ユーザ入力獲得モジュール152は、プロセッサ142によって実行されると、力覚エフェクトに関連付けられた1つまたは複数のパラメータのユーザ入力または力覚エフェクト修飾子をプロセッサ142に受信させる命令である。ユーザ入力獲得モジュール152は、ユーザインターフェース150の入力デバイス162と通信し、ユーザが入力デバイス162を介してそのようなパラメータを入力することが可能となるようにし得る。例として、ユーザ入力獲得モジュール152は、ユーザが力覚エフェクトのための1つまたは複数のパラメータを入力または選択することを可能にする、表示スクリーン(すなわち、入力デバイス162)上にグラフィックユーザインターフェースを提供する。ユーザ入力獲得モジュール152を動作する例示的方法を図9および10を参照してより詳細に説明している。
データ獲得モジュール154は、プロセッサ142によって実行されると、力覚エフェクトをオーサリングするために使用されるデータをプロセッサ142に受信させる命令である。そのようなデータは、力覚オーサリングモジュール156によって使用され得る。本明細書に記載の特定の実施形態においては、受信したデータは、力覚トラック112に関する情報およびコンテンツデータ114を含む。
力覚オーサリングモジュール156は、プロセッサ142によって実行されると、力覚ピクセル110をプロセッサ142に生成させる命令である。少なくともいくつかの実施形態においては、力覚オーサリングモジュール156は、ユーザ入力を受信するためにユーザ入力獲得モジュール152と通信し、力覚トラック112およびコンテンツデータ114などの力覚エフェクトをオーサリングするのに利用可能なデータを受信するためにデータ獲得モジュール154と通信する。
通信モジュール158は、デバイス102とリモートデバイスとの間の通信を支援する。リモートデバイスの例としては、コンピュータデバイス、センサ、アクチュエータ、ルータおよびホットスポットなどのネットワーク機器、車両、運動器具、およびスマート家電を含む。コンピュータデバイスの例としては、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートフォン、ホームオートメーションコンピュータおよびコントローラ、およびプログラム可能な任意の他のデバイスを含む。通信は、無線または有線信号またはデータ経路を介した通信を含むデータ通信に適した任意の形式と取り得る。様々な実施形態において、通信モジュールは、システム100の集中コントローラまたは他のリモートデバイスとして、他のコンピュータデバイスまたは他のリモートデバイスと通信するピアとして、または、コントローラがいくつかの状況では集中コントローラとして動作し他の状況ではピアとして動作し得る集中コントローラおよびピアのハイブリッドとして、デバイス102を構成し得る。
プログラムモジュールの別の実施形態が可能である。例えば、いくつかの別の実施形態は、ユーザ入力獲得モジュール152、データ獲得モジュール154、力覚オーサリングモジュール156、および通信モジュール158より、より多くのまたはより少ないプログラムモジュールを有し得る。いくつかの可能な実施形態においては、1つまたは複数のプログラムモジュールは、リモートコンピュータデバイスまたは他のウェアラブル物品などのリモートデバイス内にある。
図3をさらに参照すれば、ネットワークインターフェースコントローラ(NIC)148は、ネットワーク168と電気通信して、デバイス102とリモートデバイスとの間における通信(無線または有線のいずれか)を提供する。通信は、Bluetooth(登録商標)、セルラ標準規格(例えば、CDMA、GPRS、GSM(登録商標)、2.5G、3G、3.5G、4G)、WiGig、IEEE802.11a/b/g/n/ac、IEEE802.16(例えば、WiMax)などといった標準規格を含む、任意の無線伝送技法に準拠し得る。NIC148はまた、データを伝達するための任意の適切なポートおよびコネクタを使用する有線接続を介し、RS232、USB、FireWire、Ethernet、MIDI、eSATA、またはthunderboltなどといった任意の適切な標準規格に準拠した、デバイス102とリモートデバイスとの間の有線通信を提供し得る。
ユーザインターフェース150は、入力デバイス162および出力デバイス164を含み得る。入力デバイス162は、それを介してユーザがパラメータ、コマンド、および他の情報を力覚エフェクトオーサリングデバイス102に入力することを可能にする、任意のデバイスまたは機構を含む。その上、入力デバイス162はまた、編集のために、ビデオトラックなどの力覚トラックおよびコンテンツデータを受信し得る。入力デバイス162の例としては、タッチスクリーンを含み、タッチセンサ型表面、カメラ、ボタンおよびスイッチなどの機械式入力、および他のタイプの入力コンポーネント。入力デバイス162はまたフラッシュメモリ、磁気メモリ、光学メモリ、または任意の他の適切なメモリ技術などといった、ポータブルメモリのためのリムーバブルメモリ読取器を含み得る。出力デバイス164は、視覚および可聴フォーマットなどの様々なフォーマットでユーザに情報を提示する任意のデバイスおよび機構を含む。出力デバイス164の例としては、表示スクリーン、スピーカ、ライト、および他のタイプの出力コンポーネントを含む。出力デバイス164はまた、リムーバブルメモリリーダを含み得る。ある実施形態においては、入力デバイス162および出力デバイス164は、タッチセンサ型表示スクリーンなどのように、一体化して形成される。
図4は、力覚エフェクトオーサリングデバイス102の例示的動作を図示するブロック図である。少なくともいくつかの実施形態においては、力覚エフェクトオーサリングデバイス102は、力覚トラック112およびコンテンツデータ114を受信し、力覚トラック112およびコンテンツデータ114を使用して力覚ピクセル110のセットを生成する。
上述したように、力覚トラック112は、力覚エフェクトに関連付けられるとともに1つまたは複数の力覚アクチュエータの動作を定義する力覚データを含む。コンテンツデータ114は、コンテンツ提示デバイス108などのコンテンツ再生デバイスを使用して配信されるコンテンツを生成するための情報を含む。
図示した実施形態においては、ビデオコンテンツを、所望の力覚エフェクトとともにレンダリングする。例えば、ビデオコンテンツは、球面ビデオまたは360度ビデオを含む。360度ビデオは、あらゆる方向のビューをカメラの集合および全方位カメラなどの撮影技術を使用して同時に記録するビデオレコーディングである。その結果得られる撮影画面を、その後、繋ぎ合わせて、球面上に射影され得る単一の矩形のビデオを形成する。再生中に、ビューは、視野の方向を制御することを可能にし、このことは、パノラマと類似している。いくつかの可能な実施形態においては、360度ビデオは、特異面上の平面画像として表示される平面視である。他の可能な実施形態においては、360度ビデオは、各眼に個別に向けられた2つの画像として表示される立体視ビデオである。
360度ビデオは、様々なデバイス上で再生され得る。例えば、360度ビデオがパーソナルコンピュータ上に表示される場合には、マウスまたは他のポインティングデバイス(例えば、トラックボール、ジョイスティック、ポインティングスティック、WillMote、指トラッキングデバイス、ペン、またはスタイラス)が、クリックおよびドラッグをすることによってビデオの周囲をパンするために使用される。モバイルコンピュータデバイス(例えば、スマートフォンまたはタブレット)では、ジャイロスコープなどの内部センサが、デバイスの方向に基づいてビデオをパンするために使用され得る。他の例においては、ビデオを、バーチャルリアリティヘッドセット、コントローラ、および他のデバイスを含む、バーチャルリアリティデバイスを操作するユーザに表示することができる。ユーザの視点および/または移動が、ビデオの周囲をパンするために使用され得る。
コンテンツデータ114がビデオコンテンツに関する図示した実施形態においては、1つまたは複数のビデオフレームを表す1つまたは複数のビデオテクスチャマップを提供し得る。ビデオテクスチャマップ212をビデオフレームとして私用して表示デバイス上にビデオコンテンツをレンダリングし得る。ビデオテクスチャマップの例を、図5および6を参照してここでさらに説明する。
上述したように、力覚ピクセル110は、コンテンツデータ114に関連付けられた力覚エフェクトを決定または調整するための情報を含む。本明細書に記載しているように、1つの可能な実施形態においては、力覚ピクセル110は、力覚ピクセル110を1つまたは複数の対応するビデオフレームまたはビデオテクスチャマップに関連付けるための座標を含み得る。力覚ピクセル110の例示的データ構造を、図8を参照してここで説明する。力覚ピクセル110は、1つまたは複数の力覚テクスチャマップとして表され得る。少なくともいくつかの実施形態においては、力覚ピクセル110またはその力覚テクスチャマップが視覚的にレンダリングされることはない。他の実施形態においては、図9を参照して図示したように、力覚テクスチャマップを視覚的にレンダリングすることができる。
図5〜8は、力覚エフェクトオーサリングデバイス102を動作する可能な例示的な方法200を図示している。図示した実施形態においては、方法200は、動作202、204、および206を含む。他の実施形態においては、方法200は、これらの動作のうちの少なくとも1つとともに追加の動作を含み得る。
動作202において、力覚エフェクトオーサリングデバイス102は、力覚トラック112およびコンテンツデータ114を受信する。動作204において、力覚エフェクトオーサリングデバイス102は、ビデオテクスチャマップ212のビデオピクセル216(図7)に関連付けられた力覚ピクセル110を生成する。動作206において、力覚エフェクトオーサリングデバイス102は、力覚ピクセル110に関連付けられた力覚エフェクト修飾子232(図8)を生成する。力覚ピクセル110は、力覚ピクセル110に対応する。
本実施形態においては、コンテンツデータ114は、複数のビデオテクスチャマップ212を含む。各ビデオテクスチャマップは、ビデオ214の少なくとも1つのフレーム218を表し得る。ビデオ214は、図1に図示したような力覚対応装置104のコンテンツ提示デバイス108などの表示スクリーンを有するビデオプレーヤ上に再生される。コンテンツデータ114は、コンテンツ提示デバイス108がビデオを再生するために使用することができる情報を含む。
図6に図示したように、いくつかの実施形態において、ビデオ214は、複数のフレーム218を表示することによって再生される。複数のフレーム218が、決定されたフレームレートまたは時間分解能で順次表示され得る。時間分解能のいくつかの例としては、10フレーム/秒(FPS)から500FPSの範囲にある。他の時間分解能も他の実施形態において可能であり得る。
図6をさらに参照すれば、コンテンツデータ114に含まれるビデオテクスチャマップ212の各々が、ビデオ214の少なくとも1つのフレーム218を表し得る。360度ビデオのような例においては、ビデオテクスチャマップ212は、単一のビデオテクスチャマップ212がビデオ214の単一のフレーム218として使用されるように、通常はフレーム218をそれぞれ表している。このような構成においては、ビデオテクスチャマップ212は、ビデオフレーム218と同一であり、そのため、ビデオフレーム218とも称され得る。他の例においては、少なくとも1つのビデオテクスチャマップ212は、ビデオ216の2つ以上のフレーム218を表すように構成される。例えば、ここで、ビデオ圧縮が行われ、ビデオテクスチャマップ212の各々は、フレーム218が第1のフレームレートでストリーミングされる際にビデオテクスチャマップ212が第1のフレームレートより低い第2のフレームレートで使用されるように、複数の(2つ、3つ、4つなどの)フレーム218に関連付けられている。例として、各ビデオテクスチャマップ212は、フレーム218を90FPSでストリーミングするとビデオテクスチャマップ212が30FPSで使用されるように、3つの連続したフレーム218を表すように構成される。さらに他の例においては、ビデオテクスチャマップ212の少なくとも一部は、異なる数のフレーム218に関連付けられている。例えば、第1のビデオテクスチャマップ212は、2つのフレーム218に対応する一方で、第2のビデオテクスチャマップ212は、2つのフレーム218とは異なる単一のフレーム218のみを表す。
ビデオテクスチャマップ212は、ビデオ214の1つまたは複数のフレーム218として使用され得る2次元画像である。本明細書に記載しているように、ビデオテクスチャマップ212は、いくつかの例においてはビデオフレーム218と同一であり得る。少なくともいくつかの可能な実施形態においては、様々なマッピング技法が、各ビデオテクスチャマップ212をビデオ214の少なくとも1つのフレーム218に射影するために使用され得る。例示的マッピングプロセスは、2次元画像を3次元モデルのサーフェスに射影するUVマッピングを含む。UVマッピングプロセスは、3次元オブジェクトを構成するポリゴンを使用し、ビデオテクスチャマップ212などの2次元画像からのカラーなどのサーフェス属性を有し得る。UVマッピングプロセスは、ビデオテクスチャマップ212内のビデオピクセル216(図7)をポリゴン上のサーフェスマッピング割り当てることを含む。他の例においては、他のマッピング方法を、ビデオテクスチャマップ212をビデオ214のフレーム218に関連付けるために使用し得る。
図5に戻って参照すれば、動作204において、力覚エフェクトオーサリングデバイス102は、ビデオテクスチャマップ212のビデオピクセル216に関連付けられた力覚ピクセル110を生成する。いくつかの実施形態においては、力覚ピクセル110は、1つまたは複数の力覚アクチュエータの動作を定義するためにその後使用されることになる力覚トラック112内の力覚データを修正するために使用される。他の実施形態においては、力覚トラック112は、力覚ピクセル110に符号化され、力覚ピクセル110は、1つまたは複数の力覚アクチュエータを制御するために使用される力覚データを定義し得る。
図7に図示したように、力覚ピクセル110は、力覚テクスチャマップ222として表され得る。力覚テクスチャマップ222は、少なくとも1つのビデオテクスチャマップ212に関連付けられている。1つの可能な実施形態においては、力覚テクスチャマップ222は、力覚テクスチャマップ222とビデオテクスチャマップ212との時間分解能が同一となるように、ビデオテクスチャマップ212にそれぞれ対応する。他の可能な実施形態においては、少なくとも1つの力覚テクスチャマップ222は、少なくとも1つのビデオテクスチャマップ212とは異なる時間分解能を有する。例えば、少なくとも1つの力覚テクスチャマップ222は、力覚テクスチャマップ222がビデオテクスチャマップより低い時間分解能を有するように、2つ以上のビデオテクスチャマップ212に関連付けられている。他の例においては、少なくとも1つのビデオテクスチャマップ212は、力覚テクスチャマップ222がビデオテクスチャマップより高い時間分解能を有するように、2つ以上の力覚テクスチャマップ222に関連付けられている。異なる時間分解能の例示的活用は、なんらかの画像または表現が複数のビデオフレーム上で伝えている一方でなんらかの画像または表現が複数のビデオフレーム上で同一の力覚エフェクトを有する場合である。
いくつかの実施形態においては、力覚テクスチャマップ222は、ビデオテクスチャマップ212と同一の空間分解能を有する。例えば、力覚テクスチャマップ222内の力覚ピクセル110の数は、ビデオテクスチャマップ212内のビデオピクセル216の数と同一である。他の実施形態においては、力覚テクスチャマップ222は、ビデオテクスチャマップ212とは異なる空間分解能を有する。例えば、力覚テクスチャマップ222内の少なくとも1つの力覚ピクセル110を、ビデオテクスチャマップ212内の2つ以上のビデオピクセル216に関連付けることができる。図示した実施形態においては、力覚テクスチャマップ222は、ビデオピクセル216のすべてのペアが単一の力覚ピクセル110にマッピングされ得るように、ビデオテクスチャマップ212の半分の空間分解能を有する。図7に図示したように、2次元座標(x1,y1)および(x2,y2)として特定された2つのビデオピクセル216は、2次元座標(u1,v1)として特定される単一の力覚ピクセル110に関連付けられており、ビデオピクセル216の他のペアは、同一の方式で他の力覚ピクセル110にマッピングされている。他の構成も他の実施形態において可能である。
いくつかの実施形態においては、力覚テクスチャマップ222は、キーフレームに対応する一連の画像であり得る。例えば、力覚テクスチャマップ222は、2つの隣接ビデオテクスチャマップ間にまたは2つの隣接ビデオフレーム間に配置され得る。このような構成においては、力覚テクスチャマップ内の力覚ピクセル(力覚データ修飾子を含む)を、2つの隣接ビデオテクスチャマップ間のまたは力覚テクスチャマップのためのタイムスタンプを囲むビデオフレーム間の補間値に基づいて決定することができる。
少なくともいくつかの実施形態においては、力覚テクスチャマップは、単色画像であり、単色画像の各ピクセルは、そのピクセルに関連付けられた力覚データ修飾子を表す値を有する。例えば、力覚テクスチャマップは、グレーマップであり得る。一例においては、各ピクセルは、0から255の範囲にある8ビットデータの値を有し得る。16ビット、32ビットなどといった他のデータタイプも可能であり得るピクセルは、異なる力覚データ修飾子を表す異なる値を有し得る。他の実施形態においては、力覚テクスチャマップは、各ピクセルのための複数の力覚データ修飾子を表すための複数のカラーの画像である。
図8を参照すれば、1つの可能な実施形態においては、力覚ピクセル110は、ピクセル識別子230および1つまたは複数の力覚エフェクト修飾子232を含み得る。ピクセル識別子230は、各力覚ピクセルを特定するために使用され得る。少なくともいくつかの実施形態においては、ピクセル識別子は、他の力覚ピクセル110のうちの(または、力覚テクスチャマップ222内の)関連力覚ピクセル110の位置を特定する座標を含む。力覚ピクセル110の座標は、ビデオテクスチャマップ212内のビデオピクセル216と対応する力覚テクスチャマップ222内の力覚ピクセル110との間のマップために使用され得る。例えば、図7に図示したように、力覚ピクセル110は、ビデオピクセル216の1つまたは複数の2次元座標(x,y)に関連付けられ得る2次元座標(u,v)を有する。
力覚エフェクト修飾子232は、力覚トラック112を修正するために使用される情報を含む。少なくともいくつかの実施形態においては、各力覚ピクセル110は、力覚トラック112内の力覚データの少なくとも一部(例えば、力覚エフェクトを生成するために使用される1つまたは複数のパラメータ)を編集することを可能にする、1つまたは複数の力覚エフェクト修飾子232を含む、または関連付けられる、それによって、力覚アクチュエータの動作を修正している。図示した実施形態においては、各力覚ピクセル110は、2つの力覚エフェクト修飾子232(すなわち、第1の力覚エフェクト修飾子232Aおよび第2の力覚エフェクト修飾子232B)に関連付けられている。各力覚ピクセル110内の複数の力覚エフェクト修飾子232は、力覚トラック112内の力覚データ内の異なるパラメータを修正するために使用される。
1つの可能な実施形態においては、力覚エフェクト修飾子232は、力覚エフェクトの大きさ(振幅)を調整するための減衰データを含む。他の可能な実施形態においては、力覚エフェクト修飾子232は、周波数、波形、シャープネス、および力覚エフェクトの他の可能な属性、ならびに力覚エフェクトを生成するための1つまたは複数のアクチュエータの選択を含む他のパラメータを調整するためのデータを含む。
力覚テクスチャマップに関する非単色符号化については、力覚データ修飾子の各々が画像プロパティにマッピングされている必要がある。例えば、各力覚ピクセルが2つのパラメータを定義するための2つの力覚データ修飾子を含み、第1の力覚データ修飾子が赤ピクセル値を有し第2の力覚データ修飾子が緑ピクセル値を有するように、RGBカラー値内の2つのカラーを使用して2つの力覚データ修飾子を定義することができる。カラーの他の組合せ(例えば、赤と青、または緑と青)も可能である。各力覚ピクセルが3つのパラメータを定義するための3つの力覚データ修飾子を含み、第1の力覚データ修飾子が赤ピクセル値を有し第2の力覚データ修飾子が緑ピクセル値を有し第3の力覚データ修飾子が青ピクセル値を有するように、RGBカラー値を使用して3つの力覚データ修飾子を定義することができる。上記の例においては、RGBカラーシステムが3つの力覚データ修飾子をサポートしているだけであるため、カラー値を使用するマッピングは、既存の符号化の範囲によって限定され得る。符号化フォーマットがレイヤをサポートすることが可能な他の実施形態においては、複数の力覚データ修飾子の各々は、別個のレイヤ内の単色画像であり得る。この場合、各力覚ピクセルのための力覚データ修飾子の数が無制限となることが可能になり得る。
いくつかの可能な実施形態においては、力覚エフェクト修飾子232は、数値として表され得る。例として、各力覚エフェクト修飾子232は、0から255の範囲にある値などの8ビットの値を有する。他の可能な実施形態においては、力覚エフェクト修飾子232は、異なる方法で表され得る。
図9は、力覚データ修飾子232を生成するための例示的な方法240を図示するフローチャートである。図示した実施形態においては、動作242において、力覚エフェクトオーサリングデバイス102は、力覚エフェクトオーサリングデバイス102の、ユーザインターフェース150(例えば、出力デバイス164)などといった、表示デバイス上に力覚テクスチャマップ222を表示し得る。その後、動作244において、力覚エフェクトオーサリングデバイス102は、力覚エフェクトオーサリングデバイス102の、入力デバイス162などといった、入力デバイスを介して1つまたは複数の力覚データ修飾子の値を受信する。動作246において、力覚エフェクトオーサリングデバイス102は、その後、力覚データ修飾子の値の入力を表すために更新された修正後の力覚テクスチャマップ222を表示し得る。
図10を参照すれば、力覚データ修飾子の値のユーザ入力を受信するためのユーザインターフェース250の1つの可能な実施形態を図示している。ユーザインターフェース250は、力覚エフェクトオーサリングデバイス102のユーザインターフェース150を使用して実装され得る。本例実施形態においては、ユーザインターフェース250は、マップディスプレイセグメント252、エリア選択セグメント254、および1つまたは複数のパラメータ選択セグメント256(256Aおよび256Bを含む)を含む。
ユーザインターフェース250は図10に図示したようなものに限定されないことは理解されよう。ユーザインターフェース250は、既存の画像およびビデオ編集ソフトウェアまたはツールの任意のユーザインターフェースであり得る。いくつかの実施形態においては、本開示の力覚エフェクトオーサリングデバイス102は、1つまたは複数の既存の画像およびビデオ編集ツールに組み込まれ得る、または使用して実装され得る、したがって、ユーザインターフェース250は、そのような既存の画像およびビデオ編集ツールのユーザインターフェースによって実装されてもよい。
マップディスプレイセグメント252は、力覚テクスチャマップ222を表示するために使用される。少なくともいくつかの実施形態においては、マップディスプレイセグメント252に表示される力覚テクスチャマップ222は、異なる力覚データ修飾子の値が入力されると少なくとも部分的に変更され得る。
エリア選択セグメント254は、ユーザが選択することが可能な力覚テクスチャマップ222内のエリアを選択および/または表示するために使用される。エリアが力覚テクスチャマップ222上で選択されると、ユーザは、1つまたは複数の力覚データ修飾子の値を入力して、選択されたエリア内の力覚ピクセルに関連付けられた力覚エフェクトを調整することができる。エリアは、個々の力覚ピクセルまたは力覚ピクセルのグループであり得る。ユーザが力覚テクスチャマップ222内のエリアを選択することが可能となるように様々な方法が使用され得る。例えば、ユーザは、1つまたは複数の力覚ピクセルを個々に選択または複数の力覚ピクセルを選択するために力覚テクスチャマップ222上に領域(例えば、矩形または円形)を描画するなどといった、エリアを定義するために、周辺機器入力デバイス(例えば、マウス)を使用し得る。
パラメータ選択セグメント256は、ユーザが力覚データ修飾子の値を調整することを可能にするためのコントロール要素258(258Aおよび258Bを含む)を提示し得る。ボタン、スライダ、リストボックス、スピナー、およびドロップダウンリストなどといった、様々なタイプのコントロール要素258が使用され得る。図示した実施形態においては、第1のパラメータ選択セグメント256Aおよび第2のパラメータ選択セグメント256Bは、ユーザがバーに沿ってハンドルの位置を変更して力覚データ修飾子の値(例えば、第1のパラメータ選択セグメント256A内のパラメータ1および第2のパラメータ選択セグメント256B内のパラメータ2)を選択することができるように、第1のスライダ258Aおよび第2のスライダ258Bを含む。他の実施形態においては、ユーザインターフェース250は、本明細書において図示したものとは異なる構成、配置、およびレイアウトを有する。
ここで図11〜15を参照すれば、コンテンツデータ114に基づいて再生されるコンテンツのための力覚エフェクトをレンダリングするための1つの可能な例示的な方法を図示している。本方法は、図2に記載したような動作134を実施し得る。
図11は、図1に示したような力覚対応装置104の1つの多くの可能な実施形態のブロック図を図示している。力覚対応装置104は、様々な構成があり得る。力覚対応装置104は、セルラ電話、スマートフォン、携帯情報端末(PDA)、ポータブル音楽プレーヤ、ポータブルビデオプレーヤ、ゲームシステム、バーチャルリアリティ(VR)システム、バーチャルリアリティヘッドセット、360度ビデオヘッドセット、車両システム、ナビゲーションシステム、デスクトップ、ラップトップコンピュータ、電子電化製品(例えば、テレビ、オーブン、洗濯機、ドライヤ、冷蔵庫、または照明システム)、座席、ヘッドセット、または力覚アクチュエータを有する他のデバイスが付いたIMAX(登録商標)シアターなどの映画館、および処理情報を処理するだけでなく力覚フィードバックを提供もすることが可能な任意の他の電子デバイスまたはコンピュータデバイスなどといった、力覚エフェクトを伝えるために使用され得る任意のタイプのデバイスであり得る。
力覚対応装置104は、入力デバイス302、プロセッサ304、メモリ306、アクチュエータドライブ回路308、およびアクチュエータ310を含む。いくつかの実施形態においては、図11に図示したように、入力デバイス302、プロセッサ304、メモリ306、アクチュエータドライブ回路308、およびアクチュエータ310は、ユーザが身に着けたり運んだりすることができる単一のデバイスに組み込まれる。他の実施形態においては、少なくとも1つの入力デバイス302、プロセッサ304、メモリ306、アクチュエータドライブ回路308、およびアクチュエータ310は、他のものとは別に配置され、無線または有線のいずれかで互いに接続される。
入力デバイス302は、力覚対応装置104または力覚対応装置104のユーザに関連付けられた1つまたは複数のイベントを、または、力覚フィードバックでユーザに通知することができる、ユーザによって行われた、1つまたは複数のイベントを、モニタまたは検出するように構成される。入力デバイス302は、信号をプロセッサ304に入力する任意のデバイスである。
入力デバイス302の例としては、タッチセンサ型サーフェス、または、マウス、タッチパッド、ミニジョイスティック、スクロールホイール、トラックボール、ゲームパッド、もしくはゲームコントローラなどといったデバイス104の筐体に設けられた他のタイプのユーザインターフェースがある。入力デバイス302の別の例としては、キー、ボタン、スイッチまたは他のタイプのユーザインターフェースなどの制御デバイスがある。入力デバイス302のさらに別の例としては、信号をプロセッサ304に入力するトランスデューサがある。入力デバイス302として使用され得るトランスデューサの例は、1つまたは複数のアンテナおよびセンサを含む。
センサは、刺激を受信したことに応じて信号を出力する任意の機器または他のデバイスであり得る。センサは、プロセッサに配線接続され得る、または、プロセッサに無線で接続され得る。センサは、様々な異なる状況、イベント、環境状況、デバイス104の動作もしくは状況、他の人々もしくはオブジェクトの存在、またはセンサを刺激し得る任意の他の状況もしくはモノを検出またはセンシングするために使用され得る。
センサの例は、マイクロフォンなどの音響またはサウンドセンサと、振動センサと、呼気分析器、一酸化炭素および二酸化炭素センサ、ならびにガイガーカウンタなどといった化学および粒子センサと、電圧検出器またはホール効果センサなどの電気および磁気センサと、フローセンサと、GPS受信機、高度計、ジャイロスコープ、磁力計、または加速度計などといったナビゲーションセンサまたは機器と、圧電材料、レンジファインダ、オドメータ、速度計、衝撃検出器などといった位置、近接、および動き関連センサと、電荷結合素子(CCD)、CMOSセンサ、赤外線センサ、および光検出器などといったイメージングおよび他の光学センサと、気圧計、圧度計、および触覚センサなどといった圧力センサと、圧電センサおよび歪みゲージなどの力センサと、温度計、熱量計、サーミスタ、熱電対、および高温計などといった温度および熱センサと、モーション検出器、三角測量センサ、レーダ、フォトセル、ソナー、およびホール効果センサなどといった近接および存在センサと、バイオチップと、血圧センサ、脈拍センサ、血糖センサ、および心臓モニタなどといった生体センサとを含む。加えて、センサは、いくつかの実施形態においてセンサおよびアクチュエータの両方として機能する圧電ポリマーなどのスマート材料で形成され得る。
様々な実施形態が単一の入力デバイスまたは2つ以上の入力デバイスを含み得る。加えて、様々な実施形態が異なるタイプの入力デバイスを含み得る。例えば、少なくともいくつかの可能な実施形態は、スイッチおよびアンテナまたはセンサなどのトランスデューサを含む。入力デバイス302が刺激され信号をプロセッサ304に入力すると、プロセッサ304は、デバイス104を持っている、身に着けている、またはやりとりしている人間に力覚エフェクトを提供するようにアクチュエータ310を動作する。
プロセッサ304は、情報を処理するように構成される、任意のデバイス、要素、または回路であり得るし、任意の適切なアナログまたはデジタル回路を含み得る。プロセッサ118はまた、命令を実行するプログラマブル回路を含み得る。プログラマブル回路の例としては、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路(ASIC)、プログラマブルゲートアレイ(PLA)、フィールドプログラマブルゲートアレイ(FPGA)、または命令を実行するのに適した任意の他のプロセッサもしくはハードウェアを含む。様々な実施形態において、プロセッサ118は、単一のユニットまたは2つ以上のユニットの組合せであり得る。プロセッサ118が2つ以上のユニットを含む場合には、ユニットは、単一のコントローラにまたは別個のデバイスに物理的に位置し得る。プロセッサ304は、デバイス104のすべてを動作する同一のプロセッサであり得る、または、別個のプロセッサであり得る。プロセッサ304は、どの力覚エフェクトを再生するかをおよびエフェクトが高レベルパラメータに基づいて再生される順序を決定し得る。一般に、特定の力覚エフェクトを定義する高レベルパラメータは、大きさ、周波数、および期間を含む。ストリーミングモータコマンドなどの低レベルパラメータも、特定の力覚エフェクトを決定するために使用され得る。
プロセッサ304は、入力デバイス302から信号またはデータを受信し、制御信号を出力してアクチュエータドライブ回路308を駆動する。プロセッサ304によって受信されたデータは、任意のタイプのパラメータ、命令、フラグ、またはプロセッサ、プログラムモジュール、および本明細書に開示の他のハードウェアによって処理される他の情報であり得る。
メモリデバイス306は、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、電気的に消去可能プログラマブルリードオンリーメモリ(EEPROM)、フラッシュメモリ、磁気メモリ、光学メモリ、または任意の他の適切なメモリ技術などといった任意のタイプのストレージデバイスまたはコンピュータ可読媒体であり得る。メモリ306はまた、揮発性の組合せおよび不揮発性メモリを含み得る。メモリ306は、プロセッサ304によって実行される命令を記憶している。メモリ306はまた、プロセッサ304の内部に位置し得る、または内部および外部メモリの任意の組合せであり得る。
命令について、メモリ306は、プロセッサ304によって実行されると、アクチュエータドライブ回路308のための制御信号を生成する命令であるアクチュエータドライブモジュール314を含む。アクチュエータドライブモジュール314はまた、アクチュエータ310からのフィードバックを決定し、それに応じて制御信号を調整し得る。
アクチュエータドライブ回路308は、アクチュエータドライブモジュール314から力覚信号(本明細書では、制御信号とも称する)を受信する回路である。力覚信号は、力覚エフェクトに関連付けられた力覚データを具現化し、力覚データは、アクチュエータドライブ回路308がアクチュエータドライブ信号を生成するために使用するパラメータを定義する。例示的な実施形態においては、そのようなパラメータは、電気特性に関連する、または関連付けられている。力覚データによって定義され得る電気特性の例としては、周波数、振幅、位相、反転、期間、波形、アタックタイム、立ち上がり時間、フェードタイム、あるイベントに対するラグまたはリードタイムを含む。アクチュエータドライブ信号は、アクチュエータ310に適用され1つまたは複数の力覚エフェクトを引き起こす。
本明細書では、力覚出力デバイスとも称する、アクチュエータ310は、力覚エフェクトを生成するように動作する。アクチュエータ310は、力覚信号をアクチュエータドライブ回路308に送信するアクチュエータドライブモジュール314を実行するプロセッサ304によって制御される。アクチュエータドライブ回路308は、その後、アクチュエータドライブ信号を生成およびアクチュエータ310に適用してアクチュエータ310を駆動する。アクチュエータ310に適用されると、アクチュエータドライブ信号は、アクチュエータ310を駆動および制動することによって力覚エフェクトをアクチュエータ310に生成させる。
アクチュエータ310には様々なタイプがあり得る。図示した実施形態においては、アクチュエータは、バネに取り付けられた重量体が前後に駆動されるリニア共振アクチュエータ(LRA)などの共振アクチュエータである。他の実施形態においては、アクチュエータは、ソレノイド共振アクチュエータ(SRA)である。
他のタイプの電磁気アクチュエータはまた、偏心重量体がモータによって動かされる偏心モータ(ERM)、または、圧電物質、電気活性ポリマー、または形状記憶合金などといった「スマート材料」などを使用する。アクチュエータ310はまた、広義には、静電摩擦(ESF)、超音波表面摩擦(USF)を使用する、または超音波力覚トランスデューサを用いて音響放射圧を誘導する、または力覚回路基板およびフレキシブルもしくは可変サーフェスを使用する、またはエアジェットを使用した空気の吹き付けなどの放射力覚出力を提供するなどといった、非機械式または非振動式デバイスを含む。
装置104は2つ以上のアクチュエータ310を含み得るし、各アクチュエータは別個のアクチュエータドライブ回路308を含み得るし、すべてはプロセッサ304に接続されている。2つ以上のアクチュエータを用いる実施形態においては、各アクチュエータは、デバイス上に広範囲の力覚エフェクトを作成するために異なる出力性能を有し得る。
図1にも図示したように、力覚対応装置104は、コンテンツデータ114に基づいてコンテンツを提示するように構成される、コンテンツ提示デバイス108を備える。図示した例においては、コンテンツ提示デバイス106は、ビデオコンテンツを提示するための表示デバイス316を備える。表示デバイス316は、表示スクリーンまたはウェアラブル表示デバイス(例えば、ヘッドマウントディスプレイ)などといった、様々な構成であり得る。
図示した実施形態においては、図1に図示したような力覚エフェクトレンダリングデバイス106は、力覚対応装置104内に少なくとも1つのデバイスおよび要素を含み得る。例えば、力覚エフェクトレンダリングデバイス106は、プロセッサ304、アクチュエータドライブモジュール314を含むメモリ306、およびアクチュエータドライブ回路308を備え得る。他の例においては、力覚エフェクトレンダリングデバイス106は、図11に図示したものより多くのまたは少ないデバイスおよび要素を備え得る。
図12〜16は、力覚エフェクトを生成するための例示的な方法350を図示している。図12では、いくつかの実施形態において、方法350は、力覚対応装置104によって行われる。他の実施形態においては、方法350は、力覚対応装置104に関連付けられたまたは力覚対応装置104から独立した、他のコンピュータデバイスを使用して行われ得る。
動作352において、力覚対応装置104は、力覚トラック112および複数の力覚ピクセル110を受信する。本明細書に記載しているように、力覚トラック112は、力覚アクチュエータ310の動作を定義する力覚データを含む。力覚ピクセル110は、力覚データ修飾子232を含む。力覚ピクセル110は、ビデオ214の少なくとも1つのフレーム218を表すビデオテクスチャマップ212内のビデオピクセル216に関連付けられている。
動作354において、装置104は、ビデオを再生すると力覚トラック112をビデオ214と同期させるように動作する。少なくともいくつかの可能な実施形態においては、装置104は、ビデオ214のタイムスタンプおよび力覚トラック112を取得し、タイムスタンプに基づいて力覚トラック112をビデオのフレームと同期させる。力覚トラック112をビデオ214と同期させるための他の方法も他の実施形態において可能である。
動作356において、装置104は、ビデオ214のフレーム218内の関心地点320を特定するように動作する。関心地点320は、ビデオフレーム218内の1つまたは複数の様々な点であり得る。いくつかの実施形態においては、関心地点320は、ユーザまたはビューアがビデオフレーム218を眺望している点である。他の実施形態においては、関心地点320は、ユーザまたはビューアがビデオフレーム218を提示している表示デバイス上でポインタまたはカーソルを置いた点である。ビデオ214は、360度ビデオまたは3次元ビデオであり、関心地点320を、図13に図示したようなユーザパースペクティブベクトル322(本明細書では、ルックベクトルとも称する)などの3次元ベクトルとして表すことができる。
関心地点320は、ビデオフレーム218に対応するビデオテクスチャマップ212内の1つのビデオピクセル216を含み得る。関心地点320を表すビデオピクセル216は、ターゲットビデオピクセル324として特定され得る。可能な他の実施形態においては、関心地点320は、ビデオテクスチャマップ212内の複数のビデオピクセル216を含む。関心地点320を特定する例示的方法を、図14を参照してさらに説明する。
動作358において、装置104は、関心地点320に基づいてターゲット力覚ピクセル330(図15)を決定するように動作する。ターゲット力覚ピクセル330は、ターゲットテクスチャマップ212に対応する力覚テクスチャマップ222内の1つの力覚ピクセル110として特定される。少なくともいくつかの実施形態においては、ターゲット力覚ピクセル330は、対応するターゲットテクスチャマップ212内のターゲットビデオピクセル324に対応する。例えば、ターゲット力覚ピクセル330は、ビデオテクスチャマップ212内のターゲットビデオピクセル324を力覚テクスチャマップ222内の対応する力覚ピクセルにマッピングすることによって決定される。他の可能な実施形態においては、ターゲット力覚ピクセル330は、ターゲットビデオピクセルまたはピクセル324に対応する2つ以上の力覚ピクセル110として特定される。
動作360において、装置104は、ターゲット力覚ピクセル330に関連付けられたターゲット力覚データ修飾子334を取得する。図16に図示したように、ターゲット力覚データ修飾子334は、ターゲット力覚ピクセル330の座標230を特定して座標230内の力覚データ修飾子232を読み出すことによって決定され得る。力覚ピクセル110は、複数の力覚データ修飾子232を有しており、それゆえ複数のターゲット力覚データ修飾子334が得られる。
動作362において、装置104は、ターゲット力覚データ修飾子334に基づいて力覚トラック112内の力覚データを修正するように動作する。図16に図示したように、いくつかの実施形態において、修正後の力覚トラック340は、修正後の力覚データを有するように生成され得る。
力覚データ内の1つまたは複数のパラメータは、ターゲット力覚データ修飾子334がどのパラメータに関連しているかに基づいて調整され得る。本明細書に記載しているように、ターゲット力覚データ修飾子334は、例えば、力覚エフェクトの大きさ(振幅)、周波数、波形、シャープネス、および他の可能な属性を修正することが可能である。
動作364において、装置104は、修正後の力覚データを含む修正後の力覚トラック340に基づいて力覚アクチュエータ310の動作を制御するように動作する。他の可能な実施形態においては、複数の力覚アクチュエータ310は、1つまたは複数の修正後の力覚トラック340に基づいて同時にまたは個別に制御され得る。
図14を参照すれば、関心地点320を特定する例示的方法370を記載している。いくつかの実施形態においては、方法370は、力覚対応装置104によって行われ得る。他の実施形態においては、方法370は、力覚対応装置104に関連付けられたまたは力覚対応装置104から独立した、他のコンピュータデバイスを使用して行われ得る。
動作372において、力覚対応装置104は、ユーザパースペクティブベクトル322を決定する。少なくともいくつかの実施形態においては、ユーザパースペクティブベクトル322は、3次元ベクトルであり、3次元空間の原点380または多面体382におけるカメラまたは目として修正される。図示した実施形態においては、ユーザパースペクティブベクトル322は、ベクトルV(dx,dy,dz)で表され得る。
可能な実施形態においては、ビデオテクスチャマップ212は、原点380の周囲の3次元空間382に射影され得る。いくつかの実施形態においては、ビデオテクスチャマップ212は、図13に図示したような球面に射影される。他の実施形態においては、ビデオテクスチャマップ212は、非球状多面体に投影され得る。
動作374において、装置104は、3次元空間382上のユーザパースペクティブベクトル322とビデオテクスチャマップ212の射影との間の交点384を決定する。
動作376において、装置104は、ビデオテクスチャマップ212内のターゲットビデオピクセル324として交点384を特定する。例として、ここで、3次元空間382は球面であり、ターゲットビデオピクセル324(または、交点384)の座標(u,v)は以下により算出される。
動作378において、装置104は、ターゲットビデオピクセル324に基づいてターゲット力覚ピクセル330を決定するように動作する。上述したように、ターゲット力覚ピクセル330は、ビデオテクスチャマップ212内のターゲットビデオピクセル324を力覚テクスチャマップ222内の対応する力覚ピクセルにマッピングすることによって決定される。図16に示したように、ターゲット力覚ピクセル330は、1つまたは複数のターゲット力覚データ修飾子334を提供する。
図15を参照すれば、力覚エフェクトともにビデオコンテンツをレンダリングする例示的なプロセスを記載している。図6に図示したように、360度ビデオなどのビデオが、決定されたフレームレートで一連のビデオフレーム218を表示することによって再生され得る。ビデオフレーム218は、複数のビデオテクスチャマップ212によって提示され得る。通常は、各ビデオフレーム218は、単一のビデオテクスチャマップ212によって提示される。しかしながら、いくつかの実施形態においては、単一のビデオテクスチャマップ212は、2つ以上のビデオフレーム218を実施し得る。したがって、ビデオフレーム218の時間分解能は、ビデオテクスチャマップ212の時間分解能と同一または異なり得る。ビデオフレーム218が表示されると、1つまたは複数の力覚トラック112が力覚エフェクトを提供するために実行される。図示した実施形態においては、2つの力覚トラック112Aおよび112Bが実行される。本明細書に記載しているように、1つまたは複数の力覚テクスチャマップ222は、力覚トラック内の力覚データを修正するために使用される。例えば、力覚テクスチャマップ222は、各力覚ピクセルのための1つまたは複数の力覚データ修飾子を含む。力覚データ修飾子は、力覚トラック内の力覚データを修正するために使用される。各力覚テクスチャマップ内の複数の力覚ピクセルが力覚データ修飾子の異なるセットを有し得るため、力覚エフェクトを、ビューアのパースペクティブなどの関心地点が位置する特定のオブジェクトに局在させることができる。本明細書に記載しているように、空間および/または時間分解能は、力覚テクスチャマップとビデオテクスチャマップとの間で同一または異なり得る。
ここで図17〜18を参照すれば、力覚エフェクトを生成するための別の例示的な方法を記載している。
図17は、力覚ピクセル110の別の例示的なセットのデータ構造を図示している。本実施形態においては、力覚ピクセル110は、1つまたは複数の力覚アクチュエータ310を制御するための力覚データを含む。このような構成においては、力覚エフェクトは、力覚トラック112を必要としない力覚ピクセル110を使用してレンダリングされ得る。実際には、力覚トラック112は、力覚ピクセル110に符号化される。
図示した実施形態においては、各力覚ピクセル110は、ピクセル識別子230および1つまたは複数の力覚パラメータ402を含む。図8中の力覚ピクセル110と同様に、ピクセル識別子230は、各力覚ピクセルを特定するために使用される。少なくともいくつかの実施形態においては、ピクセル識別子は、他の力覚ピクセル110のうちの(または、力覚テクスチャマップ222内の)関連力覚ピクセル110の位置を特定する座標を含む。
力覚パラメータ402は、1つまたは複数の力覚アクチュエータを駆動して力覚エフェクトを作成するための信号を生成するために使用される。パラメータの例としては、力覚エフェクトの振幅、周波数、波形、シャープネス、および他の可能な属性、ならびに力覚エフェクトを生成するための1つまたは複数のアクチュエータの選択を含む。
図18は、図17の力覚ピクセル110を使用して力覚エフェクトを生成するための可能な例示的な方法450である。いくつかの実施形態においては、方法450は、力覚対応装置104によって行われる。他の実施形態においては、方法450は、力覚対応装置104に関連付けられたまたは力覚対応装置104から独立した、他のコンピュータデバイスを使用して行われ得る。方法450は、力覚ピクセル110を除いて図12の方法300と同様である。したがって、方法450における動作の詳細については可能な限り簡潔のために繰り返さない。
動作452において、力覚対応装置104は、図17に記載したような複数の力覚ピクセル110を受信する。各力覚ピクセルは、少なくとも1つのビデオピクセル216に関連付けられており、力覚データを含む。力覚データは、1つまたは複数の力覚アクチュエータの動作を定義する。ビデオピクセル216は、ビデオ214の少なくとも1つのフレーム218を表すビデオテクスチャマップ212に含まれる。
動作454において、力覚対応装置104は、ビデオのフレーム218内の関心地点320を特定する。関心地点320は、ビデオのフレーム内のターゲットビデオピクセル234を含む。
動作456において、力覚対応装置104は、力覚ピクセル110のうちのターゲット力覚ピクセル330を決定する。ターゲット力覚ピクセル330は、ビデオのフレーム内のターゲットビデオピクセル234に対応する。
動作458において、力覚対応装置104は、ターゲット力覚ピクセル330に含まれるターゲット力覚データ470を取得する。ターゲット力覚データ470は、ターゲット力覚ピクセル330に含まれるデータであり、図17に記載したような力覚パラメータ402を含む。本実施形態においては、力覚信号は、別個の力覚トラックなどの既存の信号を調節する代わりに、力覚ピクセル内のデータから直接合成され得る。
動作460において、力覚対応装置104は、ターゲット力覚データ470に基づいて1つまたは複数の力覚アクチュエータの動作を制御するように動作する。
このように、本開示は、既存のビデオツールチェーンおよび符号化を利用して力覚エフェクトをオーサリングおよび符号化するための簡潔な方法を提供し、少なくとも空間化のためにビデオ-力覚変換を可能にしている。本開示に従って、力覚エフェクトは、ビデオ編集ツールを使用して特定のオブジェクトに関するソースビデオをフィルタリングすることによってビデオシーンまたはフレーム内の特定のオブジェクトに局在させることができる。そのような局在化は、その後、そのオブジェクトのために計画された既存の力覚時系列を使用して適宜調整され得る。
上述した様々な例および示唆は、例としてのみ提供したものであり、本開示の範囲を限定することを意図したものと解釈すべきではない。当業者は、本明細書に図示および記載の例および用途に倣うものではないが本開示の真の精神および範囲から逸脱することがないようになされ得る様々な修正および変更を容易に理解するであろう。
100 システム
102 力覚エフェクトオーサリングデバイス
104 力覚対応装置
106 力覚エフェクトレンダリングデバイス
108 コンテンツ提示デバイス
110 力覚ピクセル
112 力覚エフェクトオーサリングシステム
112 力覚トラック
112A 力覚トラック1
112B 力覚トラック2
114 コンテンツデータ
140 バス
144 I/Oコントローラ
148 ネットワークインターフェースコントローラ
150 UI
152 ユーザ入力獲得モジュール
154 データ獲得モジュール
156 力覚オーサリングモジュール
158 通信モジュール
162 入力デバイス
164 出力デバイス
168 ネットワーク
212 ビデオテクスチャマップ
218 ビデオフレーム
222 力覚テクスチャマップ
242 プロセッサ
254 選択されたエリア
256A パラメータ1
256B パラメータ2
302 入力デバイス
304 プロセッサ
306 メモリ
308 アクチュエータドライブ回路
314 アクチュエータドライブモジュール
316 表示デバイス
320 フレーム1
324 マップ1
340A 修正後の力覚トラック1
340B 修正後の力覚トラック2

Claims (71)

  1. 力覚エフェクトをオーサリングおよびレンダリングする方法であって、前記方法は、
    力覚トラックおよびビデオテクスチャマップを受信するステップであって、前記力覚トラックは、力覚データを有し、前記力覚データは、力覚アクチュエータの動作を定義し、前記ビデオテクスチャマップは、ビデオの少なくとも1つのフレームを表し、前記力覚トラックは、前記ビデオの前記少なくとも1つのフレームに関連付けられており、前記ビデオテクスチャマップは、複数のビデオピクセルを有する、ステップと、
    力覚ピクセルに関連付けられた力覚データ修飾子を生成するステップであって、各力覚ピクセルは、少なくとも1つの前記ビデオピクセルに関連付けられており、前記力覚データ修飾子は、前記力覚データの少なくとも一部を修正するとともに前記力覚アクチュエータの動作を修正するためのものである、ステップと、
    前記力覚トラックおよび前記力覚ピクセルに基づいて前記力覚アクチュエータを制御するステップと、
    前記力覚アクチュエータによって、ユーザのための前記力覚エフェクトを生成するステップとを含む、方法。
  2. 前記力覚ピクセルおよび前記力覚ピクセルに関連付けられた前記力覚データ修飾子を含む力覚テクスチャマップを生成するステップをさらに含む、請求項1に記載の方法。
  3. 前記力覚テクスチャマップは、前記ビデオテクスチャマップの空間分解能とは異なる空間分解能を有する、請求項2に記載の方法。
  4. 前記力覚テクスチャマップは、前記ビデオテクスチャマップの時間分解能とは異なる時間分解能を有する、請求項2に記載の方法。
  5. 前記力覚テクスチャマップを表示するステップと、
    少なくとも1つの力覚エフェクトパラメータのユーザ入力を受信するステップと、
    前記少なくとも1つの力覚エフェクトパラメータの前記ユーザ入力を表す修正後の力覚テクスチャマップを表示するステップとをさらに含む、請求項2に記載の方法。
  6. コンピュータデバイス内の表示スクリーン上に前記力覚テクスチャマップを表示するステップをさらに含む、請求項2に記載の方法。
  7. 前記力覚テクスチャマップは、前記力覚データ修飾子を表す単色画像を含む、請求項6に記載の方法。
  8. 前記単色画像の前記力覚ピクセルの少なくとも一部は、異なる力覚データ修飾子を表す異なる値を有する、請求項7に記載の方法。
  9. 前記力覚データ修飾子は、前記力覚トラック内の前記力覚データによって定義された力覚エフェクトの大きさを調整するための減衰データを含む、請求項1に記載の方法。
  10. 前記力覚データ修飾子は、前記力覚トラック内の前記力覚データによって定義された力覚エフェクトの周波数、波形、シャープネス、およびアクチュエータ選択のうちの少なくとも1つを調整するための減衰データを含む、請求項1に記載の方法。
  11. 前記ビデオは、360度ビデオ、バーチャルリアリティ環境、3次元ビデオ、3次元ビデオゲーム、3次元モデリング環境、およびその組合せからなるグループから選択される、請求項1に記載の方法。
  12. 前記ビデオは、複数のフレームを含み、前記力覚トラックおよび前記ビデオテクスチャマップを受信するステップと、前記力覚データ修飾子を生成するステップとは、前記ビデオ内の複数のフレームの少なくとも一部のために繰り返される、請求項1に記載の方法。
  13. 前記力覚ピクセルの各々は、2つ以上の前記ビデオピクセルに関連付けられている、請求項1に記載の方法。
  14. 2つ以上の前記力覚ピクセルは、前記ビデオピクセルの各々に関連付けられている、請求項1に記載の方法。
  15. 力覚トラックおよびビデオテクスチャマップを受信するステップは、
    複数の力覚トラックおよびビデオテクスチャマップを受信するステップであって、各力覚トラックは、力覚データを有し、前記ビデオテクスチャマップは、ビデオのフレームを表し、前記複数の力覚トラックは、前記ビデオの前記フレームに関連付けられており、前記ビデオテクスチャマップは、複数のビデオピクセルを有する、ステップを含み、
    前記力覚データ修飾子は、前記複数の力覚トラックの前記力覚データの少なくとも一部を修正するように構成される、請求項1に記載の方法。
  16. 前記力覚データ修飾子に基づいて前記力覚データの少なくとも一部を修正するステップをさらに含む、請求項1に記載の方法。
  17. 力覚エフェクトをオーサリングおよびレンダリングするためのシステムであって、前記システムは、
    ネットワークに接続された、力覚エフェクトオーサリングデバイスであって、
    力覚トラックおよびビデオテクスチャマップを受信することであって、前記力覚トラックは、力覚データを有し、前記力覚データは、力覚アクチュエータの動作を定義し、前記ビデオテクスチャマップは、ビデオの少なくとも1つのフレームを表し、前記力覚トラックは、前記ビデオの前記少なくとも1つのフレームに関連付けられており、前記ビデオテクスチャマップは、複数のビデオピクセルを有する、受信することと、
    力覚ピクセルに関連付けられた力覚データ修飾子を生成することであって、各力覚ピクセルは、少なくとも1つの前記ビデオピクセルに関連付けられており、前記力覚データ修飾子は、前記力覚データの少なくとも一部を修正するとともに前記力覚アクチュエータの動作を修正するためのものである、生成することと
    をするように構成されるプロセッサを備える、力覚エフェクトオーサリングデバイスと、
    前記ネットワークに接続された、力覚対応デバイスであって、
    前記力覚アクチュエータと、前記力覚トラックおよび前記力覚ピクセルに基づいて前記力覚アクチュエータを制御するように構成されるプロセッサとを備え、前記力覚アクチュエータは、ユーザのための前記力覚エフェクトを生成する、力覚対応デバイスと
    を備える、システム。
  18. 前記力覚エフェクトオーサリングデバイスは、
    ユーザ入力を受信するように構成される、入力デバイスと、
    表示デバイスとをさらに備え、
    前記力覚エフェクトオーサリングデバイスの前記プロセッサが、
    前記表示デバイスを使用して力覚テクスチャマップを表示することであって、前記力覚テクスチャマップは、前記力覚ピクセルおよび前記力覚ピクセルに関連付けられた前記力覚データ修飾子を含む、表示することをさらに行うように構成される、請求項17に記載のシステム。
  19. 前記力覚テクスチャマップは、前記ビデオテクスチャマップの空間分解能とは異なる空間分解能を有する、請求項18に記載のシステム。
  20. 前記力覚テクスチャマップは、前記ビデオテクスチャマップの時間分解能とは異なる時間分解能を有する、請求項18に記載のシステム。
  21. 前記力覚エフェクトオーサリングデバイスの前記プロセッサは、
    前記入力デバイスを介して少なくとも1つの力覚エフェクトパラメータのユーザ入力を受信することと、
    前記表示デバイスを介して修正後の力覚テクスチャマップを表示することであって、前記修正後の力覚テクスチャマップは、前記少なくとも1つの力覚エフェクトパラメータの前記ユーザ入力を表す、表示することとをするようにさらに構成される、請求項18に記載のシステム。
  22. 前記力覚テクスチャマップは、前記力覚データ修飾子を表す単色画像を含む、請求項18に記載のシステム。
  23. 前記単色画像の前記力覚ピクセルの少なくとも一部は、異なる力覚データ修飾子を表す異なる値を有する、請求項22に記載のシステム。
  24. 前記力覚データ修飾子は、前記力覚トラック内の前記力覚データによって定義された力覚エフェクトの大きさを調整するための減衰データを含む、請求項17に記載のシステム。
  25. 前記力覚データ修飾子は、前記力覚トラック内の前記力覚データによって定義された力覚エフェクトの周波数、波形、シャープネス、およびアクチュエータ選択のうちの少なくとも1つを調整するための減衰データを含む、請求項17に記載のシステム。
  26. 前記ビデオは、360度ビデオ、バーチャルリアリティ環境、3次元ビデオ、3次元ビデオゲーム、3次元モデリング環境、およびその組合せからなるグループから選択される、請求項17に記載のシステム。
  27. 前記ビデオは、複数のフレームを含み、前記力覚トラックおよび前記ビデオテクスチャマップを受信することと、前記力覚データ修飾子を生成することとは、前記ビデオ内の複数のフレームの少なくとも一部のために繰り返される、請求項17に記載のシステム。
  28. 前記力覚ピクセルの各々は、2つ以上の前記ビデオピクセルに関連付けられている、請求項17に記載のシステム。
  29. 2つ以上の前記力覚ピクセルは、前記ビデオピクセルの各々に関連付けられている、請求項17に記載のシステム。
  30. 前記力覚エフェクトオーサリングデバイスの前記プロセッサは、
    複数の力覚トラックおよび前記ビデオテクスチャマップを受信することであって、各力覚トラックは、力覚データを有し、前記複数の力覚トラックは、前記ビデオの前記少なくとも1つのフレームに関連付けられている、受信するようにさらに構成され、
    前記力覚データ修飾子は、前記複数の力覚トラックの前記力覚データの少なくとも一部を修正するように構成される、請求項17に記載のシステム。
  31. 力覚エフェクトをレンダリングする方法であって、前記方法は、
    力覚データを含む力覚トラックを受信するステップであって、前記力覚データは、力覚アクチュエータの動作を定義する、ステップと、
    力覚データ修飾子を含む複数の力覚ピクセルを受信するステップであって、各力覚ピクセルは、少なくとも1つのビデオピクセルに関連付けられており、前記少なくとも1つのビデオピクセルは、ビデオの少なくとも1つのフレームを表すビデオテクスチャマップに含まれる、ステップと、
    前記ビデオの前記フレーム内の関心地点を特定するステップであって、前記関心地点は、前記ビデオの前記フレーム内のターゲットビデオピクセルを含む、ステップと、
    前記力覚ピクセルのうちのターゲット力覚ピクセルを決定するステップであって、前記ターゲット力覚ピクセルは、前記ビデオの前記フレーム内の前記ターゲットビデオピクセルに対応する、ステップと、
    前記ターゲット力覚ピクセルに含まれるターゲット力覚データ修飾子を取得するステップと、
    前記ターゲット力覚データ修飾子に基づいて前記力覚トラック内の前記力覚データを修正するステップと、
    修正後の前記力覚データに基づいて力覚アクチュエータの動作を制御するステップと、
    前記力覚アクチュエータによって、ユーザのための前記力覚エフェクトを生成するステップとを含む、方法。
  32. 前記力覚トラックは、前記力覚ピクセルが前記力覚データおよび前記力覚データ修飾子を含むように、前記力覚ピクセルにおいて符号化される、請求項31に記載の方法。
  33. 前記力覚トラックを前記ビデオと同期させるステップをさらに含む、請求項31に記載の方法。
  34. 前記力覚トラックを前記ビデオと同期させるステップは、
    前記ビデオのタイムスタンプを受信するステップと、
    前記タイムスタンプに基づいて前記力覚トラックを前記ビデオと同期させるステップとを含む、請求項33に記載の方法。
  35. 前記関心地点は、3次元ベクトルによって定義され、ターゲット力覚ピクセルを決定するステップは、
    前記3次元ベクトルを前記ターゲット力覚ピクセルに関連付けるステップを含む、請求項31に記載の方法。
  36. 前記3次元ベクトルを関連付けるステップは、
    前記3次元ベクトルを前記ビデオの前記フレームに対応する前記ビデオテクスチャマップ内のビデオピクセルに関連付けるステップと、
    前記ビデオテクスチャマップ内の前記ビデオピクセルに対応する前記ターゲット力覚ピクセルを特定するステップとを含む、請求項35に記載の方法。
  37. 前記3次元ベクトルを前記ターゲット力覚ピクセルに関連付けるステップは、
    前記3次元ベクトルと前記ビデオテクスチャマップの球面射影との間の交点を決定するステップと、
    前記ビデオテクスチャマップ内の前記ターゲットビデオピクセルとして前記交点を特定するステップと、
    前記ターゲットビデオピクセルに基づいて前記ターゲット力覚ピクセルを決定するステップとを含む、請求項35に記載の方法。
  38. 前記3次元ベクトルを前記ターゲット力覚ピクセルに関連付けるステップは、
    前記3次元ベクトルと前記ビデオテクスチャマップの非球面射影との間の交点を決定するステップと、
    前記ビデオテクスチャマップ内の前記ターゲットビデオピクセルとして前記交点を特定するステップと、
    前記ターゲットビデオピクセルに基づいて前記ターゲット力覚ピクセルを決定するステップとを含む、請求項35に記載の方法。
  39. 表示デバイスを使用して前記ビデオを再生するステップをさらに含む、請求項31に記載の方法。
  40. 力覚エフェクトをレンダリングするための装置であって、前記装置は、
    アクチュエータと、
    前記アクチュエータを動作するように構成される、アクチュエータドライブ回路と、
    関心地点を検出するように構成される、センサと、
    前記アクチュエータドライブ回路および前記センサに接続される、プロセッサとを備え、前記プロセッサは、
    力覚データを含む力覚トラックを受信することであって、前記力覚データは、力覚アクチュエータの動作を定義する、受信することと、
    力覚データ修飾子を含む複数の力覚ピクセルを受信することであって、各力覚ピクセルは、少なくとも1つのビデオピクセルに関連付けられており、前記少なくとも1つのビデオピクセルは、ビデオのフレームを表すビデオテクスチャマップに含まれる、受信することと、
    前記センサを使用して、前記ビデオの前記フレーム内の関心地点を特定することであって、前記関心地点は、前記ビデオの前記フレーム内のターゲットビデオピクセルを含む、特定することと、
    前記力覚ピクセルのうちのターゲット力覚ピクセルを決定することであって、前記ターゲット力覚ピクセルは、前記ビデオの前記フレーム内の前記ターゲットビデオピクセルに対応する、決定することと、
    前記ターゲット力覚ピクセルに含まれるターゲット力覚データ修飾子を取得することと、
    前記ターゲット力覚データ修飾子に基づいて前記力覚トラック内の前記力覚データを修正することと、
    修正後の前記力覚データに基づいて制御信号を生成することと、
    前記制御信号を前記アクチュエータドライブ回路に送信することであって、前記制御信号は、前記アクチュエータドライブ回路が前記アクチュエータを制御することを可能にする、送信することと
    をするように構成され、
    前記力覚アクチュエータは、ユーザのための前記力覚エフェクトを生成する、装置。
  41. 前記力覚トラックは、前記力覚ピクセルが前記力覚データおよび前記力覚データ修飾子を含むように、前記力覚ピクセルにおいて符号化される、請求項40に記載の装置。
  42. 前記プロセッサに接続される、表示デバイスであって、前記プロセッサは、前記ビデオを表示するようにさらに構成される、表示デバイスをさらに備える、請求項40に記載の装置。
  43. 前記プロセッサは、
    前記力覚トラックを前記ビデオと同期させるようにさらに構成される、請求項40に記載の装置。
  44. 前記プロセッサは、
    前記ビデオのタイムスタンプを受信することと、
    前記タイムスタンプに基づいて前記力覚トラックを前記ビデオと同期させることとをするようにさらに構成される、請求項43に記載の装置。
  45. 前記関心地点は、3次元ベクトルによって定義され、前記プロセッサは、
    前記3次元ベクトルを前記ターゲット力覚ピクセルに関連付けるようにさらに構成される、請求項40に記載の装置。
  46. 前記プロセッサは、
    前記3次元ベクトルを前記ビデオの前記フレームに対応する前記ビデオテクスチャマップ内のビデオピクセルに関連付けることと、
    前記ビデオテクスチャマップ内の前記ビデオピクセルに対応する前記ターゲット力覚ピクセルを特定することとをするようにさらに構成される、請求項45に記載の装置。
  47. 前記プロセッサは、
    前記3次元ベクトルと前記ビデオテクスチャマップの球面射影との間の交点を決定することと、
    前記ビデオテクスチャマップ内の前記ターゲットビデオピクセルとして前記交点を特定することと、
    前記ターゲットビデオピクセルに基づいて前記ターゲット力覚ピクセルを決定することとをするようにさらに構成される、請求項45に記載の装置。
  48. 前記プロセッサは、
    前記3次元ベクトルと前記ビデオテクスチャマップの非球面射影との間の交点を決定することと、
    前記ビデオテクスチャマップ内の前記ターゲットビデオピクセルとして前記交点を特定することと、
    前記ターゲットビデオピクセルに基づいて前記ターゲット力覚ピクセルを決定することとをするようにさらに構成される、請求項45に記載の装置。
  49. 前記プロセッサは、
    表示デバイスを使用して前記ビデオを再生するようにさらに構成される、請求項40に記載の装置。
  50. 力覚エフェクトをレンダリングする方法であって、前記方法は、
    複数の力覚ピクセルを受信するステップであって、各力覚ピクセルは、少なくとも1つのビデオピクセルに関連付けられるとともに力覚データを含み、前記力覚データは、力覚アクチュエータの動作を定義し、前記少なくとも1つのビデオピクセルは、ビデオの少なくとも1つのフレームを表すビデオテクスチャマップに含まれる、ステップと、
    前記ビデオの前記少なくとも1つのフレーム内の関心地点を特定するステップであって、前記関心地点は、前記ビデオの前記少なくとも1つのフレーム内のターゲットビデオピクセルを含む、ステップと、
    前記力覚ピクセルのうちのターゲット力覚ピクセルを決定するステップであって、前記ターゲット力覚ピクセルは、前記ビデオの前記少なくとも1つのフレーム内の前記ターゲットビデオピクセルに対応する、ステップと、
    前記ターゲット力覚ピクセルに含まれるターゲット力覚データを取得するステップと、
    前記ターゲット力覚データに基づいて力覚アクチュエータの動作を制御するステップと、
    前記力覚アクチュエータによって、ユーザのための前記力覚エフェクトを生成するステップとを含む、方法。
  51. 力覚エフェクトをレンダリングするための装置であって、前記装置は、
    アクチュエータと、
    前記アクチュエータを動作するように構成される、アクチュエータドライブ回路と、
    関心地点を検出するように構成される、センサと、
    前記アクチュエータドライブ回路および前記センサに接続される、プロセッサとを備え、前記プロセッサは、
    複数の力覚ピクセルを受信することであって、各力覚ピクセルは、少なくとも1つのビデオピクセルに関連付けられるとともに力覚データを含み、前記力覚データは、力覚アクチュエータの動作を定義し、ビデオテクスチャマップに含まれる前記少なくとも1つのビデオピクセルは、ビデオのフレームを表す、受信することと、
    前記ビデオの前記フレーム内の関心地点を特定することであって、前記関心地点は、前記ビデオの前記フレーム内のターゲットビデオピクセルを含む、特定することと、
    前記力覚ピクセルのうちのターゲット力覚ピクセルを決定することであって、前記ターゲット力覚ピクセルは、前記ビデオの前記フレーム内の前記ターゲットビデオピクセルに対応する、決定することと、
    前記ターゲット力覚ピクセルに含まれるターゲット力覚データを取得することと、
    前記ターゲット力覚データに基づいて制御信号を生成することと、
    前記制御信号を前記アクチュエータドライブ回路に送信することであって、前記制御信号は、前記アクチュエータドライブ回路が前記アクチュエータを制御することを可能にする、送信することと
    をするように構成され、
    前記力覚アクチュエータは、ユーザのための前記力覚エフェクトを生成する、装置。
  52. 力覚エフェクトをオーサリングおよびレンダリングする方法であって、前記方法は、
    力覚トラックと、少なくとも1つのビデオフレームを表すビデオテクスチャマップとを受信するステップであって、前記力覚トラックは、力覚出力デバイスの動作を定義する力覚データを含み、前記ビデオテクスチャマップは、ビデオピクセルを含む、ステップと、
    力覚ピクセルに関連付けられた力覚データ修飾子を生成するステップであって、各力覚ピクセルは、少なくとも1つのビデオピクセルに関連付けられている、ステップと、
    修正後の力覚データを生成するために前記力覚データ修飾子に基づいて前記力覚データの少なくとも一部を修正するステップと、
    前記修正後の力覚データに基づいて前記力覚出力デバイスの前記動作を修正するステップとを含む、方法。
  53. 少なくとも1つの力覚ピクセルは、各ビデオピクセルに関連付けられている、請求項52に記載の方法。
  54. 前記力覚ピクセルおよび前記力覚ピクセルに関連付けられた前記力覚データ修飾子を含む力覚テクスチャマップを生成するステップをさらに含む、請求項52に記載の方法。
  55. 前記ビデオテクスチャマップは、時間分解能および空間分解能を含み、前記力覚テクスチャマップは、時間分解能および空間分解能を含む、請求項54に記載の方法。
  56. 前記力覚テクスチャマップの前記時間分解能は、前記ビデオテクスチャマップの前記時間分解能とは異なる、請求項55に記載の方法。
  57. 前記力覚テクスチャマップの前記空間分解能は、前記ビデオテクスチャマップの前記空間分解能とは異なる、請求項55に記載の方法。
  58. 前記力覚テクスチャマップは、単色画像であり、各力覚ピクセルは、関連力覚データ修飾子を表す値を有する、請求項54に記載の方法。
  59. 前記力覚テクスチャマップは、カラー画像であり、各力覚ピクセルは、複数の関連力覚データ修飾子を表す複数の値を有する、請求項54に記載の方法。
  60. 前記力覚データ修飾子は、前記力覚トラック内の前記力覚データによって定義された力覚エフェクトの大きさを調整するための減衰データを含む、請求項52に記載の方法。
  61. 前記力覚データ修飾子は、前記力覚トラック内の前記力覚データによって定義された力覚エフェクトの周波数、波形、シャープネス、およびアクチュエータ選択のうちの少なくとも1つを調整するための減衰データを含む、請求項52に記載の方法。
  62. 力覚エフェクトをオーサリングおよびレンダリングするためのシステムであって、前記システムは、
    ネットワークに接続された、力覚エフェクトオーサリングデバイスであって、
    力覚トラックと、少なくとも1つのビデオフレームを表すビデオテクスチャマップとを受信することであって、前記力覚トラックは、力覚出力デバイスの動作を定義する力覚データを含み、前記ビデオテクスチャマップは、ビデオピクセルを含む、受信することと、
    力覚ピクセルに関連付けられた力覚データ修飾子を生成することであって、各力覚ピクセルは、少なくとも1つのビデオピクセルに関連付けられている、生成することと
    をするように構成されるプロセッサを備える、力覚エフェクトオーサリングデバイスと、
    前記ネットワークに接続された、力覚対応デバイスであって、前記力覚出力デバイスと、
    修正後の力覚データを生成するために前記力覚データ修飾子に基づいて前記力覚データの少なくとも一部を修正することと、
    前記修正後の力覚データに基づいて前記力覚出力デバイスの前記動作を修正することと
    をするように構成されるプロセッサとを備える、力覚対応デバイスとを備える、システム。
  63. 少なくとも1つの力覚ピクセルは、各ビデオピクセルに関連付けられている、請求項62に記載のシステム。
  64. 前記力覚エフェクトオーサリングデバイスの前記プロセッサは、
    前記力覚ピクセルおよび前記力覚ピクセルに関連付けられた前記力覚データ修飾子を含む力覚テクスチャマップを生成するように構成される、請求項62に記載のシステム。
  65. 前記ビデオテクスチャマップは、時間分解能および空間分解能を含み、前記力覚テクスチャマップは、時間分解能および空間分解能を含む、請求項64に記載のシステム。
  66. 前記力覚テクスチャマップの前記時間分解能は、前記ビデオテクスチャマップの前記時間分解能とは異なる、請求項65に記載のシステム。
  67. 前記力覚テクスチャマップの前記空間分解能は、前記ビデオテクスチャマップの前記空間分解能とは異なる、請求項65に記載のシステム。
  68. 前記力覚テクスチャマップは、単色画像であり、各力覚ピクセルは、関連力覚データ修飾子を表す値を有する、請求項64に記載のシステム。
  69. 前記力覚テクスチャマップは、カラー画像であり、各力覚ピクセルは、複数の関連力覚データ修飾子を表す複数の値を有する、請求項64に記載のシステム。
  70. 前記力覚データ修飾子は、前記力覚トラック内の前記力覚データによって定義された力覚エフェクトの大きさを調整するための減衰データを含む、請求項62に記載のシステム。
  71. 前記力覚データ修飾子は、前記力覚トラック内の前記力覚データによって定義された力覚エフェクトの周波数、波形、シャープネス、およびアクチュエータ選択のうちの少なくとも1つを調整するための減衰データを含む、請求項62に記載のシステム。
JP2017251387A 2016-12-28 2017-12-27 空間依存コンテンツのための力覚エフェクト生成 Active JP6893868B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/392,744 2016-12-28
US15/392,744 US10147460B2 (en) 2016-12-28 2016-12-28 Haptic effect generation for space-dependent content

Publications (3)

Publication Number Publication Date
JP2018109984A JP2018109984A (ja) 2018-07-12
JP2018109984A5 JP2018109984A5 (ja) 2021-01-21
JP6893868B2 true JP6893868B2 (ja) 2021-06-23

Family

ID=60813769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017251387A Active JP6893868B2 (ja) 2016-12-28 2017-12-27 空間依存コンテンツのための力覚エフェクト生成

Country Status (5)

Country Link
US (3) US10147460B2 (ja)
EP (2) EP3343329B1 (ja)
JP (1) JP6893868B2 (ja)
KR (2) KR102276173B1 (ja)
CN (1) CN108255295B (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220083138A1 (en) * 2018-02-23 2022-03-17 Wai Pong MOK Virtual Reality Input and Haptic Feedback System
EP3757725A4 (en) * 2018-02-23 2022-01-05 Mok, Wai Pong INPUT AND HAPTIC FEEDBACK SYSTEM OF VIRTUAL REALITY
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
CN114582377A (zh) * 2019-05-22 2022-06-03 谷歌有限责任公司 用于沉浸式环境中对象分组和操纵的方法、系统和介质
JP7145373B2 (ja) * 2019-06-19 2022-10-03 豊田合成株式会社 アクチュエータ装置、電圧波形の作成方法、電場応答性高分子アクチュエータの駆動方法、及びプログラム
US20220387885A1 (en) * 2019-11-19 2022-12-08 Immersion Corporation Dynamic modification of multiple haptic effects
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
CN111291677B (zh) * 2020-02-05 2022-09-09 吉林大学 一种动态视频触觉特征提取及渲染的方法
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
US11698680B2 (en) * 2020-06-23 2023-07-11 Immersion Corporation Methods and systems for decoding and rendering a haptic effect associated with a 3D environment
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
CN115374062A (zh) * 2021-05-20 2022-11-22 荣耀终端有限公司 振动描述文件的生成方法、装置、设备及可读存储介质
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
CN113521738A (zh) * 2021-08-11 2021-10-22 网易（杭州）网络有限公司 特效生成方法和装置、计算机可读存储介质、电子设备
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
US11995240B2 (en) * 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user
KR102654176B1 (ko) * 2022-01-10 2024-04-04 울산과학기술원 기계 학습 모델을 이용하여 시각 기반 촉감 출력을 위한 컴퓨터 장치 및 그의 방법
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation
CN116777914B (zh) * 2023-08-22 2023-11-07 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备以及计算机可读存储介质

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6650338B1 (en) * 1998-11-24 2003-11-18 Interval Research Corporation Haptic interaction with video and image data
US9948885B2 (en) 2003-12-12 2018-04-17 Kurzweil Technologies, Inc. Virtual encounters
US9370704B2 (en) 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
KR100860547B1 (ko) 2007-03-02 2008-09-26 광주과학기술원 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체
GB2468811B (en) 2008-01-17 2012-12-19 Articulate Technologies Inc Methods and devices for intraoral tactile feedback
KR20190015624A (ko) * 2009-03-12 2019-02-13 임머숀 코퍼레이션 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법, 및 유형의 컴퓨터 판독가능 매체
KR102086980B1 (ko) * 2009-03-12 2020-03-09 임머숀 코퍼레이션 그래픽 사용자 인터페이스 위젯에서 텍스처를 사용하는 시스템 및 방법
US8294557B1 (en) * 2009-06-09 2012-10-23 University Of Ottawa Synchronous interpersonal haptic communication system
US9370459B2 (en) 2009-06-19 2016-06-21 Andrew Mahoney System and method for alerting visually impaired users of nearby objects
WO2011127379A2 (en) 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof
WO2012037157A2 (en) * 2010-09-13 2012-03-22 Alt Software (Us) Llc System and method for displaying data having spatial coordinates
US9462262B1 (en) 2011-08-29 2016-10-04 Amazon Technologies, Inc. Augmented reality environment with environmental condition control
JP2015504616A (ja) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
US10852093B2 (en) 2012-05-22 2020-12-01 Haptech, Inc. Methods and apparatuses for haptic systems
US9280206B2 (en) * 2012-08-20 2016-03-08 Samsung Electronics Co., Ltd. System and method for perceiving images with multimodal feedback
FR2999741B1 (fr) 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
US9880623B2 (en) * 2013-01-24 2018-01-30 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
US9992491B2 (en) * 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9811854B2 (en) 2013-07-02 2017-11-07 John A. Lucido 3-D immersion technology in a virtual store
DK3014394T3 (da) 2013-07-05 2022-07-11 Jacob A Rubin Helkrops-menneske-computer-grænseflade
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
EP3095023A1 (en) 2014-01-15 2016-11-23 Sony Corporation Haptic notification on wearables
US10437341B2 (en) * 2014-01-16 2019-10-08 Immersion Corporation Systems and methods for user generated content authoring
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR20150110356A (ko) * 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
CN104932681B (zh) * 2014-03-21 2019-09-20 意美森公司 触觉效果的自动调整
US20150323994A1 (en) * 2014-05-07 2015-11-12 Immersion Corporation Dynamic haptic effect modification
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
EP3176676B1 (en) 2014-07-28 2020-01-08 CK Materials Lab Co., Ltd. Haptic information providing module
US9645646B2 (en) 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
US9667907B2 (en) * 2014-09-13 2017-05-30 Vicente Diaz System and method for haptic integration and generation in multimedia devices
US9799177B2 (en) 2014-09-23 2017-10-24 Intel Corporation Apparatus and methods for haptic covert communication
US20160170508A1 (en) 2014-12-11 2016-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Tactile display devices
US9870718B2 (en) 2014-12-11 2018-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Imaging devices including spacing members and imaging devices including tactile feedback devices
US10166466B2 (en) 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US9478109B2 (en) 2014-12-29 2016-10-25 Immersion Corporation Virtual sensor in a virtual environment
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9843744B2 (en) 2015-01-13 2017-12-12 Disney Enterprises, Inc. Audience interaction projection system
US10322203B2 (en) 2015-06-26 2019-06-18 Intel Corporation Air flow generation for scent output
US9851799B2 (en) 2015-09-25 2017-12-26 Oculus Vr, Llc Haptic surface with damping apparatus
US20170103574A1 (en) 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
US20170131775A1 (en) 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
US10055948B2 (en) 2015-11-30 2018-08-21 Nike, Inc. Apparel with ultrasonic position sensing and haptic feedback for activities
US10310804B2 (en) 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
US10324530B2 (en) 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects
US10096163B2 (en) 2015-12-22 2018-10-09 Intel Corporation Haptic augmented reality to reduce noxious stimuli
US10065124B2 (en) 2016-01-15 2018-09-04 Disney Enterprises, Inc. Interacting with a remote participant through control of the voice of a toy device
US9846971B2 (en) 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
TWI688879B (zh) 2016-01-22 2020-03-21 宏達國際電子股份有限公司 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體
US9933851B2 (en) 2016-02-22 2018-04-03 Disney Enterprises, Inc. Systems and methods for interacting with virtual objects using sensory feedback
US10555153B2 (en) 2016-03-01 2020-02-04 Disney Enterprises, Inc. Systems and methods for making non-smart objects smart for internet of things
US20170352185A1 (en) 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US10155159B2 (en) 2016-08-18 2018-12-18 Activision Publishing, Inc. Tactile feedback systems and methods for augmented reality and virtual reality systems
US20180053351A1 (en) 2016-08-19 2018-02-22 Intel Corporation Augmented reality experience enhancement method and apparatus
US10779583B2 (en) 2016-09-20 2020-09-22 Facebook Technologies, Llc Actuated tendon pairs in a virtual reality device
US10372213B2 (en) 2016-09-20 2019-08-06 Facebook Technologies, Llc Composite ribbon in a virtual reality device
US10300372B2 (en) 2016-09-30 2019-05-28 Disney Enterprises, Inc. Virtual blaster
US10281982B2 (en) 2016-10-17 2019-05-07 Facebook Technologies, Llc Inflatable actuators in virtual reality
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US20170102771A1 (en) 2016-12-12 2017-04-13 Leibs Technology Limited Wearable ultrasonic haptic feedback system

Also Published As

Publication number Publication date
KR102276173B1 (ko) 2021-07-12
CN108255295A (zh) 2018-07-06
US20190074037A1 (en) 2019-03-07
EP3343329B1 (en) 2020-02-26
KR20180077091A (ko) 2018-07-06
JP2018109984A (ja) 2018-07-12
US10147460B2 (en) 2018-12-04
US20180182436A1 (en) 2018-06-28
CN108255295B (zh) 2022-06-03
EP3343329A1 (en) 2018-07-04
EP3343328A1 (en) 2018-07-04
US10720189B2 (en) 2020-07-21
US20200349982A1 (en) 2020-11-05
KR20210087921A (ko) 2021-07-13

Similar Documents

Publication Publication Date Title
JP6893868B2 (ja) 空間依存コンテンツのための力覚エフェクト生成
US10671239B2 (en) Three dimensional digital content editing in virtual reality
GB2556347B (en) Virtual Reality
US9084938B2 (en) Handheld device for spectator viewing of an interactive application
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
EP3364272A1 (en) Automatic localized haptics generation system
KR20150085801A (ko) 사용자에 의해 생성되는 콘텐츠 저작을 위한 시스템 및 방법
KR20140082266A (ko) 혼합현실 콘텐츠 시뮬레이션 시스템
US11189057B2 (en) Provision of virtual reality content
US20200111257A1 (en) Sound reproduction apparatus for reproducing virtual speaker based on image information
Caruso et al. Interactive augmented reality system for product design review
Blach Virtual reality technology-an overview
JPH10214344A (ja) インタラクティブ表示装置
EP3422150A1 (en) Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
YAN Tangible user interfaces for augmented reality
Ishikawa et al. Dynamic Information Space Based on High-Speed Sensor Technology
Tecchia et al. Addressing the problem of Interaction in fully Immersive Virtual Environments: from raw sensor data to effective devices

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201202

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201202

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210602

R150 Certificate of patent or registration of utility model

Ref document number: 6893868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150