JP6269480B2 - データ処理装置、及びデータ処理プログラム - Google Patents

データ処理装置、及びデータ処理プログラム Download PDF

Info

Publication number
JP6269480B2
JP6269480B2 JP2014509220A JP2014509220A JP6269480B2 JP 6269480 B2 JP6269480 B2 JP 6269480B2 JP 2014509220 A JP2014509220 A JP 2014509220A JP 2014509220 A JP2014509220 A JP 2014509220A JP 6269480 B2 JP6269480 B2 JP 6269480B2
Authority
JP
Japan
Prior art keywords
data
vibration
information indicating
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014509220A
Other languages
English (en)
Other versions
JPWO2013151155A1 (ja
Inventor
八木 健
健 八木
幹也 田中
幹也 田中
慶 木谷
慶 木谷
敏 赤坂
敏 赤坂
貴次 青山
貴次 青山
一仁 荘司
一仁 荘司
諭 石山
諭 石山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2013151155A1 publication Critical patent/JPWO2013151155A1/ja
Application granted granted Critical
Publication of JP6269480B2 publication Critical patent/JP6269480B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/07Generation or adaptation of the Low Frequency Effect [LFE] channel, e.g. distribution or signal processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、データ処理装置、及びデータ処理プログラムに関する。
本願は、2012年4月6日に出願された特願2012−87310号に基づき優先権を主張し、その内容をここに援用する。
特許文献1に開示されたような装置には、振動を発生させるための振動部が備えられる場合がある。このような振動部として、例えば、偏心モータが知られている。
特開2010−86089号公報
しかしながら、このような装置は、例えば、画像の表示に合わせて単に振動するのみである。したがって、ユーザは、振動による演出効果を得ることができないという問題がある。
本発明の態様は、振動による演出効果を得るための振動データを処理することができるデータ処理装置、及びデータ処理プログラムを提供することを目的とする。
本発明の一態様は、振幅を示す情報と、周波数を示す情報とを含むデータを受信する受信部と、前記データと、所定のベクトル情報とに基づいて、振動部の振動を発生させるためのデータを生成する処理部と、を備え、前記ベクトル情報は、前記振動部を備えるアプリケーション装置において、ユーザが得られる振動の定位の移動感の軌跡を示す情報である、データ処理装置である。
本発明の他の態様は、コンピュータに、振幅を示す情報と、周波数を示す情報とを含むデータを受信する手順と、前記データと、所定のベクトル情報とに基づいて、振動部の振動を発生させるためのデータを生成する手順と、を実行させ、前記ベクトル情報は、前記振動部を備えるアプリケーション装置において、ユーザが得られる振動の定位の移動感の軌跡を示す情報である、データ処理プログラムである。
本発明の態様によれば、データ処理装置は、振動による演出効果を得るための振動データを処理することができる。
本発明の一実施形態における、オーサリングシステム及びアプリケーション装置の構成例を示すブロック図である。 本発明の一実施形態における、アプリケーション装置の構成例を示す外観図である。 本発明の一実施形態における、ユーザが移動感を得ることができる仮現運動の例を示す図である。 本発明の一実施形態における、VIBファイルのフォーマットの例を示す表である。 本発明の一実施形態における、VIBファイルのフォーマットの例を示す表である。 本発明の一実施形態における、VIBファイルのフォーマットの例を示す表である。 本発明の一実施形態における、VIBデータを構文解析する際の分割処理の例を示す図である。 本発明の一実施形態における、VIBデータを生成する際の分割処理の例を示す図である。 本発明の一実施形態における、VIBデータを構文解析する際の動作手順の例を示すシーケンス図である。 本発明の一実施形態における、PCMデータに基づいてVPCMデータを生成する際の動作手順の例を示すシーケンス図である。 本発明の一実施形態における、予め定められた波形データに基づいてVPCMデータを生成する際の動作手順の例を示すシーケンス図である。 本発明の一実施形態における、VPCMデータに基づいてVIBデータを生成する際の動作手順の例を示すシーケンス図である。
本発明の一実施形態について図面を参照して詳細に説明する。以下、定位感及び移動感などを生じさせることによって、アプリケーション装置のユーザが得られる演出効果を、「振動エフェクト」という。ここで、定位感とは、ファントム・センセーション(Phantom Sensation)、すなわち、ユーザの皮膚の2点を同時に振動させた(刺激した)場合に、その2点の間に在る特定の位置に、あたかも振動の定位があるようにユーザが感じる感覚である。また、移動感とは、仮現運動(Apparent Movement)、すなわち、ユーザの皮膚の2点を位相差及び出力差を持たせて振動させた(刺激した)場合に、振動の定位が移動しているようにユーザが感じる感覚である。
以下、振動エフェクトを得ることができるよう処理が施された、非圧縮の波形データとしてのPCM(Pulse Code Modulation)データを、「VPCMデータ」という。また、振動エフェクトを得ることができるよう処理が施された、圧縮の波形データとしてのAAC(Advanced Audio Coding)データを、「VAACデータ」という。なお、これらの波形データには、振動エフェクトをより得ることができるよう、トーンバーストが含められてもよい。
以下、振動エフェクトを得ることができるよう処理が施された波形データ(VPCMデータ、又はVAACデータ)を、予め定められたフォーマットに則って含むデータを、「VIBデータ(振動データ)」という。以下、VIBデータを含むファイルを、「VIBファイル(振動ファイル)」という。また、フォーマットについては、図4〜図6を用いて後述する。
まず、オーサリングシステム(振動データ生成編集システム)、及びアプリケーション装置の構成例を説明する。
図1には、オーサリングシステム及びアプリケーション装置の構成例が、ブロック図により示されている。オーサリングシステムは、オーサリング装置40と、波形データ装置10と、情報送受信装置20と、振動データ装置30と、振動データ処理装置50(データ処理装置)とを備える。また、アプリケーション装置100は、VPCMデータ又はVAACデータを、波形データ装置10から取得する。
図2には、アプリケーション装置の構成例が、外観図により示されている。アプリケーション装置100は、一例として、その筐体の隅に、振動部(振動子、振動デバイス)110、120、130及び140を備える。アプリケーション装置100は、VPCMデータ又はVAACデータに基づいて各振動部を振動させることにより、自装置の筐体を振動させる。
換言すれば、アプリケーション装置100は、振動部110、120、130及び140の振動を発生させるためのデータであるVPCMデータ又はVAACデータに基づいて、自装置の筐体を振動させる。
また、アプリケーション装置100は、画像(映像)データ及び音声データを再生しながら、VIBファイルに基づいて各振動部を振動させてもよい。
図3には、ユーザが移動感を得ることができる仮現運動の例が示されている。ここで、説明のため、アプリケーション装置100の筐体の中心を原点とする座標系(x,y)=(−1.0〜+1.0,−1.0〜+1.0)を定義する。
振動部110(チャンネル1)は、一例として、座標(−0.9,+0.9)に配置されている。振動部120(チャンネル2)は、一例として、座標(+0.9,+0.9)に配置されている。振動部130(チャンネル3)は、一例として、座標(−0.9,−0.9)に配置されている。振動部140(チャンネル4)は、一例として、座標(+0.9,−0.9)に配置されている。
また、各振動部の種別は、ボイスコイルモータ(VCM)でもよいし、スピーカでもよい。
図3では、一例として、始点座標(+0.4,+0.2)から終点座標(−0.3,−0.55)まで振動の定位が直線的に移動するような移動感を、ユーザは得ることができる。以下、始点座標及び終点座標を含む情報を、「ベクトル情報」という。ここで、始点座標及び終点座標は、相対座標により表現されてもよい。また、ベクトル情報には、振動部が振動を継続させる振動時間(鳴動時間)を示す情報が、更に含まれてもよい。
図1に戻り、オーサリングシステムの構成例の説明を続ける。オーサリング装置40は、操作部41を備える。操作部41は、操作入力を受け付ける。オーサリング装置40は、操作部41により受け付けられた操作入力に基づいて、VIBデータを生成及び編集するオーサリングツールとして動作する。
例えば、オーサリング装置40は、音声データに基づいて予め生成された波形データ(例えば、PCMデータ、AACデータ)を、波形データ装置10に予め記憶させる。ここで、波形データには、例えば、振動の強度(振幅)を示す情報と、振動波形の周波数を示す情報とが含まれる。
また、例えば、オーサリング装置40は、情報送受信装置20を介して、各種の情報(後述)を振動データ処理装置50と送受信する。また、例えば、オーサリング装置40は、振動データ装置30を介して、VIBファイルを振動データ処理装置50と送受信してもよい。
波形データ装置10は、音声データに基づいてオーサリング装置40により予め生成されたPCMデータ及びAACデータを、予め記憶する。また、波形データ装置10は、振動データ処理装置50により処理(生成、又は構文解析)が施されたVPCMデータ及びVAACデータを記憶する。
振動データ装置30は、VIBファイルを記憶する。ここで、VIBファイルは、振動データ処理装置50により生成されたファイルでもよいし、オーサリング装置40により予め記憶されたファイルでもよい。また、VIBファイルは、画像(映像)データ及び音声データに対応付けられて、振動データ装置30に記憶されてもよい。
図4、図5及び図6には、VIBファイルのフォーマットの例が、分割されて表により示されている。ここで、VIBファイルには、リストタイプ「INFO」を示す情報と、作成日を示す情報と、ファイル所有者を示す情報と、ファイル作成者を示す情報と、タイトル(表題)を示す情報と、コメントを示す情報とが含まれる。
また、VIBファイルには、リストタイプ「vibl」を示す情報と、VIBデータのフォーマットのバージョンを示す情報と、作成時分(作成時刻)を示す情報と、更新日を示す情報と、更新時分(更新時刻)を示す情報と、エンコードツール(ツール名称など)を示す情報と、ジャンル(例えば、画像(映像)、音声、ハプティック(Haptic)、ゲーム)を示す情報と、VIBファイルのメーカーコードを示す情報と、保護情報(プロテクトの有無)を示す情報と、振動時間(再生時間)を示す情報と、振動子デバイス情報(例えば、振動部のメーカーの識別情報、振動部の種別情報)と、振動ch(チャンネル)割当を示す情報と、振動周波数帯域(単一周波数、広帯域)を示す情報と、ユーザコメントを示す情報と、GPS(Global Positioning System)情報(ジオタグ)とが含まれる。
また、VIBファイルには、VIBファイル(VIBデータ)自体のバージョンを示す情報と、データ領域(図6では、「ckData」により示される領域)に含まれている波形データの種別(例えば、PCMフォーマットを有するVPCM、AACフォーマットを有するVAAC)を示す情報と、振動ch(チャンネル)の数を示す情報と、サンプリングレート(波形データのサンプリング周波数)を示す情報と、サンプリングビット(波形データの量子化ビット数)を示す情報とが含まれる。
以下、作成日を示す情報と、作成時分(作成時刻)を示す情報と、更新日を示す情報と、更新時分(更新時刻)を示す情報と、VIBデータのフォーマットのバージョンを示す情報と、VIBファイル(VIBデータ)自体のバージョンを示す情報と、データ領域に含まれている波形データの種別を示す情報と、振動chの数を示す情報と、サンプリングレートを示す情報と、サンプリングビットを示す情報と、ファイル所有者を示す情報と、ファイル作成者を示す情報と、タイトルを示す情報と、コメントを示す情報と、エンコードツールを示す情報と、ジャンルを示す情報と、VIBファイルのメーカーコードを示す情報と、保護情報を示す情報と、振動時間を示す情報と、振動子デバイス情報と、振動ch割当を示す情報と、振動周波数帯域を示す情報と、ユーザコメントを示す情報と、GPS情報(ジオタグ)とをまとめて、「VIB情報」という。
また、以下、アプリケーション装置100(図2及び図3を参照)における振動部の配置(座標)を示す情報と、振動ch(チャンネル)の数を示す情報と、サンプリングレート(PCMデータのサンプリング周波数)を示す情報と、サンプリングビット(PCMデータの量子化ビット数)を示す情報とをまとめて、「構成情報」という。ここで、振動ch(チャンネル)の数、サンプリングレート及びサンプリングビットは、VIB情報に基づいて、それぞれ定められる。
図1に戻り、オーサリングシステムの構成例の説明を続ける。情報送受信装置20は、オーサリング装置40と振動データ処理装置50との間で、送受信される各種の情報を中継する。
例えば、情報送受信装置20は、オーサリング装置40からベクトル情報を受信し、受信したベクトル情報を振動データ処理装置50に転送する。例えば、情報送受信装置20は、オーサリング装置40から固定波形情報を受信し、受信した固定波形情報を振動データ処理装置50に転送する。ここで、固定波形情報には、例えば、振動の強度(振幅)を示す情報と、予め定められた振動波形(例えば、矩形波)の周波数を示す情報と、トーンバーストの係数を示す情報と、振動モード(均一、フェードイン及びフェードアウト)を示す情報とが含まれる。
また、例えば、情報送受信装置20は、オーサリング装置40から構成情報を受信し、受信した構成情報を振動データ処理装置50に転送する。
振動データ処理装置50は、振動エフェクトを得るためのVIBデータ(振動データ)を処理する。振動データ処理装置50は、ライブラリ処理部51(処理部)と、波形データ送受信部52(受信部)と、情報送受信部53(受信部)と、振動データ送受信部54とを備える。
波形データ送受信部52は、波形データ装置10を介して、波形データをオーサリング装置40と送受信する。例えば、波形データ送受信部52は、音声データに基づいて予め生成された波形データ(例えば、PCMデータ、AACデータ)を、波形データ装置10から受信し、ライブラリ処理部51に転送する。また、例えば、波形データ送受信部52は、振動データ処理装置50により処理(生成又は構文解析)が施された波形データ(例えば、VPCMデータ、VAACデータ)を、波形データ装置10に転送し記憶させる。
情報送受信部53は、情報送受信装置20を介して、各種の情報をオーサリング装置40と送受信する。
例えば、情報送受信部53は、情報送受信装置20からベクトル情報を受信し、受信したベクトル情報をライブラリ処理部51に転送する。例えば、情報送受信部53は、情報送受信装置20から固定波形情報を受信し、受信した固定波形情報をライブラリ処理部51に転送する。
また、例えば、情報送受信部53は、情報送受信装置20から構成情報を受信し、受信した構成情報をライブラリ処理部51に転送する。例えば、情報送受信部53は、情報送受信装置20から加速度データを受信し、受信した加速度データをライブラリ処理部51に転送する。
振動データ送受信部54は、振動データ装置30を介して、VIBデータ(振動データ)を振動データ処理装置50と送受信する。
例えば、振動データ送受信部54は、振動データ処理装置50により生成されたVIBデータを、振動データ装置30に転送して、VIBファイルとして記憶させる。また、例えば、振動データ送受信部54は、オーサリング装置40により振動データ装置30に予め記憶されたVIBファイルを受信して、ライブラリ処理部51に転送する。
ライブラリ処理部51は、振動データ送受信部54からVIBデータを受信する。ライブラリ処理部51は、VIBデータを構文解析し、構文解析結果としてのVPCMデータ又はVAACデータを、波形データ送受信部52を介して、波形データ装置10に記憶させる。
また、ライブラリ処理部51は、VPCMデータ又はVAACデータを、音声データ(PCMデータ、又はAACデータ)及びベクトル情報に基づいて生成する。また、ライブラリ処理部51は、VPCMデータ又はVAACデータを、固定波形情報及びベクトル情報に基づいて生成してもよい。
また、ライブラリ処理部51は、VPCMデータ又はVAACデータを含むVIBデータを、フォーマット(図4〜図6を参照)に則って生成し、生成したVIBデータを、振動データ送受信部54を介して、振動データ装置30に記憶させる。また、ライブラリ処理部51は、各振動部の振動時間を示す情報(VIB情報)、及び、振動部の数を示す情報(VIB情報)のうち少なくとも一つを、VIBデータに含めて、振動データ装置30に記憶させる。
また、ライブラリ処理部51は、情報送受信部53から加速度データを受信し、受信した加速度データに応じて生成したVPCMデータ又はVAACデータに基づいて、VIBデータを生成してもよい。なお、この加速度データは、センサにより予めセンシングされた加速度データでもよいし、オーサリング装置40の操作部41を介して操作入力された加速度データでもよい。
なお、ライブラリ処理部51は、アプリケーション装置100が画像データを再生しながら、VIBファイルに基づいて各振動部を振動させる場合、その画像に基づいて、ベクトル情報を生成してもよい。より具体的には、ライブラリ処理部51は、再生された画像内で移動する移動体像の軌跡と、振動部による振動の定位の移動感とが同期するように、移動体像の軌跡に応じてベクトル情報を生成してもよい。
換言すれば、生成されるベクトル情報は、振動部110、120、130及び140を備えるアプリケーション装置100において、ユーザが得られる振動の定位の移動感の軌跡を示す情報である。
ライブラリ処理部51は、VIBデータを構文解析する際、VIBデータを分割処理してもよい。図7には、VIBデータを構文解析する際の分割処理の例が示されている。図7では、ライブラリ処理部51は、VIBデータを4個のデータ領域に分割し、分割したデータ領域毎にVIBデータを構文解析して、構文解析結果としての波形データ(例えば、VPCMデータ、VAACデータ)を出力している。これにより、ライブラリ処理部51は、VIBデータのサイズが大きい場合でも、処理負荷及び処理時間を軽減することができる。
また、ライブラリ処理部51は、VIBデータを生成する際、波形データ(例えば、VPCMデータ、VAACデータ)を分割処理してもよい。図8には、VIBデータを生成する際の分割処理の例が示されている。振動データ処理装置50は、バッファ55と、バッファ56とを更に備える。ライブラリ処理部51は、バッファ55を介して波形データを受信し、分割した波形データのデータ領域毎に、波形データに基づいてVIBデータを生成する。また、ライブラリ処理部51は、生成したVIBデータを、バッファ56を介して送信する。
ライブラリ処理部51は、VIBデータを生成する際、波形データを分割処理してもよい。図8では、ライブラリ処理部51は、波形データ(例えば、VPCMデータ、VAACデータ)を4個のデータ領域に分割し、分割したデータ領域毎にVIBデータを生成して、生成したVIBデータを出力している。これにより、ライブラリ処理部51は、オーサリング装置40が管理する小データ領域を用いて、VIBデータを生成することができる。
次に、オーサリングシステムの動作手順を説明する。
図9は、VIBデータを構文解析する際の動作手順の例を示すシーケンス図である。オーサリング装置40は、VIBデータを構文解析した結果として出力されるVPCM又はVAACを記憶する領域を、波形データ装置10に確保(アロケーション)する(ステップS1)。また、オーサリング装置40は、振動データ処理装置50にVIBデータを送信するよう、振動データ装置30に指示する(ステップS2)。振動データ装置30は、振動データ処理装置50に、VIBデータを送信する(ステップS3)。
振動データ処理装置50は、フォーマット(図4〜図6を参照)に則ってVIBデータを構文解析し、構文解析結果としてのVPCMデータ又はVAACデータ等を、波形データ装置10に送信する(ステップS4)。波形データ装置10は、受信したVPCMデータ又はVAACデータ等を記憶する。また、波形データ装置10は、VPCMデータ又はVAACデータを記憶したことを示す情報を、オーサリング装置40に送信する(ステップS5)。
なお、アプリケーション装置100(図1及び図2を参照)は、波形データ装置10に記憶されているVPCMデータ又はVAACデータ等に基づいて、各振動部(スピーカ)から音声を再生してもよい。
図10は、PCMデータに基づいてVPCMデータを生成する際の動作手順の例を示すシーケンス図である。オーサリング装置40は、PCMデータに基づいて生成されるVPCMを記憶する領域を、波形データ装置10に確保する(ステップSa1)。
オーサリング装置40は、操作部41(図1を参照)を介して操作入力されたベクトル情報を、情報送受信装置20に送信する(ステップSa2)。情報送受信装置20は、受信したベクトル情報を、振動データ処理装置50に転送する(ステップSa3)。また、オーサリング装置40は、振動データ処理装置50にPCMデータを送信するよう、波形データ装置10に指示する(ステップSa4)。波形データ装置10は、振動データ処理装置50にPCMデータを送信する(ステップSa5)。
振動データ処理装置50は、振動エフェクトを得ることができるように、PCMデータ及びベクトル情報に基づいて、VPCMデータを生成する。ここで、振動データ処理装置50は、ベクトル情報の件数(count)に基づいて、VPCMデータを生成してもよい。また、振動データ処理装置50は、振動エフェクトをより得ることができるように、VPCMデータにトーンバーストを含めてもよい(ステップSa6)。
波形データ装置10は、VPCMデータを記憶したことを示す情報を、オーサリング装置40に送信する(ステップSa7)。なお、振動データ処理装置50は、PCMデータの代わりにAACデータに基づいて、VAACデータを生成してもよい。
図11は、予め定められた波形データに基づいてVPCMデータを生成する際の動作手順の例を示すシーケンス図である。オーサリング装置40は、固定波形情報(予め定められた波形データ)に基づいて生成されるVPCMを記憶する領域を、波形データ装置10に確保する(ステップSb1)。
オーサリング装置40は、操作部41(図1を参照)を介して操作入力された固定波形情報及びベクトル情報を、情報送受信装置20に送信する(ステップSb2)。情報送受信装置20は、受信した固定波形情報及びベクトル情報を、振動データ処理装置50に転送する(ステップSb3)。
振動データ処理装置50は、振動エフェクトを得ることができるように、固定波形情報及びベクトル情報に基づいて、VPCMデータを生成する。ここで、振動データ処理装置50は、ベクトル情報の件数(count)に基づいて、VPCMデータを生成してもよい。また、振動データ処理装置50は、振動エフェクトをより得ることができるように、VPCMデータにトーンバーストを含めてもよい(ステップSb4)。
波形データ装置10は、VPCMデータを記憶したことを示す情報を、オーサリング装置40に送信する(ステップSb5)。なお、振動データ処理装置50は、PCMデータの代わりにAACデータに基づいて、VAACデータを生成してもよい。
図12は、VPCMデータに基づいてVIBデータを生成する際の動作手順の例を示すシーケンス図である。オーサリング装置40は、VPCMデータに基づいて生成されるVIBデータを記憶する領域を、振動データ装置30に確保する(ステップSc1)。また、オーサリング装置40は、振動データ処理装置50にVPCMデータを送信するよう、波形データ装置10に指示する(ステップSc2)。
波形データ装置10は、振動データ処理装置50に、VPCMデータを送信する(ステップSc3)。振動データ処理装置50は、フォーマット(図4〜図6を参照)に則って、VPCMデータを含むVIBデータを生成し、生成したVIBデータを、振動データ装置30に送信する(ステップSc4)。また、振動データ装置30は、VIBデータを記憶したことを示す情報を、オーサリング装置40に送信する(ステップSc5)。
以上のように、振動データ処理装置50は、振動部110、120、130及び140の振動を示す波形データ(VPCMデータ、又はVAACデータ)を定めるための所定データ(例えば、音声データに基づくPCMデータ又はAACデータ)を受信する波形データ送受信部52、及び、前記波形データを定めるための所定データ(例えば、加速度データ、構成情報、VIB情報、ベクトル情報、固定波形情報)を受信する情報送受信部53と、前記所定データにより定まる前記波形データ(VPCMデータ、又はVAACデータ)を含む振動データ(VIBデータ)を生成するライブラリ処理部51と、を備える。
この構成により、ライブラリ処理部51は、所定データ(例えば、加速度データ、音声データに基づくPCMデータ又はAACデータ)により定まる前記波形データ(VPCMデータ、又はVAACデータ)を含む振動データ(VIBデータ)を生成する。これにより、振動データ処理装置50は、振動による演出効果(振動エフェクト)を得るための振動データ(VIBデータ)を処理することができる。
また、ライブラリ処理部51は、振動部110、120、130及び140の振動時間を示す情報、及び、前記振動部の数(チャンネル数)を示す情報のうち少なくとも一つを、前記振動データ(VIBデータ)と対応付けて、振動ファイル(VIBファイル)として振動データ装置30に記憶させる。
これにより、振動データ(VIBデータ)は、振動部110、120、130及び140の振動時間を示す情報、及び、振動部110、120、130及び140の数(チャンネル数)を示す情報のうち少なくとも一つを含むことができる。
また、波形データ送受信部52は、前記所定データとして、音声データを受信する。また、情報送受信部53は、前記所定データとして、加速度データを受信する。
また、ライブラリ処理部51は、複数の前記振動部によりユーザが感じる振動の位置を定位又は移動させるように、前記振動データ(VIBデータ)を生成する。
また、ライブラリ処理部51は、前記振動データ(VIBデータ)を構文解析し、構文解析結果としての前記波形データ(VPCMデータ、又はVAACデータ)を出力する。
また、振動データ処理プログラム(データ処理プログラム)は、コンピュータに、振動部110、120、130及び140の振動を示す波形データ(VPCMデータ、又はVAACデータ)を定めるための所定データ(例えば、音声データに基づくPCMデータ又はAACデータ)を受信し、又は、前記波形データを定めるための所定データ(例えば、加速度データ、構成情報、VIB情報、ベクトル情報、固定波形情報)を受信する手順と、前記所定データにより定まる前記波形データを含む振動データ(VIBデータ)を生成する手順と、を実行させるためのプログラムである。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
例えば、オーサリングシステムの動作手順(図9〜図12を参照)は、組み合わされてもよい。また、例えば、オーサリングシステムの各装置は、一体の装置でもよい。また、オーサリングシステムの各装置において動作するプログラムは、それぞれがモジュールとして動作することにより、全体として一つのプログラムとして動作してもよい。
また、上記に説明したオーサリングシステムを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリー等の書き込み可能な不揮発性メモリー、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリー(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
一実施形態において、振動データ処理装置50は、振動部110、120、130及び140の振動を示す波形データ(VPCMデータ)を定めるための所定データ(PCMデータ)を受信する波形データ送受信部52と、前記所定データ(PCMデータ)により定まる波形データ(VPCMデータ)を含む振動データ(VIBデータ)を生成するライブラリ処理部51と、を備える。
上記実施形態において、前記ライブラリ処理部51は、前記振動部110、120、130及び140の振動時間を示す情報、及び、前記振動部110、120、130及び140の数を示す情報のうち少なくとも一つを、前記振動データ(VIBデータ)に含めて記憶装置に記憶させることができる。
また、前記波形データ送受信部52は、前記所定データ(PCMデータ)として、音声データ又は加速度データを受信することができる。
また、前記ライブラリ処理部51は、前記振動部110、120、130及び140によりユーザが感じる振動の位置を定位又は移動させるように、前記振動データ(VIBデータ)を生成することができる。
また、前記ライブラリ処理部51は、前記振動データを構文解析し、構文解析結果としての前記波形データ(VPCMデータ)を出力することができる。
また、一実施形態において、振動データ処理プログラムは、コンピュータに、振動部110、120、130及び140の振動を示す波形データ(VPCMデータ)を定めるための所定データ(PCMデータ)を受信する手順と、前記所定データ(PCMデータ)により定まる前記波形データ(VPCMデータ)を含む振動データ(VIBデータ)を生成する手順と、を実行させることができる。
10…波形データ装置、20…情報送受信装置、30…振動データ装置、40…オーサリング装置、41…操作部、50…振動データ処理装置、51…ライブラリ処理部、52…波形データ送受信部、53…情報送受信部、54…振動データ送受信部、55…バッファ、56…バッファ、100…アプリケーション装置、110…振動部、120…振動部、130…振動部、140…振動部。

Claims (6)

  1. 振幅を示す情報と、周波数を示す情報とを含むデータを受信する受信部と、
    前記データと、所定のベクトル情報とに基づいて、振動部の振動を発生させるためのデータを生成する処理部と、
    を備え
    前記ベクトル情報は、前記振動部を備えるアプリケーション装置において、ユーザが得られる振動の定位の移動感の軌跡を示す情報である、
    データ処理装置。
  2. 前記受信部は、ベクトル情報を受信し、
    前記処理部は、前記受信部で受信したベクトル情報に基づいて、振動部の振動を発生させるためのデータを生成する
    求項1に記載のデータ処理装置。
  3. 前記受信部は、前記振幅を示す情報と、周波数を示す情報とを含むデータとして、音声データを受信する請求項1又は請求項のいずれか一項に記載のデータ処理装置。
  4. 前記処理部は、前記振動部の振動を発生させるためのデータに、前記振動部の振動時間を示す情報、及び、前記振動部の数を示す情報のうち少なくとも一つを含めた振動データを更に生成する
    求項1から請求項のいずれか一項に記載のデータ処理装置。
  5. 前記処理部は、前記振動データを構文解析し、構文解析結果としての前記振動部の振動を発生させるためのデータを出力する請求項に記載のデータ処理装置。
  6. コンピュータに、
    振幅を示す情報と、周波数を示す情報とを含むデータを受信する手順と、
    前記データと、所定のベクトル情報とに基づいて、振動部の振動を発生させるためのデータを生成する手順と、
    を実行させ
    前記ベクトル情報は、前記振動部を備えるアプリケーション装置において、ユーザが得られる振動の定位の移動感の軌跡を示す情報である、
    データ処理プログラム。
JP2014509220A 2012-04-06 2013-04-05 データ処理装置、及びデータ処理プログラム Active JP6269480B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012087310 2012-04-06
JP2012087310 2012-04-06
PCT/JP2013/060455 WO2013151155A1 (ja) 2012-04-06 2013-04-05 データ処理装置、及びデータ処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2013151155A1 JPWO2013151155A1 (ja) 2015-12-17
JP6269480B2 true JP6269480B2 (ja) 2018-01-31

Family

ID=49300631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014509220A Active JP6269480B2 (ja) 2012-04-06 2013-04-05 データ処理装置、及びデータ処理プログラム

Country Status (3)

Country Link
US (1) US20150097658A1 (ja)
JP (1) JP6269480B2 (ja)
WO (1) WO2013151155A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9164587B2 (en) * 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
WO2015119237A1 (ja) * 2014-02-07 2015-08-13 株式会社ニコン 電子機器、および制御プログラム
WO2017061368A1 (ja) * 2015-10-09 2017-04-13 シャープ株式会社 体感制御装置および体感システム
KR20220035096A (ko) 2019-07-19 2022-03-21 소니그룹주식회사 신호 처리 장치 및 방법, 그리고 프로그램

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11153949A (ja) * 1997-11-20 1999-06-08 Sony Corp 体感モーション装置
JP2001183968A (ja) * 1999-12-27 2001-07-06 Sanyo Electric Co Ltd 疑似体験装置及び疑似体験方法
JP4529360B2 (ja) * 2003-02-28 2010-08-25 沖電気工業株式会社 体感装置、モーション信号の生成方法およびプログラム
EP1907086B1 (en) * 2005-06-27 2011-07-20 Coactive Drive Corporation Synchronized vibration device for haptic feedback
JP2007324829A (ja) * 2006-05-31 2007-12-13 Toshiba Corp 振動体感再生装置及び振動体感再生方法
US8315652B2 (en) * 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
KR101590357B1 (ko) * 2009-06-16 2016-02-01 엘지전자 주식회사 휴대 단말기, 휴대 단말기 동작방법 및 휴대 단말기 싱크 시스템
US9417695B2 (en) * 2010-04-08 2016-08-16 Blackberry Limited Tactile feedback method and apparatus
KR100986681B1 (ko) * 2010-05-06 2010-10-08 (주)이미지스테크놀로지 촉각 발생을 위한 다중 액튜에이터 구동 제어장치
US20120206371A1 (en) * 2011-02-10 2012-08-16 Nokia Corporation Direction Sensation Haptic Motion
US20130293466A1 (en) * 2011-03-30 2013-11-07 Honda Motor Co., Ltd. Operation device
US20120268285A1 (en) * 2011-04-22 2012-10-25 Nellcor Puritan Bennett Llc Systems and methods for providing haptic feedback in a medical monitor
JP5811597B2 (ja) * 2011-05-31 2015-11-11 ソニー株式会社 ポインティングシステム、ポインティングデバイス及びポインティング制御方法
TW201317831A (zh) * 2011-10-24 2013-05-01 Chief Land Electronic Co Ltd 三維觸覺感知回饋產生方法及手持電子裝置
JP5994991B2 (ja) * 2012-01-24 2016-09-21 パナソニックIpマネジメント株式会社 電子機器
US20140292668A1 (en) * 2013-04-01 2014-10-02 Lenovo (Singapore) Pte. Ltd. Touch input device haptic feedback

Also Published As

Publication number Publication date
WO2013151155A1 (ja) 2013-10-10
JPWO2013151155A1 (ja) 2015-12-17
US20150097658A1 (en) 2015-04-09

Similar Documents

Publication Publication Date Title
JP6269480B2 (ja) データ処理装置、及びデータ処理プログラム
KR102204606B1 (ko) 다수의 액츄에이터를 사용하는 사운드-햅틱 효과 변환 시스템
KR101384434B1 (ko) 햅틱 효과 개선을 위한 시스템들 및 방법들, 및 기록 매체
KR20120011548A (ko) 사용자 입력에 대한 피드백 제공 장치 및 방법
ES2862750T3 (es) Método de grabación, método y aparato de reproducción de la grabación y terminal
JP2015121918A (ja) 振動装置及び電子機器
JP6384329B2 (ja) データ処理装置、およびデータ処理プログラム
JP6346245B2 (ja) 玩具システム、玩具体の制御方法、及びプログラム
JPWO2020003728A1 (ja) 符号化装置、符号化方法、復号装置、復号方法、プログラム
JP2014000158A (ja) 玩具体、制御方法、プログラム、及び玩具システム
CN102377923A (zh) 摄像系统
WO2013151087A1 (ja) データ処理装置及びデータ処理プログラム
KR20160010843A (ko) 진동 기능을 제공하는 오디오북 재생 방법, 장치 및 컴퓨터 판독 가능 매체
JP7476516B2 (ja) 信号処理装置、信号処理システム、プログラム、信号処理方法
JP5707892B2 (ja) 電子機器及び通信システム
JP2018064198A (ja) 電気音響変換方法、振動素子駆動方法、及びそれらの装置
JP6156155B2 (ja) 振動発生装置及び音響装置
KR20040052527A (ko) 진동주파수를 동영상파일에 함께 저장하고 재생하게 하는 기술과 그 장치
JP2008010090A (ja) 音声再生装置
WO2016143905A1 (ja) 制御システム、模型、及び制御方法
JP2010044418A (ja) 音声再生装置
JP2014134970A (ja) 振動変換装置及び振動変換プログラム
KR20050070503A (ko) 진동주파수를 동영상파일에 함께 저장하고 재생하게 하는 기술과 그 장치
JP2009187664A (ja) 音声再生装置及び音声再生方法
JP2013228486A (ja) 電子機器及び抽出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171218

R150 Certificate of patent or registration of utility model

Ref document number: 6269480

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250