JP7347421B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

従来、振動などの触覚刺激をユーザに提示するための技術が各種提案されている。例えば、下記特許文献１には、音声信号に基づく音声出力と共に音声信号の低周波数領域を振動として出力することで、ビートを強調し臨場感を向上させる技術が開示されている。

特許第４４６７６０１号公報

しかし、上記特許文献１に開示された技術では、単に音声信号に基づいてビートが抽出されて、抽出されたビートが振動として出力されるのみであった。振動を出力する振動装置の特性によって出力される振動の特性が異なり得ること等を考慮すれば、上記特許文献１に開示された技術には未だ向上の余地があると言える。

そこで、本開示では、振動提示を伴うユーザ体験をより向上させることが可能な仕組みを提供する。

本開示によれば、振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させる制御部、を備える情報処理装置が提供される。

また、本開示によれば、振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させること、を含む、プロセッサにより実行される情報処理方法が提供される。

また、本開示によれば、コンピュータを、振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させる制御部、として機能させるためのプログラムが提供される。

以上説明したように本開示によれば、振動提示を伴うユーザ体験をより向上させることが可能な仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係るコンテンツ提供システムの概要を説明するための図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 本実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。 本実施形態に係る情報処理装置により実行される信号処理の処理フローの一例を示すブロック図である。 本実施形態に係る振動装置の周波数―加速度特性の一例を示すグラフである。 本実施形態に係る情報処理装置により実行されるＤＲＣ処理の一例を説明するための図である。 本実施形態に係る情報処理装置による信号処理により形成される波形の一例を示す図である。 本実施形態に係る情報処理装置の処理パラメータの設定例を示す図である。 本実施形態に係る情報処理装置により生成される振動データの一例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．概要
２．構成例
２．１．ハードウェア構成例
２．２．機能構成例
３．信号処理
４．パラメータ設定
５．まとめ

＜＜１．概要＞＞
まず、図１を参照して、本開示の一実施形態に係るコンテンツ提供システムの概要を説明する。

図１は、本実施形態に係るコンテンツ提供システム１の概要を説明するための図である。図１に示した例では、コンテンツ提供システム１は、音出力装置１０及び端末装置２０を含む。

音出力装置１０は、音を出力する装置である。図１に示した例では、音出力装置１０はヘッドホンである。他にも、音出力装置１０は、イヤホン又はスピーカ等として実現されてもよい。音出力装置１０は、端末装置２０と有線又は無線により接続され、端末装置２０から受信したデータに基づいて音を出力する。

端末装置２０は、コンテンツの出力を制御する装置である。図１に示した例では、端末装置２０はスマートフォンである。他にも、端末装置２０は、ＰＣ（Personal Computer）又はタブレット端末等として実現されてもよい。また、コンテンツとは、音楽又は映画等の、少なくとも音データを含むデータである。コンテンツは、音データに加えて画像（動画像／静止画像）データを含んでいてもよい。

端末装置２０は、情報処理装置１００、振動装置２００、及び表示装置３００としての機能を有する。図１では、情報処理装置１００、振動装置２００及び表示装置３００が端末装置２０として一体的に構成される例が示されているが、各々は別個の装置として構成されてもよい。以下、各装置について説明する。

振動装置２００は、振動提示対象に対し振動を提示する装置である。振動提示対象としては、人間、動物、又はロボット等の任意の物体が挙げられる。図１に示した例では、振動提示対象はユーザであり、以下では振動提示対象はユーザであるものとして説明する。振動装置２００は、振動装置２００に接触するユーザに対し振動を提示する。図１に示した例では、振動装置２００は、端末装置２０を持つユーザの手に対し、振動を提示する。振動装置２００は、情報処理装置１００と有線又は無線により接続され、情報処理装置１００から受信したデータに基づいて振動を出力する。

表示装置３００は、画像（静止画像／動画像）を出力する装置である。表示装置３００は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ又はランプ等として実現される。表示装置３００は、情報処理装置１００と有線又は無線により接続され、情報処理装置１００から受信したデータに基づいて画像を出力する。

情報処理装置１００は、コンテンツ提供システム１の全体を制御する装置である。情報処理装置１００は、音出力装置１０、振動装置２００及び表示装置３００を協働させて、コンテンツを出力させる。例えば、情報処理装置１００は、表示装置３００により画像を表示させると共に、画像と同期した音を音出力装置１０から出力させ、音と同期した振動を振動装置２００から出力させる。例えば、情報処理装置１００は、低音部分（即ち、低周波数の音）を振動として出力させることで、聞き取りにくい低音部分を体感により補強し、ユーザ体験を向上させることができる。

一般的には、人間が耳で聞きとり可能な音の周波数は、２０Ｈｚ～２万Ｈｚ程度と言われている。また、人間の耳の感度特性（即ち、聞こえやすさ）は、周波数によって異なる。例えば、低い周波数の音の感度は低く、音として認識されにくくなる。グラフ３０は、音出力装置１０から出力される音の特性の一例を示すグラフであり、横軸は周波数であり、縦軸は音圧レベルである。一般的に、２０Ｈｚ～２万Ｈｚと言われる可聴周波数帯３１のうち、一例として１００Ｈｚ以上の周波数帯３２の音の感度は高く、１００Ｈｚ未満の周波数帯３３の音の感度は低いものとする。この場合、周波数帯３３の音が、振動として振動装置２００から出力されることが望ましい。これにより、ユーザは、手に振動を感じることを、低音を聞いているように錯覚することで、コンテンツを高臨場感で楽しむことができる。

ただし、音出力装置１０によって、出力される音の特性（以下、音出力特性とも称する）は異なり得る。例えば、ヘッドホンは低音部分を比較的出力しやすい一方で、イヤホンは低音部分を比較的出力しにくい。同様に、振動装置２００によって、出力される振動の特性（以下、振動出力特性とも称する）は異なり得る。例えば、振動装置２００によって、振動しやすい周波数及び振動しにくい周波数は異なり得る。

これらの出力特性が何ら考慮されずにコンテンツが出力される場合、ユーザ体験が劣化し得る。例えば、音出力装置１０によって出力可能な周波数の下限が５００Ｈｚである場合、振動装置２００から１００Ｈｚ以下の振動が出力されると、音と振動との周波数差が大きくなる。この場合、ユーザは、手に感じる振動を低音として錯覚しにくくなり、音と振動とを別個の刺激として知覚してしまう。そうすると、低音部分は体感により補強されず、むしろ無関係とも思える振動が提供されることとなるので、ユーザ体験が劣化する。

このような事情に鑑み、本実施形態に係る情報処理装置１００を提案するに至った。本実施形態に係る情報処理装置１００は、コンテンツの提供に関与する出力装置の出力特性に応じて、音データに対応する振動を振動装置２００に出力させる。コンテンツの提供に関与する出力装置の出力特性とは、例えば音出力特性及び／又は振動出力特性である。これにより、上述したユーザ体験の劣化を防止し、ユーザ体験をより向上させることが可能となる。

以上、本実施形態に係るコンテンツ提供システム１の概要を説明した。以下、コンテンツ提供システム１の詳細を説明する。

＜＜２．構成例＞＞
＜２．１．ハードウェア構成例＞
以下、図２を参照して、情報処理装置１００のハードウェア構成例を説明する。図２は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示すブロック図である。図２に示すように、情報処理装置１００は、ＲＡＭ（Random Access Memory）１０１、ＣＰＵ（Central Processing Unit）１０３、ＤＳＰ／アンプ１０５及びＧＰＵ（Graphics Processing Unit）１０７を含む。

ＲＡＭ１０１は、情報を記憶する記憶部の一例である。ＲＡＭ１０１は、コンテンツのデータを記憶し、ＣＰＵ１０３に出力する。このような記憶部としての機能は、ＲＡＭ１０１に代えて、又は共に、ＨＤＤ等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現されてもよい。

ＣＰＵ１０３は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する、制御部の一例である。ＣＰＵ１０３は、ＲＡＭ１０１から出力されたコンテンツのデータを処理して、音データ及び振動データをＤＳＰ／アンプ１０５に出力し、画像データをＧＰＵ１０７に出力する。その際、ＣＰＵ１０３は、音出力装置１０の音出力特性及び／又は振動装置２００の振動出力特性に基づいて、音データに対応する振動を振動装置２００に出力させる制御を行う。このような制御部としての機能は、ＣＰＵ１０３に代えて、又は共に、電気回路、ＤＳＰ又はＡＳＩＣ等により実現されてもよい。なお、振動データとは、振動装置２００から出力されるべき振動の振幅及び周波数等の特性を示す情報を少なくとも含む。振動データは、振動装置２００を駆動させるための駆動信号であってもよい。

ＤＳＰ／アンプ１０５は、信号に所定の処理を適用し、信号を増幅する機能を有する。ＤＳＰ／アンプ１０５は、ＣＰＵ１０３から出力された信号を増幅して、対応する出力装置に出力する。例えば、ＤＳＰ／アンプ１０５は、音データ（例えば、音信号）を増幅して音出力装置１０に出力する。音出力装置１０は、ＤＳＰ／アンプ１０５から出力された音信号に基づいて音を出力する。また、ＤＳＰ／アンプ１０５は、振動データ（例えば、駆動信号）を増幅して振動装置２００に出力する。振動装置２００は、ＤＳＰ／アンプ１０５から出力された振動データに基づいて駆動することで、振動を出力する。なお、ＣＰＵ１０３が行う信号処理の少なくとも一部は、ＤＳＰ／アンプ１０５により実行されてもよい。

ＧＰＵ１０７は、画像処理装置として機能し、表示装置３００に表示させる画面の描画等の処理を行う。ＧＰＵ１０７は、ＣＰＵ１０３から出力された画像データを処理して、処理後の画像データを表示装置３００に出力する。表示装置３００は、ＧＰＵ１０７から出力された画像データに基づいて表示を行う。

＜２．２．機能構成例＞
続いて、図３を参照して、情報処理装置１００の機能構成例を説明する。図３は、本実施形態に係る情報処理装置１００の機能構成の一例を示すブロック図である。図３に示すように、情報処理装置１００は、取得部１１０、生成部１２０、画像処理部１３０及び出力制御部１４０を含む。なお、取得部１１０、生成部１２０及び出力制御部１４０は、ＣＰＵ１０３及び／又はＤＳＰ／アンプ１０５において実装され、画像処理部１３０はＧＰＵ１０７において実装され得る。

取得部１１０は、コンテンツのデータを取得する機能を有する。取得部１１０は、ＲＡＭ１０１等の情報処理装置１００が内蔵する記憶部からコンテンツのデータを取得してもよいし、有線又は無線の通信路を介して外部装置からコンテンツのデータを取得してもよい。取得部１１０は、取得したコンテンツのデータのうち、音データを生成部１２０及び出力制御部１４０に出力し、画像データを画像処理部１３０に出力する。

生成部１２０は、コンテンツの音データに基づいて振動データを生成する機能を有する。例えば、生成部１２０は、音データに所定の処理を適用することで、音データを振動データに変換する。生成部１２０は、音出力装置１０の音出力特性及び／又は振動装置２００の振動出力特性に基づいて、音データから振動データを生成する。そして、生成部１２０は、生成した振動データを出力制御部１４０に出力する。

画像処理部１３０は、コンテンツの画像データに基づいて、表示装置３００に出力させるための画面の描画等の処理を行う機能を有する。画像処理部１３０は、処理後の画像データを出力制御部１４０に出力する。

出力制御部１４０は、各種の出力装置による情報の出力を制御する機能を有する。出力制御部１４０は、取得部１１０から出力された音データに基づく音を音出力装置１０により出力させる。出力制御部１４０は、生成部１２０から出力された振動データに基づく振動を振動装置２００により出力させる。出力制御部１４０は、画像処理部１３０から出力された画像データに基づく画像を表示装置３００により出力させる。

＜＜３．信号処理＞＞
以下、図４を参照しながら、情報処理装置１００による信号処理の一例を説明する。図４は、本実施形態に係る情報処理装置１００により実行される信号処理の処理フローの一例を示すブロック図である。図４に示すように、音データは、そのまま音データとして取り扱われつつも、振動データ生成のためにも用いられる。以下では、振動データの生成について主に説明する。

（前処理）
・インバースボリューム処理１５１
図４に示すように、まず、生成部１２０は、音データに対しインバースボリューム処理１５１を適用する。インバースボリューム処理とは、音データに適用された音量設定と逆向きの音量設定を適用する処理である。音データに適用された音量設定とは、例えば、全体的な音量の増減及び周波数帯毎の音量の増減の設定であり、ユーザ又は音出力装置１０により設定され得る。生成部１２０は、音量設定を参照して、増加された音量を減じ、減じられた音量を増加する等、音データの音量を元の音量に戻すための振幅制御を行う。インバースボリューム処理は、音量をノーマライズする処理を含んでいてもよい。

・音声カットフィルタ１５２
次いで、生成部１２０は、インバースボリューム処理１５１を適用後の音データに対し、音声カットフィルタ１５２を適用する。音声カットフィルタ１５２は、人間の声に相当する周波数帯域を音データから除去するフィルタである。人の声が振動として出力されることはユーザにとって不快に感じられることが多いところ、かかるフィルタにより不快感を軽減することが可能となる。

これらの前処理の後、生成部１２０は、第１の周波数に基づいて、振動装置２００を振動させるための振動データを生成する。第１の周波数は、超低音用の処理が適用される信号（第１の部分信号とも称する）の上限を規定する周波数である。また、第１の周波数は、低音部分用の処理が適用される信号（第２の部分信号とも称する）の周波数の下限を規定する周波数でもある。さらに、生成部１２０は、第２の周波数に基づいて、振動装置２００を振動させるための振動データを生成する。第２の周波数は、第２の部分信号の周波数の上限を規定する周波数である。生成部１２０は、第１の部分信号及び第２の部分信号にそれぞれ異なる信号処理を適用する。以下、第１の部分信号に適用される超低音部分用の処理と、第２の部分信号に適用される低音部分用の処理とについて、詳しく説明する。

（超低音部分用の処理）
・超低音抽出処理１６１
生成部１２０は、音声カットフィルタ１５２を適用後の音データに対し、超低音抽出処理１６１を適用する。超低音抽出処理１６１とは、音データのうち超低音部分の信号である第１の部分信号を抽出する処理である。詳しくは、生成部１２０は、音データから第１の周波数以下の信号である第１の部分信号を抽出する。

第１の周波数とは、振動装置２００の振動出力特性に対応する周波数である。例えば、第１の周波数は、振動装置２００の共振周波数（又は共振点）に対応する周波数（共振周波数と同一又は近い周波数）である。振動装置２００の振動出力特性とは、例えば、周波数―加速度特性、共振周波数、出力可能な周波数の上限／下限、出力可能な振動の大きさ、及び応答速度等を含む、振動装置２００により出力される振動の特性を示す概念である。振動装置２００の振動出力特性の一例を、図５に示す。図５は、本実施形態に係る振動装置２００の周波数―加速度特性の一例を示すグラフである。本グラフの横軸は周波数であり、縦軸は加速度である。典型的には、振動装置２００は、共振周波数以下の周波数の振動を出力しにくい。また、共振周波数より小さいある周波数（出力可能な周波数の下限）以下では、振動が出力されない。図５に示した例では、振動装置２００の共振周波数は１００Ｈｚであり、１００Ｈｚ以下の周波数では加速度（即ち、振動）が出にくいことが示されている。そこで、振動しにくい共振周波数以下の音データに対して、それ専用の超低音部分用の処理が適用されることで、振動出力特性に適合する振動データを生成することが可能となる。なお、共振周波数が複数ある場合、第１の周波数は、最も低い共振周波数に対応する周波数である。

・エンベロープ化処理１６２
生成部１２０は、超低音抽出処理１６１により抽出された第１の部分信号に対し、エンベロープ化処理１６２を適用する。エンベロープ化処理１６２とは、音データの振幅の外形を取り出す処理である。エンベロープ化処理１６２が適用されることで、振動データが振幅方向に飽和（saturation）することが防止される。

・アタック音抽出処理１６３
生成部１２０は、エンベロープ化処理１６２を適用後の第１の部分信号に対し、アタック音抽出処理１６３を適用する。アタック音抽出処理１６３とは、アタック音を抽出する処理である。アタック音とは、立ち上がりの音である。アタック音は、例えば、拍を成すビートに相当する。

アタック音抽出処理１６３としては、上記特許文献１に開示されているビート抽出処理と同様の処理が用いられ得る。簡単に説明すると、生成部１２０は、入力された音データの各時刻におけるスペクトルを算出し、単位時間当たりのスペクトルの時間微分値を算出する。そして、生成部１２０は、スペクトルの時間微分値の波形のピーク値と所定の閾値とを比較し、当該閾値を超えるピークを有する波形を、アタック音成分として抽出する。この抽出されたアタック音成分には、アタック音のタイミング及びそのときのアタック音の強度の情報が含まれる。そして、生成部１２０は、抽出したアタック音成分にエンベロープをかけ、アタック音のタイミングで立ち上がり、立ち上がり速度より遅い速度で減衰する波形を生成して出力する。

・ＤＲＣ（Dynamic Range Control）処理１６４
生成部１２０は、エンベロープ化処理１６２を適用後の第１の部分信号に対し、ＤＲＣ処理１６４を適用する。ＤＲＣ処理１６４は、入力信号の振幅と出力信号の振幅との間に所定の関係が成立するように、振幅を制御する処理である。ＤＲＣ処理１６４により、典型的には、音の立下りが強調された余韻成分が生成される。ＤＲＣ処理１６４の一例を、図６を参照して説明する。

図６は、本実施形態に係る情報処理装置１００により実行されるＤＲＣ処理１６４の一例を説明するための図である。図６のグラフ４０は、ＤＲＣ処理１６４における入力信号の振幅と出力信号の振幅との関係の一例を示しており、横軸は入力信号の振幅であり、縦軸は出力信号の振幅である。グラフ４０によれば、入力信号と出力信号とで振幅の最小値及び最大値は一致し、最小値と最大値との間では出力信号の振幅は入力信号の振幅よりも大きい。このようなＤＲＣ処理１６４が適用される場合、例えば入力信号４１が出力信号４２に変換される。入力信号４１と出力信号４２とを比較すると、出力信号４２の立下りの方が緩やかであり、ピークに達してから０になるまでの時間が長いことが分かる。このように、ＤＲＣ処理１６４が適用されることで、音の立下り時間が長引くので、音の余韻が強調される。

・加算器１６５
加算器１６５は、アタック音抽出処理１６３を適用後の第１の部分信号とＤＲＣ処理１６４を適用後の第１の部分信号とを合成（例えば、加算）する。つまり、加算器１６５は、抽出されたアタック音成分と余韻成分とを加算する。これにより、アタック音に余韻を付加することが可能となる。なお、加算器１６５は、各々の信号に重みを付して加算してもよい。

なお、第１の部分信号に対して適用される、エンベロープ化処理１６２、アタック音抽出処理１６３、ＤＲＣ処理１６４及び加算器１６５による加算は、第１の処理とも称される。

・ゼロ点検出処理１６６
生成部１２０は、加算器１６５による加算を適用後の第１の部分信号に対し、ゼロ点検出処理１６６を適用する。ゼロ点検出処理１６６とは、入力された信号の振幅が所定の閾値以下となるタイミングを検出する処理である。所定の閾値は、典型的にはゼロであるが、ゼロ以外の正数であってもよい。ゼロ点検出処理１６６は、検出結果として、所定の閾値以下である期間は０ではない所定の正数（例えば、１）を出力し、所定の閾値を超える場合には０を出力する。例えば、ゼロ点検出処理１６６は、入力された信号の振幅が０である場合に１を出力し、入力された信号の振幅が０を超える場合に０を出力する。ゼロ点検出処理１６６による検出結果は、後述する低音部分用処理において用いられる。

・正弦波発振器１６７
正弦波発振器１６７は、所定の周波数の正弦波を発振する。正弦波発振器１６７は、振動装置２００の振動出力特性に対応する周波数の正弦波を発振する。例えば、正弦波発振器１６７は、第１の周波数の正弦波を発振する。

・乗算器１６８
乗算器１６８は、第１の部分信号に対し第１の処理を適用した結果と正弦波発振器１６７により発振された第１の周波数の正弦波とを乗算する。超低音抽出処理１６１に関し上記説明したように、振動装置２００は、第１の周波数以下の周波数では振動しにくい。この点、乗算器１６８による乗算により、振動しにくい超低音部分を第１の周波数で疑似的に表現することが可能となる。

（低音部分用の処理）
・低音抽出処理１７１
生成部１２０は、音声カットフィルタ１５２を適用後の音データに対し、低音抽出処理１７１を適用する。低音抽出処理１７１とは、音データのうち低音部分の信号（以下、第２の部分信号とも称する）を抽出する処理である。詳しくは、生成部１２０は、音データから第１の周波数を超え第２の周波数以下の信号である第２の部分信号を抽出する。第２の周波数は、第１の周波数よりも大きい周波数である。第２の周波数は、任意に設定可能である。ただし、第２の周波数とは、人間の耳の感度特性、及び音出力装置１０の音出力特性に対応する周波数であることが望ましい。

例えば、第２の周波数は、人間の可聴周波数帯の下限よりも高い周波数であることが望ましい。換言すると、第２の部分信号は、人間の可聴周波数帯を含む音データから生成されることが望ましい。人間の可聴周波数帯の下限とは、例えば、２０Ｈｚである。これにより、音データに基づき音出力装置１０から出力される音のうちユーザが聞き取り可能な周波数帯と、音データの低音部分に基づいて出力される振動の周波数帯とが重複することとなる。よって、音と振動とを別個の刺激として知覚してしまうことが防止されて、ユーザ体験の劣化を防止することが可能となる。

また、第２の周波数は、音出力装置１０が出力可能な周波数帯の下限よりも高い周波数であることが望ましい。換言すると、第２の部分信号は、音出力装置１０が出力可能な周波数帯を含む音データから生成されることが望ましい。これにより、音出力装置１０から出力される音の周波数帯と振動装置２００から出力される振動の周波数帯とが重複することとなる。よって、音と振動とを別個の刺激として知覚してしまうことが防止されて、ユーザ体験の劣化を防止することが可能となる。

・音源調整処理１７２
生成部１２０は、低音抽出処理１７１により抽出された第２の部分信号に対し、音源調整処理１７２を適用する。音源調整処理１７２は、例えば入力された信号の振幅を増幅させる処理を行う。増幅率は、任意の実数である。なお、音源調整処理１７２において、増幅が実施されなくてもよい。

・エンベロープ化処理１７３
生成部１２０は、低音抽出処理１７１により抽出された第２の部分信号に対し、エンベロープ化処理１７３を適用する。エンベロープ化処理１７３の処理内容は、エンベロープ化処理１６２と同様である。

・アタック音抽出処理１７４
生成部１２０は、エンベロープ化処理１７３を適用後の第２の部分信号に対し、アタック音抽出処理１７４を適用する。アタック音抽出処理１７４の処理内容は、アタック音抽出処理１６３と同様である。

・ＤＲＣ処理１７５
生成部１２０は、エンベロープ化処理１７３を適用後の第２の部分信号に対し、ＤＲＣ処理１７５を適用する。ＤＲＣ処理１７５の処理内容は、ＤＲＣ処理１６４と同様である。

・加算器１７６
加算器１７６は、アタック音抽出処理１７４を適用後の第２の部分信号とＤＲＣ処理１７５を適用後の第２の部分信号とを加算する。加算器１７６の処理内容は、加算器１６５と同様である。

なお、第２の部分信号に対して適用される、エンベロープ化処理１７３、アタック音抽出処理１７４、ＤＲＣ処理１７５及び加算器１７６による加算は、第２の処理とも称される。ここで、図４に示した例では、第１の部分信号に対して適用される第１の処理と第２の部分信号に対して適用される第２の処理とで、含む処理の種別が同一であるが、本技術は係る例に限定されない。例えば、第１の処理及び第２の処理は、互いに異なる処理を含んでいてもよい。また、第１の処理と第２の処理とで、同一の処理におけるパラメータは異なっていてもよい。例えば、アタック音抽出処理１６３とアタック音抽出処理１７４とで、アタック音成分を抽出する際の閾値が異なっていてもよい。

・乗算器１７７
乗算器１７７は、第２の部分信号に対し第２の処理を適用した結果と音源調整処理１７２により増幅された第２の部分信号とを乗算する。さらに、乗算器１７７は、ゼロ点検出処理１６６による検出結果を乗算する。

（合成処理）
・加算器１５３
加算器１５３は、超低音部分用の処理が適用された第１の部分信号と低音部分用の処理が適用された第２の部分信号とを合成（例えば、加算）することで、振動データを生成する。ここで、第２の部分信号には、ゼロ点検出処理１６６による検出結果が乗算されている。そのため、加算器１５３は、超低音部分用の処理が適用された第１の部分信号と、低音部分用の処理が適用された第２の部分信号のうち、超低音部分用の処理が適用された第１の部分信号の振幅が所定の閾値以下である期間の信号と、を合成することとなる。例えば、加算器１５３は、超低音部分用の処理が適用された第１の部分信号と、低音部分用の処理が適用された第２の部分信号のうち、超低音部分用の処理が適用された第１の部分信号の振幅がゼロである期間の信号と、を合成する。これにより、合成によって振動データが振幅方向に飽和することが防止される。なお、加算器１５３は、各々の信号に重みを付して加算してもよい。

以上説明した処理により、音データから振動データが生成される。

（波形の一例）
図７は、本実施形態に係る情報処理装置１００による信号処理により形成される波形の一例を示す図である。図７に示す各々の波形の横軸は時間であり、縦軸は中央を０とする振幅である。波形５１は、生成部１２０に入力される音データの波形の一例である。波形５２は、低音抽出処理１７１により抽出された第２の部分信号の波形の一例である。波形５３は、エンベロープ化処理１７３が適用された第２の部分信号の波形の一例である。波形５４は、アタック音抽出処理１７４により抽出されたアタック音成分の波形の一例である。波形５５は、ＤＲＣ処理１７５により抽出される余韻成分の波形の一例である。波形５６は、加算器１７６によりアタック音成分と余韻成分とが加算された第２の部分信号の波形の一例である。

＜＜４．パラメータ設定＞＞
生成部１２０は、様々な情報に基づいて、音データに対応する振動を振動装置２００に出力させる。そして、生成部１２０は、様々な情報に基づいて、振動データの生成のための処理パラメータを可変に設定する。例えば、生成部１２０は、図４を参照して上記説明した各種処理のパラメータを可変に設定する。これにより、ユーザによる手動のパラメータ設定を要さずに、最適な振動をユーザに提示することが可能となる。以下、パラメータ設定の設定基準の一例を説明する。

・設定基準の一例
生成部１２０は、振動装置２００の振動出力特性に基づいて、音データに対応する振動を振動装置２００に出力させる。即ち、生成部１２０は、振動装置２００の振動出力特性に基づいて、処理パラメータを設定する。例えば、生成部１２０は、振動装置２００の共振周波数に基づいて第１の周波数を設定する。また、生成部１２０は、振動装置２００（又は振動装置２００を含む端末装置２０）が折り畳み可能であるか否か、折り畳み可能である場合には開いているか閉じているか、及び振動装置２００の温度に基づいて、処理パラメータを設定してもよい。これらにより、振動出力特性は変化し得るためである。このような振動出力特性に基づく設定により、振動装置２００の特性に応じた適切な振動を振動装置２００に出力させることが可能となる。

生成部１２０は、音出力装置１０の音出力特性に基づいて、音データに対応する振動を振動装置２００に出力させ得る。即ち、生成部１２０は、音出力装置１０の音出力特性に基づいて、処理パラメータを設定し得る。例えば、生成部１２０は、音出力特性に基づいて、第２の周波数を設定する。具体的には、生成部１２０は、音出力装置１０が出力可能な周波数帯の下限よりも高い周波数に、第２の周波数を設定する。他にも、生成部１２０は、音出力装置１０が出力可能な音量、又は出力可能な周波数等に基づいて、処理パラメータを設定してもよい。このような設定により、音出力装置１０の音出力特性に応じた適切な振動を振動装置２００に出力させることが可能となる。

生成部１２０は、音データの特性に基づいて、音データに対応する振動を振動装置２００に出力させ得る。即ち、生成部１２０は、音データの特性に基づいて、処理パラメータを設定し得る。音データの特性としては、映画の音データであるか、音楽の音データであるか、ゲームの音データであるか又はニュースの音データである等の、音データを含むコンテンツの属性が挙げられる。例えば、生成部１２０は、これらコンテンツの属性に応じてアタック音成分の抽出のためのパラメータや、余韻成分抽出のためのパラメータを設定する。また、音データの特性としては、音量が挙げられる。例えば、生成部１２０は、ユーザによる音量調整を元に戻す処理を、インバースボリューム処理１５１により行う。このような設定により、音データの特性に応じた適切な振動を振動装置２００に出力させることが可能となる。

生成部１２０は、振動装置２００による振動の提供を受けるユーザの特性に基づいて、音データに対応する振動を振動装置２００に出力させ得る。即ち、生成部１２０は、振動装置２００による振動の提供を受けるユーザの特性に基づいて、処理パラメータを設定し得る。例えば、生成部１２０は、振動を知覚しすいユーザや振動に慣れたユーザに対しては強い振動が出力されるよう処理パラメータを設定し、そうでないユーザに対しては弱い振動が出力されるよう処理パラメータを設定する。ユーザの特性としては、年齢及び性別等のユーザの属性が挙げられる。他にも、ユーザの属性としては、ドラマを見る頻度、音楽を聴く頻度、及びゲームをする頻度等のコンテンツに対する趣向が挙げられる。このような設定により、ユーザの特性に応じた適切な振動を振動装置２００に出力させることが可能となる。

生成部１２０は、振動装置２００による振動の提供を受けるユーザによる振動装置２００の使用状況に基づいて、音データに対応する振動を振動装置２００に出力させ得る。即ち、生成部１２０は、振動装置２００による振動の提供を受けるユーザによる振動装置２００の使用状況に基づいて、処理パラメータを設定し得る。使用状況としては、振動装置２００の使用時間の長さ、振動装置２００の使用時刻、振動装置２００を使用中のユーザの動作が挙げられる。例えば、生成部１２０は、振動装置２００の使用時間が長いほどユーザが振動に慣れてくるので、強い振動が出力されるよう処理パラメータを設定する。例えば、生成部１２０は、振動装置２００の使用時刻が夜である場合、弱い振動が出力されるよう処理パラメータを設定する。例えば、生成部１２０は、ユーザが歩きながら又は電車に乗りながら振動装置２００を使用する場合、振動が知覚されにくいので強い振動が出力されるよう処理パラメータを設定する。一方で、生成部１２０は、ユーザが座りながら振動装置２００を使用する場合、振動が知覚されやすいので弱い振動が出力されるよう処理パラメータを設定する。このような設定により、ユーザによる振動装置２００の使用状況に応じた適切な振動を振動装置２００に出力させることが可能となる。

・パラメータ設定の具体例
以下、図８を参照しながら、処理パラメータの具体的な設定例を説明する。

図８は、本実施形態に係る情報処理装置１００の処理パラメータの設定例を示す図である。図８では、一例として、設定例Ａ～Ｃが示されている。設定例Ａは、音出力装置１０がヘッドホンであり、コンテンツが音楽である場合の設定例である。設定例Ｂは、音出力装置１０がスピーカであり、コンテンツが音楽である場合の設定例である。設定例Ｃは、音出力装置１０がヘッドホンであり、コンテンツが映画である場合の設定例である。

まず、設定例Ａについて説明する。低音抽出処理１７１においては、１００Ｈｚ～５００Ｈｚの信号が第２の部分信号として抽出される。音源調整処理１７２では、入力信号が３倍に増幅される。アタック音抽出処理１７４では、入力信号が６倍に増幅されてからアタック音成分が抽出される。ＤＲＣ処理１７５では、図示のように入出力差が比較的大きい入出力関係の処理が適用される。加算器１７６では、アタック音抽出処理１７４からの出力とＤＲＣ処理１７５からの出力とが、１対０．８で重み付け加算される。また、超低音抽出処理１６１においては、０Ｈｚ～１００Ｈｚの信号が第１の部分信号として抽出される。アタック音抽出処理１６３では、入力信号が６倍に増幅されてからアタック音成分が抽出される。ＤＲＣ処理１６４では、図示のように入出力差が比較的大きい入出力関係の処理が適用される。加算器１６５では、アタック音抽出処理１６３からの出力とＤＲＣ処理１６４からの出力とが、１対０．８で重み付け加算される。

次いで、設定例Ｂについて説明する。低音抽出処理１７１においては、２００Ｈｚ～５００Ｈｚの信号が第２の部分信号として抽出される。音源調整処理１７２では、入力信号が３倍に増幅される。アタック音抽出処理１７４では、入力信号が６倍に増幅されてからアタック音成分が抽出される。ＤＲＣ処理１７５では、図示のように入出力差が比較的大きい入出力関係の処理が適用される。加算器１７６では、アタック音抽出処理１７４からの出力とＤＲＣ処理１７５からの出力とが、１対０．８で重み付け加算される。また、超低音部分用の処理は、実施されない。

次に、設定例Ｃについて説明する。低音抽出処理１７１においては、１００Ｈｚ～５００Ｈｚの信号が第２の部分信号として抽出される。音源調整処理１７２では、入力信号が２倍に増幅される。アタック音抽出処理１７４では、入力信号が３倍に増幅されてからアタック音成分が抽出される。ＤＲＣ処理１７５では、図示のように入出力差が比較的小さい入出力関係の処理が適用される。加算器１７６では、アタック音抽出処理１７４からの出力とＤＲＣ処理１７５からの出力とが、１対１で重み付け加算される。また、超低音抽出処理１６１においては、０Ｈｚ～１００Ｈｚの信号が第１の部分信号として抽出される。アタック音抽出処理１６３では、入力信号が３倍に増幅されてからアタック音成分が抽出される。ＤＲＣ処理１６４では、図示のように入出力差が比較的小さい入出力関係の処理が適用される。加算器１６５では、アタック音抽出処理１６３からの出力とＤＲＣ処理１６４からの出力とが、１対１で重み付け加算される。

・パラメータ設定に対応する波形の具体例
以下、図９を参照しながら、パラメータ設定に対応する波形の具体例を説明する。

図９は、本実施形態に係る情報処理装置１００により生成される振動データの一例を示す図である。図９に示す波形６１は、生成部１２０に入力される音データの波形の一例であり、波形６２～波形６４は、波形６１に示した音データから生成される振動データの波形の一例である。波形６２は、音出力装置１０が低音を出力しにくい音出力特性を有するイヤホンであり、振動装置２００が５０Ｈｚ以下の振動を出力できないという振動出力特性を有し、コンテンツが映画である場合の波形である。波形６３は、音出力装置１０が低音を出力しやすい音出力特性を有するヘッドホンであり、振動装置２００が５０Ｈｚ以下の振動を出力できないという振動出力特性を有し、コンテンツがゲームである場合の波形である。波形６４は、音出力装置１０が低音を出力しやすい音出力特性を有するヘッドホンであり、振動装置２００が５０Ｈｚ以下の振動を出力できないという振動出力特性を有し、コンテンツが音楽である場合の波形である。

＜＜５．まとめ＞＞
以上、図１～図９を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置１００は、振動装置２００の振動出力特性に基づいて、音データに対応する振動を振動装置２００に出力させる。情報処理装置１００は、音データに対応する振動を振動装置２００に出力させる際に、振動出力特性を考慮することで、例えば出力される音の周波数と振動の周波数とが離隔することを防止する等して、ユーザ体験の劣化を防止することができる。そして、聞き取りにくい低音部分を、より確実に振動の体感により補強し、ユーザ体験を向上させることが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図３に示した情報処理装置１００の機能構成例のうち、生成部１２０が、取得部１１０、画像処理部１３０及び出力制御部１４０とネットワーク等で接続されたサーバ等の装置に備えられていても良い。また、例えば、図２に示した情報処理装置１００、振動装置２００、表示装置３００及び音出力装置１０のうち少なくとも２つの装置は、ひとつの装置として実現されてもよい。例えば、図１に示したように、情報処理装置１００、振動装置２００及び表示装置３００が、端末装置２０として実現されてもよい。

また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。上記記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記憶媒体を用いずに、例えばネットワークを介して配信されてもよい。

また、本明細書において図４に示した処理フローを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させる制御部、
を備える情報処理装置。
（２）
前記制御部は、前記振動出力特性に対応する第１の周波数に基づいて、前記振動装置を振動させるための振動データを生成する、前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記音データから前記第１の周波数以下の信号である第１の部分信号を抽出し、前記音データから前記第１の周波数を超え第２の周波数以下の信号である第２の部分信号を抽出し、前記第１の部分信号及び前記第２の部分信号にそれぞれ異なる信号処理を適用して合成することで、前記振動データを生成する、前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記信号処理が適用された前記第１の部分信号と、前記信号処理が適用された前記第２の部分信号のうち、前記信号処理が適用された前記第１の部分信号の振幅が所定の閾値以下である期間の信号と、を合成する、前記（３）に記載の情報処理装置。
（５）
前記信号処理は、前記第１の部分信号に対し第１の処理を適用した結果と前記第１の周波数の正弦波との乗算を含む、前記（３）又は（４）に記載の情報処理装置。
（６）
前記信号処理は、前記第２の部分信号に対し第２の処理を適用した結果と前記第２の部分信号が増幅された信号との乗算を含む、前記（５）に記載の情報処理装置。
（７）
前記第１の処理及び前記第２の処理は、エンベロープ化処理を含む、前記（６）に記載の情報処理装置。
（８）
前記第１の処理及び前記第２の処理は、アタック音の抽出及びＤＲＣ処理の適用、並びに前記アタック音の抽出結果と前記ＤＲＣ処理結果との合成を含む、前記（６）又は（７）に記載の情報処理装置。
（９）
前記制御部は、前記音データに対し、前記音データに適用された音量設定と逆向きの音量設定を適用する、前記（３）～（８）のいずれか一項に記載の情報処理装置。
（１０）
前記第１の周波数は、前記振動装置の共振周波数に対応する周波数である、前記（３）～（９）のいずれか一項に記載の情報処理装置。
（１１）
前記第２の周波数は、人間の可聴周波数帯の下限よりも高い周波数である、前記（３）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記第２の周波数は、前記音データに基づき音を出力する音出力装置が出力可能な周波数帯の下限よりも高い周波数である、前記（３）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記制御部は、前記音データに基づき音を出力する音出力装置の音出力特性に基づいて、前記音データに対応する振動を前記振動装置に出力させる、前記（３）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記制御部は、前記音データの特性に基づいて、前記音データに対応する振動を前記振動装置に出力させる、前記（３）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記制御部は、前記振動装置による振動の提供を受けるユーザの特性に基づいて、前記音データに対応する振動を前記振動装置に出力させる、前記（３）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記制御部は、前記振動装置による振動の提供を受けるユーザによる前記振動装置の使用状況に基づいて、前記音データに対応する振動を前記振動装置に出力させる、前記（３）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させること、
を含む、プロセッサにより実行される情報処理方法。
（１８）
コンピュータを、
振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させる制御部、
として機能させるためのプログラム。

１ コンテンツ提供システム
１０ 音出力装置
２０ 端末装置
１００ 情報処理装置
１０１ ＲＡＭ
１０３ ＣＰＵ
１０５ ＤＳＰ／アンプ
１０７ ＧＰＵ
１１０ 取得部
１２０ 生成部
１３０ 画像処理部
１４０ 出力制御部
２００ 振動装置
３００ 表示装置

Claims (12)

1. 振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させる制御部、を備え、
   前記制御部は、
   前記振動出力特性に対応する第１の周波数に基づいて、前記振動装置を振動させるための振動データを生成し、
   前記音データから前記第１の周波数以下の信号である第１の部分信号を抽出し、前記音データから前記第１の周波数を超え第２の周波数以下の信号である第２の部分信号を抽出し、前記第１の部分信号及び前記第２の部分信号にそれぞれ異なる信号処理を適用して合成することで、前記振動データを生成し、
   前記信号処理が適用された前記第１の部分信号と、前記信号処理が適用された前記第２の部分信号のうち、前記信号処理が適用された前記第１の部分信号の振幅が所定の閾値以下である期間の信号と、を合成する、
   情報処理装置。
2. 振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させる制御部、を備え、
   前記制御部は、
   前記振動出力特性に対応する第１の周波数に基づいて、前記振動装置を振動させるための振動データを生成し、
   前記音データから前記第１の周波数以下の信号である第１の部分信号を抽出し、前記音データから前記第１の周波数を超え第２の周波数以下の信号である第２の部分信号を抽出し、前記第１の部分信号及び前記第２の部分信号にそれぞれ異なる信号処理を適用して合成することで、前記振動データを生成し、
   前記信号処理は、前記第１の部分信号に対し第１の処理を適用した結果と前記第１の周波数の正弦波との乗算を含む、
   情報処理装置。
3. 前記信号処理は、前記第２の部分信号に対し第２の処理を適用した結果と前記第２の部分信号が増幅された信号との乗算を含む、
   請求項２に記載の情報処理装置。
4. 前記第１の処理及び前記第２の処理は、エンベロープ化処理を含む、
   請求項３に記載の情報処理装置。
5. 前記第１の処理及び前記第２の処理は、アタック音の抽出及びＤＲＣ処理の適用、並びに前記アタック音の抽出結果と前記ＤＲＣ処理の結果との合成を含む、
   請求項３に記載の情報処理装置。
6. 振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させる制御部、を備え、
   前記制御部は、
   前記振動出力特性に対応する第１の周波数に基づいて、前記振動装置を振動させるための振動データを生成し、
   前記音データから前記第１の周波数以下の信号である第１の部分信号を抽出し、前記音データから前記第１の周波数を超え第２の周波数以下の信号である第２の部分信号を抽出し、前記第１の部分信号及び前記第２の部分信号にそれぞれ異なる信号処理を適用して合成することで、前記振動データを生成し、
   前記音データに対し、前記音データに適用された音量設定と逆向きの音量設定を適用する、
   情報処理装置。
7. 振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させることと、
   前記振動出力特性に対応する第１の周波数に基づいて、前記振動装置を振動させるための振動データを生成することと、
   前記音データから前記第１の周波数以下の信号である第１の部分信号を抽出し、前記音データから前記第１の周波数を超え第２の周波数以下の信号である第２の部分信号を抽出し、前記第１の部分信号及び前記第２の部分信号にそれぞれ異なる信号処理を適用して合成することで、前記振動データを生成することと、
   前記信号処理が適用された前記第１の部分信号と、前記信号処理が適用された前記第２の部分信号のうち、前記信号処理が適用された前記第１の部分信号の振幅が所定の閾値以下である期間の信号と、を合成することと、
   を含む、プロセッサにより実行される情報処理方法。
8. 振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させることと、
   前記振動出力特性に対応する第１の周波数に基づいて、前記振動装置を振動させるための振動データを生成することと、
   前記音データから前記第１の周波数以下の信号である第１の部分信号を抽出し、前記音データから前記第１の周波数を超え第２の周波数以下の信号である第２の部分信号を抽出し、前記第１の部分信号及び前記第２の部分信号にそれぞれ異なる信号処理を適用して合成することで、前記振動データを生成することと、
   を含み、
   前記信号処理は、前記第１の部分信号に対し第１の処理を適用した結果と前記第１の周波数の正弦波との乗算を含む、
   プロセッサにより実行される情報処理方法。
9. 振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させることと、
   前記振動出力特性に対応する第１の周波数に基づいて、前記振動装置を振動させるための振動データを生成することと、
   前記音データから前記第１の周波数以下の信号である第１の部分信号を抽出し、前記音データから前記第１の周波数を超え第２の周波数以下の信号である第２の部分信号を抽出し、前記第１の部分信号及び前記第２の部分信号にそれぞれ異なる信号処理を適用して合成することで、前記振動データを生成することと、
   前記音データに対し、前記音データに適用された音量設定と逆向きの音量設定を適用することと、
   を含む、プロセッサにより実行される情報処理方法。
10. コンピュータを、
    振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させ、
    前記振動出力特性に対応する第１の周波数に基づいて、前記振動装置を振動させるための振動データを生成し、
    前記音データから前記第１の周波数以下の信号である第１の部分信号を抽出し、前記音データから前記第１の周波数を超え第２の周波数以下の信号である第２の部分信号を抽出し、前記第１の部分信号及び前記第２の部分信号にそれぞれ異なる信号処理を適用して合成することで、前記振動データを生成し、
    前記信号処理が適用された前記第１の部分信号と、前記信号処理が適用された前記第２の部分信号のうち、前記信号処理が適用された前記第１の部分信号の振幅が所定の閾値以下である期間の信号と、を合成する制御部、
    として機能させるためのプログラム。
11. コンピュータを、
    振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させ、
    前記振動出力特性に対応する第１の周波数に基づいて、前記振動装置を振動させるための振動データを生成し、
    前記音データから前記第１の周波数以下の信号である第１の部分信号を抽出し、前記音データから前記第１の周波数を超え第２の周波数以下の信号である第２の部分信号を抽出し、前記第１の部分信号及び前記第２の部分信号にそれぞれ異なる信号処理を適用して合成することで、前記振動データを生成する制御部、
    として機能させるためのプログラムであって、
    前記信号処理は、前記第１の部分信号に対し第１の処理を適用した結果と前記第１の周波数の正弦波との乗算を含む、
    プログラム。
12. コンピュータを、
    振動装置の振動出力特性に基づいて、音データに対応する振動を前記振動装置に出力させ、
    前記振動出力特性に対応する第１の周波数に基づいて、前記振動装置を振動させるための振動データを生成し、
    前記音データから前記第１の周波数以下の信号である第１の部分信号を抽出し、前記音データから前記第１の周波数を超え第２の周波数以下の信号である第２の部分信号を抽出し、前記第１の部分信号及び前記第２の部分信号にそれぞれ異なる信号処理を適用して合成することで、前記振動データを生成し、
    前記音データに対し、前記音データに適用された音量設定と逆向きの音量設定を適用する制御部、
    として機能させるためのプログラム。

Images