JP5714774B2 - 振動信号生成装置及び方法、コンピュータプログラム、記録媒体並びに体感音響システム - Google Patents

Description

本発明は、例えば体感音響装置等に採用される電気−機械振動変換器に供給される比較的低い周波数を有する振動信号を生成する振動信号生成装置及び方法、コンピュータプログラム、記録媒体並びに体感音響システムの技術分野に関する。

この種の体感音響装置として、例えば、電気信号を機械的振動に変換するトランスデューサを駆動するために入力された音響信号を、モード切替スイッチの切り替えに応じてイコライズ（ここでは、カットオフ周波数及び増幅度の切替）する体感音響装置が提案されている（特許文献１参照）。また、この種の体感音響装置として、音響信号の立ち上がりが急激な部分（アタック部分）を強調する体感音響装置が提案されている（特許文献２参照）。

特開２００４−２３４８８号公報 特許第３５７９６３９号公報

しかしながら、特許文献１及び２に記載の体感音響装置では、入力される音響信号によっては、違和感のない又は心地よい体感振動をユーザに提供することができるとは限らないという技術的問題点がある。例えば、特許文献２に記載の技術では、音響信号の立ち上がりが急激な部分（アタック部分）が一律に強調されてしまうため、例えばバックの伴奏に合わせてボーカルの音声が伸びている箇所では、当該ボーカルの音声を断ち切るような体感振動が、バックの伴奏に合わせてユーザに提供されてしまいかねない。このようなボーカルの音声を断ち切るような体感振動は、必ずしもユーザにとって心地よいものとは限らない。

本発明は、例えば上記問題点に鑑みてなされたものであり、より好適な体感振動をユーザに提供することができる振動信号生成装置及び方法、コンピュータプログラム、記録媒体並びに体感音響システムを提供することを課題とする。

上記課題を解決するための振動信号生成装置は、可聴帯域内の周波数成分を含んでなる音響信号から、前記可聴帯域よりも狭い周波数帯域である振動周波数帯域内の周波数成分からなる振動信号を生成する生成手段と、前記音響信号の時間変動が所定変動条件を満たす時間軸上の点である振動変化点を算出する算出手段と、前記振動変化点の直前の前記振動信号の振幅が前記振動変化点の直後の前記振動信号の振幅よりも小さくなるように前記振動信号を補正する補正処理を行う補正手段と、（ｉ）前記振動変化点の前記音響信号に含まれる倍音成分の特性に基づいて、前記振動変化点において前記補正処理を行うか否かを決定すると共に、（ｉｉ）前記補正処理を行うと決定された場合に前記補正処理を行うように前記補正手段を制御する制御手段とを備える。

上記課題を解決するための振動信号生成方法は、可聴帯域内の周波数成分を含んでなる音響信号から、前記可聴帯域よりも狭い周波数帯域である振動周波数帯域内の周波数成分からなる振動信号を生成する生成工程と、前記音響信号の時間変動が所定変動条件を満たす時間軸上の点である振動変化点を算出する算出工程と、前記振動変化点の直前の前記振動信号の振幅が前記振動変化点の直後の前記振動信号の振幅よりも小さくなるように前記振動信号を補正する補正処理を行う補正工程と、（ｉ）前記振動変化点の前記音響信号に含まれる倍音成分の特性に基づいて、前記振動変化点において前記補正処理を行うか否かを決定すると共に、（ｉｉ）前記補正処理を行うと決定された場合に前記補正処理を行うように前記補正工程を制御する制御工程とを備える。

上記課題を解決するためのコンピュータプログラムは、コンピュータを、上述した振動信号生成装置として機能させる。

上記課題を解決するための記録媒体は、上述したコンピュータプログラムを格納する。

上記課題を解決するための体感音響システムは、ネットワークを介して相互に接続された端末装置、サーバ装置及び電気−機械振動変換装置を備えてなる体感音響システムであって、前記サーバ装置は、複数の楽曲データ、及び前記複数の楽曲データの一覧を示す楽曲情報を格納する格納手段を有し、前記端末装置は、ユーザの入力を受付可能な受付手段と、前記ネットワークを介して前記楽曲情報を取得して、前記ユーザに対して表示する表示手段と、前記受付手段により受け付けられた前記ユーザの入力に応じて、前記楽曲情報により示される複数の楽曲データのうち一の楽曲データを特定する信号である楽曲特定信号を、前記ネットワークを介して、前記サーバ装置に送信する第１通信手段とを有し、前記サーバ装置は、前記楽曲特定信号により特定される一の楽曲データに対応する音響信号であって且つ可聴帯域内の周波数成分を含んでなる音響信号から、前記可聴帯域よりも狭い周波数帯域である振動周波数帯域内の周波数成分からなる振動信号を生成する生成手段と、前記音響信号の時間変動が所定変動条件を満たす時間軸上の点である振動変化点を算出する算出手段と、前記振動変化点の直前の前記振動信号の振幅が前記振動変化点の直後の前記振動信号の振幅よりも小さくなるように前記振動信号を補正する補正処理を行う補正手段と、（ｉ）前記振動変化点の前記音響信号に含まれる倍音成分の特性に基づいて、前記振動変化点において前記補正処理を行うか否かを決定すると共に、（ｉｉ）前記補正処理を行うと決定された場合に前記補正処理を行うように前記補正手段を制御する制御手段と、前記補正処理が行われた前記振動信号を、前記ネットワークを介して、前記電気−機械振動変換装置に送信する第２通信手段とを更に有する。

本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。

本実施例の振動信号生成装置の構成を示すブロック図である。 本実施例の振動信号生成装置の動作の流れを示すフローチャートである。 オーディオ信号上での振動変化点を示すグラフである。 本実施例の変化点候補の算出方法の一例を示すスペクトル図である。 本実施例のマスク処理の態様を示す波形図である。 マスク処理が行われる前の振動信号及びマスク処理が行われた後の振動信号の態様を示す波形図である。 マスク処理で用いられるマスクの一例を示す波形図である。 マスク処理の変形例を示す波形図である。 ボーカル、シンバル及びピアノを含むオーディオ信号を対象として、倍音度数に応じて選択された一部の振動変化点を対象としてマスク処理が行われた場合の振動信号及び全ての振動変化点を対象としてマスク処理が行われた場合の振動信号の夫々を示す波形図である。 第１実施例の音響体感システムの構成を示すブロック図である。 第２実施例の音響体感システムの構成を示すブロック図である。 第３実施例の音響体感システムの構成を示すブロック図である。 第４実施例の音響体感システムの構成を示すブロック図である。

以下、振動信号生成装置及び方法、コンピュータプログラム、記録媒体並びに体感音響システムの夫々の実施形態について説明を進める。

（振動信号生成装置の実施形態）
＜１＞
本実施形態の振動信号生成装置は、可聴帯域内の周波数成分を含んでなる音響信号から、前記可聴帯域よりも狭い周波数帯域である振動周波数帯域内の周波数成分からなる振動信号を生成する生成手段と、前記音響信号の時間変動が所定変動条件を満たす時間軸上の点である振動変化点を算出する算出手段と、前記振動変化点の直前の前記振動信号の振幅が前記振動変化点の直後の前記振動信号の振幅よりも小さくなるように前記振動信号を補正する補正処理を行う補正手段と、（ｉ）前記振動変化点の前記音響信号に含まれる倍音成分の特性に基づいて、前記振動変化点において前記補正処理を行うか否かを決定すると共に、（ｉｉ）前記補正処理を行うと決定された場合に前記補正処理を行うように前記補正手段を制御する制御手段とを備える。

本実施形態の振動信号生成装置によれば、生成手段は、可聴帯域（例えば、２０Ｈｚから２００００Ｈｚ）内の周波数成分を含んでなる音響信号から、該可聴帯域よりも狭い周波数帯域である振動周波数帯域内の周波数成分からなる信号である振動信号を生成する。尚、振動信号の生成方法については、公知の各種方法（例えば、特許文献１や特許文献２に開示された、ローパスフィルタを用いる方法）を適用可能であるので、ここではその詳細についての説明は省略する。

尚、「振動周波数帯域」は、典型的には、電気−機械振動変換器により適切に機械振動に変換可能な周波数帯域（例えば、６０Ｈｚから１３０Ｈｚ等）として設定される。このような「振動周波数帯域」は、対象とする電気−機械振動変換器の性能に応じて適宜設定されることが好ましい。

生成手段による振動信号の生成に続いて若しくは相前後して又は並行して、算出手段は、音響信号の時間変動が所定変動条件を満たす時間軸上の点である振動変化点を算出する。

ここで、「所定変動条件」は、例えば、音響信号の振幅（より具体的には、音響信号の周波数成分の振幅）等の時間変動を対象として任意に設定可能な条件を示す広い趣旨である。このような「所定変動条件」として、例えば、（ｉ）音響信号の周波数成分の振幅の変化量が所定値より大きく、且つ（ｉｉ）他の振動変化点から、振動周波数帯域の最低周波数に応じて定められる期間（例えば、最低周波数が５０Ｈｚである場合は、０．０２秒）以上離れている（つまり、直前の振動変化点から一定期間経過している）という条件が一例としてあげられる。この一例に従えば、「振動変化点」とは、音響信号の周波数成分の振幅の変化量が所定量より大きく、且つ、振動周波数帯域の最低周波数に応じて定められる期間以上相互に離れている時間軸上の点を意味する。尚、「音響信号の周波数成分の振幅の変化量が所定量より大きい点」は、音響信号におけるいわゆる「発音位置」に相当する点である。従って、「振動変化点」は、発音位置のうち、「振動周波数帯域の最低周波数に応じて定められる期間以上相互に離れている」発音位置と、言い換えることができる。尚、「発音位置」とは、複数の音が時間軸上で連続することにより構成される楽曲において、一の音が、該一の音を発する楽器により発せられたタイミングを言う。

算出手段は、このような「振動変化点」を、例えば次のように算出してもよい。算出手段は、先ず、音響信号に対して高速フーリエ変換を施すことで、一の時刻において音響信号を構成する周波数成分の夫々のパワーの和を算出する。その後、算出手段は、一の時刻とは異なる他の時刻でのパワーの和を基準とする一の時刻でのパワーの和の変化率が所定量より大きいことを条件に、当該一の時刻を振動変化点の候補とする。続いて、算出手段は、複数の振動変化点の候補のうち、振動周波数帯域の最低周波数に応じて定められる期間以上相互に離れている点を、振動変化点として決定する。

その後、補正手段は、生成手段が生成した振動信号に対して、算出手段が算出した振動変化点に応じた補正処理を行う。より具体的には、補正手段は、振動変化点の直前の振動信号（つまり、振動変化点の直前の時点での振動信号の信号成分）の振幅が、当該一の振動変化点の直後の振動信号（つまり、振動変化点の直後の時点での振動信号の信号成分）の振幅よりも小さくなるように、振動信号を補正する。複数の振動変化点（例えば、第１の振動変化点及び第２の振動変化点）が算出された場合には、補正手段は、（ｉ）第１の振動変化点の直前の振動信号の振幅が当該第１の振動変化点の直後の振動信号の振幅よりも小さくなり、且つ（ｉｉ）第２の振動変化点の直前の振動信号の振幅が当該第２の振動変化点の直後の振動信号の振幅よりも小さくなるように、振動信号を補正する。

本実施形態では特に、補正手段は、制御手段の制御を受けながら、補正処理を行う。より具体的には、補正手段は、振動変化点において補正処理を行うと制御手段が決定した場合には、当該振動変化点において補正処理を行う（つまり、当該振動変化点の直前の振動信号の振幅が当該振動変化点の直後の振動信号の振幅よりも小さくなるように振動信号を補正する補正処理を行う）。他方で、補正手段は、振動変化点において補正処理を行わないと制御手段が決定した場合には、当該振動変化点において補正処理を行わない（つまり、当該振動変化点の直前の振動信号の振幅が当該振動変化点の直後の振動信号の振幅よりも小さくなるように振動信号を補正する補正処理を行わない）。

制御手段は、振動変化点において補正処理を行うか否かを決定するために、当該振動変化点の音響信号（つまり、振動変化点に対応する時刻の音響信号の信号成分）に含まれる倍音成分の特性を参照する。例えば、制御手段は、振動変化点の音響信号に含まれる倍音成分の特性が所定特性条件を満たす場合には、振動変化点において補正処理を行うと決定してもよい。他方で、例えば、制御手段は、振動変化点の音響信号に含まれる倍音成分の特性が所定特性条件を満たしていない場合には、振動変化点において補正処理を行わないと決定してもよい。

尚、ここでいう「倍音成分」とは、所定の基準周波数を有する信号成分に対して、２倍の周波数を有する信号成分、３倍の周波数を有する信号成分、・・・、ｋ（但し、ｋは２以上の整数）倍の周波数を有する信号成分を意味する広い趣旨である。このような倍音成分を特定するために、基準周波数は、対象とする電気−機械振動変換器の性能やユーザに体感させたい体感振動の条件等に応じて、予め設定されている又は適宜設定されることが好ましい。例えば、基準周波数には、後に詳述するように、振動変化点の音響信号の音階の周波数が設定されてもよい。また、「倍音成分の特性」とは、音響信号に含まれている倍音成分を直接的に又は間接的に特定することが可能な任意の指標を示す広い趣旨である。このような「倍音成分の特性」として、例えば、後述する倍音成分の強度（言い換えれば、パワー）や倍音成分の有無等が一例としてあげられる。

ここで、本願発明者の研究によれば、以下の事項が判明している。即ち、従来は、電気−機械振動変換器に音響信号がそのまま供給されることが多い。すると、供給された音響信号の全てに対して増幅等の処理が施されるため、音響信号によっては、ユーザが体感する振動が抑揚の少ない又はないものとなるおそれがある。一方で、例えばローパスフィルタ等を用いて、音響信号のうち比較的低い周波数成分のみを抽出して電気−機械振動変換器に供給する装置も提案されている。しかしながら、メリハリのある体感振動という点では十分とはいえない。しかるに、本実施形態の振動信号生成装置によれば、補正手段は、振動変化点の直前の振動信号の振幅が、当該一の振動変化点の直後の振動信号の振幅よりも小さくなるように、振動信号を補正する。このため、本実施形態の振動信号生成装置は、振動変化点の前後において、比較的大きな振動の変化（即ち、メリハリのある体感振動）をユーザに提供することができる。

加えて、本実施形態の振動信号生成装置によれば、補正手段は、算出手段が算出した全ての振動変化点のうち倍音成分の特性に応じて選択された少なくとも一部の振動変化点を対象として補正処理を行うことができる。ここで、本願発明者等の研究によれば、例えば、バックの伴奏に合わせてボーカルの音声が伸びている音響信号には、当該ボーカルの音声の倍音成分が相対的に多く含まれていることが判明している。このような音響信号を対象として、仮に算出手段が算出した全ての振動変化点を対象として一律に補正処理が行われるとすると、ボーカルの音声に合わせた体感振動のみならず、バックの伴奏に合わせた体感振動がユーザに提供される。しかしながら、バックの伴奏に合わせた体感振動は、ボーカルの音声を断ち切るような体感振動としてユーザに提供されてしまいかねない。しかるに、本実施形態の振動信号生成装置によれば、補正手段は、算出手段が算出した全ての振動変化点のうち倍音成分の特性に応じて選択された一部の振動変化点において補正処理を行う（つまり、補正処理をオンにする）ことができる。言い換えれば、補正手段は、算出手段が算出した全ての振動変化点のうち倍音成分の特性に応じて選択されなかった他の一部の振動変化点を対象として補正処理を行わなくともよい（つまり、補正処理をオフにしてもよい）。従って、例えば、補正手段は、算出手段が算出した全ての振動変化点のうち倍音成分の特性に応じて選択されなかった他の一部の振動変化点（つまり、伴奏に合わせた振動変化点）を対象として補正処理を行わない一方で、算出手段が算出した全ての振動変化点のうち倍音成分の特性に応じて選択された一部の振動変化点（つまり、ボーカルの音声に合わせた振動変化点）を対象として補正処理を行うことができる。従って、本実施形態の振動信号生成装置は、バックの伴奏に合わせてボーカルの音声が伸びている音響信号を用いたとしても、ボーカルの音声に合わせたメリハリのある体感振動をユーザに提供することができる。言い換えれば、本実施形態の振動信号生成装置は、ボーカルの音声を断ち切るような体感振動を、バックの伴奏に合わせてユーザに提供してしまうことが殆ど又は全くない。尚、バックの伴奏に合わせてボーカルの音声が伸びている音響信号に限らず、任意の音響信号を用いたとしても、同様の効果が得られることは言うまでもない。従って、本実施形態の振動信号生成装置は、より好適な体感振動をユーザに提供することができる。

尚、ボーカルの音声を断ち切るような体感振動をバックの伴奏に合わせてユーザに提供しないためには、音響信号からボーカルの音声のみを抽出すると共に当該抽出したボーカルの音声のみに基づいて振動変化点を算出すればよいとも考えられる。しかしながら、ボーカルの音声のみを抽出するためには、複雑かつ高度な処理を行う必要があるため、実践上大変困難である。しかるに、本実施形態では、周波数に着目することで比較的容易に抽出することが可能な倍音成分に基づいて補正処理を行うことができるため、実践上大変有用である。

＜２＞
本実施形態の振動信号生成装置の他の態様では、前記制御手段は、前記振動変化点の前記音響信号に含まれる前記倍音成分であって且つ前記振動変化点の前記音響信号の音階に対応する前記倍音成分の特性に基づいて、前記補正処理を行うか否かを決定する。

この態様によれば、制御手段は、振動信号の音響信号の音階に対応する倍音成分の特性に基づいて、補正処理を行うか否かを好適に決定することができる。例えば、ある振動変化点の音響信号の音階がＧ４である場合には、制御手段は、当該音階（Ｇ４）に対応する倍音成分（つまり、当該音階（Ｇ４）の２倍の周波数を有する信号成分、当該音階（Ｇ４）の３倍の周波数を有する信号成分、・・・、当該音階（Ｇ４）のｋ（但し、ｋは２以上の整数）倍の周波数を有する信号成分）の特性に基づいて、補正処理を行うか否かを好適に決定することができる。従って、上述した各種効果が好適に実現される。

＜３＞
本実施形態の振動信号生成装置の他の態様では、前記補正手段は、時間軸上で連続する２つの前記振動変化点の間の期間の前記振動信号に対して所定のフィルタリング処理を行うことで、前記振動変化点の直前の前記振動信号の振幅が前記振動変化点の直後の前記振動信号の振幅よりも小さくなるように前記補正処理を行い、前記制御手段は、時間軸上で連続する前記２つの振動変化点の夫々の前記音響信号に含まれる前記倍音成分の特性に基づいて、時間軸上で連続する前記２つの振動変化点の間の期間の前記振動信号に対して前記フィルタリング処理を行うか否かを決定する。

この態様によれば、補正手段は、時間軸上で連続する２つの振動変化点の間の期間の振動信号に対して所定のフィルタリング処理を行うことで、上述した補正処理を比較的容易に行うことができる。このようなフィルタリング処理が行われる場合であっても、制御手段は、時間軸上で連続する２つの振動変化点の夫々の音響信号に含まれる倍音成分の特性に基づいて、補正処理（つまり、フィルタリング処理）を行うか否かを好適に決定することができる。

＜４＞
本実施形態の振動信号生成装置の他の態様では、前記制御手段は、(i)前記振動変化点の前記音響信号に含まれる前記倍音成分の強度が所定閾値以上である場合に、前記補正処理を行わないと決定し、(ii)前記振動変化点の前記音響信号に含まれる前記倍音成分の強度が所定閾値以上でない場合に、前記補正処理を行うと決定する。

この態様によれば、例えば、バックの伴奏に合わせてボーカルの音声が伸びている音響信号を例にあげれば、例えば、補正手段は、算出手段が算出した全ての振動変化点のうち倍音成分の強度（例えば、パワー）が所定閾値以上である（つまり、倍音成分の強度が相対的に高い、或いは、倍音成分が相対的に多く含まれている）一部の振動変化点（つまり、ボーカルの音声に合わせた振動変化点）において補正処理を行うことができる。言い換えれば、補正手段は、算出手段が算出した全ての振動変化点のうち倍音成分の強度が所定閾値以上でない（つまり、倍音成分の強度が相対的に低い、或いは、倍音成分が相対的に多く含まれていない又は全く含まれていない）他の一部の振動変化点（つまり、伴奏に合わせた振動変化点）において補正処理を行わない。従って、上述したように、本実施形態の振動信号生成装置は、より好適な体感振動をユーザに提供することができる。

＜５＞
本実施形態の振動信号生成装置の他の態様では、前記補正手段は、前記振動変化点の直前の前記振動信号の振幅を減衰させることによって前記振動変化点の直前の前記振動信号の振幅が、前記振動変化点の直後の前記振動信号の振幅よりも小さくなるように前記振動信号を補正する前記補正処理を行う。

この態様によれば、上述した好適な体感振動を比較的容易にユーザに提供することができる。

＜６＞
本実施形態の振動信号生成装置の他の態様では、前記補正手段は、前記振動変化点の直後の前記振動信号の振幅を増幅させることによって、前記振動変化点の直前の前記振動信号の振幅が前記振動変化点の直後の前記振動信号の振幅よりも小さくなるように前記振動信号を補正する前記補正処理を行う。

この態様によれば、上述した好適な体感振動を比較的容易にユーザに提供することができる。

（振動信号生成方法の実施形態）
＜７＞
本実施形態の振動信号生成方法は、可聴帯域内の周波数成分を含んでなる音響信号から、前記可聴帯域よりも狭い周波数帯域である振動周波数帯域内の周波数成分からなる振動信号を生成する生成工程と、前記音響信号の時間変動が所定変動条件を満たす時間軸上の点である振動変化点を算出する算出工程と、前記振動変化点の直前の前記振動信号の振幅が前記振動変化点の直後の前記振動信号の振幅よりも小さくなるように前記振動信号を補正する補正処理を行う補正工程と、（ｉ）前記振動変化点の前記音響信号に含まれる倍音成分の特性に基づいて、前記振動変化点において前記補正処理を行うか否かを決定すると共に、（ｉｉ）前記補正処理を行うと決定された場合に前記補正処理を行うように前記補正工程を制御する制御工程とを備える。

本実施形態の振動信号生成方法によれば、上述した本実施形態の振動信号生成装置が享受することができる各種効果を好適に享受することができる。

尚、上述した本実施形態の振動信号生成装置が採用する各種態様に対応して、本実施形態の振動信号生成方法もまた各種態様を採用することができる。

（コンピュータプログラムの実施形態）
＜８＞
本実施形態のコンピュータプログラムは、コンピュータを、上述した本実施形態の振動信号生成装置（但し、その各種態様を含む）として機能させる。

本実施形態のコンピュータプログラムによれば、上述した本実施形態の振動信号生成装置が享受することができる各種効果を好適に享受することができる。

尚、上述した本実施形態の振動信号生成装置が採用する各種態様に対応して、本実施形態のコンピュータプログラムもまた各種態様を採用することができる。

（記録媒体の実施形態）
＜９＞
本実施形態の記録媒体は、上述した本実施形態のコンピュータプログラム（但し、その各種態様を含む）を格納する。

本実施形態の記録媒体によれば、上述した本実施形態の振動信号生成装置が享受することができる各種効果を好適に享受することができる。

尚、上述した本実施形態の振動信号生成装置が採用する各種態様に対応して、本実施形態の記録媒体もまた各種態様を採用することができる。

（体感音響システムの実施形態）
＜１０＞
本実施形態の体感振動システムは、ネットワークを介して相互に接続された端末装置、サーバ装置及び電気−機械振動変換装置を備えてなる体感音響システムであって、前記サーバ装置は、複数の楽曲データ、及び前記複数の楽曲データの一覧を示す楽曲情報を格納する格納手段を有し、前記端末装置は、ユーザの入力を受付可能な受付手段と、前記ネットワークを介して前記楽曲情報を取得して、前記ユーザに対して表示する表示手段と、前記受付手段により受け付けられた前記ユーザの入力に応じて、前記楽曲情報により示される複数の楽曲データのうち一の楽曲データを特定する信号である楽曲特定信号を、前記ネットワークを介して、前記サーバ装置に送信する第１通信手段とを有し、前記サーバ装置は、前記楽曲特定信号により特定される一の楽曲データに対応する音響信号であって且つ可聴帯域内の周波数成分を含んでなる音響信号から、前記可聴帯域よりも狭い周波数帯域である振動周波数帯域内の周波数成分からなる振動信号を生成する生成手段と、前記音響信号の時間変動が所定変動条件を満たす時間軸上の点である振動変化点を算出する算出手段と、前記振動変化点の直前の前記振動信号の振幅が前記振動変化点の直後の前記振動信号の振幅よりも小さくなるように前記振動信号を補正する補正処理を行う補正手段と、（ｉ）前記振動変化点の前記音響信号に含まれる倍音成分の特性に基づいて、前記振動変化点において前記補正処理を行うか否かを決定すると共に、（ｉｉ）前記補正処理を行うと決定された場合に前記補正処理を行うように前記補正手段を制御する制御手段と、前記補正処理が行われた前記振動信号を、前記ネットワークを介して、前記電気−機械振動変換装置に送信する第２通信手段とを更に有する。

本発明の体感音響システムによれば、端末装置、サーバ装置及び電気−機械振動変換器は、例えばインターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークを介して相互に接続されている。端末装置は、受付手段及び第１通信手段を備えて構成されている。サーバ装置は、格納手段、生成手段、補正手段、制御手段及び第２通信手段を備えて構成されている。このため、本実施形態の体感音響システムよれば、上述した本実施形態の振動信号生成装置が享受することができる各種効果を好適に享受することができる。

尚、上述した本実施形態の振動信号生成装置が採用する各種態様に対応して、本実施形態の体感音響システムもまた各種態様を採用することができる。

本実施形態のこのような作用及び他の利得は次に説明する実施例から明らかにされる。

以上説明したように、本実施形態の振動信号生成装置は、生成手段と、算出手段と、補正手段と、制御手段とを備える。本実施形態の振動信号生成方法は、生成工程と、算出工程と、補正工程と、制御工程とを備える。本実施形態のコンピュータプログラムは、コンピュータを本実施形態の振動信号生成装置として機能させる。本実施形態の記録媒体は、本実施形態のコンピュータプログラムを格納する。本実施形態の体感音響システムは、生成手段、算出手段、補正手段及び制御手段を備えるサーバ装置と、端末装置と、電気−機械振動変換装置とを備える。従って、より好適な体感振動をユーザに提供することができる。

以下、実施例を、図面に基づいて説明する。

（１）振動信号生成装置の実施例
はじめに、図１から図９を参照して、本実施例の振動信号生成装置１０について説明を進める。

（１−１）振動信号生成装置の構成
はじめに、図１を参照して、本実施例の振動信号生成装置１０の構成を説明する。図１は、本実施例の振動信号生成装置１０の構成を示すブロック図である。尚、図１では、説明の便宜上、本発明と直接的に関連のある部材のみを示し、その他の部材については図示を省略している。

図１に示すように、本実施例の振動信号生成装置１０は、振動信号生成部１１と、振動変化点算出部１２と、振動信号強弱補正部１３と、振動信号強弱制御部１４と、信号入力部１５とを備えて構成されている。尚、振動信号生成部１１、振動変化点算出部１２、振動信号強弱補正部１３及び振動信号強弱制御部１４は、電子回路等のハードウェアによって物理的に構成されてもよいし、ＣＰＵ上で動作するソフトウェアによって論理的に実現されてもよい。振動信号生成部１１、振動変化点算出部１２、振動信号強弱補正部１３及び振動信号強弱制御部１４がＣＰＵ上で動作するソフトウェアによって論理的に実現される場合には、当該ソフトウェア（つまり、コンピュータプログラム）が格納された記録媒体がコンピュータにローディングされることで又は当該ソフトウェアが通信回線等を介してコンピュータにダウンロードされることで、当該コンピュータが振動信号生成装置１０として機能し得る。

信号入力部１５は、不図示の記録媒体（例えば、フラッシュメモリや、ハードディスクドライブや、光ディスク等）に格納された楽曲データや、不図示のマイクを介して入力された楽曲データや、不図示のネットワークを介して取得した楽曲データ等の入力を受け付ける。その結果、楽曲データに対応するオーディオ信号が、振動信号生成装置１０に入力される。

振動信号生成部１１は、「生成手段」の一具体例であって、可聴帯域の周波数成分を含んでなるオーディオ信号から、該可聴帯域よりも狭い周波数帯域である振動周波数帯域内の周波数成分からなる信号である振動信号を生成する。尚、振動信号生成部１１は、典型的には、振動周波数帯域の信号成分のみを通過させる（言い換えれば、振動周波数帯域以外の他の周波数帯域の信号成分をカットする）ローパスフィルタである。

振動変化点算出部１２は、「算出手段」の一具体例であって、信号入力部１５を介して入力された楽曲データに対応するオーディオ信号の振動変化点を算出する。

振動信号強弱補正部１３は、「補正手段」の一具体例であって、振動変化点算出部１２が算出した振動変化点の直前の振動信号の振幅が、振動変化点算出部１２が算出した振動変化点の直後の振動信号の振幅よりも小さくなるように、振動信号生成部１１が生成した振動信号を補正する。

振動信号強弱制御部１４は、「制御手段」の一具体例であって、（ｉ）振動変化点の音響信号に含まれる倍音成分の特性に基づいて、振動変化点において補正処理を行うか否かを決定すると共に、（ｉｉ）補正処理を行うと決定された場合に補正処理を行うように振動信号強弱補正部１３を制御する。

尚、振動信号生成部１１、振動変化点算出部１２、振動信号強弱補正部１３及び振動信号強弱制御部１４の夫々のより具体的な動作については、以下（図２から図９参照）に詳述するため、ここでの詳細な説明は省略する。

（１−２）振動信号生成装置の動作
続いて、図２及び図３を参照して、本実施例の振動信号生成装置１０の動作について説明する。図２は、本実施例の振動信号生成装置１０の動作の流れを示すフローチャートである。図３は、オーディオ信号上での振動変化点を示すグラフである。

図２に示すように、振動信号生成部１１は、信号入力部１５を介して入力された楽曲データに対応するオーディオ信号（図３（ａ）参照）から、振動周波数帯域内の周波数成分からなる振動信号（図３（ｂ）参照）を生成する（ステップＳ１０１）。

振動周波数帯域は、例えば、振動信号生成部１１によって自動的に設定されてもよい。或いは、振動周波数帯域は、振動信号生成装置１０のユーザによって手動的に設定されてもよい。但し、振動周波数帯域は、後述する電気−機械振動変換器４０（図１０から図１３参照）により適切に機械振動に変換可能な周波数帯域であることが好ましい。従って、振動周波数帯域は、対象とする電気−機械振動変換器４０の性能に応じて適宜設定されることが好ましい。このような振動周波数帯域としては、例えば、６０Ｈｚから１３０Ｈｚの範囲の周波数帯域が一例としてあげられる。

尚、振動信号生成部１１が生成する振動信号の振幅は、信号入力部１５を介して入力されたオーディオ信号の振幅に応じて決定される。例えば、振動信号生成部１１が生成する振動信号の振幅は、信号入力１５を介して入力されたオーディオ信号の振幅に比例する又は相似する。

上述したステップＳ１０１の処理に続いて若しくは相前後して又は並行して、振動変化点算出部１２は、信号入力部１５を介して入力された楽曲データに対応するオーディオ信号（図３（ａ）参照）の変化点候補（図３（ｃ）中の破線参照）を算出する（ステップＳ２０１）。このとき、振動変化点算出部１２は、複数の変化点候補を算出することが好ましい。或いは、後述する算出方法によって規定されている条件次第では、振動変化点算出部１２は、ただ一つの変化点候補を算出してもよい。以下では、説明の便宜上、振動変化点算出部１２が複数の変化点候補を算出する例を用いて説明を進める。尚、振動変化点算出部１２は、「変化点候補」を、時間軸上の点（即ち、“時刻”）として算出する。

ここで、図４を参照しながら、オーディオ信号の変化点候補の算出方法について説明する。図４は、本実施例の変化点候補の算出方法の一例を示すスペクトル図である。

振動変化点算出部１２は、先ず、オーディオ信号に対して、例えば高速フーリエ変換（Ｆｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＦＦＴ）を施す。その結果、振動変化点算出部１２は、図４（ａ）に示すようなある時刻（ここでは、時刻ｔ）におけるオーディオ信号を構成する複数の周波数成分の夫々のＦＦＴパワーを算出することができる。

続いて、振動変化点算出部１２は、オーディオ信号を構成する複数の周波数成分の夫々のＦＦＴパワーの和を算出する。このとき、振動変化点算出部１２は、オーディオ信号に含まれる複数の周波数成分のうち特定の周波数帯域である抽出周波数帯域に含まれる一部の周波数成分（例えば、網掛けで示す周波数ｆ２から周波数ｆ３）を抽出した後に、当該抽出した一部の周波数成分の夫々のＦＦＴパワーの和を算出することが好ましい。

このとき、振動変化点算出部１２が抽出する一部の周波数成分を規定する抽出周波数帯域は、振動信号算出部１２によって自動的に設定されてもよい。或いは、抽出周波数帯域は、振動信号生成装置１０のユーザによって手動的に設定されてもよい。但し、抽出周波数帯域は、後述する振動変化点に応じたマスク処理によって断続的な体感振動を提供したくないパートないしは楽器に対応する周波数成分を含んでいることが好ましい。例えば、ボーカルの音声が伸びている箇所でのバックの伴奏に応じた体感振動を提供したくない（つまり、ボーカルの音声が伸びている箇所で、ボーカルの音声を断ち切ってしまうような体感振動を、バックの演奏に応じて提供したくない）場合には、抽出周波数帯域として、ボーカルの音声に対応する２００Ｈｚから８００Ｈｚの帯域が設定されてもよい。或いは、例えば、トランペットの演奏が続いている箇所でのバックのコーラスに応じた体感振動を提供したくない（つまり、トランペットの演奏が続いている箇所で、トランペットの演奏を断ち切ってしまうような体感振動を、バックのコーラスに応じて提供したくない）場合には、抽出周波数帯域として、トランペットの演奏に対応する２００Ｈｚから１ｋＨｚの帯域が設定されてもよい。

その後、振動変化点算出部１２は、ある時刻ｔでのＦＦＴパワーの和Ｐ（ｔ、ｆ）の増加率を算出する。具体的には、振動変化点算出部１２は、直前の時刻ｔ−１でのＦＦＴパワーの和Ｐ（ｔ−１、ｆ）を基準とする、ある時刻ｔでのＦＦＴパワーの和Ｐ（ｔ、ｆ）の増加率（例えば、Ｐ（ｔ、ｆ）／Ｐ（ｔ−１、ｆ）を算出する。

その後、振動変化点算出部１２は、算出されたＦＦＴパワーの和の増加率に基づいて、オーディオ信号の変化点候補を算出する。具体的には、振動変化点算出部１２は、例えば、Ｐ（ｔ、ｆ）／Ｐ（ｔ−１、ｆ）＞Ｎ（ｔ）という条件を満たす時刻ｔを、変化点候補として算出する。尚、Ｎ（ｔ）は、時刻ｔでのＦＦＴパワーの和Ｐ（ｔ、ｆ）から算出される変化度合（言い換えれば、閾値）である。振動変化点算出部１２は、上に説明した処理を継続して行うことで、複数の変化点候補を算出する。

尚、振動変化点算出部１２は、ＦＦＴパワーの和の増加率に加えて又は代えて、直前の時刻ｔ−１でのオーディオ信号の振幅Ａ（ｔ−１）を基準とする、ある時刻ｔでのオーディオ信号の振幅Ａ（ｔ）の増加率（つまり、Ａ（ｔ）／Ａ（ｔ−１））を算出してもよい。この場合、振動変化点算出部１２は、例えば、Ａ（ｔ）／Ａ（ｔ−１）＞Ｎ’（ｔ）という条件を満たす時刻ｔを、変化点候補として算出してもよい。尚、Ｎ’（ｔ）は、時刻ｔでの振幅Ａ（ｔ）から算出される変化度合（言い換えれば、閾値）である。

再び図２に戻り、振動変化点算出部１２は、算出された複数の変化点候補から、互いの間隔が特定間隔以上となるような振動変化点（図３（ｄ）中の破線参照）を抽出する（ステップＳ２０２）。ここで、「特定間隔」は、例えば、上述の振動周波数帯域の下限値に応じて設定されている。例えば、振動周波数帯域の下限値がｘ（但し、ｘは０より大きい実数）Ｈｚである場合、特定間隔は、１／ｘ秒と設定されてもよい。具体的には、例えば、振動周波数帯域の下限値が５０Ｈｚである場合、特定間隔は、１／５０＝０．０２秒と設定されてもよい。

このとき、振動変化点算出部１２は、複数の振動変化点を抽出することが好ましい。或いは、振動変化点算出部１２は、ただ一つの振動変化点を抽出してもよい。以下では、説明の便宜上、振動変化点算出部１２が複数の振動変化点を抽出する例を用いて説明を進める。

続いて、振動信号強弱制御部１４は、ステップＳ２０２で算出された複数の振動変化点の夫々の音階を抽出する（ステップＳ４０１）。具体的には、振動信号強弱制御部１４は、振動変化点に対応する時刻ｔの音響信号の音階（つまり、振動変化点に対応する時刻ｔの音響信号に現れる音階）を抽出する。このとき、振動信号強弱制御部１４は、ＦＦＴパワーが所定パワー（例えば、オーディオ信号を構成する全ての周波数成分のＦＦＴパワーの平均値）以上となる音階を抽出してもよい。つまり、振動信号強弱制御部１４は、ＦＦＴパワーが所定パワー未満となる音階を抽出しなくともよい。

その後、振動信号強弱制御部１４は、振動変化点毎に、ステップＳ４０１で抽出した音階のパワーマップを作成する（ステップＳ４０２）。具体的には、例えば、振動信号強弱制御部１４は、ステップＳ４０１で抽出した音階及び当該音階の倍音（つまり、２倍音、３倍音、・・・、ｋ（但し、ｋは２以上の整数）倍音）の夫々のＦＦＴパワーを周波数成分毎に区別して示すパワーマップを作成する。

その後、振動信号強弱制御部１４は、振動変化点毎に、ステップＳ４０２で作成した音階のパワーマップに基づいて、倍音度数を算出する（ステップＳ４０３）。尚、倍音度数は、振動変化点に対応する時刻ｔの音響信号に倍音が含まれている度合い（言い換えれば、振動変化点に対応する時刻ｔの音響信号に含まれている倍音の強弱ないしは多寡）を示す任意の指標である。

ステップＳ４０３では、振動信号強弱制御部１４は、振動変化点に対応する時刻ｔの音響信号に２倍音、３倍音及び４倍音の夫々が含まれているか否かに応じて、倍音度数を算出してもよい。例えば、振動信号強弱制御部１４は、振動変化点に対応する時刻ｔの音響信号に２倍音が含まれており且つ３倍音及び４倍音のいずれもが含まれていない場合には、「２」という倍音度数を算出してもよい。例えば、振動信号強弱制御部１４は、振動変化点に対応する時刻ｔの音響信号に２倍音及び３倍音が含まれており且つ４倍音が含まれていない場合には、「３」という倍音度数を算出してもよい。例えば、振動信号強弱制御部１４は、振動変化点に対応する時刻ｔの音響信号に２倍音、３倍音及び４倍音のいずれもが含まれている場合には、「４」という倍音度数を算出してもよい。

或いは、ステップＳ４０３では、振動信号強弱制御部１４は、振動変化点に対応する時刻ｔの音響信号の音階のＦＦＴパワー並びに当該音階の２倍音、３倍音及び４倍音の少なくとも一つのＦＦＴパワーに応じて、倍音度数を算出してもよい。尚、ここで言う「音階のＦＦＴパワー」とは、当該音階を構成する周波数帯域のＦＦＴパワーの和を意味している。例えば、振動変化点に対応する時刻ｔの音響信号の音階がＧ５であるとすると、当該音階Ｇ５のＦＦＴパワーは、音階Ｇ５に対応する周波数帯域（８０７．３Ｈｚから８５５．３Ｈｚ）のＦＦＴパワーの和となる。

例えば、振動変化点に対応する時刻ｔの音響信号の音階のＦＦＴパワーをＰ１とし、振動変化点に対応する時刻ｔの音響信号の音階の２倍音のＦＦＴパワーをＰ２とし、振動変化点に対応する時刻ｔの音響信号の音階の３倍音のＦＦＴパワーをＰ３とすると、振動信号強弱制御部１４は、（Ｐ２×１．２）／Ｐ１＋（Ｐ３×１．５）／Ｐ１という数式から導き出される倍音度数を算出してもよい。但し、振動信号強弱制御部１４は、Ｐ２／Ｐ１＞０．８という条件及びＰ３／Ｐ１＞０．６という条件が共に満たされていない場合には、「０」という倍音度数を算出してもよい。

或いは、例えば、振動変化点に対応する時刻ｔの音響信号の音階の４倍音のＦＦＴパワーをＰ４とすると、振動信号強弱制御部１４は、（Ｐ２×１．２）／Ｐ１＋（Ｐ３×１．５）／Ｐ１＋（Ｐ４×１．９）／Ｐ１という数式から導き出される倍音度数を算出してもよい。但し、振動信号強弱制御部１４は、Ｐ２／Ｐ１＞０．７という条件、Ｐ３／Ｐ１＞０．５という条件及びＰ４／Ｐ１＞０．４という条件が共に満たされていない場合には、「０」という倍音度数を算出してもよい。

尚、上述の説明では、２倍音、３倍音及び４倍音という３種類の倍音に着目している。しかしながら、振動信号強弱制御部１４は、２倍音、３倍音及び４倍音に加えて又は代えて、５倍音以上の倍音に基づいて倍音度数を算出してもよい。或いは、振動信号強弱制御部１４は、２倍音、３倍音、・・・、ｋ倍音に加えて又は代えて、１／ｋ倍音に基づいて倍音度数を算出してもよい。つまり、振動信号強弱制御部１４は、任意の倍音に基づいて倍音度数を算出してもよい。

加えて、上述の説明では、振動信号強弱制御部１４０は、振動変化点に対応する時刻ｔの音響信号に倍音が含まれている度合いが高ければ高いほど（つまり、倍音が相対的に多く含まれていればいるほど又は相対的にＦＦＴパワーが強い倍音が含まれていればいるほど）大きくなる倍音度数を算出している。しかしながら、振動信号強弱制御部１４は、振動変化点に対応する時刻ｔの音響信号に倍音が含まれている度合いが高ければ高いほど（つまり、倍音が相対的に多く含まれていればいるほど又は相対的にＦＦＴパワーが強い倍音が含まれていればいるほど）小さくなる倍音度数を算出してもよい。この場合、後述するステップＳ４０４では、振動信号強弱制御部１４は、倍音度数が所定閾値以下であるか否かを判定することが好ましい。

また、上述した倍音度数はあくまで一例であり、その他の態様で算出された倍音度数が用いられてもよいことは言うまでもない。

その後、振動信号強弱制御部１４は、時間軸上で相前後する（つまり、連続する）２つの振動変化点の夫々の倍音度数が所定閾値以上であるか否かを判定する（ステップＳ４０４）。このとき、「所定閾値」には、時間軸上で相前後する２つの振動変化点の夫々の音響信号に倍音が相対的に多く含まれているか否か又はＦＦＴパワーが相対的に強い倍音が含まれているか否かを好適に判定することができるような値が設定されていることが好ましい。

例えば、振動変化点に対応する時刻ｔの音響信号に２倍音、３倍音及び４倍音の夫々が含まれているか否かに応じて算出される倍音度数が用いられる場合には、振動信号強弱制御部１４は、倍音度数が４以上であるか否かを判定してもよい。この場合の判定は、時間軸上で相前後する２つの振動変化点の夫々に２倍音、３倍音及び４倍音の全てが含まれているか否かの判定に相当する。尚、「４」という所定閾値はあくまで一例であって、例えば、「２」という所定閾値が用いられてもよいし、「３」という所定閾値が用いられてもよいし、その他の所定閾値が用いられてもよい。

或いは、例えば、振動変化点に対応する時刻ｔの音響信号の音階及び当該音階の倍音のＦＦＴパワーに応じて算出される倍音度数が用いられる場合には、振動信号強弱制御部１４は、倍音度数が１より大きいか否かを判定してもよい。この場合の判定は、時間軸上で相前後する２つの振動変化点の夫々にＦＦＴパワーが相対的に強い２倍音、３倍音及び４倍音の少なくとも一つが含まれているか否かの判定に相当する。尚、「１」という所定閾値はあくまで一例であって、例えば、その他の所定閾値が用いられてもよい。

ステップＳ４０４の判定の結果、時間軸上で相前後する２つの振動変化点の夫々の倍音度数が所定閾値以上であると判定される場合には（ステップＳ４０４：Ｙｅｓ）、時間軸上で相前後する２つの振動変化点の夫々の音響信号に倍音が相対的に多く含まれている又はＦＦＴパワーが相対的に強い倍音が含まれていると想定される。この場合には、振動信号強弱制御部１４は、当該２つの振動変化点の間の期間において後述するマスク処理を行わない（つまり、マスク処理をＯＦＦする）ように、振動信号強弱補正部１３の動作を制御する（ステップＳ４０５）。

他方で、ステップＳ４０４の判定の結果、時間軸上で相前後する２つの振動変化点の少なくとも一方の倍音度数が所定閾値以上でないと判定される場合には（ステップＳ４０４：Ｎｏ）、時間軸上で相前後する２つの振動変化点の夫々の音響信号に倍音が相対的に多く含まれていない又はＦＦＴパワーが相対的に強い倍音が含まれていないと想定される。この場合には、振動信号強弱制御部１４は、ステップＳ４０５の動作を行わない。つまり、振動信号強弱制御部１４は、当該２つの振動変化点の間の期間において後述するマスク処理を行う（つまり、マスク処理をＯＮする）ように、振動信号強弱補正部１３の動作を制御する。

その後、振動信号強弱補正部１３は、ステップＳ１０１で生成された振動信号に対して、振動変化点の直前の振動信号の振幅が振動変化点の直後の振動信号の振幅よりも小さくなるようなマスク処理を施す（ステップＳ３０１）。その結果、振動信号強弱補正部１３は、ステップＳ１０１で生成された振動信号を補正する（ステップＳ３０１）。このとき、振動信号強弱補正部１３は、振動信号強弱制御部１４の制御の下で、振動信号を補正する。つまり、振動信号強弱補正部１３は、（ｉ）マスク処理を行うと判定された２つの振動変化点の間の期間の振動信号に対して選択的にマスク処理を行う一方で、（ｉｉ）マスク処理を行わないと判定された２つの振動変化点の間の期間の振動信号に対しては、マスク処理を行わない。

ここで、マスク処理について、図５から図８を参照して説明する。図５は、本実施形態のマスク処理の態様を示す波形図である。図６は、マスク処理が行われる前の振動信号及びマスク処理が行われた後の振動信号の態様を示す波形図である。図７は、マスク処理で用いられるマスクの一例を示す波形図である。図８は、マスク処理の変形例を示す波形図である。

振動信号強弱補正部１３は、振動信号生成部１１が生成した振動信号（図５（ａ）参照）に対して、例えば図５（ｃ）及び図５（ｄ）中に示すコサイン型のマスクを用いたマスク処理を行う。その結果、振動信号強弱補正部１３は、図５（ｂ）に示すように、振動変化点の直前の振動信号の平均振幅（円ａ１参照）を、該振動変化点の直後の振動信号の平均振幅（円ａ２参照）よりも低くすることができる。

特に、本実施例では、図５（ｃ）に示すように、振動信号強弱制御部１４の制御の下でマスク処理が行われる。このため、振動信号強弱補正部１３は、マスク処理を行わないと判定された２つの振動変化点（図５（ｃ）中の振動変化点Ｂ及び振動変化点Ｃ）の間の期間の振動信号に対しては、マスク処理を行わない。一方で、図５（ｄ）に示すように、振動信号強弱制御部１４の制御を受けることなくマスク処理が行われる比較例では、全ての振動変化点を対象としてマスク処理が行われる。

このようなマスク処理により、例えば図６（ａ）に示す振動信号は、例えば図６（ｂ）に示すように補正される。図６（ａ）は、マスク処理が行われる前の振動信号の一例であり、図６（ｂ）は、マスク処理が行われた後の振動信号の一例である。

尚、上述の説明では、マスク処理で用いられるマスクとして、図７（ａ）に示すコサイン型のマスクが用いられる例を用いている。このようなコサイン型のマスクは、例えばバラード系のオーディオ信号が信号入力部１５を介して振動信号生成装置１０に入力された場合に用いられてもよい。但し、マスク処理で用いられるマスクは、コサイン型のマスクに限定されない。例えば、図７（ｂ）及び図７（ｃ）に示す直線型のマスクが用いられてもよい。或いは、図７（ｄ）に示す階段型のマスクが用いられてもよい。或いは、図７（ｅ）に示すお椀型のマスク等が用いられてもよい。このようなお椀型のマスクは、例えばダンス系のオーディオ信号が信号入力部１５を介して振動信号生成装置１０に入力された場合に用いられてもよい。尚、いずれのマスクも、振動変化点の直前の振動信号の振幅が振動変化点の直後の振動信号の振幅よりも小さくすることができるマスクであることは言うまでもない。

また、図８（ａ）に示すように、マスクの終端部は、相前後する２つの振動変化点のうちの後ろ側の振動変化点（図８（ａ）中の振動変化点Ｂ）よりも前方に位置していてもよい。この場合、図８（ｂ）に示す振動信号に対してマスク処理が行われると、図８（ｃ）に示す振動信号が得られる。

以上説明した本実施例の振動信号生成装置１０によれば、以下の技術的効果が実現される。

まず、本願発明者の研究によれば、以下の事項が判明している。即ち、従来は、電気−機械振動変換器４０にオーディオ信号がそのまま供給されることが多い。すると、電気−機械振動変換器４０は、供給されたオーディオ信号の全てに対して増幅等の処理を行う。このため、オーディオ信号によっては、ユーザに提供される体感振動が、抑揚の少ない又はないものとなるおそれがある。一方で、例えばローパスフィルタ等を用いて、オーディオ信号のうち比較的低い周波数成分のみを抽出して電気−機械振動変換器４０に供給する振動信号生成装置も提案されている。しかしながら、メリハリのある体感振動という点では十分とはいえない。

しかるに、本実施例の振動信号生成装置１０によれば、振動信号強弱補正部１３は、振動変化点の直前の振動信号の振幅が、当該振動変化点の直後の振動信号の振幅よりも小さくなるように、振動信号を補正することができる。このため、本実施例の振動信号生成装置１０は、振動変化点の前後において、比較的大きな振動の変化（即ち、メリハリのある体感振動）をユーザに提供することができる。

加えて、本実施例の振動信号生成装置１０によれば、振動信号強弱補正部１３は、振動変化点算出部１２が算出した全ての振動変化点のうち倍音度数に応じて選択された少なくとも一部の振動変化点を対象として、マスク処理を行うことができる。ここで、本願発明者等の研究によれば、例えば、バックの伴奏に合わせてボーカルの音声が伸びているオーディオ信号には、当該ボーカルの音声の倍音が相対的に多く含まれていることが判明している。仮に、このようなオーディオ信号から振動変化点算出部１２が算出した全ての振動変化点を対象として一律にマスク処理が行われるとすると、ボーカルの音声に合わせた体感振動のみならず、バックの伴奏に合わせた体感振動がユーザに提供される。しかしながら、バックの伴奏に合わせた体感振動は、ボーカルの音声を断ち切るような体感振動としてユーザに提供されてしまいかねない。つまり、ボーカルの音声の伸びに合致しない体感振動が、ユーザに提供されてしまいかねない。

しかるに、本実施例の振動信号生成装置１０によれば、振動信号強弱補正部１３は、振動変化点算出部１２が算出した全ての振動変化点のうち倍音度数に応じて選択された一部の振動変化点を対象として、マスク処理を行うことができる。言い換えれば、振動信号強弱補正部１３は、振動変化点算出部１２が算出した全ての振動変化点のうち倍音度数に応じて選択されなかった他の一部の振動変化点を対象としてマスク処理を行わない。従って、例えば、振動信号強弱補正部１３は、振動変化点算出部１２が算出した全ての振動変化点のうち倍音度数に応じて選択されなかった他の一部の振動変化点（つまり、伴奏に合わせた振動変化点）を対象としてマスク処理を行わない一方で、振動変化点算出部１２が算出した全ての振動変化点のうち倍音度数に応じて選択された一部の振動変化点（つまり、ボーカルの音声に合わせた振動変化点）を対象としてマスク処理を行うことができる。その結果、ユーザに対しては、ボーカルの音声の伸びに合致する（言い換えれば、違和感のない）体感振動が提供される。

ここで、図９を参照して、倍音度数に応じて選択された一部の振動変化点を対象としてマスク処理が行われた場合の振動信号及び全ての振動変化点を対象としてマスク処理が行われた場合の振動信号について説明する。図９は、ボーカル、シンバル及びピアノを含むオーディオ信号を対象として、倍音度数に応じて選択された一部の振動変化点を対象としてマスク処理が行われた場合の振動信号及び全ての振動変化点を対象としてマスク処理が行われた場合の振動信号の夫々を示す波形図である。

図９に示すように、振動変化点Ａは、ボーカルの発音位置（つまり、ボーカルの拍）に応じて算出された振動変化点である。振動変化点Ｂは、シンバルの発音位置（つまり、シンバルの拍）に応じて算出された振動変化点である。振動変化点Ｃは、ピアノの発音位置（つまり、ピアノの拍）に応じて算出された振動変化点である。尚、ボーカルの音声は、シンバルの演奏及びピアノの演奏が行われている間も続けられているものとする。つまり、図９に示すオーディオ信号は、バックにシンバル及びピアノの伴奏を伴いながら、ボーカルの音声が伸びている楽曲に対応している。尚、上述したように、ボーカルの音声が伸びているオーディオ信号には、当該ボーカルの音声の倍音が相対的に多く含まれている。従って、振動変化点Ａから振動変化点Ｃのいずれにおいても、倍音度数が所定閾値以上となるものとする。

この場合、図９の下側の波形図に示すように、全ての振動変化点を対象としてマスク処理が行われた場合には、振動変化点Ａと振動変化点Ｂとの間の期間の振動信号及び振動変化点Ｂと振動変化点Ｃとの間の期間の振動信号の夫々に対してマスク処理が行われる。その結果、ボーカルの音声に合わせた体感振動のみならず、バックの伴奏に合わせた体感振動がユーザに提供される。このような体感振動が提供されたユーザは、バックの伴奏に合わせた体感振動によって、ボーカルの音声の伸びに合わせた体感振動が断ち切られてしまう又は阻害されてしまう印象を受けかねない。

一方で、図９の上側の波形図に示すように、倍音度数に応じて選択された一部の振動変化点を対象としてマスク処理が行われた場合には、振動変化点Ａと振動変化点Ｂとの間の期間の振動信号及び振動変化点Ｂと振動変化点Ｃとの間の期間の振動信号の夫々に対してマスク処理が行われない。その結果、ボーカルの音声に合わせた体感振動がユーザに提供される一方で、バックの伴奏に合わせた体感振動がユーザに提供されることはない。このような体感振動が提供されたユーザは、ボーカルの音声の伸びに合わせたメリハリのある体感振動を好適に体感することができる。

このように、本実施例の振動信号生成装置１０は、より好適な体感振動をユーザに提供することができる。

（２）体感音響システムの実施例
以下、図１０から図１３を参照しながら、本実施例の振動信号生成装置１０を体感音響システムに適用した場合の実施例について説明する。

（２−１）体感音響システムの第１実施例
はじめに、図１０を参照して、第１実施例の体感音響システム１００について説明する。図１０は、第１実施例に係る音響体感システムの構成を示すブロック図である。尚、図中の矢印は、信号の流れを示している（以降の図において同じ）。

図１０に示すように、第１実施例の体感音響システム１００は、振動信号生成装置１０と、電気−機械振動変換器４０とを備えている。

信号入力部１５は、振動信号生成部１１、振動変化点算出部１２及び振動信号強弱制御１４に対して、外部から供給されたオーディオ信号を送信する。振動変化点算出部１２は、オーディオ信号の振動変化点を算出し、当該算出した振動変化点を示す信号を、振動信号強弱補正部１３に送信する。加えて、振動変化点算出部１２は、算出した振動変化点を示す信号を、振動信号強弱制御部１４に送信する。振動信号強弱制御部１４は、相前後する２つの振動変化点の間の期間の振動信号に対してマスク処理を行うか否かを決定し、当該決定した結果を示す信号を、振動信号強弱補正部１３に送信する。

振動信号強弱補正部１３は、受信した振動変化点を示す信号及びマスク処理を行うか否かの決定結果を示す信号に基づいて、振動信号生成部１１によって生成された振動信号に対して所定のマスク処理を行う。その後、振動信号強弱補正部１３は、電気−機械振動変換器４０に対して、マスク処理を行った振動信号を送信する。その結果、電気−機械振動変換器４０は、振動信号を機械振動に変換することで、ユーザに対してメリハリのある体感振動を提供する。

（２−２）体感音響システムの第２実施例
続いて、図１１を参照して、第２実施例の体感音響システム２００について説明する。図１１は、第２実施例の音響体感システム２００の構成を示すブロック図である。尚、以下では、第１実施例の体感音響システム１００と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ説明する。

図１１に示すように、第２実施例の体感音響システム２００は、振動信号生成装置１０と、ユーザインターフェース部２０と、メモリ３０と、電気−機械振動変換器４０と、遅延回路（Ｄｅｌａｙ）５０と、出力端子（Ａｕｄｉｏ ＯＵＴ）６０とを備えている。

ユーザインターフェース部２０は、ユーザに対して、例えば楽曲選択画面やモード選択画面等を提供する不図示の表示部と、ユーザが入力操作を行うための不図示のボタン等を備えている。

「楽曲選択画面」には、例えばフラッシュメモリ等であるメモリ３０に予め格納されている一又は複数の楽曲データの一覧が表示される。

「モード選択画面」には、複数の周波数帯域に対応する名称（ここでは例えば、“ボーカル追従”、“ベース追従”、“周波数帯指定”）が表示される。尚、「ボーカル追従」及び「ベース追従」は、製造者等により予め固定値（所謂、プリセット値）として周波数帯域が設定されている。他方、「周波数帯域指定」は、ユーザが自由に周波数帯域を設定可能である。

楽曲選択画面に表示された楽曲データの一覧から一の楽曲データがユーザにより選択されると、ユーザインターフェース部２０からメモリ３０に対して、当該選択された一の楽曲データを示す信号が送信される。そして、メモリ３０から、振動信号生成装置１０の信号入力部１５に対して、一の楽曲データが送信される。

他方、モード選択画面に表示された複数の周波数帯域に対応する名称のうち一の名称がユーザにより選択されると、当該選択された一の名称に対応する周波数帯域を示す信号が、振動信号生成装置１０の振動変化点算出部１２に対して送信される。尚、選択された一の名称に対応する周波数帯域は、上述した「抽出周波数帯域」に相当する。

振動信号生成装置１０において、信号入力部１５は、振動信号生成部１１、振動変化点算出部１２及び振動信号強弱制御部１４に対して、一の楽曲データを送信する。信号入力部１５は、更に、出力端子６０に対して、遅延回路５０を介して一の楽曲データを送信する。

一の楽曲データを受信した振動変化点算出部１２は、受信した一の楽曲データ及び抽出周波数帯域を示す信号に基づいて、振動変化点を算出する。つまり、振動変化点算出部１２は、一の楽曲データに含まれる周波数成分のうち、抽出周波数帯域内の周波数成分を抽出して、該抽出された周波数成分に係るＦＦＴパワー等に基づいて振動変化点を算出する。振動変化点算出部１２は、振動信号強弱補正部１３に対して、一の楽曲データ及び算出した振動変化点を示す信号を送信する。加えて、振動変化点算出部１２は、振動信号強弱制御部１４に対して、算出した振動変化点を示す信号を送信する。

一の楽曲データを受信した振動信号強弱制御部１４は、相前後する２つの振動変化点の間の期間の振動信号に対してマスク処理を行うか否かを決定し、当該決定した結果を示す信号を、振動信号強弱補正部１３に送信する。

一の楽曲データを受信した振動信号生成部１１は、当該受信した一の楽曲データから振動信号を生成する。振動信号生成部１１は、振動信号強弱補正部１３に対して、生成し振動信号を送信する。

振動信号強弱補正部１３は、受信した振動変化点を示す信号及びマスク処理を行うか否かの決定結果を示す信号に基づいて、振動信号生成部１１により生成された振動信号に対して所定のマスク処理を施す。その後、振動信号強弱補正部１３は、電気−機械振動変換器４０に対して、マスク処理が施された振動信号を送信する。その結果、電気−機械振動変換器４０は、振動信号を機械振動に変換することで、ユーザに対してメリハリのある体感振動を提供する。

ここで、出力端子６０から出力される一の楽曲データは、遅延回路５０に起因する期間だけ遅延されるので、一の楽曲データの再生位置と、電気−機械振動変換器４０により発生される振動とが同期する。このため、第２実施例の体感音響システム２００は、一の楽曲データに対応する楽曲との調和性を保ちつつ、メリハリのある体感振動をユーザに提供することができる。

（２−３）体感音響システムの第３実施例
続いて、図１２を参照して、第２実施例の体感音響システム３００について説明する。図１２は、第３実施例の音響体感システム３００の構成を示すブロック図である。尚、以下では、第１実施例の体感音響システム１００から第２実施例の体感音響システム２００と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ説明する。

図１２に示すように、第３実施例の体感音響システム３００は、第２実施例の体感音響システム２００と比較して、電気−機械振動変換器４０が、振動ユニット３１０の構成要件として体感音響システム３００から分離されている言う点で異なっている。

第３実施例の体感音響システム３００では、振動信号強弱補正部１３によってマスク処理が行われた振動信号は、通信部７０の動作によって、不図示のネットワーク（例えば、有線ネットワーク又は無線ネットワーク）を介して振動ユニット３１０に送信される。振動ユニット３１０は、体感音響システム３００から送信される振動信号を受信する通信部３１１と、当該受信した振動信号を増幅するアンプ３１２と、当該増幅した振動信号を機械振動に変換する電気−機械振動変換器４０とを備えている。このため、第３実施例の体感音響システム３００は、第２実施例の体感音響システム２００と同様に、一の楽曲データに対応する楽曲との調和性を保ちつつ、メリハリのある体感振動をユーザに提供することができる。

（２−４）体感音響システムの第４実施例
続いて、図１３を参照しながら、第４実施例の体感音響システム４００について説明する。図１３は、第４実施例の体感音響システム４００の構成を示すブロック図である。尚、第１実施例の体感音響システム１００から第３実施例の体感音響システム３００と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ説明する。

図１３に示すように、第４実施例の体感音響システム４００は、ネットワーク４４０を介して相互に接続された端末装置４１０、サーバ装置４２０及び振動ユニット４３０を備えている。

端末装置４１０のユーザインターフェース部２０は、通信部４１２、ネットワーク４４０及び通信部４２２を介して、サーバ装置４２０のメモリ３０に格納されている一又は複数の楽曲データの一覧を示す楽曲情報を取得する。ユーザインターフェース部２０は、ユーザに対して、該取得された楽曲情報を表示する。

ユーザインターフェース部２０は、楽曲情報により示された楽曲データのうち一の楽曲データを示す入力を受け付けた場合、サーバ装置４２０に対して、一の楽曲データを特定する楽曲特定信号を、通信部４１２、ネットワーク４４０及び通信部４２２を介して送信する。

サーバ装置４２０の制御部４２１は、端末装置４１０の再生部４１１に対して、受信した楽曲特定信号により特定される一の楽曲データを、通信部４２２、ネットワーク４４０及び通信部４１２を介して送信する。制御部４２１は、更に、振動信号生成装置１０に対して、一の楽曲データを送信する。

制御部４２１は、振動ユニット４３０の電気−機械振動変換部４０に対して、振動信号生成装置１０から出力されたマスク処理が施された振動信号を、通信部４２２、ネットワーク４４０及び通信部４３１を介して送信する。その結果、振動ユニット４３０が備える電気−機械振動変換器４０は、振動信号を機械振動に変換することで、ユーザに対してメリハリのある体感振動を提供する。

本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う振動信号生成装置及び方法、コンピュータプログラム、並びに体感音響システムもまた本発明の技術的範囲に含まれるものである。

１０ 振動信号生成装置
１１ 振動信号生成部
１２ 振動変化点算出部
１３ 振動信号強弱補正部
１４ 振動信号強弱制御部
１５ 信号入力部
２０ ユーザインターフェース部
３０ メモリ
４０ 電気−機械振動変換器
５０ 遅延回路（Ｄｅｌａｙ）
６０ 出力端子（Ａｕｄｉｏ ＯＵＴ）
７０ 無線部
１００ 体感音響システム
２００ 体感音響システム
３００ 体感音響システム
３１０ 振動ユニット
３１１ 通信部
３１２ アンプ
４００ 体感音響システム
４０１ 端末装置
４１１ 再生部
４１２ 通信部
４２０ サーバ装置
４２１ 制御部
４２２ 通信部
４３０ 振動ユニット
４３１ 通信部
４４０ ネットワーク

Claims (11)

1. 可聴帯域内の周波数成分を含んでなる音響信号から、前記可聴帯域よりも狭い周波数帯域である振動周波数帯域内の周波数成分からなる振動信号を生成する生成手段と、
   前記音響信号の時間変動が所定変動条件を満たす時間軸上の点である振動変化点を算出する算出手段と、
   前記振動信号を補正する補正処理を行う補正手段と、
   前記振動変化点の前記音響信号に含まれる倍音成分の特性に基づいて前記補正処理を行うように前記補正手段を制御する制御手段と
   を備えることを特徴とする振動信号生成装置。
2. 前記補正手段は、前記振動変化点の直前の前記振動信号の振幅が前記振動変化点の直後の前記振動信号の振幅よりも小さくなるように前記振動信号を補正する補正処理を行い、
   前記制御手段は、（ｉ）前記振動変化点の前記音響信号に含まれる倍音成分の特性に基づいて、前記振動変化点において前記補正処理を行うか否かを決定すると共に、（ｉｉ）前記補正処理を行うと決定された場合に前記補正処理を行うように前記補正手段を制御することを特徴とする請求項１に記載の振動信号生成装置。
3. 前記制御手段は、前記振動変化点の前記音響信号に含まれる前記倍音成分であって且つ前記振動変化点の前記音響信号の音階に対応する前記倍音成分の特性に基づいて、前記補正処理を行うか否かを決定することを特徴とする請求項１に記載の振動信号生成装置。
4. 前記補正手段は、時間軸上で連続する２つの前記振動変化点の間の期間の前記振動信号に対して所定のフィルタリング処理を行うことで、前記振動変化点の直前の前記振動信号の振幅が前記振動変化点の直後の前記振動信号の振幅よりも小さくなるように前記補正処理を行い、
   前記制御手段は、時間軸上で連続する前記２つの振動変化点の夫々の前記音響信号に含まれる前記倍音成分の特性に基づいて、時間軸上で連続する前記２つの振動変化点の間の期間の前記振動信号に対して前記フィルタリング処理を行うか否かを決定することを特徴とする請求項１に記載の振動信号生成装置。
5. 前記制御手段は、（ｉ）前記振動変化点の前記音響信号に含まれる前記倍音成分の強度が所定閾値以上である場合に、前記補正処理を行わないと決定し、（ｉｉ）前記振動変化点の前記音響信号に含まれる前記倍音成分の強度が所定閾値以上でない場合に、前記補正処理を行うと決定することを特徴とする請求項１に記載の振動信号生成装置。
6. 前記補正手段は、前記振動変化点の直前の前記振動信号の振幅を減衰させることによって、前記振動変化点の直前の前記振動信号の振幅が前記振動変化点の直後の前記振動信号の振幅よりも小さくなるように前記振動信号を補正する前記補正処理を行うことを特徴とする請求項１に記載の振動信号生成装置。
7. 前記補正手段は、前記振動変化点の直後の前記振動信号の振幅を増幅させることによって、前記振動変化点の直前の前記振動信号の振幅が前記振動変化点の直後の前記振動信号の振幅よりも小さくなるように前記振動信号を補正する前記補正処理を行うことを特徴とする請求項１に記載の振動信号生成装置。
8. 可聴帯域内の周波数成分を含んでなる音響信号から、前記可聴帯域よりも狭い周波数帯域である振動周波数帯域内の周波数成分からなる振動信号を生成する生成工程と、
   前記音響信号の時間変動が所定変動条件を満たす時間軸上の点である振動変化点を算出する算出工程と、
   前記振動信号を補正する補正処理を行う補正工程と、
   前記振動変化点の前記音響信号に含まれる倍音成分の特性に基づいて前記補正処理を行うように前記補正工程を制御する制御工程と
   を備えることを特徴とする振動信号生成方法。
9. コンピュータを、請求項１に記載の振動信号生成装置として機能させることを特徴とするコンピュータプログラム。
10. 請求項９に記載のコンピュータプログラムを格納することを特徴とする記録媒体。
11. ネットワークを介して相互に接続された端末装置、サーバ装置及び電気−機械振動変換装置を備えてなる体感音響システムであって、
    前記サーバ装置は、複数の楽曲データ、及び前記複数の楽曲データの一覧を示す楽曲情報を格納する格納手段を有し、
    前記端末装置は、
    ユーザの入力を受付可能な受付手段と、
    前記ネットワークを介して前記楽曲情報を取得して、前記ユーザに対して表示する表示手段と、
    前記受付手段により受け付けられた前記ユーザの入力に応じて、前記楽曲情報により示される複数の楽曲データのうち一の楽曲データを特定する信号である楽曲特定信号を、前記ネットワークを介して、前記サーバ装置に送信する第１通信手段と
    を有し、
    前記サーバ装置は、
    前記楽曲特定信号により特定される一の楽曲データに対応する音響信号であって且つ可聴帯域内の周波数成分を含んでなる音響信号から、前記可聴帯域よりも狭い周波数帯域である振動周波数帯域内の周波数成分からなる振動信号を生成する生成手段と、
    前記音響信号の時間変動が所定変動条件を満たす時間軸上の点である振動変化点を算出する算出手段と、
    前記振動信号を補正する補正処理を行う補正手段と、
    前記振動変化点の前記音響信号に含まれる倍音成分の特性に基づいて前記補正処理を行うように前記補正手段を制御する制御手段と、
    前記補正処理が行われた前記振動信号を、前記ネットワークを介して、前記電気−機械振動変換装置に送信する第２通信手段と
    を更に有する
    ことを特徴とする体感音響システム。

Images