JPWO2016027366A1 - 振動信号生成装置及び振動信号生成方法 - Google Patents

Abstract

導出部（２４０）は、タップタイミング情報ＴＡＰの受付時刻を含む所定の時間範囲内に検出されたリズム成分を楽曲の特定リズム成分に特定し、スペクトル強度が所定値以上となる第１周波数帯域を導出する。また、導出部（２４０）は、タップタイミング情報ＴＡＰの受付時刻を含む所定の時間範囲外に検出されたリズム成分を非特定リズム成分に特定し、スペクトル強度が所定値以上となる第２周波数帯域を導出する。次いで、算出部（２５０）は、第１周波数帯域のうちで第２周波数帯域が含まれていない第３周波数帯域を算出し、当該帯域を指定した通過周波数指定ＢＰＣをフィルタ部（２６０）へ送る。そして、フィルタ部（２６０）は、指定された周波数を信号通過帯域とするフィルタリング処理を楽曲信号ＭＵＤに施す。引き続き、振動信号生成部（２７０）は、フィルタ部（２６０）を通過した信号ＦＴＤに基づいて、振動信号ＶＩＳを生成する。

Description

本発明は、振動信号生成装置、振動信号生成方法、振動信号生成プログラム、及び、当該振動信号生成プログラムが記録された記録媒体に関する。

従来から、楽曲音の楽しみ方として、楽曲コンテンツを再生して楽曲音を聴取することが、利用者により広く行われている。そして、近年では、ユーザが楽曲音との一体感を得られるように、楽曲音に合わせて振動部を振動させて、当該振動により利用者に楽曲音を体感させたり、又、楽曲音に合わせて光を点滅させたり、キャラクタを動作させる等、楽曲音の楽しみ方は、多様化してきている。

ここで、楽曲音に合わせて振動部を振動させる技術の一つとして、楽曲のビート成分の出現に合わせて振動子を振動させる技術が提案されている（特許文献１参照：以下、「従来例１」と呼ぶ）。この従来例１の技術では、楽曲音のスペクトログラムから、音声信号のビート成分を抽出し、ビートのタイミングにおけるスペクトルの時間微分値のピークを振動子に与える振動強度の情報として取得する。そして、当該ビートのタイミングにおいて、当該振動強度に応じた振幅で振動する波形を有する加振信号を生成し、当該加振信号により振動子を振動させるようになっている。

また、楽曲音に合わせて振動部を振動させる他の技術として、楽曲の特定の楽器音成分の出現に合わせて、振動子を振動させる技術が提案させている（特許文献２参照：以下、「従来例２」と呼ぶ）。この従来例２の技術では、ベースやドラム等の楽器ごとに定められたバンドパスフィルタにより、楽器の再生音の音域に対応する音データを抽出し、音データが所定のレベル以上となる期間内に、所定周波数の駆動パルスを発生させる。そして、当該駆動パルスで振動子を共振させ、再生音に合わせて振動を発生させるようになっている。

特開２００８−２８３３０５号公報 特開２０１３−５６３０９号公報

上述した従来例１の技術では、抽出した楽曲音のビート成分に合わせて、当該ビート成分の強度に応じた振幅強度で振動子を振動させている。このため、ビート音に敏感なユーザに対しては、振動と楽曲音との一体感を与えることは可能である。ところで、振動付与による振動と楽曲音との一体性の感じ方は、ユーザによって様々である。したがって、従来例１の技術のように、楽曲音のビート成分の振動に合わせた振動付与では、振動と楽曲音との一体感が得られないユーザも存在する。

また、上述した従来例２の技術では、楽曲音のベースやドラムの楽器音成分に合わせて、振動子を振動させている。このため、ベースやドラムの楽器音に敏感なユーザにとっては、振動と楽曲音との一体感を得られることが可能であるが、そうでないユーザにとっては、振動と楽曲音との一体感が得られないことがある。

したがって、振動付与による振動と楽曲音との一体性の感じ方は、個々人によって異なることから、従来例１，２の技術では、振動と楽曲音との一体感を得られない利用者も存在する。

このため、楽曲音の進行に合わせて、個々人の楽曲音との一体性の感じ方に適合した振動を生成し、個々のユーザに振動と楽曲音との一体感を与えることができる技術が望まれている。かかる要請に応えることが、本発明が解決すべき課題の一つとして挙げられる。

請求項１に記載の発明は、楽曲のリズムを検出する検出部と；ユーザから、タイミングの情報の入力を受け付ける受付部と；前記検出部が検出したリズムと、前記受付部が受け付けたタイミングの情報とに基づいて、振動部を振動させるための振動信号を生成する生成部と；を備えることを特徴とする振動信号生成装置である。

請求項９に記載の発明は、振動信号を生成する振動信号生成装置において使用される振動信号生成方法であって、楽曲のリズムを検出する検出工程と；ユーザから、タイミングの情報の入力を受け付ける受付工程と；前記検出工程において検出したリズムと、前記受付工程において受け付けたタイミングの情報とに基づいて、振動部を振動させるための振動信号を生成する生成工程と；を備えることを特徴とする振動信号生成方法である。

請求項１０に記載の発明は、振動信号生成装置が有するコンピュータに、請求項９に記載の振動信号生成方法を実行させる、ことを特徴とする振動信号生成プログラムである。

請求項１１に記載の発明は、振動信号生成装置が有するコンピュータにより読み取り可能に、請求項１０に記載の振動信号生成プログラムが記録されている、ことを特徴とする記録媒体である。

本発明の一実施形態に係る振動信号生成装置を備える音響装置の構成を概略的に示す図である。 図１の音出力部（スピーカ）及び振動部（振動器）の配置関係を説明するための図である。 図１の振動信号生成装置の構成を説明するための図である。 図３の振動信号生成装置による振動信号の生成処理を説明するためのフローチャートである。 図４の第１及び第２周波数帯域の導出処理を説明するためのフローチャートである。 リズム成分の出現とタップタイミングとの関係の例、及び、当該関係に基づいて算出された第３周波数帯域を併記した図である（その１）。 リズム成分の出現とタップタイミングとの関係の例、及び、当該関係に基づいて算出された第３周波数帯域を併記した図である（その２）。 リズム成分の出現とタップタイミングとの関係の例、及び、当該関係に基づいて算出された第３周波数帯域を併記した図である（その３）。 リズム成分の出現とタップタイミングとの関係の例、及び、当該関係に基づいて算出された第３周波数帯域を併記した図である（その４）。 リズム成分の出現及びタップタイミングの関係の例と、当該関係に基づいて算出された第３周波数帯域とを併記した図である（その５）。 変形例を説明するための図である。 音出力部（スピーカ）及び振動部（振動器）の配置位置の変形例を説明するための図である。

１３０ … 振動信号生成装置
２１０ … タップ入力部（受付部の一部）
２２０ … 受付期間設定部（受付部の一部）
２３０ … 検出部
２４０ … 導出部（生成部の一部）
２５０ … 算出部（生成部の一部）
２６０ … フィルタ部（生成部の一部）
２７０ … 振動信号生成部（生成部の一部）
４００ … 振動部

以下、本発明の一実施形態を、図１〜図１０を参照して説明する。なお、以下の説明及び図面においては、同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

［構成］
図１には、一実施形態に係る「振動信号生成装置」を備える音響装置１００の概略的な構成がブロック図にて示されている。本実施形態では、音響装置１００には、音出力部３００と、振動部４００とが接続されている。

上記の音出力部３００は、スピーカＳＰ₁，ＳＰ₂を備えて構成されている。音出力部３００は、音響装置１００から送られた再生音声信号ＡＯＳを受ける。そして、音出力部３００は、再生音声信号ＡＯＳに従った楽曲音（再生音声）をスピーカＳＰ₁，ＳＰ₂から出力する。

上記の振動部４００は、振動器ＶＩ₁，ＶＩ₂を備えて構成されている。振動部４００は、音響装置１００（より詳細には、振動信号生成装置）から送られた振動信号ＶＩＳを受ける。そして、振動部４００は、当該振動信号ＶＩＳに従って、振動器ＶＩ₁，ＶＩ₂に振動を付与する。

図２には、上述したスピーカＳＰ₁，ＳＰ₂及び振動器ＶＩ₁，ＶＩ₂の本実施形態における配置関係が示されている。スピーカＳＰ₁，ＳＰ₂は、例えば、ユーザが着座する着座シートの前方に配置される。振動器ＶＩ₁は、図２に示されるように、座席シートの座部の内部に配置される。そして、振動器ＶＩ₁が振動すると、座部が振動するようになっている。また、振動器ＶＩ₂は、座席シートの背もたれ部の内部に配置されている。そして、振動器ＶＩ₂が振動すると、背もたれ部材が振動するようになっている。

次に、上記の音響装置１００の構成について、説明する。

音響装置１００は、図１に示されるように、楽曲信号供給部１１０と、再生音声信号生成措置１２０と、振動信号生成装置１３０とを備えている。

上記の楽曲信号供給部１１０は、楽曲コンテンツデータに基づいて、楽曲信号を生成する。こうして生成された楽曲信号ＭＵＤは、再生音声信号生成装置１２０及び振動信号生成装置１３０へ送られる。

上記の再生音声信号生成装置１２０は、不図示の入力部、デジタル処理部、アナログ処理部等を備えて構成されている。

上記の入力部は、再生音声信号生成装置１２０に設けられたキー部、及び／又はキー部を備えるリモート入力装置等により構成されている。この入力部を利用者が操作することにより、再生音声信号生成装置１２０の動作内容の設定や動作指令が行われる。例えば、楽曲コンテンツの再生指定等を、利用者が入力部を利用して行う。

上記のデジタル処理部は、楽曲信号供給部１１０から送られた楽曲信号ＭＵＤを受ける。そして、デジタル処理部は、楽曲信号に所定の処理を施し、デジタル音声信号を生成する。こうして生成されたデジタル音声信号は、アナログ処理部へ送られる。

上記のアナログ処理部は、デジタルアナログ変換部及びパワー増幅部を備えて構成されている。アナログ処理部は、デジタル処理部から送られたデジタル音声信号を受ける。そして、アナログ処理部は、当該デジタル音声信号をアナログ信号に変換した後にパワー増幅して、再生音声信号ＡＯＳを生成する。こうして生成された再生音声信号ＡＯＳは、音出力部３００へ送られる。

＜振動信号生成装置１３０の構成＞
次いで、上記の振動信号生成装置１３０の構成について、説明する。

振動信号生成装置１３０は、図３に示されるように、タップ入力部２１０と、受付期間設定部２２０と、検出部２３０とを備えている。また、振動信号生成部１３０は、導出部２４０と、算出部２５０と、フィルタ部２６０と、振動信号生成部２７０とを備えている。

上記のタップ入力部２１０は、タップ入力スイッチ等を備えて構成されている。タップ入力部２１０は、ユーザのタッピング動作を受け付ける。そして、ユーザのタッピング動作を受け付けると、タップ入力部２１０は、当該タッピング動作に関するタップタイミング情報ＴＡＰを生成して、受付期間設定部２２０及び導出部２４０へ送る。なお、タップ入力部２１０は、受付部の一部の機能を果たすようになっている。

上記の受付期間設定部２２０は、本実施形態では、タイマ機能を内蔵している。受付期間設定部２２０は、受付期間以外の期間に、タップ入力部２１０から送られたタップタイミング情報ＴＡＰを受けると、受付期間を開始する。そして、受付期間設定部２２０は、現時点が、受付期間であることを示す期間情報ＰＤＩを生成して、当該期間情報ＰＤＩを導出部２４０へ送る。受付期間設定部２２０は、その後、当該受付期間が終了すると、受付期間ではないことを示す期間情報ＰＤＩを生成して、当該期間情報ＰＤＩを導出部２４０へ送る。

また、受付期間設定部２２０は、受付期間の終了から所定時間が経過した後、タップ入力部２１０から送られたタップタイミング情報ＴＡＰを受けると、新たな受付期間を開始する。そして、受付期間設定部２２０は、受付期間であることを示す期間情報ＰＤＩを生成して、導出部２４０へ送る。

ここで、「受付期間」は、ユーザのリズム感覚に合致するリズム成分を特定する観点から、実験、シミュレーション、経験等に基づいて、予め定められる。また、「所定時間」は、楽曲進行に応じてユーザのリズム感覚に合致するリズムが変化する可能性があることに鑑み、実験、シミュレーション、経験等に基づいて、予め定められる。または、楽曲解析して得られる楽曲テンポＢＰＭから、「受付期間」と「所定時間」を算出しても良い。楽曲テンポＢＰＭは、Ｂｅａｔｓ Ｐｅｒ Ｍｉｎｕｔｅという１分間の音楽ビート数を示す単位である。例えば、「受付期間」は４×（６０÷楽曲テンポＢＰＭ）秒とし、「所定時間」は１２×（６０÷楽曲テンポＢＰＭ）秒などで設定される。

なお、受付期間設定部２２０は、受付部の一部の機能を果たすようになっている。

上記の検出部２３０は、楽曲信号供給部１１０から送られる楽曲信号ＭＵＤを受ける。そして、検出部２３０は、楽曲信号ＭＵＤを解析して、楽曲の周波数特性の変化を示すスペクトログラム情報を取得する。引き続き、検出部２３０は、当該スペクトログラム情報に基づいて、所定の周波数範囲のいずれかの周波数に関するスペクトル強度が所定値以上となる時刻帯を、「リズム」成分の出現時刻帯として検出する。そして、検出部２３０は、検出された「リズム」成分の出現時刻帯、及び、当該出現時刻帯におけるスペクトル強度を含むリズム情報ＲＴＭを生成して、導出部２４０へ送る。

ここで、「リズム」とは、拍、音の揺らぎ等を含む楽曲音の根源的な要素で、音の時間的進行をいう。

なお、「所定の周波数範囲」及び「スペクトル強度の所定値」は、楽曲のリズムを効果的に検出する観点から、実験、シミュレーション、経験等に基づいて、予め定められる。例えば、「所定の周波数範囲」としては、ベースやドラム等の楽器音の音域を含み、ボーカル音を含まない音域とすることができる。また、「スペクトル強度の所定値」としては、楽曲のスペクトル強度の平均値や分散値などから算出しても良い。

上記の導出部２４０は、受付期間設定部２２０から送られる期間情報ＰＤＩを受ける。そして、導出部２４０は、期間情報ＰＤＩが受付期間であることを示す内容ときには、期間フラグを「ＯＮ」にし、期間情報ＰＤＩが受付期間ではないことを示す内容のときには期間フラグを「ＯＦＦ」にする。

また、導出部２４０は、タップ入力部２１０から送られるタップタイミング情報ＴＡＰを受ける。さらに、導出部２４０は、検出部２３０から送られるリズム情報ＲＴＭを受ける。そして、導出部２４０は、期間フラグが「ＯＮ」のときに、タップタイミング情報ＴＡＰ及びリズム情報ＲＴＭに基づいて、タップタイミング情報ＴＡＰの受付時刻を含む所定の時間範囲内に検出されたリズム成分を、楽曲の特定リズム成分に特定する。引き続き、導出部２４０は、特定リズム成分のリズム情報に基づいて、当該特定リズムの出現時刻帯においてスペクトル強度が所定値以上となる第１周波数帯域を導出する。

また、導出部２４０は、期間フラグが「ＯＮ」のときに、タップタイミング情報ＴＡＰ及びリズム情報ＲＴＭに基づいて、タップタイミング情報ＴＡＰの受付時刻を含む所定の時間範囲外に検出されたリズム成分を、非特定リズム成分に特定する。そして、導出部２４０は、非特定リズム成分のリズム情報に基づいて、当該非特定リズムの出現時刻帯においてスペクトル強度が所定値以上となる第２周波数帯域を導出する。こうして導出された第１周波数帯域及び第２周波数帯域は、それぞれ、第１周波数帯域情報ＦＲ１及び第２周波数帯域情報ＦＲ２として、算出部２５０へ送られる。

ここで、「所定の時間範囲」は、ユーザのタップ入力時刻と特定リズム成分の出現時刻とには厳密には時間差があることに鑑み、タップ入力に対応するリズム成分が特定リズム成分であると評価できるとの観点から、実験、シミュレーション、経験等に基づいて、予め定められる。または、楽曲解析して得られる楽曲テンポＢＰＭから、所定の時間範囲を算出しても良い。具体的には、楽曲テンポＢＰＭが遅い場合は所定の時間範囲を長く、楽曲テンポＢＰＭが速い場合は所定の時間範囲を短く設定される。

導出部２４０が実行する処理の詳細については、後述する。なお、導出部２４０は、生成部の一部の機能を果たすようになっている。

上記の算出部２５０は、導出部２４０から送られる第１周波数帯域情報ＦＲ１及び第２周波数帯域情報ＦＲ２を受ける。そして、算出部２５０は、当該第１及び第２周波数帯域情報を受けると、第１周波数帯域のうちで、第２周波数帯域が含まれていない周波数帯域を、第３周波数帯域として算出する。引き続き、算出部２５０は、算出された第３周波数帯域を指定した通過周波数指定ＢＰＣをフィルタ部２６０へ送る。

算出部２５０が実行する第３周波数帯域の算出処理の詳細については、後述する。なお、算出部２５０は、生成部の一部の機能を果たすようになっている。

上記のフィルタ部２６０は、可変フィルタとして構成されている。フィルタ部２６０は、楽曲信号供給部１１０から送られた楽曲信号ＭＵＤを受ける。また、フィルタ部２６０は、算出部２５０から送られた通過周波数指定ＢＰＣを受ける。そして、フィルタ部２６０は、通過周波数指定ＢＰＣで指定された周波数を信号通過帯域とするフィルタリング処理を楽曲信号ＭＵＤに対して施す。このフィルタリング処理の結果が、信号ＦＴＤとして振動信号生成部２７０へ送られる。

上記の振動信号生成部２７０は、フィルタ部２６０から送られた信号ＦＴＤを受ける。そして、振動信号生成部２７０は、当該信号ＦＴＤの含有周波数、振幅を反映した振動信号ＶＩＳを生成する。

かかる振動信号ＶＩＳの生成に際して、振動信号生成部２７０は、振動器ＶＩ₁，ＶＩ₂の応答特性に基づき、当該応答特性が大きく減衰する高い周波数の信号ＦＴＤの成分については、振動器ＶＩ₁，ＶＩ₂の応答特性が大きくは減衰しない周波数の振動信号に変換するようになっている。この変換処理は、例えば、信号ＦＴＤを高速フーリエ変換し、各周波数スペクトル強度を、振動器ＶＩ₁，ＶＩ₂の応答特性が大きくは減衰しない低い周波数に周波数変換する。そして、当該周波数変換された信号を逆高速フーリエ変換することにより、振動器ＶＩ₁，ＶＩ₂が振動可能な振動信号ＶＩＳを生成する。こうして生成された振動信号ＶＩＳは、振動部４００へ送られる。

なお、フィルタ部２６０及び振動信号生成部２７０は、生成部の一部の機能を果たすようになっている。

［動作］
以上のようにして構成された音響装置１００の動作について、振動信号生成装置１３０による振動信号の生成処理に、主に着目して説明する。

前提として、ユーザは、図２に示される座席シートに着座し、音響装置１００では、楽曲信号供給部１１０が、楽曲信号ＭＵＤを再生音声信号生成装置１２０及び振動信号生成装置１３０へ供給しているものとする。そして、再生音声信号生成装置１２０では、デジタル処理部及びアナログ処理部が、楽曲信号ＭＵＤに対して再生音声処理を施して再生音声信号ＡＯＳを生成し、音出力部３００へ送っているものとする。この結果、スピーカＳＰ₁，ＳＰ₂から、楽曲音が出力されているものとする。

また、振動信号生成装置１３０では、検出部２３０が、楽曲信号ＭＵＤを解析してスペクトログラム情報を取得し、所定の周波数範囲において、スペクトル強度が所定値以上となる時刻帯を、「リズム」成分の出現時刻帯として検出しているものとする。そして、検出部２３０は、検出されたリズム成分に関するリズム情報ＲＴＭを生成すると、逐次、当該リズム情報を導出部２４０へ送っているものとする。また、振動信号生成装置１３０では、フィルタ部２６０が、楽曲信号供給部１１０から送られた楽曲信号ＭＵＤを受けているものとする。

なお、当初においては、期間フラグは「ＯＦＦ」になっているものとする。また、当初においては、フィルタ部２６０は、全周波数範囲の楽曲信号ＭＵＤの成分を通過させない設定になっているものとする。このため、当初においては、振動器ＶＩ₁が配置される座席シートの座部、及び、振動器ＶＩ₂が配置される座席シートの背もたれ部は、振動していないものとする。

また、ユーザのタップ入力が、タップ入力部２１０に対して行われるときには、タップ入力の受付時刻を含む所定の時間範囲内に、リズム成分が検出されるものとする。

このような状況のもとで、図４に示されるように、まず、ステップＳ１１において、振動信号生成装置１３０の受付期間設定部２２０が、ユーザによるタッピング動作が行われたか否か、すなわち、タップ入力部２１０から送られるタップタイミング情報ＴＡＰを受けたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ１１：Ｎ）には、ステップＳ１１の処理が繰り返される。

ステップＳ１１の処理の繰り返し中に、受付期間設定部２２０がタップタイミング情報ＴＡＰを受けて、ステップＳ１１における判定の結果が肯定的となると（ステップＳ１１：Ｙ）、処理はステップＳ１２へ進む。ステップＳ１２では、受付期間設定部２２０が、受付期間を開始し、現在受付期間中である旨の期間情報ＰＤＩを生成して、導出部２４０へ送る。こうして当該期間情報ＰＤＩが送られると、導出部２４０は、期間フラグを「ＯＮ」にする。この後、処理はステップＳ１３へ進む。

ステップＳ１３では、「第１及び第２周波数帯域の導出処理」が行われる。かかるステップＳ１３の処理の詳細については、後述する。そして、ステップＳ１３の処理が終了すると、処理はステップＳ１５へ進む。

ステップＳ１５では、算出部２５０が、導出部２４０から送られた周波数帯域情報に基づいて、第１周波数帯域のうちで、第２周波数帯域が含まれていない周波数帯域を、第３周波数帯域として算出する。ここで、第２周波数帯域が存在しない場合には、算出部２５０は、第１周波数帯域を第３周波数帯域にする。引き続き、算出部２５０は、当該第３周波数帯域を指定した通過周波数指定ＢＰＣを、フィルタ部２６０へ送る。

こうして第３周波数帯域を指定した通過周波数指定ＢＰＣがフィルタ部２６０に設定されると、フィルタ部２６０は、当該通過周波数指定ＢＰＣで指定された周波数を信号通過帯域とするフィルタリング処理を楽曲信号ＭＵＤに対して施す。そして、フィルタ部２６０は、フィルタリング処理の結果を、信号ＦＴＤとして振動信号生成部２７０へ送る。

フィルタ部２６０を通過した信号ＦＴＤを受けると、振動信号生成部２７０は、当該信号ＦＴＤに基づいて、信号ＦＴＤの周波数、振幅を反映した振動信号ＶＩＳを生成する。そして、振動信号生成部２７０は、生成された振動信号ＶＩＳを振動部４００へ送る。

振動信号ＶＩＳを受けた振動部４００の振動器ＶＩ₁，ＶＩ₂は、振動信号ＶＩＳに従って振動する。この結果、振動器ＶＩ₁が配置された座席シートの座部、及び、振動器ＶＩ₂が配置された座席シートの背もたれ部が、振動する。

引き続き、ステップＳ１６において、受付期間設定部２２０が、受付期間の終了から所定時間が経過したか否かを判定する。この判定の結果が否定的であった場合（ステップＳ１６：Ｎ）には、ステップＳ１６の処理が繰り返される。そして、受付期間の終了から所定時間が経過して、ステップＳ１６における判定の結果が肯定的となると（ステップＳ１６：Ｙ）、処理はステップＳ１１へ戻る。

以後、ステップＳ１１〜Ｓ１６の処理が繰り返されて、振動信号の生成処理が行われる。

＜第１及び第２周波数帯域の導出処理＞
次に、上述したステップＳ１３における「第１及び第２周波数帯域の導出処理」について説明する。

この「第１及び第２周波数帯域の導出処理」は、図５に示されるように、まず、ステップＳ２２において、導出部２４０が、タップタイミング情報ＴＡＰの受付時刻を含む所定の時間範囲内に検出されたリズム成分を特定リズム成分に特定する。引き続き、導出部２４０は、特定リズム成分のリズム情報に基づいて、当該特定リズム成分の出現時刻帯においてスペクトル強度が所定値以上となる第１周波数帯域を導出する。この後、処理はステップＳ２３へ進む。

ステップＳ２３では、導出部２４０が、検出部２３０から送られるリズム情報ＲＴＭを受けたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ２３：Ｎ）には、処理は後述するステップＳ２８へ進む。

検出部２３０から送られるリズム情報ＲＴＭを受けて、ステップＳ２３における判定の結果が肯定的になると（ステップＳ２３：Ｙ）、処理はステップＳ２５へ進む。ステップＳ２５では、導出部２４０が、タップ入力部２１０から送られるタップタイミング情報ＴＡＰを受けたか否かを判定する。この判定の結果が肯定的であった場合（ステップＳ２５：Ｙ）には、導出部２４０は、直近のステップＳ２３の処理で取得したリズム情報ＲＴＭのリズム成分を特定リズム成分に特定する。引き続き、導出部２４０は、特定リズム成分のリズム情報に基づいて、当該特定リズム成分の出現時刻帯においてスペクトル強度が所定値以上となる第１周波数帯域を導出する。この後、処理はステップＳ２８へ進む。

一方、ステップＳ２５における判定の結果が否定的であった場合（ステップＳ２５：Ｎ）には、処理はステップＳ２７へ進む。ステップＳ２７では、導出部２４０が、直近のステップＳ２３の処理で取得したリズム情報ＲＴＭのリズム成分を、非特定リズム成分に特定する。引き続き、導出部２４０は、非特定リズム成分のリズム情報に基づいて、当該非特定リズム成分の出現時刻帯においてスペクトル強度が所定値以上となる第２周波数帯域を導出する。この後、処理はステップＳ２８へ進む。

ステップＳ２８では、導出部２４０が、受付期間が終了した旨の期間情報ＰＤＩを受けたか否かを判定することにより、受付期間が終了したか否かを判定する。この判定の結果が否定的であった場合（ステップＳ２８：Ｎ）には。処理はステップＳ２３へ戻る。

一方、受付期間が経過し、ステップＳ２８における判定の結果が肯定的になると（ステップＳ２８：Ｙ）、導出部２４０は、期間フラグを「ＯＦＦ」にし、ステップＳ１３の処理が終了する。そして、処理は上述した図４のステップＳ１５へ進む。

＜第３周波数帯域の算出例＞
ここで、リズム成分の出現時刻とタップタイミングとの関係の例、及び、当該関係に基づいて算出された第３周波数帯域について、図６〜図１０を参照して説明する。

図６〜図１０には、検出部２３０が、楽曲信号ＭＵＤを解析してスペクトログラム情報を取得し、スペクトル強度が所定値以上となるリズム成分の時間変化の例が示されている。ここで、図中に示される白抜きの四角枠、黒塗りの四角枠、グレーの四角枠のそれぞれが、スペクトル強度が所定値以上となったリズム成分を表している。

これらの図６〜図１０に示される例では、タップ入力の受付期間を４ビートに相当する時間としている。また、図中の「Ｔ」は、タップ入力が行われたことを表し、黒塗りの四角い枠が、特定リズム成分を表している。また、図中のグレーの四角い枠が、受付期間中の非特定リズム成分を表している。

図６には、４ビートの受付期間中に、１回のタップ入力が行われたときの例が示されている。この例での第１周波数帯域は、タップ入力が行われた出現時刻ｔ₁における黒塗りの四角枠（特性リズム成分）が占める周波数帯域になる。また、この例での第２周波数帯域は、タップ入力が行われていない出現時刻ｔ₂，ｔ₃，ｔ₄におけるグレーの四角枠（非特定リズム成分）が占める周波数帯域になる。そして、第３周波数帯域は、図６に示される「第１周波数帯域のうちで、第２周波数帯域が含まれていない周波数帯域」となる。

また、図７，８には、４ビートの受付期間中に、２回のタップ入力があったときの例が示されている。ここで、図７，８では、楽曲のリズム成分の進行は同じになっている。そして、図７では、表拍となる時刻ｔ₁，ｔ₃でタップ入力が行われ、図８では、裏拍となる時刻ｔ₂，ｔ₄でタップ入力が行われている。

図７の例では、第１周波数帯域は、出現時刻ｔ₁，ｔ₃における黒塗りの四角枠（特定リズム成分）が占める周波数帯域になり、第２周波数帯域は、出現時刻ｔ₂，ｔ₄におけるグレーの四角枠（非特定リズム成分）が占める周波数帯域になる。そして、ユーザが表拍となる時刻でタップ入力したときの第３周波数帯域は、図７に示される「第１周波数帯域のうちで、第２周波数帯域が含まれていない周波数帯域」となる。

また、図８の例では、第１周波数帯域は、出現時刻ｔ₂，ｔ₄における黒塗りの四角枠（特定リズム成分）が占める周波数帯域になり、第２周波数帯域は、出現時刻ｔ₃，ｔ₅におけるグレーの四角枠（非特定リズム成分）が占める周波数帯域になる。そして、ユーザが裏拍となる時刻でタップ入力したときの第３周波数帯域は、図８に示される「第１周波数帯域のうちで、第２周波数帯域が含まれていない周波数帯域」となる。
る。

このように、同じ楽曲音であっても、ユーザのタップ入力のタイミングが異なれば、楽曲信号ＭＵＤを通過させる第３周波数帯域が異なってくる。このため、個々のユーザの楽曲音との一体性の感じ方に適合した振動を生成することができる。

なお、図７に示されるように、本実施形態では、時刻ｔ₁で特定リズム成分が出現し、時刻ｔ₂で非特定リズム成分が出現し、その後の時刻ｔ₃で特定リズム成分が出現したときであっても、時刻ｔ₁における特定リズム成分の周波数帯域と時刻ｔ₂における非特定リズム成分の周波数帯域とが重複する周波数範囲については、時刻ｔ₃における特定リズム成分の出現によっても、第３周波数範囲に含まれることがないようになっている。

また、図９には、４ビートに受付期間中に、４回のタップ入力があったときの例が示されている。図９の例では、第１周波数帯域は、出現時刻ｔ₁，ｔ₂，ｔ₃，ｔ₄における黒塗りの四角枠（特定リズム成分）が占める周波数帯域になり、第２周波数帯域は存在しない。そして、第３周波数帯域は、第１周波数帯域と同じになる。

また、図１０には、１回の受付期間の終了後に所定時間が経過し、２回の受付期間が開始したときの例が示されている。図１０の例では、１回目の受付期間におけるタップ入力と出現したリズム成分とに基づいて算出された第３周波数帯域ＦＲ３₁は、２回目の受付期間が終了するまで、フィルタ部２６０の信号通過帯域に設定される。そして、２回目の受付期間におけるタップ入力と出現したリズム成分とに基づいて算出された第３周波数帯域ＦＲ３₂は、その後のフィルタ部２６０の信号通過帯域に設定される。

以上説明したように、本実施形態では、検出部２３０が、楽曲信号ＭＵＤを解析してスペクトログラム情報を取得し、所定の周波数範囲においてスペクトル強度が所定値以上となる時刻帯を、「リズム」成分の出現時刻帯として検出する。そして、検出部２３０は、検出されたリズム成分に関するリズム情報ＲＴＭを生成し、逐次、当該リズム情報ＲＴＭを導出部２４０へ送る。また、受付期間設定部２２０は、タップ入力部２１０から送られるタップタイミング情報ＴＡＰを受けると、受付期間を開始し、現在受付期間中である旨の期間情報ＰＤＩを生成して、導出部２４０へ送る。

そして、導出部２４０は、タップタイミング情報ＴＡＰ及びリズム情報ＲＴＭに基づいて、タップタイミング情報ＴＡＰの受付時刻を含む所定の時間範囲内に検出されたリズム成分を、楽曲の特定リズム成分に特定し、当該特定リズムの出現時刻帯においてスペクトル強度が所定値以上となる第１周波数帯域を導出する。また、導出部２４０は、タップタイミング情報ＴＡＰの受付時刻を含む所定の時間範囲外に検出されたリズム成分を、非特定リズム成分に特定し、当該非特定リズムの出現時刻帯においてスペクトル強度が所定値以上となる第２周波数帯域を導出する。引き続き、算出部２５０が、第１周波数帯域のうちで、第２周波数帯域が含まれていない周波数帯域を、第３周波数帯域として算出し、当該算出された第３周波数帯域を指定した通過周波数指定ＢＰＣをフィルタ部２６０へ送る。

そして、フィルタ部２６０は、当該通過周波数指定ＢＰＣで指定された周波数を信号通過帯域とするフィルタリング処理を楽曲信号ＭＵＤに対して施す。引き続き、振動信号生成部２７０は、フィルタ部２６０を通過した信号ＦＴＤに基づいて、信号ＦＴＤの含有周波数、振幅を反映した振動信号ＶＩＳを生成する。そして、振動信号生成部２７０は、生成された振動信号ＶＩＳを振動部４００へ送る。

このため、ユーザが望むリズムを手軽に設定でき、振動で体感することにより、楽曲との一体感を高めることができる。また、ハンドクラップ（手拍子）などの打楽器以外のリズム成分に合わせて、一体感を得ることも可能となる。

また、本実施形態では、受付期間設定部２２０は、受付期間の終了から所定時間が経過し、タップ入力部２１０から送られたタップタイミング情報ＴＡＰを受けると、新たな受付期間を開始する。そして、導出部２４０及び算出部２５０が、協同して新たな第３周波数帯域を算出し、新たな第３周波数帯域を指定した通過周波数指定ＢＰＣをフィルタ部２６０へ送る。

このため、楽曲途中でテンポやパターンが変化したり、楽曲進行に応じてユーザのリズム感覚に合致するリズム成分が変化した場合であっても、ユーザの楽曲音の感じ方に適合した振動を生成することができる。

したがって、本実施形態によれば、楽曲音の進行に合わせて、個々人の楽曲音との一体性の感じ方に適合した振動を生成し、個々のユーザに振動と楽曲音との一体感を与えることができる。

［実施形態の変形］
本発明は、上記の実施形態に限定されるものではなく、様々な変形が可能である。

例えば、上記の実施形態では、振動信号生成部は、フィルタ部を通過した信号の周波数、振幅を反映した振動信号を生成するようにした。これに対して、タップタイミング情報に、タップ入力の際における入力強度を含めるようにし、振動信号生成部は、フィルタ部を通過した信号の周波数、振幅に加えて、タップ入力の際の入力強度に応じた振動信号を生成するようにしてもよい。

こうした構成を採用した場合に、例えば、図１１に示されるように、２回のタップ入力が行われ、１回目のタップ入力「Ｔ１」に基づいて算出される「第３周波数範囲１」と、２回目のタップ入力「Ｔ２」に基づいて算出される「第３周波数範囲２」が異なる場合には、以下のようにして、振動信号を生成するようにしてもよい。

ここで、「第３周波数範囲１」を指定したフィルタ部を通過し、デジタルアナログ変換した信号をＦＴＳ１にするとともに、「第３周波数範囲２」を指定したフィルタ部を通過し、デジタルアナログ変換した信号をＦＴＳ２にする。また、タップ入力「Ｔ１」時の入力強度を「ＴＳ１」にするとともに、タップ入力「Ｔ２」時の入力強度を「ＴＳ２」にとする。そして、次の（１）式によい、振動信号ＶＩＳを生成するようにしてもよい。
ＶＩＳ＝ＦＴＳ１×ＴＳ１＋ＦＴＳ２×ＴＳ２ …（１）

また、上記の実施形態では、タップ入力によりユーザのリズムに関するタイミングを受け付けるようにしたが、例えば、ユーザの音声や手拍子をマイクで検出して、ユーザのリズムに関するタイミングを受け付けるようにしてもよい。

また、上記の実施形態の音響装置、スピーカ及び振動器は、建屋内に配置するようにしてもよいし、車室内に配置するようにしてもよい。

また、上記の実施形態では、スピーカを着座シートの前方に配置するとともに、振動器を着座シートに配置するようにした。これに対して、図１２に示されるように、スピーカＳＰ₁，ＳＰ₂をヘッドフォンスピーカとして構成し、振動器ＶＩ₁，ＶＩ₂をヘッドフォンの左右の耳当て部材の内部に配置するようにしてもよい。また、振動器を、イヤフォンの内部に配置するようにしてもよい。なお、こうしたスピーカ及び振動器の配置関係を採用する場合には、音響装置は、家庭や車室内等に固定配置されるものであってもよいし、又、ユーザが携帯するものであってもよい。

また、上記の実施形態では、音響装置が振動信号生成装置を備えることとしたが、複数のプレーヤとミキサ等を操作する、いわゆるディスクジョッキ（ＤＪ）がタップ入力操作し、ディスコやクラブの観衆に振動を付与する構成にしてもよい。また、ダンスレッスンのおけるインストラクタがタップ入力操作し、ダンスレッスンの生徒に振動を付与する構成にしてもよい。

また、一のユーザのタップ入力により得られた楽曲音の抽出帯域（第３周波数帯域）に関する情報を外部のサーバ装置へ送信し、当該抽出帯域に関する情報を他のユーザが使用する構成にしてもよい。

なお、上記の振動信号生成装置の一部又は全部を中央処理装置（ＣＰＵ：Central Processing Unit）等を備えた演算手段としてのコンピュータとして構成し、予め用意されたプログラムを当該コンピュータで実行することにより、上記の実施形態における振動信号生成装置の機能を実現するようにしてもよい。このプログラムはハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、当該コンピュータによって記録媒体から読み出されて実行される。また、このプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにしてもよい。

Claims (11)

1. 楽曲のリズムを検出する検出部と；
   ユーザから、タイミングの情報の入力を受け付ける受付部と；
   前記検出部が検出したリズムと、前記受付部が受け付けたタイミングの情報とに基づいて、振動部を振動させるための振動信号を生成する生成部と；
   を備えることを特徴とする振動信号生成装置。
2. 前記生成部は、
   前記受付部がタイミングの情報の入力を受け付けた時刻を含む所定の時間範囲内に前記検出部が検出したリズムの出現時刻を、前記楽曲の特定リズムの出現時刻として特定し、
   前記特定リズムの出現時刻においてスペクトル強度が所定値以上となる周波数帯域である第１周波数帯域の信号を用いて、前記振動信号を生成する、
   ことを特徴とする請求項１に記載の振動信号生成装置。
3. 前記検出部は、前記楽曲の周波数特性の時間変化を示すスペクトログラム情報を取得し、前記取得したスペクトログラム情報に基づいて、所定の周波数範囲において、スペクトル強度が所定値以上となる時刻を前記リズムの出現時刻として検出し、
   前記生成部は、フィルタリング処理を含む処理を実行し、前記特定リズムの出現時刻における周波数特性に基づいて、前記フィルタリング処理において前記楽曲の信号成分を通過させる信号通過帯域を設定し、前記フィルタリング処理を施した後の信号に基づいて前記振動信号を生成する、
   ことを特徴とする請求項２に記載の振動信号生成装置。
4. 前記生成部は、
   前記第１周波数帯域に加えて、所定の受付期間における前記特定リズムの出現時刻以外の前記リズムの出現時刻である非特定リズムの出現時刻において、スペクトル強度が前記所定値以上となる第２周波数帯域を導出する導出部と；
   前記第１周波数帯域のうちで、前記第２周波数帯域が含まれていない周波数帯域を第３周波数帯域として算出する算出部と；を備え、
   前記第３周波数帯域を前記信号通過帯域に設定する、
   ことを特徴とする請求項３に記載の振動信号生成装置。
5. 前記生成部は、前記受付期間に、複数のタイミングの情報の入力を受けたときには、前記リズムの出現時刻それぞれについて、前記特定リズムの出現時刻及び前記非特定リズムの出現時刻のいずれであるかを特定し、前記第３周波数範囲を算出する、ことを特徴とする請求項４に記載の振動信号生成装置。
6. 前記受付部は、前記受付期間以外の期間に、ユーザから前記タイミングの情報の入力を受けると、前記受付期間を開始する、ことを特徴とする請求項５に記載の振動信号生成装置。
7. 前記受付部は、前記受付期間の終了から所定時間が経過した後に、ユーザから前記タイミングの情報の入力を受けると、新たな受付期間を開始する、ことを特徴とする請求項６に記載の振動信号生成装置。
8. 前記タイミングの情報には、情報の入力の際における入力強度が含まれ、
   前記生成部は、前記入力強度に応じた振動信号を生成する、
   ことを特徴とする請求項１に記載の振動信号生成装置。
9. 振動信号を生成する振動信号生成装置において使用される振動信号生成方法であって、
   楽曲のリズムを検出する検出工程と；
   ユーザから、タイミングの情報の入力を受け付ける受付工程と；
   前記検出工程において検出したリズムと、前記受付工程において受け付けたタイミングの情報とに基づいて、振動部を振動させるための振動信号を生成する生成工程と；
   を備えることを特徴とする振動信号生成方法。
10. 振動信号生成装置が有するコンピュータに、請求項９に記載の振動信号生成方法を実行させる、ことを特徴とする振動信号生成プログラム。
11. 振動信号生成装置が有するコンピュータにより読み取り可能に、請求項１０に記載の振動信号生成プログラムが記録されている、ことを特徴とする記録媒体。

Images