WO2020105195A1

WO2020105195A1 - 映像制御装置、及び映像制御方法

Info

Publication number: WO2020105195A1
Application number: PCT/JP2018/043295
Authority: WO
Inventors: 智日下部; 斎藤　康人
Original assignee: Roland Corp
Current assignee: Roland Corp
Priority date: 2018-11-22
Filing date: 2018-11-22
Publication date: 2020-05-28
Anticipated expiration: 2021-05-22
Also published as: US12159611B2; CN113170074A; CN113170074B; US20220020348A1

Abstract

映像制御装置は、音声のビートタイミングを検出する検出部と、ビートタイミングと、表示装置に表示されている映像の表示態様の変更内容を示す変更情報とに基づいて、映像の表示態様の変更を行う制御部とを含む。

Description

映像制御装置、及び映像制御方法

　本発明は、映像制御装置、及び映像制御方法に関する。

　従来、外部演奏音の脈動から検出した拍位置を入力された補正情報に基づいて修正し、外部演奏音に同期して歌詞トラックを読み出して歌詞テロップを生成するコンテンツ再生装置がある（例えば、特許文献１）。また、オーディオの高域および／または低域のピーク値から閾値を設定し、オーディオのレベルが閾値を超える時間間隔に応じて映像の表示を切り替える画像閲覧装置がある（例えば、特許文献２）。また、音声と映像を含む複数のメディアをビートを同期させてミックスする方法がある（例えば、特許文献３、４）。また、太鼓を打撃するアニメーションを表示するタイミング制御装置がある（例えば、特許文献５）。

特許第４５６１７３５号公報特許第４６２２４７９号公報米国特許第８２６９０９３号明細書米国特許第８７０４０６９号明細書国際公開第２００８／１２９８３７号

　従来技術では、音声に合わせて映像の制御を行う場合、ユーザが音声を聞きながらマニュアルで行う必要があった。本発明は、音声に合わせて表示装置の表示内容を変化させることを可能とする技術を提供することを目的とする。

　本発明の一態様は、
　音声のビートタイミングを検出する検出部と、
　前記ビートタイミングと、表示装置に表示されている映像の表示態様の変更内容を示す変更情報とに基づいて、前記映像の表示態様の変更を行う制御部と
を含む映像制御装置である。

　本発明に係る映像制御装置において、前記制御部が、前記表示態様の変更として、
（i）前記映像から異なる映像への切り替え、
（ii）前記映像に対する効果の付加、
（iii）前記映像に付加する効果の変更、及び
（iv）前記映像に付加した効果の解除
のうちのいずれかを行う構成を採用してもよい。

　本発明に係る映像制御装置において、前記表示態様の変更として、前記映像から異なる映像への切り替えが行われる場合において、
　前記映像が、前記音声が付加されている第１の映像と、前記第１の映像と異なる第２の映像とを含み、
　前記制御部は、前記第１の映像と前記第２の映像との並列な再生処理を行うとともに、前記第１の映像及び前記第２の映像の一方の再生中に終了した前記第１の映像及び前記第２の映像の他方についての繰り返し再生を行う構成を採用してもよい。

　本発明に係る映像制御装置において、前記表示態様の変更として、前記映像から異なる映像への切り替えが行われる場合において、
　前記映像が、第１の映像と、前記第１の映像と異なる第２の映像とを含み、
　前記制御部は、前記音声と、前記第１の映像と、前記第２の映像との並列な再生処理を行うとともに、前記音声の再生中に終了した前記第１の映像又は前記第２の映像についての繰り返し再生を行う構成を採用してもよい。

　本発明に係る映像制御装置において、前記制御部が、前記表示態様の変更として、前記映像に対する効果の付加を行う場合に、前記効果に係る前記映像のパラメータを変更する構成を採用してもよい。

　本発明に係る映像制御装置において、前記制御部が、時間的に変化する所定の信号の波形に従って、前記パラメータの大きさを変更する構成を採用してもよい。前記所定の信号は、例えば、前記音声の信号、又は前記音声の信号に、前記音声の信号と異なる信号を混合した信号であってもよい。

　本発明に係る映像制御装置において、前記制御部が、前記表示態様の変更を、連続する複数回の前記ビートタイミングの検出を契機に行う構成を採用してもよい。また、前記制御部が、前記表示態様の変更を、前記ビートタイミングの間隔内において複数回行う構成を採用してもよい。また、前記制御部が、前記ビートタイミングが検出されない非検出区間に関して、最後に検出された前記ビートタイミングの間隔で、前記表示態様の変更を行う構成を採用してもよい。

　また、本発明に係る映像制御装置において、前記制御部が、前記ビートタイミングが検出されない非検出区間に関して、前記非検出区間の前後における前記ビートタイミングの間隔に基づいて前記表示態様の変更を行うタイミングを決定する構成を採用してもよい。また、前記制御部が、前記音声である楽曲に関して、前記楽曲の開始から最初のビートタイミングまでの区間に対し、前記最初のビートタイミングから、前記最初のビートタイミングと次のビートタイミングとの間隔分、過去に遡る毎に、前記表示態様の変更を行う構成を採用してもよい。

　本発明の第２の態様は、音声のビートタイミングを検出する検出部と、
　前記ビートタイミングに基づいて、表示装置に表示される映像の制御を行う制御部と
を含む映像制御装置である。前記制御部は、前記映像の制御として、例えば、前記表示装置に表示されている映像を異なる映像に切り替える。或いは、前記制御部は、前記映像の制御として、例えば、前記表示装置に表示されている前記映像に対する効果の付加、変更、前記付加の解除の少なくとも一つを行う。

　本発明の第３の態様は、音声のビートタイミングを検出し、
　前記ビートタイミングに基づいて、表示装置に表示されている映像の制御を行う
ことを含む映像制御方法である。前記映像の制御は、例えば、前記表示装置に表示されている映像を異なる映像に切り替えることである。或いは、前記映像の制御は、前記表示装置に表示されている前記映像に対する効果の付加、効果の変更、前記効果の付加の解除の少なくとも一つを行うことである。

　本発明の第４の態様は、再生中の音声付き映像から、前記音声のビートタイミングを検出する検出部と、
　前記ビートタイミングに基づいて、表示装置に表示される前記音声付き映像の制御を行う制御部と
を含む映像制御装置である。

　本発明の第１～４の態様において、ビートタイミングは、予め検出されたものであっても、リアルタイムに検出されるものであってもよい。

　例えば、第１、２、４の態様において、前記検出部が、入力された音声のデータから、前記音声のビートを司るタイミング情報と、そのタイミングにおけるパワーを示す強度データを生成する処理と、前記強度データを用いて、前記音声のビートの周期及び位相を算出する処理と、前記ビートの周期及び位相に基づいて、ビートタイミングを検出する処理とを行う構成を採用してもよい。

　また、第１、２、４の態様において、前記検出部が、複数個のＢＰＭ（Beats Per Minute）に関して、減衰項を有するフーリエ変換を、前記強度データに対して行い、前記フーリエ変換の値の絶対値が最大となるときのＢＰＭを、前記音声のビートの周期として算出する構成を採用してもよい。

　また、第１、２、４の態様において、前記検出部が、前記音声のビートの周期に対応するＢＰＭの１／ｎ周期ずつずれた窓関数のそれぞれを前記強度データに乗じて得られた複数の値に対し、前記フーリエ変換を行うことで、複数のウェーブレット変換値を求め、前記複数のウェーブレット変換値の絶対値が最大になるときの位相を、前記音声のビートの位相として算出する構成を採用してもよい。

　また、第１、２、４の態様において、前記検出部が、前記検出部は、前記ビートの周期及び前記ビートの位相を示すカウント値を求め、サンプリングレートの１サンプル毎にインクリメントを行うカウンタを用いて前記カウント値の計時を行い、前記カウンタの値が前記カウント値に達したタイミングを前記ビートタイミングとして検出する構成を採用してもよい。

図１は映像制御装置として動作可能な情報処理装置（コンピュータ）の構成例を示す。図２は映像制御装置（コントローラ）を模式的に示す図である。図３Ａはビートタイミングを示し、図３Ｂは、ビートタイミングに合わせたパラメータの変動量を示す。図３Ｃは、所定の信号波形の一例である音声波形を示す。図４は、ビート非検出区間における表示態様の変更の実施タイミングの決定方法の説明図である。図５は、情報処理装置のユーザインタフェース（ＵＩ）の例を示す。図６は、情報処理装置のユーザインタフェース（ＵＩ）の他の例を示す。図７は、映像制御装置（コントローラ）の処理例を示すフローチャートである。図８は、ビートタイミング検出部の構成例を示す。図９は、生成部の処理例を示すフローチャートである。図１０Ａは、生成部に入力される１２秒分の楽曲のディジタル信号（楽曲信号ともいう）の例を示し、図４Ｂは、図４Ａの楽曲信号から生成されたＳｐｘデータの例を示す。図１１は、算出部の処理例を示すフローチャートである。図１２は、Ｓｐｘデータとフーリエ変換に用いるＢＰＭの正弦波の例を示す図である。図１３は、ＢＰＭを示す余弦波とビートの発生タイミングとの関係を図示する。図１４は、検出部によるビート発生タイミングの検出処理の例を示すフローチャートである。図１５は、１倍（基本ビート）と２倍ビートのスペクトル強度を例示する図である。図１６は、第２のビートタイミング検出方法における、周期データ及び位相データの算出処理の例を示すフローチャートである。図１７は、式３の回路図である。図１８は、Ｓｐｘデータと、式３のフーリエ変換に用いるＢＰＭ周波数を有する減衰正弦波の例を示す。図１９は、ウェーブレット変換値ｗ_ｎを算出する回路を模式的に示す。図２０Ａ、Ｂ、Ｃは、Ｓｐｘデータと周期的ハン窓列との関係を示す。図２１は、位相データの算出処理の例を示すフローチャートである。図２２は、ウェーブレット変換値の説明図である。図２３は、或る楽曲についてのビート強度（ＩＢＳ）を示すグラフである。

　実施形態に係る映像制御装置として、以下のような映像制御装置について説明する。
[１] 　音声のビートタイミングを検出する検出部と、
　上記ビートタイミングと、表示装置に表示されている映像の表示態様の変更内容を示す変更情報とに基づいて、上記映像の表示態様の変更を行う制御部と
を含む映像制御装置。
[２]　音声のビートタイミングを検出する検出部と、
　上記ビートタイミングに基づいて、表示装置に表示される映像の制御を行う制御部と
を含む映像制御装置。
[３] 　再生中の音声付き映像から、上記音声のビートタイミングを検出する検出部と、
　上記ビートタイミングに基づいて、表示装置に表示される上記音声付き映像の制御を行う制御部と
を含む映像制御装置。

　ここに、音声（audio：音響ともいう）は、楽器の音、人の声、楽曲、これら以外の様々な音を含む。音声は、再生音声でもリアルタイムに発生する音声でもよい。映像（動画：movie、video）は、所定のフレームレートに従って切り替え表示される複数の静止画（フレーム画像）からなる。映像は、所定期間、フレーム画像間で動きベクトルや画素値の差分が生じない場合、すなわち、静止画を表示する場合を含む。よって、映像は、画面中の物体や背景の動きを示す映像の他、１枚の静止画を表示しつづける映像や、複数の静止画を時間経過とともに切り替えて表示する映像（スライドショー）を含む。映像は、媒体に記録された情報を用いた再生映像でも、データストリームから得られる情報を用いたリアルタイム再生の映像でもよい。また、ビートタイミングは、予め検出されたビートタイミングであっても、出力音声に対してリアルタイムに検出されるビートタイミングであってもよい。

　「表示態様の変更」及び「映像の制御」のそれぞれは、以下の（i）～(iv)のうちの少なくとも一つを含むことができる。
（i）表示装置に表示されている映像から異なる映像への切り替え、
（ii）表示装置に表示されている映像に対する効果の付加、
（iii）表示装置に表示されている映像に付加する効果の変更、及び
（iv）表示装置に表示されている映像に付加した効果の解除

　表示装置に表示されている映像を異なる映像に切り替える場合、元の映像と切替先の映像とを交互に切り替えてもよく、二つ以上の切替先の映像が用意されてもよい。「効果」は、表示画面に現れる視覚効果（映像効果）である。例えば、映像の輝度（点滅）や、色（画素値）の変更、画素値の反転、二次元又は三次元映像（図形など）の付加、映像中のエッジ（輪郭線）の強調度合いの変更、映像の変形（ゆがみ）などを含む。効果に係る映像のパラメータが管理される。効果に係るパラメータは、映像の輝度、画素値、エッジの強調度、などを含む。但し、これら以外であってもよい。効果に係るパラメータの値が変更されることで、効果の付加、付加の解除がなされる。或いは、パラメータの種類が変更されることで、効果の変更がなされる。

　表示態様の変更（映像の制御）がなされている時間（異なる映像に切り替えられる時間や、映像に１又は２以上の効果が付加されている時間）の長さは、適宜決定可能である。表示態様の変更（映像の制御）の開始タイミングは、例えば、ビートタイミングの時点、またはそのビートタイミングの前後の所定の時点とすることができる。また、変更の開始タイミングは、ビートタイミングの間隔の等倍、ｎ倍（ｎは２以上の整数）、１／ｎ倍で生じるようにしてもよい。表示態様の変更（映像の制御）の終了タイミングは、変更の開始から一定時間経過した時点や、次のビートタイミングが検出された時点、ビートタイミングの間隔の等倍、ｎ倍、１／ｎ倍の時点とすることができる。

　映像制御装置において、上記映像の表示態様の変更（映像の制御）として、上記映像から異なる映像への切り替えが行われる場合において、上記音声が付加されている第１の映像と、上記第１の映像と異なる第２の映像とを含み、上記制御部は、上記第１の映像と上記第２の映像との並列な再生処理を行うとともに、上記第１の映像及び上記第２の映像の一方の再生中に終了した上記第１の映像及び上記第２の映像の他方についての繰り返し再生を行う構成を採用してもよい。

　映像制御装置において、上記映像の表示態様の変更（映像の制御）として、上記映像から異なる映像への切り替えが行われる場合において、上記映像が、第１の映像と、上記第１の映像と異なる第２の映像とを含み、上記制御部は、上記音声と、上記第１の映像と、上記第２の映像との並列な再生処理を行うとともに、上記音声の再生中に終了した上記第１の映像又は上記第２の映像についての繰り返し再生を行う構成を採用しても良い。

　映像制御装置において、上記制御部は、上記表示態様の変更（映像の制御）として、上記映像に対す効果の付加として、上記表示装置に表示されている上記映像に対する効果の付加・変更・上記付加の解除の少なくとも一つを行う構成を採用しても良い。効果は、映像中に現れる視覚効果（映像効果）である。例えば、映像の輝度の変更（点滅含む）や、色（画素値）の変更（反転など）、二次元又は三次元画像又は映像（文字、図形、記号、図柄、音声などの信号波形など）の付加又は重ね合わせ、映像中のエッジ（輪郭線）の強調度の変更、映像の変形、ゆがみの付加などを含む。

　映像制御装置において、上記制御部は、上記表示態様の変更（映像の制御）として、上記映像に対する効果の付加を行う場合に、上記効果に係る上記映像のパラメータを変更する構成を採用してもよい。上記制御部は、時間的に変化する所定の信号の波形に従って、上記パラメータの大きさを変更する構成を採用してもよい。所定の信号は、例えば、音声の信号、音声以外の一つの信号、音声の信号に音声の信号以外の信号を混合した信号、音声信号以外の信号が二つ以上混合されてできた信号などを含む。パラメータの大きさの変更に使用する信号の波形として、複数種類の波形（パターン）が用意され、パターンがユーザによって選択される構成を採用してもよい。

　映像制御装置において、制御部が、表示態様の変更（映像の制御）を、連続する複数回の上記ビートタイミングの検出を契機に行う構成を採用してもよい。また、制御部が、表示態様の変更（映像の制御）を、上記ビートタイミングの間隔内において複数回行う構成を採用してもよい。この場合、間隔内における映像制御の間隔は、等間隔であってもなくてもよい。

　映像制御装置において、上記制御部は、上記ビートタイミングが検出されない非検出区間に関して、最後に検出された上記ビートタイミングの間隔で、表示態様の変更（映像の制御）を行う構成を採用してもよい。また、上記制御部は、上記ビートタイミングが検出されない非検出区間に関して、上記非検出区間の前後における上記ビートタイミングの間隔に基づいて表示態様の変更（映像の制御）を行うタイミングを決定する構成を採用してもよい。表示態様の変更（映像の制御）を行うタイミングとして、前後のビートタイミングの間隔の平均値を採用しても、両者間を補間した値を採用してもよい。

　映像制御装置において、制御部は、音声である楽曲に関して、楽曲の開始から最初のビートタイミングまでの区間に対し、最初のビートタイミングから、最初のビートタイミングと次のビートタイミングとの間隔分、過去に遡る毎に、映像の制御を行う構成を採用してもよい。

　以下、図面を参照して、実施形態に係る映像制御装置、及び映像制御方法、ビート音発生タイミング生成装置及びビート音発生タイミング生成方法について説明する。実施形態の構成は例示である。実施形態の構成に限定されない。

〔第１実施形態〕
　＜情報処理装置の構成＞
　図１は、映像制御装置として動作可能な情報処理装置（コンピュータ）の構成例を示す。情報処理装置は、スマートフォンやタブレット端末などのスマートメディア、パーソナルコンピュータなどの汎用のコンピュータであっても、専用のコンピュータであってもよい。情報処理装置１は、可搬型であってもなくてもよい。以下の説明では、情報処理装置１がスマートフォンである場合について説明する。

　図１において、情報処理装置１は、バス３に接続された、ＣＰＵ（Central Processing Unit）１０と、ＲＯＭ（Read Only Memory）１１と、ＲＡＭ（Random Access Memory）１２と、ハードディスクドライブ（ＨＤＤ）１３と、入力装置１４と、表示装置１５と、通信インタフェース（通信Ｉ／Ｆ）１６とを含む。情報処理装置１は、さらに、バス３に接続された、ディジタルアナログ変換器（Ｄ／Ａ）１７と、アナログディジタル変換器（Ａ／Ｄ）２０とを含む。Ｄ／Ａ１７にはアンプ（ＡＭＰ）１８が接続され、ＡＭＰ１８にはスピーカ１９が接続されている。Ａ／Ｄ２０には、マイクロフォン（ＭＩＣ）２１が接続されている。

　ＲＯＭ１１は、ＣＰＵ１０によって実行される様々なプログラムやプログラムの実行に際して使用されるデータを記憶している。ＲＡＭ１２は、プログラムの展開領域、ＣＰＵ１０の作業領域、データの記憶領域などとして使用される。また、ＲＡＭ１２は、表示装置１５に表示される映像のフレーム画像を描画するビデオＲＡＭとして使用される。

　ＨＤＤ１３は、プログラムやプログラムの実行に際して使用されるデータ、楽曲データなどを記憶する。楽曲データは、例えばＭＰ３やＷＡＶＥ形式などの所定の音声ファイルのフォーマットを有する音声（音響）データである。音声ファイルのフォーマット形式は、ＭＰ３やＷＡＶＥ形式以外でもよい。

また、ＨＤＤ１３は、複数種類の映像ファイルを記憶する。映像ファイルのフォーマット形式は問わない。映像ファイルは、映像データと音声データとのうちの双方を含む場合と、音声データを含まない場合とがある。音声ファイル及び映像ファイルは、タイムテーブル(再生時間の情報)を有し、タイムテーブルに従って、映像及び音声の再生が行われる。音声ファイルの音声、映像ファイル中の音声は、ビートの発生タイミング（ビートタイミングという）を示す情報（ビートタイミング情報という）が、再生時間と関連づけて記憶されている。但し、ビートタイミングを示す情報が映像ファイルや音声ファイルに含まれていることは必須ではない。

　ＲＯＭ１１及びＲＡＭ１２は、主記憶装置の一例であり、ＨＤＤ１３は補助記憶装置の一例である。主記憶装置及び補助記憶装置は、記憶装置、記憶媒体、又はメモリの一例である。以下、ＲＯＭ１１、ＲＡＭ１２、ＨＤＤ１３をまとめて「記憶装置５７」と表記する場合がある。

　入力装置１４は、キー、ボタン、タッチパネルなどであり、情報（指示や命令を含む）の入力に使用される。表示装置１５は、情報の表示に使用される。通信Ｉ／Ｆ１６は、ネットワーク２に接続されており、通信に係る処理を司る。ＣＰＵ１０は、例えば入力装置１４から入力された指示に応じて、ネットワーク２から所望の楽曲データ（楽曲信号）をダウンロードし、ＨＤＤ１３に記憶することができる。

　ＣＰＵ１０は、プログラムの実行によって、様々な処理を行う。処理は、上記した楽曲ダウンロードに係る処理の他、音声や映像の再生に係る処理を行う。また、ＣＰＵ１０は、音声ファイルや映像ファイル中のビートタイミング情報を用いて、ビートタイミングを検出する処理と、検出したビートタイミングに基づいて、映像を制御する処理を行う。映像の制御は、表示装置１５の表示される映像の切り替え、映像に対する効果の付加、変更、付加の解除などを含む。

　例えば、ＣＰＵ１０は、楽曲データを再生する場合、プログラムの実行によって、ＨＤＤ１３からＲＡＭ１２に読み出した楽曲データから楽曲の音を表すディジタルデータ（ディジタル信号）を生成し、Ｄ／Ａ１７に供給する。Ｄ／Ａ１７は、音を表すディジタルデータをディジタルアナログ変換によってアナログ信号に変換し、ＡＭＰ１８に出力する。ＡＭＰ１８によって振幅が調整されたアナログ信号はスピーカ１９から出力される。

　ＭＩＣ２１は、例えば、スピーカ１９から出力される楽曲の音を伴奏（カラオケ）とする歌唱音などを収音する。ＭＩＣ２１で収音されたアナログの音声信号は、ＡＭＰ１８で振幅を増幅され、スピーカ１９から増幅される。このとき、歌唱音は楽曲音とミキシングされても、それぞれ別個のスピーカから出力されてもよい。

　また、ＭＩＣ２１は、楽器を用いた演奏（いわゆる生演奏）による音声や外部機器からの楽曲の再生音声を収音して音を拡大（スピーカ１９から出力）したり、録音したりする場合にも使用される。例えば、ＭＩＣ２１で収音された演奏音の信号は、Ａ／Ｄ２０によってディジタル信号に変換され、ＣＰＵ１０に渡される。ＣＰＵ１０は、演奏音の信号を音声ファイルのフォーマットに従った形式に変換して音声ファイルを生成し、ＨＤＤ１３に記憶する。

　なお、情報処理装置１はコンパクトディスク（ＣＤ）やＤＶＤ、ブルーレイディスクなどのディスク型記録媒体のドライブ装置（図示せず）を含んでもよい。この場合、ドライブ装置を用いてディスク型記録媒体から読み出された楽曲の音を表すディジタル信号がＤ／Ａ１７に供給され、楽曲音や映像が再生されてもよい。この場合、ディスク型記録媒体から読み出された楽曲の音信号について、ビートタイミングの検出が行われてもよい。

　＜映像制御装置の構成＞
　図２は、映像制御装置（コントローラ）を模式的に示す図である。ＣＰＵ１０は、図２において、記憶装置５７に記憶されたプログラムを実行することによって、コントローラ５０として動作する。コントローラ５０において、ＣＰＵ１０は、再生部５１、検出部５２、制御部５３、として動作する。また、記憶装置５７には、第１のＶＲＡＭ（ＶＲＡＭ５４）と、第２のＶＲＡＭ（ＶＲＡＭ５５）と、ビート情報の格納部５８と、変更情報の格納部５９とが設けられる。

　再生部５１には、音声データ、映像データ、及び音声付き映像データが入力される。入力される音声データ、映像データ、及び音声付き映像データは、媒体（記憶装置５７やディスク記憶装置など）から読み出された再生に係るデータであっても、ネットワーク２から受信された、ストリーム再生に係るデータであってもよい。

　再生部５１は、入力された音声データ、映像データ、及び音声付き映像データに基づいて、音声及び映像の再生処理を行う。すなわち、再生部５１は、音声データ、音声付き映像データに含まれた音声データに基づく音声信号を生成して出力する。音声信号は、Ｄ／Ａ１７及びＡＭＰ１８（図２では省略）の処理を経て、スピーカ１９に到達し、音声信号に基づく音声がスピーカ１９から出力される。実施形態における映像は、フレームレートやフレーム間での画素値の差分の発生の有無を問わない。つまり、映像は、１つの静止画（画像）だけが表示される場合や、複数の静止画（画像）が時間経過に伴って切り替わる場合（スライドショー）を含む。

　また、再生部５１は、映像データ、音声付き映像データに基づく画像（フレーム画像）をＶＲＡＭに描画する。ＶＲＡＭに描画されるフレーム画像の書き換えは、所定のフレームレートに従って行われる。ＶＲＡＭに書き込まれたフレーム画像の信号が表示装置１５に出力され、表示装置１５は、表示装置１５が有する画面上に、映像の信号に基づく映像（すなわち、フレームレートに従って切り替わるフレーム画像）を表示する。

　図２に示す例では、複数のＶＲＡＭ（一例として、二つのＶＲＡＭ５４、ＶＲＡＭ５５）が設けられている。但し、ＶＲＡＭの数（並列処理可能な再生数）は、２より多くてもよい。再生部５１は、複数の映像データ（映像ファイル）に対する再生処理を並列に行って、フレーム画像を、対応するＶＲＡＭに描画する。図２に示す例では、再生部５１は、第１の映像データに基づく映像（第１の映像の一例）をＶＲＡＭ５４に描画し、第２の映像データに基づく映像（第２の映像の一例）をＶＲＡＭ５５に描画する。ＶＲＡＭ５４から出力される映像の信号と、ＶＲＡＭ５５から出力される映像の信号との一方が、スイッチ５６を介して表示装置１５へ出力される。スイッチ５６の制御は制御部５３によって行われる。

　検出部５２は、再生部５１から、識別子と、音声の再生時間のデータとを受け取る。識別子は、例えば音声データ又は音声付き映像データの識別子であるが、これらに限られない。識別子及び音声の再生時間のデータは、再生部５１に入力される音声データ又は音声付き映像データに含まれている。

　ビート情報の格納部５８には、識別子と関連づけて、音声又は音声付き映像の再生時間の時間軸上での、ビートの発生タイミング（ビートタイミング）を示す情報（ビート情報という）が格納されている。検出部５２は、再生時間上の時刻と、ビート情報のビートタイミングの時刻とが一致するタイミングで、ビートタイミングの検出を示す信号を出力し、制御部５３に供給する。なお、検出部５２は、図２に示す例では、予め決定されたビートタイミングを検出する構成を説明している。但し、検出部５２が音声信号を再生部５１から受け取って、ビートタイミングをリアルタイムで算出する構成であってもよい。

　制御部５３は、検出部５２から入力されるビートタイミングと、変更情報の格納部５９に格納された変更情報とに基づいて、表示装置１５に表示されている映像の表示態様の変更（映像の制御）を行う。

　変更情報は、表示装置１５に表示されている映像の表示態様の変更に係る情報であり、表示態様の変更の種別を示す情報と、変更に用いる映像又は効果を示す情報と、効果の付加に用いる映像のパラメータを示す情報と、変更の開始タイミングを示す情報とを含む。

　種別を示す情報は、変更又は制御が、「映像の切り替え」、「映像に対する効果の付加」、「映像に付加する効果の変更」、及び「映像に付加された効果の解除」のいずれであるかを示す情報である。

　変更に用いる映像を示す情報は、変更の種別が映像の切り替えである場合における、切り替え先の映像を特定する情報である。切り替え先の映像は、１つ用意されても２以上用意されてもよい。変更に用いる映像を示す情報は、変更の種別が効果の付加、効果の変更、付加効果の解除である場合において、付加・変更・解除の対象となる効果を特定する情報である。

　効果の付加に用いる映像のパラメータを示す情報は、効果の付加のために用いる映像中のパラメータを特定する情報である。例えば、パラメータは、映像の輝度や、映像のエッジの強調度、色（画素値）の反転の度合い、ポスタリゼーション（階調変更）の度合いなどである。パラメータはこれらに限定されない。効果を付加するためのパラメータの変動量は、ユーザ等が予め決めておいてもよい。変動は増加であっても減少であっても増減であってもよい。

　また、効果の付加の間、所定の信号の波形に従って、パラメータの大きさが変動するようにしてもよい。図３Ａは、ビートタイミングを示し、図３Ｂは、ビートタイミングに合わせたパラメータの変動量を示す。図３Ｂに示した波形は、所定の信号の波形の一例であり、音声以外の信号波形の一例を示す。図３Ｃは、所定の信号の波形の一例である、音声信号の波形を示す。図３Ａ及び図３Ｂに示す例では、制御部５３は、各ビートタイミングに合わせて、ビートタイミングの前後における所定区間で山型にパラメータの値を増減させて、それ以外の区間では、パラメータ強度がデフォルト値（効果が付加されていない場合の値）をとる。パラメータが増減する区間の開始タイミングは、ビートタイミングと同時でも、それより後でもよい。また、パラメータの増減の区間の長さは、適宜変更可能であり、ビートタイミング毎に発生せずとも、数回のビートタイミングに対して１回発生するようにしても、ビートタイミング間で２回以上発生してもよい。

　図３Ｃは、再生部５１で再生される音声の信号の波形の一例を示す。図３（Ｂ）に示したパラメータの強度を示す信号の代わりに、音声の信号の振幅の大きさに従って、パラメータの大きさが変動するようにしてもよい。また、図３Ｂに示したパラメータの強度を示す信号と、音声の信号とを混合した信号を得て、その信号の波形（例えば振幅の大きさ）に応じて、パラメータ強度が変更されてもよい。このようにすれば、効果の付加に伴う効果の強弱に或る程度の歪みや不規則性が出るようになり、映像の視聴者に対する視覚効果を高めることができる。

　変更の開始タイミングを示す情報は、ビートタイミングを基準とする、変更の開始タイミングを示す情報である。例えば、ビート間隔と等倍、ｎ倍、１／ｎ倍で変更が開始される（変更が行われる）設定を施すことができる。ビート間隔と等倍の場合、ビート間隔毎に表示態様の変更が行われる。ビート間隔のｎ倍（ｎ≧２）の場合では、ビート間隔のｎ倍の間隔で表示態様の変更が行われる。逆に、ビート間隔の１／ｎ倍（ｎ≧２）の場合では、ビート間隔の１／ｎ倍の間隔で表示態様の変更が行われる。また、ビートの検出から次のビートの検出までの間、切り替えや効果が継続するようにしてもよい。この場合、１つ目のビートタイミングが切り替えや効果付加の開始タイミングとなり、次のビートタイミングが切り替えや効果付加の解除タイミングとなる。

　音声によっては、例えば、ビートが発生しない部分がある。例えば、楽曲のイントロ部分では、定まったビートがない場合が少なくない。このようなビートが検出されない区間（非検出区間）でも、表示態様の変更が発生するように、変更の開始タイミングが定められる。例えば、図４に示す様に、ビート間隔の平均値が“ａ”である区間Ａと、ビート間隔の平均値が“ｃ”である区間Ｃとの間に、ビートが発生しない区間Ｂがあると仮定する。この場合、制御部５３は、区間Ｂに関して、値“ａ”と値“ｃ”との平均値“ｂ”をとって、この平均値“ｂ”のビート間隔で、表示態様の変更を発生させる。

　なお、ビートの非検出区間については、必ずしも制御部５３が表示態様の変更を行わなくてもよい。或いは、非検出区間の前の区間（図４の例であれば区間Ａ）におけるビート間隔“ａ”に基づいて、表示態様の変更を制御部５３が行うようにしてもよい。或いは、非検出区間の前後のビート間隔（図４の例では値“ａ”及び値“ｃ”）が補間されるように変動するビート間隔が適用されてもよい。また、楽曲のイントロ部分がビートの非検出区間に該当する場合には、その楽曲において最初に検出されるビート間隔を、イントロ部分に適用し、最初に検出されたビートタイミングに繋がるようにビート間隔が定められる。

　図２に戻って、制御部５３は、ビートタイミングと変更情報とに基づいて決まる、表示態様の変更の開始タイミングが到来すると、表示態様の変更を行う。例えば、再生部５１が、第１の映像をＶＲＡＭ５４を用いて再生し、第１の映像と異なる第２の映像をＶＲＡＭ５５を用いて再生している場合を仮定する。第２の映像は、切替先の映像である。

　この場合、制御部５３は、表示態様の変更のタイミングが到来した場合に、変更情報（変更の種別：映像の切り替え）に従ってスイッチ５６を制御し、ＶＲＡＭ５４の出力を表示装置１５に接続している状態を、ＶＲＡＭ５５の出力が表示装置１５に接続される状態に、所定時間切り替える。これによって、表示装置１５の表示態様が、第１の映像表示から第２の映像表示に切り替わる。

　また、制御部５３は、表示態様の変更の種別が効果の付加、変更、解除のいずれかであれば、スイッチ５６の制御は行わず（ＶＲＡＭ５４の出力が表示装置１５に接続された状態を維持）、再生部５１に、効果の付加、変更、解除を行うための制御を行う。例えば、再生部５１がＶＲＡＭ５４への描画に参照する映像のパラメータの値（例えば、エッジの強調度）を、効果付加時の値や解除時の値に書き換える。或いは、制御部５３は、第１の効果（例えばエッジの強調度増大）が行われている状態で、第１の効果を解除し（強調度を元の値に戻し）、第１の効果と異なる第２の効果（例えば、映像の輝度値を上げる）を付加することができる。これによって、効果の変更が行われる。なお、第１の効果の付加状態において、第１の効果と異なる第２の効果を付与する場合もあり得る。また、ＶＲＡＭ５５に描画されるフレーム画像に効果を付加し、表示装置１５に接続する場合もあり得る。

　＜ユーザインタフェース＞
　図５は、情報処理装置１のユーザインタフェース（ＵＩ）の例を示す。図５には、表示装置１５の画面１５Ａが図示されている。表示装置１５は、タッチパネルを有し、画面１５Ａに表示された各種のボタン（操作子）が入力装置１４となる。画面１５Ａは、映像（第１の映像）の表示領域２１と、切り替え先の映像（第２の映像）の選択ボタン２２、２３及び２４と、パラメータの強度（Intensity）を増減するスライドボタン２５と、ビート間隔の調整部２６と、第１の映像の再生時間を示すインジケータ２７とを含む。

　選択ボタン２２，２３、２４は、表示態様の変更時の切り替え先となる映像の選択ボタンであり、図５に示す例では、最大３つの映像を、切替先の映像としてエントリさせることができる。選択ボタン２２，２３、２４には、切り替え先の映像を示すサムネイル画像又は映像が表示されるようになっていてもよい。スライドボタン２５は、直線上の操作子（円形で示す）を左右に移動させることで、パラメータの強弱を操作できる。図５の例では、操作子が右側に位置する程、強度が高くなり、左側に位置する程、強度が低下する。スライドボタン２５に割り当てられるパラメータは、適宜選択可能である。本実施形態では、表示領域２１に表示される映像のエッジの強調度がスライドボタン２５の操作によって変更可能となっている。

　ビート間隔の調整部２６は、検出部５２で検出されるビート間隔に対する、表示態様の変更の実施の間隔を選択する複数のボタンからなる。図５に示す例では、ビート間隔に対する倍率を、１／８、１／４、１／２、１、２、３、４のいずれかから選択可能なっている。図５では、等倍（１）が選択され、選択された倍率が反転表示された様子が示されている。

　インジケータ２７は、表示領域２１に示される映像の再生時間を示す時間軸を直線で示し、その時間軸上を、再生時間における現時刻を示すポインタ（三角形で示す）が移動する様子を表示する。ポインタをタッチパネル操作で左右方向に移動することで、映像の早送りや巻き戻しが可能である。

　選択ボタン２２～２４、スライドボタン２５、調整部２６を用いて、ユーザは、切り替え先の映像、パラメータの強度、切り替えの実施タイミング（実施間隔）を、選択乃至決定することができる。決定の結果は、変更情報として、変更情報の格納部５９（記憶装置５７）に格納される。

　図６は、情報処理装置１のユーザインタフェース（ＵＩ）の他の例を示す。図５に示した画面１５Ａに表示されたＵＩ（第１のＵＩとする）は、表示態様の変更として映像の切り替えを行う場合のＵＩであった。図６に示す画面１５Ｂに表示されたＵＩ（第２のＵＩとする）は、表示態様の変更として効果を付加する場合のＵＩである。

　図６に示すように、画面１５Ｂ（第２のＵＩ）では、切替先の映像の選択ボタン２２、２３、２４が、映像に付加する効果の種類を選択する選択ボタン３２、３３、３４に変更されている。表示領域２１、スライドボタン２５、調整部２６、インジケータ２７は、第１のＵＩ（図５）と同じである。

　選択ボタン３２、３３、３４は、効果の種類を割り当てることができる。例えば、選択ボタン３２には、画素値の反転を割り当て、選択ボタン３３には、ポスタリゼーション（階調変更）を割り当て、選択ボタン３４には、エッジの強調を割り当てることができる。選択ボタン３２、３３、３４には、効果を付加した場合のサムネイル画像又は映像を表示することができる。なお、選択ボタン３２、３３、３４を用いて、効果を変更する場合の変更先の効果を指定することもできる。例えば、選択ボタン３２を用いて反転を第１の効果に指定し、選択ボタン３３を用いて階調変更を第２の効果に指定して、変更の実施タイミングで、付与対象の効果が反転から階調変更に変更されるようにしてもよい。なお、図６の表示領域２１に示した画像は、図５に示した表示領域２１に示した画像を反転させた画像である。他の効果の例として、表示領域２１に表示された映像に重ねて、音声の波形をリアルタイムに表示してもよい。

　＜処理例＞
　図７は、コントローラ５０における処理の例を示す図である。Ｓ００１では、変更情報の設定が行われる。ユーザは、入力装置１４及び表示装置１５を用いて、表示装置１５の表示領域２１に表示する映像（第１の映像）を指定する。この処理例では、第１の映像として、音声付きの映像が指定される。その後、ＣＰＵ１０は、ユーザの入力装置１４を用いた呼び出し操作に応じて、表示装置１５に、画面１５Ａ（図５）又は画面１５Ｂ（図６）を表示する。ユーザは、画面１５Ａ又は画面１５Ｂを用いて、表示態様の変更に係る情報（変更情報）の設定入力を行う。

　＜＜映像の切り替えを行う場合＞＞
　例えば、ユーザは、入力装置１４を用いて、表示装置１５の表示領域２１に表示する映像を特定する。続いて、ユーザは、画面１５Ａの選択ボタン２２～２４を用いて、切替先の映像（第２の映像）の指定を入力する。また、ユーザは、調整部２６を用いて、映像の切り替えの実施タイミング（実施間隔）を指定する。切替先の映像や切り替えの実施間隔を示す情報は、変更情報として、格納部５９に格納される。

　その後、ユーザが、例えば、音声付きの映像の再生ボタン（例えば、表示領域２１に表示される）を押すと、再生部５１が音声付き映像の再生処理を開始する（Ｓ００２）。このとき、音声付き映像の再生処理と並列に、切替先の映像の再生処理も開始され、ＶＲＡＭ５４及びＶＲＡＭ５５に対する描画が開始される。

　制御部５３はスイッチ５６がＶＲＡＭ５４の出力を選択するようにスイッチ５６を制御する。これによって、表示装置１５の表示領域２１には、ＶＲＡＭ５４からの映像が表示される。また、音声付き映像の再生処理において、再生部５１は映像に付加されている音声の再生処理を行い、音声がスピーカ１９から出力される。

　Ｓ００３では、音声付き映像の再生終了が指示されたか（例えば、再生終了ボタンが押されたか）が判定される。ここで、再生終了が指示されたと判定される場合には、図７の処理が終了する。これに対し、再生終了が指示されていない場合には、Ｓ００４に処理が進む。

　Ｓ００４では、変更情報の設定変更があるかが判定され、設定変更がある場合には、その変更情報の設定変更が反映（変更情報が上書き）される。ここに、スライドボタン２５や調整部２６は、映像の再生中でも操作することができる。また、映像の再生中に、選択ボタン２２，２３，２４を用いた切り替え先の映像の変更や、選択ボタン３２，３３、３４を用いた効果の種類の変更を行うこともできる。これらの変更の結果は、Ｓ００４で格納部２９に格納された変更情報に反映される（変更情報が更新される）。なお、Ｓ００４の代わりに、第１又は第２のＵＩの操作に伴う変更情報の更新処理が随時の割り込み処理によって行われてもよい。

　音声付き映像の再生に伴い、再生時間の情報が検出部５２に送られる。検出部５２は、再生時間の情報とビート情報とを対比することによって、ビートタイミングの検出を行う（Ｓ００５）。

　ビートタイミングの検出を示す情報は、検出部５２から制御部５３に供給される。制御部５３は、格納部５９に格納されている変更情報（表示態様の変更の種別：映像の切り替え）に基づいて、変更情報に含まれた変更の実施タイミング（実施間隔）を示す情報にて、スイッチ５６を制御し、表示装置１５へＶＲＡＭ５５の出力（切替先の映像の信号）が出力される状態に切り替える。これによって、表示領域２１には、音声付き映像の映像に変わって、所定時間、切替先の映像が表示される（Ｓ００６）。

　Ｓ００７では、映像の再生時間が満了したかの判定が行われる。この判定は、音声付き映像と、切替先の映像との双方について行われる。映像の再生時間が満了していると判定される場合、再生時間が満了した映像に関する繰り返し再生を再生部５１は行う（Ｓ００８）。例えば、音声付き映像（第１の映像）の再生時間が切替先の映像（第２の映像）の再生時間より長く、第２の映像の再生時間が満了した場合に、第１の映像の再生時間が満了していなければ、第２の映像に対する繰り返し再生が実行される。また、第１の映像の再生時間が満了によって、第１の映像の再生を自動的に終了する設定がなければ、再生部５１は、第１の映像の再生時間満了に伴う繰り返し再生を行う（Ｓ００７、Ｓ００８）。但し、上述したように、第１の映像の再生時間が満了したと判定すると、再生部５１が第１の映像の再生を行わず、図７に示す処理が終了するようにしてもよい。

　＜＜効果の付加を行う場合＞＞
　図７に示す処理において、表示態様の変更として、効果の付加が行われる場合、図６に示した画面１５Ｂの選択ボタン３２～３４を用いて、付加対象の効果の指定が行われる。また、パラメータの強度の指定がスライドボタン２５を用いて行われるとともに、効果の付加の実施タイミング（実施間隔）が、調整部２６を用いて行われる。付加対象の効果の指定、パラメータの強度、効果の付加の実施間隔を示す情報は、格納部５９に格納され、制御部５３により参照される。

　再生部５１が、ユーザの再生ボタンの操作に応じて音声付き映像の再生を開始すると、ＶＲＡＭ５４の出力が表示装置１５に接続され、映像が表示領域２１に表示される。制御部５３は、検出部５２で検出されるビートタイミングと、変更情報に含まれる効果の付加の実施間隔を示す情報とに基づくタイミングで、再生部５１に対し、音声付き映像のフレーム画像の描画に関するパラメータの変更を行う。例えば、効果の種別が反転であれば、制御部５３は、再生部５１が描画する画像の画素値を、付加前の画素値から反転した値に変更する。これによって、表示領域２１には、画素値が反転した場合の映像が、所定時間、表示される。効果の種別が階調変更であれば、階調数が減少した映像が、所定時間、表示領域２１に表示される。また、効果の種別がエッジの強調度であれば、スライドボタン２５を用いて設定したエッジの強調度で、エッジが強調された映像が表示領域２１に表示される。或る効果の付加の実施タイミングの次の実施タイミングで、効果の種類を変更したり、付加されている効果を解除したりしてもよい。なお、上記処理例では、第１の映像が音声付き映像である例について説明したが、第１の映像が映像のみのデータに基づく映像であり、音声データが映像から独立した（別個）のデータであってもよい。この場合、再生部５１は、第１の映像の再生に合わせて（同期させて）音声の再生を行う。

　なお、上記した実施形態では、コントローラ５０が、ＣＰＵ１０及び記憶装置５７を用いて構成される例を示した。ＣＰＵ１０は、プロセッサの一例であり、プロセッサが行う処理は、複数のＣＰＵ（プロセッサ）によって行うのでも、マルチコア構成のＣＰＵによって行うのでもよい。また、プロセッサが行う処理は、ＣＰＵ以外のプロセッサ（ＤＳＰ（Digital Signal Processor）やＧＰＵ（Graphical Processing Unit）など）、プロセッサ以外の集積回路（ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）など）、或いはプロセッサと集積回路との組み合わせ（ＭＰＵ（Micro Processing Unit）、ＳｏＣ（System-on-a-Chip）など）によって実行されてもよい。

　＜第１実施形態の作用効果＞
　実施形態では、音声のビートタイミングと、表示装置１５に表示される映像の表示態様の変更に係る変更情報とに基づいて、表示装置１５の表示領域２１に表示されている映像の表示態様が自動的に変更される（映像の切り替えや、効果の付加等が行われる）。これによって、従来のように、音声のビートに合わせて映像の表示態様が変更される様子を表示領域２１に表示させるための作業負荷の低減が図られる。

〔第２実施形態〕
　第１実施形態では、音声に対するビートタイミングを予め決定しておき、ビート情報として格納部５８に格納し、検出部５２がビートタイミングの検出に使用していた。第２実施形態では、検出部５２が、音声の信号から、ビートタイミングをリアルタイムに検出することが可能なビートタイミング検出方法に関して説明する。

　（第１の方法）
　第１のビートタイミング検出方法（第１の方法）は、入力された楽曲のデータから、前記楽曲のビートを司るタイミング情報と、そのタイミングにおけるパワーを示す複数の強度データを生成し、前記複数の強度データを用いて、前記楽曲のビートの周期及び位相を算出し、前記ビートの周期及び位相に基づいて、ビート音の発生タイミングを検出することを含む。第１の方法では、入力された楽曲のデータから、前記楽曲のビートを司るタイミング情報と、そのタイミングにおけるパワーを示す複数の強度データを生成する生成部と、前記複数の強度データを用いて、前記楽曲のビートの周期及び位相を算出する算出部と、前記ビートの周期及び位相に基づいて、ビート音の発生タイミングを検出する検出部とを含むビートタイミング検出装置を用いる。

　ビートタイミング検出装置は、前記ビート音の発生タイミングに従って前記ビート音の再生処理を行う再生処理部をさらに含んでもよい。

　ビートタイミング検出装置において、前記算出部が、前記複数の強度データが示す前記タイミングに基づいて前記複数の強度データについてのＢＰＭ（Beats Per Minute）を定め、前記ＢＰＭの一周期を前記ビートの周期として算出するともに、前記ＢＰＭを示す正弦波における前記ビート音の発生タイミングの相対位置を前記ビートの位相として算出し、前記検出部は、前記ビートの周期及び前記ビートの位相を示すカウント値を求め、サンプリングレートの１サンプル毎にインクリメントを行うカウンタを用いて前記カウント値の計時を行い、前記カウンタの値が前記カウント値に達したタイミングを前記ビート音の発生タイミングとして検出する構成を採用してもよい。

　ビートタイミング検出装置において、前記算出部が、前記複数の強度データの夫々と複数個のＢＰＭの夫々について行うフーリエ変換によって得られたフーリエ変換データの値が最大となるときのＢＰＭの一周期を前記ビートの周期として算出する構成を採用してもよい。

　ビートタイミング検出装置において、前記複数の強度データの夫々と前記複数個のＢＰＭのうちの第１のＢＰＭについて前記フーリエ変換データを得る場合に、前記算出部が、前記第１のＢＰＭの振動数の整数倍の振動数を有する少なくとも１つの第２のＢＰＭについての前記フーリエ変換データを取得し、前記第１のＢＰＭを用いて算出した前記フーリエ変換データの値と、前記第２のＢＰＭを用いて算出した前記フーリエ変換データの値とを、所定の比率で足し合わせた値を、前記第１のＢＰＭについての前記フーリエ変換データの値として用いる構成を採用してもよい。

　ビートタイミング検出装置において、前記生成部が、前記入力された楽曲のデータから所定数の連続する音のサンプルからなるフレームを取得し、前記フレーム中のサンプルを間引きし、間引きしたサンプルについて高速フーリエ変換を行い、高速フーリエ変換によって得られた周波数バンド幅毎のパワーの総和を示すデータを求める処理を所定間隔で行う一方で、自身より大きい値を示す前記パワーの総和を示すデータが出現しない状態が所定時間継続した場合の前記パワーの総和を示すデータを前記強度データとして抽出する構成を採用してもよい。

　＜ビートタイミング検出装置の構成＞
　図１に示した情報処理装置１は、ビートタイミング検出装置に適用可能である。ＣＰＵ１０は、記憶装置５７に記憶されたプログラムを実行することによって、音声のビートタイミングを検出（ビート音発生タイミングを生成）する処理を行う。

　図８は、ビートタイミング検出部の構成例を示す図である。プログラムの実行によって、ＣＰＵ１０は、図８に示すビートタイミング検出部１００として動作する。ビートタイミング検出部１００は、第１実施形態における検出部５２に含める。もしくは、検出部５２と置換することが可能である。

　ビートタイミング検出部１００は、時間スパースデータ（「Ｓｐｘデータ」と表記：強度データに相当）の生成部１０１、バッファ１０２、周期データ及び位相データの算出部１０３、ビートタイミングの検出部１０４とを含む。ビートタイミングは、制御部５３（図１）に通知される。制御部５３は、ビートタイミングを、表示態様の変更（映像の制御）に用いる。制御部５３の動作及び処理は第１実施形態において説明したため、再度の説明は省略する。また、ビートタイミングは、ビート音発生タイミング（出力指示）として、ビート音の再生処理部１０５に入力される。再生処理部１０５は、発生タイミングに合わせたビート音の再生処理を行う。再生処理部１０５としての動作は、例えばＣＰＵ１０によって行われる。バッファ１０２は、例えば、ＲＡＭ１２やＨＤＤ１３の所定の記憶領域に設けられる。

　Ｓｐｘデータの生成部１０１は、楽曲の音を表すディジタルデータを用いて、Ｓｐｘデータを生成して出力する。バッファ１０２は、少なくとも所定時間分のＳｐｘデータ（複数の強度データに相当）を蓄積する。本実施形態では、所定時間として６秒を例示するが、所定時間は６秒より長くても短くてもよい。算出部１０３は、バッファ１０２に蓄積された所定時間分のＳｐｘデータの集合を用いて、ビートの周期データ及び位相データを算出する。発生タイミングの検出部１０４は、周期データ及び位相データを用いてビートタイミングを検出する。

　＜Ｓｐｘデータの生成＞
　生成部１０１によるＳｐｘデータの生成について説明する。生成部１０１には、再生に係る楽曲データ（音声出力のためにＤ／Ａ１７に送られたデータ）の音を表すディジタル信号が入力される。音を表すディジタル信号（楽曲信号）は、ＨＤＤ１３に記憶された楽曲データの再生処理によるものでも、ＭＩＣ２１で収音された音声信号のＡ／Ｄ変換によって得られたものでもよい。

　音を表すディジタルデータは、ＲＡＭ１２に記憶され、生成部１０１の処理に使用される。音を表すディジタルデータは、アナログ信号から所定のサンプリングレートに従って採取されたサンプル（標本）データ（通常、アナログ信号の電圧値）の集合である。本実施形態では、一例として、サンプリングレートは４４１００Ｈｚであるとする。但し、サンプリングレートは、所望のＦＦＴ解像度が得られる限りにおいて適宜変更可能である。

　図９は、生成部１０１の処理例を示すフローチャートである。生成部１０１には、楽音出力（再生）のためにＤ／Ａ１７へ送られた、楽曲の音を表すディジタルデータ（ディジタル信号）が入力される。生成部１０１は、入力されたディジタルデータから、所定個数のサンプル（「フレーム」と呼ぶ）を取得する（Ｓ０１）。所定個数は、本実施形態では１０２４であるがこれより多くても少なくてもよい。サンプルの取得は、所定間隔で行われる。所定間隔は、例えば５ｍｓであるが、これより多くても少なくてもよい。

　Ｓ０２では、生成部１０１は、間引き処理を行う。すなわち、生成部１０１は、１０２４個のサンプルに対する１／４間引きを行って、２５６個のサンプルを得る。間引きは１／４間引き以外でもよい。Ｓ０３では、生成部１０１は、２５６個のサンプルに対して高速フーリエ変換（ＦＦＴ）を施し、ＦＦＴの結果（周波数バンド幅毎のパワー）から、フレーム単位でのパワーの大きさを示すデータ（パワーデータという）を得る（Ｓ０４）。なお、パワーは振幅の２乗で表されることから、「パワー」との概念には振幅も含まれる。

　パワーデータは、例えば、２５６個のサンプルに対するＦＦＴの実施によって得られるパワーの総和である。但し、今回のフレームの各周波数バンド幅のパワーから前回のフレームにおける、対応するバンド幅のパワーを差し引き、その値が正である（パワーが増加している）場合にはそのパワーの値を総和計算のために残し、そうでない（差し引いた値が負である（パワーが減少している））値は無視してもよい。パワーの増加分が大きいところがビートである可能性が高いからである。

　また、他のフレームとの比較対象が同じである限りにおいて、総和の算出に用いる値は、今回のフレームのパワーの総和であっても、今回のフレームのパワーから前回のフレームのパワーを引いた値が正の値のパワーの総和であっても、今回のフレームのパワーから前回のフレームのパワーを差し引いた差分であってもよい。また、ＦＦＴの実施によって得られるパワースペクトルにおいて、所定の周波数より低い周波数についてのみ、上記した差分の算出が行われてもよい。所定の周波数以上の周波数については、ローパスフィルタを用いてカットしてもよい。

　パワーデータは、フレーム単位で、ＲＡＭ１２やＨＤＤ１３に記憶される。生成部１０１は、フレーム単位のパワーデータが作成される毎に、パワーの総和（ピーク値）の大きさを比較して大きい方を残し、小さい方は破棄する（Ｓ０５）。生成部１０１は、Ｓ０５で残した総和より大きい総和が所定時間出現していないか否かを判定する（Ｓ０６）。所定時間は例えば１００ｍｓであるが、１００ｍｓより大きくても小さくてもよい。より大きい総和を示すデータが出現していない状態が所定時間続いた場合に、生成部１０１は、そのパワーの総和を示すデータをＳｐｘデータとして抽出し、バッファ１０２に記憶（保存）する（Ｓ０７）。このように、Ｓｐｘデータは、楽音を示すディジタルデータのピーク値を１００ｍｓ間隔で抽出したデータであり、楽曲のビートを司るタイミングを示す情報（タイミング情報）と、そのタイミングにおけるパワーとを示すデータである。Ｓｐｘデータは、バッファ１０２に複数個蓄積される。生成部１０１は、Ｓ０１からＳ０６までの処理を繰り返し行う。

　図１０Ａは、生成部１０１に入力される１２秒分の楽曲のディジタル信号であり、図１０Ｂは、図１０Ａに示した楽曲のディジタル信号から生成されたＳｐｘデータの例を示す。図１０Ｂに示すグラフの横軸は時間で、縦軸はパワーである。このグラフにおいて、上端に黒丸のついた縦線が、図１０Ａに示した楽曲のディジタル信号から得られた個々のＳｐｘデータを示し、横軸（時間軸）の位置がタイミングを示し、縦線の長さがパワーを示す。Ｓｐｘデータは、１００ｍｓ間隔で生成される場合、１秒間に１０個程度生成される。

＜周期データ及び位相データの算出＞
　図１１は、算出部１０３の処理例を示すフローチャートである。Ｓ１０において、生成部１０１にて生成された新たなＳｐｘデータがバッファ１０２に到来し、蓄積される。Ｓ１１において、バッファ１０２に蓄積されたＳｐｘデータのうち所定時間分のＳｐｘデータ（複数の強度データに相当）がバッファ１０２から取得される。所定時間は、例えば６秒間であるが、ビートの周期及び位相を得られる限りにおいて６秒より長くても短くてもよい。以降のＳ１２～Ｓ１６の処理は、Ｓ１１で取得した６秒分のＳｐｘデータを用いて行われる処理である。Ｓ１２では、６秒分のＳｐｘデータについて、所定個数（例えば２０個）のＢＰＭ（Beats Per Minute：テンポ（リズムの速さ）を示す）に対応したフーリエ変換を施し、ビートの周期（ＢＰＭの一周期）とビートの位相（ビート音の発生タイミング）とを算出する。

　具体的に説明すると、６秒分のＳｐｘデータについて所定個数、例えばＢＰＭ８６～１６８に対応する２０個、のＢＰＭに対応する周波数（ＢＰＭ周波数）f = {86,90,94,…,168}/60 について、Ｅｘｐ（２πｊｆｔ）（ＢＰＭ周波数で振動する正弦波、振動数に関係無く振幅は同じ）に対する積和をとる。すなわちフーリエ変換を行う。フーリエ変換の結果をフーリエ変換データc(i) (i=0,1, 2, 3,…,19)とする。

　図１２は、Ｓｐｘデータとフーリエ変換に用いるＢＰＭ周波数を有する正弦波の例を示す図である。図１２の例では、ＢＰＭ７２の正弦波（実線で示す）と、ＢＰＭ８８の正弦波（破線で示す）と、ＢＰＭ１０４の正弦波（一点鎖線で示す）とが例示されている。フーリエ変換データc(i)の値は以下の式１により求められる。なお、ＢＰＭの値及びその個数は適宜変更することができる。

　ここに、式１におけるt(k)は、Ｓｐｘデータの存在する過去６秒のうちの時間位置であり、単位は秒である。ｋはそのＳｐｘデータのインデックスであり、k=1,...,Mである（ＭはＳｐｘデータの個数）。また、x(t(k))は、その瞬間のＳｐｘデータの値（ピーク値の大きさ）を示す。ｊは虚数単位（ｊ^２＝－１）である。ｆ(i)はＢＰＭ周波数であり、例えばＢＰＭ１２０は２．０Ｈｚである。

　算出部１０３は、c(i)＝(c0, 1, c2, c3, ... ,c19)のうち、その絶対値が最大値に対応するＢＰＭをＳｐｘデータ（ビート）のＢＰＭに決定する（Ｓ１３）。また、その位相値（Phase)φ= Arg(c(i))[rad] を、６秒間分のＳｐｘデータについてのビートタイミングとする。ビートタイミングは、周期的に到来するビートの発生タイミングに対する相対的な位置を示す。

　位相値φは複素数の偏角であり、ｃ＝ｃ_ｒｅ＋ｊｃ_ｉｍ（ｃ_ｒｅは実部でｃ_ｉｍは虚部）とした場合に、以下の式２により得られる。

　位相値φの算出によって、ＢＰＭの正弦波に対するビートの発生タイミングの相対位置、すなわち、ＢＰＭの一周期に対してビート発生タイミングがどのくらい遅れているかがわかる。

　図１３は、ＢＰＭを示す余弦波（EXP(2πjｆt)の実部）と、ビートの発生タイミングとの関係を図示する。図１３に示す例では、Ｓｐｘデータの個数が４であり、そのＢＰＭが７２である。図１３に示すＳｐｘデータの夫々は、式２を用いて求められるｃ(i)の値（位相）であり、ビートの発生タイミングを示す。Ｓｐｘデータ間がビート発生タイミングの間隔をなす。図１３に示す例では、位相値φの計算によって得られる、ＢＰＭ周波数を有する余弦波からπ／２遅れたタイミングがビートの発生タイミングとなる。算出部１０３は、ＢＰＭの一周期のサンプル数を周期データとする（Ｓ１５）。

　例えば、ＢＰＭが１０４であり、サンプリングレートが４４１００Ｈｚの場合では、周期データ（サンプル数）は、４４１００[個]／（１０４／６０）＝２５４４２[個]となる。また、周期データが２５４４２[個]の場合において、位相値φが０．３４[rad]であった場合、位相データ（サンプル数）は、２５４４２[個]×０．３４[rad]／２π[rad]＝１３７７[個]となる。そして、算出部１０３は、周期データ及び位相データを出力する（Ｓ１６）。なお、算出部１０３は、６秒分のＳｐｘデータが蓄積されるごとに、Ｓ１１～Ｓ１６の処理を繰り返し行う。これにより、楽曲のリズムの変更に追従することができる。

　＜ビートタイミングの検出＞
　図１４は、検出部１０４によるビートタイミングの検出処理の例を示すフローチャートである。Ｓ２１において、検出部１０４は、新しい周期データ及び位相データが算出部１０３から提供されたかを判定する。新しい周期データ及び位相データが提供された場合には、処理がＳ２２に進み、そうでない場合には、処理がＳ２３に進む。

　Ｓ２２では、検出部１０４は、新しい周期データ及び位相データをビート発生タイミングの検出に採用し、古い周期データ及び位相データは破棄する。このとき、Ｓｐｘデータの作成時に、Ｓｐｘデータをなすフレームのサンプルは、１００ｍｓ遅延が与えられた状態となっているため、ここで、演奏又は再生中の楽曲とリズムと、後述するハンドクラップ音とが一致するように時間調整（位相調整）が行われる。その後、処理がＳ２３に進む。

　Ｓ２３では、周期データのサンプル数及び位相データのサンプル数を用いたカウンタの設定を行う。例えば、検出部１０４は、サンプリングレートの１サンプル（サンプリングレートに従ったアナログ信号の電圧チェックの間隔）毎にカウントアップ（インクリメント）を行うカウンタを有し、当該カウンタのカウント値を１サンプル毎にインクリメントする。これによってカウント値が零から所定値（位相データのサンプル数（カウント値）及び周期データのサンプル数（カウント値）の和を示す値）以上になるのを待つ（Ｓ２４）。

　カウンタのカウント値が所定値以上になると、検出部１０４は、予測に基づく、ビート音の発生タイミング（ビートタイミング）を検出する（Ｓ２５）。検出部１０４は、制御部５３にビートタイミングの発生を通知するとともに、ビート音の出力指示を出力する（Ｓ２５）。制御部５３は、ビートタイミングに基づき、第１実施形態で説明した動作（表示態様の変更）を行う。再生処理部１０５は、出力指示に応じて、ＲＯＭ１１又はＨＤＤ１３に予め記憶していたビート音（例えば、ハンドクラップ音）のディジタルデータをＤ／Ａ１７へ送る。ディジタルデータはＤ／Ａ１７でアナログ信号に変換され、ＡＭＰ１８で振幅増幅された後、スピーカ１９から出力される。これによって、再生又は演奏中の楽曲に重ねてハンドクラップ音が出力される。

　第１の方法によれば、再生又は演奏済みの（過去の）楽曲が生成部１０１に入力され、生成部１０１がＳｐｘデータを生成する。このようなＳｐｘデータがバッファ１０２に蓄積され、算出部１０３が所定時間（６秒）分の複数のＳｐｘデータから、ビートの周期及び位相を算出し、再生または演奏中の楽曲（音声）に合わせたビートタイミングを検出部１０４が検出して出力する。これによって、制御部５３がビートタイミングに基づく表示態様の変更を行うことができる。また、再生処理部１０５が再生又は演奏中の楽曲のリズムに合致したハンドクラップ音を出力させることができる。このハンドクラップ音の自動的な出力は、上述したＳｐｘデータの生成や、フーリエ変換データに基づくビートの周期及び位相の算出、並びにカウンタ値のカウントのような、計算量の少ない簡易なアルゴリズムにより行うことができる。これにより、処理の実行主体（ＣＰＵ１０）に対する負荷増大や、メモリリソースの増大を回避することができる。また、処理量が少ないが故に、再生音や演奏音に対する遅延のない（遅延があっても人がそれを認識できない）クラップ音出力が可能となる。

　なお、ビートタイミング検出部１００が行う処理は、複数のＣＰＵ（プロセッサ）によって行うのでも、マルチコア構成のＣＰＵによって行うのでもよい。また、ビートタイミング検出部１００が行う処理は、ＣＰＵ１０以外のプロセッサ（ＤＳＰやＧＰＵなど）、プロセッサ以外の集積回路（ＡＳＩＣやＦＰＧＡなど）、或いはプロセッサと集積回路との組み合わせ（ＭＰＵ、ＳｏＣなど）によって実行されてもよい。

　＜第１の方法の変形例＞
　上述した実施形態では、周期データの算出に用いるＢＰＭとして、ＢＰＭ８６～１６８を用いた例を示した。これに対し、ＢＭＰ８６～１６８（夫々が第１のＢＰＭに相当する）だけでなく、その２倍のＢＰＭ１７２～３３６や４倍のＢＰＭ３４４～６７２（第１のＢＰＭの振動数の整数倍の振動数を有する少なくとも１つの第２のＢＰＭに相当）についても、ｃ(i)の絶対値（スペクトル強度）を得る。図１５は、１倍（基本ビート）と２倍ビートのスペクトル強度を例示する図である。そして、１倍、２倍、４倍のそれぞれに係るスペクトル強度を、所定の比で加算した値を、ＢＰＭの決定に用いる。例えば、ＢＰＭ９１（第１のＢＰＭの一例）のスペクトル強度と、ＢＰＭ１８２及びＢＰＭ３６４（少なくとも１つの第２のＢＰＭの一例）のスペクトル強度を０．３４：０．３３：０．３３の比で足し合わせ、その数値をＢＰＭ９１についてのｃ（i）の絶対値として用いる。

　楽曲によっては、４分音符に象徴される基本ビートよりも、細分された８分音符、１６分音符に対応するＢＰＭに対するパワーが大きいものがあるので、２倍や４倍のパワーを、基本ビートの強度に反映させることで、よりよいＢＰＭを選出可能となる。上記した例では、整数倍の例として２倍や４倍を例示したが、３倍や５倍以上の整数倍でも、同様の効果を得ることができる。実施形態にて示した構成は、目的を逸脱しない範囲で適宜組み合わせることができる。

　（第２の方法）
　以下、第２のビートタイミング検出方法（第２の方法）について説明する。第２のビートタイミング検出方法（第２の方法）では、ビートタイミング検出部１００が、入力された音声のデータから、音声のビートを司るタイミング情報と、そのタイミングにおけるパワーを示す強度データを生成する処理と、強度データを用いて、音声のビートの周期及び位相を算出する処理と、ビートの周期及び位相に基づいて、ビートタイミングを検出する処理とを行う。第２の方法は、第１の方法の改良に当たる。第２の方法は、Ｓｐｘデータの生成に関して第１の方法と同じであるが、周期データ及び位相データの算出に関して、以下のように異なる。

　図１６は、第２のビートタイミング検出方法における、周期データ及び位相データの算出処理の例を示すフローチャートである。Ｓ５０では、生成部１０１にて生成された新たなＳｐｘデータがバッファ１０２に到来する。

　Ｓ５１では、算出部１０３は、所定個数のＢＰＭに対応したフーリエ変換データを得る。第１の方法では、周期データ及び位相データの算出に関して、６秒分のＳｐｘデータについて、所定個数（例えば２０～４０個）のＢＰＭ（Beats Per Minute：テンポ（リズムの速さ）を示す）に対応したフーリエ変換を施していた（図１１、Ｓ１２）。

　これに対し、第２の方法（Ｓ５１）では、第１の方法で用いたフーリエ変換の代わりに、減衰項Ｕ^kをもつフーリエ変換を用いる。フーリエ変換の式（式３）を以下に示す。

　式３において、Ｕは１サンプルあたりの減衰量を示し、１に近い数である。Ｕは過去データを忘却していく割合を示す。区間は過去の無限大までである。図１７は、式３の回路図である。現在の遅延ブロック（Ｚ^-１）６１により遅延が与えられた過去の信号ｆ_ｎ-１（ｍ）に対し、乗算器６２で減衰項Ｕｅ^-ｊωmが乗じられ、加算器６３で現在の信号ｆ（ｎ）と加算される。このようにして、１サンプル当たりのフーリエ変換値が得られる。

　式３のフーリエ変換値は、以下の式４及び式５で表すことができる。

　Ｓｐｘデータの値が到来することなくＬ（Ｌは正の整数）サンプルが経過する区間（空区間）については、式３（図１７に示した回路）を用いず、以下の式６及び式７を用いて、Ｌサンプル分のフーリエ変換値を得ることができる。式６におけるｑ_ｍ ^Ｌの値は、式７を用いて簡便に求めることができる。なお、ｆ（ｎ）は、Ｓｐｘデータの値、ＬはＳｐｘデータの到来間隔であり、Ｕは減衰係数、ω_m はＢＰＭに対応する一サンプル当たりの角周波数である。

　図１８は、Ｓｐｘデータと、式３のフーリエ変換に用いるＢＰＭ周波数を有する減衰正弦波の例を示す。図１８の例において、周期が最も長い波がＢＰＭ７２の波であり、次の波がＢＰＭ８８の波であり、周期が最も短い波がＢＰＭ１０４の波である。第２の方法においても、所定個数の複数個のＢＰＭ（例えば２０個）が用意され、各ＢＰＭについて上記した式３を用いたフーリエ変換値が求められる。ＢＰＭの数は、２０より多くても少なくてもよい。

　第２の方法では、第１の方法と異なり、所定期間（６秒）のＳｐｘデータを蓄積することを要しない。このため、Ｓｐｘデータを蓄積するためのメモリ（記憶装置５７）の記憶領域を有効に活用することができる。また、第１の方法では、複数個のＢＰＭ×Ｓｐｘデータ数の積和計算を行っていたのに対し、第２の方法では、各ＢＰＭについて式３の演算を行うため、大幅に演算量を減らすことができる。

　Ｓ５２では、算出部１０３は、所定個数（例えば２０個）のＢＰＭに対応した所定個数（例えば５個）のウェーブレット変換値を得る。図１９は、ウェーブレット変換値ｗ_ｎを算出する回路を模式的に示す。回路は、図１６に示したフーリエ変換値の算出用の回路に、乗算器６４が追加された構成となっている。乗算器６４は、ＢＰＭ値に相当するサンプル数を周期とする周期的ハン窓列をＳｐｘデータに乗じる。乗算器６４の出力に対し、上述した式３のフーリエ変換が行われ、ウェーブレット変換値ｗ_ｎとして出力される。ハン窓は窓関数の一例であり、ハン窓以外に、三角窓やハミング窓などを適用可能である。

　ウェーブレット変換値ｗ_ｎは、各ＢＰＭについて、各ＢＰＭの１／５周期だけずれたタイミングについて求められる。すなわち、ＢＰＭの１／５周期ずつずれた周期的ハン窓列が用意され、各周期的ハン窓列に対応するウェーブレット変換値{ｗ_ｎ}０≦ｎ＜５が求められる。

　図２０Ａ、図２０Ｂ及び図２０Ｃは、Ｓｐｘデータと周期的ハン窓列との関係を示す。図２０Ａは、或るＢＰＭに係る、タイミング０の周期的ハン窓列を示す減衰正弦波を太線で示し、タイミング０以外の周期的ハン窓列を示す減衰正弦波を細線で示す。図２０Ｂは、或るＢＰＭに係る、タイミング１（タイミング０より１／５周期分進んでいる）の周期的ハン窓列を示す減衰正弦波を太線で示し、タイミング１以外の周期的ハン窓列を示す減衰正弦波を細線で示す。図２０Ｃは、或るＢＰＭに係る、タイミング２（タイミング１より１／５周期進んでいる）の周期的ハン窓列を示す減衰正弦波を太線で示し、タイミング１以外の周期的ハン窓列を示す減衰正弦波を細線で示す。

　Ｓ５３では、算出部１０３は、Ｓ１３と同様に、複数のＢＰＭに対応するフーリエ変換値のうち、その絶対値が最大となるフーリエ変換値に対応するＢＰＭを、Ｓｐｘデータ（ビート）のＢＰＭに決定する。また、算出部１０３は、決定したＢＰＭのビートの一周期のサンプル数をビートの周期データに決定する（Ｓ５４）。

　Ｓ５５では、算出部１０３は、ＢＰＭに対応する所定個数のウェーブレット変換値から位相値を算出し、周期データに対するサンプル値に変換する。すなわち、算出部１０３は、ウェーブレット変換値ｗ_ｎの絶対値が最大となるときのｎを求め（図２１のＳ５５１）、ｎに対応する位相値Ａｒｇ（ｗ_ｎ）を求める（図２１のＳ５５２）。算出部１０３は、位相値を周期データに対するサンプル値（位相データ）に変換し（Ｓ５５）、周期データ及び位相データを出力する（Ｓ５６）。

　図２２は、ウェーブレット変換値の説明図である。ウェーブレット変換値は、時間偏在するともに、複素数の位相情報を持つ。すなわち、ウェーブレット変換値は、ハン窓のカーブと、ハン窓と実部（余弦）との積に係るカーブと、ハン窓と虚部（正弦）との積に係るカーブとを有する。本実施形態では、１つのＳｐｘデータ（ビート）に関してタイミングが１／５周期（ｎ＝５）ずれた複数のウェーブレット変換値を用いることで、ビートの位相をより精度よく検出することができる。なお、ビートタイミングの検出処理については、第１の方法（図１４）と同じであるので、説明を省略する。

　第２の方法によれば、第１の方法に比べて、処理に要する記憶容量と演算量とを減らすことができ、また、位相（ビートタイミング）の検出精度が上がる。

　＜ビート強度の算出＞
　以下、第１及び第２実施形態に適用可能なビート強度の算出方法について説明する。ビート強度の算出は、例えば、第１実施形態におけるコントローラ５０や、第２実施形態におけるビートタイミング検出部１００（例えば、算出部１０３）によって行うことができる。

　例えば、過去５回のビート間隔（サンプル数）の平均をｍとする。このｍに対して、新しいビート間隔Ｉから周期の変動率Qrateを、以下の式８を用いて計算することができる。変動率Qrateの値が小さいほど、ビートが安定しているといえる。

　以下の式９に示すように、変動率Qrateが２％以下であれば、ビート強度“強”とみなし、５％以上の変動は、ビート強度“弱”と見なすことができる。以下の式９に示すｉｂｔの値が大きい程、安定したビートを示す。例えば、以下の式１０を用いて、ｉｂｔを平滑化し、突発的なビート周期の変動を抑えることが考えられる。

[現在のＩＢＳ]＝[直前のＩＢＳ]＋０．１＊(ｉｂｔ－[直前のＩＢＳ])・・・（１０）

　図２３は、或る楽曲についてのＩＢＳを示すグラフである。演奏の開始から約１２秒までは、テンポのはっきりしない曲である。この場合、ＩＢＳは小さな値で始まり、テンポが明確になった時点で、１．０付近に上昇する。検出されたビートタイミングやビート間隔どの程度音楽的に信用ができるかを表すことができる。例えば、第１実施形態において、ＩＢＳが所定値（例えば０．６）未満の区間を、ビートの不検出区間と判断することができる。以上説明した構成は例示であり、適宜組み合わせることができる。

１・・・情報処理装置
２・・・ネットワーク
１０・・・ＣＰＵ
１１・・・ＲＯＭ
１２・・・ＲＡＭ
１３・・・ＨＤＤ
１４・・・入力装置
１５・・・表示装置
１６・・・通信インタフェース
１７・・・ディジタルアナログ変換器
１８・・・アンプ
１９・・・スピーカ
２０・・・アナログディジタル変換器
２１・・・マイクロフォン
５０・・・映像制御装置（コントローラ）
５１・・・再生部
５２・・・検出部
５３・・・制御部
５４，５５・・・ビデオＲＡＭ（ＶＲＡＭ）
５７・・・記憶装置
５８・・・ビート情報の格納部
５９・・・変更情報の格納部
１００・・・ビートタイミング検出部
１０１・・・生成部
１０２・・・バッファ
１０３・・・算出部
１０４・・・検出部
１０５・・・再生処理部

Claims

　音声のビートタイミングを検出する検出部と、
　前記ビートタイミングと、表示装置に表示されている映像の表示態様の変更内容を示す変更情報とに基づいて、前記表示態様の変更を行う制御部と
を含む映像制御装置。
　前記制御部は、前記表示態様の変更として、
（i）前記映像から異なる映像への切り替え、
（ii）前記映像に対する効果の付加、
（iii）前記映像に付加する効果の変更、及び
（iv）前記映像に付加した効果の解除
のうちのいずれかを行う
請求項１に記載の映像制御装置。
　前記映像の表示態様の変更として、前記映像から異なる映像への切り替えが行われる場合において、
　前記映像が、前記音声が付加されている第１の映像と、前記第１の映像と異なる第２の映像とを含み、
　前記制御部は、前記第１の映像と前記第２の映像との並列な再生処理を行うとともに、前記第１の映像及び前記第２の映像の一方の再生中に終了した前記第１の映像及び前記第２の映像の他方についての繰り返し再生を行う
請求項１又は２に記載の映像制御装置。
　前記映像の表示態様の変更として、前記映像から異なる映像への切り替えが行われる場合において、
　前記映像が、第１の映像と、前記第１の映像と異なる第２の映像とを含み、
　前記制御部は、前記音声と、前記第１の映像と、前記第２の映像との並列な再生処理を行うとともに、前記音声の再生中に終了した前記第１の映像又は前記第２の映像についての繰り返し再生を行う
請求項１又は２に記載の映像制御装置。
　前記制御部は、前記表示態様の変更として、前記映像に対する効果の付加を行う場合に、前記効果に係る前記映像のパラメータを変更する
請求項１から４のいずれか一項に記載の映像制御装置。
　前記制御部は、時間的に変化する所定の信号の波形に従って、前記パラメータの大きさを変更する
請求項５に記載の映像制御装置。
　前記所定の信号は、前記音声の信号、又は前記音声の信号に、前記音声の信号と異なる信号を混合した信号である
請求項６に記載の映像制御装置。
　前記制御部は、前記表示態様の変更を、連続する複数回の前記ビートタイミングの検出を契機に行う
請求項１から７のいずれか一項に記載の映像制御装置。
　前記制御部は、前記表示態様の変更を、前記ビートタイミングの間隔内において複数回行う
請求項１から７のいずれか一項に記載の映像制御装置。
　前記制御部は、前記ビートタイミングが検出されない非検出区間に関して、最後に検出された前記ビートタイミングの間隔で、前記表示態様の変更を行う
請求項１から７のいずれか一項に記載の映像制御装置。
　前記制御部は、前記ビートタイミングが検出されない非検出区間に関して、前記非検出区間の前後における前記ビートタイミングの間隔に基づいて前記表示態様の変更を行うタイミングを決定する
請求項１から７のいずれか一項に記載の映像制御装置。
　前記制御部は、前記音声である楽曲に関して、前記楽曲の開始から最初のビートタイミングまでの区間に対し、前記最初のビートタイミングから、前記最初のビートタイミングと次のビートタイミングとの間隔分、過去に遡る毎に、前記表示態様の変更を行う
請求項１から７のいずれか一項に記載の映像制御装置。
　音声のビートタイミングを検出する検出部と、
　前記ビートタイミングに基づいて、表示装置に表示される映像の制御を行う制御部と
を含む映像制御装置。
　前記制御部は、前記映像の制御として、前記表示装置に表示されている映像を異なる映像に切り替える
請求項１３に記載の映像制御装置。
　前記映像が、前記音声付きの第１の映像と、前記第１の映像と異なる第２の映像とを含み、
　前記制御部は、前記第１の映像と前記第２の映像との並列な再生処理を行うとともに、前記第１の映像及び前記第２の映像の一方の再生中に終了した前記第１の映像及び前記第２の映像の他方についての繰り返し再生を行う
請求項１３又は１４に記載の映像制御装置。
　前記映像が、第１の映像と、前記第１の映像と異なる第２の映像とを含み、
　前記制御部は、前記音声と、前記第１の映像と、前記第２の映像との並列な再生処理を行うとともに、前記音声の再生中に終了した前記第１の映像又は前記第２の映像についての繰り返し再生を行う
請求項１３又は１４に記載の映像制御装置。
　前記制御部は、前記映像の制御として、前記表示装置に表示されている前記映像に対する効果の付加、変更、前記付加の解除の少なくとも一つを行う
請求項１６に記載の映像制御装置。
　前記制御部は、前記映像の制御として、前記効果に係る前記映像のパラメータを変更する
請求項１７に記載の映像制御装置。
　前記制御部は、時間的に変化する所定の信号の波形に従って、前記パラメータの大きさを変更する
請求項１７に記載の映像制御装置。
　音声のビートタイミングを検出し、
　前記ビートタイミングに基づいて、表示装置に表示されている映像の制御を行う
ことを含む映像制御方法。
　前記制御部は、前記映像の制御として、前記表示装置に表示されている映像を異なる映像に切り替える
請求項２０に記載の映像制御方法。
　前記制御部は、前記映像の制御として、前記表示装置に表示されている前記映像に対する効果の付加、変更、前記付加の解除の少なくとも一つを行う
請求項２０に記載の映像制御方法。
　再生中の音声付き映像から、前記音声のビートタイミングを検出する検出部と、
　前記ビートタイミングに基づいて、表示装置に表示される前記音声付き映像の制御を行う制御部と
を含む映像制御装置。
　前記検出部は、入力された音声のデータから、前記音声のビートを司るタイミング情報と、そのタイミングにおけるパワーを示す強度データを生成する処理と、前記強度データを用いて、前記音声のビートの周期及び位相を算出する処理と、前記ビートの周期及び位相に基づいて、ビートタイミングを検出する処理とを行う
請求項１から１９、２３のいずれか一項に記載の映像制御装置。
　前記検出部は、複数個のＢＰＭ（Beats Per Minute）に関して、減衰項を有するフーリエ変換を、前記強度データに対して行い、前記フーリエ変換の値の絶対値が最大となるときのＢＰＭを、前記音声のビートの周期として算出する
請求項２４に記載の映像制御装置。
　前記検出部は、前記音声のビートの周期に対応するＢＰＭの１／ｎ周期ずつずれた窓関数のそれぞれを前記強度データに乗じて得られた複数の値に対し、前記フーリエ変換を行うことで、複数のウェーブレット変換値を求め、前記複数のウェーブレット変換値の絶対値が最大になるときの位相を、前記音声のビートの位相として算出する
請求項２４又は２５に記載の映像制御装置。
　前記検出部は、前記ビートの周期及び前記ビートの位相を示すカウント値を求め、サンプリングレートの１サンプル毎にインクリメントを行うカウンタを用いて前記カウント値の計時を行い、前記カウンタの値が前記カウント値に達したタイミングを前記ビートタイミングとして検出する
請求項２４から２６のいずれか一項に記載の映像制御装置。