JPWO2006003848A1 - 楽曲情報算出装置及び楽曲再生装置 - Google Patents

Abstract

楽曲の音響信号から楽曲の構成を把握することのできる楽曲情報算出装置を提供する。 楽曲の音響信号を入力する音響信号入力手段と、少なくとも楽曲の音量を示す第１音響パラメータを音響信号から算出する音響パラメータ算出手段と、楽曲の抑揚を示す抑揚度を少なくとも第１音響パラメータに基づいて算出する抑揚度算出手段と、少なくとも第１音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出手段とを備える。

Description

本発明は、楽曲情報を算出する装置に関し、特定的には照明、映像等を楽曲に合わせて演出する装置を制御するための情報を楽曲の音響信号から算出し、当該情報を提供する装置および照明、演出の制御を伴った楽曲再生装置に関する。

従来より、楽曲の再生に合わせて映像を演出する装置として、音響信号から音楽的な特徴を算出して映像の演出を行う装置が提案されている（特許文献１）。この装置は、楽曲のデータから低周波成分やパターンを算出してリズム情報を取得し、得られたリズム情報に同期させて画像を表示するものである。特許文献１の装置は、楽曲の音楽的特徴としてリズム情報を算出するので、リズムに合わせた映像の表示演出効果を変化させることができる。
特開２０００−１４８１０７号公報

一般に楽曲は、曲調や曲の盛り上がりが経過時間とともに変化することから、音楽的な時間構成や脈絡といった楽曲構成を有している。しかしながら、特許文献１に記載された画像処理装置は、楽曲の音楽的特徴のうちリズムのみに着目し表示演出を行うものであった。そのため、例えば「音楽の盛り上がっているところでは画像をすばやく切り替える」や「サビの頭から画像の種類を変更する」等といった、楽曲構成に着目した視覚的効果の高い演出が困難であるという課題を有していた。

また、上記のような音楽的な意味を勘案し、視覚的効果の高い演出を行う場合には、操作者が楽曲を聴取することにより、手作業で楽曲構成を取得する必要があった。そのため、楽曲の音楽的特徴に合わせた視覚的効果の高い映像を演出することは容易ではなかった。

そこで本発明の目的は、楽曲の音響信号から楽曲構成を把握することのできる楽曲情報算出装置を提供することにある。

また本発明の目的は、取得した楽曲構成に基づいて、視覚的効果の高い映像演出および音楽再生を行う楽曲再生装置を提供することにある。

本発明の目的は、以下の楽曲情報算出装置によって達成される。楽曲の音響信号を入力する音響信号入力手段と、少なくとも楽曲の音量を示す第１音響パラメータを音響信号から算出する音響パラメータ算出手段と、楽曲の抑揚を示す抑揚度を少なくとも第１音響パラメータに基づいて算出する抑揚度算出手段と、少なくとも第１音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出手段とを備える。

この構成により、音響信号から楽曲の構成が音楽的に変化する時刻と楽曲の盛り上がり度合いとを楽曲情報として算出することができるので、楽曲を聴取することなく容易に楽曲構成を把握することができる。

好ましくは、ストーリーノード算出手段は、第１音響パラメータの値の変化に基づいてストーリーノードを算出する。

この構成により、音響信号から楽曲の構成が音楽的に変化する時刻を算出することができるので、楽曲を聴取することなく容易に楽曲構成を把握することができる。

好ましくは、ストーリー情報算出手段は、算出された抑揚度に基づいてストーリーノードの種類を算出し、ストーリーノードとストーリーノードの時刻における抑揚度とストーリーノードの種類との対応を示す情報を、楽曲の構成を示すストーリー情報として算出する。

この構成により、各ストーリーノードにおける音楽的な意味合いを把握することができるので、楽曲を聴取することなくさらに詳細に楽曲構成を把握することができる。

好ましくは、音響パラメータ算出手段は、楽曲の音色を示す第２音響パラメータを音響信号からさらに算出し、抑揚度算出手段は、第１音響パラメータと第２音響パラメータとに基づいて抑揚度を算出する。

この構成により、音響信号から音色あるいは音量に関する特徴量を算出することにより、楽曲の構成が音楽的に変化する時刻と楽曲の盛り上がり度合いを取得することができる。

好ましくは、第１音響パラメータは、音響信号の短時間パワー平均値であり、第２音響パラメータは、音響信号のゼロクロス値であり、抑揚度算出手段は、抑揚度として音響信号の短時間パワー平均値とゼロクロス値との積を算出する。

この構成により、音響信号から楽曲の盛り上がり度合いの変化を検出することができるので、楽曲を聴取することなく楽曲構成の把握が可能である。

好ましくは、第２音響パラメータは、音響信号のゼロクロス値、メル周波数ケプストラム係数、およびスペクトラムセントロイドのうちいずれか１つである。

この構成により、音響信号から音色に関する特徴量を算出することができ、楽曲を聴取することなく楽曲構成を把握することができる。また、ゼロクロス値を用いることにより少ない演算量で音色に関する特徴量を算出することができ、メル周波数ケプストラム係数、スペクトラムセントロイドを用いることにより、音色に関する特徴や振幅包絡特徴を得ることができる。

第１音響パラメータは、音響信号の短時間パワー平均値、メル周波数ケプストラム係数、およびスペクトラムセントロイドのうちいずれか１つである。

この構成により、楽曲の音響信号から音量に関する特徴量を算出することができるので、楽曲を聴取することなく楽曲構成を把握することができる。また、短時間パワー平均値を用いることにより少ない演算量で音量に関する特徴量を算出することができる。

本発明の目的は、以下の楽曲再生装置によって達成される。楽曲に合わせて映像を再生する楽曲再生装置であって、楽曲の音響信号を蓄積する音響信号蓄積手段と、画像データを蓄積する画像データ蓄積手段と、少なくとも楽曲の音量を示す第１音響パラメータを音響信号から算出する音響パラメータ算出手段と、楽曲の抑揚を示す抑揚度を少なくとも第１音響パラメータに基づいて算出する抑揚度算出手段と、少なくとも第１音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出手段と、楽曲の音響信号を再生する楽曲再生手段と、画像データを用いて映像を生成する映像生成手段と、映像生成手段によって生成された映像を楽曲再生手段による楽曲の再生に同期して表示する表示手段とを備え、映像生成手段は、ストーリー情報に含まれるストーリーノードにより定められる時点で映像の内容に所定の変化を与えるように映像を生成し、ストーリーノードの時点における抑揚度に基づいて所定の変化の種類を決定する。

この構成により、楽曲構成に基づいて映像の内容に変化を与えることができるので、視覚的効果の高い映像演出および音楽再生を行うことができる。

好ましくは、楽曲のストーリーノードの種類と、当該種類のストーリーノードの時点で映像に与えるべき変化の種類との対応を示す演出テーブルを格納する演出テーブル格納手段をさらに備え、ストーリー情報算出手段は、ストーリーノードの種類を、当該ストーリーノードの時点における抑揚度に基づいて決定し、ストーリーノードと当該ストーリーノードの時刻における抑揚度と当該ストーリーノードの種類との対応を示す情報をストーリー情報として算出し、映像生成手段は、ストーリー情報に含まれるストーリーノードの時点で映像の内容に所定の変化を与えるように映像を生成し、当該ストーリーノードの種類に基づいて当該所定の変化の種類を決定する。

この構成により、各ストーリーノードにおける音楽的な意味合いを把握することができるので、楽曲を聴取することなくさらに詳細な楽曲構成を把握することができる。これにより、楽曲構成に着目した視覚的効果の高いバリエーションの豊かな演出が可能となる。

好ましくは、演出テーブル格納手段は、楽曲終了となるストーリーノードとフェードアウト処理との対応を含む演出テーブルを格納し、映像生成手段は、算出されたストーリーノードの種類が楽曲終了となるストーリーノードの終了時点から所定時間前の時点より映像のフェードアウト処理を実行する。

好ましくは、映像生成手段によって実行される、映像の内容に変化を与える処理は、フェードイン処理、フェードアウト処理、画像の切替処理および画像の回転処理のうちいずれか１つである。

この構成により、楽曲を聴取することなく、自動的にストーリーノードの種類に応じた映像の演出が可能となるので、利便性の高い楽曲再生装置を提供することができる。またこの構成により、楽曲を聴取することなく映像編集の専門家が行うような編集処理を容易に行うことができる。

本発明の目的は、以下の楽曲情報算出方法によって達成される。楽曲の音響信号を入力する音響信号入力ステップと、少なくとも楽曲の音量を示す第１音響パラメータを音響信号から算出する音響パラメータ算出ステップと、楽曲の抑揚を示す抑揚度を少なくとも第１音響パラメータに基づいて算出する抑揚度算出ステップと、少なくとも第１音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出ステップと、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出ステップとを備える。

本発明の目的は、以下の楽曲情報算出回路によって達成される。楽曲の音響信号を入力する音響信号入力手段と、少なくとも楽曲の音量を示す第１音響パラメータを音響信号から算出する音響パラメータ算出手段と、楽曲の抑揚を示す抑揚度を少なくとも第１音響パラメータに基づいて算出する抑揚度算出手段と、少なくとも第１音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出手段とを備える。

本発明の目的は、以下のコンピュータに実行させるプログラムによって達成される。楽曲の構成を示すストーリー情報を算出する楽曲情報算出装置のコンピュータに実行させるためのプログラムであって、楽曲の音響信号を入力する音響信号入力ステップと、少なくとも楽曲の音量を示す第１音響パラメータを音響信号から算出する音響パラメータ算出ステップと、楽曲の抑揚を示す抑揚度を少なくとも第１音響パラメータに基づいて算出する抑揚度算出ステップと、少なくとも第１音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出ステップと、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出ステップとを前記コンピュータに実行させる。

本発明の目的は、以下の記録媒体によって達成される。楽曲の構成を示すストーリー情報を算出する楽曲情報算出装置のコンピュータに実行させるためのプログラムであって、
楽曲の構成を示す楽曲情報を算出する楽曲情報算出装置のコンピュータに実行させるためのプログラムであって、楽曲の音響信号を入力する音響信号入力ステップと、少なくとも楽曲の音量を示す第１音響パラメータを音響信号から算出する音響パラメータ算出ステップと、楽曲の抑揚を示す抑揚度を少なくとも第１音響パラメータに基づいて算出する抑揚度算出ステップと、少なくとも第１音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出ステップと、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出ステップとをコンピュータに実行させるプログラムを記録している。

以上のように本発明の楽曲情報算出装置により、楽曲の音響信号から楽曲構成を把握することのできる楽曲情報算出装置を提供することができる。

また、以上のように本発明の楽曲再生装置により、取得した楽曲構成に基づいて、視覚的効果の高い映像演出および音楽再生を行う楽曲再生装置を提供することが
できる。

図１は、実施の形態１に係る楽曲情報算出装置の構成を示すブロック図である。 図２は、実施の形態１に係る楽曲情報算出装置の処理過程における出力信号の時間変化を示す図である。 図３は、実施の形態１に係る楽曲情報算出装置における楽曲情報算出処理を示すフローチャートである。 図４は、実施の形態１に係る楽曲情報算出装置により算出されるストーリー情報の時間変化を示す図である。 図５は、実施の形態１におけるストーリーノード属性の一例を示す図である。 図６は、実施の形態２に係る楽曲再生装置の構成を示すブロック図である。 図７は、実施の形態２に係る楽曲再生装置における演出パターンの演出テーブルの一例を示す図である。 図８は、実施の形態２に係る楽曲再生装置における楽曲ストーリー情報の時間変化と演出パターンとの関係を示す図である。 図９は、実施の形態２に係る楽曲再生装置における楽曲の再生処理を示すフローチャートである。

符号の説明

１ 楽曲情報算出装置
１１ 音響信号入力手段
１２ 音響パラメータ算出手段
１３ 抑揚度算出手段
１４ 評価関数算出手段
１５ ストーリーノード判定手段
１６ ストーリー値算出手段
１７ 判定規則格納手段
５１ 楽曲データ蓄積手段
５２ 楽曲情報算出手段
５３ 演出パターン生成手段
５４ 演出テーブル格納手段
５５ 再生制御手段
５６ 楽曲再生手段
５７ 同期手段
５８ 画像データ蓄積手段
５９ 映像生成手段
５００ 楽曲再生装置
５１０ 表示手段

（実施の形態１）
図１は、本発明の実施の形態１に係る楽曲情報算出装置の構成を示すブロック図である。図１において楽曲情報算出装置１は、音響信号入力手段１１と、音響パラメータ算出手段１２と、抑揚度算出手段１３と、評価関数算出手段１４と、ストーリーノード判定手段１５と、ストーリー値算出手段１６、判定規則格納手段１７とを中心に構成される。楽曲情報算出装置は、例えばコンピュータの一部として実現される。

図１では音響パラメータ算出手段１２と抑揚度算出手段１３と評価関数算出手段１４とストーリーノード判定手段１５とストーリー値算出手段１６とをそれぞれ別体のブロックによって示しているが、これらは必ずしも別体である必要は無く、ＬＳＩなどの集積回路や専用の信号処理回路を用いて１チップ化したものを用いても良い。またこれらのブロックの機能に相当する回路をそれぞれチップ化しても良い。ＬＳＩがテンポラリメモリを有する場合には、判定規則格納手段１７はＬＳＩに含まれてもよい。なお、ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

一般に楽曲には、その始まりから終わりに至るまでに曲調の変化する部分や楽曲の盛り上がる部分、リズムの変化する部分、楽節の変化する部分等が存在する。すなわち楽曲は、音楽的な時間構成や脈絡といった楽曲構成を有している。本実施の形態において、このような音楽的な時間構成や脈絡を、以下「楽曲ストーリー」という。また、音楽的な時間構成や脈絡の境界を、以下「ストーリーノード」あるいは「ノード」という。なおストーリーノードは、楽曲の始まりからの経過時間を示す時刻情報（以下、「再生時刻」という）により表現される。

図２は、ある楽曲に関し、図１の各構成要素により算出される特徴量の時間変化を示したものである。図２（Ａ）〜（Ｅ）は、それぞれ後述する短時間パワー平均値、ゼロクロス値、抑揚度、評価関数、ストーリー値の時間変化を示す。各図の縦軸は各構成要素よる出力値であり、横軸は楽曲の始まりからの経過時間である。図２（Ｄ）（Ｅ）に示す「ｎ１」〜「ｎ５」は音楽的な境界であるストーリーノードと判定された再生時刻である。

音響信号入力手段１１は、処理対象となる楽曲の音響信号を入力する。音響信号は、例えばハードディスクドライブ等の記録媒体に格納された１曲分全体のＰＣＭデータである。なお音響信号は、１曲分全体が入力された後で音響パラメータ算出手段に出力されてもよいし、音響信号の入力に対して特徴量の算出がリアルタイムに行われる場合には逐次入力および出力がされてもよい。逐次入力および出力が行われることにより、リアルタイムで処理を行うことも可能である。

音響パラメータ算出手段１２は、あらかじめ定めた１つまたは複数の音響パラメータを逐次または１曲分全体に渡り算出する。ここで音響パラメータとは、音響信号の波形あるいは波形を分析して得られる特徴量であり、時間関数として表現される。本実施の形態では音響パラメータとして、短時間パワー平均値ｒｍｓ（ｔ）と、ゼロクロス値ｚｃｒ（ｔ）とが用いられる。短時間パワー平均値は、音響信号を所定の単位時間毎の区間に区切った場合における、当該区間内における音響信号の振幅の２乗平均平方であって、当該区間内における音響信号の平均振幅の大きさを表す。この短時間パワー平均値は、楽曲の音量の変化を表す指標である。またゼロクロス値は、上記区間内において音響信号の符号が変化する回数を示す。ゼロクロス値は、楽曲の音色を表す指標である。これらの短時間パワー平均値およびゼロクロス値を用いることにより、音響パラメータ算出手段１２は、比較的少ない演算処理量で楽曲の音量や音色等を算出することができる。図２（Ａ）は、音響パラメータ算出手段１２により出力された短時間パワー平均値の時間変化である。同様に図２（Ｂ）はゼロクロス値の時間変化である。図２（Ａ）（Ｂ）に示すように、短時間パワー平均値およびゼロクロス値は楽曲の経過時間とともに変動している。

抑揚度算出手段１３は、１つまたは複数の音響パラメータに基づいて抑揚度を算出する。ここで抑揚度とは、楽曲の盛り上がりの度合い、すなわち楽曲の抑揚の度合いをいい、時間関数として表現される。本実施の形態において、抑揚度は短時間パワー平均値とゼロクロス値とから以下の式により算出される。
ｔｌｖ（ｔ）＝ｒｍｓ（ｔ）×ｚｃｒ（ｔ）（式１）
（式１）に示すように、「音量（短時間パワー平均値）が大きく、音色（ゼロクロス値）が高い」部分は、曲の盛り上がる部分であると判断することができる。このように、短時間パワー平均値とゼロクロス値とを乗じた値により、再生時刻における曲の盛り上がり度合いを把握することができるとともに、１楽曲全体に渡る楽曲の抑揚を把握することができる。図２（Ｃ）は、抑揚度算出手段１３の出力信号の時間変化を示す。図２（Ｃ）は、抑揚度の数値が増大するに従い、楽曲は音楽的に高揚していることを示す。

評価関数算出手段１４は、１つまたは複数の音響パラメータに基づいて評価関数を算出する。評価関数とは、音楽的な境界であるストーリーノードを検出するための関数であり、時間関数として表現される。本実施の形態における評価関数ｆｘ１（ｔ）は、音響パラメータのうち短時間パワー平均値を用いて以下の式で定義される。
ｆｘ１（ｔ）＝−（ｒｍｓ（ｔ）−ｒｍｓ（ｔ−１））（式２）
一般に、音楽的な境界となるストーリーノードでは音量が大きく変動すると考えられる。したがって、評価関数として短時間パワー平均値の変化量を算出することにより、音楽的な境界、すなわちストーリーノードを検出することができる。図２（Ｄ）は、評価関数算出手段１４の出力信号の時間変化を示す。図２（Ｄ）に示す例では、１楽曲中には評価関数の値が大きく変動する箇所が複数存在する。

判定規則格納手段１７は、ノード種別毎に定義された判定規則を格納する。ここでノード種別とは、楽曲構成の音楽的な意味合いを表し、音楽的な属性を示すものである。また判定規則とは、後述するストーリーノード判定手段１５により評価関数が特定のストーリーノードに該当するか否かを判定するために用いられるものである。一例としてノード種別には「キメ（ｔｕｔｔｉ）開始点および終了点」、「ブレーク開始点および終了点」、「チャプター開始点および終了点」、「楽曲開始点および終了点」等がある。そして、これらのノード種別は、それぞれ次のような音楽的な意味合いを有している。例えば「キメ」とは、楽曲に変化をもたせるために楽曲中に短時間挿入される印象的なフレーズ部分であり、「ブレーク」とは、楽曲に変化をもたらすために楽曲中に短時間挿入される静寂部分である。また「チャプター」とは、イントロ、Ａメロ、Ｂメロなど楽曲を構成する基本単位を示す。さらに「楽曲開始、終了」とは、楽曲データ前後の無音部分を含まない、実質的に楽曲が開始、終了部分を表す。

ここで判定規則の一例として、ノード種別が「ブレーク開始点」の場合について説明する。判定規則格納手段１７は、「ブレークの開始点」に関して以下のように定義された判定規則を格納する。
（１）ｆｘ１（ｔ）が極大値を示す再生時刻をノード候補とし、ｆｘ１の値を優先度とする。
（２）優先度順にノード候補を算出する際、算出対象となるノード候補の前後５秒間に、より優先度の高いノード候補が存在する場合には、算出対象となるノード候補は、ノード候補から除外される。
（３）上記（２）の手順でノードを順次算出し、あらかじめ定めた上限個数に達したらノード判定処理を終了する。

このように判定規則格納手段１７には、評価関数がストーリーノードに該当するか否かの判定を行うために定義された規則がノード種別毎に格納されている。

ストーリーノード判定手段１５は、算出された評価関数が音楽的な境界であるストーリーノードに該当するか否かを判定する。かかる場合、判定処理は、判定規則格納手段１７に格納された判定規則に基づいて算出された評価関数が特定のノード種別に該当するか否かを判定することにより行う。ストーリーノード判定手段１５は、算出された評価関数が特定のノード種別に該当すると判定した場合、該当する時刻（ストーリーノード）とノード種別とをストーリー値算出手段１６に出力する。図２に示す「ｎ１」〜「ｎ５」は、ストーリーノード判定手段１５によりノード種別が「ブレーク」に該当すると判定された位置である。このように、ストーリーノード判定手段１５は、評価関数から音楽的な境界であるストーリーノードの検出をすることができる。

ストーリー値算出手段１６は、抑揚度算出手段１３により得られた抑揚度と、ストーリーノード判定手段１５により得られたストーリーノードとからストーリー値を算出する。ここでストーリー値とは、楽曲構成の時間的な構成を示すための数値である。なお本実施の形態においては、ストーリー値としてそれぞれのストーリーノードにおける抑揚度の値を算出する。図２（Ｅ）において、ストーリー値算出手段１６は、各ストーリーノード（ｎ１〜ｎ５）における抑揚度をストーリー値として算出する。

次に、本実施の形態における楽曲ストーリーの算出手順について説明する。図３は、楽曲情報算出処理を示すフローチャートである。図３の処理は、例えば楽曲情報算出装置の電源が投入されることにより行われる。

まずステップＳ１１において、音響信号入力手段１１は、記録媒体に格納された音響信号を読み込む。音響信号入力手段１１は、図示しないハードディスクドライブに格納された１曲分全体のＰＣＭデータを読み込む。続いて、ステップＳ１２において音響信号入力手段１１は、読み込まれた音響信号を音響パラメータ算出手段１２が処理可能な形態のデータ形式に変換し、音響パラメータ算出手段１２に出力する。

次にステップＳ１３の処理では、音響信号の特徴量を示す音響パラメータが算出される。すなわち音響パラメータ算出手段１２は、音響信号入力手段１１により出力された音響信号のデータに基づいて、短時間パワー平均値とゼロクロス値とを算出する。音響パラメータ算出手段１２は、算出した短時間パワー平均値を抑揚度算出手段１３および評価関数算出手段１４に出力する。算出されたゼロクロス値は抑揚度算出手段１３に出力される。

ステップＳ１４の処理では、楽曲の抑揚を示す抑揚度が算出される。抑揚度算出手段１３は、ステップＳ１３により得られた短時間パワー平均とゼロクロス値とから式１に従って抑揚度を算出する。算出された抑揚度はストーリー値算出手段１６に出力される。

次にステップＳ１５の処理では評価関数が算出される。上述のように評価関数は、ストーリーノードを検出するために用いられる関数である。評価関数算出手段１４は、ステップＳ１３で得られた短時間パワー平均値から式２に従って評価関数を算出する。算出された評価関数は、ストーリーノード判定手段１５に出力される。

ステップＳ１６の処理において、ストーリーノード判定手段１５は、ステップＳ１５で算出された評価関数が特定のノード種別に該当するか否かの判定を行う。かかる場合、ストーリーノード判定手段１５による判定処理は、判定規則格納手段１７に格納された判定規則に基づいて行われる。続くステップＳ１７では、判定処理の結果、評価関数が特定のノード種別に該当する場合には、ストーリーノード判定手段１５により該当する再生時刻（ストーリーノード）および当該ノード種別がストーリー値算出手段１６に出力される。

次にステップＳ１８の処理では、ストーリー値算出手段１６は、ストーリー情報を算出する。ストーリー情報とは、楽曲のストーリー（構成）を示す情報であり、具体的には、各ストーリーノードの時刻における抑揚度を示す情報である。すなわちストーリー値算出手段１６は、ステップＳ１４で算出された抑揚度の中から、ステップＳ１７により得られたストーリーノードの時刻における抑揚度をストーリー値として算出する。さらに本実施の形態では、ストーリー値算出手段１６は、算出されたストーリー値と、当該ストーリー値に対応するストーリーノードと、当該ストーリーノードのノード種別とをストーリー情報として出力する。以上により、楽曲情報の算出に関する一連の処理は終了する。なお、図３に示す処理において、抑揚度が算出された後に評価関数が算出されたが、これに限られない。ステップＳ１４の処理と、ステップＳ１５ないしＳ１７の処理との順序を入れ替えても、図３に示す処理と同様に楽曲のストーリー情報を得ることができる。

図４は、ある楽曲Ａに関する抑揚度の変化とストーリーノードとの関係を示す。また図５には楽曲Ａに関するストーリーノードの属性を表す。図４の縦軸は抑揚度の値、横軸は時刻を表し、上述のように各ストーリーノードにおける抑揚度の値がストーリー値となる。図中の実線の曲線２１４は、楽曲Ａの抑揚度の時間変化を示す。曲線２１４の線上にプロットされたノード２０１〜２１３は、ストーリーノード判定手段により特定のノード種別に該当すると判定されたストーリーノードである。さらに図中の破線は、ストーリー値の時間変化を示し、ノード２０１〜２１３を直線的に結んだ線である。楽曲情報算出装置１は、上述したフローチャートに従って楽曲Ａの音響信号の処理をすることによりストーリー情報を算出し、図５に示す楽曲Ａに関するストーリーノードの属性を取得することができる。このように楽曲情報算出装置１は、楽曲Ａ中の音楽的な境界（ストーリーノード）と、境界における抑揚度（ストーリー値）とを取得する。したがって楽曲情報算出装置は、音響信号からストーリー情報を算出することにより楽曲構成の把握を可能としている。

以上のように、本実施の形態に係る楽曲情報算出装置は、音響信号の特徴量から、１楽曲全体に渡り音楽的な境界を検出することができる。そしてさらに、音響信号の特徴量から各時刻における音楽的な属性を検出することができる。したがって、ユーザーは楽曲を聴取することなく、容易に楽曲構成を把握することができる。

（実施の形態２）
図６は、実施の形態２に係る楽曲再生装置５００の構成を示す概略図である。図６において、楽曲再生装置５００は楽曲データ蓄積手段５１と、楽曲情報算出手段５２と、演出パターン生成手段５３と、演出テーブル格納手段５４と、再生制御手段５５と、楽曲再生手段５６と、同期手段５７と、画像データ蓄積手段５８と、映像生成手段５９と、表示手段５１０とを備える。この楽曲再生装置５００は、楽曲の再生に合わせて画像を表示する装置であって、実施の形態１に係る方法によって得られるストーリー情報を用いて、画像の切り替えおよび／または編集等を行う装置である。

本実施の形態では楽曲情報算出手段５２と、演出パターン生成手段５３と、同期手段５７と、映像生成手段５９とをそれぞれ別体のブロックによって示しているが、これらは必ずしも別体である必要は無く、ＬＳＩなどの集積回路や専用の信号処理回路を用いて１チップ化したものを用いても良い。またこれらのブロックの機能に相当するものをそれぞれチップ化しても良い。ＬＳＩがテンポラリメモリを有する場合には、演出テーブル格納手段５４はＬＳＩに含まれてもよい。なお、ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

楽曲データ蓄積手段５１は、少なくとも１以上の楽曲の音響信号を蓄積し、例えばハードディスク装置等に相当する。楽曲データ蓄積手段５１は、再生制御手段５５により選択された楽曲の音響信号を楽曲情報算出手段５２および楽曲再生手段５６に出力可能である。

楽曲情報算出手段５２には、楽曲データ蓄積手段５１から出力された音響信号が入力される。楽曲情報算出手段５２は、上述した楽曲情報算出装置１と等しい処理を行い、楽曲構成に関する楽曲ストーリー情報を算出する。すなわち、入力された音響信号からストーリー値とストーリーノードと抑揚度とを算出する。生成されたストーリー情報は、演出パターン生成手段５３に出力される。

演出パターン生成手段５３は、楽曲情報算出手段５２から出力された楽曲のストーリー情報に基づいて映像の演出パターンを生成する。ここで演出パターンとは、再生時刻と、その再生時刻に実行すべき映像効果処理との対応を示す情報である。映像効果処理とは、映像に何らかの変化を与える処理であり、フェードインやフェードアウト、画像の回転等の処理等が含まれる。生成された演出パターンは、演出テーブルとして演出テーブル格納手段５４に格納される。

図７は、演出パターン生成手段５３により生成された演出パターンに関する演出テーブルの一例である。図７に示す演出テーブルは、ノード種別と、そのノード種別のストーリーノードが検出された時に実行すべき映像効果処理との対応を示す。ノード種別とは、実施の形態１でも述べたように、音楽的な属性を示すものであり、それぞれ音楽的な意味合いを有するものである。図８は、楽曲情報算出手段５２により算出されたストーリー情報の時間変化と演出パターンとの関係を示す図である。縦軸は抑揚度を示し、横軸は楽曲の再生時刻を示す。また実施の形態１と同様に各ストーリーノードにおける抑揚度がストーリー値となる。なお図中の各ノード間に付された符号は、図７の演出テーブルの映像効果に付された番号と対応する。例えば、図７において楽曲のノード種別が「楽曲開始点」となる箇所（図８の（１）となるノード間）では、「フェードイン」に相当する映像効果処理が行われる。つまり、ノード種別が「楽曲開始点」であるストーリーノードの時刻においては、フェードイン、すなわち、時間の経過とともに画像を次第に明暸に表示させる映像効果処理が実行される。また例えば、ノード種別が「ブレーク」となる箇所（図８の（４）となるノード間）では、表示手段５１０に黒画面を０．５秒間表示する映像効果処理が行われる。またさらに、ノード種別が「サビ開始点」となる箇所（図８では（５）となるノード間）では、画像を１秒間回転させる映像効果処理が行われる。このように演出パターン生成手段は、楽曲ストーリーの変化に応じた映像効果を付与するための演出テーブルを生成する。なお演出テーブルにおけるノード種別と映像効果との対応関係は、ユーザーにより変更可能であってもよい。例えば、ノード種別が「サビの開始」となる箇所では、「ユーザーにより選択された写真を表示する」など種々の組み合わせが可能である。

再生制御手段５５は、利用者からの選曲指示に基づいて、楽曲データ蓄積手段５１に蓄積された音響信号の出力を指示する。また再生制御手段５５は、楽曲再生手段５６に対して楽曲の再生および停止等を含む再生制御を行う。

楽曲再生手段５６は、再生制御手段５５により指示され、楽曲データ蓄積手段５１から出力された音響信号を利用者に聴取可能な形態で出力する。例えば音響信号は、スピーカでの拡声の形態により出力される。

同期手段５７は、楽曲再生手段５６による楽曲の再生進行状況を監視するとともに、楽曲の再生進行とを同期させるための同期信号を生成し出力する。同期手段５７により生成される同期信号は、後述する映像生成手段５９により生成映像データと楽曲とを同期させるために用いられる信号である。同期手段５７は、生成した同期信号を映像生成手段５９に出力する。

画像データ蓄積手段５８は、少なくとも１つ以上の画像データを蓄積する。画像データとして、静止画像あるいは動画像が蓄積される。蓄積された画像データは、映像生成手段５９からの指示により出力する。

映像生成手段５９は、画像データ蓄積手段５８に蓄積された画像データを順次取得し、ストーリーノード毎に映像に変化を与えながら表示を行うことにより映像データを生成する。さらに映像生成手段５９は、同期手段５７から出力される同期信号に合わせて当該映像データを再生し、表示手段５１０に出力する。映像データを生成する際、映像生成手段５９は、演出テーブルに基づいて、所定の再生時刻において表示する画像に対して所定の映像効果を与える処理を行う。このように映像生成手段５９は、演出テーブルに基づいて映像編集の専門家が行うような編集処理を自動的に行うことができる。

表示手段５１０は、ディスプレイ装置等に相当し、映像生成手段５９が出力した映像データを可視画像として表示する。

次に、楽曲再生装置５００を用いた再生処理について説明する。図９は、楽曲再生装置５００における楽曲の再生処理を示すフローチャートである。図９の処理は、利用者の指示により再生制御手段５５に楽曲Ａの選曲指示が入力されることにより開始する。まずステップＳ３１において、楽曲データ蓄積手段５１は、再生制御手段５５の指令により楽曲Ａの音響信号を楽曲情報算出手段５２に出力する。

次にステップＳ３２の処理において楽曲情報算出手段５２は、図３で示した処理により楽曲Ａに関する楽曲情報を算出する。これにより、楽曲Ａのストーリーノードと抑揚度（ストーリー値）とノード種別とが出力される。

続くステップＳ３３の処理において演出パターン生成手段５３は演出パターンを生成する。演出パターン生成手段５３は、あらかじめ演出テーブル格納手段５４に格納された演出テーブル中のノード種別と映像効果との対応関係に従って、ステップＳ３２により得られたストーリーノードに対応する映像効果処理を決定する。決定された演出パターンは、映像生成手段５９に出力される。

次にステップＳ３４において、楽曲再生手段５６は、再生制御手段５５の指令により楽曲Ａの再生を開始する。また楽曲Ａの再生と同時に同期手段は、映像生成手段５９に同期信号を出力する。

ステップＳ３５の処理において映像生成手段５９は、演出パターン生成手段５３により生成された演出パターンからストーリーノードの有無を判断する。ストーリーノードがある場合、映像生成手段５９は、ステップＳ３６において演出パターンに従い画像に対し映像効果処理を施した映像データを生成する。一方、ストーリーノードが無い場合、映像生成手段５９は、画像に対し映像効果処理を行わずに映像データを生成し、ステップＳ３７の処理に移行する。そしてステップＳ３７の処理において生成された映像データは、同期信号にしたがって再生され表示手段５１０に表示される。

次にステップＳ３８の処理において映像生成手段５９は、演出パターンから映像データの生成進行か否かを判別する。映像データの生成を進行する場合には、映像生成手段５９は再びステップＳ３５の処理に移行し、次のストーリーノードの有無を判断した後ステップＳ３６以降同様の処理を行う。一方、演出パターンに映像の生成が指示されていない場合には、ステップＳ３９の処理へ移行する。

ステップＳ３９では、楽曲再生手段５６は再生制御手段５５からの再生停止に関する指令を受けて楽曲Ａの再生を停止する。同時に映像生成手段５９は、再生停止に関する同期信号を受けて映像データの再生を停止する。以上により、楽曲再生装置５００における再生処理は終了する。

以上のように、本実施の形態に係る楽曲再生装置は、音響信号の特徴量から楽曲構成を把握することができるので、曲調や曲の盛り上がりの変化に基づいた映像の演出を容易に行うことができる。また、ユーザーは楽曲を聴取することなく、音楽的な属性に応じた映像の演出が可能であるので利便性の高い楽曲再生装置を実現することができる。さらに本実施の形態に係る楽曲再生装置は、楽曲の再生と同期して映像を生成するので、視覚的・聴覚的に効果のある音楽および映像の再生を行うことができる。

なお、本実施の形態において、演出パターンはノード種別毎に決定されたが、これに限られない。図９において、ストーリー値の大小に応じて演出パターンを決定してもよい。例えば、抑揚度の大きい領域では、画像の切り替え周期の短い映像データを生成し、抑揚度が小さい領域では画像の切り替え周期の長い映像データを生成してもよい。また例えば、ストーリー値が大きいときは色調の明るい画像が選択され、ストーリー値が小さいときは色調の暗い画像が選択される演出を行ってもよい。

なお、実施の形態１および２における楽曲情報算出装置および楽曲情報算出手段は、楽曲と同期させて映像を表示する楽曲再生装置に用いられたが、これに限られない。例えば、楽曲のノード種別が「ブレーク開始点」から「ブレーク終了点」間の領域では、室内の照明を暗転する等、他の装置と組み合わせた演出処理を行ってもよい。

なお、実施の形態１および２における楽曲情報算出装置および楽曲情報算出手段は、音響パラメータとして短時間パワー平均とゼロクロス値とを用いたが、これに限られない。例えば、音響パラメータとしてクロマベクトルを用いて、楽曲の音階構造の類似性に関する評価関数を評価関数算出手段により算出してもよい。これにより、音階構造の繰り返し部分の境界を検出し、チャプター内の楽曲構成をも把握することができる。すなわち、Ａメロ、Ｂメロなどの境界を示すチャプター部分のストーリーノードを算出することができる。これにより楽曲情報算出装置は、さらに詳細な楽曲構成を把握することができる。

また例えば、音響パラメータとしてＭＦＣＣ（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ）を用いてもよい。これにより、音響信号の振幅包絡特徴や音色に関する特徴が得ることができる。評価関数算出手段は、ＭＦＣＣを用いることで音楽の大局的な音色の変化を表す評価関数を算出する。したがって楽曲情報算出装置は、音色の変化の境界、すなわちキメの開始、終了部分のストーリーノードを検出することができる。

なお、実施の形態１および２における楽曲情報算出装置および楽曲情報算出手段は、音響パラメータとしてゼロクロス値を用いたが、これに限られない。ゼロクロス値に代わり、例えばスペクトラムセントロイド（ＳｐｅｃｔｒｕｍＣｅｎｔｒｏｉｄ）を用いてもよい。

なお、実施の形態１および２において抑揚度は、式１に示したように短時間パワー平均値とゼロクロス値との積を用いたが、これに限られない。例えば、式３に示すように短時間パワー平均値のみを用いてもよい。
ｔｌｖ（ｔ）＝ｒｍｓ（ｔ）（式３）
これにより、式１を用いる場合と比較して演算量を抑えることができる。

なお、実施の形態１および２において評価関数算出手段は、入力した音響信号を周波数領域に変換し、変換された信号の分布から評価関数を算出してもよい。

なお、実施の形態１および２に係る楽曲情報算出装置および楽曲情報算出手段は、コンピュータに内蔵または接続されるハードウェアデバイスによって実行される形態であってもよく、またはコンピュータが当該処理の一部をソフトウェア上で実行される形態であってもよい。

本発明の楽曲情報算出装置及び楽曲再生装置は、楽曲の特徴に合わした映像の演出が要望されている、楽曲再生装置や映像再生装置などに好適である。

本発明は、楽曲情報を算出する装置に関し、特定的には照明、映像等を楽曲に合わせて演出する装置を制御するための情報を楽曲の音響信号から算出し、当該情報を提供する装置および照明、演出の制御を伴った楽曲再生装置に関する。

従来より、楽曲の再生に合わせて映像を演出する装置として、音響信号から音楽的な特徴を算出して映像の演出を行う装置が提案されている（特許文献１）。この装置は、楽曲のデータから低周波成分やパターンを算出してリズム情報を取得し、得られたリズム情報に同期させて画像を表示するものである。特許文献１の装置は、楽曲の音楽的特徴としてリズム情報を算出するので、リズムに合わせた映像の表示演出効果を変化させることができる。
特開２０００−１４８１０７号公報

一般に楽曲は、曲調や曲の盛り上がりが経過時間とともに変化することから、音楽的な時間構成や脈絡といった楽曲構成を有している。しかしながら、特許文献１に記載された画像処理装置は、楽曲の音楽的特徴のうちリズムのみに着目し表示演出を行うものであった。そのため、例えば「音楽の盛り上がっているところでは画像をすばやく切り替える」や「サビの頭から画像の種類を変更する」等といった、楽曲構成に着目した視覚的効果の高い演出が困難であるという課題を有していた。

また、上記のような音楽的な意味を勘案し、視覚的効果の高い演出を行う場合には、操作者が楽曲を聴取することにより、手作業で楽曲構成を取得する必要があった。そのため、楽曲の音楽的特徴に合わせた視覚的効果の高い映像を演出することは容易ではなかった。

そこで本発明の目的は、楽曲の音響信号から楽曲構成を把握することのできる楽曲情報算出装置を提供することにある。

また本発明の目的は、取得した楽曲構成に基づいて、視覚的効果の高い映像演出および音楽再生を行う楽曲再生装置を提供することにある。

本発明の目的は、以下の楽曲情報算出装置によって達成される。楽曲の音響信号を入力する音響信号入力手段と、少なくとも楽曲の音量を示す第１音響パラメータを音響信号から算出する音響パラメータ算出手段と、楽曲の抑揚を示す抑揚度を少なくとも第１音響パラメータに基づいて算出する抑揚度算出手段と、少なくとも第１音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出手段とを備える。

この構成により、音響信号から楽曲の構成が音楽的に変化する時刻と楽曲の盛り上がり度合いとを楽曲情報として算出することができるので、楽曲を聴取することなく容易に楽曲構成を把握することができる。

好ましくは、ストーリーノード算出手段は、第１音響パラメータの値の変化に基づいてストーリーノードを算出する。

この構成により、音響信号から楽曲の構成が音楽的に変化する時刻を算出することができるので、楽曲を聴取することなく容易に楽曲構成を把握することができる。

好ましくは、ストーリー情報算出手段は、算出された抑揚度に基づいてストーリーノードの種類を算出し、ストーリーノードとストーリーノードの時刻における抑揚度とストーリーノードの種類との対応を示す情報を、楽曲の構成を示すストーリー情報として算出する。

この構成により、各ストーリーノードにおける音楽的な意味合いを把握することができるので、楽曲を聴取することなくさらに詳細に楽曲構成を把握することができる。

好ましくは、音響パラメータ算出手段は、楽曲の音色を示す第２音響パラメータを音響信号からさらに算出し、抑揚度算出手段は、第１音響パラメータと第２音響パラメータとに基づいて抑揚度を算出する。

この構成により、音響信号から音色あるいは音量に関する特徴量を算出することにより、楽曲の構成が音楽的に変化する時刻と楽曲の盛り上がり度合いを取得することができる。

好ましくは、第１音響パラメータは、音響信号の短時間パワー平均値であり、第２音響パラメータは、音響信号のゼロクロス値であり、抑揚度算出手段は、抑揚度として音響信号の短時間パワー平均値とゼロクロス値との積を算出する。

この構成により、音響信号から楽曲の盛り上がり度合いの変化を検出することができるので、楽曲を聴取することなく楽曲構成の把握が可能である。

好ましくは、第２音響パラメータは、音響信号のゼロクロス値、メル周波数ケプストラム係数、およびスペクトラムセントロイドのうちいずれか１つである。

この構成により、音響信号から音色に関する特徴量を算出することができ、楽曲を聴取することなく楽曲構成を把握することができる。また、ゼロクロス値を用いることにより少ない演算量で音色に関する特徴量を算出することができ、メル周波数ケプストラム係数、スペクトラムセントロイドを用いることにより、音色に関する特徴や振幅包絡特徴を得ることができる。

第１音響パラメータは、音響信号の短時間パワー平均値、メル周波数ケプストラム係数、およびスペクトラムセントロイドのうちいずれか１つである。

この構成により、楽曲の音響信号から音量に関する特徴量を算出することができるので、楽曲を聴取することなく楽曲構成を把握することができる。また、短時間パワー平均値を用いることにより少ない演算量で音量に関する特徴量を算出することができる。

本発明の目的は、以下の楽曲再生装置によって達成される。楽曲に合わせて映像を再生する楽曲再生装置であって、楽曲の音響信号を蓄積する音響信号蓄積手段と、画像データを蓄積する画像データ蓄積手段と、少なくとも楽曲の音量を示す第１音響パラメータを音響信号から算出する音響パラメータ算出手段と、楽曲の抑揚を示す抑揚度を少なくとも第１音響パラメータに基づいて算出する抑揚度算出手段と、少なくとも第１音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出手段と、楽曲の音響信号を再生する楽曲再生手段と、画像データを用いて映像を生成する映像生成手段と、映像生成手段によって生成された映像を楽曲再生手段による楽曲の再生に同期して表示する表示手段とを備え、映像生成手段は、ストーリー情報に含まれるストーリーノードにより定められる時点で映像の内容に所定の変化を与えるように映像を生成し、ストーリーノードの時点における抑揚度に基づいて所定の変化の種類を決定する。

この構成により、楽曲構成に基づいて映像の内容に変化を与えることができるので、視覚的効果の高い映像演出および音楽再生を行うことができる。

好ましくは、楽曲のストーリーノードの種類と、当該種類のストーリーノードの時点で映像に与えるべき変化の種類との対応を示す演出テーブルを格納する演出テーブル格納手段をさらに備え、ストーリー情報算出手段は、ストーリーノードの種類を、当該ストーリーノードの時点における抑揚度に基づいて決定し、ストーリーノードと当該ストーリーノードの時刻における抑揚度と当該ストーリーノードの種類との対応を示す情報をストーリー情報として算出し、映像生成手段は、ストーリー情報に含まれるストーリーノードの時点で映像の内容に所定の変化を与えるように映像を生成し、当該ストーリーノードの種類に基づいて当該所定の変化の種類を決定する。

この構成により、各ストーリーノードにおける音楽的な意味合いを把握することができるので、楽曲を聴取することなくさらに詳細な楽曲構成を把握することができる。これにより、楽曲構成に着目した視覚的効果の高いバリエーションの豊かな演出が可能となる。

好ましくは、演出テーブル格納手段は、楽曲終了となるストーリーノードとフェードアウト処理との対応を含む演出テーブルを格納し、映像生成手段は、算出されたストーリーノードの種類が楽曲終了となるストーリーノードの終了時点から所定時間前の時点より映像のフェードアウト処理を実行する。

好ましくは、映像生成手段によって実行される、映像の内容に変化を与える処理は、フェードイン処理、フェードアウト処理、画像の切替処理および画像の回転処理のうちいずれか１つである。

この構成により、楽曲を聴取することなく、自動的にストーリーノードの種類に応じた映像の演出が可能となるので、利便性の高い楽曲再生装置を提供することができる。またこの構成により、楽曲を聴取することなく映像編集の専門家が行うような編集処理を容易に行うことができる。

本発明の目的は、以下の楽曲情報算出方法によって達成される。楽曲の音響信号を入力する音響信号入力ステップと、少なくとも楽曲の音量を示す第１音響パラメータを音響信号から算出する音響パラメータ算出ステップと、楽曲の抑揚を示す抑揚度を少なくとも第１音響パラメータに基づいて算出する抑揚度算出ステップと、少なくとも第１音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出ステップと、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出ステップとを備える。

本発明の目的は、以下の楽曲情報算出回路によって達成される。楽曲の音響信号を入力する音響信号入力手段と、少なくとも楽曲の音量を示す第１音響パラメータを音響信号から算出する音響パラメータ算出手段と、楽曲の抑揚を示す抑揚度を少なくとも第１音響パラメータに基づいて算出する抑揚度算出手段と、少なくとも第１音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出手段とを備える。

本発明の目的は、以下のコンピュータに実行させるプログラムによって達成される。楽曲の構成を示すストーリー情報を算出する楽曲情報算出装置のコンピュータに実行させるためのプログラムであって、楽曲の音響信号を入力する音響信号入力ステップと、少なくとも楽曲の音量を示す第１音響パラメータを音響信号から算出する音響パラメータ算出ステップと、楽曲の抑揚を示す抑揚度を少なくとも第１音響パラメータに基づいて算出する抑揚度算出ステップと、少なくとも第１音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出ステップと、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出ステップとを前記コンピュータに実行させる。

本発明の目的は、以下の記録媒体によって達成される。楽曲の構成を示すストーリー情報を算出する楽曲情報算出装置のコンピュータに実行させるためのプログラムであって、
楽曲の構成を示す楽曲情報を算出する楽曲情報算出装置のコンピュータに実行させるためのプログラムであって、楽曲の音響信号を入力する音響信号入力ステップと、少なくとも楽曲の音量を示す第１音響パラメータを音響信号から算出する音響パラメータ算出ステップと、楽曲の抑揚を示す抑揚度を少なくとも第１音響パラメータに基づいて算出する抑揚度算出ステップと、少なくとも第１音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出ステップと、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出ステップとをコンピュータに実行させるプログラムを記録している。

以上のように本発明の楽曲情報算出装置により、楽曲の音響信号から楽曲構成を把握することのできる楽曲情報算出装置を提供することができる。

また、以上のように本発明の楽曲再生装置により、取得した楽曲構成に基づいて、視覚的効果の高い映像演出および音楽再生を行う楽曲再生装置を提供することができる。

（実施の形態１）
図１は、本発明の実施の形態１に係る楽曲情報算出装置の構成を示すブロック図である。図１において楽曲情報算出装置１は、音響信号入力手段１１と、音響パラメータ算出手段１２と、抑揚度算出手段１３と、評価関数算出手段１４と、ストーリーノード判定手段１５と、ストーリー値算出手段１６、判定規則格納手段１７とを中心に構成される。楽曲情報算出装置は、例えばコンピュータの一部として実現される。

図１では音響パラメータ算出手段１２と抑揚度算出手段１３と評価関数算出手段１４とストーリーノード判定手段１５とストーリー値算出手段１６とをそれぞれ別体のブロックによって示しているが、これらは必ずしも別体である必要は無く、ＬＳＩなどの集積回路や専用の信号処理回路を用いて１チップ化したものを用いても良い。またこれらのブロックの機能に相当する回路をそれぞれチップ化しても良い。ＬＳＩがテンポラリメモリを有する場合には、判定規則格納手段１７はＬＳＩに含まれてもよい。なお、ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

一般に楽曲には、その始まりから終わりに至るまでに曲調の変化する部分や楽曲の盛り上がる部分、リズムの変化する部分、楽節の変化する部分等が存在する。すなわち楽曲は、音楽的な時間構成や脈絡といった楽曲構成を有している。本実施の形態において、このような音楽的な時間構成や脈絡を、以下「楽曲ストーリー」という。また、音楽的な時間構成や脈絡の境界を、以下「ストーリーノード」あるいは「ノード」という。なおストーリーノードは、楽曲の始まりからの経過時間を示す時刻情報（以下、「再生時刻」という）により表現される。

図２は、ある楽曲に関し、図１の各構成要素により算出される特徴量の時間変化を示したものである。図２（Ａ）〜（Ｅ）は、それぞれ後述する短時間パワー平均値、ゼロクロス値、抑揚度、評価関数、ストーリー値の時間変化を示す。各図の縦軸は各構成要素よる出力値であり、横軸は楽曲の始まりからの経過時間である。図２（Ｄ）（Ｅ）に示す「ｎ１」〜「ｎ５」は音楽的な境界であるストーリーノードと判定された再生時刻である。

音響信号入力手段１１は、処理対象となる楽曲の音響信号を入力する。音響信号は、例えばハードディスクドライブ等の記録媒体に格納された１曲分全体のＰＣＭデータである。なお音響信号は、１曲分全体が入力された後で音響パラメータ算出手段に出力されてもよいし、音響信号の入力に対して特徴量の算出がリアルタイムに行われる場合には逐次入力および出力がされてもよい。逐次入力および出力が行われることにより、リアルタイムで処理を行うことも可能である。

音響パラメータ算出手段１２は、あらかじめ定めた１つまたは複数の音響パラメータを逐次または１曲分全体に渡り算出する。ここで音響パラメータとは、音響信号の波形あるいは波形を分析して得られる特徴量であり、時間関数として表現される。本実施の形態では音響パラメータとして、短時間パワー平均値ｒｍｓ（ｔ）と、ゼロクロス値ｚｃｒ（ｔ）とが用いられる。短時間パワー平均値は、音響信号を所定の単位時間毎の区間に区切った場合における、当該区間内における音響信号の振幅の２乗平均平方であって、当該区間内における音響信号の平均振幅の大きさを表す。この短時間パワー平均値は、楽曲の音量の変化を表す指標である。またゼロクロス値は、上記区間内において音響信号の符号が変化する回数を示す。ゼロクロス値は、楽曲の音色を表す指標である。これらの短時間パワー平均値およびゼロクロス値を用いることにより、音響パラメータ算出手段１２は、比較的少ない演算処理量で楽曲の音量や音色等を算出することができる。図２（Ａ）は、音響パラメータ算出手段１２により出力された短時間パワー平均値の時間変化である。同様に図２（Ｂ）はゼロクロス値の時間変化である。図２（Ａ）（Ｂ）に示すように、短時間パワー平均値およびゼロクロス値は楽曲の経過時間とともに変動している。

抑揚度算出手段１３は、１つまたは複数の音響パラメータに基づいて抑揚度を算出する。ここで抑揚度とは、楽曲の盛り上がりの度合い、すなわち楽曲の抑揚の度合いをいい、時間関数として表現される。本実施の形態において、抑揚度は短時間パワー平均値とゼロクロス値とから以下の式により算出される。
ｔｌｖ（ｔ）＝ｒｍｓ（ｔ）×ｚｃｒ（ｔ） （式１）
（式１）に示すように、「音量（短時間パワー平均値）が大きく、音色（ゼロクロス値）が高い」部分は、曲の盛り上がる部分であると判断することができる。このように、短時間パワー平均値とゼロクロス値とを乗じた値により、再生時刻における曲の盛り上がり度合いを把握することができるとともに、１楽曲全体に渡る楽曲の抑揚を把握することができる。図２（Ｃ）は、抑揚度算出手段１３の出力信号の時間変化を示す。図２（Ｃ）は、抑揚度の数値が増大するに従い、楽曲は音楽的に高揚していることを示す。

評価関数算出手段１４は、１つまたは複数の音響パラメータに基づいて評価関数を算出する。評価関数とは、音楽的な境界であるストーリーノードを検出するための関数であり、時間関数として表現される。本実施の形態における評価関数ｆｘ１（ｔ）は、音響パラメータのうち短時間パワー平均値を用いて以下の式で定義される。
ｆｘ１（ｔ）＝−（ｒｍｓ（ｔ）−ｒｍｓ（ｔ−１）） （式２）
一般に、音楽的な境界となるストーリーノードでは音量が大きく変動すると考えられる。したがって、評価関数として短時間パワー平均値の変化量を算出することにより、音楽的な境界、すなわちストーリーノードを検出することができる。図２（Ｄ）は、評価関数算出手段１４の出力信号の時間変化を示す。図２（Ｄ）に示す例では、１楽曲中には評価関数の値が大きく変動する箇所が複数存在する。

判定規則格納手段１７は、ノード種別毎に定義された判定規則を格納する。ここでノード種別とは、楽曲構成の音楽的な意味合いを表し、音楽的な属性を示すものである。また判定規則とは、後述するストーリーノード判定手段１５により評価関数が特定のストーリーノードに該当するか否かを判定するために用いられるものである。一例としてノード種別には「キメ（ｔｕｔｔｉ）開始点および終了点」、「ブレーク開始点および終了点」、「チャプター開始点および終了点」、「楽曲開始点および終了点」等がある。そして、これらのノード種別は、それぞれ次のような音楽的な意味合いを有している。例えば「キメ」とは、楽曲に変化をもたせるために楽曲中に短時間挿入される印象的なフレーズ部分であり、「ブレーク」とは、楽曲に変化をもたらすために楽曲中に短時間挿入される静寂部分である。また「チャプター」とは、イントロ、Ａメロ、Ｂメロなど楽曲を構成する基本単位を示す。さらに「楽曲開始、終了」とは、楽曲データ前後の無音部分を含まない、実質的に楽曲が開始、終了部分を表す。

ここで判定規則の一例として、ノード種別が「ブレーク開始点」の場合について説明する。判定規則格納手段１７は、「ブレークの開始点」に関して以下のように定義された判定規則を格納する。
（１）ｆｘ１（ｔ）が極大値を示す再生時刻をノード候補とし、ｆｘ１の値を優先度とする。
（２）優先度順にノード候補を算出する際、算出対象となるノード候補の前後５秒間に、より優先度の高いノード候補が存在する場合には、算出対象となるノード候補は、ノード候補から除外される。
（３）上記（２）の手順でノードを順次算出し、あらかじめ定めた上限個数に達したらノード判定処理を終了する。

このように判定規則格納手段１７には、評価関数がストーリーノードに該当するか否かの判定を行うために定義された規則がノード種別毎に格納されている。

ストーリーノード判定手段１５は、算出された評価関数が音楽的な境界であるストーリーノードに該当するか否かを判定する。かかる場合、判定処理は、判定規則格納手段１７に格納された判定規則に基づいて算出された評価関数が特定のノード種別に該当するか否かを判定することにより行う。ストーリーノード判定手段１５は、算出された評価関数が特定のノード種別に該当すると判定した場合、該当する時刻（ストーリーノード）とノード種別とをストーリー値算出手段１６に出力する。図２に示す「ｎ１」〜「ｎ５」は、ストーリーノード判定手段１５によりノード種別が「ブレーク」に該当すると判定された位置である。このように、ストーリーノード判定手段１５は、評価関数から音楽的な境界であるストーリーノードの検出をすることができる。

ストーリー値算出手段１６は、抑揚度算出手段１３により得られた抑揚度と、ストーリーノード判定手段１５により得られたストーリーノードとからストーリー値を算出する。ここでストーリー値とは、楽曲構成の時間的な構成を示すための数値である。なお本実施の形態においては、ストーリー値としてそれぞれのストーリーノードにおける抑揚度の値を算出する。図２（Ｅ）において、ストーリー値算出手段１６は、各ストーリーノード（ｎ１〜ｎ５）における抑揚度をストーリー値として算出する。

次に、本実施の形態における楽曲ストーリーの算出手順について説明する。図３は、楽曲情報算出処理を示すフローチャートである。図３の処理は、例えば楽曲情報算出装置の電源が投入されることにより行われる。

まずステップＳ１１において、音響信号入力手段１１は、記録媒体に格納された音響信号を読み込む。音響信号入力手段１１は、図示しないハードディスクドライブに格納された１曲分全体のＰＣＭデータを読み込む。続いて、ステップＳ１２において音響信号入力手段１１は、読み込まれた音響信号を音響パラメータ算出手段１２が処理可能な形態のデータ形式に変換し、音響パラメータ算出手段１２に出力する。

次にステップＳ１３の処理では、音響信号の特徴量を示す音響パラメータが算出される。すなわち音響パラメータ算出手段１２は、音響信号入力手段１１により出力された音響信号のデータに基づいて、短時間パワー平均値とゼロクロス値とを算出する。音響パラメータ算出手段１２は、算出した短時間パワー平均値を抑揚度算出手段１３および評価関数算出手段１４に出力する。算出されたゼロクロス値は抑揚度算出手段１３に出力される。

ステップＳ１４の処理では、楽曲の抑揚を示す抑揚度が算出される。抑揚度算出手段１３は、ステップＳ１３により得られた短時間パワー平均とゼロクロス値とから式１に従って抑揚度を算出する。算出された抑揚度はストーリー値算出手段１６に出力される。

次にステップＳ１５の処理では評価関数が算出される。上述のように評価関数は、ストーリーノードを検出するために用いられる関数である。評価関数算出手段１４は、ステップＳ１３で得られた短時間パワー平均値から式２に従って評価関数を算出する。算出された評価関数は、ストーリーノード判定手段１５に出力される。

ステップＳ１６の処理において、ストーリーノード判定手段１５は、ステップＳ１５で算出された評価関数が特定のノード種別に該当するか否かの判定を行う。かかる場合、ストーリーノード判定手段１５による判定処理は、判定規則格納手段１７に格納された判定規則に基づいて行われる。続くステップＳ１７では、判定処理の結果、評価関数が特定のノード種別に該当する場合には、ストーリーノード判定手段１５により該当する再生時刻（ストーリーノード）および当該ノード種別がストーリー値算出手段１６に出力される。

次にステップＳ１８の処理では、ストーリー値算出手段１６は、ストーリー情報を算出する。ストーリー情報とは、楽曲のストーリー（構成）を示す情報であり、具体的には、各ストーリーノードの時刻における抑揚度を示す情報である。すなわちストーリー値算出手段１６は、ステップＳ１４で算出された抑揚度の中から、ステップＳ１７により得られたストーリーノードの時刻における抑揚度をストーリー値として算出する。さらに本実施の形態では、ストーリー値算出手段１６は、算出されたストーリー値と、当該ストーリー値に対応するストーリーノードと、当該ストーリーノードのノード種別とをストーリー情報として出力する。以上により、楽曲情報の算出に関する一連の処理は終了する。なお、図３に示す処理において、抑揚度が算出された後に評価関数が算出されたが、これに限られない。ステップＳ１４の処理と、ステップＳ１５ないしＳ１７の処理との順序を入れ替えても、図３に示す処理と同様に楽曲のストーリー情報を得ることができる。

図４は、ある楽曲Ａに関する抑揚度の変化とストーリーノードとの関係を示す。また図５には楽曲Ａに関するストーリーノードの属性を表す。図４の縦軸は抑揚度の値、横軸は時刻を表し、上述のように各ストーリーノードにおける抑揚度の値がストーリー値となる。図中の実線の曲線２１４は、楽曲Ａの抑揚度の時間変化を示す。曲線２１４の線上にプロットされたノード２０１〜２１３は、ストーリーノード判定手段により特定のノード種別に該当すると判定されたストーリーノードである。さらに図中の破線は、ストーリー値の時間変化を示し、ノード２０１〜２１３を直線的に結んだ線である。楽曲情報算出装置１は、上述したフローチャートに従って楽曲Ａの音響信号の処理をすることによりストーリー情報を算出し、図５に示す楽曲Ａに関するストーリーノードの属性を取得することができる。このように楽曲情報算出装置１は、楽曲Ａ中の音楽的な境界（ストーリーノード）と、境界における抑揚度（ストーリー値）とを取得する。したがって楽曲情報算出装置は、音響信号からストーリー情報を算出することにより楽曲構成の把握を可能としている。

以上のように、本実施の形態に係る楽曲情報算出装置は、音響信号の特徴量から、１楽曲全体に渡り音楽的な境界を検出することができる。そしてさらに、音響信号の特徴量から各時刻における音楽的な属性を検出することができる。したがって、ユーザーは楽曲を聴取することなく、容易に楽曲構成を把握することができる。

（実施の形態２）
図６は、実施の形態２に係る楽曲再生装置５００の構成を示す概略図である。図６において、楽曲再生装置５００は楽曲データ蓄積手段５１と、楽曲情報算出手段５２と、演出パターン生成手段５３と、演出テーブル格納手段５４と、再生制御手段５５と、楽曲再生手段５６と、同期手段５７と、画像データ蓄積手段５８と、映像生成手段５９と、表示手段５１０とを備える。この楽曲再生装置５００は、楽曲の再生に合わせて画像を表示する装置であって、実施の形態１に係る方法によって得られるストーリー情報を用いて、画像の切り替えおよび／または編集等を行う装置である。

本実施の形態では楽曲情報算出手段５２と、演出パターン生成手段５３と、同期手段５７と、映像生成手段５９とをそれぞれ別体のブロックによって示しているが、これらは必ずしも別体である必要は無く、ＬＳＩなどの集積回路や専用の信号処理回路を用いて１チップ化したものを用いても良い。またこれらのブロックの機能に相当するものをそれぞれチップ化しても良い。ＬＳＩがテンポラリメモリを有する場合には、演出テーブル格納手段５４はＬＳＩに含まれてもよい。なお、ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

楽曲データ蓄積手段５１は、少なくとも１以上の楽曲の音響信号を蓄積し、例えばハードディスク装置等に相当する。楽曲データ蓄積手段５１は、再生制御手段５５により選択された楽曲の音響信号を楽曲情報算出手段５２および楽曲再生手段５６に出力可能である。

楽曲情報算出手段５２には、楽曲データ蓄積手段５１から出力された音響信号が入力される。楽曲情報算出手段５２は、上述した楽曲情報算出装置１と等しい処理を行い、楽曲構成に関する楽曲ストーリー情報を算出する。すなわち、入力された音響信号からストーリー値とストーリーノードと抑揚度とを算出する。生成されたストーリー情報は、演出パターン生成手段５３に出力される。

演出パターン生成手段５３は、楽曲情報算出手段５２から出力された楽曲のストーリー情報に基づいて映像の演出パターンを生成する。ここで演出パターンとは、再生時刻と、その再生時刻に実行すべき映像効果処理との対応を示す情報である。映像効果処理とは、映像に何らかの変化を与える処理であり、フェードインやフェードアウト、画像の回転等の処理等が含まれる。生成された演出パターンは、演出テーブルとして演出テーブル格納手段５４に格納される。

図７は、演出パターン生成手段５３により生成された演出パターンに関する演出テーブルの一例である。図７に示す演出テーブルは、ノード種別と、そのノード種別のストーリーノードが検出された時に実行すべき映像効果処理との対応を示す。ノード種別とは、実施の形態１でも述べたように、音楽的な属性を示すものであり、それぞれ音楽的な意味合いを有するものである。図８は、楽曲情報算出手段５２により算出されたストーリー情報の時間変化と演出パターンとの関係を示す図である。縦軸は抑揚度を示し、横軸は楽曲の再生時刻を示す。また実施の形態１と同様に各ストーリーノードにおける抑揚度がストーリー値となる。なお図中の各ノード間に付された符号は、図７の演出テーブルの映像効果に付された番号と対応する。例えば、図７において楽曲のノード種別が「楽曲開始点」となる箇所（図８の（１）となるノード間）では、「フェードイン」に相当する映像効果処理が行われる。つまり、ノード種別が「楽曲開始点」であるストーリーノードの時刻においては、フェードイン、すなわち、時間の経過とともに画像を次第に明瞭に表示させる映像効果処理が実行される。また例えば、ノード種別が「ブレーク」となる箇所（図８の（４）となるノード間）では、表示手段５１０に黒画面を０．５秒間表示する映像効果処理が行われる。またさらに、ノード種別が「サビ開始点」となる箇所（図８では（５）となるノード間）では、画像を１秒間回転させる映像効果処理が行われる。このように演出パターン生成手段は、楽曲ストーリーの変化に応じた映像効果を付与するための演出テーブルを生成する。なお演出テーブルにおけるノード種別と映像効果との対応関係は、ユーザーにより変更可能であってもよい。例えば、ノード種別が「サビの開始」となる箇所では、「ユーザーにより選択された写真を表示する」など種々の組み合わせが可能である。

再生制御手段５５は、利用者からの選曲指示に基づいて、楽曲データ蓄積手段５１に蓄積された音響信号の出力を指示する。また再生制御手段５５は、楽曲再生手段５６に対して楽曲の再生および停止等を含む再生制御を行う。

楽曲再生手段５６は、再生制御手段５５により指示され、楽曲データ蓄積手段５１から出力された音響信号を利用者に聴取可能な形態で出力する。例えば音響信号は、スピーカでの拡声の形態により出力される。

同期手段５７は、楽曲再生手段５６による楽曲の再生進行状況を監視するとともに、楽曲の再生進行とを同期させるための同期信号を生成し出力する。同期手段５７により生成される同期信号は、後述する映像生成手段５９により生成映像データと楽曲とを同期させるために用いられる信号である。同期手段５７は、生成した同期信号を映像生成手段５９に出力する。

画像データ蓄積手段５８は、少なくとも１つ以上の画像データを蓄積する。画像データとして、静止画像あるいは動画像が蓄積される。蓄積された画像データは、映像生成手段５９からの指示により出力する。

映像生成手段５９は、画像データ蓄積手段５８に蓄積された画像データを順次取得し、ストーリーノード毎に映像に変化を与えながら表示を行うことにより映像データを生成する。さらに映像生成手段５９は、同期手段５７から出力される同期信号に合わせて当該映像データを再生し、表示手段５１０に出力する。映像データを生成する際、映像生成手段５９は、演出テーブルに基づいて、所定の再生時刻において表示する画像に対して所定の映像効果を与える処理を行う。このように映像生成手段５９は、演出テーブルに基づいて映像編集の専門家が行うような編集処理を自動的に行うことができる。

表示手段５１０は、ディスプレイ装置等に相当し、映像生成手段５９が出力した映像データを可視画像として表示する。

次に、楽曲再生装置５００を用いた再生処理について説明する。図９は、楽曲再生装置５００における楽曲の再生処理を示すフローチャートである。図９の処理は、利用者の指示により再生制御手段５５に楽曲Ａの選曲指示が入力されることにより開始する。まずステップＳ３１において、楽曲データ蓄積手段５１は、再生制御手段５５の指令により楽曲Ａの音響信号を楽曲情報算出手段５２に出力する。

次にステップＳ３２の処理において楽曲情報算出手段５２は、図３で示した処理により楽曲Ａに関する楽曲情報を算出する。これにより、楽曲Ａのストーリーノードと抑揚度（ストーリー値）とノード種別とが出力される。

続くステップＳ３３の処理において演出パターン生成手段５３は演出パターンを生成する。演出パターン生成手段５３は、あらかじめ演出テーブル格納手段５４に格納された演出テーブル中のノード種別と映像効果との対応関係に従って、ステップＳ３２により得られたストーリーノードに対応する映像効果処理を決定する。決定された演出パターンは、映像生成手段５９に出力される。

次にステップＳ３４において、楽曲再生手段５６は、再生制御手段５５の指令により楽曲Ａの再生を開始する。また楽曲Ａの再生と同時に同期手段は、映像生成手段５９に同期信号を出力する。

ステップＳ３５の処理において映像生成手段５９は、演出パターン生成手段５３により生成された演出パターンからストーリーノードの有無を判断する。ストーリーノードがある場合、映像生成手段５９は、ステップＳ３６において演出パターンに従い画像に対し映像効果処理を施した映像データを生成する。一方、ストーリーノードが無い場合、映像生成手段５９は、画像に対し映像効果処理を行わずに映像データを生成し、ステップＳ３７の処理に移行する。そしてステップＳ３７の処理において生成された映像データは、同期信号にしたがって再生され表示手段５１０に表示される。

次にステップＳ３８の処理において映像生成手段５９は、演出パターンから映像データの生成進行か否かを判別する。映像データの生成を進行する場合には、映像生成手段５９は再びステップＳ３５の処理に移行し、次のストーリーノードの有無を判断した後ステップＳ３６以降同様の処理を行う。一方、演出パターンに映像の生成が指示されていない場合には、ステップＳ３９の処理へ移行する。

ステップＳ３９では、楽曲再生手段５６は再生制御手段５５からの再生停止に関する指令を受けて楽曲Ａの再生を停止する。同時に映像生成手段５９は、再生停止に関する同期信号を受けて映像データの再生を停止する。以上により、楽曲再生装置５００における再生処理は終了する。

以上のように、本実施の形態に係る楽曲再生装置は、音響信号の特徴量から楽曲構成を把握することができるので、曲調や曲の盛り上がりの変化に基づいた映像の演出を容易に行うことができる。また、ユーザーは楽曲を聴取することなく、音楽的な属性に応じた映像の演出が可能であるので利便性の高い楽曲再生装置を実現することができる。さらに本実施の形態に係る楽曲再生装置は、楽曲の再生と同期して映像を生成するので、視覚的・聴覚的に効果のある音楽および映像の再生を行うことができる。

なお、本実施の形態において、演出パターンはノード種別毎に決定されたが、これに限られない。図９において、ストーリー値の大小に応じて演出パターンを決定してもよい。例えば、抑揚度の大きい領域では、画像の切り替え周期の短い映像データを生成し、抑揚度が小さい領域では画像の切り替え周期の長い映像データを生成してもよい。また例えば、ストーリー値が大きいときは色調の明るい画像が選択され、ストーリー値が小さいときは色調の暗い画像が選択される演出を行ってもよい。

なお、実施の形態１および２における楽曲情報算出装置および楽曲情報算出手段は、楽曲と同期させて映像を表示する楽曲再生装置に用いられたが、これに限られない。例えば、楽曲のノード種別が「ブレーク開始点」から「ブレーク終了点」間の領域では、室内の照明を暗転する等、他の装置と組み合わせた演出処理を行ってもよい。

なお、実施の形態１および２における楽曲情報算出装置および楽曲情報算出手段は、音響パラメータとして短時間パワー平均とゼロクロス値とを用いたが、これに限られない。例えば、音響パラメータとしてクロマベクトルを用いて、楽曲の音階構造の類似性に関する評価関数を評価関数算出手段により算出してもよい。これにより、音階構造の繰り返し部分の境界を検出し、チャプター内の楽曲構成をも把握することができる。すなわち、Ａメロ、Ｂメロなどの境界を示すチャプター部分のストーリーノードを算出することができる。これにより楽曲情報算出装置は、さらに詳細な楽曲構成を把握することができる。

また例えば、音響パラメータとしてＭＦＣＣ（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ）を用いてもよい。これにより、音響信号の振幅包絡特徴や音色に関する特徴が得ることができる。評価関数算出手段は、ＭＦＣＣを用いることで音楽の大局的な音色の変化を表す評価関数を算出する。したがって楽曲情報算出装置は、音色の変化の境界、すなわちキメの開始、終了部分のストーリーノードを検出することができる。

なお、実施の形態１および２における楽曲情報算出装置および楽曲情報算出手段は、音響パラメータとしてゼロクロス値を用いたが、これに限られない。ゼロクロス値に代わり、例えばスペクトラムセントロイド（ＳｐｅｃｔｒｕｍＣｅｎｔｒｏｉｄ）を用いてもよい。

なお、実施の形態１および２において抑揚度は、式１に示したように短時間パワー平均値とゼロクロス値との積を用いたが、これに限られない。例えば、式３に示すように短時間パワー平均値のみを用いてもよい。
ｔｌｖ（ｔ）＝ｒｍｓ（ｔ） （式３）
これにより、式１を用いる場合と比較して演算量を抑えることができる。

なお、実施の形態１および２において評価関数算出手段は、入力した音響信号を周波数領域に変換し、変換された信号の分布から評価関数を算出してもよい。

なお、実施の形態１および２に係る楽曲情報算出装置および楽曲情報算出手段は、コンピュータに内蔵または接続されるハードウェアデバイスによって実行される形態であってもよく、またはコンピュータが当該処理の一部をソフトウェア上で実行される形態であってもよい。

本発明の楽曲情報算出装置及び楽曲再生装置は、楽曲の特徴に合わした映像の演出が要望されている、楽曲再生装置や映像再生装置などに好適である。

実施の形態１に係る楽曲情報算出装置の構成を示すブロック図 実施の形態１に係る楽曲情報算出装置の処理過程における出力信号の時間変化を示す図 実施の形態１に係る楽曲情報算出装置における楽曲情報算出処理を示すフローチャート 実施の形態１に係る楽曲情報算出装置により算出されるストーリー情報の時間変化を示す図 実施の形態１におけるストーリーノード属性の一例を示す図 実施の形態２に係る楽曲再生装置の構成を示すブロック図 実施の形態２に係る楽曲再生装置における演出パターンの演出テーブルの一例を示す図 実施の形態２に係る楽曲再生装置における楽曲ストーリー情報の時間変化と演出パターンとの関係を示す図 実施の形態２に係る楽曲再生装置における楽曲の再生処理を示すフローチャート

符号の説明

１ 楽曲情報算出装置
１１ 音響信号入力手段
１２ 音響パラメータ算出手段
１３ 抑揚度算出手段
１４ 評価関数算出手段
１５ ストーリーノード判定手段
１６ ストーリー値算出手段
１７ 判定規則格納手段
５１ 楽曲データ蓄積手段
５２ 楽曲情報算出手段
５３ 演出パターン生成手段
５４ 演出テーブル格納手段
５５ 再生制御手段
５６ 楽曲再生手段
５７ 同期手段
５８ 画像データ蓄積手段
５９ 映像生成手段
５００ 楽曲再生装置
５１０ 表示手段

Claims (15)

1. 楽曲の音響信号を入力する音響信号入力手段と、
   少なくとも前記楽曲の音量を示す第１音響パラメータを前記音響信号から算出する音響パラメータ算出手段と、
   前記楽曲の抑揚を示す抑揚度を少なくとも前記第１音響パラメータに基づいて算出する抑揚度算出手段と、
   少なくとも前記第１音響パラメータに基づいて、前記楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、
   前記算出されたストーリーノードと前記ストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出手段とを備えることを特徴とする、楽曲情報算出装置。
2. 前記ストーリーノード算出手段は、前記第１音響パラメータの値の変化に基づいてストーリーノードを算出することを特徴とする、請求項１に記載の楽曲情報算出装置。
3. 前記ストーリー情報算出手段は、前記算出された抑揚度に基づいてストーリーノードの種類を算出し、前記ストーリーノードと前記ストーリーノードの時刻における抑揚度と前記ストーリーノードの種類との対応を示す情報を、楽曲の構成を示すストーリー情報として算出することを特徴とする、請求項１に記載の楽曲情報算出装置。
4. 前記音響パラメータ算出手段は、前記楽曲の音色を示す第２音響パラメータを前記音響信号からさらに算出し、
   前記抑揚度算出手段は、前記第１音響パラメータと前記第２音響パラメータとに基づいて抑揚度を算出することを特徴とする、請求項１に記載の楽曲情報算出装置。
5. 前記第１音響パラメータは、音響信号の短時間パワー平均値であり、
   前記第２音響パラメータは、音響信号のゼロクロス値であり、
   前記抑揚度算出手段は、前記抑揚度として音響信号の短時間パワー平均値とゼロクロス値との積を算出することを特徴とする、請求項４に記載の楽曲情報算出装置。
6. 前記第２音響パラメータは、音響信号のゼロクロス値、メル周波数ケプストラム係数、およびスペクトラムセントロイドのうちいずれか１つであることを特徴とする、請求項４に記載の楽曲情報算出装置。
7. 前記第１音響パラメータは、音響信号の短時間パワー平均値、メル周波数ケプストラム係数、およびスペクトラムセントロイドのうちいずれか１つであることを特徴とする、請求項１に記載の楽曲情報算出装置。
8. 楽曲に合わせて映像を再生する楽曲再生装置であって、
   楽曲の音響信号を蓄積する音響信号蓄積手段と、
   画像データを蓄積する画像データ蓄積手段と、
   少なくとも前記楽曲の音量を示す第１音響パラメータを前記音響信号から算出する音響パラメータ算出手段と、
   前記楽曲の抑揚を示す抑揚度を少なくとも前記第１音響パラメータに基づいて算出する抑揚度算出手段と、
   少なくとも前記第１音響パラメータに基づいて、前記楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、
   前記算出されたストーリーノードと前記ストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出手段と、
   前記楽曲の音響信号を再生する楽曲再生手段と、
   前記画像データを用いて映像を生成する映像生成手段と、
   前記映像生成手段によって生成された映像を前記楽曲再生手段による楽曲の再生に同期して表示する表示手段とを備え、
   前記映像生成手段は、前記ストーリー情報に含まれるストーリーノードにより定められる時点で映像の内容に所定の変化を与えるように映像を生成し、当該ストーリーノードの時点における抑揚度に基づいて当該所定の変化の種類を決定する、楽曲再生装置。
9. 楽曲のストーリーノードの種類と、当該種類のストーリーノードにより定められる時点で映像に与えるべき変化の種類との対応を示す演出テーブルを格納する演出テーブル格納手段をさらに備え、
   前記ストーリー情報算出手段は、ストーリーノードの種類を、当該ストーリーノードの時点における抑揚度に基づいて決定し、ストーリーノードと当該ストーリーノードの時刻における抑揚度と当該ストーリーノードの種類との対応を示す情報をストーリー情報として算出し、
   前記映像生成手段は、前記ストーリー情報に含まれるストーリーノードの時点で映像の内容に所定の変化を与えるように映像を生成し、当該ストーリーノードの種類に基づいて当該所定の変化の種類を決定する、請求項８に記載の楽曲再生装置。
10. 前記演出テーブル格納手段は、楽曲終了となるストーリーノードとフェードアウト処理との対応を含む演出テーブルを格納し、
    前記映像生成手段は、前記算出されたストーリーノードの種類が楽曲終了となるストーリーノードの終了時点から所定時間前の時点より映像のフェードアウト処理を実行することを特徴とする、請求項９に記載の楽曲再生装置。
11. 前記映像生成手段によって実行される、映像の内容に変化を与える処理は、フェードイン処理、フェードアウト処理、画像の切替処理および画像の回転処理のうちいずれか１つであることを特徴とする、請求項８に記載の楽曲再生装置。
12. 楽曲の音響信号を入力する音響信号入力ステップと、
    少なくとも前記楽曲の音量を示す第１音響パラメータを前記音響信号から算出する音響パラメータ算出ステップと、
    前記楽曲の抑揚を示す抑揚度を少なくとも前記第１音響パラメータに基づいて算出する抑揚度算出ステップと、
    少なくとも前記第１音響パラメータに基づいて、前記楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出ステップと、
    前記算出されたストーリーノードと前記ストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出ステップとを備えることを特徴とする、楽曲情報算出方法。
13. 楽曲の音響信号を入力する音響信号入力手段と、
    少なくとも前記楽曲の音量を示す第１音響パラメータを前記音響信号から算出する音響パラメータ算出手段と、
    前記楽曲の抑揚を示す抑揚度を少なくとも前記第１音響パラメータに基づいて算出する抑揚度算出手段と、
    少なくとも前記第１音響パラメータに基づいて、前記楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、
    前記算出されたストーリーノードと前記ストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出手段とを備えることを特徴とする、楽曲情報算出回路。
14. 楽曲の構成を示すストーリー情報を算出する楽曲情報算出装置のコンピュータに実行させるためのプログラムであって、
    楽曲の音響信号を入力する音響信号入力ステップと、
    少なくとも前記楽曲の音量を示す第１音響パラメータを前記音響信号から算出する音響パラメータ算出ステップと、
    前記楽曲の抑揚を示す抑揚度を少なくとも前記第１音響パラメータに基づいて算出する抑揚度算出ステップと、
    少なくとも前記第１音響パラメータに基づいて、前記楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出ステップと、
    前記算出されたストーリーノードと前記ストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を前記ストーリー情報として算出するストーリー情報算出ステップとを前記コンピュータに実行させる、プログラム。
15. 請求項１４に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。

Images