WO2006003848A1

WO2006003848A1 - 楽曲情報算出装置及び楽曲再生装置

Info

Publication number: WO2006003848A1
Application number: PCT/JP2005/011622
Authority: WO
Inventors: Junichi Tagawa; Hiroaki Yamane
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2004-06-30
Filing date: 2005-06-24
Publication date: 2006-01-12
Also published as: CN1950879A; CN1950879B; US7446252B2; JPWO2006003848A1; US20070256548A1; JP4817388B2

Abstract

　楽曲の音響信号から楽曲の構成を把握することのできる楽曲情報算出装置を提供する。　楽曲の音響信号を入力する音響信号入力手段と、少なくとも楽曲の音量を示す第１音響パラメータを音響信号から算出する音響パラメータ算出手段と、楽曲の抑揚を示す抑揚度を少なくとも第１音響パラメータに基づいて算出する抑揚度算出手段と、少なくとも第１音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出手段とを備える。

Description

明細書

楽曲情報算出装置及び楽曲再生装置

技術分野

[0001] 本発明は、楽曲情報を算出する装置に関し、特定的には照明、映像等を楽曲に合わせて演出する装置を制御するための情報を楽曲の音響信号力算出し、当該情報を提供する装置および照明、演出の制御を伴った楽曲再生装置に関する。

背景技術

[0002] 従来より、楽曲の再生に合わせて映像を演出する装置として、音響信号から音楽的な特徴を算出して映像の演出を行う装置が提案されている (特許文献 1)。この装置は、楽曲のデータ力も低周波成分やパターンを算出してリズム情報を取得し、得られたリズム情報に同期させて画像を表示するものである。特許文献 1の装置は、楽曲の音楽的特徴としてリズム情報を算出するので、リズムに合わせた映像の表示演出効果を変ィ匕させることができる。

特許文献 1 :特開 2000— 148107号公報

発明の開示

発明が解決しょうとする課題

[0003] 一般に楽曲は、曲調や曲の盛り上がりが経過時間とともに変化することから、音楽的な時間構成や脈絡といった楽曲構成を有している。しカゝしながら、特許文献 1に記載された画像処理装置は、楽曲の音楽的特徴のうちリズムのみに着目し表示演出を行うものであった。そのため、例えば「音楽の盛り上がつているところでは画像をすばやく切り替える」や「サビの頭力も画像の種類を変更する」等と!/、つた、楽曲構成に着目した視覚的効果の高い演出が困難であるという課題を有していた。

[0004] また、上記のような音楽的な意味を勘案し、視覚的効果の高い演出を行う場合には、操作者が楽曲を聴取することにより、手作業で楽曲構成を取得する必要があった。そのため、楽曲の音楽的特徴に合わせた視覚的効果の高い映像を演出することは容易ではなかった。

[0005] そこで本発明の目的は、楽曲の音響信号から楽曲構成を把握することのできる楽曲情報算出装置を提供することにある。

[0006] また本発明の目的は、取得した楽曲構成に基づいて、視覚的効果の高い映像演出および音楽再生を行う楽曲再生装置を提供することにある。

課題を解決するための手段

[0007] 本発明の目的は、以下の楽曲情報算出装置によって達成される。楽曲の音響信号を入力する音響信号入力手段と、少なくとも楽曲の音量を示す第 1音響パラメータを音響信号から算出する音響パラメータ算出手段と、楽曲の抑揚を示す抑揚度を少なくとも第 1音響パラメータに基づいて算出する抑揚度算出手段と、少なくとも第 1音響ノメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出手段とを備える。

[0008] この構成により、音響信号から楽曲の構成が音楽的に変化する時刻と楽曲の盛り上がり度合いとを楽曲情報として算出することができるので、楽曲を聴取することなく容易に楽曲構成を把握することができる。

[0009] 好ましくは、ストーリーノード算出手段は、第 1音響パラメータの値の変化に基づいてストーリーノードを算出する。

[0010] この構成により、音響信号から楽曲の構成が音楽的に変化する時刻を算出することができるので、楽曲を聴取することなく容易に楽曲構成を把握することができる。

[0011] 好ましくは、ストーリー情報算出手段は、算出された抑揚度に基づいてストーリーノードの種類を算出し、ストーリーノードとストーリーノードの時刻における抑揚度とスト一リーノードの種類との対応を示す情報を、楽曲の構成を示すストーリー情報として算出する。

[0012] この構成により、各ストーリーノードにおける音楽的な意味合いを把握することができるので、楽曲を聴取することなくさらに詳細に楽曲構成を把握することができる。

[0013] 好ましくは、音響パラメータ算出手段は、楽曲の音色を示す第 2音響パラメータを音響信号からさらに算出し、抑揚度算出手段は、第 1音響パラメータと第 2音響パラメ一タとに基づいて抑揚度を算出する。 [0014] この構成により、音響信号から音色あるいは音量に関する特徴量を算出すること〖こより、楽曲の構成が音楽的に変化する時刻と楽曲の盛り上がり度合いを取得することができる。

[0015] 好ましくは、第 1音響パラメータは、音響信号の短時間パワー平均値であり、第 2音響パラメータは、音響信号のゼロクロス値であり、抑揚度算出手段は、抑揚度として音響信号の短時間パワー平均値とゼロクロス値との積を算出する。

[0016] この構成により、音響信号力楽曲の盛り上がり度合いの変化を検出することができるので、楽曲を聴取することなく楽曲構成の把握が可能である。

[0017] 好ましくは、第 2音響パラメータは、音響信号のゼロクロス値、メル周波数ケプストラム係数、およびスペクトラムセントロイドのうちいずれか 1つである。

[0018] この構成により、音響信号力も音色に関する特徴量を算出することができ、楽曲を聴取することなく楽曲構成を把握することができる。また、ゼロクロス値を用いることにより少ない演算量で音色に関する特徴量を算出することができ、メル周波数ケプストラム係数、スペクトラムセントロイドを用いることにより、音色に関する特徴や振幅包絡特徴を得ることができる。

[0019] 第 1音響パラメータは、音響信号の短時間パワー平均値、メル周波数ケプストラム係数、およびスペクトラムセントロイドのうちいずれ力 1つである。

[0020] この構成により、楽曲の音響信号力音量に関する特徴量を算出することができるので、楽曲を聴取することなく楽曲構成を把握することができる。また、短時間パワー平均値を用いることにより少ない演算量で音量に関する特徴量を算出することができる。

[0021] 本発明の目的は、以下の楽曲再生装置によって達成される。楽曲に合わせて映像を再生する楽曲再生装置であって、楽曲の音響信号を蓄積する音響信号蓄積手段と、画像データを蓄積する画像データ蓄積手段と、少なくとも楽曲の音量を示す第 1 音響パラメータを音響信号力も算出する音響パラメータ算出手段と、楽曲の抑揚を示す抑揚度を少なくとも第 1音響パラメータに基づいて算出する抑揚度算出手段と、少なくとも第 1音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出手段と、楽曲の音響信号を再生する楽曲再生手段と、画像データを用いて映像を生成する映像生成手段と、映像生成手段によって生成された映像を楽曲再生手段による楽曲の再生に同期して表示する表示手段とを備え、映像生成手段は、ストーリー情報に含まれるストーリーノードにより定められる時点で映像の内容に所定の変化を与えるように映像を生成し、ストーリーノードの時点における抑揚度に基づいて所定の変化の種類を決定する。

[0022] この構成により、楽曲構成に基づいて映像の内容に変化を与えることができるので、視覚的効果の高い映像演出および音楽再生を行うことができる。

[0023] 好ましくは、楽曲のストーリーノードの種類と、当該種類のストーリーノードの時点で映像に与えるべき変化の種類との対応を示す演出テーブルを格納する演出テープル格納手段をさらに備え、ストーリー情報算出手段は、ストーリーノードの種類を、当該ストーリーノードの時点における抑揚度に基づいて決定し、ストーリーノードと当該ストーリーノードの時刻における抑揚度と当該ストーリーノードの種類との対応を示す情報をストーリー情報として算出し、映像生成手段は、ストーリー情報に含まれるスト一リーノードの時点で映像の内容に所定の変化を与えるように映像を生成し、当該ストーリーノードの種類に基づいて当該所定の変化の種類を決定する。

[0024] この構成により、各ストーリーノードにおける音楽的な意味合いを把握することができるので、楽曲を聴取することなくさらに詳細な楽曲構成を把握することができる。これにより、楽曲構成に着目した視覚的効果の高いバリエーションの豊かな演出が可能となる。

[0025] 好ましくは、演出テーブル格納手段は、楽曲終了となるストーリーノードとフェードァゥト処理との対応を含む演出テーブルを格納し、映像生成手段は、算出されたスト一リーノードの種類が楽曲終了となるストーリーノードの終了時点から所定時間前の時点より映像のフェードアウト処理を実行する。

[0026] 好ましくは、映像生成手段によって実行される、映像の内容に変化を与える処理は、フェードイン処理、フェードアウト処理、画像の切替処理および画像の回転処理のうちいずれ力 1つである。 [0027] この構成により、楽曲を聴取することなぐ自動的にストーリーノードの種類に応じた映像の演出が可能となるので、利便性の高い楽曲再生装置を提供することができる。またこの構成により、楽曲を聴取することなく映像編集の専門家が行うような編集処理を容易に行うことができる。

[0028] 本発明の目的は、以下の楽曲情報算出方法によって達成される。楽曲の音響信号を入力する音響信号入力ステップと、少なくとも楽曲の音量を示す第 1音響パラメ一タを音響信号力も算出する音響パラメータ算出ステップと、楽曲の抑揚を示す抑揚度を少なくとも第 1音響パラメータに基づいて算出する抑揚度算出ステップと、少なくとも第 1音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出ステップと、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出ステップとを備える。

[0029] 本発明の目的は、以下の楽曲情報算出回路によって達成される。楽曲の音響信号を入力する音響信号入力手段と、少なくとも楽曲の音量を示す第 1音響パラメータを音響信号から算出する音響パラメータ算出手段と、楽曲の抑揚を示す抑揚度を少なくとも第 1音響パラメータに基づいて算出する抑揚度算出手段と、少なくとも第 1音響ノメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出手段とを備える。

[0030] 本発明の目的は、以下のコンピュータに実行させるプログラムによって達成される。

楽曲の構成を示すストーリー情報を算出する楽曲情報算出装置のコンピュータに実行させるためのプログラムであって、楽曲の音響信号を入力する音響信号入カステツプと、少なくとも楽曲の音量を示す第 1音響パラメータを音響信号力算出する音響ノラメータ算出ステップと、楽曲の抑揚を示す抑揚度を少なくとも第 1音響パラメータに基づいて算出する抑揚度算出ステップと、少なくとも第 1音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出ステップと、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するスト一リー情報算出ステップとを前記コンピュータに実行させる。

[0031] 本発明の目的は、以下の記録媒体によって達成される。楽曲の構成を示すストーリ一情報を算出する楽曲情報算出装置のコンピュータに実行させるためのプログラムであって、

楽曲の構成を示す楽曲情報を算出する楽曲情報算出装置のコンピュータに実行させるためのプログラムであって、楽曲の音響信号を入力する音響信号入力ステップと、少なくとも楽曲の音量を示す第 1音響パラメータを音響信号力も算出する音響パラメータ算出ステップと、楽曲の抑揚を示す抑揚度を少なくとも第 1音響パラメータに基づいて算出する抑揚度算出ステップと、少なくとも第 1音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出ステップと、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出ステップとをコンピュータに実行させるプログラムを記録している。発明の効果

[0032] 以上のように本発明の楽曲情報算出装置により、楽曲の音響信号力楽曲構成を把握することのできる楽曲情報算出装置を提供することができる。

[0033] また、以上のように本発明の楽曲再生装置により、取得した楽曲構成に基づいて、視覚的効果の高い映像演出および音楽再生を行う楽曲再生装置を提供することができる。

図面の簡単な説明

[0034] [図 1]図 1は、実施の形態 1に係る楽曲情報算出装置の構成を示すブロック図である

[図 2]図 2は、実施の形態 1に係る楽曲情報算出装置の処理過程における出力信号の時間変化を示す図である。

[図 3]図 3は、実施の形態 1に係る楽曲情報算出装置における楽曲情報算出処理を示すフローチャートである。

[図 4]図 4は、実施の形態 1に係る楽曲情報算出装置により算出されるストーリー情報の時間変化を示す図である。

[図 5]図 5は、実施の形態 1におけるストーリーノード属性の一例を示す図である。

[図 6]図 6は、実施の形態 2に係る楽曲再生装置の構成を示すブロック図である。

[図 7]図 7は、実施の形態 2に係る楽曲再生装置における演出パターンの演出テープルの一例を示す図である。

[図 8]図 8は、実施の形態 2に係る楽曲再生装置における楽曲ストーリー情報の時間変化と演出パターンとの関係を示す図である。

[図 9]図 9は、実施の形態 2に係る楽曲再生装置における楽曲の再生処理を示すフロ一チャートである。

符号の説明

1 楽曲情報算出装置

11 音響信号入力手段

12 音響パラメータ算出手段

13 抑揚度算出手段

14 評価関数算出手段

15 ストーリーノード判定手段

16 ストーリー値算出手段

17 判定規則格納手段

51 楽曲データ蓄積手段

52 楽曲情報算出手段

53 演出パターン生成手段

54 演出テーブル格納手段

55 再生制御手段

56 楽曲再生手段

57 同期手段

58 画像データ蓄積手段

59 映像生成手段

500 楽曲再生装置 510 表示手段

発明を実施するための最良の形態

[0036] (実施の形態 1)

図 1は、本発明の実施の形態 1に係る楽曲情報算出装置の構成を示すブロック図である。図 1において楽曲情報算出装置 1は、音響信号入力手段 11と、音響パラメータ算出手段 12と、抑揚度算出手段 13と、評価関数算出手段 14と、ストーリーノード判定手段 15と、ストーリー値算出手段 16、判定規則格納手段 17とを中心に構成される。楽曲情報算出装置は、例えばコンピュータの一部として実現される。

[0037] 図 1では音響パラメータ算出手段 12と抑揚度算出手段 13と評価関数算出手段 14 とストーリーノード判定手段 15とストーリー値算出手段 16とをそれぞれ別体のブロックによって示している力これらは必ずしも別体である必要は無ぐ LSIなどの集積回路や専用の信号処理回路を用、て 1チップ化したものを用いても良い。またこれらのブロックの機能に相当する回路をそれぞれチップィ匕しても良い。 LSIがテンポラリメモリを有する場合には、判定規則格納手段 17は LSIに含まれてもよい。なお、ここでは L SIとした力集積度の違いにより、 IC、システム LSI、スーパー LSI、ウルトラ LSIと呼称されることもある。また、集積回路化の手法は LSIに限るものではなぐ専用回路又は汎用プロセッサで実現してもよい。 LSI製造後に、プログラムすることが可能な FPG A (Field Programmable Gate Array)や、 LSI内部の回路セルの接続や設定を再構成可能なリコンフィギユラブル'プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術により LSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積ィ匕を行ってもよい。

[0038] 一般に楽曲には、その始まりから終わりに至るまでに曲調の変化する部分や楽曲の盛り上がる部分、リズムの変化する部分、楽節の変化する部分等が存在する。すなわち楽曲は、音楽的な時間構成や脈絡といった楽曲構成を有している。本実施の形態において、このような音楽的な時間構成や脈絡を、以下「楽曲ストーリー」という。また、音楽的な時間構成や脈絡の境界を、以下「ストーリーノード」あるいは「ノード」という。なおストーリーノードは、楽曲の始まりからの経過時間を示す時刻情報（以下、「再生時刻」とヽぅ）により表現される。 [0039] 図 2は、ある楽曲に関し、図 1の各構成要素により算出される特徴量の時間変化を示したものである。図 2 (A)〜（E)は、それぞれ後述する短時間パワー平均値、ゼロクロス値、抑揚度、評価関数、ストーリー値の時間変化を示す。各図の縦軸は各構成要素よる出力値であり、横軸は楽曲の始まりからの経過時間である。図 2 (D) (E)に示す「nl」〜「n5」は音楽的な境界であるストーリーノードと判定された再生時刻である。

[0040] 音響信号入力手段 11は、処理対象となる楽曲の音響信号を入力する。音響信号は、例えばノヽードディスクドライブ等の記録媒体に格納された 1曲分全体の PCMデータである。なお音響信号は、 1曲分全体が入力された後で音響パラメータ算出手段に出力されてもよいし、音響信号の入力に対して特徴量の算出がリアルタイムに行われる場合には逐次入力および出力がされてもよい。逐次入力および出力が行われることにより、リアルタイムで処理を行うことも可能である。

[0041] 音響パラメータ算出手段 12は、あら力じめ定めた 1つまたは複数の音響パラメータを逐次または 1曲分全体に渡り算出する。ここで音響パラメータとは、音響信号の波形あるいは波形を分析して得られる特徴量であり、時間関数として表現される。本実施の形態では音響パラメータとして、短時間パワー平均値 rms (t)と、ゼロクロス値 zcr (t)とが用いられる。短時間パワー平均値は、音響信号を所定の単位時間毎の区間に区切った場合における、当該区間内における音響信号の振幅の 2乗平均平方であって、当該区間内における音響信号の平均振幅の大きさを表す。この短時間パヮ一平均値は、楽曲の音量の変化を表す指標である。またゼロクロス値は、上記区間内において音響信号の符号が変化する回数を示す。ゼロクロス値は、楽曲の音色を表す指標である。これらの短時間パワー平均値およびゼロクロス値を用いることにより、音響パラメータ算出手段 12は、比較的少ない演算処理量で楽曲の音量や音色等を算出することができる。図 2 (A)は、音響パラメータ算出手段 12により出力された短時間パワー平均値の時間変化である。同様に図 2 (B)はゼロクロス値の時間変化である。図 2 (A) (B)に示すように、短時間パワー平均値およびゼロクロス値は楽曲の経過時間とともに変動している。

[0042] 抑揚度算出手段 13は、 1つまたは複数の音響パラメータに基づいて抑揚度を算出する。ここで抑揚度とは、楽曲の盛り上がりの度合い、すなわち楽曲の抑揚の度合いをいい、時間関数として表現される。本実施の形態において、抑揚度は短時間パヮ一平均値とゼロクロス値とから以下の式により算出される。

tlv (t) =rms (t) X zcr (t) (式 1)

(式 1)に示すように、「音量 (短時間パワー平均値)が大きぐ音色 (ゼロクロス値)が高い」部分は、曲の盛り上がる部分であると判断することができる。このように、短時間パワー平均値とゼロクロス値とを乗じた値により、再生時刻における曲の盛り上がり度合いを把握することができるとともに、 1楽曲全体に渡る楽曲の抑揚を把握することができる。図 2 (C)は、抑揚度算出手段 13の出力信号の時間変化を示す。図 2 (C)は、抑揚度の数値が増大するに従、、楽曲は音楽的に高揚して、ることを示す。

[0043] 評価関数算出手段 14は、 1つまたは複数の音響パラメータに基づいて評価関数を算出する。評価関数とは、音楽的な境界であるストーリーノードを検出するための関数であり、時間関数として表現される。本実施の形態における評価関数 fxl (t)は、音響パラメータのうち短時間パワー平均値を用いて以下の式で定義される。

fxl (t) = - (rms (t) -rms (t- 1) ) (式 2)

一般に、音楽的な境界となるストーリーノードでは音量が大きく変動すると考えられる。したがって、評価関数として短時間パワー平均値の変化量を算出することにより、音楽的な境界、すなわちストーリーノードを検出することができる。図 2 (D)は、評価関数算出手段 14の出力信号の時間変化を示す。図 2 (D)に示す例では、 1楽曲中には評価関数の値が大きく変動する箇所が複数存在する。

[0044] 判定規則格納手段 17は、ノード種別毎に定義された判定規則を格納する。ここでノード種別とは、楽曲構成の音楽的な意味合いを表し、音楽的な属性を示すものである。また判定規則とは、後述するストーリーノード判定手段 15により評価関数が特定のストーリーノードに該当するか否かを判定するために用いられるものである。一例としてノード種別には「キメ (tutti)開始点および終了点」、「ブレーク開始点および終了点」、「チャプター開始点および終了点」、「楽曲開始点および終了点」等がある。そして、これらのノード種別は、それぞれ次のような音楽的な意味合いを有している。例えば「キメ」とは、楽曲に変化をもたせるために楽曲中に短時間挿入される印象的なフレーズ部分であり、「ブレーク」とは、楽曲に変化をもたらすために楽曲中に短時間挿入される静寂部分である。また「チャプター」とは、イントロ、 Aメロ、 Bメロなど楽曲を構成する基本単位を示す。さらに「楽曲開始、終了」とは、楽曲データ前後の無音部分を含まない、実質的に楽曲が開始、終了部分を表す。

[0045] ここで判定規則の一例として、ノード種別が「ブレーク開始点」の場合にっ、て説明する。判定規則格納手段 17は、「ブレークの開始点」に関して以下のように定義された判定規則を格納する。

(D fxl (t)が極大値を示す再生時刻をノード候補とし、 fxlの値を優先度とする。

(2)優先度順にノード候補を算出する際、算出対象となるノード候補の前後 5秒間に、より優先度の高いノード候補が存在する場合には、算出対象となるノード候補は、ノード候補力除外される。

(3)上記（2)の手順でノードを順次算出し、あらかじめ定めた上限個数に達したらノード判定処理を終了する。

[0046] このように判定規則格納手段 17には、評価関数がストーリーノードに該当するか否力の判定を行うために定義された規則がノード種別毎に格納されている。

[0047] ストーリーノード判定手段 15は、算出された評価関数が音楽的な境界であるスト一リーノードに該当するか否かを判定する。かかる場合、判定処理は、判定規則格納手段 17に格納された判定規則に基づいて算出された評価関数が特定のノード種別に該当する力否かを判定することにより行う。ストーリーノード判定手段 15は、算出された評価関数が特定のノード種別に該当すると判定した場合、該当する時刻 (ストーリ一ノード）とノード種別とをストーリー値算出手段 16に出力する。図 2に示す「nl」〜「 n5」は、ストーリーノード判定手段 15によりノード種別が「ブレーク」に該当すると判定された位置である。このように、ストーリーノード判定手段 15は、評価関数から音楽的な境界であるストーリーノードの検出をすることができる。

[0048] ストーリー値算出手段 16は、抑揚度算出手段 13により得られた抑揚度と、ストーリ一ノード判定手段 15により得られたストーリーノードとからストーリー値を算出する。ここでストーリー値とは、楽曲構成の時間的な構成を示すための数値である。なお本実施の形態においては、ストーリー値としてそれぞれのストーリーノードにおける抑揚度の値を算出する。図 2 (E)において、ストーリー値算出手段 16は、各ストーリーノード ( nl〜n5)における抑揚度をストーリー値として算出する。

[0049] 次に、本実施の形態における楽曲ストーリーの算出手順について説明する。図 3は、楽曲情報算出処理を示すフローチャートである。図 3の処理は、例えば楽曲情報算出装置の電源が投入されることにより行われる。

[0050] まずステップ S 11において、音響信号入力手段 11は、記録媒体に格納された音響信号を読み込む。音響信号入力手段 11は、図示しないハードディスクドライブに格納された 1曲分全体の PCMデータを読み込む。続いて、ステップ S12において音響信号入力手段 11は、読み込まれた音響信号を音響パラメータ算出手段 12が処理可能な形態のデータ形式に変換し、音響パラメータ算出手段 12に出力する。

[0051] 次にステップ S13の処理では、音響信号の特徴量を示す音響パラメータが算出される。すなわち音響パラメータ算出手段 12は、音響信号入力手段 11により出力された音響信号のデータに基づいて、短時間パワー平均値とゼロクロス値とを算出する。音響パラメータ算出手段 ₁₂は、算出した短時間パワー平均値を抑揚度算出手段 ₁₃ および評価関数算出手段 14に出力する。算出されたゼロクロス値は抑揚度算出手段 13に出力される。

[0052] ステップ S14の処理では、楽曲の抑揚を示す抑揚度が算出される。抑揚度算出手段 13は、ステップ S13により得られた短時間パワー平均とゼロクロス値と力も式 1に従つて抑揚度を算出する。算出された抑揚度はストーリー値算出手段 16に出力される

[0053] 次にステップ S15の処理では評価関数が算出される。上述のように評価関数は、ストーリーノードを検出するために用いられる関数である。評価関数算出手段 14は、ステツプ S13で得られた短時間パワー平均値力式 2に従って評価関数を算出する。算出された評価関数は、ストーリーノード判定手段 15に出力される。

[0054] ステップ S16の処理において、ストーリーノード判定手段 15は、ステップ S15で算出された評価関数が特定のノード種別に該当する力否かの判定を行う。かかる場合、ストーリーノード判定手段 15による判定処理は、判定規則格納手段 17に格納された判定規則に基づいて行われる。続くステップ S17では、判定処理の結果、評価関数が特定のノード種別に該当する場合には、ストーリーノード判定手段 15により該当する再生時刻 (ストーリーノード)および当該ノード種別がストーリー値算出手段 16に出力される。

[0055] 次にステップ S 18の処理では、ストーリー値算出手段 16は、ストーリー情報を算出する。ストーリー情報とは、楽曲のストーリー (構成)を示す情報であり、具体的には、各ストーリーノードの時刻における抑揚度を示す情報である。すなわちストーリー値算出手段 16は、ステップ S14で算出された抑揚度の中から、ステップ S17により得られたストーリーノードの時刻における抑揚度をストーリー値として算出する。さらに本実施の形態では、ストーリー値算出手段 16は、算出されたストーリー値と、当該ストーリ一値に対応するストーリーノードと、当該ストーリーノードのノード種別とをストーリー情報として出力する。以上により、楽曲情報の算出に関する一連の処理は終了する。なお、図 3に示す処理において、抑揚度が算出された後に評価関数が算出されたが、これに限られない。ステップ S14の処理と、ステップ S 15ないし S 17の処理との順序を入れ替えても、図 3に示す処理と同様に楽曲のストーリー情報を得ることができる。

[0056] 図 4は、ある楽曲 Aに関する抑揚度の変化とストーリーノードとの関係を示す。また図 5には楽曲 Aに関するストーリーノードの属性を表す。図 4の縦軸は抑揚度の値、横軸は時刻を表し、上述のように各ストーリーノードにおける抑揚度の値がストーリー値となる。図中の実線の曲線 214は、楽曲 Aの抑揚度の時間変化を示す。曲線 214 の線上にプロットされたノード 201〜213は、ストーリーノード判定手段により特定のノード種別に該当すると判定されたストーリーノードである。さらに図中の破線は、スト一リー値の時間変化を示し、ノード 201〜213を直線的に結んだ線である。楽曲情報算出装置 1は、上述したフローチャートに従って楽曲 Aの音響信号の処理をすることによりストーリー情報を算出し、図 5に示す楽曲 Aに関するストーリーノードの属性を取得することができる。このように楽曲情報算出装置 1は、楽曲 A中の音楽的な境界（ストーリーノード）と、境界における抑揚度 (ストーリー値）とを取得する。したがって楽曲情報算出装置は、音響信号力もストーリー情報を算出することにより楽曲構成の把握を可能としている。

[0057] 以上のように、本実施の形態に係る楽曲情報算出装置は、音響信号の特徴量から、 1楽曲全体に渡り音楽的な境界を検出することができる。そしてさらに、音響信号の特徴量力も各時刻における音楽的な属性を検出することができる。したがって、ユーザ一は楽曲を聴取することなぐ容易に楽曲構成を把握することができる。

[0058] (実施の形態 2)

図 6は、実施の形態 2に係る楽曲再生装置 500の構成を示す概略図である。図 6において、楽曲再生装置 500は楽曲データ蓄積手段 51と、楽曲情報算出手段 52と、演出パターン生成手段 53と、演出テーブル格納手段 54と、再生制御手段 55と、楽曲再生手段 56と、同期手段 57と、画像データ蓄積手段 58と、映像生成手段 59と、表示手段 510とを備える。この楽曲再生装置 500は、楽曲の再生に合わせて画像を表示する装置であって、実施の形態 1に係る方法によって得られるストーリー情報を用いて、画像の切り替えおよび Zまたは編集等を行う装置である。

[0059] 本実施の形態では楽曲情報算出手段 52と、演出パターン生成手段 53と、同期手段 57と、映像生成手段 59とをそれぞれ別体のブロックによって示している力これらは必ずしも別体である必要は無ぐ LSIなどの集積回路や専用の信号処理回路を用 V、て 1チップィ匕したものを用いても良、。またこれらのブロックの機能に相当するものをそれぞれチップィ匕しても良い。 LSIがテンポラリメモリを有する場合には、演出テーブル格納手段 54は LSIに含まれてもよい。なお、ここでは LSIとした力集積度の違いにより、 IC、システム LSI、スーパー LSI、ウルトラ LSIと呼称されることもある。また、集積回路化の手法は LSIに限るものではなぐ専用回路又は汎用プロセッサで実現してもよい。 LSI製造後に、プログラムすることが可能な FPGA (Field Programma ble Gate Array)や、 LSI内部の回路セルの接続や設定を再構成可能なリコンフィギユラブル ·プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術により LSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積ィ匕を行ってもょ、。

[0060] 楽曲データ蓄積手段 51は、少なくとも 1以上の楽曲の音響信号を蓄積し、例えばハードディスク装置等に相当する。楽曲データ蓄積手段 51は、再生制御手段 55により選択された楽曲の音響信号を楽曲情報算出手段 52および楽曲再生手段 56に出力可能である。 [0061] 楽曲情報算出手段 52には、楽曲データ蓄積手段 51から出力された音響信号が入力される。楽曲情報算出手段 52は、上述した楽曲情報算出装置 1と等しい処理を行い、楽曲構成に関する楽曲ストーリー情報を算出する。すなわち、入力された音響信号からストーリー値とストーリーノードと抑揚度とを算出する。生成されたストーリー情報は、演出パターン生成手段 53に出力される。

[0062] 演出パターン生成手段 53は、楽曲情報算出手段 52から出力された楽曲のストーリ一情報に基づいて映像の演出パターンを生成する。ここで演出パターンとは、再生時刻と、その再生時刻に実行すべき映像効果処理との対応を示す情報である。映像効果処理とは、映像に何らかの変化を与える処理であり、フェードインやフェードァゥト、画像の回転等の処理等が含まれる。生成された演出パターンは、演出テーブルとして演出テーブル格納手段 54に格納される。

[0063] 図 7は、演出パターン生成手段 53により生成された演出パターンに関する演出テ一ブルの一例である。図 7に示す演出テーブルは、ノード種別と、そのノード種別のストーリーノードが検出された時に実行すべき映像効果処理との対応を示す。ノード種別とは、実施の形態 1でも述べたように、音楽的な属性を示すものであり、それぞれ音楽的な意味合いを有するものである。図 8は、楽曲情報算出手段 52により算出されたストーリー情報の時間変化と演出パターンとの関係を示す図である。縦軸は抑揚度を示し、横軸は楽曲の再生時刻を示す。また実施の形態 1と同様に各ストーリーノードにおける抑揚度力 Sストーリー値となる。なお図中の各ノード間に付された符号は、図 7の演出テーブルの映像効果に付された番号と対応する。例えば、図 7において楽曲のノード種別が「楽曲開始点」となる箇所 (図 8の（1)となるノード間)では、「フエードイン」に相当する映像効果処理が行われる。つまり、ノード種別が「楽曲開始点」であるストーリーノードの時刻においては、フェードイン、すなわち、時間の経過とともに画像を次第に明瞭に表示させる映像効果処理が実行される。また例えば、ノード種別が「ブレーク」となる箇所（図 8の（4)となるノード間）では、表示手段 510に黒画面を 0. 5秒間表示する映像効果処理が行われる。またさらに、ノード種別が「サビ開始点」となる箇所（図 8では（5)となるノード間）では、画像を 1秒間回転させる映像効果処理が行われる。このように演出パターン生成手段は、楽曲ストーリーの変化に応じた映像効果を付与するための演出テーブルを生成する。なお演出テーブルにおけるノード種別と映像効果との対応関係は、ユーザーにより変更可能であってもよい。例えば、ノード種別が「サビの開始」となる箇所では、「ユーザーにより選択された写真を表示する」など種々の組み合わせが可能である。

[0064] 再生制御手段 55は、利用者からの選曲指示に基づいて、楽曲データ蓄積手段 51 に蓄積された音響信号の出力を指示する。また再生制御手段 55は、楽曲再生手段 56に対して楽曲の再生および停止等を含む再生制御を行う。

[0065] 楽曲再生手段 56は、再生制御手段 55により指示され、楽曲データ蓄積手段 51から出力された音響信号を利用者に聴取可能な形態で出力する。例えば音響信号は、スピーカでの拡声の形態により出力される。

[0066] 同期手段 57は、楽曲再生手段 56による楽曲の再生進行状況を監視するとともに、楽曲の再生進行とを同期させるための同期信号を生成し出力する。同期手段 57により生成される同期信号は、後述する映像生成手段 59により生成映像データと楽曲とを同期させるために用いられる信号である。同期手段 57は、生成した同期信号を映像生成手段 59に出力する。

[0067] 画像データ蓄積手段 58は、少なくとも 1つ以上の画像データを蓄積する。画像データとして、静止画像あるいは動画像が蓄積される。蓄積された画像データは、映像生成手段 59からの指示により出力する。

[0068] 映像生成手段 59は、画像データ蓄積手段 58に蓄積された画像データを順次取得し、ストーリーノード毎に映像に変化を与えながら表示を行うことにより映像データを生成する。さらに映像生成手段 59は、同期手段 57から出力される同期信号に合わせて当該映像データを再生し、表示手段 510に出力する。映像データを生成する際、映像生成手段 59は、演出テーブルに基づいて、所定の再生時刻において表示する画像に対して所定の映像効果を与える処理を行う。このように映像生成手段 59は、演出テーブルに基づいて映像編集の専門家が行うような編集処理を自動的に行うことができる。

[0069] 表示手段 510は、ディスプレイ装置等に相当し、映像生成手段 59が出力した映像データを可視画像として表示する。 [0070] 次に、楽曲再生装置 500を用いた再生処理について説明する。図 9は、楽曲再生装置 500における楽曲の再生処理を示すフローチャートである。図 9の処理は、利用者の指示により再生制御手段 55に楽曲 Aの選曲指示が入力されることにより開始する。まずステップ S31において、楽曲データ蓄積手段 51は、再生制御手段 55の指令により楽曲 Aの音響信号を楽曲情報算出手段 52に出力する。

[0071] 次にステップ S32の処理において楽曲情報算出手段 52は、図 3で示した処理により楽曲 Aに関する楽曲情報を算出する。これにより、楽曲 Aのストーリーノードと抑揚度 (ストーリー値)とノード種別とが出力される。

[0072] 続くステップ S33の処理において演出パターン生成手段 53は演出パターンを生成する。演出パターン生成手段 53は、あら力じめ演出テーブル格納手段 54に格納された演出テーブル中のノード種別と映像効果との対応関係に従って、ステップ S32 により得られたストーリーノードに対応する映像効果処理を決定する。決定された演出パターンは、映像生成手段 59に出力される。

[0073] 次にステップ S34において、楽曲再生手段 56は、再生制御手段 55の指令により楽曲 Aの再生を開始する。また楽曲 Aの再生と同時に同期手段は、映像生成手段 59 に同期信号を出力する。

[0074] ステップ S35の処理において映像生成手段 59は、演出パターン生成手段 53により生成された演出パターンからストーリーノードの有無を判断する。ストーリーノードがある場合、映像生成手段 59は、ステップ S36において演出パターンに従い画像に対し映像効果処理を施した映像データを生成する。一方、ストーリーノードが無い場合、映像生成手段 59は、画像に対し映像効果処理を行わずに映像データを生成し、ステツプ S37の処理に移行する。そしてステップ S37の処理にお!、て生成された映像データは、同期信号にしたがって再生され表示手段 510に表示される。

[0075] 次にステップ S38の処理において映像生成手段 59は、演出パターンから映像データの生成進行カゝ否かを判別する。映像データの生成を進行する場合には、映像生成手段 59は再びステップ S35の処理に移行し、次のストーリーノードの有無を判断した後ステップ S36以降同様の処理を行う。一方、演出パターンに映像の生成が指示されて、な、場合には、ステップ S39の処理へ移行する。 [0076] ステップ S39では、楽曲再生手段 56は再生制御手段 55からの再生停止に関する指令を受けて楽曲 Aの再生を停止する。同時に映像生成手段 59は、再生停止に関する同期信号を受けて映像データの再生を停止する。以上により、楽曲再生装置 50 0における再生処理は終了する。

[0077] 以上のように、本実施の形態に係る楽曲再生装置は、音響信号の特徴量から楽曲構成を把握することができるので、曲調や曲の盛り上がりの変化に基づいた映像の演出を容易に行うことができる。また、ユーザーは楽曲を聴取することなぐ音楽的な属性に応じた映像の演出が可能であるので利便性の高い楽曲再生装置を実現することができる。さらに本実施の形態に係る楽曲再生装置は、楽曲の再生と同期して映像を生成するので、視覚的 ·聴覚的に効果のある音楽および映像の再生を行うことができる。

[0078] なお、本実施の形態において、演出パターンはノード種別毎に決定された力これに限られない。図 9において、ストーリー値の大小に応じて演出パターンを決定してもよい。例えば、抑揚度の大きい領域では、画像の切り替え周期の短い映像データを生成し、抑揚度が小さ!ヽ領域では画像の切り替え周期の長!ヽ映像データを生成してもよい。また例えば、ストーリー値が大きいときは色調の明るい画像が選択され、スト一リー値が小さいときは色調の暗い画像が選択される演出を行ってもよい。

[0079] なお、実施の形態 1および 2における楽曲情報算出装置および楽曲情報算出手段は、楽曲と同期させて映像を表示する楽曲再生装置に用いられたが、これに限られない。例えば、楽曲のノード種別が「ブレーク開始点」から「ブレーク終了点」間の領域では、室内の照明を暗転する等、他の装置と組み合わせた演出処理を行ってもよい。

[0080] なお、実施の形態 1および 2における楽曲情報算出装置および楽曲情報算出手段は、音響パラメータとして短時間パワー平均とゼロクロス値とを用いたが、これに限られない。例えば、音響パラメータとしてクロマベクトルを用いて、楽曲の音階構造の類似性に関する評価関数を評価関数算出手段により算出してもよい。これにより、音階構造の繰り返し部分の境界を検出し、チャプター内の楽曲構成をも把握することができる。すなわち、 Aメロ、 Bメロなどの境界を示すチャプター部分のストーリーノードを算出することができる。これにより楽曲情報算出装置は、さらに詳細な楽曲構成を把握することができる。

[0081] また例えば、音響パラメータとして MFCC (Mel Frequency Cepstrum Coeffi cient)を用いてもよい。これにより、音響信号の振幅包絡特徴や音色に関する特徴が得ることができる。評価関数算出手段は、 MFCCを用いることで音楽の大局的な音色の変化を表す評価関数を算出する。したがって楽曲情報算出装置は、音色の変化の境界、すなわちキメの開始、終了部分のストーリーノードを検出することができる。

[0082] なお、実施の形態 1および 2における楽曲情報算出装置および楽曲情報算出手段は、音響パラメータとしてゼロクロス値を用いた力これに限られない。ゼロクロス値に代わり、例えばスペクトラムセントロイド（SpectrumCentroid)を用いてもよい。

[0083] なお、実施の形態 1および 2において抑揚度は、式 1に示したように短時間パワー平均値とゼロクロス値との積を用いた力これに限られない。例えば、式 3に示すように短時間パワー平均値のみを用いてもよ!、。

tlv (t) =rms (t) (式 3)

これにより、式 1を用いる場合と比較して演算量を抑えることができる。

[0084] なお、実施の形態 1および 2において評価関数算出手段は、入力した音響信号を周波数領域に変換し、変換された信号の分布力も評価関数を算出してもよい。

[0085] なお、実施の形態 1および 2に係る楽曲情報算出装置および楽曲情報算出手段は

、コンピュータに内蔵または接続されるハードウェアデバイスによって実行される形態であってもよぐまたはコンピュータが当該処理の一部をソフトウェア上で実行される形態であってもよい。

産業上の利用可能性

[0086] 本発明の楽曲情報算出装置及び楽曲再生装置は、楽曲の特徴に合わした映像の演出が要望されている、楽曲再生装置や映像再生装置などに好適である。

Claims

請求の範囲

[1] 楽曲の音響信号を入力する音響信号入力手段と、

少なくとも前記楽曲の音量を示す第 1音響パラメータを前記音響信号から算出する音響パラメータ算出手段と、

前記楽曲の抑揚を示す抑揚度を少なくとも前記第 1音響パラメータに基づいて算出する抑揚度算出手段と、

少なくとも前記第 1音響パラメータに基づいて、前記楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、

前記算出されたストーリーノードと前記ストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するスト一リー情報算出手段とを備えることを特徴とする、楽曲情報算出装置。

[2] 前記ストーリーノード算出手段は、前記第 1音響パラメータの値の変化に基づいてストーリーノードを算出することを特徴とする、請求項 1に記載の楽曲情報算出装置。

[3] 前記ストーリー情報算出手段は、前記算出された抑揚度に基づいてストーリーノードの種類を算出し、前記ストーリーノードと前記ストーリーノードの時刻における抑揚度と前記ストーリーノードの種類との対応を示す情報を、楽曲の構成を示すストーリー情報として算出することを特徴とする、請求項 1に記載の楽曲情報算出装置。

[4] 前記音響パラメータ算出手段は、前記楽曲の音色を示す第 2音響パラメータを前記音響信号からさらに算出し、

前記抑揚度算出手段は、前記第 1音響パラメータと前記第 2音響パラメータとに基づいて抑揚度を算出することを特徴とする、請求項 1に記載の楽曲情報算出装置。

[5] 前記第 1音響パラメータは、音響信号の短時間パワー平均値であり、

前記第 2音響パラメータは、音響信号のゼロクロス値であり、

前記抑揚度算出手段は、前記抑揚度として音響信号の短時間パワー平均値とゼロクロス値との積を算出することを特徴とする、請求項 4に記載の楽曲情報算出装置。

[6] 前記第 2音響パラメータは、音響信号のゼロクロス値、メル周波数ケプストラム係数、およびスペクトラムセントロイドのうちいずれか 1つであることを特徴とする、請求項 4 に記載の楽曲情報算出装置。

[7] 前記第 1音響パラメータは、音響信号の短時間パワー平均値、メル周波数ケプストラム係数、およびスペクトラムセントロイドのうちいずれ力 1つであることを特徴とする、請求項 1に記載の楽曲情報算出装置。

[8] 楽曲に合わせて映像を再生する楽曲再生装置であって、

楽曲の音響信号を蓄積する音響信号蓄積手段と、

画像データを蓄積する画像データ蓄積手段と、

前記算出されたストーリーノードと前記ストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するスト一リー情報算出手段と、

前記楽曲の音響信号を再生する楽曲再生手段と、

前記画像データを用いて映像を生成する映像生成手段と、

前記映像生成手段によって生成された映像を前記楽曲再生手段による楽曲の再生に同期して表示する表示手段とを備え、

前記映像生成手段は、前記ストーリー情報に含まれるストーリーノードにより定められる時点で映像の内容に所定の変化を与えるように映像を生成し、当該ストーリーノードの時点における抑揚度に基づいて当該所定の変化の種類を決定する、楽曲再生装置。

[9] 楽曲のストーリーノードの種類と、当該種類のストーリーノードにより定められる時点で映像に与えるべき変化の種類との対応を示す演出テーブルを格納する演出テーブル格納手段をさらに備え、

前記ストーリー情報算出手段は、ストーリーノードの種類を、当該ストーリーノードの時点における抑揚度に基づいて決定し、ストーリーノードと当該ストーリーノードの時刻における抑揚度と当該ストーリーノードの種類との対応を示す情報をストーリー情報として算出し、

前記映像生成手段は、前記ストーリー情報に含まれるストーリーノードの時点で映像の内容に所定の変化を与えるように映像を生成し、当該ストーリーノードの種類に基づいて当該所定の変化の種類を決定する、請求項 8に記載の楽曲再生装置。

[10] 前記演出テーブル格納手段は、楽曲終了となるストーリーノードとフェードアウト処理との対応を含む演出テーブルを格納し、

前記映像生成手段は、前記算出されたストーリーノードの種類が楽曲終了となるストーリーノードの終了時点力所定時間前の時点より映像のフェードアウト処理を実行することを特徴とする、請求項 9に記載の楽曲再生装置。

[11] 前記映像生成手段によって実行される、映像の内容に変化を与える処理は、フエードイン処理、フェードアウト処理、画像の切替処理および画像の回転処理のうちいずれ力 1つであることを特徴とする、請求項 8に記載の楽曲再生装置。

[12] 楽曲の音響信号を入力する音響信号入力ステップと、

少なくとも前記楽曲の音量を示す第 1音響パラメータを前記音響信号から算出する音響パラメータ算出ステップと、

前記楽曲の抑揚を示す抑揚度を少なくとも前記第 1音響パラメータに基づいて算出する抑揚度算出ステップと、

少なくとも前記第 1音響パラメータに基づいて、前記楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出ステップと、

前記算出されたストーリーノードと前記ストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するスト一リー情報算出ステップとを備えることを特徴とする、楽曲情報算出方法。

[13] 楽曲の音響信号を入力する音響信号入力手段と、

前記楽曲の抑揚を示す抑揚度を少なくとも前記第 1音響パラメータに基づいて算出する抑揚度算出手段と、少なくとも前記第 1音響パラメータに基づいて、前記楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、

前記算出されたストーリーノードと前記ストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するスト一リー情報算出手段とを備えることを特徴とする、楽曲情報算出回路。

[14] 楽曲の構成を示すストーリー情報を算出する楽曲情報算出装置のコンピュータに実行させるためのプログラムであって、

楽曲の音響信号を入力する音響信号入力ステップと、

前記算出されたストーリーノードと前記ストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を前記ストーリー情報として算出するストーリー情報算出ステツプとを前記コンピュータに実行させる、プログラム。

[15] 請求項 14に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。