JP5191025B2 - 後続楽曲抽出システムおよび後続楽曲抽出方法 - Google Patents

Description

本発明は、先行する楽曲から次に再生される楽曲を抽出できるようにした後続楽曲抽出システムに関するものである。

近年では、保存された大量の楽曲データの中から順次楽曲データを読み出して再生させるようにした機器が普及してきている。一般的に、このような機器を用いて楽曲を聴く場合、あらかじめＣＤやインターネットなどから楽曲データをダウンロードしておき、メモリに記憶されている順序で楽曲を再生させるか、あるいは、シャッフル機能を用いてランダムに再生させることが多い。

しかしながら、前者のようにメモリに記憶させた順序で楽曲を再生させる場合、利用者に飽きをもたらせてしまうことになりかねない。また、後者のようにランダムに楽曲を再生させる場合は、後続する楽曲とのつながりが不自然なものになってしまう可能性がある。

これに対して、下記の特許文献１には、再生中の楽曲を分析して特徴量を求めておき、この分析処理によって得られた特徴量と楽曲検索用情報保存装置に保存された特徴量とに基づいて次の楽曲を選択して再生リストを作成する方法が提案されている。この特許文献１において楽曲の特徴量を抽出する場合、楽曲の一曲全体における振幅分布状況を表す抑揚度と、全体における周波数分布の比率である周波数比の二つを抽出し、後続の楽曲を抽出するようにしている。

また、下記の特許文献２には、あらかじめ複数の楽曲データの属性情報を記憶しておき、先頭の音楽と最後の楽曲を指定することによって、その属性情報に基づいて先頭から最後の楽曲までの再生リストを生成する方法が提案されている。ここで「属性情報」として、音楽タイトル、ジャンル、再生時間、さびの特徴的部分の位置などが用いられている。

特開2008-251093号公報 特開2010-040103号公報

しかしながら、上述のような方法で次の楽曲のリストを生成する場合、次のような問題を生じる。

すなわち、前者のように楽曲全体における特徴量を抽出して後続の楽曲を決定する方法では、楽曲が長い場合、その特徴量を抽出するのに時間がかかってしまう。また、楽曲全体で抽出された特徴量に基づいてのみ後続楽曲を抽出すれば、例えば、楽曲全体としての特徴量は類似しているにもかかわらず、力強く終わる楽曲の次に繊細な冒頭部分を有する楽曲を再生してしまう場合のように、楽曲と楽曲のつながりが不自然になってしまう場合がある。

また、後者のように、あらかじめ楽曲の属性情報を記憶させておく方法では、あらかじめその属性情報を記憶させておかなければ、その属性情報に基づいて楽曲リストを抽出することができない。また、前者と同様に、先行楽曲の末尾と後続楽曲の先頭部分のつながりが不自然になる可能性もある。

そこで、本発明は、再生される楽曲から次の楽曲を抽出する場合に、先行する楽曲との間で自然なつながりを持たせることができるように、後続の楽曲を抽出できるようにしたシステムを提供することを目的とする。

すなわち、本発明は上記課題を解決するために、あらかじめ記憶された複数の楽曲の中から先行楽曲の次に再生される楽曲を抽出する後続楽曲抽出システムにおいて、先行楽曲の末尾を含む一部の区間から、当該区間の特徴データである末尾パラメターを抽出する末尾パラメター抽出手段と、前記複数の楽曲の中から、楽曲の先頭を含む一部の区間の特徴データである先頭パラメターを抽出する先頭パラメター抽出手段と、前記末尾パラメターと先頭パラメターとの接続条件を決める条件記憶手段と、先行楽曲の末尾パラメターから前記接続条件を参照し、当該接続条件を満たす先頭パラメターを有する楽曲を抽出する後続楽曲抽出手段とを備え、接続条件と満たす後続楽曲を複数仮決めし、当該仮決めされた複数の後続楽曲から更に接続条件を満たす後続楽曲を順次決め、全体として最も長く複数の楽曲を連結することができる場合に、当該連結を再生リストとして抽出するようにした
ものである。

本発明によれば、再生されている楽曲と次の楽曲の接続部分のつながりを自然なものにすることができ、また、複数の楽曲の中から順次後続楽曲を抽出した場合であっても、徐々に接続条件を満たす楽曲が少なくなってしまう可能性がなくなる。

本発明の一実施の形態である後続楽曲抽出システムの機能ブロック図 同形態における一部の区間を抽出する方法を示す図 同形態における一部の区間における音圧に関するパラメターを示す図 同形態における一部の区間における周波数に関するパラメターを示す図 同形態における接続条件を示す図 同形態における後続楽曲抽出方法を示すフローチャート 同形態における一部の区間を抽出するフローチャート 同形態におけるパラメターを抽出するフローチャート

以下、本発明の一実施の形態である後続楽曲抽出システム１について図面を参照しながら説明する。この実施の形態である後続楽曲抽出システム１は、複数の楽曲を記憶する記憶デバイスや、再生された楽曲のリストや音源データを出力する出力デバイスなどを備えてなるもので、例えば、携帯電話、携帯型音楽再生装置、パーソナルコンピューターなどで構成される。また、このような装置単体だけでなく、複数の楽曲を記憶する記憶デバイスと、その記憶デバイスに記憶された複数の楽曲データの中から後続の楽曲のリストや楽曲データそのものを出力する出力デバイスとを通信回線を通じて接続したシステムなどによっても構成することができる。

この後続楽曲抽出システム１の具体的構成について、図１の機能ブロック図を用いて説明する。この後続楽曲抽出システム１は、複数の楽曲データを格納する記憶手段２と、その記憶手段２に格納された楽曲の先頭や末尾の一部の区間の波形データを抽出する区間データ抽出手段３と、その抽出された一部の区間の特徴量である先頭パラメターや末尾パラメターを抽出する先頭パラメター抽出手段４および末尾パラメター抽出手段５と、これらの先頭パラメターや末尾パラメターの接続条件を格納する条件記憶手段６と、先行楽曲の末尾パラメターから接続条件を参照して、その接続条件を満たす先頭パラメターを有する楽曲を抽出する後続楽曲抽出手段７とを備えて構成される。以下、各機能実現手段について詳細に説明する。なお、これらの各機能実現手段は、コンピューターを構成する記憶デバイスやＣＰＵなどの演算装置、スピーカーやディスプレイなどの出力装置などを協働させて実現される。

まず、この後続楽曲抽出システム１を構成する記憶手段２には、大量の楽曲データが保存される。この記憶手段２に楽曲データを保存する場合は、ＣＤなどから楽曲データを読み取って保存するほか、インターネットなどを介して楽曲データをダウンロードして保存する。楽曲データの中には、WAVE形式などのような無圧縮形式のものや、MP3形式のような非可逆圧縮形式のものなどが存在するが、ここではファイル形式を特定することなく保存するものとする。

区間データ抽出手段３では、この記憶手段２に記憶されている楽曲データの中から一の楽曲データを読み出し、その楽曲の先頭を含む一部の区間の波形データや、末尾を含む一部の区間の波形データを抽出する。楽曲データを読み出す場合、まず、その読み出された楽曲データをコンバーターによって所定のファイル形式（例えば、WAVE形式）に変換し、その後、その統一されたファイル形式で先頭および末尾を含む一部の区間の波形データを抽出する。

楽曲データの中から「一部の区間」の波形データを抽出する場合、第一の方法として、時間単位で一部の区間の波形データを抽出する（図２（ａ））。この時間単位で一部の区間の波形データを抽出する場合、抽出された楽曲の波形データのうち、先頭および末尾の無音区間を除去し、その無音区間を除去した先頭もしくは末尾から所定の時間（例えば、３秒〜５秒の時間）の波形データを抽出する。無音区間を除去する方法としては、例えば、楽曲の音圧を計測して、その音圧がゼロである区間を無音区間として除去する方法などを用いる。

また、この「一部の区間」の他の方法として、拍単位、あるいは、小節単位の区間を抽出する方法も用いることもできる（図２（ｂ））。具体的には、先頭・末尾の拍から所定拍までの区間、あるいは、先頭・末尾の小節から所定小節までの区間を用いる。このような拍や小節単位で一部の区間を抽出すれば、音楽的構成を有する単位で区間を抽出することができるため、その音楽的構成を有する一つのまとまりからパラメターを抽出することができるようになる。

拍単位で一部の区間を抽出する方法について説明すると、まず、無音区間を除く一定の時間区間だけ楽曲の先頭や末尾から波形データを抽出する（図２（ｂ１））。そして、その波形データについて移動平均を行うことなどによって振幅包絡を算出し（図２（ｂ２））、これを時間関数とみなして高速フーリエ変換を行う（図２（ｂ３））。そして、その高速フーリエ変換によって求められた信号のうち、最もパワースペクトルの大きな周波数の逆数を演算して、それを拍の周期とみなし、その周期毎における一定時間幅内で最も大きな音圧を有する時刻を探索して（図２（ｂ４））、その時刻を拍の時刻とみなす。そして、その拍の数を先頭あるいは末尾からカウントして所定拍までの時刻の波形データを抽出する（図２（ｂ５））。

また、小節単位で一部の区間を抽出する場合は、同様の処理によって拍時刻を推定するとともに（（図２（ｂ１）〜（ｂ５））、その拍時刻における音圧を測定し、所定値以上の音圧を有する音が繰り返される時間単位を「小節」とする。すなわち、一般に４／４拍子の楽曲の場合は、「強拍、小拍、中拍、小拍」と音圧が繰り返され、また、３／３拍子の楽曲の場合は「強拍、中拍、小拍」と音圧が繰り返される。このため、まず拍の位置を特定するとともに、最も大きな音圧（強拍）を有する時刻の時間間隔を小節の時間長とみなして小節の時間単位を特定する。そして、楽曲の先頭もしくは末尾から所定の小節単位で楽曲の波形データを抽出していく（図２（ｂ６））。

次に、先頭パラメター抽出手段４や末尾パラメター抽出手段５では、このように抽出された一定区間の波形データからその特徴量であるパラメターを抽出する。このパラメターとしては、その一定区間の音圧に関するパラメターや、周波数に関するパラメターなどを用い、その音圧に関するパラメターとして、平均音圧、音圧の時間変化などを用いる。また、周波数に関するパラメターとしては、その一定区間におけるスペクトル重心、最もパワースペクトルの大きな周波数成分に関するパラメターなどを用いる。

このうち、音圧に関するパラメターを抽出する場合は、その一定区間の波形データである時間関数を二乗して音響パワーを算出し、その移動平均をとることによって平滑化された振幅包絡を求める。そして、その振幅包絡を積分して音圧の総和を算出するとともに、それを時間長で割ることによって平均音圧を算出する（図３（ａ））。また、音圧の時間変化を算出する場合は、図３（ｂ）に示すように、音圧の減衰率や増加率を一次関数で近似し、その傾き（ａ、ａ’）や切片（ｂ、ｂ’）をパラメターとして抽出する。なお、ここでは減衰率や増加率を一次関数として近似するようにしているが、二次関数や三次関数などのｎ次関数で近似する場合は、ｎ次係数をパラメターとして抽出する。一方、音圧の周期を音圧に関するパラメターとして抽出する場合は、先に算出された最も大きなパワースペクトルを有する周波数の逆数を拍の周期とみなし、その周期内で最も大きな音圧を有する時刻の時間間隔をビート数（BPM：Beat Per Minutes）として抽出する。

周波数に関するパラメターを抽出する場合は、図４（ａ）に示すように、その一定区間の波形データについて周波数解析し、各周波数におけるスペクトルの大きさなどからスペクトル重心を求めるほか、図４（ｂ）に示すように、最も大きなパワースペクトルをもつ周波数などもパラメターとして抽出する。これらのパラメターは、楽曲の先頭を含む一部の区間から抽出されるとともに、楽曲の末尾を含む一部の区間からも抽出され、それぞれ先頭パラメターおよび末尾パラメターとして楽曲データに関連づけて読み出される。

条件記憶手段６は、これらの末尾パラメターを有する楽曲の後続楽曲として再生するためにふさわしい先頭パラメターの接続条件を記憶する（図５）。音圧に関するパラメターの接続条件のうち、平均音圧に関するパラメターの接続条件を決定する場合は、先行楽曲の末尾パラメターである平均音圧に対して、後続楽曲の先頭としてふさわしい平均音圧の割合を記憶する。具体的には、平均音圧がＸｄＢである場合、接続条件としては、そのＸｄＢのＡ１％の範囲内の平均音圧としての割合（Ａ１％）を記憶する。また、平均音圧の時間変化に対する接続条件を決める場合は、一次関数で近似された傾きの大きさ（ａ）や切片（ｂ）に対して、許容される後続楽曲の傾きの大きさ（ａ’）や切片（ｂ’）の範囲を接続条件として記憶させておく。具体的には、図３（ｂ）に示すように、傾きを横軸、切片を縦軸とした二次元空間内において、先行楽曲の傾きや切片を有する位置を特定し、そこから一定の距離Ａ２の範囲内の傾きの大きさや切片を接続条件として記憶させておくようにする。音圧の時間変化をｎ次関数として近似しておく場合は、その関数におけるｎ次係数に対応する空間内における距離を接続条件として記憶させておく。

一方、周波数に関するパラメターを接続条件として記憶させておく場合は、先行楽曲のスペクトル重心Ｘに対して許容される周波数までの距離Ａ３を接続条件として記憶させておく。また、最も大きなパワースペクトルを有する周波数をパラメターとして記憶させておく場合は、接続条件として、その周波数から許容される周波数までの幅Ａ４を接続条件として記憶させておく。この周波数に関するパラメターを接続条件として記憶させた場合は、先行楽曲と後続楽曲の接続部分における音域を近づけることができるというメリットがある。

後続楽曲抽出手段７は、先行楽曲の末尾パラメターに対して接続条件を参照し、その接続条件を満たす先頭パラメターを有する楽曲のリストや楽曲データを抽出する。この接続条件を満たす後続楽曲が複数抽出される場合は、前記音圧に関するパラメターや周波数に関するパラメターのそれぞれを算出し、すべてのパラメターにおいて最も接続条件を満たしている楽曲を後続楽曲として抽出する。

また、複数の楽曲の中から順次後続楽曲を抽出したのでは、徐々に接続条件を満たす楽曲が少なくなってしまう可能性がある。このような場合は、接続条件を満たす楽曲が見つからなかった場合は、接続条件に最も近いパラメターを有する楽曲を抽出するようにしてもよい。

もしくは、あらかじめ複数の楽曲からすべての再生リストを一連のリストとして生成しておく場合は、接続条件を満たす後続楽曲を仮に決めておき、その仮決めされた複数の後続楽曲から更に接続条件を満たす後続楽曲を順次決めていく。そして、全体として最も長く複数の楽曲を連結することができる場合に、それを再生リストとして抽出する。

次に、このように構成された後続楽曲抽出システム１における後続楽曲を抽出する方法について、図６から図８のフローチャートを用いて説明する。

まず、先行楽曲の次に再生すべき楽曲を抽出する場合は、その先行楽曲の楽曲データから末尾を含む一部の区間の波形データを抽出する（ステップＳ１）。この一部の区間の波形データを抽出する場合は、末尾の無音区間を除去するとともに（図７、ステップＴ１）、最後尾に発音される音から所定時間の波形データを抽出し（ステップＴ２）、また、拍あるいは小節単位で波形データを抽出する（ステップＴ３〜Ｔ１１）。この拍あるいは小節単位で波形データを抽出する場合は、あらかじめ無音区間を除く末尾から所定時間の波形データを抽出し、この波形データの振幅包絡を算出して（ステップＴ３、Ｔ４）高速フーリエ変換する（ステップＴ５）。そして、最もパワースペクトルの大きい信号の周波数を抽出し（ステップＴ６）、その逆数を周期として、その周期の一定幅内で音圧の大きな位置の時刻を拍時刻として推定する（ステップＴ７）。そして、「一部の区間」を拍数とする場合は、末尾の拍から所定数の拍時刻までの波形データを抽出する（ステップＴ８）。また、小節によって一部の区間を抽出する場合は、その拍のうち、最も音圧の高い時刻の周期を小節とみなし（ステップＴ１０）、末尾から所定数の小節の波形データを抽出する（ステップＴ１１）。

このように波形データを抽出した後、今度は、その波形データを解析して末尾パラメターを抽出する（ステップＳ２）。この末尾パラメターを抽出する場合は、図８に示すように、その波形データの平均音圧（ステップＵ１）、音圧の時間変化（ステップＵ２）、スペクトル重心（ステップＵ３）、最大スペクトル成分の周波数（ステップＵ４）などを末尾パラメターとして抽出する。

次に、記憶手段２に記憶されている楽曲の中から順次一曲ずつ楽曲を読み出し（ステップＳ３）、その読み出された楽曲の先頭を含む一部の区間の波形データを抽出する（ステップＳ４）。この先頭を含む一部の区間の波形データを抽出する場合も同様に、先頭の無音区間を除去するとともに、先頭に発音される音から所定時間の波形データを抽出し、また、拍あるいは小節単位で波形データを抽出する（ステップＴ１〜Ｔ２）。この拍あるいは小節単位で波形データを抽出する場合も同様に、あらかじめ先頭から所定時間の波形データを抽出し、この波形データの振幅包絡を算出して高速フーリエ変換する。そして、最もパワースペクトルの大きい信号の周波数の逆数をとり、それを周期として、その周期毎の一定幅内で音圧の大きな位置の時刻を拍時刻として推定する（ステップＴ３〜Ｔ８）。そして、「一部の区間」を拍数とする場合は、先頭の拍から所定数の拍時刻までの波形データを抽出し、小節によって一部の区間を抽出する場合は、その拍のうち、最も音圧の高い時刻の周期を小節の時間長とみなし、先頭から所定数の小節の波形データを抽出する（ステップＵ９〜Ｔ１１）。

このように先頭の波形データを抽出した後、その波形データを解析して先頭パラメターを抽出する（ステップＳ５）。この先頭パラメターを抽出する場合も同様に、その波形データの平均音圧、音圧の時間変化、スペクトル重心、最大スペクトル成分の周波数などを先頭パラメターとして抽出する（ステップＵ１〜Ｕ４）。

このように末尾パラメターと先頭パラメターを抽出した後、今度は、その末尾パラメターとの接続条件を満たす先頭パラメターを有する後続楽曲を抽出する（ステップＳ７）。このとき、例えば、末尾パラメターの平均音圧がＸｄＢであった場合、平均音圧がＸｄｂのＡ１％の範囲内の先頭パラメターを有する楽曲を抽出する。また、末尾パラメターの音圧の時間変化が一次関数で近似されている場合、横軸と縦軸を傾き・切片とする空間内においてその（傾きの大きさ、切片）から一定の距離Ａ２の範囲内にある（傾きの大きさ、切片）を有する先頭パラメターの楽曲を抽出する。また、スペクトル重心に基づいて接続条件を満たす後続楽曲を抽出する場合は、先行楽曲のスペクトル重心を有する周波数から一定範囲Ａ３内のスペクトル重心の周波数を有する後続楽曲を抽出し、また、最大パワースペクトルを有する周波数から一定範囲Ａ４内の最大パワースペクトルを有する周波数の後続楽曲を抽出する。このとき、それぞれの接続条件ごとに複数の後続楽曲が抽出される可能性があるため、ここでは、接続条件を最も多く満たす後続楽曲を抽出する。

そして、その後続楽曲の曲名リストを表示可能に出力し、もしくは、その楽曲データを出力してスピーカーから再生させるようにする。

このように上記実施の形態によれば、先行楽曲の次に再生される楽曲を抽出する後続楽曲抽出システム１において、先行楽曲の末尾を含む一部の区間から当該区間の特徴データである末尾パラメターを抽出する末尾パラメター抽出手段５と、前記複数の楽曲の中から楽曲の先頭を含む一部の区間の特徴データである先頭パラメターを抽出する先頭パラメター抽出手段４と、前記末尾パラメターと先頭パラメターとの接続条件を決める条件記憶手段６と、先行楽曲の末尾パラメターから前記接続条件を参照し、当該接続条件を満たす先頭パラメターを有する楽曲を抽出する後続楽曲抽出手段７とを備え、接続条件と満たす後続楽曲を複数仮決めし、当該仮決めされた複数の後続楽曲から更に接続条件を満たす後続楽曲を順次決め、全体として最も長く複数の楽曲を連結することができる場合に、当該連結を再生リストとして抽出するようにしたので、再生されている楽曲と次の楽曲の接続部分のつながりを自然なものにすることができ、また、複数の楽曲の中から順次後続楽曲を抽出した場合でも、徐々に接続条件を満たす楽曲が少なくなってしまう可能性がなくなる。

なお、本発明は上記実施の形態に限定されることなく、種々の態様で実施することができる。

例えば、上記実施の形態では、末尾パラメターと先頭パラメターにのみ基づいて後続楽曲を抽出するようにしたが、これにその楽曲のジャンル、作曲家、歌手などを含めて後続楽曲を抽出するようにしてもよい。また、そのようなジャンルなどの付記的な情報が記憶されていない場合は、楽曲全体のテンポ、楽器構成、旋法なども含めて後続楽曲を抽出するようにしてもよい。

また、上記実施の形態では、一部の区間を抽出する場合、時間や拍、小節などで区間を抽出するようにしたが、これについては楽曲の全体の長さに応じて一部の区間を抽出するようにしてもよい。すなわち、短い楽曲については短い時間や拍、小節で一部の区間を抽出し、また、長い楽曲については長い時間や拍、小節で一部の区間を抽出するようにしてもよい。

さらに、上記実施の形態では、後続楽曲を抽出する場合、記憶手段２に記憶された楽曲から先頭パラメターを算出するようにしたが、あらかじめ先頭パラメターや末尾パラメターを算出しておき、これをその楽曲に関連づけて記憶させておくようにしてもよい。

１・・・後続楽曲抽出システム
２・・・記憶手段
３・・・区間データ抽出手段
４・・・先頭パラメター抽出手段
５・・・末尾パラメター抽出手段
６・・・条件記憶手段
７・・・後続楽曲抽出手段

Claims (2)

1. あらかじめ記憶された複数の楽曲の中から先行楽曲の次に再生される楽曲を抽出する後続楽曲抽出システムにおいて、
   先行楽曲の末尾を含む一部の区間から、当該区間の特徴データである末尾パラメターを抽出する末尾パラメター抽出手段と、
   前記複数の楽曲の中から、楽曲の先頭を含む一部の区間の特徴データである先頭パラメターを抽出する先頭パラメター抽出手段と、
   前記末尾パラメターと先頭パラメターとの接続条件を決める条件記憶手段と、
   先行楽曲の末尾パラメターから前記接続条件を参照し、当該接続条件を満たす先頭パラメターを有する楽曲を抽出する後続楽曲抽出手段と、
   を備え、
   接続条件と満たす後続楽曲を複数仮決めし、当該仮決めされた複数の後続楽曲から更に接続条件を満たす後続楽曲を順次決め、全体として最も長く複数の楽曲を連結することができる場合に、当該連結を再生リストとして抽出するようにしたことを特徴とする後続楽曲抽出システム。
2. あらかじめ記憶された複数の楽曲の中から先行楽曲の次に再生される楽曲を抽出する後続楽曲抽出方法において、
   先行楽曲の末尾を含む一部の区間から、当該区間の特徴データである末尾パラメターを抽出するステップと、
   前記複数の楽曲の中から、楽曲の先頭を含む一部の区間の特徴データである先頭パラメターを抽出するステップと、
   前記末尾パラメターと先頭パラメターとの接続条件を記憶させておき、先行楽曲の末尾パラメターから前記接続条件を満たす先頭パラメターを有する楽曲を抽出するステップと、備え、
   接続条件と満たす後続楽曲を複数仮決めし、当該仮決めされた複数の後続楽曲から更に接続条件を満たす後続楽曲を順次決め、全体として最も長く複数の楽曲を連結することができる場合に、当該連結を再生リストとして抽出するようにしたことを特徴とする後続楽曲抽出方法。

Images