JP4364838B2 - 楽曲リミックス可能な音楽再生装置ならびに楽曲リミックス方法およびプログラム - Google Patents

Description

本発明は、ユーザの嗜好を取り込んだ上で自動的に楽曲のリミックスをすることが可能な音楽再生装置ならびにその楽曲リミックス方法およびプログラムに関する。

近年、ＨＤＤ（ハードディスクドライブ）等を搭載した携帯型音楽再生機が急速に普及してきており、大量の音楽データを再生機に蓄積して音楽鑑賞することが広く行われるようになっている。このような音楽再生機は、ＨＤＤ内に蓄積された多数の楽曲の中から聴きたい楽曲を選択した「プレイリスト」をユーザが準備しておいて、そのプレイリストに従ってユーザの好みの楽曲を好みの順番で再生できる機能を有している場合が多い。しかし、既存の音楽再生機では、通常ユーザ自らが手動でプレイリストを作成するようになっており、その作業はユーザにとって負担が大きいものとなっている。一方、ユーザの嗜好に適合した楽曲を自動的に検索する技術が既に開発されている（例えば、非特許文献１参照）ので、同技術を利用することによって、自動的にプレイリストを作成可能な音楽再生機を実現することもできると考えられる。

ところで、ラジオ番組やディスコなどにおいては、聴衆からのリクエストなどを参考にしてＤＪ（ディスクジョッキー）が聴衆の嗜好に合った複数の楽曲を選択し連続で再生させる場合に、楽曲間で異なるリズムやテンポを調整する目的で、再生速度を調節したり、スクラッチ音と呼ばれる一種のノイズを効果音として挿入したりすることが行われる。また、例えば楽曲の「サビ」の部分だけを抜き出してつなぎ合わせる「リミックス」も盛んに行われている。このように、ＤＪが様々な手法を用いることで、楽曲の単なる連続再生とは異なる心地よさが聴衆に提供されている。

ラジオ番組等で使われているこうした効果的楽曲再生を個人でも楽しめるようにするため、最近では上記の音楽再生機等においてもそのような機能が実用化されつつある。例えば、ユーザ操作によりリミックスを行えるパソコン用ソフトウェアなどは既に市販がされており、これを使えば個人でも多様な音楽鑑賞方法を楽しむことが可能である。また、再生される楽曲と楽曲の間に、前の曲の再生音量を徐々に小さくしていくフェードアウトや、次の曲の再生音量を徐々に大きくしていくフェードインなど、簡単な効果を挿入することができる音楽再生機もある。
K. Hoashi, K. Matsumoto, N. Inoue: Personalization of user profiles for content-based music information retrieval based on relevance feedback, Proc. of ACM Multimedia 2003, pp. 110-119, 2003.

上述したように、既存の音楽再生機ではユーザ自らがプレイリストを手動で作成する必要があったが、非特許文献１に記載された技術を利用することによって、ユーザ嗜好に合った楽曲で構成されるプレイリストを自動的に構築することが可能となり、これによりユーザの負担を軽減できるようになる。

しかしながら、リミックスや効果音挿入などに関しては、これらを自動化するのは技術的に困難であるため、上記のとおりリミックス等が可能な音楽再生機やソフトウェアが商品化されているもののその操作はユーザが手動でしなければならなかった。しかも、リミックス等をするため音楽再生機などを操作する場合、その操作には専門的かつ高度な音楽的知識あるいは技術が要求されるため、ある程度その操作に対し習熟することが必要である。
このように、現状の音楽再生機等でリミックスなどを行うことは一般的なユーザにとっては必ずしも容易ではなく、敷居が高いものであるため、ラジオ番組やディスコで味わえる心地よい音楽体験を個人で気軽に楽しむことはできなかった。

この発明は上記の点に鑑みてなされたものであり、その目的は、特段の熟練を必要とすることなく手軽に音楽のリミックスをすることを可能とする音楽再生装置を提供することにある。また、そのような楽曲リミックス方法およびプログラムを提供することを目的とする。

本発明は上記の課題を解決するためになされたものであり、請求項１に記載の発明は、ユーザから音楽に関する嗜好情報を取り込むユーザ嗜好取り込み部と、複数の楽曲を格納する楽曲データベースに接続され、前記取り込んだ嗜好情報に基づいて、前記楽曲データベースから該ユーザの嗜好に適合した複数の楽曲をリミックス対象楽曲として選択するリミックス対象楽曲選択部と、前記リミックス対象楽曲をそれぞれの音響的特徴に基づいて分類した上で、その分類にしたがって楽曲の再生順序を決定する楽曲再生順序決定部と、あらかじめ用意され別個の特性を有した複数のエフェクトの中から、前記リミックス対象楽曲の音響的特長と前記各エフェクトの前記特性とに基づいて、前記決定した再生順序における各楽曲間に挿入するエフェクトを選択する挿入エフェクト選択部と、前記決定した再生順序で前記リミックス対象楽曲を接続し、その楽曲間に前記選択したエフェクトを挿入して、リミックス音楽の再生を行う楽曲再生部と、を備えることを特徴とする楽曲リミックス可能な音楽再生装置である。

また、請求項２に記載の発明は、請求項１に記載の楽曲リミックス可能な音楽再生装置において、前記音響的特長は、楽曲の音声データについて周波数特性を算出したものであり、前記楽曲再生順序決定部は、前記周波数特性の類似する楽曲をグループ化することにより分類を行い、各楽曲が前記分類されたグループの何れに所属するかという属性情報を用いて前記再生順序を決定することを特徴とする。

また、請求項３に記載の発明は、請求項１または請求項２に記載の楽曲リミックス可能な音楽再生装置において、前記リミックス対象楽曲を、音楽的な繰り返し単位となる一定区間に分割する楽曲分割部をさらに備え、前記繰り返し単位を対象として再生順序と挿入するエフェクトとを決定し、リミックス音楽を再生することを特徴とする。

また、請求項４に記載の発明は、請求項１から請求項３のいずれかの項に記載の楽曲リミックス可能な音楽再生装置において、前記楽曲再生部に代えて、若しくは前記楽曲再生部と共に、前記決定した再生順序で前記リミックス対象楽曲を接続し、その楽曲間に前記選択したエフェクトを挿入することにより生成されたリミックス音楽の音声データを外部出力する楽曲出力部を備えることを特徴とする。

また、請求項５に記載の発明は、請求項１から請求項４のいずれかの項に記載の楽曲リミックス可能な音楽再生装置において、前記楽曲再生部に代えて、若しくは前記楽曲再生部と共に、前記決定した再生順序および前記選択したエフェクトをメタ情報として外部出力する楽曲メタ情報出力部を備えることを特徴とする。

また、請求項６に記載の発明は、ユーザから音楽に関する嗜好情報を取り込むステップと、前記取り込んだ嗜好情報に基づいて、複数の楽曲を格納する楽曲データベースから該ユーザの嗜好に適合した少なくとも１つの楽曲をリミックス対象楽曲として選択するステップと、前記リミックス対象楽曲をそれぞれの音響的特徴に基づいて分類した上で、その分類にしたがって楽曲の再生順序を決定するステップと、あらかじめ用意され別個の特性を有した複数のエフェクトの中から、前記リミックス対象楽曲の音響的特長と前記各エフェクトの前記特性とに基づいて、前記決定した再生順序における各楽曲間に挿入するエフェクトを選択するステップと、からなることを特徴とする楽曲リミックス方法である。

また、請求項７に記載の発明は、コンピュータに、ユーザから音楽に関する嗜好情報を取り込むステップと、前記取り込んだ嗜好情報に基づいて、複数の楽曲を格納する楽曲データベースから該ユーザの嗜好に適合した少なくとも１つの楽曲をリミックス対象楽曲として選択するステップと、前記リミックス対象楽曲をそれぞれの音響的特徴に基づいて分類した上で、その分類にしたがって楽曲の再生順序を決定するステップと、あらかじめ用意され別個の特性を有した複数のエフェクトの中から、前記リミックス対象楽曲の音響的特長と前記各エフェクトの前記特性とに基づいて、前記決定した再生順序における各楽曲間に挿入するエフェクトを選択するステップと、を実行させるための楽曲リミックスプログラムである。

請求項１および請求項２に記載の発明によれば、入力されたユーザの嗜好情報に基づいてリミックスの対象となる楽曲が選択され、その上で自動的に当該楽曲の再生順序と挿入エフェクトを決定することができる。これにより、ユーザは手軽に音楽のリミックスを楽しむことが可能となる。
また、請求項３に記載の発明によれば、楽曲のイントロやサビなどの一部分のみを対象としてリミックスをすることができる。
また、請求項４および請求項５に記載の発明によれば、リミックスの結果を他の音楽再生装置に転送することができ、特に請求項５に記載の発明によれば、他人の著作権を侵害することなくリミックスの結果を利用することができる。

また、請求項６に記載の発明によれば、自動でリミックスを行いその結果を多数のユーザに頒布するコンテンツサービスを実現することができる。
また、請求項７に記載の発明によれば、専用の音楽再生機だけでなく、一般的なパソコン等においても自動でリミックスを楽しむことができる。

以下、この発明の実施の形態について図面を参照しながら説明する。
図１は、この発明の一実施の形態による音楽再生装置１の構成を示すブロック図である。この音楽再生装置１は、楽曲ＤＢ（データベース）２と、処理部３と、スピーカ４とから構成されている。

楽曲ＤＢ２は、多数の楽曲を蓄積できる記憶装置であり、ここではＨＤＤが用いられているものとする。この楽曲ＤＢ２には、全部でｋ曲の楽曲Ｘ１、Ｘ２、…Ｘｋが蓄積されており、この中にはユーザの好きな曲もそうでない曲も含まれている。なお、これらの楽曲は後述する「検索対象楽曲」となる。
スピーカ４は、リミックス楽曲再生部１５で再生される音楽の音声出力装置である。

処理部３は、ユーザの嗜好に基づいて楽曲をリミックスする処理を担当している機能ブロックであり、ユーザ嗜好取り込み部１１と、リミックス対象楽曲選択部１２と、楽曲分割部１３と、楽曲リミックス処理部１４と、リミックス楽曲再生部１５と、リミックス楽曲出力部１６と、リミックス楽曲メタ情報出力部１７とから構成される。
ユーザ嗜好取り込み部１１は、ユーザから好きな楽曲や音楽ジャンルといった嗜好情報を取得する。
リミックス対象楽曲選択部１２は、ユーザの前記嗜好情報に基づいて楽曲ＤＢ２内の検索対象楽曲からユーザの嗜好に合った楽曲を選択し、これをリミックス対象楽曲として楽曲分割部１３へ出力する。

楽曲分割部１３は、入力された前記リミックス対象楽曲を「イントロ」や「サビ」などの部分に細分化する処理を行う。
楽曲リミックス処理部１４は、前記リミックス対象楽曲に対し、各楽曲を適切な順番に並び替えた上で楽曲間に適切な効果音を挿入するというリミックス処理を施す。なお、図１には示していないが、本楽曲リミックス処理部１４は、後述するステップＳ５において楽曲の再生順序を決定する処理を担う楽曲再生順序決定部と、同じく後述するステップＳ６において楽曲間に挿入するエフェクトを選択する処理を担う挿入エフェクト選択部とからなっている。

リミックス楽曲再生部１５は、リミックス処理された音楽の音声信号をスピーカ４に出力する。
リミックス楽曲出力部１６は、リミックス処理された音楽を音声データとして他の音楽再生装置へ出力する。
リミックス楽曲メタ情報出力部１７は、リミックス処理された音楽のメタ情報を他の音楽再生装置へ出力する。

次に、上記音楽再生装置１において行われる楽曲のリミックス処理の動作を、図２に示すフローチャートを参照して説明する。
まず、ユーザにより、音楽に関する嗜好情報がユーザ嗜好取り込み部１１に入力される（ステップＳ１）。嗜好情報の入力は、聴きたい楽曲の例として、好きな楽曲あるいは好きな音楽ジャンルの代表的な楽曲を複数曲指定することによって行う。ここでは、ｍ曲（数曲程度）の楽曲Ｍｈ１、Ｍｈ２、…Ｍｈｍ（これらを集合Ｃｈとする）が指定されたものとする。なお、これらの楽曲は後述する「学習データ」となる。
また、嗜好情報の入力とあわせて、後述のステップＳ４で楽曲の細分化を行うか否か、さらに細分化する場合は細分化したどの部分（イントロ、サビ等）をリミックス対象とするか、といった設定入力も本ステップにて行う。

次に、リミックス対象楽曲選択部１２が、前記ステップで入力された嗜好情報（好きな楽曲あるいは好きな音楽ジャンルの代表的な楽曲の例）に基づいて、ユーザの嗜好に合った楽曲を楽曲ＤＢ２から検索する（ステップＳ２）。すなわち本ステップでは、前ステップで指定された好きな楽曲例と曲調などが類似する楽曲を、リミックス対象楽曲として抽出する処理が行われる。その処理の詳細を図３から図５を参照して以下説明する。

図３は、リミックス対象楽曲選択部１２の内部構成を示すブロック図である。同図に示すように、リミックス対象楽曲選択部１２は、ＭＦＣＣ生成部２１と、ツリー生成部２２と、ベクトル化部２３と、類似度算出部２４と、検索結果リスト作成部２５と、楽曲呼び出し部２６とを有している。
ここで、ＭＦＣＣ生成部２１は、入力した楽曲データから各フレーム区間のＭＦＣＣ（後述）と音量を算出する。
ツリー生成部２２は、学習データに基づいて、楽曲をベクトル量子化するためのツリーを生成する。

ベクトル化部２３は、ツリー生成部２２で生成されたツリーを用いて学習データおよび検索対象となる楽曲データのベクトル量子化を行う。
類似度算出部２４は、ベクトル化部２３により算出された２つのベクトルの類似度を算出する。
検索結果リスト作成部２５は、類似度算出部２４により算出された類似度に基づいて、検索対象となる楽曲データを順位付けし、その結果を記したリストを作成する。
楽曲呼び出し部２６は、検索結果リスト作成部２５により選出された楽曲の楽曲データを楽曲ＤＢ２から呼び出す。

図４は、リミックス対象楽曲選択部１２によって行われる処理の詳細動作を示したフローチャートである。また、図５は楽曲データが順次処理されてベクトル化されていく様子を視覚的に表している図である。
まず、上述したステップＳ１で指定された学習データ（楽曲Ｍｈ１、Ｍｈ２、…Ｍｈｍ）および楽曲ＤＢ２内の検索対象楽曲（楽曲Ｘ１、Ｘ２、…Ｘｋ）のそれぞれの楽曲の楽曲データが入力（ステップＳ２０１）されると、ＭＦＣＣ生成部２１が各楽曲のフレーム区間毎にＭＦＣＣと音量を算出する（ステップＳ２０２）。

ここで、ＭＦＣＣ（ｍｅｌ−ｆｒｅｑｕｅｎｃｙ ｃｅｐｓｔｒａｌ ｃｏｅｆｆｉｃｉｅｎｔｓ）とは、楽曲の音声データ（図５（ａ））を１２の帯域からなる周波数成分に分解したものに相当するパラメータである。また、フレーム区間は例えば０．１秒程度に設定される。
すなわち、ステップＳ２０２の処理（図５（ｂ））は、楽曲の各フレームを１３の要素（ＭＦＣＣ１２要素と音量１要素）からなる１３次元ベクトルに変換する処理である。そして、１３次元ベクトルで表された各フレームが集合して楽曲全体ではＭＦＣＣフレーム群（図５（ｃ））が形成されることになる。

次に、ツリー生成部２２によって、上記算出された学習データの１３次元ベクトルが分類されて、ベクトル量子化のためのツリーＴｈが生成される（ステップＳ２０３）。このツリーＴｈ（図５（ｄ））は、学習データの１３次元ベクトルの特徴に応じて所定のアルゴリズムにしたがい生成されるものであり、各楽曲の１３次元ベクトルをある条件に基づいて分類するための分岐条件を模式的に表現したものである（後述のステップＳ２０４の説明を参照）。よって、その形状や分岐の仕方は学習データの選択（上述のステップＳ１）により異なるものとなる。なお、ここでは末端の枝の数はｐ本であるものとする。

次に、ベクトル化部２３によって、学習データＭｈ１、Ｍｈ２、…Ｍｈｍの各１３次元ベクトルがツリーＴｈに入力され、以下のアルゴリズムに従って学習データの集合Ｃｈを表すカテゴリベクトルＶｈが算出される（ステップＳ２０４）。すなわち、入力されたベクトルは、上述のようにツリーＴｈの分岐点において分岐判断されて、最終的に末端の枝のいずれかに辿り着く。辿り着く枝は入力ベクトルによって異なる。すると、この操作を学習データの全ての１３次元ベクトルに対して行って、各枝に辿り着いたベクトルの個数をカウントすることにより、ツリーＴｈの各枝に対応したヒストグラム（図５（ｅ））が形成されることになる。そして、得られたヒストグラムに、各ヒストグラムの度数を成分とする多次元のベクトルを対応させる。この多次元ベクトルがカテゴリベクトルＶｈである。ここで、末端の枝の数がｐ本である場合には、カテゴリベクトルＶｈはｐ次元のベクトルとなる。

続いて、ベクトル化部２３によって、検索対象楽曲Ｘ１、Ｘ２、…Ｘｋの各１３次元ベクトルが楽曲毎にツリーＴｈに入力され、前記ステップＳ２０４と同様のアルゴリズムに従って各楽曲のベクトル化が行われる（ステップＳ２０５）。ただし、本ステップは、検索対象楽曲を１曲入力する毎に当該楽曲に対応するベクトルＸｉ（ｉ＝１〜ｋ）が決定する点が前記ステップＳ２０４と相違している。なお、ここで得られるベクトルＸｉの次元数はカテゴリベクトルＶｈの次元数と同じである。

次に、類似度算出部２４によって、上記算出されたカテゴリベクトルＶｈと検索対象楽曲の各ベクトルＸｉとの類似度Ｓｉｍ（Ｘｉ，Ｖｈ）が計算される（ステップＳ２０６）。ここで、Ｓｉｍ（Ｘｉ，Ｖｈ）の値は、各ベクトルＸｉ、Ｖｈを正規化した上で両者の余弦をとった値であるものとする。

次に、検索結果リスト作成部２５が、Ｓｉｍ（Ｘｉ，Ｖｈ）の大きい順に検索対象楽曲Ｘ１、Ｘ２、…Ｘｋを並べ替えてリスト化し、その上位Ｎ曲を特定する（ステップＳ２０７）。そして、楽曲呼び出し部２６が、当該Ｎ曲の楽曲データを楽曲ＤＢから呼び出して、楽曲分割部１３へと出力する（ステップＳ２０８）。
こうして、ステップＳ２によるユーザ嗜好に合った楽曲の検索が完了する。

図２のフローチャートに戻って説明を続ける。
次に、ステップＳ１での設定入力に基づいて、楽曲分割部１３で楽曲の分割を行うかどうかが判断される（ステップＳ３）。楽曲分割をしないとの設定をしていた場合（ステップＳ３の“Ｎｏ”）は、楽曲分割部１３は、上記ステップＳ２０７において楽曲呼び出し部２６から入力されたＮ曲の楽曲データをそのまま楽曲リミックス処理部１４へ出力する。この場合は、楽曲分割がされることなく、一曲一曲全体を対象にリミックス処理（後述のステップＳ５、ステップＳ６）が行われる。

一方、ステップＳ１で楽曲分割をするとの設定をしていた場合（ステップＳ３の“Ｙｅｓ”）は、楽曲分割部１３は、入力されたＮ曲の楽曲データをイントロやサビ等の部分に分割（ステップＳ４）した上で、分割後の楽曲データを楽曲リミックス処理部１４へ出力する。
ここで、ステップＳ４における楽曲データの分割処理は、以下の手順により行われる。

まず楽曲分割部１３は、入力された楽曲を所定の（０．１秒程度の）フレーム区間に細分化して、各フレームの音声データを高速フーリエ変換（ＦＦＴ）により周波数成分に分解する。そして、得られた周波数成分を持ったベクトルを各フレームに対応させ、これらベクトル間の全ての組み合わせについて、ベクトルの類似度を計算する。この類似度は、ステップＳ２０５の類似度Ｓｉｍ（Ｘｉ，Ｖｈ）と同じく、２つのベクトルのなす角の余弦として定義する。これにより、各フレーム（ベクトル）間の類似度を表すｎ×ｎ行列（Ｓマトリックスと呼ぶ）が得られることになる。ここでｎは当該楽曲のフレーム分割数である。

次に、あらかじめ用意されたｍ×ｍ行列（カーネルと呼ぶ。ただし、ｍ＜ｎ）を前記Ｓマトリックスに作用させ、Ｓマトリックスとカーネルとの相関係数であるノベルティスコアを計算する。具体的には、Ｓマトリックスからその１つの対角要素を中心とするｍ×ｍ行列を抽出し、抽出したｍ×ｍ行列とカーネルの対応する各要素の積を全て足し合わせた値が、当該対角要素（楽曲内の時刻に相当する）のノベルティスコアである。そして、Ｓマトリックスの全ての対角要素に対してこの計算を行うことにより、楽曲の演奏時間の関数としてノベルティスコアを得ることができる。

ここで、上記カーネルは、Ｓマトリックスから抽出したｍ×ｍ行列の非対角要素に負の値が多い場合にノベルティスコアが大きくなるような行列が選ばれている。また、Ｓマトリックスの非対角要素とは前記のとおり異なるフレーム間の類似度を表すものであり、その定義（２つのベクトルのなす角の余弦）から、当該フレーム間の類似度が低ければその値が負となる。したがって、ノベルティスコアが大きな値を持つのは、楽曲内のある時刻において、その前後の一定時間の音声データが他の一定時間の音声データと類似している度合いが低い場合ということになる。逆に、楽曲内の他の部分と音声データが似通っている場合には、ノベルティスコアは低い値を持つ。

こうして、楽曲のノベルティスコアを計算しその値が大きくなる時刻を算出することによって、当該楽曲の曲調が顕著に変化するポイント（例えばイントロからサビに移るポイント）が抽出され、当該ポイントにおいて楽曲の分割が行われる。なお、上記の楽曲分割方法は、公知の文献「J. Foote: Automatic Audio Segmentation Using A Measure of Audio Novelty, Proc. of ICME 2000, pp. 452-455, 2000.」に開示されている技術である。

次に、楽曲リミックス処理部１４（楽曲再生順序決定部）が、楽曲分割部１３から入力されたＮ曲のリミックス対象楽曲（ステップＳ４において楽曲分割されている場合は楽曲区間）を再生する際の再生順序を決定する（ステップＳ５）。その手順は以下のとおりである。

まず、事前処理として、楽曲ＤＢ２内の全楽曲を対象に楽曲データをベクトル化し、得られた楽曲ベクトルに基づいてｋ−ｍｅａｎｓ法による楽曲のクラスタリングを行う。クラスタリングの結果、各々の楽曲が属するクラスタが決定する。
ここで、上記ベクトル化は前述したステップＳ２０５と同様、ベクトル量子化ツリー（図５（ｄ）参照）を利用する手法によって行う。なお、ツリー生成に用いる学習データは、前述のステップと同じく集合Ｃｈ（楽曲Ｍｈ１、Ｍｈ２、…Ｍｈｍ）を使うものとする。ただし他の学習データを使ってもよい。

また、Ｋ−ｍｅａｎｓ法は多変量解析における代表的なクラスタリング手法の１つであり、その手法は、与えられたＫ個のクラスタの中心値と各解析データとの距離を計算し、最も近いクラスタ中心に解析データを配分してクラスタを更新する、という操作を全ての解析データとそれが属するクラスタの中心値との距離の合計が最小になるまで繰り返すものである。

上記事前処理により各楽曲の所属するクラスタが決定すると、次にＮ曲のリミックス対象楽曲について、同じクラスタに属する楽曲が接続されるようにその再生順序が決定される。ここで、楽曲の再生順序をこのようにしているのは、音響的特長が類似している楽曲同士を続けて再生することにより、リミックスによる違和感を軽減させるためである。
例えば、リミックス対象楽曲がＰ１〜Ｐ９の９曲（Ｎ＝９）であり、クラスタリングの結果、これらが３つのクラスタＣ１〜Ｃ３に分類されて各々の所属クラスタが｛Ｐ１，Ｐ２，Ｐ３｝∈Ｃ１、｛Ｐ４，Ｐ５，Ｐ６｝∈Ｃ２、｛Ｐ７，Ｐ８，Ｐ９｝∈Ｃ３となっている場合、各楽曲はＰ１→Ｐ２→Ｐ３→Ｐ４→Ｐ５→Ｐ６→Ｐ７→Ｐ８→Ｐ９のように接続される。

また、ステップＳ４において楽曲分割がされている場合は、サビ部分あるいはイントロ部分などユーザの指示に基づいて特定の楽曲区間のみを選択して接続する。図６にその具体例を示す。同図（ａ）によれば、リミックス対象楽曲として楽曲Ａ、Ｂ、…Ｃがあり、それぞれいくつかの区間に分割されている。サビ区間は、ａ１、ａ２、ｂ１…等である。このとき、楽曲リミックス処理部１４はサビ区間のみを選んでａ１→ａ２→ｂ１→ｂ２→ｃ１→ｃ２のように接続する（同図（ｂ））。なお、接続された各サビ区間の間には次に述べる効果音が挿入されている。

次に、楽曲リミックス処理部１４（挿入エフェクト選択部）は、上記ステップＳ５で接続された楽曲間に挿入するエフェクト（効果音）を選択する（ステップＳ６）。この処理は以下の手順による。
まず、使用される全てのエフェクトは楽曲ＤＢ２に記憶されており、これらは各エフェクトの音響的な特性に基づいていくつかのグループに分類されている。また、分類された各エフェクトをどのような曲調の楽曲間に使用すると効果的か、というルールを定めたパターンデータも同じく楽曲ＤＢ２に記憶されている。
例えば、スクラッチ音やラジオノイズ音などのように再生中の音楽に対し割り込むような感じを与えるエフェクトは、音響的特長が大きく異なる楽曲を接続するのに効果的である。一方、波の音やシンセサイザ音などのように、ゆるやかで音長が長いエフェクトは静かな楽曲同士を接続するのに効果的である。パターンデータはこうした情報をあらかじめ設定して収録したものである。

そして、楽曲リミックス処理部１４はエフェクトを挿入する前後の楽曲が所属するクラスタに基づいて、楽曲ＤＢ２内の上記パターンデータから最適なエフェクトを選択する。すなわち、例えば前述したクラスタＣ１〜Ｃ３のうち、Ｃ１が静かな楽曲のクラスタであり、Ｃ２とＣ３がにぎやかな楽曲のクラスタであるとする。この場合、Ｐ１→Ｐ２→Ｐ３のように静かな楽曲のクラスタに属する楽曲同士を接続する箇所には波の音エフェクトが選択される。一方、Ｐ３→Ｐ４などのように音響的特長が異なるクラスタに属する楽曲を接続する箇所にはスクラッチ音エフェクトが選択される。

以上のようにしてリミックス対象楽曲の再生順序と挿入エフェクトが決定すると、その結果にしたがって楽曲データの並べ替えとエフェクトデータの挿入が行われて、１つのリミックス済み楽曲データ（これは音声データである）が生成される（ステップＳ７）。また、楽曲の再生順序と挿入エフェクトをメタ情報として記録したリミックス結果メタ情報ファイルも生成される（同ステップ）。これにより楽曲リミックスが完了する。

上記のリミックス済み楽曲データは、本音楽再生装置１で再生する場合（ステップＳ８で“Ｙｅｓ”）はリミックス楽曲再生部１５へ送られて再生され（ステップＳ９）、スピーカ４から音声が出力される。
一方、他の音楽再生装置で再生する場合（ステップＳ８で“Ｎｏ”）は、リミックス済み楽曲データはリミックス楽曲出力部１６へ、リミックス結果メタ情報ファイルはリミックス楽曲メタ情報出力部１７へ、それぞれ送られ、出力形態（音声データとして出力するか、メタ情報として出力するか）に合わせて他の音楽再生装置へ出力される（ステップＳ１０〜ステップＳ１２）。

ここで、リミックス楽曲出力部１６からリミックス済み楽曲データを出力（ステップＳ１１）したときは、他の音楽再生装置で同楽曲データがそのまま再生できる。一方、著作権の問題によりそのようなことが禁止される場合には、リミックス結果メタ情報ファイルをリミックス楽曲メタ情報出力部１７から出力するようにする（ステップＳ１２）。この場合、リミックス結果メタ情報ファイルを受け取った他ユーザの音楽再生装置では、リミックスした元の各楽曲を用意しておくことによって、同メタ情報からリミックスを行い、同じリミックス結果を楽しむことができる。

このように、上記の実施形態によれば、ユーザの嗜好に基づき楽曲データベースから楽曲を選択し、必要に応じて楽曲をサビやイントロなどの区間に分割し、各楽曲の音響的特長に基づいて楽曲相互間の類似度を比較することにより再生順序を決定し、各エフェクトと各楽曲の音響的特長に基づき楽曲間に挿入するエフェクトを選択している。したがって、好みの楽曲からなるプレイリストを自動的に作成できるだけでなく、楽曲をサビなど特定区間に自動的に分割した上で、リミックス処理（再生順序の決定とエフェクトの挿入）を自動的に行うことが可能である。しかも、このリミックス処理は、楽曲の音響的特長を比較することにより前後の曲が滑らかかつ違和感なく再生されるよう、再生順序とエフェクトを決定している。こうしたことから、ユーザは、特段の熟練を必要とすることなく手軽に音楽のリミックスをすることができて、ラジオ番組やディスコで味わえるような心地よい音楽体験を個人でも楽しむことができるようになる。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば上記実施形態では、ユーザの嗜好情報の入力（ステップＳ１）は、聴きたい楽曲の例として好きな楽曲を複数曲指定することによって行っているが、そのように具体的な楽曲を指定する代わりに、「静かな曲」や「陽気な曲」などのような抽象的な選択肢をあらかじめ設定しておき、その中から選択を行うことで嗜好情報を入力できるようにしてもよい。なおこの場合は、ベクトル量子化ツリーとカテゴリベクトルはステップＳ２０３とステップＳ２０４において学習データから生成するのではなく、上記抽象的な選択肢と併せてあらかじめ設定しておくものとする。
また、その他の嗜好情報の入力方法として、楽曲ＤＢ２内の各楽曲にジャンル属性を持たせておき、ユーザは聴きたい音楽ジャンルを指定するようにしてもよい。さらに、聴きたい楽曲を直接指定できるようにしてもよい。

また、上記実施形態のステップＳ４において楽曲の分割方法を説明したが、その方法に代えて、例えば楽曲データの中に「サビ」が何処かということを示す信号をあらかじめ書き込んでおき、この信号を識別することによって分割を行うという方法を採ることも可能である。
また、上記実施形態においては、リミックス対象楽曲の再生順序は、リミックスによる違和感軽減のため同じクラスタに所属する楽曲が接続されるように決定されているが、その逆に、新たな音楽体験として敢えて違和感を生じさせる目的で、異なるクラスタに属する楽曲が接続されるように再生順序を決定してもよい。また、ユーザが再生順序を直接入力するという方法でもよい。
さらに、楽曲間に挿入するエフェクトとして、上記ステップＳ６で示したものの他、フェードイン・フェードアウトや、テンポが異なっている前後の楽曲の再生スピードを調整するエフェクトなどを用いることも可能である。

また、ステップＳ７で生成されたリミックス済み楽曲データを楽曲ＤＢ２に保存するようにし、次回以降の再生時にこれを呼び出して再生するようにしてもよい。また、リミックス済み楽曲データを生成するのではなく、リミックス再生の都度、決定した再生順序にしたがって楽曲ＤＢ２から楽曲を呼び出し、エフェクトを挿入して再生を行うようにしてもよい。

また、上記実施形態による音楽再生装置１は、処理部３にリミックス楽曲再生部１５とリミックス楽曲出力部１６とリミックス楽曲メタ情報出力部１７の全てを備えているが、これら３つの部分のうち１つまたは２つだけを備えるようにしてもよい。すなわち、本装置１はリミックスされた楽曲を単に装置内で再生することだけしかできなくても構わないし、逆に、装置内で再生することなく外部の音楽再生装置にリミックス結果を出力するだけであっても構わない。なお、後者の場合はスピーカ４も不要となる。

また、楽曲ＤＢ２はＨＤＤの他、フラッシュメモリ等の半導体メモリにより構成することもできる。また、楽曲ＤＢ２は外部に設けるようにしてもよい。
なお、ステップＳ５におけるクラスタリング手法として、Ｋ−ｍｅａｎｓ法以外の既知の手法を用いることができるのは当然である。

本発明は、ＨＤＤ等の大容量記憶装置を備えた音楽再生装置や、音楽再生用ソフトウェアに用いて好適である。

この発明の一実施の形態による音楽再生装置の構成を示すブロック図である。 図１の音楽再生装置における楽曲リミックス処理の動作を示すフローチャートである。 リミックス対象楽曲選択部の内部構成を示すブロック図である。 リミックス対象楽曲選択部における処理の詳細動作を示したフローチャートである。 リミックス対象楽曲選択部において楽曲がベクトル化される様子を視覚的に表した図である。 楽曲が分割されサビ部分のみがリミックスされる様子を表した図である。

符号の説明

１…音楽再生装置 ２…楽曲ＤＢ ３…処理部 ４…スピーカ １１…ユーザ嗜好取り込み部 １２…リミックス対象楽曲選択部 １３…楽曲分割部 １４…楽曲リミックス処理部 １５…リミックス楽曲再生部 １６…リミックス楽曲出力部 １７…リミックス楽曲メタ情報出力部 ２１…ＭＦＣＣ生成部 ２２…ツリー生成部 ２３…ベクトル化部 ２４…類似度算出部 ２５…検索結果リスト作成部 ２６…楽曲呼び出し部

Claims (7)

1. ユーザから音楽に関する嗜好情報を取り込むユーザ嗜好取り込み部と、
   複数の楽曲を格納する楽曲データベースに接続され、前記取り込んだ嗜好情報に基づいて、前記楽曲データベースから該ユーザの嗜好に適合した複数の楽曲をリミックス対象楽曲として選択するリミックス対象楽曲選択部と、
   前記楽曲データベースの各楽曲を周波数特性が類似する楽曲のグループに分類し、同じグループに所属する楽曲が接続されるように前記リミックス対象楽曲の再生順序を決定する楽曲再生順序決定部と、
   あらかじめ用意され別個の特性を有した複数のエフェクトの中から、前記リミックス対象楽曲の音響的特徴と前記各エフェクトの前記特性とに基づいて、前記決定した再生順序における各楽曲間に挿入するエフェクトを選択する挿入エフェクト選択部と、
   前記決定した再生順序で前記リミックス対象楽曲を接続し、その楽曲間に前記選択したエフェクトを挿入して、リミックス音楽の再生を行う楽曲再生部と、
   を備えることを特徴とする楽曲リミックス可能な音楽再生装置。
2. 前記嗜好情報は楽曲を学習データとして指定した情報であり、
   前記リミックス対象楽曲選択部は、前記学習データにかかる楽曲の周波数特性と前記楽曲データベースの各楽曲の周波数特性との類似度を計算し、当該類似度に従って前記リミックス対象楽曲を選択する
   ことを特徴とする請求項１に記載の楽曲リミックス可能な音楽再生装置。
3. 前記リミックス対象楽曲を、音楽的な繰り返し単位となる一定区間に分割する楽曲分割部をさらに備え、
   前記繰り返し単位を対象として再生順序と挿入するエフェクトとを決定し、リミックス音楽を再生する
   ことを特徴とする請求項１または請求項２に記載の楽曲リミックス可能な音楽再生装置。
4. 前記楽曲再生部に代えて、若しくは前記楽曲再生部と共に、前記決定した再生順序で前記リミックス対象楽曲を接続し、その楽曲間に前記選択したエフェクトを挿入することにより生成されたリミックス音楽の音声データを外部出力する楽曲出力部を備える
   ことを特徴とする請求項１から請求項３のいずれかの項に記載の楽曲リミックス可能な音楽再生装置。
5. 前記楽曲再生部に代えて、若しくは前記楽曲再生部と共に、前記決定した再生順序および前記選択したエフェクトを示す情報を外部出力する情報出力部を備える
   ことを特徴とする請求項１から請求項４のいずれかの項に記載の楽曲リミックス可能な音楽再生装置。
6. ユーザから音楽に関する嗜好情報を取り込むステップと、
   前記取り込んだ嗜好情報に基づいて、複数の楽曲を格納する楽曲データベースから該ユーザの嗜好に適合した複数の楽曲をリミックス対象楽曲として選択するステップと、
   前記楽曲データベースの各楽曲を周波数特性が類似する楽曲のグループに分類し、同じグループに所属する楽曲が接続されるように前記リミックス対象楽曲の再生順序を決定するステップと、
   あらかじめ用意され別個の特性を有した複数のエフェクトの中から、前記リミックス対象楽曲の音響的特徴と前記各エフェクトの前記特性とに基づいて、前記決定した再生順序における各楽曲間に挿入するエフェクトを選択するステップと、
   からなることを特徴とする楽曲リミックス方法。
7. コンピュータに、
   ユーザから音楽に関する嗜好情報を取り込むステップと、
   前記取り込んだ嗜好情報に基づいて、複数の楽曲を格納する楽曲データベースから該ユーザの嗜好に適合した複数の楽曲をリミックス対象楽曲として選択するステップと、
   前記楽曲データベースの各楽曲を周波数特性が類似する楽曲のグループに分類し、同じグループに所属する楽曲が接続されるように前記リミックス対象楽曲の再生順序を決定するステップと、
   あらかじめ用意され別個の特性を有した複数のエフェクトの中から、前記リミックス対象楽曲の音響的特徴と前記各エフェクトの前記特性とに基づいて、前記決定した再生順序における各楽曲間に挿入するエフェクトを選択するステップと、
   を実行させるための楽曲リミックスプログラム。

Images