JP5293018B2 - 音楽情報処理装置、音楽情報処理方法およびコンピュータプログラム - Google Patents

音楽情報処理装置、音楽情報処理方法およびコンピュータプログラム Download PDF

Info

Publication number
JP5293018B2
JP5293018B2 JP2008230752A JP2008230752A JP5293018B2 JP 5293018 B2 JP5293018 B2 JP 5293018B2 JP 2008230752 A JP2008230752 A JP 2008230752A JP 2008230752 A JP2008230752 A JP 2008230752A JP 5293018 B2 JP5293018 B2 JP 5293018B2
Authority
JP
Japan
Prior art keywords
music
information
album
user
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008230752A
Other languages
English (en)
Other versions
JP2010066366A (ja
Inventor
哲 佐々
勝 斉藤
誠 赤羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008230752A priority Critical patent/JP5293018B2/ja
Priority to US12/551,036 priority patent/US8315968B2/en
Publication of JP2010066366A publication Critical patent/JP2010066366A/ja
Application granted granted Critical
Publication of JP5293018B2 publication Critical patent/JP5293018B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/632Query formulation
    • G06F16/634Query by example, e.g. query by humming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

本発明は情報処理技術に関し、特に音楽に係る情報を生成する音楽情報処理装置、音楽配信システム、およびそれに適用される音楽情報処理方法に関する。
近年、情報処理技術、音声データ圧縮技術などの発達により、テレビ、ラジオ、CD(Compact Disc)などの記録媒体、ネットワーク配信など様々な媒体を介して多様な音楽を気軽に楽しめるようになってきた。また音楽に係る様々な情報がネットワークなどを介して豊富に提供されており、例えばコマーシャルなどでふと耳にした楽曲などでも検索エンジンを用いて検索することにより、容易に曲名、演奏者名、収録アルバムなどの知識を得ることができる。
音楽を巡る情報体系は一般的にはジャンル、演奏者(歌手)、アルバム名、楽曲名といった順に関連づけがなされたツリー構造をなしている。各層の分類は、時に国、年代、作曲家、演奏者の性別、ソロ/グループ、売り上げなどに置き換えられたり層が追加されたりといったバリエーションを有するが、概ね同様の構造で体系づけられている。ユーザは、一の楽曲に基づきツリーを下層から上層へ辿り収録アルバムや歌手についての情報を得たり、また下層に辿ることで他のアルバム名を得たり、といったことを、ツリー構造を意識せずとも日常的に行っている。
上記のような情報体系によって、特定の楽曲、特定の歌手など具体的な条件を入力データとすることで、当該入力データと直接的、間接的に関連づけられた情報を得ることができる。一方、例えばユーザの好みに応じた楽曲や歌手、といったあいまいさを含む条件で情報を得ようとすることは容易ではない。結局はユーザ自身が何度も情報の取得を行い、得られた結果を自らが取捨選択していくことで、ようやく好みの楽曲、歌手に到達する、というパターンを辿るのが一般的である。
ユーザが、現在聴いている音楽を核として鑑賞する音楽の幅を広げたいと思っても、ツリーにおいて関連づけられていない情報にはたどり着けないし、関連づけがあまりに多すぎても選択しづらい、といった状況が起こりうる。近年、類似の歌手、という関連づけで、ある歌手から別の歌手へ辿ることも可能となっているが、この類似性は人手による主観的な関連づけであるため、ユーザのニーズや実態と合致していない場合も多い。また上記のような情報体系は全て、人がデータベースなどに入力することによって成り立つため、情報の乏しい演奏者や楽曲などは除外されている場合も多く、さらに最新の情報を提供するには常に情報の更新が必要である。
本発明はこのような課題に鑑みてなされたものであり、その目的は、音楽に係るユーザのニーズに柔軟に対応する情報を生成する技術を提供することにある。
本発明のある態様は音楽情報処理装置に関する。この音楽情報処理装置は、楽曲を解析し所定の特徴量を取得する特徴量取得部と、楽曲の所定の書誌情報を取得する書誌情報取得部と、書誌情報に基づき所定の単位で楽曲集合を形成し、特徴量に基づき所定の規則で決定した楽曲固有の評価値の、前記楽曲集合ごとの分布情報を、当該楽曲集合固有の情報として取得する分布取得部と、を備えたことを特徴とする。
ここで「楽曲集合」を形成する書誌情報は、音楽ジャンル、歌手や演奏者、作曲家、アルバムなど複数の楽曲が属すことのできる単位であればよく、その種類は限定されない。また「評価値」は、1つまたは複数の特徴量の値に基づき所定の規則によって決定できる、特徴量を総合的に表す尺度であり、特徴量そのものでもよい。
本発明の別の態様は音楽配信システムに関する。この音楽配信システムは、ネットワークを介してユーザが操作するユーザ端末に音楽を配信するサーバを含む音楽配信システムであって、当該サーバは、楽曲を解析し所定の特徴量を取得する特徴量取得部と、楽曲の所定の書誌情報を取得する書誌情報取得部と、書誌情報に基づき所定の単位で楽曲集合を形成し、特徴量に基づき所定の規則で決定した楽曲固有の評価値の、楽曲集合ごとの分布情報を、当該楽曲集合固有の情報として取得する分布取得部と、ユーザ端末で指定されたユーザの好みの楽曲集合に類似した楽曲集合を分布情報を用いて検出する評価部と、検出した楽曲集合に含まれる楽曲をネットワークを介してユーザ端末に送信する出力部と、を備えたことを特徴とする。
本発明の別の態様は音楽情報処理方法に関する。この音楽情報処理方法は、プロセッサが音楽に係る情報を生成する方法であって、記憶装置に格納された楽曲データを読み出し、当該楽曲を解析することにより所定の特徴量を取得するステップと、記憶装置に格納された当該楽曲の所定の書誌情報を読み出すステップと、書誌情報に基づき所定の単位で楽曲集合を形成し、特徴量に基づき所定の規則で決定した楽曲固有の評価値の、楽曲集合ごとの分布情報を、当該楽曲集合固有の情報として取得して記憶装置に記憶させるステップと、を含むことを特徴とする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、ユーザは音楽に係る所望の情報を容易に取得することができる。
実施の形態1
図1は本実施の形態における音楽情報処理装置の構成を示している。音楽情報処理装置10は複数の楽曲ファイルを格納した楽曲ファイル記憶部12、楽曲の特徴量を取得する特徴量取得部14、特徴量に基づき楽曲ごとにクラス値を付与するクラス値付与部16、楽曲ファイルから書誌情報を取得する書誌情報取得部18、書誌情報によって定まる楽曲集合ごとにクラス値の分布情報を取得する分布取得部20、各種解析結果を格納する解析結果記憶部22を含む。
図1において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
本実施の形態では、「特徴量の分布」という概念を新たな音楽の情報として導入する。ここで「特徴量」とは曲のテンポ、調性、ボーカルの有無、楽器の種類、音質、楽曲構造、音量、ビートの速さ、ムード、全体のエネルギーに対するリズム楽器のエネルギーの割合など、楽曲の特徴を表す情報のいずれか、または組み合わせであり、楽曲ごと定まる固有の情報である。本実施の形態では書誌情報として得られる、アルバムごと、歌手ごとなど、ある単位の楽曲集合ごとに特徴量の分布の情報を取得する。そして分布を比較することによってアルバムや歌手同士の類似性を評価し、関連づけを行う。ただし後述するように、「特徴量の分布」は実際には「特徴量によって定まる評価値の分布」と置き換えることができる。
楽曲ファイル記憶部12は、楽曲データおよびそれに付加された書誌情報などを格納した楽曲ファイルを記憶する。楽曲ファイル記憶部12は、ハードディスク、メモリなど一般的な記憶装置でよく、ネットワーク(図示せず)を介してその他の機能ブロックと接続されていてもよい。楽曲ファイル記憶部12が記憶する楽曲ファイルはMP3(MPEG1 Audio Layer-3)など一般的な方式で符号化されていてよい。
特徴量取得部14は、楽曲ファイル記憶部12から楽曲ファイルを読み出し、楽曲データを解析することによって所定の特徴量を取得する。解析にあたっては書誌情報を利用してもよい。ここで取得する特徴量は、1つであっても複数であってもよいが、後に行う評価をより精度よく行うためには、多くの特徴量を取得することが望ましい。特徴量取得部14は、ユーザによる操作より前に楽曲ファイル記憶部12が記憶する全ての楽曲ファイルについて特徴量を取得しておいてもよいし、ユーザが指定した楽曲のみを対象として特徴量を取得してもよい。
クラス値付与部16は、特徴量取得部14が取得した特徴量の値に応じて各楽曲をクラスに分け、あらかじめ設定しておいたクラス値を、前述の「評価値」として付与する。例えば特徴量として長調・短調の区別のみを導入した場合、クラスは長調・短調の2クラスであり、それぞれに例えば「1」、「2」といったクラス値を設定しておく。この場合、長調の楽曲はクラス値「1」が付与され、短調の楽曲はクラス値「2」が付与される。
複数の特徴量を導入する場合は、個々の特徴量の値の組み合わせでクラス値を決定する。具体例は後に述べる。クラス値付与部16も、ユーザによる操作より前に全ての楽曲ファイルについてクラス値を付与しておいてもよいし、ユーザが指定した楽曲のみにクラス値を付与してもよい。
書誌情報取得部18は、楽曲ファイル記憶部12から楽曲ファイルを読み出し、当該楽曲の書誌情報を読み出す。例えば楽曲ファイルがMP3ファイルであった場合は、ID3タグと呼ばれる規格により、曲名、演奏者名、作曲家名、アルバム名、リリース日などのテキストデータが埋め込まれている。このような書誌情報のうち、所定の書誌情報を一般的な手法で抽出する。なお本実施の形態における「楽曲」は個々の曲を表すが、「楽曲ファイル」はアルバム単位などで複数の楽曲が格納されていてもよい。この場合も処理は同様である。
また書誌情報取得部18は、楽曲ファイル記憶部12に記憶された楽曲ファイル以外のソースから書誌情報を得てもよい。例えばネットワーク(図示せず)を介して楽曲の売り上げ、評価などを取得してもよいし、楽曲ファイルに格納されていない、演奏者のプロフィールや過去の作品などの情報を取得してもよい。すなわち、楽曲集合を形成できる情報であればいかなる情報も書誌情報として利用することができる。
分布取得部20は、クラス値付与部16が各楽曲に付与したクラス値が、書誌情報取得部18が取得した書誌情報によって形成された楽曲集合においてどのような分布となっているかを表す情報(以下、単に「分布情報」と呼ぶ)を取得する。分布情報は各クラス値と当該クラスに属する楽曲の数あるいは割合(以下、「頻度」と呼ぶ)との対応関係を表すテーブルでもよいし、横軸をクラス値、縦軸を頻度としたヒストグラムの形式でもよい。そのほか、分布情報を利用する目的によって様々な形式をとってよい。また、ユーザによる操作より前に全ての楽曲集合について分布情報を取得しておいてもよいし、ユーザの操作によって分布情報を取得してもよい。
解析結果記憶部22は、クラス値付与部16が付与した各楽曲のクラス値を楽曲の識別情報と対応づけた楽曲−クラス値テーブルと、分布取得部20が取得した楽曲集合ごとの分布情報を記憶する。ただし利用する目的によってはどちらか一方のみを記憶してもよい。ユーザの操作より前に大量の楽曲についてクラス値付与、分布情報取得を行う場合、解析結果記憶部22は、楽曲に係る情報を格納したデータベースを形成する。解析結果記憶部22はハードディスク、メモリなど一般的な記憶装置でよい。
音楽情報処理装置10はさらに、ユーザからの各種指示の入力を受け付ける入力部24、クラス値や分布情報から楽曲、アルバム、歌手などのいずれかの組の一致の度合いを評価する評価部26、評価の結果得られた楽曲の情報や音響を出力する出力部28を含む。入力部24、評価部26、出力部28の処理は、ユーザが音楽情報処理装置10に求める機能によってその処理内容が異なるが、いずれもクラス値および分布情報の少なくともいずれかを利用することによりユーザの求める情報を返す。
入力部24はボタン、キーボード、マウス、トラックボール、画面上のタッチパネルなど一般的に用いられる入力装置のいずれかでよく、少なくともユーザが装置の起動や楽曲やアルバムなどを選択する入力など、提供する機能に必要な入力を行えればよい。なお入力部24は、ネットワークを介して接続したユーザ端末側の入力装置と評価部26側の受信装置などに分割して構成してもよい。
評価部26は、あらかじめ解析結果記憶部22に格納された分布情報、あるいはユーザからの指示により分布取得部20が新たに取得した分布情報などから、複数の分布の一致の度合いを統計的手法により評価する。「一致の度合い」は様々な手法で評価できる分布の類似性である。例えばヒストグラムインターセクションによって得られる、各クラスの頻度の重なりの度合い、すなわち同一クラスのそれぞれの頻度のうち小さい方の頻度を合計した値が大きいほど一致の度合いは大きい。あるいは、分布の平均値と標準偏差が近いほど一致の度合いは大きい。その他、統計処理として一般的に用いられるいかなる尺度を利用してもよい。
また評価部26は、評価結果に基づき、ユーザが求める機能に応じた出力情報を決定する。なお評価部26は一度行った評価結果を解析結果記憶部22に格納しておき、後に同様の解析を行う必要が生じたときに再利用してもよい。さらに、楽曲ファイル記憶部12に格納された楽曲集合について全ての組み合わせで一致の度合いの評価をあらかじめ行ってしまい、解析結果記憶部22に一致の度合いのデータベースとして格納しておいてもよい。あるいは、一致の度合いが所定の基準値を超えた組を類似の楽曲集合としてデータベース化してもよい。この場合、ユーザからの解析指示に従い、解析結果記憶部22内を検索することにより評価処理に代えることができる。
出力部28は、再生装置、表示装置などで実現することができ、楽曲名、アルバム名をリスト表示したり、楽曲を再生して音響として出力したり、分布情報に基づき各種情報を表示したりする。なお出力部28は、ネットワークを介して接続した評価部26側の送信装置とユーザ端末側の出力装置などに分割して構成してもよい。入力部24、評価部26、および出力部28の具体的な処理は、実現できる機能とともに後に詳述する。
図2は特徴量取得部14の構成例を示している。特徴量取得部14は、楽曲の特徴量として、テンポを取得するテンポ取得部30、調性を取得する調性取得部32、ボーカルの種別を取得するボーカル情報取得部34を含む。なお同図で示した各ブロックが取得する特徴量、図3で示す特徴量はあくまで例示であり、楽曲ごとに定まる量、種別であれば、上記で例示したように様々なものを利用することができる。また実際には10種類以上の特徴量を導入してもよい。導入する特徴量は、精度のよい結果を取得できるものを実験などによって決定してもよい。
テンポ取得部30は、楽曲ファイルから楽曲データを取得し、そのテンポ値を取得する。テンポ値とは一般的には1分間における4分音符の数で定義されるが、スローな曲、アップテンポな曲、といった人間の感覚に合致する数値であればそれに限らない。テンポ取得部30は、例えば音楽データをデコードしてモノラル処理した音楽信号に対し、高速フーリエ変換などの信号処理を施すことによって得られた音程の時間変化から得られる。この際、楽曲のビート情報を加味して精度を上げてもよい。
ビート情報は、楽曲のビートの間隔を表す情報であり、音楽信号から各楽器に対応する帯域を検出し、ビート信号に対応する帯域を選択して平滑化することにより、音のアタックタイムとリリースタイムの候補位置を求め、各帯域の自己相関関数から基本周期を求めることによって得られる。その他、従来より用いられているテンポ解析手法のいずれを利用してもよい。また、クラシック音楽など書誌情報にテンポが含まれている場合は、楽曲ファイルから当該情報を抽出してもよい。
調性取得部32は、楽曲ファイルから楽曲データを取得し、その調性を取得する。調性は長調/短調の区別のみでもよいし、ト長調、ニ短調など主音を考慮した分類でもよい。調性も、テンポ取得部30と同様、音程の時間変化を取得することによって導出することができる。また調性取得部32も、クラシック音楽など書誌情報に調性が含まれている場合は、楽曲ファイルから当該情報を抽出してよい。
ボーカル情報取得部34は、楽曲ファイルから楽曲データを取得し、ボーカルが男声が女性か混声か、あるいはボーカルのない器楽曲か、のボーカルの種別を取得する。ボーカルに代わりメインの楽器の区別でもよい。ボーカル情報取得部34は、音楽信号からボーカルの帯域を検出し、しきい値などで分類することによってボーカルの種別を判定する。また書誌情報にボーカルの種別が含まれている場合は、楽曲ファイルから当該情報を抽出してよい。テンポ取得部30、調性取得部32、ボーカル情報取得部34は、それぞれが取得した特徴量をクラス値付与部16に送信する。
図3はクラス値付与部16が保持する、特徴量の値の組み合わせとクラス値との対応情報を例示している。クラス値定義テーブル100は、クラス値欄102、テンポ値欄104、調性欄106、ボーカル欄108を含む。ここでは例として、テンポ値は1分ごとの4分音符の数が80未満、80以上120未満、120以上160未満、160以上の4つのクラスに分けられているとする。調性は長調および短調の2つのクラスに分けられているとする。ボーカルの種別は男声、女性、混声、なしの4つのクラスに分けられているとする。したがってテンポ値欄104、調性欄106、ボーカル欄108にはそれぞれ該当するクラスが区別されて記載されている。
また、クラス値は上述のとおり各特徴量の値の組み合わせによって定まるため、テンポ値欄104の各クラスに調性欄106の全クラスが対応し、調性欄106の各クラスにボーカル欄108の全クラスが対応するようになっている。結果として組み合わせは、テンポ値4クラス×調性2クラス×ボーカル種別4クラスとなり、合計32クラスの組み合わせが設定できる。クラス値欄102にはそれらのクラスの識別情報として、1から32までの自然数がクラス値として記載されている。
テンポ値のように数値で得られる特徴量をクラス分けする際の境界値は、図のように等間隔である必要はなく、楽曲ファイル記憶部12に記憶された全楽曲の分布や一般的な傾向などに基づき決定してもよいし、実際に聴いた間隔や、実験運用などによって調整を行ってもよい。
図4はクラス値付与部16が各楽曲にクラス値を付与した結果生成される楽曲−クラス値テーブルの例を示している。楽曲−クラス値テーブル110は曲欄112およびクラス値欄114を含む。クラス値付与部16は、特徴量取得部14が楽曲ごとに取得した各特徴量を受信し、クラス値定義テーブル100を参照して当該楽曲が属するクラスを検出する。検出したクラスは、特徴量取得部14から同時に送信された楽曲の識別情報と対応付け、前者をクラス値欄114に、後者を曲欄112に記録する。
同図では曲名「aaa」なる曲のクラスが「3」、曲名「bbb」なる曲のクラスが「28」、曲名「ccc」なる曲のクラスが「19」となっている。ただし曲欄112に記載する曲の識別情報は、曲名でなく識別番号などでもよく、その他の機能ブロックにおいても共通の形式で曲を識別できればよい。楽曲−クラス値テーブル110は解析結果記憶部22に格納しておき、クラス値付与部16は新たな楽曲のクラスを付与する都度、当該テーブルにエントリを追加していく。
図5は分布取得部20が取得する分布情報の例を示している。上述のとおり分布取得部20は、クラス値付与部16から楽曲とクラス値の対応を取得し、書誌情報取得部18から当該楽曲のアルバムや歌手など所定の書誌情報を取得する。そしてアルバムや歌手単位でクラス値別に楽曲数をカウントしていく。これにより、当該アルバムや歌手における、各クラス値の頻度が分布情報として得られる。図5はこの情報をヒストグラムの形式で表したものである。
図5は歌手別の分布情報を表すヒストグラムの例を示しており、上段から「歌手MM」、「歌手NN」、「歌手PP」、「歌手QQ」のヒスとグラムである。各ヒストグラムは横軸がクラス値「1」から「32」の各値を表し、縦軸が各クラスに属する楽曲数を「頻度」として表している。「頻度」は楽曲数そのものでもよいし、最大楽曲数を1として正規化した値でもよい。あるいは全楽曲数に対する割合でもよい。図5の例では、「歌手MM」はクラス値「5」に属する曲が最も多いが比較的様々なクラス値に楽曲が分布している、「歌手QQ」は多少クラス値に偏りが見られる、といった、歌手ごとの傾向が見て取れる。このようなデータをそのままユーザに提示してもよいし、以下に述べる一致の度合いの評価のように、さらなる処理に利用してもよい。
図6は、評価部26が、図5で示した歌手別の分布情報に基づき、歌手同士の一致の度合いを評価するために、ヒストグラムインターセクションを適用した結果を示している。同図は上段から「歌手MM」と「歌手NN」の結果、「歌手MM」と「歌手PP」の結果、「歌手MM」と「歌手QQ」の結果を表すヒストグラムである。図5同様、横軸はクラス値、縦軸は対象となる2名の歌手の頻度の重なり度合いを表す。
同図によれば、上段のヒストグラムから、「歌手MM」と「歌手NN」は比較的様々なクラス値で重なりが大きく、類似性が高い、と考えられる、一方、「歌手MM」と「歌手PP」は一部のクラス値でのみ類似が見られ(中段)、「歌手MM」と「歌手QQ」の場合は、類似性が比較的低い(下段)、と考えられる。このように重なりの度合いもまたクラス値の分布で表すことにより、漠然とした歌手の印象ではなく、全体的な傾向が似ているのか、一部の楽曲に似た傾向があるのか、といった具体的な情報を得ることができる。
例えば「歌手MM」と「歌手PP」はクラス値「12」や「13」で重なりの度合いが大きい。これらのクラス値が「スローテンポ」、「短調」といった共通の特徴量の値に設定されていたら、「歌手MM」と「歌手PP」はそのような特徴量を有する楽曲においてのみ類似性がある、と判断できる。一般的に一人の歌手でもロックなどの激しい曲からバラードなどスローテンポな曲まで、歌う楽曲の特徴は幅広い。そしてリスナーは当該歌手の全ての楽曲が好きな場合もあれば、バラードなど一部の特徴を有する楽曲が特に好きな場合もある。気分や状況によっても当然嗜好が変化する。
図6に示したような分布情報を利用することにより、好みの楽曲と類似する楽曲を歌う歌手、好みの歌手と共通する特徴があるその他の歌手の歌、といったように楽曲と歌手、という異なる粒度の分類同士の関連づけを自動的に行うことができる。結果として、ユーザが求める詳細な条件に合致した情報を容易に提供することができる。また図6の各クラス値の頻度を足し合わせることで、全体的な類似度も数値として明確に表すことができる。
なお、図5、図6は書誌情報として歌手の情報を用い、歌手別に求めた分布情報を利用して歌手同士の類似性を取得したが、上述のとおり楽曲集合を形成する情報は歌手に限らず、アルバム、ジャンル、年代、性別などでもよい。また分布情報やその一致の度合いの表し方は、図5、図6に示したものに限らず、一般的な統計処理の手法を適用してよい。さらに、ヒストグラムインターセクションを計算する場合に、元の分布情報に重み付けなどの加工を行うようにしてもよい。例えば曲数の少ない歌手の場合、どの歌手とヒストグラムインターセクションを計算しても、その値が小さくなってしまう。このような場合の対策として、全曲数が所定のしきい値未満である歌手は、分布情報に所定の係数を掛けて「頻度」を大きくしてから一致の度合いの評価を行うようにすることが考えられる。
次に上述の各種情報を利用して音楽情報処理装置10がユーザに提供できる機能の例について説明する。
(1)好きな楽曲に基づき、新たな歌手、アルバム、楽曲などを推薦する機能
図7は入力された楽曲に基づき歌手、アルバム、楽曲を推薦する機能を提供する処理手順を示すフローチャートである。まず入力部24は、ユーザから好きな楽曲や現在聴きたい楽曲を指定する入力を受け付ける(S10)。すると評価部26は、当該楽曲のクラス値と、解析結果記憶部22に登録された歌手やアルバムの分布情報を比較する(S12)。ユーザからはさらに、候補となる歌手やアルバムの指定を受け付け、評価部26は当該歌手やアルバムを比較対象としてもよい。
なお入力された楽曲のクラス値が解析結果記憶部22に格納されていればそれを利用し、格納されていなければ音楽データから新たに解析を行い、クラス値付与部16がクラス値を付与するようにしてよい。この点は以後説明する機能においても同様である。そして入力された楽曲との一致の度合いが大きい歌手やアルバムを検出する。そのため、実験や理論によって取得した検出条件をあらかじめ設定しておく。例えば入力された楽曲のクラス値と同じクラス値の頻度が全頻度、すなわち含まれる楽曲数の40%以上など所定の割合以上であったアルバムを「一致の度合いが大きい」として検出する。
場合によっては、入力された楽曲と一致の度合いが最も低い歌手やアルバム、入力された楽曲のクラスと隣接するクラスなど所定の関係を有するクラス値の頻度が所定の割合以上の歌手やアルバム、などを検出条件としてもよい。このように、想定される状況に応じてあらかじめ検出条件を様々準備しておき、ユーザがその中から選択できるようにしてもよい。さらに、検出した歌手やアルバムに含まれる楽曲から、入力された楽曲と同じクラス値を有する楽曲を抽出してもよい。出力部28は検出された歌手、アルバム、楽曲などをリスト表示したり、音楽データそのものを再生したりして出力する(S14)。
この機能では、ユーザが指定した楽曲の特徴量を用いて類似性を考慮したうえで歌手やアルバムを推薦するため、単に漠然とした印象によって定まる類似の歌手、といった大まかな関連づけより具体的な嗜好を反映した推薦情報を提供することができる。したがって同じ歌手でも別の曲を入力すれば、推薦する歌手やアルバムが変化することも考えられる。この機能により、ユーザは、自分の嗜好により合致した新たな歌手やアルバムを知ることができる。ユーザは複数の楽曲を入力してもよく、この場合は、全ての楽曲のクラス値を多く含むアルバムや歌手を推薦することで、推薦対象の絞り込みを行うこともできる。
(2)好きな歌手、アルバムに基づき、別の歌手、アルバム、楽曲などを推薦する機能
図8は入力された歌手に基づき別の歌手、アルバム、楽曲を推薦する機能を提供する処理手順を示すフローチャートである。まず入力部24はユーザから好きな歌手や現在聴きたい歌手を指定する入力を受け付ける(S20)。歌手に替わりアルバムなどでもよい。すると評価部26は、当該歌手の分布情報と、解析結果記憶部22に登録された歌手やアルバムの分布情報を比較する(S22)。ユーザからはさらに、候補となる歌手またはアルバムの指定を受け付け、評価部26は当該歌手やアルバムを比較対象としてもよい。またはジャンルを受け付け、当該ジャンルに属し、解析結果記憶部22に登録されている歌手やアルバムを抽出して比較対象としてもよい。
そして一致の度合いが大きい歌手やアルバムを検出する。例えば図6で示したように、比較する両者の分布の重なりの度合いをヒストグラムインターセクションで求め、当該重なり度合いの合計が所定のしきい値以上である分布情報を有する歌手やアルバムを特定する。一致の度合いの指標は別の統計的手法を用いてもよい。また検出条件は一致の度合いが大きいものに限らず、(1)の機能で説明したのと同様、様々な条件をあらかじめ準備しておきユーザの指示に従い設定できるようにしておいてもよい。さらに、検出した歌手やアルバムに含まれる楽曲から、重なりの度合いが所定値以上のクラス値を有する楽曲を抽出してもよい。出力部28は特定された歌手、アルバム、楽曲などをリスト表示したり、音楽データそのものを再生したりして出力する(S24)。多くの歌手やアルバム、楽曲が抽出された場合は、重なりの度合いが大きいものを優先して出力する。
この機能では、言葉や数値では表しにくい音楽的な嗜好を、歌手やアルバムを指定することで分布情報として解釈し、分布情報同士の一致の度合いに応じて、類似する別の歌手やアルバムを推薦する。これにより、人が分類したジャンルや類似の歌手、といった書誌情報より、実際の楽曲の特徴が表れた歌手やアルバムの推薦が可能となる。例えば書誌情報では検出しにくい、別のジャンルの歌手や音楽スタイルの異なる歌手などでも推薦できる可能性があり、ユーザが聴く音楽の幅を広げることができる。
この機能ではユーザが楽曲を入力してもよい。この場合、まず楽曲を含む歌手やアルバムを書誌情報から特定することでS20の処理に代えられる。また、ユーザが複数の歌手や楽曲を入力してもよい。この場合は、まず入力された歌手などの分布情報を取得し、それらの歌手に共通するクラス値の重なり度合いをヒストグラムインターセクションにより求め、それと一致の度合いの大きい歌手やアルバムを推薦する。これによりユーザが推薦対象の絞り込みを行うこともできる。また、好きな歌手と同時に比較対象の歌手やジャンルの入力を受け付け、好きな歌手の分布情報との重なり度合いが所定値以上のクラス値を有する楽曲を推薦楽曲とすることにより、初めて聴く歌手やジャンルでも耳慣れた雰囲気の楽曲から聴き始めることができ、抵抗感が少なくなる。
また一の歌手やアルバムでも、含まれる楽曲は図5のように様々なクラス値に分散するのが一般的である。そこで、出力部28をネットワークラジオのような複数の音楽を配信する機構とし、ユーザが指定した歌手やアルバムに含まれる楽曲のクラス値と同じクラス値を有する楽曲を順次配信していくと、指定した歌手やアルバムの分散の範囲内で様々なクラス値の楽曲を提供することができる。すなわち、同一のクラス値の楽曲を配信し続けるより適度な変化幅をもたせた楽曲配信ができると同時に、当該変化幅が、耳慣れた歌手のものを継承していることにより、ユーザに受け入れられやすい。
(3)複数の歌手、アルバムにおいて共通性の高い楽曲を抽出する機能
図9は入力された複数の歌手間で共通性の高い楽曲を抽出する機能を提供する処理手順を示すフローチャートである。まず入力部24は、ユーザから複数の歌手を指定する入力を受け付ける(S30)。歌手に替わりアルバムなどでもよい。すると評価部26は、入力された複数の歌手の分布情報を比較し、全ての歌手で共通して大きい頻度を有するクラス値を抽出する(S32)。例えば全ての歌手のクラス値ごとの重なり度合いを調べ、所定のしきい値以上の重なり度合いを有するクラス値を、「共通して大きい頻度を有する」として抽出する。この場合、発表した曲数の少ない歌手が入力されていても同様に抽出できるように、当該歌手の分布情報に所定の係数を掛けるなど重み付けをしたうえで比較を行ってもよい。
あるいは、歌手ごとにクラス値の頻度をランク付けし、上位の頻度を有するクラス値に、入力された歌手共通のクラス値があった場合に「共通して大きい頻度を有する」とするなどでもよい。そして楽曲−クラス値テーブルなどを参照し、それらの歌手の楽曲のうち、抽出したクラス値を有する楽曲を特定する。出力部28は特定した楽曲をリスト表示したり、音楽データそのものを再生したりして出力する(S34)。
同一歌手であっても方向性の変化や音楽的幅により、歌う楽曲に全く異なる要素が含まれている場合も多い。この機能では、複数の歌手に共通する特徴を有する楽曲を提供することにより、歌手同士の思わぬ音楽的なつながりを発見したり、よく知っていると思っている歌手でも気づかなかった側面を知るきっかけとすることができる。また自分が漠然と好ましく思っている複数の歌手の共通性を調べることにより、自分が求めている領域を見つけることができる。さらに、複数のアルバムから雰囲気の似た曲をまとめて抽出できるため、セレクションアルバムを自動で生成することができ、気分に合った雰囲気の曲を連続再生することもできる。
(4)好きなアルバムの構成と同じ順序で選曲する機能
図10は入力されたアルバムの構成と同じ順序で別の歌手などの楽曲を選曲していく機能を提供する処理手順を示すフローチャートである。まず入力部24はユーザから好きなアルバムを指定する入力を受け付ける(S40)。すると評価部26はまず当該アルバムの全収録曲のクラス値を取得し、各クラス値と同一のクラス値を有する楽曲を、解析結果記憶部22に登録された別の歌手やアルバムなどから検出する(S42)。ユーザからはさらに、検出元となる歌手またはアルバムの指定を受け付け、評価部26は当該歌手やアルバムの楽曲を検索対象としてもよい。
出力部28は、入力されたアルバムの収録曲の順番を参照し、クラス値の出現順に各クラス値を有する検出された楽曲を再生して出力する(S44)。図11はこの機能において入力されたアルバムと出力される楽曲の関係を説明する図である。図の上段は「入力アルバム」の楽曲の収録順とクラス値の関係、下段は「出力楽曲」の順序とその歌手の対応を例示しており、横軸が曲順である。この例で「入力アルバム」は、トラック1から10までの10曲を収録しており、それぞれ「24」、「10」、「13」、・・・、「30」のクラス値を有する。
この場合、評価部26は、クラス値「24」を有する楽曲「A」、クラス値「10」を有する楽曲「B」、クラス値「13」を有する楽曲「C」、・・・、クラス値「30」を有する楽曲「J」を解析結果記憶部22に登録された楽曲の中から検出する。この際、検出する楽曲を歌う歌手などは特に制限を設けず、図に示すように歌手「a」、「b」、「c」、・・・、「d」、と異なっていてよい。一方ユーザが、検出する歌手やアルバムを指定した場合はその中から検出する。そして出力部28は、元の「入力アルバム」の収録順に対応したクラス値の順番で検出した楽曲を再生する。
アルバムは一般的に、リスナーが聴きやすい、リスナーにインパクトを与たい、独自の世界を表現したい、といった作者の意図によって収録曲の順序が練られている場合が多い。したがって独立した楽曲を連続で聴く場合も、気に入りのアルバムの収録曲と同様の流れで再生することにより、元のアルバムの作者の意図を別の楽曲にも反映させることができる。これにより適度な変化のある独立した楽曲を、完成されたアルバムのように連続で聴くことができる。
図12はこれまで述べてきた音楽情報処理装置10を応用した音楽配信システムの構成を示している。音楽配信システム200は、音楽情報処理装置10とユーザ端末202a、202b、202cとがネットワーク204を介して接続する構成を有する。このような構成においてユーザは、ユーザ端末202aなどで専用のソフトウェアを起動し、入力画面などにおいて自分の好みの楽曲やアルバム、歌手の情報を入力する。入力された情報はネットワーク204を介して音楽情報処理装置10に送信される。
情報を受信した音楽情報処理装置10は、上述した各種機能を実現する処理手順により、ユーザの好みのアルバムに類似したアルバムなどを選定し、当該アルバムなどから抽出した楽曲データをユーザ端末202aなどに返す。ユーザは送信された楽曲をユーザ端末202aなどで受聴する。
なお、ユーザが好みの楽曲などをユーザ端末202aなどに入力する替わりに、ユーザが最近受聴した楽曲の情報を、ユーザ端末202aなどが自動で音楽情報処理装置10に送信するようにしてもよい。音楽情報処理装置10では、送信された情報をユーザごとに記憶しておき、ユーザから新たな楽曲データの送信要求があった場合に、記憶した情報に基づき上述したような解析を行ってもよい。このようにすることで、ユーザは自らがデータを入力する手間をかけずに、常に好みの楽曲に応じた新たな楽曲を聴くことができる。
実施の形態2
実施の形態1では、アルバムや歌手などで形成される楽曲集合ごとに取得した分布情報と楽曲のクラス値を利用して、歌手、アルバム、楽曲などに関連性を見出し、主にユーザの嗜好に合う音楽を検出して出力した。本実施の形態では分布情報を利用して歌手、演奏者、アルバムの分析を行い、分析結果を可視化して理解し易い形式でユーザに提示する。装置の構成は図1で示したものと同様とすることができ、各アルバムの分布情報も同様に取得する。以下、主に実施の形態1と異なる点に着目して説明する。なお可視化の例について図13から図16を参照しながら説明するが、これらの図は出力部28の一部である表示装置に表示される画面の例を示している。
図13は、アルバムごとに楽曲の特徴の分布を表した画面例を示している。アルバム別特徴分布表示画面120は、一行が一のアルバム、一列が一のクラスを表すマトリクスにおいて、各クラスの頻度の大きさを円の大きさで表す。頻度が0のクラスは空欄としている。アルバム別特徴分布表示画面120は、図5に示したような分布情報を、着目する特徴量によってクラスの順序を入れ替えて表したものと考えることができる。同図の例では、特徴量としてジャンルおよびテンポに着目しており、「Movie」(映画音楽)のジャンル、「Jazz」(ジャズ)のジャンル、「Rock」(ロック)のジャンルに属する各クラスがまとめて表示され、テンポは左から右になるほど速くなるように表示されている。
各段の左側には、それぞれのアルバムの名称およびリリース年といった書誌情報を表示し、上側には特徴量の並び順を端的な言葉で表示したうえ、ジャンルの区別は色でも表している。アルバム別特徴分布表示画面120を表示するために、まず評価部26は、ユーザが入力部24に対して指定する入力を行った一の演奏者が過去にリリースしたアルバムの分布情報を解析結果記憶部22から読み出す。そして着目する特徴量の大小関係や区分けが明確となるように、クラスの表示順序を決定する。ここで「着目する特徴量」と「クラスの順序」のセットはあらかじめ設定しておいてもよい。複数のセットを準備し、ユーザが選択できるようにしてもよい。
また、分布取得部20が書誌情報取得部18から取得して解析結果記憶部22に格納した、アルバムのリリース年等の書誌情報も読み出す。出力部28は、評価部26が決定した表示順序で各クラスの頻度を円の大きさへ変換して分布情報を描画していくとともに、左側に書誌情報、上側に特徴を表す表示を行う。なお上側に表示する言葉や色は、着目する特徴量と対応付けてあらかじめ準備しておいてもよい。なお上側に表示される言葉は、音楽データから直接取得できる特徴量であってもよいし、直接取得した特徴量から推定される二次的な特徴量などであってもよく、いずれにしろ音楽的特徴を一見して把握できるように選定することが望ましい。
図13のアルバム別特徴分布表示画面120によれば、この演奏者は、映画音楽やジャズに偏ったアルバムと、ロックに偏ったアルバムをリリースしており、どのアルバムにどのジャンルの楽曲が多いかといったことが一見して把握できる。同じ演奏者や歌手でも複数のジャンルの楽曲を発表することは多いが、そのような細かな情報を得ることは難しい。アルバム別特徴分布表示画面120によって、ユーザは、馴染みの少ない演奏者や歌手でも、自分の好みに応じたアルバムを選択することができる。またアルバムをリリース順にソートして表示すれば、年代によって傾向の異なる演奏者などではその傾向を一目で把握することができる。
一般的に歌手、演奏者などの書誌情報では属するジャンルが固定的であるため、異なるジャンルの作品を発表していたとしてもファン以外の人間がそのことを容易に知る手だてがない。結果として、書誌情報のジャンルで判断して聴く気になれない、といったことが起こり得る。また、そのようなジャンル分けは書誌情報を設定した人の主観や一般的な印象によって決定しがちであり、実際の作品との乖離が見られる場合もある。アルバム別特徴分布表示画面120によれば、クラス値の分布情報という客観的な尺度に基づき、アルバムに含まれるジャンルの分布を把握できるため、ユーザは聴かず嫌いといった状況を少なくでき、受け入れやすい楽曲から音楽の幅を広げることができる。また一の歌手や演奏者の傾向が変わっても、人手により設定し直すなどの手間をかけずに正確な情報を提供することができる。
なお、アルバム別特徴分布表示画面120のマトリクスに表示した円などの図形を入力部24のポインティングデバイスなどで選択することにより、当該図形に該当する楽曲を再生したりより詳細な情報を表示したりしてもよい。これによりユーザは興味のある楽曲へ直接アクセスすることができる。また上記の説明はジャンルに着目したが、本実施の形態における特徴量はジャンル以外の様々な要因を含めることができるため、着目する特徴量を様々準備しておくことにより、別の観点での傾向を表示できる。
図14は、アルバム別に楽曲の特徴を表した画面例を示している。図13のアルバム別特徴分布表示画面120では、各アルバムにおけるクラス値の頻度を円の大きさで表示したが、図14のアルバム別特徴量表示画面130では、アルバムごとに、ある特徴量のレベルを表す。同図の例では特徴量のひとつである「パワー感」に基づく評価値をアルバムごとに表示している。ここで「パワー感」とはテンポやビートの間隔などを用いて算出できる特徴量であり、ジャズ、ダンス、ファンク、ロックといったジャンルを表現するひとつの尺度である。また、「評価値」は、「パワー感」の値をアルバムごとに平均した値や、「パワー感」の曲ごとのクラス値を平均した値、最も多く含まれるクラス値など、所定の算出手法をあらかじめ設定しておく。
この場合、解析結果記憶部22には、アルバムの収録曲ごとに特徴量取得部14が取得した「パワー感」の値を格納しておく。そして評価部26はユーザが入力部24に対して指定する入力を行った一の演奏者が過去にリリースしたアルバムの収録曲の「パワー感」の値を解析結果記憶部22から読み出す。そしてアルバムごとに「パワー感」の評価値を算出する。出力部28は、横軸を「パワー感」の評価値の大きさにとり、アルバムごとに当該評価値をドットで表す。あるいは折れ線グラフやヒストグラムなどでもよいし縦軸と横軸は入れ替えてもよい。図13の例では、リリース順にソートしたアルバムを縦軸に表している。
ここで表示する特徴量は「パワー感」に限定されず、特徴量取得部14が取得する特徴量およびそれを用いて二次的に算出できる特徴量のいずれでもよい。また、表示する特徴量を切り替えられるようにしてもよい。さらに表示する評価値は特徴量の重み付け平均値や、いずれかのアルバムや他の演奏者のアルバムなどを基準とした偏差値など、統計的手法で得られる値のいずれでもよい。
図14のアルバム別特徴量表示画面130によれば、この演奏者は1980年代に特にパワー感の高いアルバムを発表していることがわかる。このようにアルバムごとに算出した特徴量の評価値などを図示することにより、全アルバムにおけるあるアルバムの位置づけを把握したり、2つのアルバムを比較したりすることが容易になる。またリリース順に並べることにより、時代による変遷を知ることができる。ユーザは、細かいプロフィールやディスコグラフィーなどを読まずともそのような情報を得ることができ、聴いてみたいアルバムを選択する拠り所を得ることができる。これらの情報をさらに把握し易いように、特徴量の変化の仕方を色や形状を変化させて表現してもよい。
図15は、アルバムの傾向を表した画面例を示している。アルバム傾向表示画面140は、図14のアルバム別特徴量表示画面130で算出した値を利用して描画することができる。すなわちアルバムを「パワー感」の評価値でソートして左から順に各アルバムのジャケットの画像とともに並べる。「パワー感」が低いほどジャズ色が強く、「パワー感」が高いほどダンス、ファンク色が強い、という性質を利用すると、左に表示されるアルバムほどジャズ色が、右に表示されるほどダンス、ファンク色が強く、中間に表示されるアルバムは双方の雰囲気を有するということになる。
なおこの例では「パワー感」をジャンルに置き換えて最下段に「Jazz」(ジャズ)、「Dance/Funk」(ダンス/ファンク)と記載しているが、当然、利用する特徴量によって表現できる傾向の種類は異なってよい。例えば特徴量としてテンポを利用すれば、全体的にスローなアルバムからアップテンポなアルバムまでをその順に並べることができる。このようにアルバムごとに算出した特徴量の評価値などの順にアルバムを並べることにより、アルバムの全体的な雰囲気の比較を容易にできる。またジャケット画像を表示することで画像から得られる雰囲気を同時に表すことができ、ユーザのアルバム選択を効果的に支援できる。
図16はアルバムの特徴量の分布をリリース年ごとに表した画面例を示している。特徴量分布年代別表示画面150は、リリース年代に分けた複数のアルバムごとの特徴量分布を2次元空間に表示した年代別2次元マップ152を年代順に並べた3次元構造を表示する。ここで年代別2次元マップ152は、特徴量取得部14が取得した特徴量のうち所定の2つの特徴量の散布図でもよいし、所定の特徴量に対し主成分分析や因子分析を行い2変数に集約したときの散布図でもよい。図16の例では、散布図の変数として楽曲の明るさを示す値(横軸)およびテンポを示す値(縦軸)が採用され、楽曲ごとにドットが表されている。
また同図では、2枚の年代別2次元マップ152が表示されており、それぞれ「1995年」と「2000年」とが表記されている。これは1995年から1999年までにリリースされたアルバム、2000年から2004年までにリリースされたアルバムに対応する。これらの年代別2次元マップ152は、奥行き方向の時間軸上に並んでいるように、マップの一部を重ねて表示している。このような表示を行うために解析結果記憶部22には、アルバムの収録曲ごとに特徴量取得部14が取得した特徴量を格納しておく。そして評価部26は、ユーザが入力部24に対して指定する入力を行った一の演奏者が過去にリリースしたアルバムの収録曲の特徴量を解析結果記憶部22から読み出す。
またアルバムのリリース年等の書誌情報も解析結果記憶部22から読み出す。そして必要に応じて所定の特徴量を上記の手法で楽曲ごとの2値に変換する。出力部28は、このようにして得られた2値を、アルバムのリリース年代に応じて異なる年代別2次元マップ152上に散布図の形式で描画する。同図のようにアルバムごとにドットのパターンを変えてもよい。あるいは2値をそれぞれ平均化し、アルバムごとに一のドットを表してもよい。また、ユーザが入力部24のポインティングデバイスなどで奥に表示された年代別2次元マップ152を選択すると、当該マップが前面に移動したり前方のマップを透けて見せたりすることで、全ての年代別2次元マップ152の全体が容易に確認できるようにする。
このように各楽曲の特徴量を2次元上の散布図で表し、さらに年代別に並べることにより、より多くの情報を一の画面上で表現することが可能となる。これにより特徴量の複合条件に合致したアルバムを、年代を限定して探し出す、といったことが容易にできるようになる。また散布図で表すことにより、特徴の年代変化を直感的に把握できるようになる。さらに楽曲ごとにドットを表すようした場合、各アルバムの特徴量の分布をより正確に知ることができる。このとき、一のドットを選択する入力がユーザよりなされたら、当該楽曲を再生するようにしてもよい。
なお図16ではリリース年代によって2次元マップを作成し、奥行き方向に時間軸をとることにより2次元マップの時間変化を表現したが、2次元マップを年代別にせず、奥行き方向を時間軸としなくてもよい。例えば歌手ごとに同様の手法で2次元マップを作成し、奥行き方向の軸に歌手をとると、歌手同士の比較を容易に行うことができる。奥行き方向の軸はそのほかに、ジャンルなど書誌情報による分類でもよいし、2次元マップ上で表していない特徴量などでもよい。これらの場合も、ユーザが特徴の変化を直感的に把握できるといった効果は同様に得られる。
以上述べた本実施の形態によれば、アルバム、歌手、演奏者、ジャンルなどの書誌情報を利用して形成した楽曲集合ごとに特徴量をまとめ、その分布を楽曲集合固有の情報として利用する。当該分布情報は各楽曲の特徴を正確に反映しているため、他のアルバムや歌手、演奏者などとの比較を高精度に行うことができる。結果として、書誌情報では得られにくいアルバム同士、歌手、演奏者同士の関連づけができ、ユーザの好みや要求に応じて新たなジャンル、歌手、アルバム、楽曲などの情報を提供することができる。
また分布情報は楽曲の特徴量と簡易な書誌情報とによって自動で取得できるため、人手によるアップデートが最小限に抑えられ、手間やコストが抑制できる。本実施の形態では、複数の特徴量の値の組み合わせにより、各楽曲をクラス分けしてクラス値を与え、クラス値ごとの頻度の形式で分布情報を取得する。これにより楽曲集合同士の類似性を、自然数を主たる計算対象とした平易な計算で評価することができ、計算の負荷が少ない。またクラス値をあらかじめデータベース化しておくことで、実際に類似性などを評価する段においては計算負荷がさらに抑えられ、効率的に精度のよい結果を出すことができる。
また分布情報は数値で表される情報であるため、図形への加工がし易く、様々な形式で表示することにより、ユーザがアルバムの傾向などを直感的に理解し易い。そのためこれまであまり聴かなかった演奏者のアルバムや楽曲を選択するなどの場面で効果的にユーザを支援できる。さらに楽曲ごとに特徴量やクラス値を取得しているため、アルバムごと、楽曲ごと、といった粒度の異なる情報を関連づけて表示することもできる。
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
例えば本実施の形態では、特徴量の値の組み合わせによって各楽曲にクラス値を付与し、クラス値の頻度の分布を利用して楽曲集合同士の類似性を評価した。一方、クラス値を付与せず、特徴量が張る空間上における各楽曲の座標を直接利用してもよい。この場合、例えばある楽曲の座標からのユークリッド距離が所定のしきい値内にある楽曲は同じクラスであると考えれば、本実施の形態と同様の処理で楽曲集合同士の類似性を精度よく評価できる。
実施の形態1における音楽情報処理装置の構成を示す図である。 実施の形態1における特徴量取得部の構成例を示す図である。 実施の形態1におけるクラス値付与部が保持する、特徴量の値の組み合わせとクラス値との対応情報を例示する図である。 実施の形態1におけるクラス値付与部が生成する楽曲−クラス値テーブルの例を示す図である。 実施の形態1における分布取得部が取得する分布情報の例を示す図である。 図5で示した歌手別の分布情報に基づき歌手同士の一致の度合いを評価するための図である。 実施の形態1において、入力された楽曲に基づき歌手、アルバム、楽曲を推薦する機能を提供する処理手順を示すフローチャートである。 実施の形態1において、入力された歌手に基づき別の歌手、アルバム、楽曲を推薦する機能を提供する処理手順を示すフローチャートである。 実施の形態1において、入力された複数の歌手間で共通性の高い楽曲を抽出する機能を提供する処理手順を示すフローチャートである。 実施の形態1において、入力されたアルバムの構成と同じ順序で別の歌手などの楽曲を選曲していく機能を提供する処理手順を示すフローチャートである。 実施の形態1の入力されたアルバムの構成と同じ順序で楽曲を選曲していく機能における、入力されたアルバムと出力される楽曲の関係を説明する図である。 実施の形態1における音楽情報処理装置を応用した音楽情報処理システムの構成を示す図である。 実施の形態2において、アルバムごとに楽曲の特徴の分布を表した画面例を示す図である。 実施の形態2において、アルバム別に楽曲の特徴を表した画面例を示す図である。 実施の形態2において、アルバムの傾向を表した画面例を示す図である。 実施の形態2において、アルバムの特徴量の分布をリリース年ごとに表した画面例を示す図である。
符号の説明
10 音楽情報処理装置、 12 楽曲ファイル記憶部、 14 特徴量取得部、 16 クラス値付与部、 18 書誌情報取得部、 20 分布取得部、 22 解析結果記憶部、 24 入力部、 26 評価部、 28 出力部、 120 アルバム別特徴分布表示画面、 130 アルバム別特徴量表示画面、 140 アルバム傾向表示画面、 150 特徴量分布年代別表示画面、 200 音楽配信システム。

Claims (9)

  1. 楽曲を解析し所定の特徴量を取得する特徴量取得部と、
    楽曲の所定の書誌情報を取得する書誌情報取得部と、
    前記書誌情報に基づき所定の単位で楽曲集合を形成し、前記特徴量に基づき所定の規則で決定した楽曲固有の評価値の、前記楽曲集合ごとの分布情報を、当該楽曲集合固有の情報として取得する分布取得部と、
    を備え
    ユーザが指定したアルバムの各収録曲の前記評価値と同じ評価値を有する楽曲を、前記アルバム以外の楽曲集合から一曲ずつ抽出する評価部と、
    前記アルバムの収録順序に対応した評価値の順番で、前記評価部が抽出した楽曲を再生する出力部と、
    を備えた、音楽情報処理装置。
  2. 前記特徴量取得部が取得した複数種類の特徴量の値の組み合わせによって楽曲をクラス分けし、楽曲ごとにクラス識別情報を付与するクラス値付与部をさらに備え、
    前記分布取得部は、前記楽曲集合固有の情報として前記クラス識別情報の分布情報を取得する請求項1に記載の音楽情報処理装置。
  3. ユーザが指定した複数の楽曲集合の前記分布情報を、前記楽曲集合ごと、前記評価値ごとに並べた図形の大きさで各評価値の頻度を表すことにより一覧表示する表示部をさらに備えた請求項1または2に記載の音楽情報処理装置。
  4. ユーザが指定した複数の楽曲集合のそれぞれに対し所定の特徴量を平均した値を、前記楽曲集合に対するグラフで表す表示部をさらに備えた請求項1または2に記載の音楽情報処理装置。
  5. ユーザが指定した複数の楽曲集合のそれぞれに対して所定の特徴量の評価値を算出し、
    当該評価値の大きさの順に、前記複数の楽曲集合の名称を並べて表示する表示部をさらに備えた請求項1または2に記載の音楽情報処理装置。
  6. ユーザが指定した複数の楽曲集合の所定の特徴量を分析して2変数に対する分布に集約したうえで平面をなす2次元マップ上に表すとともに、当該2次元マップを第3の変数に対して複数作成し、その一部が重なるように奥行き方向に並べた形で表示する表示部をさらに備え、
    前記表示部は、ユーザからの前記2次元マップの選択入力に伴い、当該2次元マップの全体が確認できるように奥行き方向の配置を変化させる請求項1または2に記載の音楽情報処理装置。
  7. プロセッサが音楽に係る情報を生成する方法であって、
    記憶装置に格納された楽曲データを読み出し、当該楽曲を解析することにより所定の特徴量を取得するステップと、
    記憶装置に格納された当該楽曲の所定の書誌情報を読み出すステップと、
    前記書誌情報に基づき所定の単位で楽曲集合を形成し、前記特徴量に基づき所定の規則で決定した楽曲固有の評価値の、前記楽曲集合ごとの分布情報を、当該楽曲集合固有の情報として取得して記憶装置に記憶させるステップと、
    ユーザが指定したアルバムの各収録曲の前記評価値と同じ評価値を有する楽曲を、前記アルバム以外の楽曲集合から一曲ずつ抽出するステップと、
    前記アルバムの収録順序に対応した評価値の順番で、抽出した楽曲を再生するステップと、
    を含む音楽情報処理方法。
  8. ユーザから好みの楽曲についての情報を取得するステップと、
    前記楽曲集合ごとの分布情報の類似性を用いて、ユーザの好みの楽曲に類似する楽曲集合を特定しユーザに推薦するステップと、
    をさらに含む請求項に記載の音楽情報処理方法。
  9. 記憶装置に格納された楽曲データを読み出し、当該楽曲を解析することにより所定の特徴量を取得する機能と、
    記憶装置に格納された当該楽曲の所定の書誌情報を読み出す機能と、
    前記書誌情報に基づき所定の単位で楽曲集合を形成し、前記特徴量に基づき所定の規則で決定した楽曲固有の評価値の、前記楽曲集合ごとの分布情報を、当該楽曲集合固有の情報として取得して記憶装置に記憶させる機能と、
    ユーザが指定したアルバムの各収録曲の前記評価値と同じ評価値を有する楽曲を、前記アルバム以外の楽曲集合から一曲ずつ抽出する機能と、
    前記アルバムの収録順序に対応した評価値の順番で、抽出した楽曲を再生する機能と、
    をコンピュータに実現させるコンピュータプログラム。
JP2008230752A 2008-09-09 2008-09-09 音楽情報処理装置、音楽情報処理方法およびコンピュータプログラム Expired - Fee Related JP5293018B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008230752A JP5293018B2 (ja) 2008-09-09 2008-09-09 音楽情報処理装置、音楽情報処理方法およびコンピュータプログラム
US12/551,036 US8315968B2 (en) 2008-09-09 2009-08-31 Music information processing apparatus, music delivering system, and music information processing method that can satisfy a request from a user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008230752A JP5293018B2 (ja) 2008-09-09 2008-09-09 音楽情報処理装置、音楽情報処理方法およびコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2010066366A JP2010066366A (ja) 2010-03-25
JP5293018B2 true JP5293018B2 (ja) 2013-09-18

Family

ID=41800088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008230752A Expired - Fee Related JP5293018B2 (ja) 2008-09-09 2008-09-09 音楽情報処理装置、音楽情報処理方法およびコンピュータプログラム

Country Status (2)

Country Link
US (1) US8315968B2 (ja)
JP (1) JP5293018B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012117443A1 (ja) * 2011-03-01 2012-09-07 パイオニア株式会社 対象物配置方法、ブラウズ方法、表示制御装置、サーバー、ユーザー端末、通信システム、対象物配置システムおよびプログラム
WO2013114421A1 (ja) * 2012-01-30 2013-08-08 パイオニア株式会社 表示システム、表示制御装置、音響機器、表示方法およびプログラム
JP5723308B2 (ja) * 2012-02-29 2015-05-27 株式会社エクシング 端末装置及び楽曲再生装置
JP6270702B2 (ja) * 2014-12-05 2018-01-31 日本電信電話株式会社 ディジタルコンテンツ情報系列生成装置、方法、及びプログラム
US11288723B2 (en) 2015-12-08 2022-03-29 Sony Corporation Information processing device and information processing method
JP6891662B2 (ja) * 2017-06-23 2021-06-18 富士通株式会社 音声評価プログラム、音声評価方法および音声評価装置
WO2020122276A1 (ko) * 2018-12-10 2020-06-18 주식회사 이스트컨트롤 음악 콘텐츠 추천 장치 및 이를 구비하는 음악 콘텐츠 제공 시스템
US11188605B2 (en) 2019-07-31 2021-11-30 Rovi Guides, Inc. Systems and methods for recommending collaborative content

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08137902A (ja) * 1994-11-10 1996-05-31 Fujitsu Ltd イメージ空間域指定サウンド検索装置
US7962482B2 (en) * 2001-05-16 2011-06-14 Pandora Media, Inc. Methods and systems for utilizing contextual feedback to generate and modify playlists
JP4622589B2 (ja) * 2005-03-08 2011-02-02 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
JP2006293896A (ja) * 2005-04-14 2006-10-26 Matsushita Electric Ind Co Ltd 楽曲検索装置

Also Published As

Publication number Publication date
US8315968B2 (en) 2012-11-20
JP2010066366A (ja) 2010-03-25
US20100063952A1 (en) 2010-03-11

Similar Documents

Publication Publication Date Title
JP5293018B2 (ja) 音楽情報処理装置、音楽情報処理方法およびコンピュータプログラム
Lidy et al. On the suitability of state-of-the-art music information retrieval methods for analyzing, categorizing and accessing non-western and ethnic music collections
Orio Music retrieval: A tutorial and review
US7899564B2 (en) Procedure and apparatus for generating automatic replay of recordings
US20090228799A1 (en) Method for visualizing audio data
JP4423568B2 (ja) 表示制御処理装置および方法並びにプログラム
US10225328B2 (en) Music selection and organization using audio fingerprints
Pampalk et al. MusicSun: A New Approach to Artist Recommendation.
Streich Music complexity: a multi-faceted description of audio content
Pachet Knowledge management and musical metadata
US11271993B2 (en) Streaming music categorization using rhythm, texture and pitch
US9053695B2 (en) Identifying musical elements with similar rhythms
KR20120051343A (ko) 음악 시각화 방법을 이용한 음악 재생 시스템 및 방법
Goto et al. Recent studies on music information processing
Moelants et al. Exploring African tone scales
Bayle et al. Kara1k: A karaoke dataset for cover song identification and singing voice analysis
Collins et al. A new curated corpus of historical electronic music: Collation, data and research findings
Herrera et al. SIMAC: Semantic interaction with music audio contents
Herremans et al. A multi-modal platform for semantic music analysis: visualizing audio-and score-based tension
Nakano et al. PlaylistPlayer: An interface using multiple criteria to change the playback order of a music playlist
Zhu et al. Perceptual visualization of a music collection
Gomez-Marin et al. Drum rhythm spaces: From polyphonic similarity to generative maps
Tzanetakis et al. Music analysis and retrieval systems for audio signals
WO2013114421A1 (ja) 表示システム、表示制御装置、音響機器、表示方法およびプログラム
Pachet Musical metadata and knowledge management

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100901

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100902

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20101125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110902

A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20110902

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20111019

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20111019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130527

LAPS Cancellation because of no payment of annual fees