JP4981630B2 - 感性マッチング方法、装置及びコンピュータ・プログラム - Google Patents

感性マッチング方法、装置及びコンピュータ・プログラム Download PDF

Info

Publication number
JP4981630B2
JP4981630B2 JP2007297835A JP2007297835A JP4981630B2 JP 4981630 B2 JP4981630 B2 JP 4981630B2 JP 2007297835 A JP2007297835 A JP 2007297835A JP 2007297835 A JP2007297835 A JP 2007297835A JP 4981630 B2 JP4981630 B2 JP 4981630B2
Authority
JP
Japan
Prior art keywords
music data
user
information
music
tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007297835A
Other languages
English (en)
Other versions
JP2008186444A (ja
Inventor
祐 宮崎
有紀子 森
美宇 筒井
勝 市川
洋輔 早川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2007297835A priority Critical patent/JP4981630B2/ja
Publication of JP2008186444A publication Critical patent/JP2008186444A/ja
Application granted granted Critical
Publication of JP4981630B2 publication Critical patent/JP4981630B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、人の嗜好に合致した楽曲を抽出する感性マッチング方法、装置、及びコンピュータ・プログラムに関する。より詳しくは、人の音楽嗜好を表した音楽ストリームデータの一部分から、前記音楽ストリームデータの一部分に類似のユーザの感性がマッチした音楽データを抽出するマッチング方法、マッチング装置及びそのコンピュータ・プログラムに関する。
従来、街中で流れている曲や、テレビの歌番組やCM等で流れている流行曲、さらにはインターネットからダウンロードした曲を聴いた場合において、その曲が気に入った場合には、例えば、該当の曲が収録されているCD等を買い求めることはもちろんのこと、該当の曲の演奏者や歌い手が同じである別の曲を求めることが行われている。また、曲のジャンルにより、例えば、ある作曲家のクラシックのピアノ協奏曲が気に入った場合に、ピアノ協奏曲というジャンルに興味を持ち、他の作曲家の曲を聴くということが行われている。それは、自分が好きなフレーズ、すなわち感動する部分が、その曲と同一のジャンルの曲であれば含まれるだろうと推測するからであり、気に入った曲と似たジャンルの曲を求めて人間が行う行動パターンの1つであると考えられる。
しかし、例えば、ジャンルが同じであったり、演奏者や歌手が同じであっても、必ずしも全てがその聴き手の興味を惹き起こすような気に入った曲であるとは限らない。例えば、同じジャンルの曲であったり、同じ歌手の曲であっても、アップテンポの曲もあれば、スローテンポの曲もあるからである。そのため、せっかく買ったCDであっても、購入者の嗜好に合わなければ、ほとんど聴くことがなく、無駄な買い物をしたとの後悔の念を抱く場合がある。
一方、一般的な楽音データの中から参照曲に類似する楽曲を検索する装置として、曲の楽音データから楽曲の音楽的特徴を示す特徴ベクトルを作成する音楽的特徴抽出手段と、楽音データに対する印象を示す感性ベクトルと特徴ベクトルを用いて楽曲の検索空間を作成する検索空間作成手段と、入力された参照曲の検索空間上の位置に近い位置にある楽曲を抽出することにより、参照曲に類似する印象を有する楽曲を検索する検索手段とを備える楽曲検索装置が開示されている(例えば、特許文献1)。特許文献1によれば、CD等の一般的な楽音データの中からユーザの指定する参照曲に類似する印象を有する楽曲を検索するものである。
より具体的には、感性ベクトルを作成する際に用いる感性語とは、例えば「楽しい」「暗い」等の楽曲の印象を表す言葉であり、感性語データとは、楽曲の評価者が楽曲に対して持った印象を感性語別に数段階に分けて付与した値である。この感性語及び感性データを用いることにより、感性ベクトルが作成され、ある楽曲に類似する楽曲を得るものである。
特開2003−99462号公報
しかし、特許文献1では、楽曲の印象が類似する楽曲を検索するものである。楽曲のあるフレーズ(音楽の断片、部分)が非常に気に入り、このフレーズと類似する楽曲や、フレーズと、そのフレーズを聴いたときの人の感性とから似たフレーズを有する楽曲を検索することができない。
そこで、本発明は、上述の問題に鑑みてなされたものであり、楽曲の一部とその楽曲に対して感じた感性とから、類似の楽曲を検索する方法等を提供することを目的とする。
上記目的のため、具体的には以下のようなものを提供する。
(1) ユーザの音楽嗜好を表した音楽ストリームデータの一部分から、前記音楽ストリームデータの一部分に類似のユーザの感性がマッチした他の音楽データを抽出する、感性マッチング方法であって、
前記ユーザにより選択された、前記ユーザの嗜好が表れる前記音楽ストリームデータの一部分を特定する部分位置特定ステップと、
前記部分位置特定ステップにより特定された前記音楽ストリームデータの一部分に前記ユーザの感動を表すタグを付与するタグ付与ステップと、
前記タグ付与ステップにより付与された前記ユーザの感動を表すタグと、前記タグを付与した前記音楽ストリームデータの一部分とを、前記音楽データを表す情報及び前記ユーザを特定する情報に関連付けてデータベースに記憶するフレーズ分析記憶ステップと、
前記フレーズ分析記憶ステップにより記憶された前記音楽ストリームデータの一部分から前記音楽データの特徴を表す特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにより抽出された前記特徴量に基づき、前記データベースに記憶され、前記タグが付与された他の音楽データから、前記音楽ストリームデータの一部分に類似の特徴量を有する前記他の音楽データを抽出する特徴量マッチングステップと、
前記音楽ストリームデータの一部分を記憶した前記データベースに、前記特徴量マッチングステップにより抽出された前記他の音楽データを表す情報を、前記音楽データを表す情報及び前記ユーザを特定する情報に関連付けて記憶する類似データ記憶ステップと、を含む感性マッチング方法。
(1)の構成によれば、ユーザの嗜好が表れる音楽ストリームデータの一部分(フレーズ)を特定し、音楽ストリームデータの一部分にユーザの感動を表すタグ(印)を付与し、タグと、タグを付与した音楽ストリームデータの一部分とを、音楽データを表す情報(音楽ID)と、ユーザを特定する情報(ユーザID)とに関連付けてデータベース(フレーズ分析DB)に記憶する。また、データベースに記憶された音楽ストリームデータの一部分から音楽データの特徴量を抽出する。さらに、特徴量に基づき、データベースに記憶されタグが付与された他の音楽データから音楽ストリームデータの一部分に類似の特徴量を有する他の音楽データを抽出し、抽出された他の音楽データの情報を音楽ストリームデータの一部分を記憶したデータベースに追加する。
よって、音楽を聴いている場合に、気に入ったフレーズや感動したフレーズがある場合には、そのフレーズにタグを付けることができる。また、タグをつけた情報をデータベースに記憶することができる。さらにこのデータベースを用いれば、その感動したフレーズに類似するフレーズを有する音楽データを、データベースから抽出することができる。また、その類似するフレーズを有する音楽データの情報を、データベースに格納された検索対象の音楽データのレコードに追加することができる。このデータベースを用いれば、感動したある音楽のフレーズに類似の音楽を探すことを容易に行うことができる。
(2) 前記ユーザの感動を表すタグは、複数種類存在し、
前記フレーズ分析記憶ステップにおいて、前記タグの種類をさらに記憶し、
前記特徴量マッチングステップにおいて、前記特徴量に基づき、前記データベースに記憶され、前記タグの種類が一致した前記タグが付与された他の音楽データから、前記音楽ストリームデータの一部分に類似の特徴量を有する前記他の音楽データを抽出する、(1)記載の感性マッチング方法。
(2)の構成によれば、ユーザの感動を表すタグには複数種類のタグが存在する。そして、タグが付与された音楽ストリームデータの一部分に類似の音楽データを抽出する場合には、タグの種類と、音楽ストリームデータの一部分の特徴量と、に基づき抽出する。
よって、感性に合致した音楽データを抽出する際に、感動の種類を加味して抽出するため、より感性に合った音楽データを抽出することができる。
(3) 前記音楽ストリームデータの一部分に、前記ユーザにより入力された前記ユーザのコメントを関連付けるコメント付与ステップをさらに含み、
前記フレーズ分析記憶ステップにおいて、前記コメントをさらに記憶し、
前記特徴量マッチングステップにおいて、前記特徴量に基づき、前記データベースに記憶され、前記コメントに類似のコメントを含む前記他の音楽データから、前記音楽ストリームデータの一部分に類似の特徴量を有する前記他の音楽データを抽出する、(1)又は(2)記載の感性マッチング方法。
(3)の構成によれば、例えば、ユーザの感動をコメントとして音楽ストリームデータの一部分に付与することができる。また、コメントが付与された音楽ストリームデータの一部分に類似の音楽データを抽出する場合には、コメントの内容と、音楽ストリームデータの一部分の特徴量と、に基づき抽出する。
よって、感性に合致した音楽データを抽出する際に、コメントで表した感動を加味して抽出するため、よりきめ細やかな様々な感性に合致した音楽データを抽出することができる。
(4) 前記特徴量は、前記音楽ストリームデータの一部分の周波数を分析することにより算出される値を用いる、(1)乃至(3)記載の感性マッチング方法。
(4)の構成によれば、特徴量の抽出は、音楽ストリームデータの一部分の周波数を分析することにより算出した値を用いる。
よって、感性に合致した音楽データを抽出する際に、特徴量として、周波数から算出された値を用いることにより、感性という主観的な情報で補えない部分を客観的な値を用いて、類似の音楽データを抽出することができる。
(5) 前記音楽ストリームデータの一部分の特定は、経過時間の範囲を指定可能である、(1)乃至(4)記載の感性マッチング方法。
よって、(5)の構成により、感性に合致した音楽データを抽出する際に、感動をした時間の範囲を指定することにより、より精度の高い感性に合った類似の音楽データを抽出することができる。
(6) 前記音楽ストリームデータの一部分の特定は、複数の音のうち一のパートを指定可能である、(1)乃至(5)記載の感性マッチング方法。
よって、(6)の構成により、感性に合致した音楽データを抽出する際に、例えば、オーケストラの演奏曲のような複数の音のうち、あるパートの音楽に感動した場合に、そのパートを指定することにより、より精度の高い感性に合った類似の音楽データを抽出することができる。
(7) 前記特徴量マッチングステップにおいて抽出した前記他の音楽データを表す情報を、前記音楽データを表す情報と共に前記ユーザの端末に送信するマッチング情報送信ステップをさらに含む、(1)乃至(6)記載の感性マッチング方法。
(7)の構成によれば、ある感動した音楽データと共に感性に合致した他の音楽データをユーザの端末に送信する。
よって、ユーザの感性と合致したその他の音楽が、ユーザの端末に表示されることにより、ユーザは、その他の音楽を知ることができる。ユーザの感性にあった音楽に類似の音楽は、そのユーザに同様の感動を与えることが多いと考えられる。そのため、ユーザのニーズに合致した音楽データを提供することができる可能性がある。
(8) 前記音楽データを表す情報に基づき、前記ユーザを特定する情報と、前記タグと、前記タグを付与した前記音楽ストリームデータの一部分とを前記データベースから抽出するフレーズ情報抽出ステップと、
前記フレーズ情報抽出ステップにより抽出された前記ユーザを特定する情報と、前記タグと、前記タグを付与した前記音楽ストリームデータの一部分とを、前記音楽データを表す情報と共に前記ユーザの端末に送信するフレーズ情報送信ステップと、をさらに含む、(1)乃至(7)記載の感性マッチング方法。
(8)の構成によれば、音楽データを表す情報(音楽ID)に基づき、ユーザを特定する情報(ユーザID)と、タグ(印)と、タグを付与した音楽ストリームデータの一部分(フレーズ)とをデータベースから抽出する。そして、抽出したユーザを特定する情報と、タグと、タグを付与した音楽ストリームデータの一部分とを、音楽データを表す情報と共にユーザの端末に送信する。
よって、例えば、音楽データを表す情報が同一である他のユーザの感動箇所を、ユーザを識別した形式でユーザの端末に送信することで、ユーザの端末では他のユーザの感動箇所を表示することができる。その結果、ユーザは、自分の感動箇所と他のユーザの感動箇所とを比較して共感することができる。なお、音楽データを表す情報が等しいだけでなく、さらに同一の種類のタグに限定したり、特徴量が近似のものに限定してもよい。更なる限定を加えることにより、より共感できる感動箇所を送信することができる。
(9) 前記タグ付与ステップにより前記タグが付与された前記音楽データを、お気に入り情報として前記データベースに記憶するお気に入り情報記憶ステップと、
前記お気に入り情報記憶ステップにより記憶された前記お気に入り情報を、前記音楽データを表す情報と共に前記ユーザの端末に送信するお気に入り情報送信ステップと、をさらに含む、(1)乃至(8)記載の感性マッチング方法。
(9)の構成によれば、タグが付与された音楽データを、お気に入り情報(プレイリスト)としてデータベース(プレイリストDB)に記憶する。そして、記憶されたお気に入り情報を、音楽データを表す情報と共にユーザの端末に送信する。
よって、タグを付与した音楽データを、例えばユーザが、さらにお気に入り情報として指定することにより、その情報を記憶することができる。そして、お気に入り情報として記憶された音楽データをユーザの端末に送信することができる。よって、ユーザは、好みの音楽等を気軽にお気に入り情報として登録でき、かつ、ユーザの端末に表示されることで簡単に見ることができる。なお、お気に入り情報は、ユーザ端末から入力してもよいし、タグの種類やユーザの嗜好のデータを用いて自動的に分類して記憶してもよい。また、お気に入り情報としてユーザの端末に表示される音楽データは、音楽データを表す情報にリンクを張り、ユーザがクリック等することにより音楽が流れるようにしてもよい。また、お気に入り情報は、ユーザが意識するものや、ユーザが気軽に取得したい情報等を指し、必ずしもお気に入りである必要はない。
(10) 前記ユーザの端末から前記音楽データを表す情報と、前記ユーザを特定する情報と、前記タグと、前記タグを付与した前記音楽ストリームデータの一部分とをユーザ感動情報として受信するユーザ感動情報受信ステップを含み、
前記お気に入り情報送信ステップにおいて、前記ユーザ感動情報受信ステップにより受信された前記ユーザ感動情報に対応した前記お気に入り情報を、前記ユーザの端末に送信する、(9)記載の感性マッチング方法。
(10)の構成によれば、ユーザの端末から音楽データを表す情報(音楽ID)と、ユーザを特定する情報(ユーザID)と、タグと、タグを付与した音楽ストリームデータの一部分(フレーズ)とをユーザ感動情報として受信する。そして、受信したユーザ感動情報に対応したお気に入り情報(プレイリスト)をユーザの端末に送信する。
よって、端末から受信したユーザ感動情報に対応したお気に入り情報を、ユーザ端末に送信することができるので、ユーザは、自ら指定したユーザ感動情報に対応したお気に入り情報を見ることができる。お気に入り情報として、例えば、自分と同じ音楽のフレーズに感動した他のユーザのプレイリストが送信されることにより、同じような感性を持つ他のユーザにより選択されたプレイリストを見ることができる。その結果、感性の近い新たな曲を発見するのを補助しうる。
(11) 前記他の音楽データに関連する広告データを前記ユーザの端末に送信する広告情報送信ステップをさらに含む、(1)乃至(10)記載の感性マッチング方法。
(11)の構成によれば、ある感動した音楽データに類似した他の音楽データに関連する広告データをユーザ端末に送信することができる。
よって、ユーザの感動した音楽に類似の他の音楽に関連する広告は、ユーザの感性に変化を与えるには有効であると考えられる。そのため、ユーザに適切な広告を提供することができる。
(12) ユーザの音楽嗜好を表した音楽ストリームデータの一部分から、前記音楽ストリームデータの一部分に類似のユーザの感性がマッチした他の音楽データを抽出する、感性マッチング装置であって、
前記ユーザにより選択された、前記ユーザの嗜好が表れる前記音楽ストリームデータの一部分を特定する部分位置特定部と、
前記部分位置特定部により特定された前記音楽ストリームデータの一部分に前記ユーザの感動を表すタグを付与するタグ付与部と、
前記タグ付与部により付与された前記ユーザの感動を表すタグと、前記タグを付与した前記音楽ストリームデータの一部分とを、前記音楽データを表す情報及び前記ユーザを特定する情報に関連付けてデータベースに記憶するフレーズ分析記憶部と、
前記フレーズ分析記憶部により記憶された前記音楽ストリームデータの一部分から前記音楽データの特徴を表す特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部により抽出された前記特徴量に基づき、前記データベースに記憶され、前記タグが付与された他の音楽データから、前記音楽ストリームデータの一部分に類似の特徴量を有する前記他の音楽データを抽出する特徴量マッチング部と、
前記音楽ストリームデータの一部分を記憶した前記データベースに、前記特徴量マッチング部により抽出された前記他の音楽データを表す情報を、前記音楽データを表す情報及び前記ユーザを特定する情報に関連付けて記憶する類似データ記憶部と、を備える感性マッチング装置。
(12)の構成によれば、感性マッチング装置は、ユーザにより選択された、ユーザの嗜好が表れる音楽ストリームデータの一部分を特定する部分位置特定部(フレーズ位置特定部42)と、特定された音楽ストリームデータの一部分にユーザの感動を表すタグを付与するタグ付与部(タグ付与部43)と、を備える。また、ユーザの感動を表すタグと、タグを付与した音楽ストリームデータの一部分とを、音楽データを表す情報及びユーザを特定する情報に関連付けてデータベースに記憶するフレーズ分析記憶部と、記憶した音楽ストリームデータの一部分から音楽データの特徴を表す特徴量を抽出する特徴量抽出部(感動箇所検出部52、感動箇所特徴抽出部53)と、特徴量に基づき、データベースに記憶され、タグが付与された他の音楽データから、音楽ストリームデータの一部分に類似の特徴量を有する他の音楽データを抽出する特徴量マッチング部(特徴量マッチング部54)と、音楽ストリームデータの一部分を記憶したデータベースに、特徴量マッチング部により抽出した他の音楽データを表す情報を、音楽データを表す情報及びユーザを特定する情報に関連付けて記憶する類似データ記憶部と、を備える。
よって、上記(1)と同様な作用・効果を有する装置を提供することができる。
(13) 前記ユーザの感動を表すタグは、複数種類存在し、
前記フレーズ分析記憶部において、前記タグの種類をさらに記憶し、
前記特徴量マッチング部において、前記特徴量に基づき、前記データベースに記憶され、前記タグの種類が一致した前記タグが付与された他の音楽データから、前記音楽ストリームデータの一部分に類似の特徴量を有する前記他の音楽データを抽出する、(12)記載の感性マッチング装置。
(13)の構成によれば、上記(2)と同様な作用・効果を有する装置を提供することができる。
(14) 前記音楽ストリームデータの一部分に、前記ユーザにより入力された前記ユーザのコメントを関連付けるコメント付与部をさらに備え、
前記フレーズ分析記憶部において、前記コメントをさらに記憶し、
前記特徴量マッチング部において、前記特徴量に基づき、前記データベースに記憶され、前記コメントに類似のコメントを含む前記他の音楽データから、前記音楽ストリームデータの一部分に類似の特徴量を有する前記他の音楽データを抽出する、(12)又は(13)記載の感性マッチング装置。
(14)の構成によれば、上記(3)と同様な作用・効果を有する装置を提供することができる。
(15) 前記特徴量は、前記音楽ストリームデータの一部分の周波数を分析することにより算出される値を用いる、(12)乃至(14)記載の感性マッチング装置。
(15)の構成によれば、上記(4)と同様な作用・効果を有する装置を提供することができる。
(16) 前記音楽ストリームデータの一部分の特定は、経過時間の範囲を指定可能である、(12)乃至(15)記載の感性マッチング装置。
(16)の構成によれば、上記(5)と同様な作用・効果を有する装置を提供することができる。
(17) 前記音楽ストリームデータの一部分の特定は、複数の音のうち一のパートを指定可能である、(12)乃至(16)記載の感性マッチング装置。
(17)の構成によれば、上記(6)と同様な作用・効果を有する装置を提供することができる。
(18) 前記特徴量マッチング部において抽出した前記他の音楽データを表す情報を、前記音楽データを表す情報と共に前記ユーザの端末に送信するマッチング情報送信部をさらに備える、(12)乃至(17)記載の感性マッチング装置。
(18)の構成によれば、特徴量マッチング部において抽出した他の音楽データを表す情報を、音楽データを表す情報と共にユーザの端末に送信するマッチング情報送信部(マッチング情報送信部55)をさらに備える。
よって、上記(7)と同様な作用・効果を有する装置を提供することができる。
(19) 前記音楽データを表す情報に基づき、前記ユーザを特定する情報と、前記タグと、前記タグを付与した前記音楽ストリームデータの一部分とを前記データベースから抽出するフレーズ情報抽出部と、
前記フレーズ情報抽出部により抽出された前記ユーザを特定する情報と、前記タグと、前記タグを付与した前記音楽ストリームデータの一部分とを、前記音楽データを表す情報と共に前記ユーザの端末に送信するフレーズ情報送信部と、をさらに備える、(12)乃至(18)記載の感性マッチング装置。
(19)の構成によれば、音楽データを表す情報に基づき、ユーザを特定する情報と、タグと、タグを付与した音楽ストリームデータの一部分とをデータベースから抽出するフレーズ情報抽出部と、フレーズ情報抽出部により抽出されたユーザを特定する情報と、タグと、タグを付与した音楽ストリームデータの一部分とを、音楽データを表す情報と共にユーザの端末に送信するフレーズ情報送信部と、をさらに備える。
よって、上記(8)と同様な作用・効果を有する装置を提供することができる。
(20) 前記タグ付与部により前記タグが付与された前記音楽データを、お気に入り情報として前記データベースに記憶するお気に入り情報記憶部と、
前記お気に入り情報記憶部により記憶された前記お気に入り情報を、前記音楽データを表す情報と共に前記ユーザの端末に送信するお気に入り情報送信部と、をさらに備える、(12)乃至(19)記載の感性マッチング装置。
(20)の構成によれば、タグ付与部によりタグが付与された音楽データを、お気に入り情報としてデータベースに記憶するお気に入り情報記憶部と、記憶されたお気に入り情報を、音楽データを表す情報と共にユーザの端末に送信するお気に入り情報送信部と、をさらに備える。
よって、上記(9)と同様な作用・効果を有する装置を提供することができる。
(21) 前記ユーザの端末から前記音楽データを表す情報と、前記ユーザを特定する情報と、前記タグと、前記タグを付与した前記音楽ストリームデータの一部分とをユーザ感動情報として受信するユーザ感動情報受信部を備え、
前記お気に入り情報送信部において、前記ユーザ感動情報受信部により受信された前記ユーザ感動情報に対応した前記お気に入り情報を、前記ユーザの端末に送信する、(20)記載の感性マッチング装置。
(21)の構成によれば、ユーザの端末から音楽データを表す情報と、ユーザを特定する情報と、タグと、タグを付与した音楽ストリームデータの一部分とをユーザ感動情報として受信するユーザ感動情報受信部を備え、お気に入り情報送信部は、受信したユーザ感動情報に対応したお気に入り情報を、ユーザの端末に送信する。
よって、上記(10)と同様な作用・効果を有する装置を提供することができる。
(22) 前記他の音楽データに関連する広告データを前記ユーザの端末に送信する広告情報送信部をさらに備える、(12)乃至(21)記載の感性マッチング装置。
(22)の構成によれば、上記(11)と同様な作用・効果を有する装置を提供することができる。
(23) ユーザの音楽嗜好を表した音楽ストリームデータの一部分から、前記音楽ストリームデータの一部分に類似のユーザの感性がマッチした他の音楽データを抽出する、感性マッチング装置に実行させるためのコンピュータ・プログラムであって、
前記ユーザにより選択された、前記ユーザの嗜好が表れる前記音楽ストリームデータの一部分を特定するステップと、
前記特定するステップにより特定された前記音楽ストリームデータの一部分に前記ユーザの感動を表すタグを付与するステップと、
前記付与するステップにより付与された前記ユーザの感動を表すタグと、前記タグを付与した前記音楽ストリームデータの一部分とを、前記音楽データを表す情報及び前記ユーザを特定する情報に関連付けてデータベースに記憶するステップと、
前記記憶するステップにより記憶された前記音楽ストリームデータの一部分から前記音楽データの特徴を表す特徴量を抽出するステップと、
前記特徴量を抽出するステップにより抽出された前記特徴量に基づき、前記データベースに記憶され、前記タグが付与された他の音楽データから、前記音楽ストリームデータの一部分に類似の特徴量を有する前記他の音楽データを抽出するステップと、
前記音楽ストリームデータの一部分を記憶した前記データベースに、前記他の音楽データを抽出するステップにより抽出された前記他の音楽データを表す情報を、前記音楽データを表す情報及び前記ユーザを特定する情報に関連付けて記憶するステップと、を実行させるためのコンピュータ・プログラム。
(23)の構成によれば、上記(1)と同様な作用・効果を有するコンピュータ・プログラムを提供することができる。
本発明によれば、楽曲の一部とその楽曲に対して感じた感性とから、類似の楽曲を検索する方法等を提供することができる。
(第1実施形態)
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
[感動マッチングシステム10の全体構成図]
図1は、第1実施形態の一例に係る感動マッチングシステム10(以下、システム10ともいう)の全体構成を示す図である。
本発明を構成するシステム10は、コンテンツの感動箇所にタグを付与し、類似の感動箇所を有するコンテンツを抽出するシステムである。本システム10は、通信回線30を介して、ユーザ端末20と接続されている。ユーザ端末20は、PC20aの他、携帯電話機20bやiPod(登録商標)のようなデジタルオーディオプレーヤと称される音楽専用端末20cであってもよい。通信回線30は、例えばインターネットを指す。
システム10は、主に感動箇所付与サーバ40、及び感動マッチングサーバ50のハードウェアを備えている。ここで、感動箇所付与サーバ40、及び感動マッチングサーバ50は、図1には別のサーバであるかのように記載しているが、ハードウェアの数に制限はない。必要に応じて、1又は複数で構成してよい。また、感動箇所付与サーバ40、及び感動マッチングサーバ50のハードウェアは、必要に応じてWebサーバ、DBサーバ、アプリケーションサーバを含んで構成してよく、1台のサーバで構成しても、それぞれ別のサーバで構成してもよい。
感動箇所付与サーバ40は、主にユーザDB60、音楽DB70、及びフレーズ分析DB80の各データベースと通信可能に接続されている。また、感動マッチングサーバ50は、主に音楽DB70、及びフレーズ分析DB80と通信可能に接続されている。
[各サーバの機能ブロック]
図2は、第1実施形態の一例に係るシステム10を構成する感動箇所付与サーバ40及び感動マッチングサーバ50の機能構成を示すブロック図である。
感動箇所付与サーバ40の制御部は、主に、音楽DB70から感動箇所を付与したいユーザのニーズがある音楽データを抽出する音楽データ抽出部41、音楽ストリームデータの一部分であるフレーズの位置を取得するフレーズ位置特定部42、及び取得したフレーズ位置にタグを付与するタグ付与部43を備える。
さらに、感動マッチングサーバ50の制御部は、主に、ユーザ端末20から送信された検索元の音楽データの情報を受信するマッチング対象情報受信部51、感動箇所にタグが付与された音楽データの情報を格納するフレーズ分析DB80から検索元の音楽ストリームデータの一部分を検出する感動箇所検出部52、当該音楽ストリームデータの一部分の特徴を抽出する感動箇所特徴抽出部53、抽出した箇所の特徴量を算出し、算出した特徴量に基づいて類似の音楽データをフレーズ分析DB80から抽出する特徴量マッチング部54、及び、類似の音楽データの情報をユーザ端末20に送信するマッチング情報送信部55を備える。
感動箇所付与サーバ40は、ユーザ端末20からの音楽データ送信要求に応じて、音楽DB70から音楽データを抽出し、ユーザ端末20に送信する。その後、ユーザ端末20から送信されたデータに基づき、ユーザが選択した感動するフレーズを取得し、フレーズ分析DB80に記憶すると共に、タグに関する情報を取得し、フレーズ分析DB80に記憶する。
また、感動マッチングサーバ50は、ユーザ端末20からのある音楽データに類似の音楽データの送信要求に応じて、予めフレーズ分析DB80に格納した感動箇所の情報を有する音楽データを抽出する。そして、その音楽データから感動箇所を検出し、その特徴部分を抽出する。抽出した特徴部分から特徴量を算出し、他の音楽データの特徴量とマッチングを行う。マッチングの結果、類似と判断される音楽データの情報は、マッチング結果としてユーザ端末20に送信する。
[DBの構成]
図3乃至図5は、第1実施形態の一例に係る各サーバでの処理で使用するデータベースの一部を示したものである。図3は、ユーザDB60に格納されたユーザテーブル69を示す。
ユーザテーブル69は、主にユーザID61、並びに好きな音楽ジャンル62、及び63の各項目からなる。ユーザには、当該ユーザを表す一意の番号が付与されており、ユーザID61には、この一意の番号が格納されている。好きな音楽ジャンル62、及び63には、ユーザID61に格納されたユーザの好きな音楽ジャンルについての情報が、予め格納されている。
図3に示す例によれば、ユーザID61が「324」の、とあるユーザの好きな音楽ジャンル62には「J−POP」が、好きな音楽ジャンル63には「ロック」が、それぞれ格納されている。したがって、「324」のユーザID61により特定されるユーザは、「J−POP」と「ロック」が好きであることを表している。
このように、ユーザテーブル69には、本システム10を使用して感動箇所を登録する全てのユーザについて、ユーザごとにユーザID61をキーとして、好きな音楽ジャンル62及び63を関連付けて格納している。なお、好きな音楽ジャンル62及び63に格納される情報は、1つのみであってもよいし、空欄(未登録)であってもよい。この好きな音楽ジャンル62及び63は、特徴量によるマッチング処理で付属情報として使用することができる。
図4は、音楽DB70に格納された音楽テーブル79を示す。
音楽テーブル79は、少なくとも音楽ID71、及び音楽データ72の各項目を有し、その他、ジャンル73、楽器名74、及び歌手名75等の各項目を有していてもよい。音楽ID71は、音楽ごとに音楽を表す一意の記号が付与されており、この一意の記号が格納されている。ここでは、音楽ID71に格納するものを記号としているが、音楽のタイトルそのものであってもよい。音楽データ72は、音楽ID71に紐付く音楽のデータであり、MP3やWMA等のデジタル化された音声を圧縮する音声ファイルフォーマットにより作成された音楽データが格納されている。この図4の例では、音楽データそのものを直接、音楽テーブル79に格納しているが、音楽データを格納している別のデータベースの該当箇所へのリンクの情報であってもよい。
ジャンル73は、音楽ID71に格納された音楽のジャンルを表す。楽器名74は、音楽ID71に格納された音楽が、楽曲である場合にその楽器名を表し、歌手名75は、音楽ID71に格納された音楽が、歌である場合にその歌手名が格納されている。
図4に示す例によれば、音楽ID71が「AAA」の、とある音楽の音楽データ72には「AAA.wma」という名前の音楽ファイルが、ジャンル73には「J−POP」が、歌手名75には、「○川△子」という歌手名が、それぞれ格納されている。したがって、「AAA」の音楽ID71により特定される音楽は、「○川△子」が歌っている「J−POP」の曲であり、その音楽データは「AAA.wma」であることを表している。
このように、音楽テーブル79には、本システム10で用いられる音楽について、音楽ID71をキーとして、その音楽に関する情報を関連付けて格納している。このジャンル73、楽器名74、及び歌手名75は、特徴量によるマッチング処理で付属情報として使用することができる。
図5は、フレーズ分析DB80に格納されたフレーズ分析テーブル89を示す。
フレーズ分析テーブル89は、ユーザが感動した音楽のフレーズについての情報を格納するテーブルであり、主に音楽ID81、ユーザID82、フレーズ位置開始時間83、感動タグ84、フレーズ位置経過時間85、コメントタグ86、特徴量情報87、及び類似音楽ID88の各項目を有している。
音楽ID81は、音楽テーブル79に格納されている音楽ID71と同様であり、ユーザが感動した音楽を表す一意の記号が格納されている。ユーザID82は、ユーザテーブル69に格納されているユーザID61と同様であり、該当の音楽に感動したユーザを表す一意の番号が格納されている。フレーズ位置開始時間83は、ユーザが感動した音楽のフレーズの開始位置を表すものであり、音楽の開始時間を0として、その後の感動フレーズが表れるまでの時間(秒)を表す。感動タグ84は、ユーザが感動した音楽のフレーズの感動状態を予め決められた複数種類の記号により表すものである。この実施例では、感動タグ84が「1」のものは、気分が高揚する「感動した!」ものを表す。また、感動タグ84が「2」のものは、泣ける「感動した!」ものを表し、感動タグ84が「3」のものは、つまらない「がっかりした。」ものを表す。さらに、感動タグ84が「4」のものは、前向きになれる「元気がでた!」ものを表す。このように、この図5の例では、感動タグ84に格納する感動を表すタグを複数種類用意しているが、単に何らかの「感動した!」という感動を表す1つのタグを用意するだけでもよいし、さらにたくさんの感動を表すタグを用意してもよい。
フレーズ位置経過時間85は、ユーザが感動した音楽のフレーズの範囲についての、終了時点を表すものであり、フレーズ位置開始時間83に格納した開始時間からの経過時間を示す。コメントタグ86は、ユーザが感動したフレーズについてのユーザが入力したコメントを格納する。特徴量情報87は、音楽のフレーズに関する特徴量の情報として数値化したデータを格納する。フレーズ位置経過時間85に値が格納されているものについては、フレーズ位置開始時間83からフレーズ位置経過時間85までの音楽データの特徴量の情報を数値化したデータを格納する。類似音楽ID88は、本システム10の感動マッチングサーバ50の処理により抽出された類似の音楽データの音楽IDを格納する。
図5に示す例によれば、音楽ID81が「AAA」である音楽は、ユーザID82が「324」であるユーザにより感動を表す情報が4レコード格納されている(図5の(1))。そのうちの1つである最上段のレコードは、フレーズ位置開始時間83が「19」、感動タグ84が「1」、特徴量情報87が「14592」であり、類似音楽ID88が「ADD」である。したがって、「AAA」の音楽ID81により特定される音楽には、「324」のユーザID82により特定されるユーザによって、感動した情報が4つ格納されており、そのうちの1つは、音楽開始から「19」秒後の位置で気分が高揚する「感動した!」状態を登録したことを表している。そして、その音楽開始から「19」秒後のタグで登録した部分の音楽データの特徴量が「14592」であり、この音楽ストリームデータの一部分と類似の音楽IDが「ADD」であることを示している。
このように、フレーズ分析テーブル89には、本システム10でユーザにより付与される音楽の感動タグについて、音楽ID81、及びユーザID82を用いて、そのユーザが感動した音楽のフレーズに関する情報を関連付けて格納している。
[画面表示例]
図6は、第1実施形態の一例に係るユーザ端末20に表示される音楽データに感動箇所を付与するための画面の例を示したものである。
ユーザ端末20に表示される画面は、例えばブラウザを用いたWebベースで表示される。このサービスを行うために、ユーザは、予め本サービスにログインしており、そのログイン情報がログインステータス11として右上方に示されている。また、音楽を検索するための検索バー12、検索された音楽を再生するための再生メイン画面13が画面上に示されている。例えば、検索バー12に、アーティスト名や作品名を入れることにより、検索された音楽が再生メイン画面13により再生される。再生メイン画面13では、再生メイン画面13の左上方に示されている「AAA」という音楽名の音楽が配信されている。
再生メイン画面13は、ユーザが感動した箇所及び感動内容を表示する感動モニタを示す感動表示部14、感動した箇所に印をつけるための複数のボタンが表示されている感動ボタン部15、感動した箇所にコメントをつけるためのボタン等が表示されているコメントボタン部16、再生されている時間やステータスを表示する時間表示部17、及び再生されている音楽のステータスを示すステータスバー18を有している。
感動ボタン部15には、気分が楽しくなったりうれしくなったりした、気分が高揚した際に押す、うれしい感動ボタン15a、泣ける気分になったり、センチメンタルな気分になった際に押す、泣ける感動ボタン15b、がっかりした気分になった際に押すがっかりボタン15c、及び元気が出た際に押す元気が出たボタン15dを有する。
また、コメントボタン部16には、コメントを入力したいフレーズが出現した際に、そのフレーズの間ずっと押し続けるコメントボタン16a、コメントの内容を入力するコメント入力ボックス16b、コメントボタン16aを押した箇所及びコメント入力ボックス16bの内容をクリアしたい場合に押すキャンセルボタン16c、及びコメントボタン16aを押した箇所及びコメント入力ボックス16bの内容を登録する場合に押す決定ボタン16dを有する。
なお、この図6の画面はユーザ端末20としてPC20aを想定して記載しているが、携帯電話機20bであってもよい。携帯電話機20bであれば、ダイヤルボタン等を用いることにより、本機能と同等の機能を実現することができる。また、音楽専用端末20cの場合には、インターネット接続可能なものであれば、例えば感動ボタンだけを有するような簡易なものであれば本機能を直接使用できる。但し、インターネット接続が不可であれば、PC20aに外部接続の上、間接的に本機能を使用することができる。
[実施例1]
図7乃至図9は、第1実施形態の一例に係るユーザ端末20に表示される画面を用いて音楽データに感動箇所を付与する例を示したものである。
図7に示す画面では、ログインステータス11がログイン中であり、ユーザIDが「324」となっている。また、再生メイン画面13には、再生されている音楽名が「AAA」となっており、時間表示部17が「再生中 00:21/03:45」と表示されている。したがって、ユーザIDが「324」のユーザが、本サービスにログインしており、「AAA」という音楽を再生している最中であること、また、再生中の音楽「AAA」は3分45秒間の音楽であり、現時点では、21秒経過した時点であることを示している。また、感動表示部14に表示される感動ボタン部15のいずれかのボタンが押されたことによる印と、ステータスバー18とは関連しており、感動ボタン部15のいずれかのボタンが押された際のステータスバー18の位置に、押されたボタンの印が表示されている。この図7の画面に表示されている時間より少し前に、ユーザが、感動ボタン部15のうれしい感動ボタン15aを押下したことを表している。
続いて、図8に示す画面では、時間表示部17が「再生終了 03:45/03:45」となっており、「AAA」という音楽の再生が終了したことを表している。感動表示部14には、図7に表示されたうれしい感動ボタン15aが押下されたことによる印以外に、がっかりボタン15cが押下されたことによる印と、元気が出たボタン15dが押下されたことによる印とが表示されている。これらは、ユーザIDが「324」のユーザにより、入力された情報である。この感動表示部14に表示された印により、うれしい感動ボタン15aが押下されて少し経った時間に流れた曲のフレーズが「がっかり」するものであり、曲の後半には、「元気が出る」フレーズが出現したことを表している。
続いて、図9に示す画面では、ユーザIDが「324」のユーザが、一度「AAA」という音楽を再生した後、さらに同様の音楽「AAA」を再生し、コメントを入力した際の様子を示す。コメントボタン部16により入力されたコメントを入力する基となる時間とコメントが、感動表示部14に時間を表すバーと、そのバーから吹き出した「単調でつまらない」とのコメントとして表示されている。
この図9には、図7及び図8で付した感動を表す印を含め4つの入力がされており、感動表示部14に表している感動部分は、上述の図5に示すフレーズ分析テーブル89の(1)に示す情報である。この画面での入力では、図5に示すフレーズ分析テーブル89の音楽ID81からコメントタグ86までの情報が格納される。
[実施例2]
図10乃至図12は、第1実施形態の一例に係るユーザ端末20に表示される画面を用いて感動タグを付与した音楽データから派生した情報を表示する例を示したものである。図10は、感動タグを付与した音楽データから派生した情報を表示するための選択画面の例を示す。
本サービスにログイン中のユーザが感動した曲として、感動タグを付与した音楽名と共に、「おすすめ曲を探す」ボタンと、「他の人の感動モニタを見る」ボタンがその音楽名の右方に表示されている。
図10の例では、本サービスにログイン中のユーザIDが「324」のユーザが感動した曲が、左方から順に「AAA」、「EEE」、「GGG」、・・・と表示されている。ユーザは、該当の曲に類似した感動を与えると考えられる曲を探したい場合には、「おすすめ曲を探す」ボタンをクリックする。また、該当の曲での他人の感動モニタを表示させたい場合には、「他の人の感動モニタを見る」ボタンをクリックする。
ユーザが「AAA」の曲について、「おすすめ曲を探す」ボタンをクリックした場合には、図11に示すような画面を表示する。また、ユーザが「他の人の感動モニタを見る」ボタンをクリックした場合には、図12に示すような画面を表示する。
図11は、感動タグを付与した音楽データから派生した情報である、類似音楽をおすすめ曲として表示する例を示す。
「AAA」と同じ感動を与える曲として、「ADD」と「DDD」という音楽名の2曲が該当したものとして表示されている。この2曲についての情報として、「視聴する」、「感動モニタを見る」、「購入する」のボタンが用意されており、それぞれ、該当の曲を視聴することができたり、該当の曲の感動モニタを見ることができたり、さらには該当の曲を購入することができる。
さらに、画面の下部には、広告がリンクと共に配置されている。これは、該当曲の音楽テーブル79の各項目に示されている属性に基づき、マッチングをした結果を表示したものである。このマッチングには、周知の技術を用いて行うことができる。また、広告を格納したDB(図示せず)が予め用意されているものとする。この広告には、ユーザの音楽の嗜好に合ったものを表示することができるのである。
図12は、感動タグを付与した音楽データから派生した情報である、他の人の感動モニタを表示する例を示す。
本サービスを利用しているユーザID「324」のユーザが、「AAA」の曲に感動タグを付与した箇所を感動モニタとして示す感動表示部14を示すと共に、同様の「AAA」の曲に感動タグを付与した他のユーザの感動情報を感動モニタとして示すものとして感動表示部19に表示されている。この例の場合、ユーザIDが「914」のユーザが、「AAA」について感動タグを付しており、うれしい感動を2箇所で感じたことがわかる。この画面により、ユーザID「324」のユーザは、曲を聴きながら他人の感動箇所を見ることができる。
[実施例3]
図13は、第1実施形態の一例に係るユーザ端末20に表示される画面を用いて感動タグを付与した画面の別の例を示す。
感動表示部14には、音楽データの音のパート別に音楽が流れている場所とそれ以外の場所がわかるようなグラフが表示されている。ここでは、曲の前半でピアノの音のフレーズにうれしい感動をし、曲の最後の方でピアノの音のフレーズにがっかりしたことを示している。また、バイオリンの音や、チェロの音についても、同様に感動を表す印が表示されている。
このように、感性に合致した音楽データを抽出する際に、例えば、オーケストラの演奏曲のような複数の音のうち、あるパートの音楽に感動した場合に、そのパートに感動を表す印を指定することにより、マッチング処理によって、より精度の高い類似の音楽データを抽出することができる。
[感動箇所タグ付与処理フロー]
図14は、第1実施形態の一例に係るメイン処理の1つである感動タグ付与処理についてのフローを示したものである。
先ず、ステップS1では、感動箇所付与サーバ40の制御部が備える音楽データ抽出部41は、ユーザ端末20からの要求に基づき、音楽データを抽出し、再生を開始する。具体的には、音楽DB70の音楽テーブル79から、要求のあった音楽データを、要求のあった音楽IDに基づき音楽データ72から抽出する。そしてその音楽データをユーザ端末20に送信する。さらに、フレーズ分析DB80のフレーズ分析テーブル89に該当の音楽データについての同ユーザの情報があるきは、該当の情報のレコードを抽出し、あわせて送信する。その後、感動箇所付与サーバ40の制御部は、処理をステップS2に移す。
ステップS2では、感動箇所付与サーバ40の制御部は、音楽を再生中か否かを判断する。具体的には、音楽を再生中か否かは、ユーザ端末20から送信される信号により判断する。再生終了信号がユーザ端末20から送信されず、音楽を再生中である場合(ステップS2の処理でYESが判断される場合)には、感動箇所付与サーバ40の制御部は、処理をステップS3に移す。他方、再生終了信号がユーザ端末20から送信され、音楽の再生が終了した場合(ステップS2の処理でNOが判断される場合)には、感動箇所付与サーバ40の制御部は、本処理を終了する。
ステップS3では、感動箇所付与サーバ40の制御部は、ユーザ端末20で感動ボタン部15のいずれかのボタンを示す感動ボタンが押下されたか否かを判断する。具体的には、ユーザ端末20で、感動ボタン部15のいずれかのボタンが押されたことによりユーザ端末20から送信される信号により判断する。感動ボタン部15のいずれかのボタンが押下された場合(ステップS3の処理でYESが判断される場合)には、感動箇所付与サーバ40の制御部は、処理をステップS4に移す。他方、感動ボタン部15のいずれのボタンも押下されていない場合(ステップS3の処理でNOが判断される場合)には、感動箇所付与サーバ40の制御部は、処理をステップS5に移す。
ステップS4では、感動箇所付与サーバ40の制御部は、後述の図15で説明するフレーズ分析DB80へのレコード追加処理を行う。その後、感動箇所付与サーバ40の制御部は、処理をステップS2に移す。
他方、ステップS5では、感動箇所付与サーバ40の制御部は、ユーザ端末20でコメントボタン16aが押下されたか否かを判断する。具体的には、ユーザ端末20で、コメントボタン16aが押されたことによりユーザ端末20から送信される信号により判断する。コメントボタン16aが押下された場合(ステップS5の処理でYESが判断される場合)には、感動箇所付与サーバ40の制御部は、処理をステップS6に移す。他方、コメントボタン16aが押下されていない場合(ステップS5の処理でNOが判断される場合)には、感動箇所付与サーバ40の制御部は、処理をステップS2に移す。
この間、ユーザ端末20では、ユーザが、コメントを入力したい期間中ずっとコメントボタン16aを押し続ける。ユーザが、コメントボタン16aの押下を止めると、コメント入力ボックス16bがアクティブ(入力可能状態)になることにより、ユーザ端末20のユーザは、コメントを入力することができる。
ステップS6では、感動箇所付与サーバ40の制御部は、決定ボタン16dが押下されたか否かを判断する。具体的には、ユーザ端末20で、決定ボタン16dが押下されたことにより、ユーザ端末20から送信される信号により判断する。決定ボタン16dが押下された場合(ステップS6の処理でYESが判断される場合)には、感動箇所付与サーバ40の制御部は、処理をステップS7に移す。他方、決定ボタン16dが押下されていない場合(ステップS6の処理でNOが判断される場合)には、感動箇所付与サーバ40の制御部は、処理をステップS8に移す。
ステップS7では、感動箇所付与サーバ40の制御部は、後述の図15で説明するフレーズ分析DB80へのレコード追加処理を行う。その後、感動箇所付与サーバ40の制御部は、処理をステップS2に移す。
他方、ステップS8では、感動箇所付与サーバ40の制御部は、キャンセルボタン16cが押下されたか否かを判断する。具体的には、ユーザ端末20で、キャンセルボタン16cが押下されたことにより、ユーザ端末20から送信される信号により判断する。キャンセルボタン16cが押下された場合(ステップS8の処理でYESが判断される場合)には、感動箇所付与サーバ40の制御部は、処理をステップS2に移す。他方、キャンセルボタン16cが押下されていない場合(ステップS8の処理でNOが判断される場合)には、感動箇所付与サーバ40の制御部は、処理をステップS6に移す。
キャンセルボタン16cが押下された場合には、ユーザ端末20では、コメント入力ボックス16bに入力されていたテキストを消去し、コメント入力ボックス16bのアクティブが解除され、入力不可状態となる。
上述の処理を行うことにより、音楽データに感動タグを付与することができる。
図15は、第1実施形態の一例に係る感動タグ付与処理から呼び出されるフレーズ分析DB80へのレコード追加処理についてのフローを示したものである。
先ず、ステップS21では、感動箇所付与サーバ40の制御部は、ユーザ端末20から送信された情報に基づき、フレーズ分析DB80のフレーズ分析テーブル89にレコードを追加し、音楽ID81及びユーザID82に、該当の情報を更新する。その後、感動箇所付与サーバ40の制御部は、処理をステップS22に移す。
次に、ステップS22では、ユーザ端末20で押下されたボタンが感動ボタンか否かを判断する。具体的には、ユーザ端末20で、感動ボタン部15のいずれかのボタンが押されたことにより、ユーザ端末20から送信される信号により判断する。感動ボタン部15のいずれかのボタンが押下された場合(ステップS22の処理でYESが判断される場合)には、感動箇所付与サーバ40の制御部は、処理をステップS23に移す。他方、感動ボタン部15のいずれのボタンも押下されていない場合(ステップS22の処理でNOが判断される場合)には、感動箇所付与サーバ40の制御部は、コメントを入力したことによる決定ボタン16dが押下されたものと判断し、処理をステップS26に移す。
ステップS23では、感動箇所付与サーバ40の制御部が備えるフレーズ位置特定部42は、フレーズ分析DB80のフレーズ分析テーブル89の該当の音楽ID81及びユーザID82のレコードのフレーズ位置開始時間83の欄に感動ボタン部15のいずれかのボタンが押下された時間を挿入する。その後、感動箇所付与サーバ40の制御部は、処理をステップS24に移す。
ステップS24では、感動箇所付与サーバ40の制御部が備えるタグ付与部43は、フレーズ分析DB80に格納されたフレーズ分析テーブル89の該当の音楽ID81、ユーザID82及びフレーズ位置開始時間83のレコードの感動タグ84の欄に、押下された感動ボタン部15のいずれかのボタンの種類に応じた番号を挿入する。その後、感動箇所付与サーバ40の制御部は、処理をステップS25に移す。
ステップS25では、特徴量データを作成する。具体的には、例えば、後述する図16のように音楽データを周波数で表し、タグを付与した箇所の周波数を算出することにより音楽データを分析し、特徴量データを作成する。作成した特徴量データを、フレーズ分析DB80に格納されたフレーズ分析テーブル89の該当の音楽ID81、ユーザID82及びフレーズ位置開始時間83のレコードの特徴量情報87の欄に挿入する。その後、感動箇所付与サーバ40の制御部は、本ルーチンを終了する。
他方、ステップS26では、感動箇所付与サーバ40の制御部が備えるフレーズ位置特定部42は、フレーズ分析DB80のフレーズ分析テーブル89の該当の音楽ID81及びユーザID82のレコードのフレーズ位置開始時間83の欄にコメントボタン16aの押下を開始した時間を挿入する。その後、感動箇所付与サーバ40の制御部は、処理をステップS27に移す。
ステップS27では、感動箇所付与サーバ40の制御部が備えるフレーズ位置特定部42は、フレーズ分析DB80のフレーズ分析テーブル89の該当の音楽ID81、ユーザID82及びフレーズ位置開始時間83のレコードのフレーズ位置経過時間85の欄にコメントボタン16aの押下を終了した時間から経過時間を算出し、挿入する。その後、感動箇所付与サーバ40の制御部は、処理をステップS28に移す。
ステップS28では、感動箇所付与サーバ40の制御部が備えるタグ付与部43は、フレーズ分析DB80に格納されたフレーズ分析テーブル89の該当の音楽ID81、ユーザID82及びフレーズ位置開始時間83のレコードのコメントタグ86の欄に、コメント入力ボックス16bに入力されたコメントを挿入する。その後、感動箇所付与サーバ40の制御部は、処理をステップS29に移す。
ステップS29では、感動箇所付与サーバ40の制御部は、特徴量データを作成する。作成した特徴量データを、フレーズ分析DB80に格納されたフレーズ分析テーブル89の該当の音楽ID81、ユーザID82及びフレーズ位置開始時間83のレコードの特徴量情報87の欄に挿入する。その後、感動箇所付与サーバ40の制御部は、本ルーチンを終了する。
上述の処理を行うことにより、音楽データに付与した感動タグを、フレーズ分析DB80に登録することができ、後述のマッチング処理を行うことができる。
なお、本実施例では、特徴量のデータ作成を、レコード追加処理で行っているが、これに限らず、バッチ処理の別処理により特徴量データを作成し、フレーズ分析テーブル89に挿入してもよい。
また、本実施例では、感動ボタン部15のいずれかのボタンが押される時間のみを、フレーズ分析テーブル89のフレーズ位置開始時間83に挿入しているが、これに限らず、コメントボタン16aが押下された場合と同様にボタンを押し続け、フレーズ位置経過時間85に、経過時間を挿入してもよい。
[特徴量の例]
図16は、第1実施形態の一例に係る音楽ストリームデータの一部分の特徴量を周波数により算出する例を示したものである。
音楽データを周波数で表すと、図16のような形状として表すことができる。これは、音楽データを周波数分析し、目に見える形状として表したものである。この周波数分析を用いることにより、感動タグが付与された時間の音楽データの周波数を数値化した値を用いることができる。
この図16で表示されているのは、周波数解析として最も一般的であるFFT(高速フーリエ変換)をしたものである。人間は耳で音を聴く際に、音の波形が分かるわけではなく、周波数を音の高さとして、また、音のエネルギーを音量として感じる。そのため、周波数を用いて特徴量を算出することにより、人間の聴覚で類似と感じる音楽データを抽出できる。
なお、本実施例では、特徴量を音楽データの周波数により導き出しているが、これに限らない。例えば、特徴量の抽出は音楽データの属性により抽出することができる。音楽データの属性とは、具体的には、音楽を構成する楽器、音楽のジャンル、音楽が歌の場合には歌手名、作曲家、等であり、音楽DB70の音楽テーブル79に格納されている。また、このような音楽データの属性と、周波数と、の両方により特徴量を算出してもよい。さらに、ユーザDB60のユーザテーブル69に格納されている好きな音楽ジャンルを用いて、ユーザの好きな音楽ジャンルを加味して抽出してもよい。このような様々な情報により算出された特徴量により、感動タグの情報を用いて、より感性の合致した類似の音楽データを求めることに使用することができる。
[感動マッチング処理フロー]
図17は、第1実施形態の一例に係るメイン処理の1つである感動マッチング処理についてのフローを示したものである。
先ず、ステップS41では、感動マッチングサーバ50の制御部が備えるマッチング対象情報受信部51は、ユーザ端末20から送信されたマッチング対象となる音楽データの情報を受信する。その後、感動マッチングサーバ50の制御部は、処理をステップS42に移す。
ステップS42では、感動マッチングサーバ50の制御部が備える感動箇所検出部52は、マッチング対象の音楽ID81及びユーザID82が格納されているレコードを、フレーズ分析DB80に格納されたフレーズ分析テーブル89から抽出する。その後、感動マッチングサーバ50の制御部は、処理をステップS43に移す。
ステップS43では、感動マッチングサーバ50の制御部が備える感動箇所特徴抽出部53は、感動箇所の特徴を抽出する。具体的には、フレーズ分析テーブル89の音楽ID81及びユーザID82を基に抽出したレコードから、感動タグ84、フレーズ位置開始時間83、フレーズ位置経過時間85、コメントタグ86、及び特徴量情報87を抽出する。その後、感動マッチングサーバ50の制御部は、処理をステップS44に移す。
ステップS44では、感動マッチングサーバ50の制御部が備える特徴量マッチング部54は、抽出した特徴量情報87を基に、フレーズ分析テーブル89に格納されている他の音楽データから類似の特徴量情報87を有する音楽データをマッチング処理により抽出する。
なお、特徴量情報87以外の感動タグ84やコメントタグ86をも含めてマッチングしてもよい。感動タグ84の場合には、同一のタグを有する音楽データをマッチング対象とする。また、コメントタグ86の場合には、コメントとして入力されたテキストから類似のテキストを周知のマッチング技術により検索して抽出した音楽データを対象とする。このようにすることで、感性に合致した音楽データを抽出する際に、感動の種類やコメントで表した感動を加味して抽出するため、より感性に合った音楽データを抽出することができる。その後、感動マッチングサーバ50の制御部は、処理をステップS45に移す。
ステップS45では、感動マッチングサーバ50の制御部は、マッチング処理により抽出した類似の音楽データの音楽IDを、フレーズ分析DB80に格納されたフレーズ分析テーブル89の該当の音楽ID81、ユーザID82及びフレーズ位置開始時間83のレコードの類似音楽ID88の欄に挿入する。その後、感動マッチングサーバ50の制御部は、処理をステップS46に移す。
ステップS46では、感動マッチングサーバ50の制御部が備えるマッチング情報送信部55は、フレーズ分析テーブル89を更新した情報に基づき、マッチング結果を含む情報を、マッチング対象となる音楽データの情報と共にユーザ端末20に送信する。その後、本処理を終了する。
上述の処理を行うことにより、感動するフレーズに印を付与した音楽に類似の感動を共有することができる可能性のある音楽データをユーザ端末20に提供することができる。
[感動モニタ表示処理フロー]
図18は、第1実施形態の一例に係る感動タグの表示処理についてのフローを示したものである。
先ず、ステップS61では、感動箇所付与サーバ40の制御部は、該当の音楽ID81及びユーザID82のレコードを、フレーズ分析DB80に格納されたフレーズ分析テーブル89から抽出する。その後、感動箇所付与サーバ40の制御部は、処理をステップS62に移す。
次に、ステップS62では、感動箇所付与サーバ40の制御部は、ステップS61で抽出したレコードから、感動タグ84及びコメントタグ86を抽出する。その後、感動箇所付与サーバ40の制御部は、処理をステップS63に移す。
最後に、ステップS63では、感動箇所付与サーバ40の制御部は、ステップS62で抽出した感動タグ84の種類にあった画像、及びコメントタグ86のコメント内容を並べて表示する。具体的には、ユーザ端末20に表示させる画像データを作成の上、ユーザ端末20に当該画像データを送信する。その後、感動箇所付与サーバ40の制御部は、本処理を終了する。
上述の処理を行うことにより、ユーザ端末20に、感動するフレーズに印を付した感動モニタを提供することができる。
[サーバのハードウェア構成]
図19は、第1実施形態の一例に係る感動箇所付与サーバ40及び感動マッチングサーバ50のハードウェア構成を示す図である。感動箇所付与サーバ40は、音楽データ抽出部41、フレーズ位置特定部42、及びタグ付与部43を、感動マッチングサーバ50は、マッチング対象情報受信部51、感動箇所検出部52、感動箇所特徴抽出部53、特徴量マッチング部54、及びマッチング情報送信部55を含む、制御部を構成するCPU(Central Processing Unit)110(マルチプロセッサ構成ではCPU120等複数のCPUが追加されてもよい)、バスライン105、通信I/F140、メインメモリ150、BIOS(Basic Input Output System)160、USBポート190、I/Oコントローラ170、並びにキーボード及びマウス180等の入力手段や表示装置122を備える。
I/Oコントローラ170には、テープドライブ172、ハードディスク174、光ディスクドライブ176、半導体メモリ178、等の記憶手段を接続することができる。
BIOS160は、感動箇所付与サーバ40及び感動マッチングサーバ50の起動時にCPU110が実行するブートプログラムや、感動箇所付与サーバ40及び感動マッチングサーバ50のハードウェアに依存するプログラム等を格納する。
ハードディスク174は、感動箇所付与サーバ40及び感動マッチングサーバ50として機能するための各種プログラム及び本発明の機能を実行するプログラムを記憶しており、さらに必要に応じてユーザDB60、音楽DB70、及びフレーズ分析DB80等の各種データベースを構成可能である。
光ディスクドライブ176としては、例えば、DVD−ROMドライブ、CD−ROMドライブ、DVD−RAMドライブ、CD−RAMドライブを使用することができる。この場合は各ドライブに対応した光ディスク177を使用する。光ディスク177から光ディスクドライブ176によりプログラム又はデータを読み取り、I/Oコントローラ170を介してメインメモリ150又はハードディスク174に提供することもできる。また、同様にテープドライブ172に対応したテープメディア171を主としてバックアップのために使用することもできる。
感動箇所付与サーバ40及び感動マッチングサーバ50に提供されるプログラムは、ハードディスク174、光ディスク177、又はメモリーカード等の記録媒体に格納されて提供される。このプログラムは、I/Oコントローラ170を介して、記録媒体から読み出され、又は通信I/F140を介してダウンロードされることによって、感動箇所付与サーバ40及び感動マッチングサーバ50にインストールされ実行されてもよい。
上述のプログラムは、内部又は外部の記憶媒体に格納されてもよい。ここで、記憶媒体としては、ハードディスク174、光ディスク177、又はメモリーカードの他に、MD等の光磁気記録媒体、テープメディア171を用いることができる。また、専用通信回線やインターネット等の通信回線に接続されたサーバシステムに設けたハードディスク174又は光ディスクライブラリ等の記憶装置を記録媒体として使用し、通信回線30を介してプログラムを感動箇所付与サーバ40及び感動マッチングサーバ50に提供してもよい。
ここで、表示装置122は、本システム10の管理者にデータの入力を受け付ける画面を表示したり、感動箇所付与サーバ40及び感動マッチングサーバ50による演算処理結果の画面を表示したりするものであり、ブラウン管表示装置(CRT)、液晶表示装置(LCD)等のディスプレイ装置を含む。
ここで、入力手段は、本システム10の管理者による入力の受け付けを行うものであり、キーボード及びマウス180等により構成してよい。
また、通信I/F140は、感動箇所付与サーバ40及び感動マッチングサーバ50を専用ネットワーク又は公共ネットワークを介して端末と接続できるようにするためのネットワーク・アダプタである。通信I/F140は、モデム、ケーブル・モデム及びイーサネット(登録商標)・アダプタを含んでよい。
以上の例は、感動箇所付与サーバ40及び感動マッチングサーバ50について主に説明したが、コンピュータに、プログラムをインストールして、そのコンピュータを感動箇所付与サーバ40及び感動マッチングサーバ50として動作させることにより上記で説明した機能を実現することもできる。したがって、本発明において一実施形態として説明した感動箇所付与サーバ40及び感動マッチングサーバ50により実現される機能は、上述の方法を当該コンピュータにより実行することにより、あるいは、上述のプログラムを当該コンピュータに導入して実行することによっても実現可能である。
(第2実施形態)
次に、本発明を適用した第2実施形態について説明する。第2実施形態は、他のユーザの感動箇所及びプレイリストをユーザ端末に表示するものである。なお、以下の説明及び図面において、上述した第1実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。
[感動マッチングシステム210の全体構成及び機能ブロック図]
図20は、第2実施形態の一例に係る感動マッチングシステム210(以下、システム210ともいう)の全体構成及び機能ブロックを示す図である。
システム210は、感動箇所付与サーバ240及び感動マッチングサーバ50を備えている。感動箇所付与サーバ240は、第1実施形態で説明した各機能の他、フレーズ情報抽出部244、フレーズ情報送信部245、お気に入り情報送信部246及びユーザ感動情報受信部247を備える。また、ユーザDB60、音楽DB70、フレーズ分析DB280及びプレイリストDB290を備える。プレイリストDB290は、感動箇所付与サーバ240と通信可能に接続されている。
[DBの構成]
図21及び図22は、第2実施形態の一例に係る各サーバでの処理で使用するデータベースの一部を示したものである。図21は、フレーズ分析DB280に格納されたフレーズ分析テーブル289を示す。
フレーズ分析テーブル289は、ユーザが感動した音楽のフレーズについての情報を格納する他、ユーザがお気に入り情報として登録したプレイリストDB290(図20参照)との関連付けを行うテーブルである。主に、プレイリストID281A、音楽ID281、ユーザID282、フレーズ位置開始時間283、特徴量情報287、類似音楽ID288の各項目を有している。プレイリストID281Aには、プレイリストを表す一意の記号が格納されている。図21に示す例によれば、ユーザID282が「324」のユーザは、音楽ID281が「AAA」の音楽について、タグを付したフレーズの位置が異なるものの、プレイリストID281Aが「ZZ3」と「XX1」とである2つのプレイリストに登録したことを示す。なお、フレーズ分析テーブル289は、タグの種類等の情報を有していてもよい。
図22は、プレイリストDB290に格納されたプレイリストテーブル299を示す。プレイリストテーブル299は、プレイリストID291、複数の音楽ID292乃至294の各項目を有している。プレイリストID291には、プレイリストを表す一意の記号が格納されている。また、複数の音楽ID292乃至294には、プレイリストIDに関連付けて記憶される音楽IDが格納されており、これは、ユーザが、ユーザ端末20から登録を行った際に格納される。図22では、3つの音楽IDを格納するものとしているが、個数に制限はない。また、任意の個数まで許容する等の制限をかけてもよい。
[画面例]
図23及び図24は、第2実施形態の一例に係るユーザ端末20に表示される画面例を示す。図23は、プレイリストへの登録画面の例を示す。図23の例では、ログインステータス11によりユーザIDが「324」のユーザが、配信されている音楽「AAA」を再生中に、うれしい感動ボタン15aを押下したことにより、再生メイン画面13の再生中の位置であるステータスバー18の横軸方向に同一の位置、つまり時間表示部17による「00:19」の位置の感動表示部14内に、感動タグ222が表示され、感動タグ222に関するプレイリスト登録部221が表示される。プレイリスト登録部221は、該当の音楽の感動部分をプレイリストに登録するか否かを選択するための画面である。ユーザIDが「324」のユーザにより既に登録されているプレイリストを、登録の選択対象とする他、新たにプレイリストを作成することもできる。なお、同一の音楽について既にプレイリストに登録されている場合には、プレイリスト登録部221は表示していない。図23の例の場合、図21及び図22により、ユーザIDが「324」のユーザにより作成されたプレイリストのうち、プレイリストIDが「XX1」のプレイリストには既に音楽IDが「AAA」の音楽が登録されているが、プレイリストIDが「ZZ3」には音楽IDが「AAA」の音楽が登録されていない。よって、プレイリストIDが「ZZ3」のプレイリストについて、登録できるプレイリストとして表示する。ここで、「ZZ3」を選択することにより、図21にプレイリストIDが、また図22に音楽IDが追加登録される。また、「新たにプレイリストを作成する」を選択することにより、一意のプレイリストIDが自動的に選択され、もしくはプレイリストID入力部(図示せず)からユーザが入力することにより、新規登録できる。
図24は、他のユーザの感動タグが表示されるようにした表示画面例である。例えば、上述した第1実施形態の図10のような選択画面から遷移する。他の機能により設定した、例えば「お友達登録」されたユーザの感動タグを表示する。再生メイン画面213の感動表示部214は、ユーザIDが記述された人型の感動タグが複数配置されているが、これらは、表示されているユーザが、感動タグが設定された音楽の場所(フレーズ)である。そこで、ある人型の感動タグ223を選択することにより、選択された感動タグ223と横軸方向が同一の位置まで、ステータスバー18が横方向に移動し、画面左下には、選択されたユーザに関連付けられたタグに設定されたプレイリストが、プレイリスト表示部225に表示される。この例の場合、ユーザIDが「324」のユーザであり、時間表示部17による「02:38」時点のタグが選択されたため、図21に基づき、プレイリスト表示部225のユーザ部226には「324」、プレイリストID部227には「XX1」がそれぞれ表示されている。また、音楽ID部228には、図22に基づき、「AGH」及び「HIJ」が表示されている。この音楽ID部228に表示された音楽IDを選択することにより、選択された音楽IDを有する音楽を再生するようにしてもよい。また、ユーザ部226を選択することで、該当のユーザが登録した他のプレイリストを交互に表示するようにしてもよい。
このような表示方法により、同一の音楽での複数のユーザの感動箇所や感動分布が分かると共に、表示されたプレイリストから、ユーザが知らなかった興味のある他の音楽の発見を補助することができる。
[感動タグ付与処理フロー]
次に、感動タグを付与してプレイリストに登録する処理について説明する。図25は、第2実施形態の一例に係る感動タグ付与処理についてのフローチャートである。
先ず、ステップS101では、感動箇所付与サーバ240の制御部が備える音楽データ抽出部41は、ユーザ端末20からの要求に基づき、音楽データを抽出し、再生を開始する。その後、ステップS102では、感動箇所付与サーバ240の制御部は、音楽を再生中か否かを判断する。具体的には、音楽を再生中か否かは、ユーザ端末20から送信される信号により判断する。再生終了信号がユーザ端末20から送信されず、音楽を再生中である場合(ステップS102の処理でYESが判断される場合)には、感動箇所付与サーバ240の制御部は、処理をステップS103に移す。他方、再生終了信号がユーザ端末20から送信され、音楽の再生が終了した場合(ステップS102の処理でNOが判断される場合)には、感動箇所付与サーバ240の制御部は、本処理を終了する。
ステップS103では、感動箇所付与サーバ240の制御部は、ユーザ端末20で感動ボタン部15の感動ボタンが押下されたか否かを判断する。具体的には、ユーザ端末20で、感動ボタンが押されたことによりユーザ端末20から送信される信号により判断する。感動ボタンが押下された場合(ステップS103の処理でYESが判断される場合)には、感動箇所付与サーバ240の制御部は、処理をステップS104に移す。他方、感動ボタンが押下されていない場合(ステップS103の処理でNOが判断される場合)には、感動箇所付与サーバ240の制御部は、処理をステップS102に移す。
ステップS104では、感動箇所付与サーバ240の制御部は、ユーザ端末20から送信された情報に基づき、フレーズ分析DB280のフレーズ分析テーブル289にレコードを追加し、音楽ID281及びユーザID282に、該当の情報を更新する。次に、ステップS105では、感動箇所付与サーバ240の制御部が備えるフレーズ位置特定部42は、フレーズ分析DB280のフレーズ分析テーブル289の該当の音楽ID281及びユーザID282のレコードのフレーズ位置開始時間283の欄に感動ボタン部15のボタンが押下された再生開始からの経過時間を挿入する。その後、感動箇所付与サーバ240の制御部は、処理をステップS106に移す。
ステップS106では、特徴量データを作成する。そして、作成した特徴量データを、フレーズ分析DB280に格納されたフレーズ分析テーブル289の該当の音楽ID281、ユーザID282及びフレーズ位置開始時間283のレコードの特徴量情報287の欄に挿入する。その後、感動箇所付与サーバ240の制御部は、処理をステップS107に移す。
ステップS107では、感動箇所付与サーバ240の制御部は、感動タグを付与したユーザのユーザIDに関連付けられたプレイリストをフレーズ分析DB280から検索する。そして、ステップS108では、感動箇所付与サーバ240の制御部は、プレイリスト追加画面データをユーザ端末20に送信する。そのことにより、上述の図23に示すようなプレイリスト登録部221がユーザ端末20に表示される。その後、感動箇所付与サーバ240の制御部は、処理をステップS109に移す。
ステップS109では、感動箇所付与サーバ240の制御部は、ユーザ端末20からプレイリストへの追加指示データを受信したか否かを判断する。プレイリストへの追加指示データを受信した場合(ステップS109の処理でYESが判断される場合)には、感動箇所付与サーバ240の制御部は、処理をステップS110に移す。他方、プレイリストへの追加指示データを受信しない場合(ステップS109の処理でNOが判断される場合)には、感動箇所付与サーバ240の制御部は、本処理を終了する。
ステップS110では、感動箇所付与サーバ240の制御部は、感動タグを付与した音楽IDをプレイリストに追加し、又は新たにプレイリストを作成して音楽IDを関連付ける。プレイリストに追加する場合とは、上述の図23において、プレイリスト登録部221に表示された「登録できるプレイリスト」のプレイリストIDを選択した場合をいい、新たにプレイリストを作成する場合とは、同じく「新たにプレイリストを作成する」を選択した場合をいう。その後、感動箇所付与サーバ240の制御部は、本ルーチンを終了する。
上述の処理を行うことにより、音楽データに付与した感動タグを、フレーズ分析DB280に登録することができ、また、お気に入りの音楽としてプレイリストに登録することができる。
[感動モニタ表示処理フロー]
次に、上述の図24に示す画面をユーザ端末20に表示させる処理について説明する。図26は、第2実施形態の一例に係る感動タグの表示処理についてのフローを示したものである。
先ず、ステップS121では、感動箇所付与サーバ240の制御部は、該当の音楽ID281及びユーザID282のレコードを、フレーズ分析DB280に格納されたフレーズ分析テーブル289から抽出する。次に、ステップS122では、感動箇所付与サーバ240の制御部が備えるフレーズ情報抽出部244は、音楽ID281が同一の他のレコードを、フレーズ分析DB280に格納されたフレーズ分析テーブル289から抽出する。その後、感動箇所付与サーバ240の制御部は、処理をステップS123に移す。
ステップS123では、感動箇所付与サーバ240の制御部は、ステップS121及びステップS122で抽出したレコードに基づき、図24に示すような、感動タグの位置に該当のユーザIDを付与した人型の画像を並べて表示する。具体的には、ユーザ端末20に表示させる画像データを作成の上、フレーズ情報送信部245は、ユーザ端末20に当該画像データを送信する。その後、感動箇所付与サーバ240の制御部は、処理をステップS124に移す。
ステップS124では、感動箇所付与サーバ240の制御部は、ユーザ端末20からユーザ感動情報を受信したか否かを判断する。具体的には、ユーザ感動情報受信部247が、ユーザ感動情報を受信したか否かにより判断する。ユーザ感動情報とは、例えば、人型の画像が選択されることでユーザ端末20が送信した音楽ID、ユーザID、感動タグ、及び感動タグの位置情報をいう。ユーザ感動情報を受信した場合(ステップS124の処理でYESが判断される場合)には、感動箇所付与サーバ240の制御部は、処理をステップS125に移す。他方、ユーザ感動情報を受信しない場合(ステップS124の処理でNOが判断される場合)には、感動箇所付与サーバ240の制御部は、本処理を終了する。
ステップS125では、感動箇所付与サーバ240の制御部は、ユーザ感動情報に対応するプレイリストID(お気に入り情報)をフレーズ分析DB280から抽出し、プレイリストIDに基づき、プレイリストDB290から該当のプレイリストを抽出する。その後、ステップS126では、感動箇所付与サーバ240の制御部が備えるお気に入り情報送信部246は、抽出したプレイリストのプレイリストIDに関連付けられた音楽IDをユーザ端末20に送信する。その後、感動箇所付与サーバ240の制御部は、本処理を終了する。
上述の処理を行うことにより、ユーザ端末20に、ある音楽に関して、ユーザ端末20のユーザのみならず、他のユーザが付与した感動するフレーズにタグ(印)を付した感動モニタを提供することができる。また、他のユーザが付与した感動タグを選択することにより、関連付けられたプレイリストを表示するので、嗜好の似た音楽を知る機会を得ることができる。
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。
第1実施形態の一例に係る感動マッチングシステムの全体構成を示す図である。 第1実施形態の一例に係るシステムを構成する感動箇所付与サーバ及び感動マッチングサーバの機能構成を示すブロック図である。 第1実施形態の一例に係る各サーバでの処理で使用するユーザDBに格納されたユーザテーブルを示した図である。 第1実施形態の一例に係る各サーバでの処理で使用する音楽DBに格納された音楽テーブルを示した図である。 第1実施形態の一例に係る各サーバでの処理で使用するフレーズ分析DBに格納されたフレーズ分析テーブルを示した図である。 第1実施形態の一例に係るユーザ端末に表示される画面例を示す図である。 第1実施形態の一例に係るユーザ端末に表示される画面例を示す図である。 第1実施形態の一例に係るユーザ端末に表示される画面例を示す図である。 第1実施形態の一例に係るユーザ端末に表示される画面例を示す図である。 第1実施形態の一例に係るユーザ端末に表示される画面例を示す図である。 第1実施形態の一例に係るユーザ端末に表示される画面例を示す図である。 第1実施形態の一例に係るユーザ端末に表示される画面例を示す図である。 第1実施形態の一例に係るユーザ端末に表示される画面例を示す図である。 第1実施形態の一例に係るメイン処理の1つである感動タグ付与処理についてのフローチャートである。 第1実施形態の一例に係る感動タグ付与処理から呼出されるフレーズ分析DBへのレコード追加処理についてのフローチャートである。 第1実施形態の一例に係る音楽ストリームデータの一部分の特徴量を周波数により算出する例を示す図である。 第1実施形態の一例に係るメイン処理の1つである感動マッチング処理についてのフローチャートである。 第1実施形態の一例に係る感動タグの表示処理についてのフローチャートである。 第1実施形態の一例に係る各サーバのハードウェア構成を示す図である。 第2実施形態の一例に係る感動マッチングシステムの全体構成及び機能ブロックを示す図である。 第2実施形態の一例に係る各サーバでの処理で使用するフレーズ分析DBに格納されたフレーズ分析テーブルを示した図である。 第2実施形態の一例に係る各サーバでの処理で使用するプレイリストDBに格納されたプレイリストテーブルを示した図である。 第2実施形態の一例に係るユーザ端末に表示される画面例を示す図である。 第2実施形態の一例に係るユーザ端末に表示される画面例を示す図である。 第2実施形態の一例に係る感動タグ付与処理についてのフローチャートである。 第2実施形態の一例に係る感動タグの表示処理についてのフローチャートである。
符号の説明
10,210 感動マッチングシステム
20 ユーザ端末
30 通信回線
40,240 感動箇所付与サーバ
41 音楽データ抽出部
42 フレーズ位置特定部
43 タグ付与部
50 感動マッチングサーバ
51 マッチング対象情報受信部
52 感動箇所検出部
53 感動箇所特徴抽出部
54 特徴量マッチング部
55 マッチング情報送信部
60 ユーザDB
69 ユーザテーブル
70 音楽DB
79 音楽テーブル
80,280 フレーズ分析DB
89,289 フレーズ分析テーブル
244 フレーズ情報抽出部
245 フレーズ情報送信部
246 お気に入り情報送信部
247 ユーザ感動情報受信部

Claims (23)

  1. コンピュータが、再生されている音楽データに対してユーザにより指定された一部分を特定する部分位置特定ステップと、
    コンピュータが、前記部分位置特定ステップにより特定された前記音楽データの一部分に、ユーザにより指定された当該ユーザの感動を表すタグを付与するタグ付与ステップと、
    コンピュータが、前記タグ付与ステップにより付与された前記ユーザの感動を表すタグと、前記タグを付与した前記音楽データの一部分とを、前記音楽データを表す情報及びユーザを特定する情報に関連付けてデータベースに記憶するフレーズ分析記憶ステップと、
    コンピュータが、前記フレーズ分析記憶ステップにより記憶された前記音楽データの一部分から前記音楽データの特徴を表す特徴量を抽出する特徴量抽出ステップと、
    コンピュータが、前記特徴量抽出ステップにより抽出された前記特徴量に基づき、前記データベースに記憶され音楽データから、前記音楽データの一部分に類似の特徴量を有する音楽データを抽出する特徴量マッチングステップと、
    コンピュータが、前記音楽データの一部分を記憶した前記データベースに、前記特徴量マッチングステップにより抽出された前記音楽データを表す情報を、前記音楽データを表す情報及び前記ユーザを特定する情報に関連付けて記憶する類似データ記憶ステップと、を含む感性マッチング方法。
  2. 前記ユーザの感動を表すタグは、複数種類存在し、
    前記フレーズ分析記憶ステップにおいて、コンピュータが、前記タグの種類をさらに記憶し、
    前記特徴量マッチングステップにおいて、コンピュータが、前記特徴量に基づき、前記データベースに記憶され、付与された前記タグの種類が一致した前記音楽データから、前記音楽データの一部分に類似の特徴量を有する他の前記音楽データを抽出する、請求項1記載の感性マッチング方法。
  3. コンピュータが、前記音楽データの一部分に、前記ユーザにより入力された前記ユーザのコメントを関連付けるコメント付与ステップをさらに含み、
    前記フレーズ分析記憶ステップにおいて、コンピュータが、前記コメントをさらに記憶し、
    前記特徴量マッチングステップにおいて、コンピュータが、前記特徴量に基づき、前記データベースに記憶され、前記コメントに類似のコメントを含む前記音楽データから、前記音楽データの一部分に類似の特徴量を有する他の前記音楽データを抽出する、請求項1又は2記載の感性マッチング方法。
  4. 前記特徴量は、前記音楽データの一部分の周波数を分析することにより算出される値を用いる、請求項1乃至3記載の感性マッチング方法。
  5. 前記音楽データの一部分の特定は、経過時間の範囲を指定可能である、請求項1乃至4記載の感性マッチング方法。
  6. 前記音楽データの一部分の特定は、複数の音のうち一のパートを指定可能である、請求項1乃至5記載の感性マッチング方法。
  7. コンピュータが、前記特徴量マッチングステップにおいて抽出した他の前記音楽データを表す情報を、前記音楽データを表す情報と共に前記ユーザの端末に送信するマッチング情報送信ステップをさらに含む、請求項1乃至6記載の感性マッチング方法。
  8. コンピュータが、前記音楽データを表す情報に基づき、前記ユーザを特定する情報と、前記タグと、前記タグを付与した前記音楽データの一部分とを前記データベースから抽出するフレーズ情報抽出ステップと、
    コンピュータが、前記フレーズ情報抽出ステップにより抽出された前記ユーザを特定する情報と、前記タグと、前記タグを付与した前記音楽データの一部分とを、前記音楽データを表す情報と共に前記ユーザの端末に送信するフレーズ情報送信ステップと、をさらに含む、請求項1乃至7記載の感性マッチング方法。
  9. コンピュータが、前記タグ付与ステップにより前記タグが付与された前記音楽データを、お気に入り情報として前記データベースに記憶するお気に入り情報記憶ステップと、
    コンピュータが、前記お気に入り情報記憶ステップにより記憶された前記お気に入り情報を、前記音楽データを表す情報と共に前記ユーザの端末に送信するお気に入り情報送信ステップと、をさらに含む、請求項1乃至8記載の感性マッチング方法。
  10. コンピュータが、前記ユーザの端末から前記音楽データを表す情報と、前記ユーザを特定する情報と、前記タグと、前記タグを付与した前記音楽データの一部分とをユーザ感動情報として受信するユーザ感動情報受信ステップを含み、
    前記お気に入り情報送信ステップにおいて、コンピュータが、前記ユーザ感動情報受信ステップにより受信された前記ユーザ感動情報に対応した前記お気に入り情報を、前記ユーザの端末に送信する、請求項9記載の感性マッチング方法。
  11. コンピュータが、他の前記音楽データに関連する広告データを前記ユーザの端末に送信する広告情報送信ステップをさらに含む、請求項1乃至10記載の感性マッチング方法。
  12. 再生されている音楽データに対してユーザにより指定された一部分を特定する部分位置特定部と、
    前記部分位置特定部により特定された前記音楽データの一部分に、ユーザにより指定された当該ユーザの感動を表すタグを付与するタグ付与部と、
    前記タグ付与部により付与された前記ユーザの感動を表すタグと、前記タグを付与した前記音楽データの一部分とを、前記音楽データを表す情報及びユーザを特定する情報に関連付けてデータベースに記憶するフレーズ分析記憶部と、
    前記フレーズ分析記憶部により記憶された前記音楽データの一部分から前記音楽データの特徴を表す特徴量を抽出する特徴量抽出部と、
    前記特徴量抽出部により抽出された前記特徴量に基づき、前記データベースに記憶され音楽データから、前記音楽データの一部分に類似の特徴量を有する音楽データを抽出する特徴量マッチング部と、
    前記音楽データの一部分を記憶した前記データベースに、前記特徴量マッチング部により抽出された前記音楽データを表す情報を、前記音楽データを表す情報及び前記ユーザを特定する情報に関連付けて記憶する類似データ記憶部と、を備える感性マッチング装置。
  13. 前記ユーザの感動を表すタグは、複数種類存在し、
    前記フレーズ分析記憶部において、前記タグの種類をさらに記憶し、
    前記特徴量マッチング部において、前記特徴量に基づき、前記データベースに記憶され、付与された前記タグの種類が一致した前記音楽データから、前記音楽データの一部分に類似の特徴量を有する他の前記音楽データを抽出する、請求項12記載の感性マッチング装置。
  14. 前記音楽データの一部分に、前記ユーザにより入力された前記ユーザのコメントを関連付けるコメント付与部をさらに備え、
    前記フレーズ分析記憶部において、前記コメントをさらに記憶し、
    前記特徴量マッチング部において、前記特徴量に基づき、前記データベースに記憶され、前記コメントに類似のコメントを含む前記音楽データから、前記音楽データの一部分に類似の特徴量を有する他の前記音楽データを抽出する、請求項12又は13記載の感性マッチング装置。
  15. 前記特徴量は、前記音楽データの一部分の周波数を分析することにより算出される値を用いる、請求項12乃至14記載の感性マッチング装置。
  16. 前記音楽データの一部分の特定は、経過時間の範囲を指定可能である、請求項12乃至15記載の感性マッチング装置。
  17. 前記音楽データの一部分の特定は、複数の音のうち一のパートを指定可能である、請求項12乃至16記載の感性マッチング装置。
  18. 前記特徴量マッチング部において抽出した他の前記音楽データを表す情報を、前記音楽データを表す情報と共に前記ユーザの端末に送信するマッチング情報送信部をさらに備える、請求項12乃至17記載の感性マッチング装置。
  19. 前記音楽データを表す情報に基づき、前記ユーザを特定する情報と、前記タグと、前記タグを付与した前記音楽データの一部分とを前記データベースから抽出するフレーズ情報抽出部と、
    前記フレーズ情報抽出部により抽出された前記ユーザを特定する情報と、前記タグと、前記タグを付与した前記音楽データの一部分とを、前記音楽データを表す情報と共に前記ユーザの端末に送信するフレーズ情報送信部と、をさらに備える、請求項12乃至18記載の感性マッチング装置。
  20. 前記タグ付与部により前記タグが付与された前記音楽データを、お気に入り情報として前記データベースに記憶するお気に入り情報記憶部と、
    前記お気に入り情報記憶部により記憶された前記お気に入り情報を、前記音楽データを表す情報と共に前記ユーザの端末に送信するお気に入り情報送信部と、をさらに備える、請求項12乃至19記載の感性マッチング装置。
  21. 前記ユーザの端末から前記音楽データを表す情報と、前記ユーザを特定する情報と、前記タグと、前記タグを付与した前記音楽データの一部分とをユーザ感動情報として受信するユーザ感動情報受信部を備え、
    前記お気に入り情報送信部において、前記ユーザ感動情報受信部により受信された前記ユーザ感動情報に対応した前記お気に入り情報を、前記ユーザの端末に送信する、請求項20記載の感性マッチング装置。
  22. 他の前記音楽データに関連する広告データを前記ユーザの端末に送信する広告情報送信部をさらに備える、請求項12乃至21記載の感性マッチング装置。
  23. コンピュータに、
    再生されている音楽データに対してユーザにより指定された一部分を特定する部分位置特定ステップと、
    前記部分位置特定ステップにより特定された前記音楽データの一部分に、ユーザにより指定された当該ユーザの感動を表すタグを付与するタグ付与ステップと、
    前記タグ付与ステップにより付与された前記ユーザの感動を表すタグと、前記タグを付与した前記音楽データの一部分とを、前記音楽データを表す情報及びユーザを特定する情報に関連付けてデータベースに記憶するフレーズ分析記憶ステップと、
    前記フレーズ分析記憶ステップにより記憶された前記音楽データの一部分から前記音楽データの特徴を表す特徴量を抽出する特徴量抽出ステップと、
    前記特徴量抽出ステップにより抽出された前記特徴量に基づき、前記データベースに記憶され音楽データから、前記音楽データの一部分に類似の特徴量を有する音楽データを抽出する特徴量マッチングステップと、
    前記音楽データの一部分を記憶した前記データベースに、前記特徴量マッチングステップにより抽出された前記音楽データを表す情報を、前記音楽データを表す情報及び前記ユーザを特定する情報に関連付けて記憶する類似データ記憶ステップと、を実行させるためのコンピュータ・プログラム。
JP2007297835A 2007-01-05 2007-11-16 感性マッチング方法、装置及びコンピュータ・プログラム Expired - Fee Related JP4981630B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007297835A JP4981630B2 (ja) 2007-01-05 2007-11-16 感性マッチング方法、装置及びコンピュータ・プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007000543 2007-01-05
JP2007000543 2007-01-05
JP2007297835A JP4981630B2 (ja) 2007-01-05 2007-11-16 感性マッチング方法、装置及びコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JP2008186444A JP2008186444A (ja) 2008-08-14
JP4981630B2 true JP4981630B2 (ja) 2012-07-25

Family

ID=39729405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007297835A Expired - Fee Related JP4981630B2 (ja) 2007-01-05 2007-11-16 感性マッチング方法、装置及びコンピュータ・プログラム

Country Status (1)

Country Link
JP (1) JP4981630B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5113796B2 (ja) * 2009-04-15 2013-01-09 ヤフー株式会社 感情マッチング装置、感情マッチング方法、及びプログラム
JP5166508B2 (ja) * 2010-12-22 2013-03-21 ヤフー株式会社 連携用サーバ、プログラム及び情報連携方法
US20140122606A1 (en) * 2011-06-13 2014-05-01 Sony Corporation Information processing device, information processing method, and program
JP5834514B2 (ja) * 2011-06-13 2015-12-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法、および、プログラム
JP2013054334A (ja) * 2011-08-10 2013-03-21 Nikon Corp 電子機器
JP6291913B2 (ja) * 2014-03-04 2018-03-14 ヤマハ株式会社 楽曲生成システム
US20200257723A1 (en) * 2015-11-30 2020-08-13 Sony Corporation Information processing apparatus, information processing system, information processing method, and program
WO2017094328A1 (ja) * 2015-11-30 2017-06-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6936596B2 (ja) * 2017-03-16 2021-09-15 ヤフー株式会社 データ管理システム、データ管理方法、およびプログラム
KR20230107042A (ko) * 2022-01-07 2023-07-14 삼성전자주식회사 전자 장치 및 그 동작 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3433818B2 (ja) * 1993-03-31 2003-08-04 日本ビクター株式会社 楽曲検索装置
JPH0793208A (ja) * 1993-09-22 1995-04-07 Hitachi Ltd データベースシステムおよびその運用方法
JP3434223B2 (ja) * 1998-11-19 2003-08-04 日本電信電話株式会社 音楽情報検索装置,音楽情報蓄積装置,音楽情報検索方法,音楽情報蓄積方法およびそれらのプログラムを記録した記録媒体
JP4483049B2 (ja) * 2000-08-18 2010-06-16 ヤマハ株式会社 マルチメディアコンテンツの登録システム
JP4029605B2 (ja) * 2001-11-29 2008-01-09 ソニー株式会社 情報提供方法及び情報提供システム
US6933432B2 (en) * 2002-03-28 2005-08-23 Koninklijke Philips Electronics N.V. Media player with “DJ” mode
JP2004062814A (ja) * 2002-07-31 2004-02-26 Sony Corp コンテンツ参照装置及びコンテンツ参照方法、並びにコンピュータ・プログラム
JP2005056021A (ja) * 2003-08-08 2005-03-03 Kddi Corp 情報検索装置および方法ならびにコンピュータプログラム
JP4306429B2 (ja) * 2003-11-27 2009-08-05 日本電信電話株式会社 コンテンツ連動型コメント表示方法及びシステム及びサーバ装置及びクライアント装置及びコメント表示プログラム及びコメント表示プログラムを格納したコンピュータ読み取り可能な記憶媒体
JP2006106404A (ja) * 2004-10-06 2006-04-20 Canon Inc 広告表示方法

Also Published As

Publication number Publication date
JP2008186444A (ja) 2008-08-14

Similar Documents

Publication Publication Date Title
JP4981630B2 (ja) 感性マッチング方法、装置及びコンピュータ・プログラム
US20100063975A1 (en) Scalable system and method for predicting hit music preferences for an individual
US20060224260A1 (en) Scan shuffle for building playlists
JP2004522177A (ja) 音楽に対する好みを予測するためのシステムおよび方法
JP2007164078A (ja) 楽曲再生装置および楽曲情報配信サーバ
US10506268B2 (en) Identifying media content for simultaneous playback
Lavengood What makes it sound’80s? The Yamaha DX7 electric piano sound
JP2008041043A (ja) 情報処理装置
JP5771498B2 (ja) 楽曲再生システム、装置及び楽曲再生方法
JP2007140211A (ja) コンテンツ配信システム、コンテンツ再生装置、コンテンツ提供サーバ、及びそれらに用いるプログラム
JP4326669B2 (ja) ビート情報配信システム
US7890374B1 (en) System and method for presenting music to consumers
CN106775567B (zh) 一种音效匹配方法及系统
KR20170024494A (ko) 악보 기반 검색 서비스 제공 장치 및 이를 이용한 방법
JPH11184883A (ja) 楽曲検索システム、楽曲検索方法及び記録媒体
JPH11184467A (ja) 楽曲検索システム、楽曲検索方法及び記録媒体
CN101925897A (zh) 建议用于与内容数据项同步再现的伴奏乐曲的方法
JP2008268507A (ja) 楽曲情報付与サーバ、端末、及び楽曲情報付与システム
JP4447524B2 (ja) 統一テンポのメドレー選曲処理に特徴を有するカラオケ装置
Stratton Disco before Disco: Dancing and Popular Music in the 1960s and 1970s in England
JP6525841B2 (ja) カラオケシステム
JP6611633B2 (ja) カラオケシステム用サーバ
KR20010090669A (ko) 인터넷을 통한 다중모드음악 시스템 및 그 판매방법
JP5350306B2 (ja) カラオケ選曲装置、カラオケ選曲装置の制御方法、及びカラオケ選曲装置の制御プログラム並びにその情報記録媒体
GB2335781A (en) Method of selection of audio samples

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110808

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120420

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4981630

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees