JP5087415B2 - 楽曲メタ情報配信システムにおけるクライアント側装置および音声データ出力装置 - Google Patents

Description

この発明は、楽曲コンテンツの一部または楽曲コンテンツの一部を所定の形式に変換したデータをメタ情報配信サーバに送信することにより、当該楽曲コンテンツの楽曲名、歌手名等のメタ情報（属性情報）をそのサーバから取得する楽曲メタ情報配信システムにおけるクライアント側装置に関する。また、この発明は、音声データ出力装置に関する。

ラジオ放送またはテレビ放送を受信し、受信した放送波から楽曲コンテンツを抽出して記録する機能および記録した楽曲データを再生する機能を備えた楽曲記録再生装置が知られている。

このような楽曲記録再生装置では、楽曲コンテンツを抽出して記録することができるが、記録した楽曲コンテンツの楽曲名、歌手名等のメタ情報（属性情報）を認識することができないので、記録した楽曲コンテンツのインデックス情報に含めることができず、記録されている楽曲の管理や整理が困難であるという問題がある。

そこで、楽曲コンテンツの一部（約３秒間の音声データ）または楽曲コンテンツの一部を所定の形式に変換したデータをメタ情報配信サーバに送信すると、メタ情報配信サーバが送られてきたデータに対応する楽曲を特定し、特定した楽曲の楽曲名、歌手名等のメタ情報を送信元の端末に配信するといったシステムが実用化されている。このようなシステムの１つとして、Gracenote 社の"Mobile Music ID" が知られている。
特表２００６−５０７６１４号公報

しかしながら、ラジオ番組から録音した楽曲コンテンツでは、楽曲の冒頭部分でDJの音声が重なったり、ジングルが録音されることが多いため、ラジオ番組から録音した楽曲コンテンツの一部をメタ情報配信サーバに送信しても、正確に楽曲が特定されないおそれがある。

この発明は、サーバ側での楽曲の識別精度の向上化が図れるようになるクライアント側装置および音声データ出力装置を提供することを目的とする。

請求項１に記載の発明は、楽曲コンテンツの一部または楽曲コンテンツの一部を所定の形式に変換した後のデータを、楽曲識別用データとして楽曲情報配信サーバに送信するクライアント側装置と、前記クライアント側装置から送られてきた楽曲識別用データに基づいて楽曲を特定し、特定した楽曲に関する情報を前記クライアント側装置に配信する楽曲情報配信サーバを備えた楽曲情報配信システムに用いられるクライアント側装置において、
前記楽曲コンテンツの前部および後部を除いた区間内から所定時間以上の音声データを抽出する抽出手段、および前記抽出手段によって抽出した音声データまたは当該音声データを所定の形式に変換した後のデータを、楽曲識別用データとして前記楽曲情報配信サーバに送信する送信手段を備えており、前記抽出手段は、前記楽曲コンテンツの前部および後部を除いた区間内において、音声パワーの変化量が最大となる位置付近の音声データを、楽曲を特定するのに適した部分として抽出するものであることを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明において、前記楽曲に関する情報が楽曲名、歌手名およびジャンルのうちから選択された１つまたは任意の組合せであることを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の発明において、前記楽曲コンテンツがラジオ放送から抽出されたものであることを特徴とする。

この発明によれば、サーバ側での楽曲の識別精度の向上化が図れるようになる。

以下、図面を参照して、この発明の実施例について説明する。

〔１〕楽曲メタ情報配信システムの構成
図１は、楽曲メタ情報配信システムの構成を示している。

楽曲記録再生装置１０は、ＦＭ放送から楽曲部分を抽出して録音することにより、楽曲別の楽曲ファイルを作成する。楽曲記録再生装置１０は、楽曲部分を抽出して録音する際に、音声パワーの変化量が所定の閾値より大きな箇所を変化点として検出し、検出した変化点のパワー変化量および位置情報を変化点情報として取得する。そして、検出した変化点に関する変化点情報および楽曲長を当該楽曲ファイルに付随させて記録媒体（ＳＤカード）２０に記録する。

ＳＤカード２０に記録した楽曲ファイルの楽曲名、歌手名、ジャンル等のメタ情報を知りたい場合には、ユーザは、ＳＤカード２０をクライアント側装置３０に装着させる。クライアント側装置３０としてはＰＣが用いられる。クライアント側装置３０には、メタ情報取得プログラムが搭載されている。クライアント側装置３０は、ＳＤカード２０内の所望の楽曲ファイルに対する変化点情報および楽曲長に基づいて、当該楽曲ファイル内の音声データのうちの当該楽曲を特定するのに適した部分（約３秒間）を特徴部分データとして抽出する。そして、抽出した特徴部分データまたはそれを所定の形式に変換したデータを、インターネット等のネットワーク４０を介して、楽曲識別用データとしてメタ情報配信サーバ５０に送信する。

メタ情報配信サーバ５０は、この例では、図２に示すように、楽曲毎に、楽曲名および歌手名を記憶したメタ情報データベース５１を備えている。つまり、この実施例では、メタ情報は、楽曲名および歌手名から構成されている。ただし、メタ情報は、楽曲名、歌手名、ジャンルの任意の１つであってもよいし、任意の組合せであってもよい。

メタ情報配信サーバ５０は、クライアント側装置３０からの楽曲識別用データを受信すると、受信した楽曲識別用データに基づいて、当該楽曲を特定し、特定した楽曲の楽曲名および歌手名からなるメタ情報をメタ情報データベース５１から読み出して、クライアント側装置３０に送信する。楽曲識別用データに基づいて楽曲を特定する方法としては、各種の公知の方法を用いることができる。なお、メタ情報配信サーバ５０として、Gracenote 社の”ＭＭＩＤサーバ”を用いることができる。

クライアント側装置３０は、受信したメタ情報を、ＳＤカード２０内において楽曲ファイルに付随させて記録する。
〔２〕楽曲を特定するのに適した部分について
ラジオから録音した楽曲ファイルには、図３に示すように、楽曲ファイルの前部および後部にジングルやＤＪの音声信号が存在する。楽曲ファイルのうち、ジングルやＤＪの音声信号が重なった部分に基づいて楽曲識別用データを生成した場合には、楽曲を特定しにくくなる。

そこで、この実施例では、楽曲ファイル（楽曲コンテンツ）の前部（冒頭部分）１０１および後部（終了部分）１０２を除いた区間内から所定時間以上の音声データを楽曲を特定するのに適した部分（特徴部分データ）として抽出するようにしている。

より具体的には、次のような部分を特徴部分データとして抽出するようにしている。
（ａ）楽曲ファイル内の音声データの前部および後部を除いた区間内において、音声パワーの変化量が最大となる位置付近の部分（図２に１１２で示す部分）
サビ部分では音声パワーの変化量が最大となるので、音声パワーの変化量が最大となる位置付近の部分はサビ部分となる。
（ｂ）楽曲ファイル内の音声データの中央付近の部分（図２に１１１で示す部分）
〔３〕楽曲記録再生装置の構成
図４は、楽曲記録再生装置の構成を示している。

楽曲記録再生装置１０は、アンテナ１１、ＦＭチューナ部１２、Ａ／Ｄ変換部１３、ＤＳＰ１４、Ｄ／Ａ変換部１５、ＳＤカードＩ／Ｆ１６、ＣＰＵ１７、メモリ１８、操作部１９等を備えている。ＳＤカードＩ／Ｆ１６には、ＳＤカード（記録媒体）２０が着脱自在に装着されている。

ＦＭチューナ部１２は、アンテナ１１を介して入力したＦＭ放送波からユーザによって選択された所定の周波数の放送波を選局し、選局した放送波を復調してアナログ音声信号を出力する。Ａ／Ｄ変換部１３は、ＦＭチューナ部１２で得られたアナログ音声信号をデジタル音声信号に変換する。ＤＳＰ１４は、楽曲を抽出する機能と、楽曲区間において音声パワーの変化点を検出する機能と、楽曲に対応するデジタル音声信号をＭＰ３圧縮データにエンコードする機能と、ＳＤカード２０から読み出されたＭＰ３圧縮データをデジタル音声信号にデコードする機能とを備えている。

音声パワーの変化点は、次のようにして検出される。ＤＳＰ１４は、ＤＳＰ１４に入力されるデジタル音声信号に基づいて、図５に示すように、音声パワーの変化量を逐次算出する。そして、音声パワーの変化量が所定の閾値ｔｈより大きい箇所を、変化点Ｐ０，Ｐ１，…として検出する。

ＳＤカード２０は、ＤＳＰ１４のエンコード機能によって得られたＭＰ３圧縮データを記録する。Ｄ／Ａ変換部１５は、ＤＳＰ１４のデコード機能によって得られたデジタル音声信号をアナログ音声信号に変換する。Ｄ／Ａ変換部１５によって得られたアナログ音声信号は、図示しないヘッドホン等に送られる。

ＣＰＵ１７は、楽曲記録再生装置１０の各部を制御する。メモリ１８は、ＣＰＵ１７のワークメモリとして動作する。なお、ＣＰＵ１７のプログラム等のデータは図示しないＲＯＭに格納されている。
〔４〕楽曲記録再生装置１０による楽曲記録処理
図６は、楽曲記録再生装置１０による楽曲記録処理の手順を示している。

楽曲記録処理時には、Ａ／Ｄ変換部１３から入力されたデジタル音声信号はＤＳＰ１４に入力されるとともに、ＤＳＰ１４およびＣＰＵ１７を介してメモリ１８にも送られる。ＣＰＵ１７は、新しいものから過去所定時間分のデジタル音声信号をメモリ１８の所定の領域（以下、音声信号一時記憶領域という）に保持させる。この所定時間は、数曲分のデジタル音声信号を記憶可能な時間に設定されている。

楽曲記録再生装置１０は、ユーザの録音開始指示により、楽曲記録処理を開始する。楽曲記録処理が開始されると、ＣＰＵ１７は、ＦＭチューナ１２を起動して、ＦＭチューナ１２に指定された放送局を選局させる（ステップＳ１）。また、ＤＳＰ１４による楽曲抽出機能を起動させるとともに、デジタル音声信号のメモリ１８内の音声信号一時記憶領域への記憶を開始させる（ステップＳ２）。なお、デジタル音声信号のメモリ１８内の音声信号一時記憶領域への記憶が開始された後において、予め定められた所定時間分のデジタル音声信号がメモリ１８内の音声信号一時記憶領域に記憶された場合には、それ以後は、最も古いデジタル音声信号が削除されて、最新のデジタル音声信号がメモリ１８に記録される。

ＣＰＵ１７は、ＤＳＰ１４の楽曲抽出機能によって、楽曲の開始位置が検出されるまで待機する。楽曲の開始位置が検出されると（ステップＳ３でＹＥＳ）、ＣＰＵ１７は検出された楽曲の開始位置を表す時刻情報（絶対時刻情報）Ｐｓをメモリ１８に記憶する（ステップＳ４）。また、ＣＰＵ１７は、ＤＳＰ１４の変化点検出機能を起動させる（ステップＳ５）。そして、変数ｉを０に設定する（ステップＳ６）。

ＤＳＰ４によって音声パワーの変化点が検出されると（ステップＳ７）、当該変化点におけるパワー変化量Ｄ（ｉ）と当該変化点を表す位置情報Ｐ（ｉ）とを、変化点情報としてメモリ１８に記憶する（ステップＳ８）。変化点を表す位置情報Ｐ（ｉ）としては、当該楽曲の開始位置から当該変化点までの時間を表す時刻情報（相対時刻情報）が用いられる。この後、ｉを１だけインクリメントする（ステップＳ９）。そして、ＤＳＰ１４の楽曲抽出機能によって、楽曲の終了位置が検出されたか否かを判別する（ステップＳ１０）。楽曲の終了位置が検出されていない場合には、ステップＳ７に戻る。

上記ステップＳ１０において、楽曲の終了位置が検出されていると判別した場合には、ＣＰＵ１７は検出された楽曲の終了位置を表す時刻情報（絶対時刻情報）Ｐｅをメモリ１８に記憶する（ステップＳ１１）。この後、メモリ１８内の音声信号一時記憶領域に保持されているデジタル音声信号のうち、開始位置Ｐｓから終了位置Ｐｅまでの区間に相当するデジタル音声信号を楽曲データとして抽出して圧縮することにより楽曲ファイルを作成し、作成した楽曲ファイルと、楽曲長Ｌ（＝Ｐｅ−Ｐｓ）と、検出された各変化点に対する変化点情報Ｄ（ｉ），Ｐ（ｉ）とをＳＤカード２０に記録させる（ステップＳ１２）。この際、楽曲長および変化点情報は、楽曲ファイルに付随して記録される。そして、ステップＳ３に戻る。なお、ユーザ操作によって録音終了指示が入力されると、楽曲記録処理は終了する。
〔５〕クライアント側装置３０とメタ情報配信サーバ５０の処理
図７は、クライアント側装置３０がメタ情報配信サーバ５０から楽曲のメタ情報を取得する際に、クライアント側装置３０およびメタ情報配信サーバ５０によって実行される処理の手順を示している。

楽曲記録再生装置１０のユーザは、楽曲ファイル、楽曲長Ｌおよび変化点情報Ｄ（ｉ），Ｐ（ｉ）が記録されたＳＤカード２０を楽曲記録再生装置１０から取り外し、クライアント側装置３０に装着する。そして、クライアント側装置３０のメタ情報取得プログラムを起動させる。

メタ情報取得プログラムが起動せしめられると、クライアント側装置３０は、ユーザ装置に基づいて、ＳＤカード２０からメタ情報取得対象となる楽曲ファイルに対する楽曲長Ｌおよび変化点情報Ｄ（ｉ），Ｐ（ｉ）を読み込む（ステップＳ２１）。楽曲長Ｌおよび変化点情報Ｄ（ｉ），Ｐ（ｉ）に基づいて、楽曲の前部および後部を除いた区間内に存在する変化点のうち、パワー変化量が最大の変化点の位置情報（相対時刻情報）Ｐ（ｉ）を抽出する（ステップＳ２２）。なお、楽曲の前部とは、楽曲の開始位置から所定時間分進んだ位置までの部分をいい、楽曲の後部とは、楽曲の終了位置から所定時間分手前の位置までの部分をいう。

メタ情報取得対象の楽曲ファイル内の音声データのうち、ステップＳ２２で抽出した変化点の位置情報Ｐ（ｉ）から約３秒間の音声データまたはそれを所定の形式で変換したデータを、楽曲識別用データとしてメタ情報配信サーバ５０に送信する（ステップＳ２３）。

メタ情報配信サーバ５０は、クライアント側装置３０から送られてきた楽曲識別用データを受信すると（ステップＳ３１）、受信した楽曲識別用データに基づいて当該楽曲を特定し、メタ情報データベース５１から当該楽曲の楽曲名および歌手名を取得して、クライアント側装置３０に送信する（ステップＳ３２）。

クライアント側装置３０は、メタ情報配信サーバ５０から送られてきた楽曲名および歌手名を受信すると（ステップＳ２４）、受信した楽曲名および歌手名を、ＳＤカード２０内の当該楽曲ファイルに付随させて記録する（ステップＳ２５）。そして、今回の処理を終了する。

上記実施例では、楽曲ファイル内の音声データの前部および後部を除いた区間内で、音声パワーの変化量が最大となる位置付近の部分に基づいて楽曲識別用データを生成しているが、楽曲ファイル内の音声データのうち音声パワーの変化量が最大となる位置付近の部分に基づいて楽曲識別用データを生成してもよい。

また、楽曲ファイル内の音声データのうち中央付近の部分に基づいて楽曲識別用データを生成してもよい。このようにすると、軽い処理で、メタ情報配信サーバ５０へ送信すべき適切なデータを抽出できる。

また、楽曲ファイル内の音声データに対して周波数解析（クラスタリング処理）を行ない、「楽曲の尤度」が高い部分（ＤＪの尤度が低い部分）を選択し、選択した部分に基づいて楽曲識別用データを生成してもよい。

上記実施例では、所望の楽曲ファイル内の音声データのうち当該楽曲を特定するのに適した部分（約３秒間）を特徴部分データとして抽出する処理を、クライアント側装置３０が行なっているが、このような処理を楽曲記録再生装置１０が行なうようにしてもよい。

上記実施例のメタ情報配信サーバ５０に代えて、楽曲データそのものを配信する楽曲配信サーバを用いるようにしてもよい。この場合には、クライアント側装置３０は楽曲配信サーバに楽曲識別用データを送信する。楽曲配信サーバは、クライアント側装置３０からの楽曲識別用データを受信すると、受信した楽曲識別用データに対応する楽曲を特定し、特定した楽曲に対応する楽曲データをクライアント側装置３０に送信する。

楽曲メタ情報配信システムの構成を示すブロック図である。 メタ情報データベース５１の内容の一部を示す模式図である。 ラジオから録音した楽曲ファイルの前部および後部にジングルやＤＪの音声信号が存在することを示す模式図である。 楽曲記録再生装置１０の構成を示すブロック図である。 音声パワーの変化量を示すグラフである。 楽曲記録再生装置１０による楽曲記録処理手順を示すフローチャートである。 クライアント側装置３０がメタ情報配信サーバ５０から楽曲のメタ情報を取得する際に、クライアント側装置３０およびメタ情報配信サーバ５０によって実行される処理の手順を示すフローチャートである。

符号の説明

１０ 楽曲記録再生装置
２０ ＳＤカード
３０ クライアント側装置
４０ ネットワーク
５０ メタ情報配信サーバ

Claims (3)

1. 楽曲コンテンツの一部または楽曲コンテンツの一部を所定の形式に変換した後のデータを、楽曲識別用データとして楽曲情報配信サーバに送信するクライアント側装置と、前記クライアント側装置から送られてきた楽曲識別用データに基づいて楽曲を特定し、特定した楽曲に関する情報を前記クライアント側装置に配信する楽曲情報配信サーバを備えた楽曲情報配信システムに用いられるクライアント側装置において、
   前記楽曲コンテンツの前部および後部を除いた区間内から所定時間以上の音声データを抽出する抽出手段、および
   前記抽出手段によって抽出した音声データまたは当該音声データを所定の形式に変換した後のデータを、楽曲識別用データとして前記楽曲情報配信サーバに送信する送信手段を備えており、
   前記抽出手段は、前記楽曲コンテンツの前部および後部を除いた区間内において、音声パワーの変化量が最大となる位置付近の音声データを、楽曲を特定するのに適した部分として抽出するものであることを特徴とする楽曲情報配信システムにおけるクライアント側装置。
2. 前記楽曲に関する情報が楽曲名、歌手名およびジャンルのうちから選択された１つまたは任意の組合せであることを特徴とする請求項１に記載の楽曲情報配信システムにおけるクライアント側装置。
3. 前記楽曲コンテンツがラジオ放送から抽出されたものであることを特徴とする請求項１または２に記載の楽曲情報配信システムにおけるクライアント側装置。

Images