WO2002035516A1

WO2002035516A1 - Systeme et procede de reconnaissance d'une composition musicale, support de stockage de programme de composition musicale, procede et systeme de reconnaissance commerciale, et support de stockage de programme de reconnaissance commerciale

Info

Publication number: WO2002035516A1
Application number: PCT/JP2001/009244
Authority: WO
Inventors: Miwako Iyoku; Tatsuhiro Kobayashi
Original assignee: Ntt Communications Corporation
Priority date: 2000-10-23
Filing date: 2001-10-22
Publication date: 2002-05-02
Also published as: JPWO2002035516A1; AU2001295989A1; GB2384596A; KR100516403B1; HK1059133A1; US7277852B2; KR20030096225A; CN100461261C; TW535073B; GB0309208D0; CN101354716A; US20040055445A1; CN1471703A

Description

明細書楽曲認識方法及びシステム及び楽曲認識プログラムを格納した記憶媒体及びコマーシャル認方法及びシステム及びコマーシャル認識プログラムを格納した記憶媒体 · · 技術分野

本発明は、楽曲認識方法及びシステム及び楽曲認識プログラムを格納した記憶媒体に係り、特に、 T Vや F M等で放送された映像または、音声情報のうち、放送された楽曲名をリアルタイムに認識 - 蓄積するための楽曲認識方法及びシステム及び楽曲認識プログラムを格納した記憶媒体に関する。

また、本発明は、 C M認識方法及びシステム及び C M認識プログラムを格納した記憶媒体に係り、特に、 T Vや F M等で放送された C Mをリアルタイムに認識 ' ·蓄積するための C M認識方法及びシステム及び C M認識プログラムを格納した記憶媒体に関する。背景技術

従来、リアルタイムに放送された映像情報や音楽情報のコンテンッに使用されている楽曲名をリアルタイムに認識し、それを記憶装置蓄積するシステムは存在していない。 '

• また、リアルタイムに放 ¾された C Mをリアルタイムに認譏、蓄積する装置も存在していない。.また、所定の長さで区切られた C M 情報だけで、 C Mデータを比較 ·認識するシステムは存在していない。

'上記のように、従来のシステムには、オンエアされた楽曲をモニ '夕するための技術がなく、オンエアされた時刻情報と共に楽曲名を記憶装置上に蓄積することはできない。時刻情報をある楽曲名に付 '与する場合には人手による処理しかなく、放送された楽曲名、当該楽曲が放送された時刻情報をリアルタイムに付与することができない。 '

また、 C Mについて'も、オンエアされた映像、または、音声情報のうち、放送された C Mをリアルタイムに認識 ·蓄積する装置はなく、人手で行うしか方法がなく、リアルタイム性、規模の拡大にも限界がある。発明の開示

本発明は、上記の点に鑑みなされたもので、 T Vや F M等でオンエアされた映像または、音声情報のうち、放送された楽曲の楽曲名をリアルタイムに認識し、蓄積することが可能なプレイリスト作成 ¾術を提供することを目的とする。

また、本発明の目的は、オンエアだけでなく、インタ一ネット等の通信ネットワークを介して例えばストリーミング伝送された放送デ一夕に対しても、タグ情報や透かし情報が無くてもリアルタイムに目的とする楽曲データを比較 ·認識することが可能なプレイリスト作成技術を提供することを目的とする。，

また、本発明の目的は、 T Vや F M等でオンエアされた映像または、音声情報のうち、放送された C Mをリアルタイムに認識し、蓄積することが可能な C M認識技術を提供することを目的とする。上記の目的を達成するために、本発明は次のように構成することができる。

本発明は、受信したデータからコンテンツのプレイリストを作成するプレイリスト作成方法において、

予め、コンテンツの特徴を抽出して、コンテンツ特徴ファイルに蓄積し、該コンテンツに関連する情報をコンテンツ情報 D Bに蓄積するステップと、

前記受信したデータの特徴を抽出し、データ特徴ファイルに蓄積するステップと、前記コンテンツ特徴フアイルのデータと前記データ特徴ファイルのデータとを照合することによりコンテンッを探索するステツプと前記コンテンッ特徴ファイルのデータと前記データ特徴ファイルのデータが一致したら、該データに対応するデ一夕を探索結果ファィルとして蓄積するステツプと、

前記探索結果ファイルと前記コンテンッ情報 D Bとから該コンテンッのプレイリストを作成するステツプとを有する。 ' 本発明によれば、オンエアさ ήた放送データ等から時系列プレイリストを自動的に作成することが可能となる。なお、上記データ特徵ファイルとは、例えば放送特徴ファイルである。

上記の構成において、前記データ特徴ファイルにおけるあるデ一夕が前記コンテンツ特徴ファイルに含まれていない場合に、該デー夕に対応するコンテンッの特徴デ一タを前記コンテンッ特徴フアイルに登録するステツプを更に有するようにしてもよい。

本発明によれば、コンテンッ特徵ファイルへのデータ登録を自動的に行うことが可能となる。

上記の構成において、前記コンテンッ特徵ファイルに含まれていなかつたデー夕に対応するコンテンツを人間が視聴できるようにするステップと、

該コンテンッに関連する情報を前記コンテンツ情報 D Βに登録するステップとを更に有するようにしてもよい。

本発明によれば、自動的に登録されたコンテンツ特徴ファイルのデ一夕に関連する情報を登録することができ、その登録した情報を用いることにより、時系列プレイリストを自動的に作成することが可能となる。

. 上記の構成において、前記デ一夕特徴ファイルにおけるあるデ一夕が前記コンテンツ特徴ファイルに含まれていない場合に、該デ一夕に対応するコンテンッを人間が視聴できるようにするステツプと該コンテンツを該コンテンッに関連する情報とともに前記プレイリストに追加するステツプとを有するようにしてもよい。

本発明によれば、時系列プレイリストを補完することができ、より精度の高いプレイリス卜を作成することが可能となる。

上記の目的を達成するために本発明は次のように構成することもできる。

本発明は受信したデータから楽曲を認識する楽曲認識方法であり予め、楽曲コンテンツの特徴を抽出して、コンテンツ特徴フアイ, ルに蓄積するステップと、

前記受信したデータの特徴を抽出し、放送特徴ファイルに蓄積するステップと、

前記コンテンツ特徴ファイルと前記放送特徴ファイルのデ^-夕を照合することにより楽曲を探索するステップと、

楽曲名が判明したら、該楽曲名を探索結果ファイルとして蓄積するステップと、

前記探索結果ファイルから楽曲の時系列プレイリストを作成するズテツプとを有する。.

本発明によれば、楽曲.に関する時系列プレイリストを自動的に作成することが可能となる。

上記の構成において、前記受信したデータが楽曲か否かを判定するステップと、

楽曲である場合にはそのデータが楽曲である旨とそのデータを受信した時刻とを楽曲抽出ファイルに蓄積するステップと、

前記楽曲を探索するステツプにおいて、前記放送特徵ファイルのあるデ一夕の楽曲名が判明しなかった場合にはそのデータを楽曲名未抽出ファイルに蓄積するステツプと、

前記放送特徴ファイルと前記楽曲抽出ファイルと前記楽曲名未抽出ファイルとから楽曲未検出ファイルを作成するステツプとを更に有するようにしてもよい。

本発明によれば、楽曲であるにもかかわらず、時系列プレイリス卜に掲載されていないものを把握することが可能となる。

上記の構成において、前記楽曲未検出ファイルに記録された楽曲を人間が聞くことができるようにするステップと、

₍該楽曲未検出ファイルに'記録された楽曲に関する楽曲名と時刻とを前記プレイリストに追加するステップとを更に有するようにしてもよい。

本発明によれば、時系列プレイリストを補完することが可能となり、·より精度の高い時系列プレイリストを作成することが可能となる。

上記構成において、前記探索結果ファイルと、楽曲名と関連付けられた情報を有するコンテンッ情報 D Bとを用いて前記時系列プレイリストを作成し、

該時系列プレイリストは、時刻、該時刻に放送された楽曲名、及び該楽曲名と関連する情報を有するようにしてもよい。

-本発明によれば、楽曲名とその楽曲名に関連する種々の情報を有する時系列プレイリストを自動的に作成することが可能となる。上記の構成において、複数の地域で放送データを受信し、各地域で受信したデータをセンタシステムに送信し、該センタ装置において前記楽曲認識方法により前記時系列プレイリストを作成するようにしてもよい。

本発明によれば、各地域の放送局で放送された内容に関する時系列プレイリストを作成することが可能となる。

また、本発明は、受信したデータから楽曲を認識する楽曲認識方法であり、

予め、楽曲コンテンツの特徴を抽出して.、コンテンツ特徴フアイルに蓄積するステップと、複数の地域で放送のデータを受信するステツプと、 ' 各地域において、受信したデータの特徴を抽出し、放送特徴ファィルのデータとしてセンタシステムに送信するステツプと、 _ • 該センタシステムにおいて、前記コンテンツ特徴ファイルと前記放送特徴ファイルのデータを照合することにより楽曲を探索するステツプと、

前記探索結果ファイルから楽曲の時系列プレイリストを作成するステップとを有する。

本発明によれば、各地域で放送特徴ファイルを作成してセンタに送信するので、センタへの伝送量が軽減される。

上記の構成において、前記コンテンッ情報 D B及び前記楽曲名と関連する情報は C Mに関する情報を含み、

前記コンテンツ情報 D Bにおける該 C Mに関する情報は、 C M認識方法により前記コンテンツ情報 D Bに予め登録され、該 C M認識方法は、

受信したデータから C Mデ一夕を検出するステツプと、

前記 C Mデータの特徴を抽出し、放送特徴ファイルに蓄積するステツプと、

前記放送特徴ファイルと予め C M jンテンッの特徴が格納されているマスタ C Mコンテンッ特徴ファイルとのデ一夕の照合を行うステツプと、

放送特徴ファイルにおけるデ一夕がマスタ C Mコンテンツ特徵フアイルにない場合には、該データを新たな C Mとして前記コンテンッ情報 D Bに含まれるマスタ C Mコンテンツ特徴ファイルに登録するステップとを有するようにしてもよい。 '

本発明によれば、 C M情報を含んだ時系列プレイリストを作成することが可能となる。上記の目的を達成するために本発明は次のように構成することもできる。

本発明は、受信したデ一夕から CMを認識し、認識された CMデ —夕を蓄積するための CM認識方法であり、

受信したデータから C Mデータを検出するステップと、前記 CMデータの特徴を抽出し、放送特徴ファイルに蓄積するステツプと、

前記放送特徴ファイルと予め C Mコンテンツの特徴が格納されているマスタ CMコンテンツ特徴ファイルとのデータの照合を行うステツプと、

放送特徵ファイルにおけるデータがマスタ CMコンテンツ特徴フアイルにない場合には、該データを新たな CMとしてマス夕 CMコンテンッ特徴ファイルに登録するステツプとを有する。

人手で行われていた CMモニタリング作業を自動化することが可能となり、時系列プレイリスト作成に適した CM,データを提供することが可能となる。

上記の構成において、前記受信したデータから CMデ一タを検出するステツプは、 CMデータの開始点及び終了点を検出するステツプを有し、

前記 CMデータの特徴を抽出する際に、検出された前記 CMデー夕の前記開始点と前記終了点の中心から該開始点及び該終了点への均等の長さ部分を取り出した一定長部分を特徴化するようにしてもよい。

本発明によれば、 CMデータの入力誤差を吸収することが可能となる。

上記の構成において、前記データの照合の結果により、マスタ C Mコンテンツ特徵ファイルになかった CMデータを表示するステツプと、

該 CMデータに関連する情報をマスタ CMコンテンツ特徴フアイルを含む C M管理データベース群の各データベースに登録するステップとを更に有するようにしてもよい。

本発明によれば、マスタ C Mコンテンツ特徴ファイルに自動的に登録された C Mデータに関連する情報を登録することができる。この情報を用いることにより、 C Mに関する情報を有する時系列プレィリストを作成することが可能となる。

本発明の他の目的、特徴、機能、利点は、後の詳細な説明を添付の図面を参照して読むことにより、より明確になる。図面の簡単な説明 ,

図 1は、本発明の原理を説明するための図である。

図 2は、本発明の原理構成図である。

図 3は、本発明の楽曲認識システムの概要を示す図である。

図 4は、本発明の楽曲認識システムの動作の概要を示すシ一ケンスチャートである。

図 5は、本発明の C M認識システムの概要を示す図である。

図 6は、本発明の C M認識システムの動作の概要を示すフローチヤート（その 1 ) である。

図 7は、本発明の C M認識システムの動作の概要を示すフローチヤート（その 2 ) である。

図 8は、本発明の'第 1の具体例の楽曲認識システムの概要を示す図である。

図 9は、本発明の第 1の具体例の楽曲認識システムのフローチヤ一トである。

図 1 0は、本発明の第 1の実施例の適用例を示す図である。 - 図 1 1は、時系列プレイリスト作成にあたり用いられる各フアイルとそれらの関係を示す図である。

図 1 2は、時系列プレイリストにおける属性情報を説明するための図である。 . 図 1 3は、時系列プレイリストにおける属性情報を説明するための図である。

図 1 4は、本発明の第 2の具体例の C M認識システムの概要を示す図である。

図 1 5は、 C Mデータ特徴化のための力ッティング方法を説明するための図である。 - 図 1 6は、本発明の第 3の具体例におけるシステム構成を示す図である。

図 1 7は、図 1 6に示すシステムの動作概要を示すフローチヤ一トである。

図 1 8は、本発明の第 3の具体例におけるシステムの動作を詳細に示すフロ一チャートである。

図 1 9は、楽曲データの蓄積方法を示す図である。

図 2 0は、 C Mデータの蓄積方法を示す図である。

図 2 1は、楽曲 · C M未抽出ファイルからコンテンッ特徵フアイルを作成する処理を示す図である。発明を実施するための最良の形態

[第 1の実施の形態] ' 図 1及び図 2に本実施の形態における原理を示す。

図 1に示すように、本実施の形態においては、予め、コンテンツの特徴を抽出して、コンテンツ特徴ファイルに蓄積しておき（ステップ 1 ) 、受信したデータの特徴を抽出し、放送特徴ファイルに蓄積し（ステップ 2 ) 、コンテンツ特徴ファイルと放送特徴ファイルのデータを照合することにより楽曲を探索し（ステップ 3 ) 、楽曲が判明したら、該楽曲に関する情報を探索結果ファイルとして蓄積し（；^テツプ 4 ) 、探索結果ファイルから楽曲の時系列プレイリストを作成し、蓄積する（ステップ 5 ) 。

また、図 2に示すように本実施の形態の楽曲認識システムの原理構成は、予め、コンテンツを作成すると共に、楽曲コンテンツの特徵を抽出し、コンテンッ特徴ファイル 3 2 0に蓄積するコンテンツ作成手段 3 0 0と、受信したデータの特徴を抽出し、放送特徴ファィル 1 4 0に蓄積する特徴抽出手段.1 0 5.と、コンテンツ特徴ファィル 3 2 0 と放送特徴ファイル 1 4 0のデータを照合することにより楽曲を探索し、探索結果を探索結果ファイル 1 5 0に格納する楽曲探索手段 1 2 0と、探索結果ファイル 1 5 0から時系列的な楽曲の時系列プレイリストを作成し、蓄積するリスト作成手段 2 0 0とを有する。

図 3は、本発明の楽曲認識システムの概要を示す。同図に示すシステムは、オンエアキヤプチヤ/探索装置 1 0 0、楽曲確認/登録装置 2 0 0、コンテンツ作成装置 3 0 0から構成される。これらの装置は P C等で構成される。なお、これらの各装置の機能を有する 1台の P Cでも本システムは実行可能であるが、 P Cの処理負荷、パフォーマンスコスト、現行ハードウェアのスペック等を勘案し、 3つの装置に分けている。

オンエアキヤプチャ/ 探索装置 1 0 0は、オンエアキヤプチャ部 1 1 0、探索部 1 2 0、楽曲抽出ファイル 1 3 0、放送特徴フアイル 1 4 0、探索結果ファイル 1 5 0、楽曲名未抽出ファイル 1 6 0 、楽曲未検出ファイル 1 7 0、時刻データ提供部 1 8 0から構成される。

オンエアキヤプチャ部 1 1 0は、 T V、ラジオ放送局から連続して放送データをモニタリングし、モニタリングした放送デ一夕が楽曲か非楽曲かを判定し、楽曲である場合には、楽曲抽出ファイル 1 3 0に、モニタリングした時間における放送が楽曲である旨を記録すると共に、当該楽曲を 7 . 5秒間隔のリアルタイムで当該放送デ —夕の特徴を抽出し、放送特徴ファイル 1 4 0に蓄積する。また、当該楽曲を 7 · 5秒間隔で図示しないファイルに楽曲をデジタルデ —夕として蓄積しておく。なお、オンエアキヤプチャ部 1 1 0は、時刻データ提供部 1 8 0からの時刻情報に基づき、上記の処理を行う。また、キヤプチヤした情報にタイムスタンプを付与して記録する。

ここで、 7 . 5秒間隔とする理由は、一般の C Mにて流れる楽曲を知りたい場合の C Mの放送時間が現行最小 1 5秒であるため、その半分の時間を探索間隔とすることにより楽曲デ一夕の探索を確実に行うことができるからである。

なお、オンエアキヤプチャ部 1 1 0において、楽曲か非楽曲かを判定することは、予め楽曲か非楽曲であるか（楽曲でない、つまりトーク等）の判定が可能な既存技術（例えば、「楽覧」（楽曲 Z非楽曲検出技術）：特願平 8— 3 4 0 2 9 3、特願平 1 0— 6 8 1 5

8等）により実現で'きる。オンエアキヤプチャ部 1 1 0は、当該技術を用いて楽曲と判定された旨を楽曲抽出ファイル 1 3 0に登録する。 '

探索部 1 2 0は、コンテンツ作成装置 3 0 0で作成されたコンテンッの特徴が蓄積されているファイルをメモリ上に読み込み、さらに、放送特徴ファイル 1 4 0も読み込んで、 2つのファイルのマツチングを行い、マッチング結果を探索結果ファイル 1 5 0に格納する。マッチングに成功しなかったデ一夕は楽曲名未抽出ファイル 1 6 0に格納する。

上記のマッチングによる探索は、特許第 3 0 6 5 3 1 4号、「高速信号探索方法、装置およびその記録媒体」等に記載された学習ァクティブ探索方法を用いることができる。この方法では、コンテンッ特徴ファイルのデータと放送特徴ファイルのデータとの類似値を計算し、計算した類似値と閾値との比較によって探索を行う。なお、詳細については上記特許第 3 0 6 5 3 1 4号を参照することにより知ることができる。

楽曲抽出ファイル 1 3 0は、楽曲を示す旨の情報にタイムスタンプが付与されたデータからなり、オンエアキヤプチャ部 1 1 0で作成される放送特徴ファイルは、 T A Zファイル（バイナリファイル ) である。なお、 T A Zファイルは、学習アクティブ探索において高速に比較処理が可能なファイルである。

なお、放送内容については図示しない W A Vファイル等に保持しておく。

'放送特徴ファイル 1 4 0は、オンエアキヤプチャ部 1 1 0でオンエアされている放送データを自動キヤプチヤし、特徴が抽出された当該放送データの特徴データを蓄積する。

楽曲未検出フアイル 1 7 0には、楽曲であるにもかかわらずマッチングに成功しなかったデータを、楽曲抽出ファイル 1 3 0、楽曲名未抽出ファイル 1 6 0、放送特徴ファイル 1 4 0とから抽出し格納する。

探索結果ファイル 1 5 0には、探索部 1 2 0において、コンテンッ作成装置 3 0 0で作成されたコンテンツ特徴ファイル（後述する ) と放送特徵ファイル 1 4 0のマッチングの結果が蓄積される。すなわち、マッチングの結果、一致したデータに対応する情報（楽曲名等）を探索結果ファイルに蓄積し、コンテンツ特徴ファイルに存在しなかった放送特徴ファイル 1 4 0のデータを楽曲名未抽出ファィル（後述する）に蓄積する。

楽曲確認 Z登録装置 2 0 0は、楽曲確認部 2 1 0、登録部 2 2 0 、から構成され、時系列プレイリスト 2 3 0を出力する。

楽曲確認部 2 1 0は、探索結果ファイル 1 5 0及びコンテンツ情報 D B 3 3 0を用いて、認識された楽曲に対応する時刻、楽曲名、アーティスト、番組（C M ) 名、クライアント、商品、夕レント、 C D情報等を抽出して、登録部 2 2 0に渡す。

登録部 2 2 0は、楽曲確認部 2 1 0で抽出された内容を時刻順に、時系列プレイリストファイル 2 3 0に登録する。

また、楽曲確認登録装置 2 0 0にて、楽曲未検出ファイルに格納された放送内容をオペレータが確認することにより、楽曲を認識し、時系列プレイリストに当該データを追加する。なお、オペレー夕は、楽曲未検出ファイルにおける時刻情報を基にして、 W A Vフアイル等の形式でオンエアキヤプチャ部 1 1 0によりキヤプチャされた楽曲を聞くことにより、放送内容を確認することができる。

コンテンッ作成装置 3 0 0は、コンテンツ作成部 3 1 0、コンテンッ特徴ファイル 3 2 0、及びコンテンツ情報 D B 3 3 0から構成される。 - コンテンツ作成部 3 1 0は、楽曲が記録されている媒体からコンテンッを取得して、当該楽曲及び、コンテンツ特徴ファイル 3 2 0 に流用可能な属性データをコンテンツ情報データベース 3 3 0に蓄積し、さらに、楽曲の特徴を抽出して、楽曲'名と共にコンテンツ特徵ファイル 3 2 0に蓄積する。

コンテンッ特徴ファイル 3 2 0は、コンテンッ作成部 3 1 0で作成されるファイルで、楽曲名及び当該楽曲の特徴情報が格納されるコンテンッ情報 D B 3 3 0には、コンテンッ作成部 3 1 0により楽曲の全属性データが格納される。

次に、上記の楽曲認識システムの動作を説明する。

図 4に、本発明の楽曲認識システムの動作の概要を示す。

ステップ 1 0 1 ) コンテンッ作成装置 3 0 0において、楽曲コンテンッの記録媒体等から楽曲、及び当該楽曲の属性データをコンテンッ情報 D B 3 3 0に登録する。属性データは、例えば、楽曲名

、ァ一テイスト名、番組名、クライアント名、商品名、タレント名等の情報である。

ステップ 1 0 2 ) コンテンツ作成装置 3 0 0において、楽曲の特徴を抽出し、コンテンツ特徴ファイル 3 .2 0に蓄積する。

ここまでの処理は、以下の処理の前提処理である。

ステップ 1 0 3 ) オンエアキヤプチヤ/探索装置 1 0 0において、オンエアされている映像や音声をキヤプチヤする。 .なお、「ォンエアされている映像や音声」には、インタ一ネットを介して放送される映像や音声を含む。

ステップ 1 0 4 ) オンエアキヤプチヤ探索装置 1 0 0は、キャプチヤした内容について、楽曲 Z非楽曲を検出する任意の技術により、放送データが楽曲または、非楽曲であるか否かを検出する。ステップ 1 0 5 ) ステップ 1 0 3において、楽曲である場合には、楽曲抽出ファイル 1 3 0にその時間の放送が楽曲である旨を記録する。楽曲である旨を記録するとは、例えば、当該時間に楽曲を示すフラグを立てることである。

ステップ 1 0 6 ) また、上記のステップ 1 0 4 、 1 0 5と同時に、 7 . 5秒間隔でリアルタイムで楽曲の特徴を抽出して放送特徴ファイル 1 4 0に蓄積する。また、楽曲の放送デ一夕も図示しないファイルに蓄積する。

ステップ 1 0 7 ) 次に、オンエアキヤプチャ Z探索装置 1 0 0 において、楽曲の探索を行うために、探索のアプリケーションを起動させると共に、前述のステップ 1 0 2でコンテンツ作成装置 3 0 0で作成されたコンテンツ特徴ファイル 3 2 0の内容をメモリ上に読み込む。

ステップ 1 0 8 ) オンエアキヤプチャ /探索装置 1 0 0の探索部 1 2 0では、放送特徴ファイル 1 4 0も読み込み、 2つのフアイルのマッチングを行う。このとき、前述の学習アクティブ探索技術を用いるものとする。

ステップ 1 0 9 ) 上記のマッチングの結果を探索結果ファイル 1 5 0に蓄積する。マッチングができなかった特徵データについては楽曲名未抽出ファイル 1 6 0に格納する。

ステップ 1 1 0 ) 次に、楽曲確認/登録装置 2 0 0では、コンテンッ作成装置 3 0 0からコンテンッ情報 D B 3 3 0の各内容を読み込む。

ステップ 1 1 1 ) さらに、楽曲確認/登録装置 2 0 0は、オン '探索装置 1 0 0から探索結果ファイル 1.5 0を読み込む。

ステップ 1 1 2) これにより、楽曲確認ノ登録装置 2 0 0は、探索結果ファイル 1 5 0におけるデータとコンテンツ情報 D B 3 3 0におけるデータとから、楽曲名、ァ一テイスト名、キヤプチヤした番組、クライアント、商品、タレント等の情報を抽出して、時系列にこれらのデータを並べ替える処理を行って、時系列プレイリストを作成し、時系列プレイリスト DB 2 3 0として蓄積する。

ステップ 1 1 3) また、楽曲未検出プレイリストに記録された特徴デ一ダに対応する楽曲名を、オペレー夕が当該楽曲を視聴することにより確認し、時系列プレイリストを補完する。

[第 2の実施の形態]

次に、本発明の第 2の実施の形態として、 TV及び FM/AMでオンエアされた映像または、音声情報のうち、 CM (コマーシャル ) を認識 · 蓄積する CM認識システムについて説明する。なお、当該 CM認識システムにより作成された CMデータを参照することにより、第 1の実施の形態において認識された楽曲から CMデータを含むプレイリストを作成することが可能となる。

図 5は、本発明の CM認識システムの概要を示す図である。

同図に示す CM認識システムは、オンエアキヤプチヤ/探索装置 4 0 0、 CM確認/更新部 5 0 0'、及び CM管理デ一夕ベース群 6 0 0から構成される。

オンエアキヤプチヤ/探索装置 40 0は、キヤプチャ部 4 1 0、探索部 4 2 0、 F M/AM · CMファイル 43 0、放送特徴フアイル 44 0、 CMデータファイル 4 5 0及び、 TV ' CMファイル 4 6 0、時刻データ提供部 47 0から構成される。

キヤプチャ部 4 1 0は、 TV、ラジオ放送局のオンエアから連続して放送デ一夕をモニタリングし、 CMのスタート · エンドを判定することによりモニタリングした放送データが CMか否かを判定し、 CMである場合には、モニタリングした CMデータを TV · CM ファイル 4 6 0に格納し、もしくは FMZAM · CMファイル 43 0に格納する。また、キヤプチャ部 4 1 0は、時刻データ提供部 4 7 0から提供される時刻情報を用いて CMデータにタイムスタンプを付与する。

さらに、キヤプチャ部 4 1 0は、キヤプチヤしたデータから CM の特徴データを作成し、放送特徵スアイル 440に格納する。後述するように、特徴ファイル 44 0を作成する際に、 CMのスタート • エンドにより切り出されたデータのカット点の誤差を吸収するために、 CMデータ中心から両端にかけて均等にカッティングした一定長（ 8. 0秒間）のデータとして再加工する。そして、再加工されたオンエアデータを、学習アクティブ探索技術に開示された技術を用いて特徴データ化し、 TAZ形式にして格納する。なお、 TA Zファイルは、探索部 42 0における学習ァクティグ探索において高速な比較処理を可能とするファイルである。

探索部 4 2 0は、放送特徴ファイル 440とマスタ CM管理デー夕ベース群 6 0 0にある C¥の特徴が蓄積されているファイルをメモリ上に読み込んで、 2つのファイルのマッチングを行い、マッチング結果を CMデータファイル 4 5 0に格納する。なお、探索部 4 2 0では、学習ァクティブ探索（特許第 3 0 6 5 3 1 4号等）を用いるものとする。この場合、マッチング結果として、 CMが探索できなかったものについて、その CMデータをオンエア時間を名称として CMデ一夕ファイル 4 5 0に蓄積する。

FM/AM - CMファイル 4 3 0には、キヤプチャ部 4 1 0でキャプチヤされた FMZ AMでオンエアされた CMデ一夕が WAV形式（音のみの形式）のファイルとして格納される。

放送特徴ファイル 440は、キヤプチャ部 4 1 0でキヤプチャされた C Mデ一夕から抽出された C Mの特徴データが格納される。また、当該放送特徴ファイル 440は、 TAZファイル（バイナリフアイル）である。

- T V · CMファイル 46 0は、キヤプチャ部 4 1 0でキヤプチャされた TVでオンエアされた' CMデータが AV I形式のファイルとして格納される。

CM確認 Z更新部 5 0 0は、 CM名等が判明しない CMデータが格納されている CMデータファイル 4 5 0を読み込む。当該 CMデ —夕ファイル 4 5 0の CMは、新規の CMである可能性が高いため、例えば、 Windows Media Player 7等のソフトウェアを用いて新規登録された CMの確認をオペレータが行い、広告主（クライアント）、商品名、楽曲名、タレント名等を抽出し、 CM管理データべ —ス群 6 0 0のファイルに格納する。

CM管理データベース群 6 0 0は、 CMマスタ 6 1 0、商品マスタ 6 2 0、タレントマスタ 6 3 0、楽曲名マスタ 640、広告主マスタ 6 5 0、マスタ CMコンテンッ特徴フアイル 6 6 0からなる。商品マスタ 6 2 0、タレントマスタ 6 3 0、楽曲名マスタ 6 4 0、広告主マスタ 6 5 0、マスタ CMコンテンッ特徴フアイル 6 6 0におけるデータは、 CM確認ノ更新部 5 0 0で抽出される。また、これらのマスタは CMマスタ 6 1 0に格納された CMデ一夕の属性毎に作成されているマスタファイルである。

次に、上記の構成における動作を説明する。

図 6、図 7は、本発明の CM認識システムの動作の概要を示すフローチャートである ₀

ステップ 3 0 1 ) オンエアキヤプチャ Z探索装置 40 0のキヤプチャ部 4 1 0において、オンエアされている放送デ一夕をキヤプチヤする。

ステップ 3 0 2 ) キヤプチャ部 4 1 0は、キヤプチヤした放送データから CMデータを検出し、 CMデータから前述した方法で放送特徼を抽出する。

ステップ 3 0 3 ) 抽出された放送特徵を放送特徴ファイル 44 0に格納し、ステップ 3 0 7に進む。

ステップ 3 04、 3 0 5 ) 上記の処理を行うとともに、 TV . CMを TV · CMファイル 4 6 0に格納する。

ステップ 3 0 6 ) また、抽出された CMが FM/AMでのオンエアされていた CMの場合には、当該 CMを FMZAM · CMファィル 4 3 0に格納する。

ステップ 3 0 7 ) ステップ 3 0 3の後、探索部 420は.、放送特徴ファイル 440と CM管理データベース群 6 0 0のマス夕 CM コンテンツ特徴ファイル 6 6 0をメモリ上に読み込んで、 2つのフアイルを比較する学習ァクティブ探索を行う。

ステップ 3 0 8 ) 探索により、 CMが判明した場合にはステツプ 3 0 7に移行し、次の放送特徴ファイル 440のデータとマスタ CMコンテンツ特徴ファイル 6 6 0の探索を行う。 CMが判明しない場合にはステップ 3 0 9に移行する。

ステップ 3 0 9 ) CMが判明しない場合には、オンエア時間を名称として CMデータファイル 4 5 0に登録する。

ステップ 3 1 0) CM確認ノ更新部 5 0 0において、既存のソフトウェア等により、オペレータが CMデータフアイル 45 0に登録された C Mの確認を柠う。

ステップ 3 1 1 ) ォペレ一夕により、 CMマスタ 6 1 0のメンテナンスを行い、さらに、当該 CMマスタ 6 1 0から、各種属性毎のマスタのメンテナンスを行う。

このようにしてデータベースに新規の CMを登録することができる。 .

[第 3の実施の形態]

第 1の実施の形態のように、認識した楽曲から時系列プレイリストを作成することと同様にして、第 2の実施の形態において認識した CMから時系列プレイリストを作成することも可能である。. ' また、第 2の実施の形態の CMの例と同様にして、楽曲に関するコンテンッ特徵ファイル、コンテンッ情報 D Bを更新することも可能である。

更に、第 1の実施の形態のようにして時系列プレイリストを作成しながら、第 2の実施の形態のようにして C Mまたは楽曲に関するコンテンツ特徴ファイル、コンテンツ情報 D Bを更新していくことが可能である。この具体例については後述する。

以下、図面と共に上記の各実施の形態に対応する具体例を説明する。

[第 1の実施例に対応する具体例（第 1の具体例）， ]

図 8は、本発明の第 1の具体例の楽曲認識システムの構成を示す図である。

同図に示す各装置において、図 3の構成と同一部分には、同一符号を付与し、その説明を省略する。

図 9は、本発明の第 1の具体例の楽曲認識システムの動作のフロ —チャートである。

以下、図 8、図 9に基づいて本発明の楽曲認識システムについて説明する。

本楽曲認識システムでは、図 8に示すように、リアルタイムに放送内容をキヤプチヤする P C 1 1 0 と放送特徴ファイル 1 4 0を探索する P C 1 2 0を接続したオンエアキヤプチヤ/探索装置 1 0 0 と、楽曲コンテンツのコンテンツ特徵を保持するコンテンツ特徵フアイル 3 2 0及びコンテンッ情報 D B 3 3 0を管理する P C 3 1 0 を有するコンテンツ作成装置 3 0 0と、時系列プレイリストを D B に登録する楽曲確認 Z登録装置 2 0 0が接続された構成をとる。図 9に示す処理系 Aにおいて、 P C 1 1 0が、オンエア内容をキャプチヤし（ステップ 2 0 1 ) 、キヤプチャデータから 7 . 5秒間隔で、放送特徴ファイル 1 4 0を出力しており（ステップ 2 0 2 ) 、次に、 P C 1 2 0がコンテンツ作成装置 3 0 0から取得して、予めメモリ上に展開された楽曲コンテンツ特徵ファイル 3 2 0の内容と放送特徴ファイル 1 4 0とを用いて、学習アクティブ探索により楽曲を探索し（ステップ 2 0 3 ) 、探索結果を採索結果ファイル 1 5 0に出力する（ステップ 2 0 5 ) 。また、このとき、探索によつて楽曲名が判明しない場合には、特徴データを楽曲名未抽出フアイルに格納する（ステップ 2 0 7 ) 。

上記の処理が済むと、楽曲確認/登録装置 2 0 0において、探索結果ファイル 1 5 0の探索結果とコンテンツ情報 D Bから時系列プレイリストを作成して、 D B 2 3 0に蓄積する。

図 9に示す処理系 Bにおいて、オンエアキヤプチヤ/探索装置 1 0 0の P C 1 1 0では、放送データが楽曲か否かを判定し（ステツプ 3 0 1 ) 、楽曲である場合には楽曲である旨とタイムスタンプを楽曲抽出ファイル 1 3 0に出力する（ステップ 3 0 2 ) 。また、楽曲自体も図示しない WA Vファイル等にタイムスタンプを付して蓄積しておく。

そして、楽曲名未抽出ファイル 1 6 0 (処理系 A ) と、楽曲抽出ファイル 1 3 0 (処理系 B ) をマージすることで、時間別の楽曲名未検出ファイル 1 7 0を出力することが可能となり（ステツプ 2 0 8、 2 0 9 ) 、オペレータを介して、探索結果ファイル 1 5 0にフィ一ドバックすることが可能となる。これにより、時系列プレイリストを補完することが可能となる。

なお、オペレータの作業としては、探索を行う P C 1 2 0において、楽曲未検出ファイルの内容を確認しながら、探索結果ファイル 1 5 0に必要なデータ項目を補完する。

なお、上記におけるコンテンツ特徴ファイル 3 2 0、放送特徴フアイル 1 5 0は T A Zファイル（学習ァクティブ探索のためのバイナリファイル）を用いるものとする。

プレイリストの作成においては、探索結果ファイルと、 C Mマス夕等を含むコンテンツ情報 D Bとを結合させる。具体'例については下記の適用例において説明する。なお、図 8の例においては、 P C 1 1 0が全国各地の放送内容を当該地域からデータ受信することによりキヤプチヤし、放送特徴フアイルの作成等を行うことができる。また、 P C 1 1 0を全国各地に配置し、各 P C 1 1 0において、そこでの放送内容をキヤプチャして放送特徴ファイルを作成し、その放送特徴ファイルをセンタに配置した' P C 1 2 0に送信するような構成としてもよい。

次に、本発明の適用例を説明する。

図 1 0は、本発明の上記具体例の適用例を示す図である。

同図において'、コンテンツ管理セン夕は、図 8に示すコンテンツ作成 g置 3 0 0に対応する。また、デ一夕センタは、図 8のオンェアキャブチヤ/探索装置 1 0 0に対応するものとする。

まず、コンテンツ管理センタでは、レコード会社から試聴用の C D等を入手し、 C D販売ショップ等から D V Dゃ新譜 C Dを購入し、これらの記録媒体からコンテンツをコンテンツの属性と共に、コンテンッ情報 D B 3 3 0に格納すると共に、コンテンツの特徴を抽出してコンテンツ特徴ファイル 3 2 0 (図 1 0の例では、楽曲デ一夕ベース）に格納しておく。

次に、例えば全国各地に配置されたアンテナを介して取得された T V ( V H S ) や F M等の放送内容、または、衛星放送等をパラポラアンテナを介して取得された放送内容をデータセンタがチューナ —を介して取得する。データセンタでは、取得した放送データを 7 . 5秒間隔でディジタル化すると共に、データの特徴を抽出し、放送特徴ファイル 1 4 0に格納すると共に、楽曲かトーク等の非楽曲かを判別してその結果を楽曲抽出ファイル 1 3 0に格納する。

データセン夕の探索用の P Cにおいて、コンテンツ管理センタから予め取得していたコンテンツ特徴ファイルと、放送特徴ファイルから検索エンジン（学習アクティブ探索技術）を用いて楽曲を探索し、探索結果ファイル 1 5 0に格納する。

これにより、データセンタ内の楽曲確認 Z登録装置 2 0 0として利用される P Cにおいて、探索結果ファイル、コンテンツ情報 D B 3 3 0を用いて、時系列プレイリストを作成する。図 1 0の例では、時刻（探索結果ファイルに付与されているタイムスタンプ）順に、楽曲名、アーティスト、番組（C M ) 、クライアント、商品、夕レント、 C D情報等を時系列プレイリストとして、 W e bサイト等で利用されるデータベースに登録する。また、探索ができなかった楽曲については、オペレータにより楽曲の追加がなされる。

図 1 1に、時系列プレイリスト作成にあたり用いられる各フアイルとそれらの関係を示す。 - 同図に示すように、放送特徴ファイルとコンテンツ特徴ファイルとから探索結果ファイルと楽曲名未抽出ファイルが生成される。そして、探索結果ファイルとコンテンツ情 D Bとから時系列プレイリストが作成される。 ,

一方、楽曲抽出ファイルと楽曲名未抽出ファイル等から楽曲未検出ファイルが作成され、当該ファイルに.記録された楽曲に対応する楽曲名などをオペレータが確認することにより、時系列プレイリストを補完できる。また、楽曲名等を確認した楽曲については、必要に応じて特徴化することによりコンテンッ特徵ファイルに追加することができる。これにより、 T A Z 4に相当する楽曲をキヤプチャしたときには'この楽曲を認識することが可能となる。

次に、コンテンッ情報 D Bを用いて図 1 0に示した時系列プレイリストを作成する方法を図 1 2 、 1 3を用いて説明する。

図 1 2は、プレイリストにおいて時刻 9時における各項目を決定する場合を示す図である。同図に示すように、コンテンツ情報 D B には、 T A Zデ一夕から紐付けされている各種データベース（マス夕データベース）がある。したがって、 T A Zデータから楽曲名が判明すれば、音源マス夕から各種マスタをたどっていくことにより、時刻 9時における各情報を取得できる。また、放送局名と時刻から番組名もわかる。このようにして種々の関連情報を含む時系列プレイリストを作成することが可能となる。

図 1 3は、時刻 1 1時 46分における場合であり、上記と同様に、 T A Zデ一夕から各種マスタを用いて当該時刻に対応する各種情報を取得できる。

次に、本発明の楽曲認識システムのシミュレーション結果について説明する。シミュレーションは、放送サンプルとして 7曲の楽曲が含まれる実際の FM放送の録音（約 3 5分間）を使用し、データベースサンプルとして、 C D楽曲 1 9 3曲を使用し、このうち、 6 曲が上記の放送サンプルに含まれる。

シミュレーションの条件としては、放送サンプルは、 7. 5秒毎に 1 9 3曲全てと照合（ 1 9 3曲 =約 2 0時間）するものとし、 P Cサーバ機のスぺックとして、 1 C PU (Pentium Xeon 933MHZ), 2 GBメモリ、 Linux gcc 291 を用いる。

上記の条件により、本発明の方法のシミュレーションを実施した結果、検出すべき 6曲を全て正しく検出し、時間誤差は、概ね 7. 5秒以内であり、速度は、 3 5分（ 2 1 0 0秒）を約 45秒で完了した。これは、実時間の約 5 0倍速（= 2 1 0 0 /4 5) であり、実時間なら 9 0 0 0曲程度の処理が見込めるといえる。

また、上記の実施例では、図 8、図 9に基づいて説明したが、図 9に'示す動作をプログラムとして構築し、データセンタ及びコンテンッ管理センタで利用されるコンピュータに接続されるディスク装置や、フロッピーディスク、 CD— ROM等の可搬記憶媒体に格納しておき、本発明を実施する際に、データセンタやコンピュータ管理セン夕で利用される P Cにインストールすることにより、容易に本発明を実現できる。

[第 2の実施の形態に対応する具体例（第 2の具体例） ] ここでは、放送されている放送データから CMをリアルタイムに検出し、当該 CMを認識及び蓄積する例を説明する。前述したように、このようして蓄積された CMデータを上記のマスタファイルとして用いることにより CMに関連した情報を含む時系列プレイリスト作成を行うことができる。

図 1 4は、本発明の第 2の実施例の CM認識システムの構成を示す図である。

同図に示す構成要素において、図 5と同一構成部分には同一符号を付し、その説明を省略する。

本実施例の CM認識システムでは、放送内容をキヤプチヤするキャプチヤ P C部 4 1 0と、放送特徵ファイル 440とマス夕 CMコンテンッ特徵ファイル 6 6 0を比較する学習ァクティブ探索 P C 4 2 0からなるオンエアキヤプチャ/探索部 4 0 0と、学習ァクティブ探索 P C 4 2 0により出力された CMデータ 4 5 0を参照して、 CMの確認及び更新処理を行う CM確認ノ更新部 5 0 0と、 CMの各種マスタファイルを管理する CM管理デ一夕ベース 6 0 0から構成される。

ここで、図 1 4におけるファイル形式について説明する。

放送特徴ファイル 440は、リアルタイムに抽出された TV · C M及び、 FM/AM · CMの双方の特徴が格納される T A Z形式のファイルである。

TV * CMファイル 46 0は、 TV * C Μが格納される A V I形式のファイルであり、放送特徴ファイル 44 0の内容と対で管理される。

F M/.AM · CMファイル 43 0は、 FM/AM · CMが格納される WAV形式のブアイルであり、放送特徴ファイル 440の内容と対で管理される。

CMデータファイル 4 5 0は、新規登録されるべき CMが格納されるファイルであり、 T V · CMである場合には、当該データは例えば A V I形式で格納され、 FMZAM · CMである場合には、当該データは、 WAV形式で格納される。

CM管理データベース群 6 0 0のマスタ CMコンテンツ特徴ファィル 6 6 0は、 T A Z形式で格納される。

以下に、上記の構成における動作を前述の図 6、 7を参照して説明する。

キヤプチャ P C 4 1 0がオンエア内容をキヤプチヤする（ステツプ 3 0 1 ) 。次に、キヤプチャ P C 4 1 0は、 CM検出モジュールにより、 CMのスタート ·エンドを取得する。当該 CM検出モジュ —ルとしては、特願平 6 - 3 1 2 9 7 6 「映像カツト点検出方法及び装置」（谷村 ·外村）等がある。

次に、 CM検出モジュールで切り出されたデータの力ット点の誤差を吸収するために、図 1 5に示すように、切り出されたデータを CMデータ中心から両端にかけて均等にカツティングした一定長（ 8. 0秒間）のデータとして再加工し、これを放送特徴として抽出し（ステップ 3 0 2 ) 、放送特徴ファイル 440に格納する（ステップ 3 0 3 ) 。

また、キヤプチャ P C 4 1 0は、 CM検出モジュールによりオンエアデータが T Vの場合には A V I形式、 F M/ AMの場合は W A V形式としてオンエアデータを格納する（ステップ 3 04、 3 0 5 、 3 0 6 ) 。

次に、学習アクティブ探索 P C 4 2 0は、放送特徴ファイル 44 0と CM管理データベース群 6 0 0のマスタ CMコンテンツ特徴フアイル 6 6 0をメモリ上に読み込んで学習ァクティブ探索を行う（ステップ 3 0 7 ) 。ここで、 CMコンテンツ特徴ファイル 6 6 0に登録されていない場合には、 CMは CMデータファイル 45 0に登録される（ステップ 3 0 9 ) 。また、マスタ CMコンテンツ特徴フアイル 6 6 0に登録されていない場合、当該 CMはマスタ CMコンテンッ特徵ファイル 6 6 0に無条件にェントリする。

次に、 CMデータファイル 45 0に登録された. CMの確認を CM 確認ノ更新部 5 0 0において行う（ステップ 3 1 0) 。 CMの確認処理は、既存のソフトウェアを用いて行う。また、ォペレ一夕により最終的な様々な付加情報を追加することで当該 CMを CMマスタ 6 1 0に登録する。さらに、当該 CMマスタ 6 1 0に登録された C Mの属性により、商品マス.夕 6 2 0、タレントマス夕 6 3 0、楽曲名マスタ 64 0、広告主マスタ 6 5 0、マスタ CMコンテンツ特徴ファイル 6 6 0を対応するデ一夕で更新する（ステップ 3 1 1 ) 。

また、上記の実施例では、図 6、図 7に示すフローチャートに基づいて説明したが、図 6に示す動作をプログラムとして構築し、ォンェアキャブチヤ/探索装置で利用されるコンピュータに接続されるディスク装置や、フロッピ一ディスク、 CD— ROM等の可搬記 ' 憶媒体に格納しておき、本発明を実施する際に、当該オンエアキヤプチヤ Z探索装置で利用される P C (キヤプチヤ P C, 学習ァクテイブ探索 P C) にインストールすることにより、容易に本発明を実現できる。

上記の実施例では、 TV, FM/AM等の放送局からオンエアされている放送データをキヤプチヤして、認識 ·蓄積する処理を示したが、この例に限定されることなく、インタ一ネット等の通信ネットワークを介して伝送されたデータについても上記と同様の処理を適用することが可能である。

なお、上記の実施例において、楽曲では 7. 5秒間隔、 CMでは、 8秒間隔で特徴化する例を示しているがこれは一例であ、これに限定されるものではない。

[第 3の実施の形態に対応する具体例（第 3の具体例）]

次に、楽曲、 CMをキヤプチヤすることにより第 1の実施例のようにプレイリストを作成するとともに、第 2の実施例のようにコンテンッ作成部におけるデータを登録する例について説明する。

図 1 6に第 3の具体例におけるシステム構成を示す。

同図に示すように、第 3の具体例における楽曲 CM認識システムは、放送内容をキヤプチヤし、楽曲及び CMの探索を行うオンエアキヤプチャ部/探索装置 7 0 0、コンテンッ情報 D Bを作成するコンテンッ作成装置 8 0 0、探索結果ファイルとコンテンツ情報 D B とから時系列プレイリストを作成するとともに、新たに確認された楽曲や CMの属性情報をコンテンツ作成装置 8 0 0に登録する楽曲 • CM確認ノ登録装置 9 0 0とを有する。

オンエアキヤプチャ Z探索装置 7 0 0は、オンエアキヤプチャ部 7 1 0、探索部 7 2 0、楽曲 * CM抽出ファイル 7 3 0、放送特徴ファイル 740、探索結果ファイル 7 5 0、楽曲， CM未抽出ファィル 7 6 0、楽曲 · CM未検出ファイル 7 7 0、コンテンッ特徵フアイル作成部 7 8 0を有する。また、コンテンツ作成装置はコンテンッ作成部 8 1 0、コンテンツ特徵ファイル 8 2 0、コンテンツ情報 D B '8 3 0を有する。

図 1 7は図 1 6に示すシステムの動作概要を示すフローチヤ一トである。図 1 7を参照して動作概要を説明する。

まず、コンテンツ作成装置 80 0において、楽曲、 CMの特徴を抽出してコンテンツ特徴ファイルとして蓄積しておく（ステップ 4 0 1 ) 。オンエアキヤプチヤノ探索装置 7 0 0において、オンエアキヤプチャ部 7 1 0が楽曲、 CMを含む放送コンテンツをキヤプチャし AV I ファイル、 WAVファイル等と.して蓄積するとともに、コンテンツの特徴を抽出して放送特徴ファイル 7 40に蓄積する（ステップ 40 2 ) 。次に、コンテンッ特徴ファイル 8 2 0と放送特徵ファイル 7 40とを用いて楽曲、 CMを探索する（ステップ 40 3) 。そして、楽曲又は CMが判明した場合には、楽曲又は CMに関する情報を探索結果ファイルに蓄積し（ステップ 4 04) 、時系列プレイリストを作成する (ステップ 40 5 ) 。楽曲又は CMが判明しな"場合には、楽曲又は CMが判明しなかった特徴データ等を楽曲 · CM未抽出ファイルに蓄積し（ステップ 4 0 6 ) 、当該楽曲、 CMに対応するコンテンツ特徴ファイルを作成してコンテンツ作成装置 8 0 0におけるコンテンツ特徴ファイル 8 20に自動的に登録する（ステップ 40 7 ) 。次に、図 1 8に示すオンエアキヤプチャ部/探索装置 7 0 0における処理のフロ一チャートを用いて上記の処理をより詳細に説明する。

図 1 8に示すように、本実施例におけるオンエアキヤプチャ部ノ探索装置 7 0 0における処理は、楽曲、 .CMの探索を行う処理系 1 、楽曲検出、楽曲の判別、蓄積を行う処理系 2、 CMの検出、蓄積を行う処理系 3に分けることができる。

処理系 2では、第 1の実施例と同様にして、放送内容が楽曲か否かを判定し、楽曲抽出ファイルを作成するとともに楽曲データを W A Vファイル等として蓄積する（ステップ 5 0 1〜 5 0 3 ) 。図 1 9に楽曲データの蓄積方法を示す。このように、楽曲と判定された部分を 7. 5秒ごとに蓄積する。

処理系 3では、第 2の実施例と同様にして、放送におけるカット点を検出することにより CM抽出ファイルを作成するとともに CM データを A V I ファイル等として蓄積しておく（ステップ 5 1 1〜 5 1 3 ) 。図 2 0にその様子を示す。このように、力ット点の間の CM部分を蓄積する。

なお、 CM抽出ファイルとは、楽曲における楽曲抽出ファイルと同様のものであり、 CMである旨とその時間が記録される。

処理系 1においては、楽曲に関しては第 1の実施例と同様にして、また、 CMに関しては第 2の実施例と同様にして、特徴の抽出、楽曲又は CMの探索が行われる（ステップ 5 2 1、 5 2 2 ) 。

楽曲又は CMの名前が判明した場合には、探索結果ファイル 7 5 0を作成する（ステップ 5 2 3 ) 。楽曲又は CMの名前が判明しない場合には楽曲、 CM未抽出ファイルに当該データを格納し（ステップ 5 2 4) 、当該データを用いて自動的にコンテンツ特徴フアイルを作成し（ステップ 5 2 5 ) 、コンテンツ特徴ファイル 5 2 0に仮登録する。

図 2 1に、楽曲 · CM未抽出ファイルからコンテンツ特徴フアイルを作成する処理を示す。このように、楽曲 ' CM未抽出ファイルにおけるデータに対応する楽曲、 CMのデータファイル（AV I又は WAV) からコンテンツ特徴ファイルを作成する。

また、第 1の実施例と同様に、楽曲 · CM未抽出ファイルと楽曲 · CM抽出ファイル等とから楽曲 · CM未検出ファイルを作成し（ステップ 5 2 6 ) 、オペレータが楽曲、 CMを確認し、確認された楽曲、 CMにより時系列プレイリストの補完を行う（ステップ 5 2 7 ) 。更に、確認の結果を用いてコンテンツ作成装置における各種データベースの更新を行い（TAZファイルと曲名、アーティスト名などとの紐付けを行う）、これにより仮登録したコンテンツ特徵ファイルを正式に登録する（ステップ 5 2 8 ) 。

このような処理を行うことにより、時系列プレイリストの作成を行いながら、時系列プレイリストの作成の基となるコンテンツ特徴ファイルのデータ追加、及び楽曲や CMに関連する情報の登録を行うことが可能となる。

上述のように、リアルタイムで楽曲を認識する本発明によれば、オンエアの放送デ一夕（CMに利用される楽曲等）を 7. 5秒間隔でディジタル化して特徴化し、予め用意された楽曲のコンテンツ特徴ファイルと照合し、放送された時刻情報共に楽曲名を記憶装置上に時系列リストとして蓄積することが可能となる。これにより、楽曲名、アーティスト名、番組（CM) 、クライアント、商品、タレント、 C D情報等の時刻別プレイリストを取得でき、意味のある情報結果を取得することができる。この情報を対象販売ターゲットによりマーケティング情報などに活用することができる。

なお、 7. 5秒間隔でディジタル化し特徴化するのは、一般的に CMの放送時間が現行最小 1 5秒であるため、探索を確実に行うためにその半分の時間をとつたものである。従って、コンテンツの種類によりディジタル化間隔時間を 7. 5秒ではなく他の値に変更することも有効である。また、本発明によれば、従来、人手で行われていた C Mモニタリング作業をリアルタイムに自動認識することが可能となり、夕グ情報や透かし情報が無くてもリアルタイムに T V及び F M / A Mでォンエアされた C Mデータを登録することができる。そして、この C Mデータは時系列プレイリストの作成に用いることが可能となる。また、本発明によれば、時系列プレイリストの作成の過程で、楽曲名等が判明しなかったデータを自動的にコンテンツ作成装置に登録することができるので、コンテンッ作成装置におけるデータべ一スのデ一夕を充実させることができ、より精度の高い時系列プレイリストを作成することが可能となる。

なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内で種々変更 ·応用が可能である。

Claims

請求の範囲

1 . 受信したデータからコンテンッのプレイリストを作成するプレイリスト作成方法において、

前記受信したデー夕の特徴を抽出し、データ特徴ファイルに蓄積するステップと、

前記コンテンツ特徴ファイルのデータと前記データ特徴ファイルのデータとを照合することによりコンテンッを探索するステツプと前記コンテンッ特徴ファイルのデータと前記データ特徴ファイルのデータが一致したら、該デ一夕に対応するデータを探索結果ファィルとして蓄積するステップと、

前記探索結果ファイルと前記コンテンツ情報 D Bとから該コンテンッのプレイリス卜を作成するステップと、

を有することを特徴とするプレイリス卜作成方法。

2 . 前記探索するステップにおいて、前記データ特徴ファイルにおけるあるデータが前記コンテンッ特徴ファイルに含まれていない場合に、該データを前記コンテンッ特徴ファイルに登録するステツプを更に有する請求項 1に記載のプレイリスト作成方法。

3 . 前記コンテンッ特徴ファイルに含まれていなかったデ一夕に対応するコンテンッを人間が視聴できるようにするステップと、' 該コンテンッに関連する情報を前記コンテンッ情報 D Bに登録するステップと

を更に有する請求項 2に記載のプレイリスト作成方法。

4 . 前記探索するステップにおいて、前記データ特徴ファイルにおけるあるデータが前記コンテンッ特徴ファイルに含まれていない場合に、該デ一夕に対応するコンテンツを人間が視聴できるようにするステップと、

該コンテンツを該コンテンッに関連する情報とともに前記プレイリストに追加するステツプと

を有する請求項 1に記載のプレイリスト作成方法。

5 . 受信したデータから楽曲を認識する楽曲認識方法において、予め、楽曲コンテンツの特徴を抽出して、コンテンツ特徴フアイルに蓄積するステップと、 '

前記受信したデ一夕の特徴を抽出し、放送特徴フアイルに蓄積するステップと、

前記コンテンツ特徵ファイルと前記放送特徴ファイルのデータを照合することにより楽曲を探索するステップと、 - 楽曲名が判明したら、該楽曲名を探索結果ファイルとして蓄積するステップと、 - 前記探索結果ファイルから楽曲の時系列プレイリストを作成するステップと

を有することを特徴とする楽曲認識方法。

6 - 前記受信したデータが楽曲か否かを判定するステップと、楽曲である場合にはそのデ一夕が楽曲である旨とそのデータを受信した時刻とを楽曲抽出ファイルに蓄積するステップと、

前記楽曲を探索するステップにおいて、前記放送特徴ファイルのあるデータの楽曲名が判明しなかった場合にはそのデータを楽曲名未抽出ファイルに蓄積するステツプと、

前記放送特徴ファイルと前記楽曲抽出ファイルと前記楽曲名未抽出ファイルとから楽曲未検出ファイルを作成するステツプとを更に有する請求項 5に記載の楽曲認識方法。

7 . 前記楽曲未検出ファイルに記録された楽曲を人間が聞くことができるようにするステップと、

該楽曲未検出ファイルに記録された楽曲に関する楽曲名と時刻とを前記プレイリストに追加するステップと

を更に有する請求項 6に記載の楽曲認識方法。

8 . 前記探索結果ファイルと、楽曲名と関連付けられた情報を有するコンテンツ情報 D Bとを用いて前記時系列プレイリストを作成し、

該時系列プレイリストは、時刻、該時刻に放送された楽曲名、及び該楽曲名と関連する情報を有する請求項 5に記載の楽曲認識方法

9 . 複数の地域で放送データを受信し、各地域で受信したデータをセンタシステムに送信し、該センタ装置において前記楽曲認識方法により前記時系列プレイリストを作成する請求項 5に記載の楽曲認識方法。

1 0 . 受信したデ一夕から楽曲を認識する楽曲認識方法において予め、楽曲コンテンツの特徴を抽出して、コンテンツ特徴フアイルに蓄積するステツプと、

複数の地域で放送のデータを受信するステツプと、

各地域において、受信したデータの特徴を抽出し、放送特徴ファィルのデータとしてセン夕システムに送信するステツプと、該センタシステムにおいて、前記コンテンツ特徴ファイルと前記放送特徴ファイルのデータを照合することにより楽曲を探索するステツプと、

前記探索結果ファイルから楽曲の時系列プレイリストを作成するステップと '

を有することを特徴とする楽曲認識方法。

1 1 . 前記コンテンツ情報 D B及び前記楽曲名と関連する情報は C Mに関する情報を含み、前記コンテンッ情報 D Bにおける該 CMに関する情報は、 CM認識方法により前記コンテンッ情報 D Bに予め登録され、該 CM認識方法は、

受信したデ一夕から CMデータを検出するステップと、前記 CMデータの特徴を抽出し、放送特徴ファイルに蓄積するステツプと、

前記放送特徴ファイルと予め C Mコンテンツの特徴が格納されているマス夕 CMコンテンッ特徴ファイルとのデータの照合を行うステツプと、、

放送特徴ファイルにおけるデ一夕がマスタ CMコンテンツ特徴フアイルにない場合には、該データを新たな C Mとして前記コンテンッ情報 D Bに含まれるマスタ CMコンテンッ特徴ファイルに登録するステップと '

を有することを特徴とする請求項 8'に記載の楽曲認識方法。

1 2. 受信したデータから CMを認識し、認識された CMデータを蓄積するための CM認識方法において、

受信したデータから CMデータを検出するステップと、前記 CMデータの特徴を抽出し、放送特徴ファイルに蓄積するステツプと、

前記放送特徴ファイルと予め CMコンテンッの特徴が格納されているマスタ CMコンテンツ特徴ファイルとのデータの照合を行うステツプと、

放送特徴ファイルにおけるデータがマスタ CMコンテンツ特徴フアイルにない場合には、該データを新たな CMとしてマスタ CMコンテンッ特徴ファイルに登録す ^:るステツプと

を有することを特徴とする CM認識方法。

1 3. 前記受信したデータから CMデータを検出するステップは、 CMデータの開始点及び終了点を検出するステツプを有し、前記 CMデータの特徴を抽出する際に、検出された前記 CMデ一夕の前記開始点と前記終了点の中心から該開始点及び該終了点への均等の長さ部分を取り出した一定長部分を特徴化する請求項 1 2記載の C M認識方法。

1 4 . 前記データの照合の結果により、マスタ C Mコンテンツ特徵ファイルになかった C Mデータを表示するステップと、

該 C Mデータに関連する情報をマスタ C Mコンテンツ特徴フアイルを含む C M管理データべ一ス群の各データベースに登録するステップと

を更に有する請求項 1 2に記載の C M認識方法。

1 5 . 受信したデ一夕からコンテンツのプレイリストを作成するプレイリスト作成システムにおいて、

予めコンテンツの特徴を蓄積したコンテンツ特徴ファイルのデ一夕と、コンテンッに関連する情報を蓄積したコンテンツ情報 D Bのデ一夕を取得する手段と、

受信したデ一夕の特徴を抽出し、.データ特徴ファイルに蓄積する手段と、

' 前記コンテンツ特徴ファイルのデータと前記データ特徴ファイルのデータとを照合することによりコンテンッを探索する手段と、前記コンテンッ特徴ファイルのデータと前記データ特徴ファイルのデータが一致したら、該データに対応するデータを探索結果ファィルとして蓄積する手段と、

前記探索結果ファイルと、前記コンテンツ情報 D Bとから該所定の種類のコンテンツのプレイリストを作成する手段と、

を有することを特徴とするプレイリスト作成システム。

1 6 . 前記探索する手段において、前記データ特徴ファイルにおけるあるデータが前記コンテンツ特徴ファイルに含まれていない場合に、該データを前記コンテンッ特徴ファイルに登録する手段を更に有する請求項 1 5に記載のプレイリスト作成システム。

1 7 . 前記コンテンツ特徴ファイルに含まれていなかったデータに対応するコンテンッを人間が視聴できるようにする手段と、該コンテンッに関連する情報を前記コンテンツ情報 D Bに登録する手段と

を更に有する請求項 1 6に記載のプレイリスト作成システム。

1 8 . 前記探索する手段において、前記データ特徴ファイルにおけるあるデータが前記コンテンツ特徴ファイルに含まれていない場合に、該デ一夕に対応するコンテンツを人間が視聴できるようにする手段と、

該コンテンツを該コンテンツに関連する情報とともに前記プレイリストに追加する手段と .

を更に有する請求項 1 5に記載のプレイリスト作成システム。 · 1 9 . 受信したデ一夕から楽曲を認識する楽曲認識システムにおいて、

楽曲コンテンツの特徴を蓄積したコンテンツ特徴フアイルのデ一タを取得する手段と、

前記受信したデータの特徴を抽出し、放送特徴フアイルに蓄積する手段と、

前記コンテンツ特徴ファイルと前記放送特徴ファイルのデータを照合することにより楽曲を探索する手段と、

楽曲名が判明したら、該楽曲名を探索結果ファイルとして蓄積する手段と、

前記探索結果ファイルから楽曲の時系列プレイリストを作成する手段と '

を有することを特徴とする楽曲認識システム。

2 0 . 前記受信したデータが楽曲か否かを判定する手段と、楽曲である場合にはそのデータが楽曲である旨とそのデ一夕を受信した時刻とを楽曲抽出ファィルに蓄積する手段と、

前記楽曲を探索する手段において、前記放送特徴ファイルのあるデータの楽曲名が判明しなかった場合にはそのデ一夕を楽曲名未抽出ファイルに蓄積する手段と、 ' 前記放送特徴ファイルと前記楽曲抽出ファイルと前記楽曲名未抽出ファイルとから楽曲未検出ファイルを作成する手段と

を更に有する請求項 1 9に記載の楽曲認識システム。

2 1 . 前記楽曲未検出ファイルに記録された楽曲を人間が聞くことができるようにする手段と、

該楽曲未検出ファイルに記録された楽曲に関する楽曲名と時刻とを前記プレイリス卜に追加するステップと

を更に有する請求項 2 0に記載の楽曲認識システム。

2 2 . 楽曲名と関連付けられた情報を有するコンテ.ンッ情報 D B からデータを取得する手段と、

前記探索結果ファイルとコンテンツ情報 D Bのデータとを用いて前記時系列プレイリストを作成する手段とを有し、

該時系列プレイリストは、時刻、該時刻に放送された楽曲名、及び該楽曲名と関連する情報を有する請求項 1 9に記載の楽曲認識シスァ

2 3 . 受信したデータから楽曲を認識する楽曲認識システムにおいて、

放送データを受信する装置を複数.の地域に備え、

各地域の装置から各地域で受信したデータを受信するセン夕システムを備え、該センタシステムは、

楽曲コンテンツの特徴を蓄積したコンテンツ特徴ファイルのデー夕を取得する手段と、

前記受信したデータの特徴を抽出し、放送特徴ファイルに蓄積する手段と、

前記コンテンッ特徴ファイルと前記放送特徴ファイルのデータを照合することにより楽曲を探索する手段と、

楽曲名が判明したら、該楽曲名を探索結果ファイルとして蓄積する手段と、前記探索結果ファイルから楽曲の時系列プレイリストを作成する手段と

を有することを特徴とする楽曲認識システム。

2 4 . 受信したデータから楽曲を認識する楽曲認識システムにおいて、 - 放送データを受信し、該放送データの特徴を抽出する装置を複数の地域に備え、

各地域の装置から各地域で受信した放送データの特徴データを放送特徴ファイルとして受信するセン夕システムを備え、該センタシステムは、 '

楽曲コンテンツの特徴を蓄積したコンテンツ特徴ファイルのデータを取得する手段と、

前記探索結果ファイルから楽曲の時系列プレイリストを作成する手段と

を有することを特徴とする楽曲認識システム。

2 5 . 受信したデータから C Mを認識し、認識された C Mデータを蓄積するための C M認識システムにおいて、

受信したデータから C Mデータを検出する手段と、

前記 C Mデータの特徴を抽出し、放送特徴ファイルに蓄積する手段と、

前記放送特徴ファイルと予め C Mコンテンツの特徴が格納されているマスタ C Mコンテンツ特徴ファイルとのデータの照合を行う手段と、

放送特徴ファイルにおけるデータがマスタ C Mコンテンツ特徴フアイルにない場合には、該デ一夕を新たな C Mとしてマス夕 C Mコンテンッ特徵ファイルに登録する手段と

を有することを特徵とする C M認識システム。

2 6 . 前記受信したデータから C Mデータを検出する手段は、 C Mデータの開始点及び終了点を検出する手段を有し、

前記 C Mデータの特徴を抽出する際に、検出された前記 C Mデ一夕の前記開始点と前記終了点の中心から該開始点及び該終了点への均等の長さ部分を取り出した一定長部分を特徴化する請求項 2 5記載の C M認識システム。

, 2 7 . 前記データの照合の結果により、マス夕 C Mコンテンツ特徵ファイルになかった C Mデータを表示する手段と、

該 C Mデータに関連する情報をマスタ C Mコンテンッ特徴フアイルを含む C M管理データベース群の各データベースに登録する手段と

を更に有する請求項 2 5に記載の C M 識システム。

2 8 . 受信したデータからコンテンツのプレイリストを作成する処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、

受信したデータの特徴を抽出し、データ特徴ファイルに蓄積する手順と、

前記コンテンツの特徴を蓄積したコンテンツ特徵ファイルのデ一夕を取得し、該データと前記デ一夕特徴ファイルのデータを照合することによりコンテンッを探索する手順と、

前記コンテンッ特徴ファイルのデータと前記データ特徴ファイルのデータが一致したら、該データに対応するデータを探索結果ファィルとして蓄積する手順と、

前記探索結果.ファイルと、コンテンッに関連する情報を蓄積したコンテンツ情報 D Bとから該コンテンツのプレイリストを作成する手順と

をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。

2 9 . 前記データ特徴ファイルにおけるあるデータが前記コンテンッ特徴ファイルに含まれていない場合に、該データを前記コンテンッ特徴ファイルに登録する手順を更に有する請求項 2 8に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

3 0 . 前記コンテンツ特徴ファイルに含まれていなかったデータに対応するコンテンツを人間が視聴できるようにする手順と、該コンテンッに関連する情報を前記コンテンツ情報 D Bに登録する手順と

· を更に有する請求項 2 9に記載のプログラムを記録したコンビュ一夕読み取り可能な記録媒体。

3 1 . 前記データ特徴ファイルにおけるあるデータが前記コンテンッ特徴ファイルに含まれていない場合に、該デ一夕に対応するコンテンッを人間が視聴できるようにする手順と、

該コンテンツを該コンテンッに関連する情報とともに前記プレイリストに追加する手順と

を更に有する請求項 2 8に記載のプログラムを記録したコンビュ一夕読み取り可能な記録媒体。

3 2 . 受信したデータから楽曲を認識する処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、

前記受信したデータの特徴を抽出し、放送特徴ファイルに蓄積する手順と、

楽曲コンテンツの特徴を蓄積したコンテンツ特徴ファイルと前記放送特徴ファイルのデータを照合することにより楽曲を探索する手順と、

楽曲名が判明したら、該楽曲の特徴を探索結果ファイルとして蓄積する手順と、

前 to探索結果ファイルから楽曲の時系列プレイリストを作成する手順と

3 3 . 前記受信したデータが楽曲か否かを判定する手順と、

楽曲である場合にはそのデータが楽曲である旨とそのデータを受信した時刻とを楽曲抽出ファイルに蓄積する手順と、

前記楽曲を探索する手順において、前記放送特徴ファイルのあるデータの楽曲名が判明しなかつた場合にはそのデータを楽曲名未抽出ファイルに蓄積する手順と、

前記放送特徴ファイルと前記楽曲抽出ファイルと前記楽曲名未抽出ファイルとから楽曲未検出ファイルを作成する手順と

を更に有する請求項 3 2に記載のプログラムを記録したコンピュ一夕読み取り可能な記録媒体。

3 4 . 前記楽曲未検出ファイルに記録された楽曲を人間が聞くことができるようにする手順と、

該楽曲未検出ファイルに記録された楽曲に関する楽曲名と時刻とを前記プレイリストに追加するステツプと

を更に有する請求項 3 3に記載のプログラムを記録したコンピュ一夕読み取り可能な記録媒体。

3 5 . 楽曲名と関連付けられた情報を有するコンテンツ情報 D B からデータを取得する手順と、

前記探索結果ファイルとコンテンツ情報 D Bのデ一夕とを用いて. 前記時系列プレイリストを作成する手順とを有し、

該時系列プレイリストは、時刻、該時刻に放送された楽曲名、及び該楽曲名と関連する情報を有する請求項 3 2に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

3 6 . 受信したデ一夕から楽曲を認識する処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、各地域の装置から各地域で受信した放送データの特徴デ一夕を放送特徴ファイルとして受信する手順と、

楽曲コンテンツの特徴を蓄積したコンテンツ特徵ファイルのデー夕と前記放送特徴ファイルのデータを照合することにより楽曲を探索する手順と、

楽曲名が判明したら、該楽曲名を探索結果ファイルとして蓄積する手順と、

前記探索結果ファイルから楽曲の時系列プレイリストを作成する手順と

3 7 . 受信したデータから C Mを認識し、認識された C Mデータを蓄積する処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、

受信したデータから C Mデータを検出する手順と、

前記 C Mデータの特徴を抽出し、放送特徴ファイルに蓄積する手順と、

前記放送特徴ファイルと予め C Mコンテンッの特徴が格納されているマスタ C Mコンテンツ特徴ファイルとのデータの照合を行う手順と、

放送特徴ファイルにおけるデータがマス夕 C Mコンテンツ特徴フアイルにない場合には、該データを新たな C Mとしてマスタ C Mコンテンッ特徴ファイルに登録する手順と

をコンピュー夕に実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。

3 8 . 前記受信したデータから C Mデ一夕を検出する手順は、 C Mデータの開始点及び終了点を検出する手順を有し、

前記 C Mデータの特徴を抽出する際に、検出された前記 C Mデ一夕の前記開始点と前記終了点の中心から該開始点及び該終了点への均等の長さ部分を取り出した一定長部分を特徴化する請求項 3 7記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。 3 9. 前記データの照合の結果により、マスタ CMコンテンツ特徵ファイルになかった CMデータを表示する手順と、

'該 CMデータに関連する情報をマスタ CMコンテンツ特徴フアイルを含む CM管理データべ一ス群の各データベースに登録する手順と

を更に有する請求項 3 7に記載のプログラムを記録したコンピュ一夕読み取り可能な記録媒体。

.