JP4162691B2 - 番組構造化装置、番組構造化方法およびプログラム - Google Patents

Description

本発明は、番組構造化装置、番組構造化方法およびプログラムに関する。

近年、ブロードバンドの普及などにより、デジタルコンテンツの流通量が増大しつつある。そこで、このように流通量が増大しつつあるデジタルコンテンツに対し、メタデータを付加してコンピュータで効率よく管理・処理しようということが考えられている。

例えば映像コンテンツの場合、時系列に対して「ここから次のコーナー」といったメタデータが付加されていればシーンの頭出しや検索が容易となり、利用者の利便性が向上する。一般には、映画のシーンの区切り情報などのように、コンテンツ提供者がメタデータによって映像コンテンツを複数のチャプタに予め分割しておくといった手法がとられている。しかしながら、コンテンツに対して適切なメタデータを全て付加することは、コンテンツ提供者側の負担が大きいものとなってしまう。

また、近年においては、プレイリスト作成機能を備えるＨＤＤレコーダなどを利用することにより、個々のユーザ（視聴者）が映像コンテンツの時系列に対してメタデータを付加することにより、プレイリストを作成することが行なわれている。さらに、特許文献１には、ユーザによるメタデータ付加の技術が提案されている。特許文献１に記載の技術によれば、個々のユーザ（視聴者）が作成したメタデータを公開し、公開されたメタデータを多数のユーザ（視聴者）が共有することができる。

しかしながら、特許文献１に記載の技術によれば、個々のユーザ（視聴者）が作成したメタデータを共有して利用することになるため、共有している全てのメタデータがコンテンツに応じた適切なチャプタ分割になっているとは限らない。

一方、近年においては、コンテンツ提供者やユーザによるチャプタ分割ではなく、コンテンツ自体の情報から自動的にメタデータを抽出してチャプタ分割を行う方法として、以下のようなものが提案されている。
（１）映像コンテンツの音声情報からメタデータを抽出する方法。
（２）映像コンテンツから抽出した字幕などのテキスト情報、あるいは映像の台本に含まれるテキスト情報などからメタデータを抽出する方法。
（３）映像コンテンツから抽出したカメラ切替情報などの画像情報からメタデータを抽出する方法。

特開２００４−１９３８７１号公報

ところが、前述したようなコンテンツ自体の情報から自動的にメタデータを抽出する方法においては、解決しなければならない問題がある。

第１に、映像コンテンツの音声情報を利用する場合には、歓声の大きさなどから「盛り上がったシーン」のような抽象的なシーンを、あるいは特徴的なキーワードから大まかなシーンを抽出することはできるが、現状の音声認識の精度はあまり高くないために細かなシーンを抽出することができないという問題がある。また、無音区間のシーン情報を抽出することができないという問題がある。

第２に、映像コンテンツのテキスト情報を利用する場合には、出現する単語の推移に基づいて話題の推移を推定することでシーンを抽出することはできるが、字幕や台本などのテキスト情報がないコンテンツに対して適用することができないという問題がある。シーン抽出のためにテキスト情報を付加することも考えられるが、シーン抽出のためにテキスト情報を付加しなければならないのであれば、初めからコンテンツのメタデータとしてシーン情報を付加する方が効率的である。

第３に、映像コンテンツのカメラ切替情報を利用する場合には、カメラ切替情報は非常にプリミティブな区間を表しているので、シーンの粒度としては細かすぎるという問題がある。クイズ番組やニュース番組のようにカメラ切替情報の典型的なシーケンスが存在する場合はそれらのシーケンスをまとめることで適切な粒度のシーンを抽出することができるが、すべての番組に対して適用できるわけではない。さらには、シーンのチャプタ分割の粒度が適切でない場合には、ユーザの利便性が損なわれるという問題もある。具体的には、
・シーンのチャプタ分割の粒度が粗すぎる場合においては、目的のシーンに到達するまでに早送り操作が必要となる、あるいはスキップ操作によって目的のシーンまでもスキップしてしまう。
・一方、シーンのチャプタ分割の粒度が細かすぎる場合においては、目的のシーンに到達するまでに何度もスキップ操作が必要となる。
などが挙げられる。加えて、同一コンテンツであっても、ユーザがそのコンテンツをどのような観点で視聴するかによってコンテンツに含まれるシーンの粒度が変化するため、シーンの適切なチャプタ分割の粒度を決定することは困難である。

本発明は、上記に鑑みてなされたものであって、例えばＴＶ放送やＤＶＤなどの時系列が定義された映像コンテンツの構造に応じた適切な目的のシーンの頭出しや検索を容易に行なえることができる番組構造化装置、番組構造化方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の番組構造化装置は、時系列が定義されたコンテンツに対するプレイリストを収集するプレイリスト収集手段と、このプレイリスト収集手段により収集された前記プレイリストに出現する前記コンテンツにおける番組構造の切れ目である個々のカット点について、各々の出現頻度を対応付けて格納する第１の格納部と、前記第１の格納部に格納された前記各カット点に基づくシーン区間同士の関連性の強さを前記各カット点に対応付けられた前記出現頻度から計算する計算手段と、この計算手段で計算されたシーン区間の関連度に基づいて区分的なチャプタ分割を抽出する抽出手段と、この抽出手段で抽出した区分的なチャプタ分割をツリー状に構造化して格納する第２の格納部と、を備える。

また、本発明の番組構造化方法は、時系列が定義されたコンテンツに対するプレイリストに出現する前記コンテンツにおける番組構造の切れ目である個々のカット点から前記コンテンツに含まれるシーン区間を抽出し、前記カット点の出現する頻度から前記シーン区間同士の関連性の強さを判定し、関連性の強いシーン区間のまとまりとしてのチャプタ分割を区分的に抽出し、抽出した区分的なチャプタ分割をツリー状に構造化する。

また、本発明のプログラムは、時系列が定義されたコンテンツに対するプレイリストを収集するプレイリスト収集機能と、このプレイリスト収集機能により収集された前記プレイリストに出現する前記コンテンツにおける番組構造の切れ目である個々のカット点について、各々の出現頻度を対応付けて第１の格納部に格納する機能と、前記第１の格納部に格納された前記各カット点に基づくシーン区間同士の関連性の強さを前記各カット点に対応付けられた前記出現頻度から計算する計算機能と、この計算機能で計算されたシーン区間の関連度に基づいて区分的なチャプタ分割を抽出する抽出機能と、この抽出機能で抽出した区分的なチャプタ分割をツリー状に構造化して第２の格納部に格納する機能と、をコンピュータに実行させる。

本発明によれば、例えばＴＶ放送やＤＶＤなどの時系列が定義された映像コンテンツの構造に応じた適切な目的のシーンの頭出しや検索を容易に行なえることができる、という効果を奏する。

以下に添付図面を参照して、この発明にかかる番組構造化装置、番組構造化方法およびプログラムの最良な実施の形態を詳細に説明する。

本発明の実施の一形態を図１ないし図２５に基づいて説明する。図１は、本発明の実施の一形態にかかる番組構造化システムの構成を示すシステム構成図である。図１に示すように、番組構造化システム１００は、番組構造化装置１に対して、ＩＰ（Internet Protocol）を利用したインターネットなどのネットワーク２０を介してＨＤＤレコーダやパーソナルコンピュータであるプレイリスト作成装置３０が複数台接続されたシステムを想定する。なお、実際には、番組構造化装置１やプレイリスト作成装置３０は、より多く存在しているが、図１では説明を簡素化するために、１台の番組構造化装置１と３台のプレイリスト作成装置３０とを示している。

プレイリスト作成装置３０は、各種の映像コンテンツを格納するコンテンツ格納部３１と、このコンテンツ格納部３１に格納されている映像コンテンツに対して周知のプレイリスト作成機能を発揮するプレイリスト作成部３２と、このプレイリスト作成部３２により作成されたプレイリストを格納するプレイリスト格納部３３と、コンテンツ格納部３１に格納されている映像コンテンツに対して映画のシーンの区切り情報などのようなメタデータによる複数のチャプタ分割を施すコンテンツ操作部３４とを備えている。プレイリスト作成部３２におけるプレイリスト作成機能は、例えばコンテンツ格納部３１に格納されている映像コンテンツの中から自分の好きなコンテンツを好きな順番で再生するプレイリストを作り、登録・管理できる機能である。なお、プレイリスト作成機能は各種のＨＤＤレコーダやパーソナルコンピュータに既に搭載されているため、その詳細な説明は省略する。なお、プレイリスト作成装置３０は、各種の映像コンテンツを格納するコンテンツ格納部３１を備えていることから、コンテンツ格納装置としても機能する。

一方、番組構造化装置１は、概略的には、プレイリスト作成装置３０においてコンテンツに対して作成されたプレイリストをネットワーク２０を通じて収集し、プレイリストに出現するカット点からコンテンツに含まれるシーン区間の関連性の強さを判定し、番組構造化を実現する。

ここで、プレイリストに出現するカット点とは、詳細は後述するが、プレイリスト中のコンテンツにおける番組構造の切れ目である。図２は、コンテンツにおける番組構造の切れ目の例を時系列で示す模式図である。図２に示すコンテンツにおける番組構造の切れ目の例としては、「ＣＭ」「オープニング」「１問目問題ＶＴＲ」「タレントＡによる回答」「タレントＢによる回答」「タレントＣによる回答」「１問目正解ＶＴＲ」「ＣＭ」「２問目問題ＶＴＲ」・・・のようなものがある。

ここで、番組構造化装置１について詳述する。図３は、番組構造化装置１のハードウェア構成を示すブロック図である。図１に示すように、番組構造化装置１は、例えばパーソナルコンピュータであり、コンピュータの主要部であって各部を集中的に制御するＣＰＵ（Central Processing Unit）２を備えている。このＣＰＵ２には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）３と、各種データを書換え可能に記憶するＲＡＭ（Random Access Memory）４とがバス５で接続されている。

さらにバス５には、各種のプログラム等を格納するＨＤＤ（Hard Disk Drive）６と、配布されたプログラムであるコンピュータソフトウェアを読み取るための機構としてＣＤ（Compact Disc）−ＲＯＭ７を読み取るＣＤ−ＲＯＭドライブ８と、番組構造化装置１とネットワーク２０との通信を司る通信制御装置１０と、各種操作指示を行うキーボードやマウスなどの入力装置１１と、各種情報を表示するＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）などの表示装置１２とが、図示しないＩ／Ｏを介して接続されている。

ＲＡＭ４は、各種データを書換え可能に記憶する性質を有していることから、ＣＰＵ２の作業エリアとして機能してバッファ等の役割を果たす。

図１に示すＣＤ−ＲＯＭ７は、この発明の記憶媒体を実施するものであり、ＯＳ（Operating System）や各種のプログラムが記憶されている。ＣＰＵ２は、ＣＤ−ＲＯＭ７に記憶されているプログラムをＣＤ−ＲＯＭドライブ８で読み取り、ＨＤＤ６にインストールする。

なお、記憶媒体としては、ＣＤ−ＲＯＭ７のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク等、半導体メモリ等の各種方式のメディアを用いることができる。また、通信制御装置１０を介してインターネットなどのネットワーク２０からプログラムをダウンロードし、ＨＤＤ６にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Operating System）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。

このシステム全体の動作を制御するＣＰＵ２は、このシステムの主記憶として使用されるＨＤＤ６上にロードされたプログラムに基づいて各種処理を実行する。

次に、番組構造化装置１のＨＤＤ６にインストールされている各種のプログラムがＣＰＵ２に実行させる機能のうち、本実施の形態の番組構造化装置１が備える特長的な機能について説明する。

図１に示すように、番組構造化装置１は、番組構造化プログラムに従うことにより、プレイリスト収集手段として機能するプレイリスト収集部２１と、コンテンツ正規化手段として機能するコンテンツ正規化部２２と、カット点正規化手段として機能するカット点正規化部２３と、第１の格納部２４と、計算手段として機能する計算部２５と、抽出手段として機能する抽出部２６と、第２の格納部２７と、チャプタ分割配信手段として機能するチャプタ分割配信部２８とを備えている。

プレイリスト収集部２１は、ネットワーク２０上の各プレイリスト作成装置３０のプレイリスト格納部３３に格納されているプレイリストを収集する。

コンテンツ正規化部２２は、プレイリストが作成されたコンテンツの正規化処理を行なう。

カット点正規化部２３は、プレイリスト収集部２１で収集された個々のプレイリストに出現するカット点の正規化処理を行なう。より具体的には、カット点正規化部２３は、プレイリストに出現するカット点の時刻をコンテンツの時計のズレに応じて修正するという処理を行なう。ここで、プレイリストに出現するカット点とは、プレイリスト中のコンテンツにおける番組構造の切れ目である。例えば、ＣＭチャプタなどが該当する。このようにしてカット点正規化部２３で正規化されたカット点は、プレイリスト収集部２１で収集されたプレイリストに出現する個々のカット点についての出現頻度に対応付けられて第１の格納部２４に格納される。

計算部２５は、第１の格納部２４に格納されたカット点からシーン区間を抽出するとともに、抽出したシーン区間同士の関連性の強さをカット点の出現する頻度から計算する。

抽出部２６は、計算部２５で計算されたシーン区間関連度の区分的な閾値を計算するとともに、関連度が閾値を超えるシーン区間をまとめることで区分的なチャプタ分割を抽出し、抽出した区分的なチャプタ分割をツリー状に構造化する。このようにして抽出部２６で抽出された区分的なチャプタ分割は、ツリー状に構造化されて第２の格納部２７に格納される。

チャプタ分割配信部２８は、ネットワーク２０上の各プレイリスト作成装置３０のコンテンツ格納部３１に格納されているコンテンツに対応するチャプタ分割が第２の格納部２７に存在する場合に、そのチャプタ分割をネットワーク２０を通じてプレイリスト作成装置３０のコンテンツ格納部３１に配信する。

ここで、上述した番組構造化装置１が備える各部による番組構造化処理の流れについて、図４のフローチャートを参照しつつ簡単に説明する。図４に示すように、プレイリスト収集部２１によってネットワーク２０上の各プレイリスト作成装置３０のプレイリスト格納部３３に格納されているプレイリストを収集し（ステップＳ１）、コンテンツ正規化部２２によってプレイリストが作成されたコンテンツの正規化処理を行なうとともに（ステップＳ２）、プレイリスト収集部２１で収集された個々のプレイリストに出現するカット点の正規化処理を行なう（ステップＳ３）。次いで、計算部２５によって、正規化されたコンテンツ、カット点からシーン区間を抽出するとともに（ステップＳ４）、抽出したシーン区間同士の関連度を計算する（ステップＳ５）。続いて、抽出部２６によって、計算部２５で計算されたシーン区間関連度の区分的な閾値を計算するとともに（ステップＳ６）、関連度が閾値を超えるシーン区間をまとめることで区分的なチャプタ分割を抽出し（ステップＳ７）、抽出した区分的なチャプタ分割をツリー状に構造化する（ステップＳ８）。

以上が、番組構造化装置１が備える各部による番組構造化処理の概略的な流れである。以下においては、番組構造化装置１が備える各部による処理について詳述する。

まず、プレイリスト収集部２１におけるプレイリスト収集処理について説明する。図５は、プレイリスト収集処理の流れを示すフローチャートである。プレイリスト収集部２１におけるプレイリスト収集処理においては、まず、「プレイリスト作成装置Ｒ、コンテンツＣ、プレイリストＰ」の組からなるリストＬを初期化する（ステップＳ１１）。このリストＬは、後述するカット点の出現頻度の計算およびシーン区間同士の関連度の強さの計算における入力として用いられる。

続いて、ネットワーク２０を通じてプレイリスト作成装置３０（プレイリスト作成装置Ｒ）を検索し、１つずつ取得する（ステップＳ１２）。

図６は、プレイリスト作成装置３０が有している装置情報を示す模式図である。図６に示すように、例えば、ネットワーク２０上のプレイリスト作成装置３０の１つを示すプレイリスト作成装置Ｒ１は、型番Ａ０００のＨＤＤレコーダであり、製造番号は０００−０００１、ネットワーク２０上のＩＰアドレスは「ＸＸ．ＸＸ．ＸＸ．ＸＸ」であることを表している。

このようにしてプレイリスト作成装置Ｒが見つかった場合（ステップＳ１２のＹｅｓ）、プレイリスト作成装置Ｒのコンテンツ格納部３１に格納されているコンテンツを検索し、１つずつ取得する（ステップＳ１３）。

図７は、コンテンツ格納部３１に格納されているコンテンツ情報を示す模式図である。図７に示すように、例えば、コンテンツＣ１は、タイトルが「森の友達」であり、２００６年1月２３日１０：００−１１：３０にＡＡＡ放送で放送されたＴＶ放送であることを表している。

このようにしてプレイリスト作成装置Ｒ上にコンテンツＣが見つかった場合（ステップＳ１３のＹｅｓ）、コンテンツＣに対してプレイリスト作成装置Ｒ上で作成されてプレイリスト格納部３３に格納されているプレイリストを検索し、１つずつ取得する（ステップＳ１４）。一方、プレイリスト作成装置Ｒ上にコンテンツＣが見つからなかった場合には（ステップＳ１３のＮｏ）、ステップＳ１２に戻り、次のプレイリスト作成装置Ｒのコンテンツ格納部３１に格納されているコンテンツを検索する。

図８は、プレイリスト格納部３３に格納されているプレイリスト情報を示す模式図である。図８に示すように、例えば、プレイリストＰ１は、図２に示した番組構造の切れ目の例であるコンテンツＣ１（すなわちタイトルが「森の友達」であり、２００６年１月２３日１０：００−１１：３０にＡＡＡ放送で放送されたＴＶ放送）の、００：００：００から００：２５：００のシーン区間（オープニングと１問目）と００：３０：００から００：５５：００のシーン区間（２問目）からなるプレイリストであることを表している。なお、図８に示すように、人間がわかりやすいように、プレイリスト格納部３３に格納されているプレイリスト情報にシーンの説明が付加されていてもよいが、プレイリスト収集部２１は（プレイリスト識別子、コンテンツ識別子、シーン区間の列）だけを収集すればよく、シーンの説明を収集する必要はない。

このようにしてコンテンツＣに対するプレイリストＰが見つかった場合（ステップＳ１４のＹｅｓ）、各段階で取得したプレイリスト作成装置Ｒ、コンテンツＣ、プレイリストＰを組にしてリストＬに追加する（ステップＳ１５）。一方、コンテンツＣに対するプレイリストＰが見つからなかった場合には（ステップＳ１４のＮｏ）、ステップＳ１３に戻り、次のコンテンツＣに対するプレイリストＰを検索する。

以上のようなステップＳ１２〜Ｓ１５の処理は、ネットワーク２０上の全てのプレイリスト作成装置３０（プレイリスト作成装置Ｒ）についての処理が終了するまで（ステップＳ１２のＮｏ）、繰り返される。

ネットワーク２０上の全てのプレイリスト作成装置３０（プレイリスト作成装置Ｒ）についての処理が終了した場合には（ステップＳ１２のＮｏ）、作成したリストＬの出力を行なう（ステップＳ１６）。

次に、コンテンツ正規化部２２におけるコンテンツの正規化処理について説明する。概略的には、プレイリスト収集部２１によって収集されたリストＬはコンテンツ正規化部２２に投入され、コンテンツ正規化部２２はリストＬに含まれる全てのコンテンツについて正規化処理を行なう。より詳細には、コンテンツ正規化部２２は、リストＬに含まれる全てのコンテンツより物理的には異なるが論理的には同一であると考えられるコンテンツを探索し、これらのコンテンツに対して同一のコンテンツ識別子を新たに付加するという処理を行なう。論理的に同一であるかどうかの判定を行なう手段は、放送局と放送地域の対応表または放送番組と放送局と放送時間の対応表に基づいて行なう方法、プレイリストが作成されたプレイリスト作成装置３０に対し、コンテンツのモノラル・ステレオ、音量、映像の輝度などの特徴量の時間変化を問い合わせ、返ってきた特徴量の時間変化に基づいて行なう方法などが考えられる。以下ではこれらの方法を用いたコンテンツ正規化処理の例を説明する。

［１．対応表に基づいて行なう方法］
まず、放送局と放送地域の対応表および放送番組と放送局の放送時間の対応表に基づいて行なうコンテンツ正規化処理のフローチャートを図９に示す。図９に示すように、プレイリスト収集部２１から投入されたリストＬから、「プレイリスト作成装置Ｒ、コンテンツＣ、プレイリストＰ」の組を取得可能である場合には（ステップＳ２１のＹｅｓ）、放送局と放送地域の対応表から同一と考えられるコンテンツＣをコンテンツＣ’に統一するとともに（ステップＳ２２）、放送番組と放送局の放送時間の対応表から同一と考えられるコンテンツＣをコンテンツＣ’に統一する（ステップＳ２３）。以上の処理は、プレイリスト収集部２１から投入されたリストＬから、全ての「プレイリスト作成装置Ｒ、コンテンツＣ、プレイリストＰ」の組を取得したと判断されるまで（ステップＳ２１のＮｏ）、繰り返される。全ての「プレイリスト作成装置Ｒ、コンテンツＣ、プレイリストＰ」の組についての処理が終了した場合には（ステップＳ２１のＮｏ）、作成した「プレイリスト作成装置Ｒ、コンテンツＣ’、プレイリストＰ」の組のリストＬ’の出力を行なう（ステップＳ２４）。

例えば、図１０に示すような放送局と放送地域の対応表および放送番組と放送局の放送時間の対応表が予め与えられていた場合、ＡＡＡ放送とＡＡＣ放送が対応する放送局系列であることがわかるため、図７に示したコンテンツＣ１とコンテンツＣ５とが論理的に同一であると判定し、図７に示したコンテンツＣ１とコンテンツＣ５とに対してＣ１’という同一のコンテンツ識別子を付加することになる。なお、図７に示す例には表れていないが、番組の対応表から２００３年1月２５日１４：００−１５：３０にＡＡＢ放送で放送された「森の友達」というコンテンツも論理的に同一であると判定されることになる。

［２．コンテンツの特徴量の時間変化に基づいて行なう方法］
次に、プレイリストを作成したプレイリスト作成装置３０に対し、コンテンツのモノラル・ステレオ、音量、映像の輝度などの特徴量の時間変化を問い合わせ、返ってきた特徴量の時間変化に基づいて行なうコンテンツ正規化処理のフローチャートを図１１に示す。図１１に示すように、プレイリスト収集部２１から投入されたリストＬから、「プレイリスト作成装置Ｒ、コンテンツＣ、プレイリストＰ」の組を取得可能である場合には（ステップＳ３１のＹｅｓ）、プレイリスト作成装置３０（プレイリスト作成装置Ｒ）にコンテンツＣの特徴量（コンテンツのモノラル・ステレオ、音量、映像の輝度などの特徴量）の時間変化ｆ（ｔ）を問い合わせ（ステップＳ３２）、コンテンツの特徴量の時間変化ｆ（ｔ）から同一と考えられるコンテンツＣをコンテンツＣ’に統一する（ステップＳ３３）。以上の処理は、プレイリスト収集部２１から投入されたリストＬから、全ての「プレイリスト作成装置Ｒ、コンテンツＣ、プレイリストＰ」の組を取得したと判断されるまで（ステップＳ３１のＮｏ）、繰り返される。全ての「プレイリスト作成装置Ｒ、コンテンツＣ、プレイリストＰ」の組についての処理が終了した場合には（ステップＳ３１のＮｏ）、作成した「プレイリスト作成装置Ｒ、コンテンツＣ’、プレイリストＰ」の組のリストＬ’の出力を行なう（ステップＳ３４）。

例えば、プレイリスト作成装置Ｒ１〜Ｒ５上のコンテンツＣ１〜Ｃ５の音量の時間変化が図１２に示すように計算された場合、コンテンツＣ１とコンテンツＣ５は時間変化が全く同一であるため、論理的に同一であると判定し、コンテンツＣ１’という同一のコンテンツ識別子を付加することになる。

なお、時間変化が少ない特徴量ほど計算にかかるコストが少なくなるが、論理的に同一ではないコンテンツまで同一であると判定される可能性が高くなるため、複数の特徴量を組み合わせて判定するとよい。

次に、カット点正規化部２３におけるカット点の正規化処理について説明する。概略的には、コンテンツ正規化部２２によってコンテンツを正規化されたリストＬ’は引き続きカット点正規化部２３に投入され、カット点正規化部２３はリストＬ’に含まれる全てのプレイリストについて正規化処理を行なう。より詳細には、カット点正規化部２３は、リストＬ’に含まれるプレイリストに出現するカット点の時刻をコンテンツの時計のズレに応じて修正するという処理を行なう。コンテンツの時計のズレを検出する手段は、プレイリスト作成装置３０に現在時刻を問い合わせ、返ってきた時刻のズレに基づいて行なう方法、プレイリストが作成されたプレイリスト作成装置３０に対し、コンテンツのモノラル・ステレオ、音量、映像の輝度などの特徴量の時間変化を問い合わせ、返ってきた特徴量の時間変化に基づいて行なう方法などが考えられる。以下ではこれらの方法を用いたカット点正規化処理の例を説明する。

［１．プレイリスト作成装置の時刻のズレに基づいて行なう方法］
まず、プレイリスト作成装置３０の時計のズレを用いて行なうカット点正規化処理のフローチャートを図１３に示す。図１３に示すように、番組構造化装置１の現在時刻Ｔを取得し（ステップＳ４１）、コンテンツ正規化部２２から投入されたリストＬ’から、「プレイリスト作成装置Ｒ、コンテンツＣ’、プレイリストＰ」の組を取得可能である場合には（ステップＳ４２のＹｅｓ）、プレイリスト作成装置３０（プレイリスト作成装置Ｒ）に現在時刻ｔを問い合わせ（ステップＳ４３）、番組構造化装置１の現在時刻Ｔとプレイリスト作成装置３０（プレイリスト作成装置Ｒ）の現在時刻ｔのズレに応じてプレイリストＰに出現するカット点の時刻を修正する（ステップＳ４４）。以上の処理は、コンテンツ正規化部２２から投入されたリストＬ’から、全ての「プレイリスト作成装置Ｒ、コンテンツＣ’、プレイリストＰ」の組を取得したと判断されるまで（ステップＳ４２のＮｏ）、繰り返される。全ての「プレイリスト作成装置Ｒ、コンテンツＣ’、プレイリストＰ」の組についての処理が終了した場合には（ステップＳ４２のＮｏ）、作成した「プレイリスト作成装置Ｒ、コンテンツＣ’、プレイリストＰ’」の組のリストＬ’’の出力を行なう（ステップＳ４５）。

すなわち、こちらの場合には、カット点正規化部２３で取得した現在時刻Ｔとプレイリスト作成装置３０に問い合わせて取得した現在時刻ｔとのズレに応じて、プレイリストに出現するカット点の時刻のズレを修正すればよい。

［２．コンテンツの特徴量の時間変化に基づいて行なう方法］
次に、プレイリストを作成したプレイリスト作成装置３０に対し、コンテンツのモノラル・ステレオ、音量、映像の輝度などの特徴量の時間変化を問い合わせ、返ってきた特徴量の時間変化に基づいて行なうカット点正規化処理のフローチャートを図１４に示す。図１４に示すように、コンテンツ正規化部２２から投入されたリストＬ’から、「プレイリスト作成装置Ｒ、コンテンツＣ’、プレイリストＰ」の組を取得可能である場合には（ステップＳ５１のＹｅｓ）、コンテンツＣ’の特徴量（コンテンツのモノラル・ステレオ、音量、映像の輝度などの特徴量）の時間変化Ｆ（ｔ）を計算し（ステップＳ５２）、プレイリスト作成装置３０（プレイリスト作成装置Ｒ）にコンテンツＣ’の特徴量（コンテンツのモノラル・ステレオ、音量、映像の輝度などの特徴量）の時間変化ｆ（ｔ）を問い合わせ（ステップＳ５３）、時間変化Ｆ（ｔ）と時間変化ｆ（ｔ）のズレに応じてプレイリストＰに出現するカット点の時刻を修正する（ステップＳ５４）。以上の処理は、コンテンツ正規化部２２から投入されたリストＬ’から、全ての「プレイリスト作成装置Ｒ、コンテンツＣ’、プレイリストＰ」の組を取得したと判断されるまで（ステップＳ５１のＮｏ）、繰り返される。全ての「プレイリスト作成装置Ｒ、コンテンツＣ’、プレイリストＰ」の組についての処理が終了した場合には（ステップＳ５１のＮｏ）、作成した「プレイリスト作成装置Ｒ、コンテンツＣ’、プレイリストＰ’」の組のリストＬ’’の出力を行なう（ステップＳ５５）。

例えば、プレイリスト作成装置Ｒ１〜Ｒ３上の正規化されたコンテンツＣ’の音量の時間変化が図１５に示すように計算された場合、対応する山、谷のズレに応じて、プレイリストに出現するカット点の時刻のズレを修正すればよい。

なお、時間変化が少ない特徴量ほど計算にかかるコストが少なくなるが、対応しない山、谷まで対応すると判定されてズレが正しく計算されない可能性が高くなるため、複数の特徴量を組み合わせて判定するとよい。

上述した１，２のいずれの場合も、カット点正規化部２３によってプレイリストに出現するカット点を正規化されたリストＬ’’は第１の格納部２４に格納され（カット点格納手段）、計算部２５の入力として用いられる。

次に、計算部２５におけるシーン区間関連度計算処理について説明する。図１６は、計算部２５におけるシーン区間関連度計算処理の流れを示すフローチャートである。図１６に示すように、まず、計算部２５は、「正規化されたコンテンツＣ’、カット点の出現頻度Ｆ」の組からなるリストＤを初期化する（ステップＳ６１）。次に、第１の格納部２４に格納されている「プレイリスト作成手段Ｒ、正規化されたコンテンツＣ’、正規化されたプレイリストＰ’」を検索し、１つずつ取得する（ステップＳ６２）。計算部２５は、正規化されたプレイリストＰ’が取得されるたびに、プレイリストＰ’に出現するカット点の頻度を累積し、リストＤのコンテンツＣ’に対応する箇所を更新する（ステップＳ６３）。ステップＳ６３の処理は、第１の格納部２４に格納されている全ての「プレイリスト作成手段Ｒ、正規化されたコンテンツＣ’、正規化されたプレイリストＰ’」の組を取得したと判断されるまで（ステップＳ６２のＮｏ）、繰り返される。全ての「プレイリスト作成手段Ｒ、正規化されたコンテンツＣ’、正規化されたプレイリストＰ’」の組についての処理が終了した場合には（ステップＳ６２のＮｏ）、作成した「正規化されたコンテンツＣ’、カット点の出現頻度Ｆ」の組からなるリストＤの出力を行なう（ステップＳ６４）。

例えば、コンテンツＣ１’に対して作成されたプレイリストが図１７の（ａ）に示すように取得された場合、カット点の出現頻度Ｆは図１７の（ｂ）に示すように計算される。このようにカット点の出現頻度Ｆを計算するようにしたのは、コンテンツの番組構造の大きな切れ目に対応するカット点ほど多数の利用者が、小さな切れ目に対応するカット点ほど少数の利用者がプレイリストを作成するために利用すると考えられるため、カット点の出現頻度はシーン区間の関連性の弱さを表していると考えられるためである。

以上のようにして計算部２５によってコンテンツごとにカット点の出現頻度を計算されたリストＤは、抽出部２６に投入される。

次に、抽出部２６におけるチャプタ分割処理について説明する。概略的には、抽出部２６はリストＤのカット点の出現頻度から区分的な閾値を計算し、カット点の出現頻度がそれぞれの閾値を超えるカット点を抽出することでシーン区間のまとまりを抽出し、区分的なチャプタ分割を行なう。カット点の出現頻度から区分的な閾値を計算する手段は、コンテンツの長さからあらかじめ計算されたチャプタ分割数に基づいて行なう方法、カット点の出現頻度の最大値から閾値を計算して行なう方法などが考えられる。以下ではこれらの方法を用いた区分的な閾値の計算処理、ならびに区分的なチャプタ分割抽出処理の例を説明する。

［１．あらかじめ計算されたチャプタ分割数に基づいて行なう方法］
まず、コンテンツの長さからあらかじめ計算されたチャプタ分割数に基づいて行なうチャプタ分割抽出処理のフローチャートを図１８に示す。図１８に示すように、抽出部２６は、「正規化されたコンテンツＣ’、チャプタ分割ｃ」の組からなるリストＤ’を初期化する（ステップＳ７１）。次いで、投入された「正規化されたコンテンツＣ’、カット点の出現頻度Ｆ」の組からなるリストＤから、「正規化されたコンテンツＣ’、カット点の出現頻度Ｆ」の組を取得可能である場合には（ステップＳ７２のＹｅｓ）、コンテンツＣ’の長さから粗さに応じたチャプタ分割数Ｎ１，Ｎ２，Ｎ３，・・・を取得し（ステップＳ７３）、カット点を出現頻度の高い順にＮ１，Ｎ２，Ｎ３，・・・個ずつ取得してチャプタ分割ｃとした後（ステップＳ７４）、（Ｃ’，ｃ）をリストＤ’に追加する（ステップＳ７５）。このような処理は、全ての「正規化されたコンテンツＣ’、カット点の出現頻度Ｆ」の組を取得したと判断されるまで（ステップＳ７２のＮｏ）、繰り返される。全ての「正規化されたコンテンツＣ’、カット点の出現頻度Ｆ」の組についての処理が終了した場合には（ステップＳ７２のＮｏ）、作成した「正規化されたコンテンツＣ’、チャプタ分割ｃ」の組からなるリストＤ’の出力を行なう（ステップＳ７６）。

なお、チャプタ分割数は、コンテンツＣ’の長さをＬ、チャプタ分割の粗さをＧ（粗いとき１、中くらいのとき２、細かいとき３）として適当な係数を用いて
Ｎ＝γＬＧ＋δ
などと計算してもよいし、図１９に示すようにコンテンツの長さとチャプタ分割の粗さとチャプタ分割の対応表を与えて計算してもよい。図１９を用いて計算する場合、例えばコンテンツＣ１’の長さは図７および図１０より１時間３０分であるため、粗い分割では２０〜３０個、中くらいの分割では３０〜５０個、細かい分割では５０〜８０個と計算される。続いて、コンテンツＣ１’に対応するカット点を出現頻度の高い順に２０〜３０個、３０〜５０個、５０〜８０個ずつ取得し、取得したカット点をそれぞれの粗さのチャプタ分割とする。

［２．カット点の出現頻度の最大値から閾値を計算して行なう方法］
次に、カット点の出現頻度の最大値から閾値を計算して行なうチャプタ分割処理のフローチャートを図２０に示す。図２０に示すように、抽出部２６は、「正規化されたコンテンツＣ’、チャプタ分割ｃ」の組からなるリストＤ’を初期化する（ステップＳ８１）。次いで、投入された「正規化されたコンテンツＣ’、カット点の出現頻度Ｆ」の組からなるリストＤから、「正規化されたコンテンツＣ’、カット点の出現頻度Ｆ」の組を取得可能である場合には（ステップＳ８２のＹｅｓ）、粗さに応じた係数（閾値）α１，α２，α３，・・・を取得し（ステップＳ８３）、カット点の出現頻度がＦの最大値に比べて閾値α１，α２，α３，・・・を超えるカット点を取得してチャプタ分割ｃとした後（ステップＳ８４）、（Ｃ’，ｃ）をリストＤ’に追加する（ステップＳ８５）。このような処理は、全ての「正規化されたコンテンツＣ’、カット点の出現頻度Ｆ」の組を取得したと判断されるまで（ステップＳ８２のＮｏ）、繰り返される。全ての「正規化されたコンテンツＣ’、カット点の出現頻度Ｆ」の組についての処理が終了した場合には（ステップＳ８２のＮｏ）、作成した「正規化されたコンテンツＣ’、チャプタ分割ｃ」の組からなるリストＤ’の出力を行なう（ステップＳ８６）。

なお、閾値は、カット点の出現頻度Ｆのグラフの形状から統計的に計算してもよいし、図２１に示すようにチャプタ分割の粗さと閾値の係数の対応表を与えて計算してもよい。図２１を用いて計算する場合は、コンテンツＣ１’に対応するカット点の出現頻度が出現頻度の最大値の１／４、２／４、３／４を超えるカット点を取得し、取得したカット点をそれぞれの粗さのチャプタ分割とする。

以上のようにして抽出されたチャプタ分割は、図２２の（ｂ）に示すように、より粗いチャプタ分割に含まれるカット点が必ずより細かいチャプタ分割に含まれるような抽出方法になっている。抽出部２６は、図２３に示すように、これらの複数の粗さのチャプタ分割から導かれるツリー構造をコンテンツＣ１’の最終的なチャプタ分割として出力し、第２の格納部２７に格納する。

最後に、チャプタ分割配信部２８におけるチャプタ分割配信処理について説明する。概略的には、チャプタ分割配信部２８は、ネットワーク２０上の各プレイリスト作成装置３０のコンテンツ格納部３１に格納されているコンテンツに対応するチャプタ分割が第２の格納部２７に存在する場合に、そのチャプタ分割をネットワーク２０を通じてプレイリスト作成装置３０のコンテンツ格納部３１に配信する。

図２４は、チャプタ分割配信部２８によるチャプタ分割配信処理の流れを示すフローチャートである。図２４に示すように、チャプタ分割配信部２８は、ネットワーク２０上に存在するプレイリスト作成装置３０を検索し、一つずつ取得する（ステップＳ９１のＹｅｓ）。取得したプレイリスト作成装置３０は、チャプタ分割配信部２８の監視下に置き、コンテンツ操作のたびに操作対象となっているコンテンツＣをネットワーク２０を通じて取得するとともに（ステップＳ９２のＹｅｓ）、前述したコンテンツ正規化部２２に投入し、コンテンツの正規化処理を行なう（ステップＳ９３）。そして、正規化されたコンテンツＣ’に対応するチャプタ分割ｃが第２の格納部２７に存在する場合は（ステップＳ９４のＹｅｓ）、チャプタ分割配信部２８はそのチャプタ分割をネットワーク２０を通じてプレイリスト作成装置３０に配信する（ステップＳ９５）。このような処理により、番組の構造に応じた適切な目的のシーンの頭出しや検索を容易に行なえるようになる。

このように本実施の形態によれば、例えばＴＶ放送やＤＶＤなどの時系列が定義された映像コンテンツから作成されたプレイリストを収集し、収集したプレイリストからシーン区間のまとまりとしてのチャプタ分割をシーン区間同士の関連性の強さに応じて区分的に抽出することで、コンテンツからツリー上に構造化されたチャプタ分割を抽出し、メタデータの付加を実現することにより、コンテンツの構造に応じた適切な目的のシーンの頭出しや検索を容易に行なえるようになる。コンテンツの番組構造の大きな切れ目に対応するカット点ほど多数の利用者が、小さな切れ目に対応するカット点ほど少数の利用者がプレイリストを作成するために利用すると考えられるため、ツリー状に構造化されたチャプタ分割は番組構造を反映したものになると考えられる。

なお、本実施の形態においては、番組構造化装置１のプレイリスト収集部２１はネットワーク２０上に存在するプレイリスト作成装置３０から直接的にプレイリストを収集するとして説明したが、これに限るものではない。例えば、図２５に示すように、利用者がプレイリスト作成装置３０のプレイリスト作成部３２によって作成したプレイリストをネットワーク２０を通じて公開・登録することができる共有プレイリスト格納部５０を備える場合には、共有プレイリスト格納部５０から間接的にプレイリストを収集してもよい。この場合、共有プレイリスト格納部５０は、図２５に示すように番組構造化装置１のシステム構成の内部にあってもよいし、ネットワーク２０上に存在させるようにしてもよい。特に、ネットワーク２０上に共有プレイリスト格納部５０が存在する場合は、共有プレイリスト格納部５０を１つだけではなく複数存在させるようにしてもよい。

本発明の実施の一形態にかかる番組構造化システムの構成を示すシステム構成図である。 コンテンツにおける番組構造の切れ目の例を時系列で示す模式図である。 番組構造化装置のハードウェア構成を示すブロック図である。 番組構造化処理の流れを示すフローチャートである。 プレイリスト収集処理の流れを示すフローチャートである。 プレイリスト作成装置が有している装置情報を示す模式図である。 コンテンツ格納部に格納されているコンテンツ情報を示す模式図である。 プレイリスト格納部に格納されているプレイリスト情報を示す模式図である。 対応表に基づいて行なうコンテンツ正規化処理の流れを示すフローチャートである。 放送局と放送地域の対応表および放送番組と放送局の放送時間の対応表を示す模式図である。 特徴量の時間変化に基づいて行なうコンテンツ正規化処理のフローチャートである。 コンテンツの特徴量の時間変化と正規化されたコンテンツを示す模式図である。 時計のズレを用いて行なうカット点正規化処理の流れを示すフローチャートである。 特徴量の時間変化に基づいて行なうカット点正規化処理の流れを示すフローチャートである。 コンテンツの特徴量の時間変化と時刻のズレを示す模式図である。 シーン区間関連度計算処理の流れを示すフローチャートである。 正規化されたコンテンツに対するカット点の出現頻度計算結果の例を示す模式図である。 あらかじめ計算されたチャプタ分割数に基づいて行なうチャプタ分割抽出処理の流れを示すフローチャートである。 コンテンツの長さとチャプタ分割の粗さとチャプタ分割の対応表の一例を示す模式図である。 カット点の出現頻度の最大値から閾値を計算して行なうチャプタ分割処理の流れを示すフローチャートである。 チャプタ分割の粗さと閾値の係数の対応表の一例を示す模式図である。 区分的なチャプタ分割とツリー上に構造化されたチャプタ分割を示す模式図である。 ツリー上に構造化されたチャプタ分割の例を示す模式図である。 チャプタ分割配信処理の流れを示すフローチャートである。 番組構造化システムの構成の変形例を示すシステム構成図である。

符号の説明

１ 番組構造化装置
２０ ネットワーク
２１ プレイリスト収集手段
２２ コンテンツ正規化手段
２３ カット点正規化手段
２４ 第１の格納部
２５ 計算手段
２６ 抽出手段
２７ 第２の格納部
２８ チャプタ分割配信手段
３０ プレイリスト作成装置、コンテンツ格納装置

Claims (12)

1. 時系列が定義されたコンテンツに対するプレイリストを収集するプレイリスト収集手段と、
   このプレイリスト収集手段により収集された前記プレイリストに出現する前記コンテンツにおける番組構造の切れ目である個々のカット点について、各々の出現頻度を対応付けて格納する第１の格納部と、
   前記第１の格納部に格納された前記各カット点に基づくシーン区間同士の関連性の強さを前記各カット点に対応付けられた前記出現頻度から計算する計算手段と、
   この計算手段で計算されたシーン区間の関連度に基づいて区分的なチャプタ分割を抽出する抽出手段と、
   この抽出手段で抽出した区分的なチャプタ分割をツリー状に構造化して格納する第２の格納部と、
   を備えることを特徴とする番組構造化装置。
2. 前記抽出手段は、前記コンテンツの長さから複数の区分的なチャプタ分割数を計算し、出現する頻度の高い前記カット点から順にそれぞれのチャプタ分割数になるまで選択することで区分的なチャプタ分割を抽出する、
   ことを特徴とする請求項１記載の番組構造化装置。
3. 前記抽出手段は、出現する前記カット点の頻度の最大値から複数の区分的な閾値を計算し、それぞれの閾値を超える前記カット点を選択することで区分的なチャプタ分割を抽出する、
   ことを特徴とする請求項１記載の番組構造化装置。
4. 前記プレイリストが作成された全てのコンテンツについて、物理的には異なるが論理的には同一であると考えられるコンテンツを探索し、これらのコンテンツに対して同一のコンテンツ識別子を新たに付加する正規化処理を行なうコンテンツ正規化手段を更に備える、
   ことを特徴とする請求項１記載の番組構造化装置。
5. 前記コンテンツ正規化手段は、物理的に異なるコンテンツであっても放送局と放送地域の対応表、放送番組と放送局の放送時間の対応表に基づいて同じコンテンツであると判定された場合は、同一のコンテンツ識別子を付加する、
   ことを特徴とする請求項４記載の番組構造化装置。
6. 前記コンテンツ正規化手段は、コンテンツの特徴量の時間変化を問い合わせ、物理的に異なるコンテンツであっても返ってきた特徴量の時間変化に基づいて同じコンテンツであると判定された場合は、同一のコンテンツ識別子を付加する、
   ことを特徴とする請求項４記載の番組構造化装置。
7. 前記プレイリストに出現する前記カット点の時刻を前記プレイリストを作成したプレイリスト作成装置の時計のズレに応じて修正する正規化処理を行なうカット点正規化手段を備える、
   ことを特徴とする請求項１記載の番組構造化装置。
8. 前記カット点正規化手段は、前記プレイリストを作成したプレイリスト作成装置に現在時刻を問い合わせ、返ってきた時刻のズレに基づいて前記プレイリスト作成装置の時計のズレを検出する、
   ことを特徴とする請求項７記載の番組構造化装置。
9. 前記カット点正規化手段は、前記プレイリストを作成したプレイリスト作成装置にコンテンツの特徴量の時間変化を問い合わせ、返ってきた特徴量の時間変化のズレに基づいて前記プレイリスト作成装置の時計のズレを検出する、
   ことを特徴とする請求項７記載の番組構造化装置。
10. ネットワーク上に存在するコンテンツ格納装置を監視し、前記コンテンツ格納装置によるコンテンツ操作に応じた前記コンテンツに対応するチャプタ分割が前記チャプタ分割格納部に存在する場合に、当該チャプタ分割を前記コンテンツ格納装置に配信するチャプタ分割配信手段を備える、
    ことを特徴とする請求項１記載の番組構造化装置。
11. 時系列が定義されたコンテンツに対するプレイリストに出現する前記コンテンツにおける番組構造の切れ目である個々のカット点から前記コンテンツに含まれるシーン区間を抽出し、
    前記カット点の出現する頻度から前記シーン区間同士の関連性の強さを判定し、
    関連性の強いシーン区間のまとまりとしてのチャプタ分割を区分的に抽出し、
    抽出した区分的なチャプタ分割をツリー状に構造化する、
    ことを特徴とする番組構造化方法。
12. 時系列が定義されたコンテンツに対するプレイリストを収集するプレイリスト収集機能と、
    このプレイリスト収集機能により収集された前記プレイリストに出現する前記コンテンツにおける番組構造の切れ目である個々のカット点について、各々の出現頻度を対応付けて第１の格納部に格納する機能と、
    前記第１の格納部に格納された前記各カット点に基づくシーン区間同士の関連性の強さを前記各カット点に対応付けられた前記出現頻度から計算する計算機能と、
    この計算機能で計算されたシーン区間の関連度に基づいて区分的なチャプタ分割を抽出する抽出機能と、
    この抽出機能で抽出した区分的なチャプタ分割をツリー状に構造化して第２の格納部に格納する機能と、
    をコンピュータに実行させることを特徴とするプログラム。

Images