JPWO2006123744A1 - コンテンツ表示システム及びコンテンツ表示方法 - Google Patents

Abstract

複数の映像区間からなる映像データとそれら映像データに付随する付随データとを含むコンテンツを表示するコンテンツ表示システムは、表示対象のコンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定部と、映像区間毎に、コンテンツ表示態様決定手段が決定した表示態様に従って映像データと付随データとが配置されたコンテンツを生成するコンテンツ配置部と、を備える。

Description

本発明は、映像データと映像データに付随する付随データとを含むコンテンツを任意の表示画面に表示するコンテンツ表示システム及びコンテンツ表示方法に関する。また、本発明は、このようなコンテンツの配信サービスを行うコンテンツ配信システム及びコンテンツ配信サーバにも関する。

データ放送やインターネットを介した映像配信サービス等においては、利用者が映像を視聴しながらその映像に付随するデータをその映像と同時に視聴することができるようにしたサービスが提供されている。映像に付随するデータとしては、例えば、文字情報が挙げられる。例えば、利用者によってニュース番組が視聴されている際にそのニュース記事の詳細な内容やニュースの見出し一覧をテキストで表示する形態のサービスや、利用者によって商品案内番組が閲覧されている際に商品の価格や特徴をテキストで表示する形態のサービスが提供されている。また映像は、テレビジョン受信機によって視聴されるだけではなく、携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｉｓｔａｎｔ）、ノートブック型のパーソナルコンピュータ等によっても視聴されるようになってきている。デバイス面においても映像を視聴できる環境が充実してきている。そのため、映像とその映像に付随されたデータとを様々な表示画面サイズをもつ各種デバイスで視聴できるように、映像を視聴するための環境を整えることが重要な課題となってきている。

映像とその付随データとを表示する代表的な枠組み（サービス）として、ディジタル放送におけるデータ放送がある。日本国特許公開：特開２００１−２９６８５２号公報には、映像表示領域に隣接してテキスト情報表示領域を設け、映像の表示と同期させて、テキスト情報をスクロール表示させる映像表示方法が開示されている。日本国特許公開：特開２００３−１８５５３号公報には、データ放送の画像及びテキストを含む内容全体を表示するのでなく、データ放送の内容からテキストのみを抽出し、その抽出したテキストを通常の放送番組の映像とともに表示するデータ放送受信装置が開示されている。この特開２００３−１８５５３号公報に開示されたデータ放送受信装置によれば、視聴者は、データ放送の内容の一部しか再生表示されていなくても、データ放送の内容の概略を認識することができる。これら特開２００１−２９６８５２号公報に記載された映像表示方法や特開２００３−０１８５５３号公報に記載されたデータ放送受信装置では、画面の解像度がほぼ一定である場合に、映像及び映像の付随データを固定的に表示画面に表示することができる。これらの技術は、例えば、画面の解像度がほぼ一定であるテレビジョン受信機向けに、映像及び付随データを固定的に表示画面に表示させるために用いることができる。しかしながらこれらの技術を用いる場合には、例えば、テレビジョン受信機以外の端末など、画面の解像度が異なる様々な端末上で映像と付随データとを表示するためには、表示対象の表示画面毎に表示内容やレイアウトを新たに作成／準備しなければならない。

日本国特許公開：特開２００３−３２７４７号公報には、映像データとテキストデータとの双方のデータを合成することにより、表示すべき合成画像データを生成し、その合成画像データを表示画面に表示する端末装置が開示されている。特開２００３−３２７４７号公報に記載された端末装置によれば、携帯電話機など画面あたりの表示領域が限られている端末において、テキスト等の付随画面データの内容をより明瞭に認識することが可能となる。しかしながら、この端末装置では、表示画面の大きさにかかわらず常に付随データを映像に重畳するので、表示画面の大きさに合わせて、付随データを重畳させる形態、例えば、文字の大きさや重畳させる場所等を表示画面毎に定めなければならない。しかし、一般に、想定される全ての表示画面に対して、映像等のコンテンツの作成者が予め付随データを重畳させる形態、すなわちレイアウト情報を準備することは困難である。また、元の映像や付随データに変更があった場合に、コンテンツの作成者が作成／準備したレイアウトを全て更新することは困難である。従って、特開２００３−０３２７４７号公報に記載された端末装置では、コンテンツの作成者が利用環境を想定してレイアウト情報を作りこむコストがかかり、作成した各バージョンのレイアウト情報を管理するためにかかるコストが高いものとなる。

日本国特許公開：特開平６−１４９９６８号公報には、文書中での画像とその画像以外のデータとのレイアウトを、文書領域の大きさにあわせて自動的に決定する文書処理装置が開示されている。また、日本国特許公開：特開２００３−６７１００号公報には、タイトル、テキスト及び画像を含む情報を画面に表示させるためのレイアウトを表示画面にあわせて動的に生成し、生成したレイアウト情報に基づいて情報を表示するディジタルコンテンツ表示方法が開示されている。しかしながら、特開平６−１４９９６８号公報に記載された文書処理装置や特開２００３−０６７１００号公報に記載されたディジタルコンテンツ表示方法では、時間軸を有する、すなわち時間とともに画像が変化する映像を付随データとともに表示する場合は考慮されていない。これらの文書処理装置やディジタルコンテンツ表示方法を映像を表示する場合に適用したとしても、時間とともに変化する映像の構成に関係なく、一度決定されたレイアウトを用いて映像が表示されることになり、そのため、映像と付随データとが表示画面に適切に配置されて表示されるとは限らない。

以下、本明細書で引用した文献を列挙する。
特開２００１−２９６８５２号公報 特開２００３−１８５５３号公報 特開２００３−３２７４７号公報 特開平６−１４９９６８号公報 特開２００３−６７１００号公報 Ｕｌｌａｓ Ｇａｒｇｉ， Ｒａｎｇａｃｈａｒ Ｋａｓｔｕｒｉ， Ｓｕｓａｎ Ｈ． Ｓｔｒａｙｅｒ， "Ｐｅｒｆｏｒｍａｎｃｅ Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ Ｖｉｄｅｏ−Ｓｈｏｔ−Ｃｈａｎｇｅ Ｄｅｔｅｃｔｉｏｎ Ｍｅｔｈｏｄｓ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， Ｖｏｌ． １０， Ｎｏ． １， Ｆｅｂｒｕａｒｙ ２０００ Ａ． Ｍｏｈａｎ， Ｃ． Ｐａｐａｇｅｏｒｇｉｏｕ， Ｔ． Ｐｏｇｇｉｏ， "Ｅｘａｍｐｌｅ−Ｂａｓｅｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｉｎ Ｉｍａｇｅｓ ｂｙ Ｃｏｍｐｏｎｅｎｔｓ"， ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ＰＡＭＩ， Ｖｏｌ．２３， Ｎｏ．４， ｐｐ．３４９−３６１， ２００１

上述したように、映像データと映像データに付随する付随データとを含むコンテンツを任意の表示画面に表示する従来のコンテンツ表示システムでは、表示画面上に映像データ及び付随データを表示させるための画面構成の設計が必要であり、複数種類の端末の表示画面に対応してそれぞれの画面構成を設計する作業は極めて煩雑である、という課題がある。

そこで本発明の目的は、コンテンツ作成者が、映像データ及び付随データなどの個々の情報に対して表示画面毎に画面構成を設計しなくても、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することが可能なコンテンツ表示システムを提供することにある。

本発明の別の目的は、コンテンツ作成者が、映像データ及び付随データなどの個々の情報に対して表示画面毎に画面構成を設計しなくても、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することが可能なコンテンツ表示方法を提供することにある。

本発明の第１の様相に従えば、複数の映像区間からなる映像データとその映像データに付随する付随データとを含むコンテンツを表示するコンテンツ表示システムは、表示対象のコンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段を有する。

本発明の第２の様相に従えば、複数の映像区間からなる映像データとその映像データに付随する付随データとを含むコンテンツを表示するコンテンツ表示システムであって、表示画面の大きさを示す表示画面情報、各映像区間に対応する映像の属性情報を含む映像メタデータ、及び映像区間に対応する各付随データの属性情報を含む付随メタデータとに基づいて、映像と付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段と、コンテンツ表示態様決定手段が決定した表示態様に従って、映像を変換する映像変換手段と、コンテンツ表示態様決定手段が決定した表示態様に従って、付随データを変換する付随データ変換手段と、映像区間毎に、コンテンツ表示態様決定手段が決定した表示態様に従って、映像変換手段が変換した映像と付随データ変換手段が変換した付随データとが配置されたコンテンツを生成するコンテンツ配置手段と、を有する。

本発明の第３の様相に従えば、複数の映像区間からなる映像データとその映像データに付随する付随データとを含むコンテンツを配信するコンテンツ配信システムは、利用者端末と、コンテンツを配信するコンテンツ配信サーバと、を有する。このコンテンツ配信システムにおいて、利用者端末は、コンテンツの配信要求を、通信ネットワークを介してコンテンツ配信サーバに送信するコンテンツ要求手段を有する。コンテンツ配信サーバは、利用者端末からコンテンツの配信要求を受信すると、配信要求されたコンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段と、映像区間毎に、コンテンツ表示態様決定手段が決定した表示態様に従って映像データと付随データとが配置されたコンテンツを生成するコンテンツ配置手段と、コンテンツ配置手段が生成したコンテンツを、通信ネットワークを介して利用者端末に送信するコンテンツ配信手段と、を有する。

本発明の第４の様相に従えば、複数の映像区間からなる映像データとその映像データに付随する付随データとを含むコンテンツを配信するコンテンツ配信サーバは、配信要求されたコンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段を備える。

本発明の第５の様相に従えば、複数の映像区間からなる映像データとその映像データに付随する付随データとを含むコンテンツを配信するコンテンツ配信サーバは、映像データに含まれる各映像、及び映像に対応する付随データの表示形態に関する要求条件に基づいて、映像と付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段と、コンテンツ表示態様決定手段が決定した表示態様に従って、映像を変換する映像変換手段と、コンテンツ表示態様決定手段が決定した表示態様に従って、付随データを変換する付随データ変換手段と、映像区間毎に、コンテンツ表示態様決定手段が決定した表示態様に従って、映像変換手段が変換した映像と付随データ変換手段が変換した付随データとが配置されたコンテンツを生成するコンテンツ配置手段と、コンテンツ配置手段が生成したコンテンツを、利用者端末に配信するコンテンツ配信手段と、を有する。

本発明の第６の様相に従えば、複数の映像区間からなる映像データとその映像データに付随する付随データとを含むコンテンツを表示するコンテンツ表示方法は、表示対象のコンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するステップを含む。

本発明の第７の様相に従えば、複数の映像区間からなる映像データとその映像データに付随する付随データとを含むコンテンツを表示するコンテンツ表示方法は、表示画面の大きさを示す表示画面情報、映像データに含まれる各映像区間に対応する映像の属性情報を含む映像メタデータ、及び映像区間に対応する付随データの属性情報を含む付随メタデータとに基づいて、各映像区間について映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定ステップと、コンテンツ表示態様決定ステップで決定した態様を用いて、映像データと映像データに対応する付随データとを表示するコンテンツ表示ステップと、を有する。

本発明によれば、映像データに含まれる映像区間毎に、映像及び対応する付随データの内容に合わせてコンテンツの表示態様が適応的に決定される。そのため、決定された表示態様に従って、表示画面上において映像を表示する映像表示部と付随データを表示する付随データ表示部とを映像区間毎に動的に変化させながら、コンテンツを表示することができる。すなわち、本発明によれば、コンテンツの表示態様を映像区間毎に自動的に決定し、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することができる。従って、コンテンツ作成者が個々の情報（すなわち映像及び付随データ）に対して表示画面毎に画面構成を設計しなくても、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することができる。

本発明によれば、映像及び付随データの内容に応じて、映像区間毎にコンテンツの表示態様が適応的に決定され表示されるので、利用者に対して、より効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。また本発明において、映像データと付随データとを視聴する側の要求条件である端末の表示画面に基づいて、コンテンツの表示態様を適応的に決定するように構成すれば、任意の表示画面に対して効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。さらに本発明において、映像データと付随データとを視聴する側の要求条件である重要度バランスに基づいて、コンテンツの表示態様を適応的に決定するように構成すれば、利用者の嗜好に合わせて効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。

本発明の第１の実施形態のコンテンツ表示システムの構成を示すブロック図である。 コンテンツデータベースが蓄積する映像データ、付随データ及びメタデータの例を示す図である。 利用者端末からの要求に応じて、コンテンツ配信サーバがコンテンツを配信する処理の一例を示すフローチャートである。 利用者端末が映像及び付随データを表示する表示画面のレイアウトの一例を示す図である。 利用者端末が映像及び付随データを表示する表示画面のレイアウトの別の例を示す図である。 コンテンツ表示態様決定部がコンテンツの表示態様を決定する表示態様決定処理の一例を示すフローチャートである。 本発明の第２の実施形態のコンテンツ表示システムの構成を示すブロック図である。 図６に示すシステムにおいてコンテンツ表示態様決定部がコンテンツの表示態様を決定する処理の例を示すフローチャートである。 本発明の第３の実施形態のコンテンツ表示システムの構成を示すブロック図である。 図８に示すシステムにおいてコンテンツ表示態様決定部がコンテンツの表示態様を決定する処理の例を示すフローチャートである。 本発明の第４の実施形態のコンテンツ表示システムの構成を示すブロック図である。 図１０に示すシステムにおいてコンテンツ表示態様決定部がコンテンツの表示態様を決定する処理の例を示すフローチャートである。 本発明の第５の実施形態のコンテンツ表示システムの構成を示すブロック図である。 本発明の第６の実施形態のコンテンツ表示システムの構成を示すブロック図である。 利用者端末からの要求に応じて、コンテンツ配信サーバがコンテンツを配信する処理の例を示すフローチャートである。 テレビジョン受信機からニュース番組を配信要求した場合に、決定した表示態様に従って表示した表示画面を示す図である。 携帯電話機からニュース番組を配信要求した場合に、決定した表示態様に従って表示した表示画面を示す図である。

符号の説明

１，７，９０ 利用者端末
２，４，５，６，８０ コンテンツ配信サーバ
３ コンテンツデータベース
８ 入力装置
９ 表示部
２１，４１，５１，６１，７１，８１ コンテンツ表示態様決定部
２２，７２，９２ コンテンツ変換部
２３，８３ コンテンツ配信部
３１ 映像データ蓄積部
３２ 映像付随データ蓄積部
３３ メタデータ蓄積部
３４ 分割パターン蓄積部
３５ 畳パターン蓄積部
４０ 通信ネットワーク
２２１，７２１，９２１ 像データ変換部
２２２，７２２，９２２ 付随データ変換部
２２３，７２３，９２３ コンテンツ配置部

第１の実施形態：
本発明の第１の実施形態のコンテンツ表示システムについて説明する。図１は、第１の実施形態のコンテンツ表示システムの構成を示している。このコンテンツ表示システムは、利用者端末１、コンテンツ配信サーバ２、コンテンツデータベース３及び分割パターン蓄積部３４を含む。利用者端末１とコンテンツ配信サーバ２とは、インターネット等の通信ネットワーク４０を介して接続されている。

コンテンツ表示システムは、映像データ及びその映像データに付随する所定の付随データとを含むコンテンツを表示する。このときコンテンツ表示システムは、コンテンツの構成に応じたレイアウトで表示画面に配置して映像及び付随データを同時に表示する。なお、第１の実施形態では、図１に示すように、コンテンツ配信サーバ２が利用者端末１に対してコンテンツを配信し、受信したコンテンツを利用者端末１が表示する構成を備えることによって、コンテンツ表示システムが実現されている。

利用者端末１は、利用者が使用する端末であり、具体的には、パーソナルコンピュータや携帯電話機、ＰＤＡ等の情報処理端末である。なお、利用者端末１は、これら利用者が使用する情報処理端末に限らず、コンテンツを表示可能な表示部を備えた他のコンテンツ表示端末であってもよい。例えば、利用者端末１は、テレビジョン受信機や、電光掲示板を搭載した端末、壁掛け時計、カーナビゲーション端末等であってもよい。図１では、１つの利用者端末１を示しているが、コンテンツ表示システムは、複数の利用者端末１を含んでいてもよい。

利用者端末１は、利用者の操作に従って、コンテンツの配信要求を、通信ネットワークを介してコンテンツ配信サーバ２に送信する機能を備える。本実施の形態では、利用者端末１は、コンテンツの配信を要求する旨のリクエスト情報１Ａと、利用者端末１の表示画面のサイズ（大きさ）を示す表示画面情報１Ｂとを、コンテンツ配信サーバ２に送信する。例えば、利用者端末１は、リクエスト情報１Ａとして、配信要求するコンテンツを識別するための識別子を含む情報を送信する。識別子は、例えば、コンテンツ名やコンテンツＩＤ、ファイル名、タイトルからなる。利用者端末１は、表示画面情報１Ｂとして、利用者端末１の表示画面の解像度を含む情報を送信する。なお、例えば、ブラウザ等を用いてコンテンツを表示する場合、利用者端末１は、コンテンツを表示するブラウザのウインドウ部分の解像度を含む情報を送信する。

また、利用者端末１は、決定した表示態様に従ってコンテンツ配信サーバ２が生成したコンテンツを表示するコンテンツ表示部を備える。コンテンツ表示部は、例えば、液晶表示部等の表示部に各種情報を表示させる利用者端末１のＣＰＵを含んでいる。本実施形態では、利用者端末１は、コンテンツ配信サーバ２から、通信ネットワークを介してコンテンツを受信する。そして、利用者端末１は、受信したコンテンツに基づいて、表示部に映像を表示し、映像と同時に付随データを表示する。

分割パターン蓄積部３４は、表示画面を、映像を表示する映像表示部と付随データを表示する付随データ表示部とに分割するパターンを示した分割パターンを予め複数蓄積するものであって、具体的には、磁気ディスク装置や光ディスク装置等のデータベース装置によって実現される。このような分割パターン蓄積部３４は、分割パターンとして、例えば、Ｌ字型やＵ字型の形状に、表示画面を映像表示部と付随データ表示部とに分割するパターンを蓄積する。あるいは、分割パターン蓄積部３４は、例えば、分割パターンとして、単純に縦方向又は横方向に分割することによって、表示画面を映像表示部と付随データ表示部とに分割するパターンを蓄積する。この場合、分割パターン蓄積部３４は、表示画面を同じ形状（例えば、Ｌ字型）に分割する場合であっても、各領域すなわち映像表示部と付随データ表示部の面積の割合が異なるように、分割する複数の分割パターンを蓄積する。

コンテンツデータベース３は、コンテンツ製作者によって作成されたコンテンツを蓄積するものであって、具体的には、磁気ディスク装置や光ディスク装置等のデータベース装置によって実現される。図１に示すように、コンテンツデータベース３は、映像データ蓄積部３１、映像付随データ蓄積部３２及びメタデータ蓄積部３３を含む。映像データ蓄積部３１は、画面に表示されるための映像データを格納する。映像付随データ蓄積部３２は、映像と共に表示されるべき情報である付随データを格納する。メタデータ蓄積部３３は、コンテンツ表示態様の決定に用いられるメタデータを格納する。なお本実施形態では、映像データ蓄積部３１が蓄積する映像データと、映像付随データ蓄積部３２が蓄積する付随データとの組み合わせによって、１つのコンテンツが構成される。図１では、１つのコンテンツデータベース３を示しているが、映像データ蓄積部３１、映像付随データ蓄積部３２及びメタデータ蓄積部３３のうちのいずれか、又は全てがそれぞれ別々のデータベース装置によって実現されてもよい。

図２は、コンテンツデータベース３が蓄積する映像データ、付随データ及びメタデータの例を示している。図２に示すように、映像データは、複数の映像区間８０１，８０２，８０３，８０４から構成される。本実施形態において、映像区間は、例えば、１台のカメラで連続的に撮影された区間であるショットであってもよいし、例えば、意味内容のまとまりをもつ複数ショットの集合であるシーンであってもよい。あるいは、映像区間は、例えば、コンテンツの制作者等により予め指定された任意の長さをもつ区間であってもよい。

図２に示すように、コンテンツデータベース３は、映像区間毎に、それぞれ対応する付随データ８１１，８１２，８１３，８１４、及びそれぞれ対応するメタデータ８２１，８２２，８２３，８２４を蓄積する。コンテンツデータベース３は、付随データについても、それぞれ対応するメタデータ８３１，８３２，８３３，８３４を付随データ毎に蓄積する。さらに、コンテンツデータベース３は、映像データ全体の各種情報を含むメタデータ８４０、及び付随データ全体の各種情報を含むメタデータ８５０を蓄積する。なお、メタデータ８４０とメタデータ８５０とが１つのメタデータとして構成されていてもよい。

各映像区間に対応する付随データは、対応する映像区間と連動させて表示画面に表示させるべき各種情報、例えばテキスト情報を含んでいる。各付随データは、プレーンテキスト形式のデータであってもよく、ＸＭＬ（ｅｘｔｅｎｄｅｄ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）で記載された構造化テキストであってもよい。また、各付随データは、ＨＴＭＬ（ｈｙｐｅｒｔｅｘｔ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）やＢＭＬ（ｂｒｏａｄｃａｓｔ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）等で記載されたハイパーテキストであってもよい。

メタデータ８４０は、映像データ全体に対する情報を含む。例えば、図２に示すように、メタデータ８４０は、映像の解像度や符号化方式、各映像区間の開始点、終了点及び通し番号等を含む。メタデータ８５０は、付随データ全体に関する情報を含む。例えば、メタデータ８５０は、付随データのジャンルやフォーマット等の情報を含む。メタデータ（映像メタデータ）８２１，８２２，８２３，８２４は、それぞれ各映像区間に含まれる映像の属性情報を含む。例えば、メタデータ８２１，８２２，８２３，８２４は、映像中の注目領域や、映像変換の際の制限事項の情報を含む。映像変換の際の制限事項としては、例えば、拡大縮小率や、圧縮率等の上限、下限、変換による映像価値変化の評価関数等が挙げられる。メタデータ（付随メタデータ）８３１，８３２，８３３，８３４は、それぞれ映像区間に対応する付随データの属性情報を含む。例えば、メタデータ８３１，８３２，８３３，８３４は、付随データの文字数や項目数等の情報を含む。また、メタデータ８３１，８３２，８３３，８３４は、付随データ変換の際の制限事項を含み、映像区間毎に映像及び付随データの重要度バランスが記述された映像区間重要度情報等が格納されている。付随データ変換の際の制限事項としては、例えば、各表示項目の重要度や、表示項目の優先順位、変換による付随データ価値変化の評価関数等が挙げられる。なお、映像区間重要度情報は、コンテンツ製作者が作成し手動で割り当ててもよく、サーバを用いて自動的に生成してもよい。また、映像区間重要度情報を自動的に生成できるような重要度定義関数を定めておき、重要定義関数を用いて生成してもよい。

コンテンツ配信サーバ２は、例えば、各種映像コンテンツを配信するコンテンツ配信サービスを提供するサービス事業者が運営するサーバであり、具体的には、ワークステーションやパーソナルコンピュータ等の情報処理装置によって実現される。図１に示すように、コンテンツ配信サーバ２は、コンテンツ表示態様決定部２１と、コンテンツ変換部２２と、コンテンツ配信部２３とを含む。

コンテンツ表示態様決定部２１は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵ及びネットワークインタフェース部によって実現される。コンテンツ表示態様決定部２１は、リクエスト情報１Ａ及び表示画面情報１Ｂを、通信ネットワークを介して利用者端末１から受信する機能を備える。また、コンテンツ表示態様決定部２１は、利用者端末１から与えられた（受信した）リクエスト情報１Ａ及び表示画面情報１Ｂと、コンテンツデータベース３が蓄積するメタデータとに基づいて、配信要求されたコンテンツの表示態様を決定する機能も備える。この場合、コンテンツ表示態様決定部２１は、表示対象のコンテンツに含まれる映像データと付随データとを表示画面に表示する際の表示態様を、映像区間毎に決定する。この実施形態では、コンテンツ表示態様決定部２１は、映像区間毎に、リクエスト（配信要求）された映像とその映像に対応する付随データとを、利用者端末１で表示したときの最適な分割パターンを、分割パターン蓄積部３４が蓄積する各分割パターンの中から選定（選択）し、選択した分割パターンに基づいて、配信要求されたコンテンツの表示態様を映像区間毎に決定する。

さらにコンテンツ表示態様決定部２１は、決定した表示態様を示す表示態様決定情報２１Ａを生成し、コンテンツ変換部２２に出力する機能も備える。具体的には、コンテンツ表示態様決定部２１は、分割パターン蓄積部３４に用意された分割パターンのそれぞれを用いて、映像区間毎に、表示画面を映像表示部と付随データ表示部とに分割し、分割結果に従って、映像表示部に表示される映像及び付随データ表示部に表示される付随データとから構成されるコンテンツ全体の評価値を求め、各分割パターンのうち、評価値が最適となる場合、例えば、値が最大となる場合の分割パターンを、表示画面の分割に用いる分割パターンとして映像区間毎に決定する。

コンテンツ表示態様決定部２１が生成する表示態様決定情報２１Ａは、映像変換パラメータと、付随データ変換パラメータと、レイアウト情報とを含む。映像変換パラメータは、コンテンツ表示態様決定部２１が決定した表示態様に適応するように映像を変換するためのパラメータである。例えば、コンテンツ表示態様決定部２１は、映像の変換率を含む映像変換パラメータを生成する。映像の変換率には、例えば、映像の縮小率や拡大率が含まれる。コンテンツ表示態様決定部２１は、利用者端末１に送信する映像データに含めるビット数を指定する情報や、映像の時間解像度変換率を含む映像変換パラメータを生成してもよい。ここでの時間解像度変換率は、例えば、フレームの間引きの度合等を含む。

付随データ変換パラメータは、コンテンツ表示態様決定部２１が決定した表示態様に適応するように付随データを変換するためのパラメータである。例えば、コンテンツ表示態様決定部２１は、決定した付随データ表示部のサイズに応じて、付随データのうち付随データ表示部に表示可能な量のデータを選択する。表示可能な量は、例えば、文字数で表される。そして、コンテンツ表示態様決定部２１は、付随データ表示部に表示可能なデータの一覧を含む付随データ変換パラメータを生成する。例えば、コンテンツ表示態様決定部２１は、付随データ表示部に応じて、付随データに含まれるテキストのうちのタイトル部分や所定文字以内の文章を抽出し、付随データ変換パラメータを生成する。

レイアウト情報は、映像と付随データとの配置レイアウトすなわち分割パターンを記述した情報である。コンテンツ表示態様決定部２１は、映像表示部及び付随データ表示部の形状及びサイズを含むレイアウト情報を生成する。

コンテンツ変換部２２は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。図１に示すように、コンテンツ変換部２２は、映像データ変換部２２１と、付随データ変換部２２２と、コンテンツ配置部２２３とを含む。

映像データ変換部２２１は、リクエスト情報１Ａに基づいて、利用者端末１からリクエスト（配信要求）された映像を、データベース３から呼び出す（抽出する）機能を備える。映像データ変換部２２１は、必要に応じて、映像変換パラメータを用いて、抽出した映像データを変換する機能も備える。すなわち、映像データ変換部２２１は、コンテンツ表示態様決定部２１が決定した表示態様に従って、映像を映像区間毎に変換する。この場合、例えば、映像データ変換部２２１は、映像変換パラメータに示される変換率に従って、抽出した映像を縮小又は拡大する。

付随データ変換部２２２は、リクエスト情報１Ａに基づいて、利用者端末１からリクエストされた映像に対応する付随データを、データベース３から呼び出す（抽出する）機能を備える。付随データ変換部２２２は、必要に応じて、付随データ変換パラメータを用いて、付随データを変換する機能も備える。すなわち付随データ変換部２２２は、コンテンツ表示態様決定部２１が決定した表示態様に従って、付随データを映像区間毎に変換する。この場合、例えば、付随データ変換部２２２は、付随データ変換パラメータに含まれる一覧に示されるデータを付随データから抽出し、変換後の付随データを生成する。一覧に示されるデータは、例えば、テキストのうちのタイトル部分や所定文字以内の文章である。

コンテンツ配置部２２３は、レイアウト情報に従って、映像データ変換部２２１が変換した映像データと、付随データ変換部２２２が変換した付随データとをレイアウト上に配置した新たなコンテンツを生成する機能を備える。以下、コンテンツ配置部２２３が変換後の映像及び付随データを用いて生成する新たなコンテンツを、変換済コンテンツともいう。例えば、コンテンツ配置部２２３は、映像区間毎に、レイアウト情報に示される映像表示部及び付随データ表示部の形状及びサイズに従って、変換後の映像及び付随データをレイアウト上に配置し、変換済コンテンツを生成する。

コンテンツ配信部２３は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵ及びネットワークインタフェース部によって実現される。コンテンツ配信部２３は、利用者端末１に、通信ネットワークを介して変換済コンテンツを配信する機能を備える。なお、コンテンツ配信部２３は、変換後のコンテンツ全体を配信する代わりに、変換後の映像データ、変換後の付随データ及びレイアウト情報を別個に配信してもよい。この場合、利用者端末１は、受信したレイアウト情報に従って、変換後の映像データ及び変換後の付随データを表示画面上に配置して表示する。

本実施形態において、コンテンツ配信サーバ２の記憶装置（図示せず）は、利用者端末１に変換済コンテンツを配信するための各種プログラムを記憶している。例えば、コンテンツ配信サーバ２の記憶装置は、コンピュータに、コンテンツの配信要求を、通信ネットワークを介して利用者端末から受信する処理と、利用者端末からコンテンツの配信要求を受信すると、配信要求されたコンテンツに含まれる映像データと付随データとを表示画面に表示する際の表示態様を、映像区間毎に決定する処理と、映像区間毎に、決定した表示態様に従って、映像データと付随データとを配置したコンテンツを生成する処理と、映像データと付随データとを配置したコンテンツを、通信ネットワークを介して利用者端末に送信する処理とを実行させるためのコンテンツ配信プログラムを記憶している。

次に、第１の実施形態のコンテンツ表示システムの動作について説明する。図３は、利用者端末からの要求に応じて、コンテンツ配信サーバがコンテンツを配信する処理の一例を示している。

利用者は、コンテンツを視聴したい場合、利用者端末１を操作して、例えば、視聴したいコンテンツの配信要求を入力指示する。利用者端末１は、利用者の操作に従って、ステップＳ１１において、リクエスト情報１Ａ及び表示画面情報１Ｂを、通信ネットワークを介してコンテンツ配信サーバ２に送信する。例えば、利用者端末１は、利用者によって指定されたコンテンツ名やコンテンツＩＤを含むリクエスト情報１Ａを、通信ネットワークを介してコンテンツ配信サーバ２に送信する。また、例えば、利用者端末１は、利用者端末１の表示画面の解像度を含む表示画面情報１Ｂを、通信ネットワークを介してコンテンツ配信サーバ２に送信する。

利用者端末がこれらの情報を送信すると、コンテンツ配信サーバ２のコンテンツ表示態様決定部２１は、リクエスト情報１Ａ及び表示画面情報１Ｂを、通信ネットワーク４０を介して利用者端末１から受信する。するとコンテンツ表示態様決定部２１は、受信したリクエスト情報１Ａ及び表示画面情報１Ｂと、コンテンツデータベース３が蓄積するメタデータとに基づいて、ステップＳ１２において、コンテンツの表示態様を映像区間毎に決定する。またコンテンツ表示態様決定部２１は、映像変換パラメータ、付随データ変換パラメータ及びレイアウト情報を含む表示態様決定情報２１Ａを映像区間毎に生成する。コンテンツ表示態様決定部２１は、生成した表示態様決定情報２１Ａをコンテンツ変換部２２に出力する。

次にステップＳ１３において、コンテンツ変換部２２の映像データ変換部２２１は、リクエスト情報１Ａに基づいて、配信要求されたコンテンツの映像データを、コンテンツデータベース３から抽出し、表示態様決定情報２１Ａに含まれる映像変換パラメータに基づいて、抽出した映像データを映像区間毎に変換する。

次にステップＳ１４において、コンテンツ変換部２２の付随データ変換部２２２は、リクエスト情報１Ａに基づいて、配信要求されたコンテンツの付随データを、コンテンツデータベース３から抽出し、表示態様決定情報２１Ａに含まれる付随データ変換パラメータに基づいて、抽出した付随データを映像区間毎に変換する。

次にステップＳ１５において、コンテンツ変換部２２のコンテンツ配置部２２３は、表示態様決定情報２１Ａに含まれるレイアウト情報に従って、変換後の映像データと付随データとを映像区間毎にレイアウトに配置し、変換済コンテンツを生成する。その後ステップＳ１６において、コンテンツ配信部２３は、コンテンツ変換部２２が生成した変換済コンテンツを、通信ネットワークを介して利用者端末１に送信する。

このようにして変換済コンテンツが生成され、利用者端末１に送信されると、利用者端末１は、受信した変換済コンテンツに基づいて、映像を再生して表示し、映像とともに、映像に対応する付随データを表示する。図４Ａ，４Ｂは、それぞれ、利用者端末１が映像及び付随データを表示する表示画面のレイアウトの例を示している。図４Ａは、表示画面を横方向に分割する分割パターンを用いて、映像及び付随データを表示する場合を示し、図４Ｂは、表示画面を縦方向に分割する分割パターンを用いて、映像及び付随データを表示する場合を示している。図４Ａ，４Ｂに示すように、利用者端末１は、映像区間毎に、映像表示部と付随データ表示部との面積の割合を変化させながら、映像及び付随データを表示する。

次に、図３のステップＳ１２における、コンテンツ表示態様決定部２１がコンテンツの表示態様を決定する動作について説明する。図５は、コンテンツ表示態様決定部２１がコンテンツの表示態様を決定する表示態様決定処理の一例を示すフローチャートである。本実施形態では、コンテンツ表示態様決定部２１は、映像区間毎に、分割パターン蓄積部３４が蓄積する各分割パターンを用いて、表示画面を映像表示部と付随データ表示部とに分割した時のコンテンツの価値を求める。そして、コンテンツ表示態様決定部２１は、コンテンツ価値が最大となる分割パターンを、その映像区間に用いる分割パターンとして選択する。

利用者端末１からリクエスト情報１Ａ及び表示画面情報１Ｂを受信すると、コンテンツ表示態様決定部２１は、受信したリクエスト情報１Ａに基づいて、配信要求されたコンテンツの映像データと各付随データとをコンテンツデータベース３から抽出するとともに、配信要求されたコンテンツに対応する各メタデータを、それぞれコンテンツデータベース３から抽出する。また、コンテンツ表示態様決定部２１は、抽出したメタデータに基づいて、映像データに含まれる各映像区間を特定する。例えば、コンテンツ表示態様決定部２１は、図２に示す映像コンテンツ全体のメタデータ８４０に含まれる各映像区間の開始点や終了点に従って、映像データに含まれる映像区間の数や、各映像区間の映像データ中での位置を特定する。そしてコンテンツ表示態様決定部２１は、ステップＳ１０１において、映像区間の特定結果に基づいて、表示対象とする映像区間を指定する。まず、コンテンツ表示態様決定部２１は、映像データに含まれる最初の映像区間を、表示態様決定の処理対象として選択する。

ここでは、分割パターンを予めｎ個用意しておき、分割パターン蓄積部３４がｎ個の分割パターンを蓄積している場合を説明する。処理対象の映像区間を選択すると、コンテンツ表示態様決定部２１は、ステップＳ１０２において、表示態様決定処理に用いる各変数やパラメータを初期化する。本実施形態では、コンテンツ表示態様決定部２１は、所定の変数ｋをｋ＝１と初期化し、所定値Ｖ_ｍａｘをＶ_ｍａｘ＝０と初期化する。変数ｋは、コンテンツ表示態様決定部２１が、分割パターン蓄積部３４が蓄積する分割パターンのうち、現在何番目の分割パターンを用いて処理を行っているかを示す変数である。Ｖ_ｍａｘは、コンテンツ表示態様決定部２１が分割パターン毎に求めるコンテンツ価値の最大値を示す。

次にコンテンツ表示態様決定部２１は、ステップＳ１０３において、分割パターン蓄積部３４から、ｋ番目の分割パターンを読み込む。ステップＳ１０２でｋ＝１と設定しているので、コンテンツ表示態様決定部２１は、最初に表示態様決定処理を実行する場合、まず分割パターン蓄積部３４から１番目の分割パターンを読み込む。そして、コンテンツ表示態様決定部２１は、ステップＳ１０４において、読み込んだ分割パターンに基づいて、処理対象の映像区間に対して、表示画面を映像表示部と付随データ表示部とに分割する。

また、コンテンツ表示態様決定部２１は、映像表示部に最適な形態で映像を変換する。この変換の具体例としては、分割後の映像表示部のサイズに合うように映像を縮小する、というものが挙げられる。そして、コンテンツ表示態様決定部２１は、ステップＳ１０５において、変換後の映像を映像表示部に表示した場合に映像がもつ価値（最大価値）を算出する。この場合、コンテンツ表示態様決定部２１は、予め定めた評価関数を用いて、表示した変換後の映像がもつ価値を求める。例えば、一般に映像を縮小すればする程映像を視聴しにくくなるので、コンテンツ表示態様決定部２１は、評価関数を用いて、映像を縮小するに従って低くなるように映像の価値を求める。以下、ここでの評価関数のことを映像価値算出用評価関数という。

さらにコンテンツ表示態様決定部２１は、付随データ表示部に最適な形態で、映像区間に対応する付随データを変換する。この変換の具体例として、例えば、付随データ表示部のサイズに応じて表示可能なデータを抽出する、というものが挙げられる。そしてコンテンツ表示態様決定部２１は、ステップＳ１０６において、変換後の付随データを付随データ表示部に表示した場合に付随データがもつ価値（最大価値）を算出する。この場合、コンテンツ表示態様決定部２１は、予め定めた評価関数を用いて、表示した変換後の付随データがもつ価値を求める。以下、この評価関数を付随データ価値算出用評価関数ともいう。一般に表示画面に表示する付随データの項目数を減らす程、表示できる情報量が少なくなる反面、付随データの表示に要するページ数が減り、付随データが見やすくなる。そのため、コンテンツ表示態様決定部２１は、例えば、表示する付随データの項目数とそれら項目の重要度、及び表示に要するページ数を変数とする評価関数を用いて、変換後の付随データがもつ価値を決定する。

次に、コンテンツ表示態様決定部２１は、変換後の映像及び付随データに基づいて、表示画面に表示したコンテンツすなわち表示した映像及び付随データの全体の価値Ｖを、ステップＳ１０７において、別途予め定めた評価関数を用いて算出する。この評価関数のことを、以下、コンテンツ価値算出用評価関数という。この場合、コンテンツ表示態様決定部２１は、例えば、最もシンプルな方法として、単純に映像及び付随データ双方の価値を平均化する評価関数を用いて、コンテンツ全体の価値Ｖを求める。

なお、本実施形態では、予め定めた各評価関数を用いる場合を説明するが、コンテンツ表示態様決定部２１は、予め評価関数を記憶する記憶部から各評価関数を抽出し、抽出した評価関数を用いてコンテンツ価値を求めてもよい。

ここで、コンテンツ表示態様決定部２１が、利用者端末１に表示するコンテンツすなわち映像区間及び付随データの全体の価値Ｖを評価するために用いる、コンテンツ価値算出用評価関数の例を示す。コンテンツ表示態様決定部２１は、利用者に提供される情報量、情報の持つ価値及び情報の見やすさのうちいずれか１つの項目又は２つ以上の項目を、評価基準として用いて、映像及び付随データの双方について評価する。コンテンツ表示態様決定部２１は、この求めた評価値に基づいて、コンテンツ全体の価値を評価することができる。例えば、表示画面を面積比ｘ：（１−ｘ）に分割した場合におけるコンテンツ全体の価値は、映像表示部に表示された映像の価値と、付随データ表示部に表示された付随データの価値を変数とする関数として記述できる。この場合、コンテンツ全体の価値は、映像の価値と付随データの価値とを加算することによって得ることができる。すなわち、コンテンツ価値算出用評価関数Ｖ（ｘ）は、映像価値算出用評価関数ｇ（ｘ）と、付随データ価値算出用評価関数ｈ（ｘ）とを変数とする関数ｆ（ｇ（ｘ），ｈ（ｘ））として表すことができる。また、コンテンツ価値算出用評価関数Ｖ（ｘ）は、映像価値算出用評価関数ｇ（ｘ）と、付随データ価値算出用評価関数ｈ（ｘ）との和として、式（１）を用いて表すことができる。

Ｖ（ｘ）＝ｆ（ｇ（ｘ），ｈ（ｘ））＝ｇ（ｘ）＋ｈ（ｘ） （１）
以下、評価基準毎の映像データ及び付随データの評価関数の例を示す。まず、利用者に提供される情報量を尺度（すなわち評価基準）とした場合の評価関数の例を示す。利用者に提供される情報量を尺度に評価する場合、映像データ表示部に表示できる映像の画素数、及び付随データ表示部に表示できる文字数が評価対象となる。映像のアスペクト比を変えることなく、解像度が横ｗ画素及び縦ｖ画素の映像表示部にできるだけ広く映像を表示できるよう映像を変換するものとする。この場合、映像の拡大縮小率をｂとすると、拡大縮小率ｂは、表示される画素数を反映しているので、拡大縮小率ｂを変数とする関数によって評価関数を表現できる。例えば、拡大縮小率ｂそのものを映像の評価値として利用する場合、映像価値算出用評価関数は、式（２）を用いて表される。

ｇ（ｗ，ｖ）＝ｂ
ｂ＝ｍｉｎ（ｂ１，ｂ２），ｂ１＝ｗ／ｘ_ｏｒｉｇ ａｎｄ ｂ２＝ｖ／ｙ_ｏｒｉｇ
ｂ＝ｂ_ｍａｘ （ｂ＞ｂ_ｍａｘ）
ｂ＝０ （ｂ＜ｂ_ｍｉｎ） （２）
式（２）において、ｘ_ｏｒｉｇ及びｙ_ｏｒｉｇは、それぞれ原画像の高さ及び幅を示す。また、ｂ_ｍａｘ及びｂ_ｍｉｎは、それぞれ許容されている拡大縮小率の最大値及び最小値を示す。

また、解像度が横ｗ画素及び縦ｖ画素の付随データ表示部に収まるように付随データを変換するものとする。又は、付随データ表示部のｑページ以内に収まるように付随データを変換するものとする。具体的には、付随データに表示できる項目がｍ個あり、これらの項目の中からｇページ以内に収まるように表示する項目を選定するものとする。付随データ表示部に表示できる項目がｍ個あり、一行あたりに収まる文字数をｒ、１ページあたりに収まる行数をｓ、各項目の文字数をそれぞれｔ_１，ｔ_２，…，ｔ_ｋ，…，ｔ_ｍ（１≦ｋ≦ｍ）とする。また、付随データ表示部への表示の有無を、それぞれａ_１，ａ_２，…，ａ_ｋ，…，ａ_ｍ（１≦ｋ≦ｍ）とする。ただし、ａ_ｋ＝１は、ｋ番目の項目を表示することを意味し、ａ_ｋ＝０は、ｋ番目の項目を表示しないことを意味する。

付随データ全てを表示した場合の情報量を１とすると、付随データ表示部のｑページ以内に収まるように変換された付随データの情報量すなわち付随データ価値算出用評価関数は、式（３）を用いて表される。

なお、式（３）において、ｆｌｏｏｒは、小数点切り上げを示す関数である。式（２）及び式（３）を、式（１）に代入することにより、利用者に提供される情報量を評価尺度とするコンテンツ価値算出用評価関数Ｖ（ｘ）が得られる。

次に、情報の持つ価値を尺度（すなわち評価基準）とした場合の評価関数の例を示す。利用者に提供される情報の価値を尺度に評価する場合、映像データ表示部に表示できる映像又は映像領域の価値と、付随データ表示部に表示される項目の情報価値とを評価対象とする。情報価値は、利用者にとっての情報価値としてもよく、情報提供者にとっての情報価値としてもよい。また、利用者及び情報提供者双方にとっての情報価値としてもよい。

まず、映像について、評価の対象となる映像区間に登場する人物や物体それぞれに情報価値が割り当てられているとする。登場物や映像領域がｊ個存在し、各登場物の情報価値をｖ_ｊとする。また、各登場物の表示の有無を、それぞれｃ_１，ｃ_２，…，ｃ_ｋ，…，ｃ_ｊ（１≦ｋ≦ｊ）とする。ただし、ｃ_ｋ＝１は、ｋ番目の項目を表示することを意味し、ｃ_ｋ＝０は、ｋ番目の項目を表示しないことを意味する。また、解像度が横ｗ画素及び縦ｖ画素の限定された映像表示部に、できるだけ情報価値の高い登場物の組み合わせを映像表示部の範囲内に表示できるよう登場物を選択するものとする。この場合、映像価値算出用評価関数は、式（４）を用いて表される。

ただし、式（４）において、選択した登場物の集合は、映像表示部をはみ出てはならない。

一方、付随データについて、付随データに表示できる項目がｍ個あり、一行あたりに収まる文字数をｒ、１ページあたりに収まる行数をｓ、各項目の文字数をそれぞれｔ_１，ｔ_２，…，ｔ_ｋ，…，ｔ_ｍ（１≦ｋ≦ｍ）、各項目の情報価値をｕ_ｋ（０≦ｕ_ｋ≦１）とする。また、付随データ表示部への表示の有無を、それぞれａ_１，ａ_２，…，ａ_ｋ，…，ａ_ｍ（１≦ｋ≦ｍ）とする。ただし、ａ_ｋ＝１は、ｋ番目の項目を表示することを意味し、ａ_ｋ＝０は、ｋ番目の項目を表示しないことを意味する。

付随データ全てを表示した場合の情報量を１とすると、付随データ表示部のｑページ以内に収まるように変換された付随データの情報価値すなわち付随データ価値算出用評価関数ｈ（ｗ，ｖ）は、式（５）を用いて表現できる。

式（４）及び式（５）を、式（１）に代入することにより、利用者に提供される情報価値を尺度とするコンテンツ価値算出用評価関数Ｖ（ｘ）が得られる。

次に、情報の見やすさを評価基準とした評価関数の例を示す。利用者に提供される情報の見やすさを尺度に評価する場合、映像データ表示部に表示される映像がいかに見やすいか、付随データ表示部に表示される情報がいかに見やすく配置されているかを評価対象とする。

まず、映像について、動きの滑らかさやノイズの分量等の画質を基準に評価を行う。映像の解像度をｒとし、フレームレートをｆ、原画像とのＳ／Ｎ比をｓ、動き分量をｍとする。この場合、映像価値算出用評価関数は、これら４つの変数からなるバランス関数として、式（６）を用いて表される。このバランス関数を最適にするような解像度ｒ及びフレームレートｆを選択し、その選択した解像度ｒ及びフレームレートｆに従って映像を変換することができる。

ｇ（ｗ，ｖ）＝ｍａｘ｛ｏ（ｒ，ｆ，ｓ，ｍ）｝ （６）
また、付随データについて、付随データを表示するために必要なページ数が少なければ少ない程情報が見やすくなるので、必要なページ数に反比例して高い評価を割り当てるように設計する。この場合、付随データ価値算出用評価関数は、式（７）を用いて表される。

式（７）において、ｌは、選択した項目全てを表示するために必要な行数を示し、ｌ_ｍａｘは最大行数を示し、Ｌは画面内に表示できる行数を示す。式（６）及び式（７）を、式（１）に代入することにより、利用者に提供される情報の見やすさを尺度とするコンテンツ価値算出用評価関数Ｖ（ｘ）が得られる。

さらに、評価基準として、利用者に提供される情報量、情報のもつ価値及び情報の見やすさを組み合わせた場合の評価関数の例を示す。この場合、例えば、映像価値算出用評価関数として、式（２），（４），（６）のいずれか２つ又は全てを組み合わせた評価関数を利用することができる。また、例えば、付随データ価値算出用評価関数として、式（３），（５），（７）のいずれか２つ又は全てを組み合わせた評価関数を利用することもできる。例えば、映像データについて、式（２）及び式（４）を組み合わせて利用することによって、与えられた映像表示領域に対して、登場物と各登場物についての拡大縮小率との組み合わせを考慮した関数になる。この場合、例えば、式（８）に示す映像価値算出用評価関数を用いることができる。

また、例えば付随データについて、式（５）及び式（７）を組み合わせることによって、情報のもつ価値と情報の見やすさとのトレードオフを考慮した関数になる。この場合、例えば、式（９）に示す付随データ価値算出用評価関数を用いることができる。

式（８）及び式（９）を、式（１）に代入することにより、利用者に提供される情報量、価値及び見やすさを尺度とするコンテンツ価値算出用評価関数Ｖ（ｘ）を生成することができる。

コンテンツ表示態様決定部２１は、ステップＳ１０８において、求めたコンテンツ全体の価値Ｖがコンテンツ価値の最大値Ｖ_ｍａｘより大きいか否かを判定する。算出したコンテンツ全体の価値Ｖがコンテンツ価値の最大値Ｖ_ｍａｘより大きいと判断すると、コンテンツ表示態様決定部２１は、Ｖ_ｍａｘにＶを代入し、Ｖ_ｍａｘの値を更新する。コンテンツ表示態様決定部２１は、現在の処理対象のｋ番目の分割パターンについて、映像表示部での最適な表示を実現する映像変換パラメータ、及び付随データ表示部での最適な表示を実現する付随データ変換パラメータを生成する。そして、コンテンツ表示態様決定部２１は、ステップＳ１０９において、ｋ番目の分割パターンと、生成した映像変換パラメータ及び付随データ変換パラメータとを、あわせてメモリ等の記憶装置に保存する。

Ｖ_ｍａｘの値を更新し、分割パターン、映像変換パラメータ及び付随データ変換パラメータを保存すると、コンテンツ表示態様決定部２１は、ステップＳ１１０において、変数ｋに１加算する。ステップＳ１０８で、コンテンツ全体の価値Ｖがコンテンツ価値の最大値Ｖ_ｍａｘより大きくないと判断した場合には、コンテンツ表示態様決定部２１は、ステップＳ１０９の処理を実行せずに、そのまま変数ｋに１加算する。

次に、コンテンツ表示態様決定部２１は、ステップＳ１１１において、変数ｋの値がｎより大きいか否かを判断する。変数ｋの値がｎより大きいと判断すると、コンテンツ表示態様決定部２１は、全ての分割パターンについて処理を完了したと判断し、そのままステップＳ１１２の処理に移行する。変数ｋの値がｎより大きくないと判断すると、コンテンツ表示態様決定部２１は、ステップＳ１０３に戻り、ステップＳ１０３からステップＳ１１０までの処理を繰り返し実行する。すなわち、コンテンツ表示態様決定部２１は、未処理の分割パターンが存在すると判断し、分割パターン蓄積部３４が蓄積する次の分割パターンを読み出して、その分割パターンを用いた時のコンテンツ価値を評価する。

以上のように、分割パターン蓄積部３４が蓄積する全ての分割パターンについて、ステップＳ１０３からステップＳ１１０までの処理が繰り返し実行される。全ての分割パターンについて繰り返し処理を実行することによって、コンテンツ全体の価値が最大となる場合の分割パターン、映像変換パラメータ及び付随データ変換パラメータが保存される。

変数ｋの値がｎより大きいと判断すると、コンテンツ表示態様決定部２１は、ステップＳ１１２において、記憶装置に現在記憶している分割パターン、映像変換パラメータ及び付随データ変換パラメータを抽出し出力する。すなわち、コンテンツ表示態様決定部２１は、コンテンツ価値Ｖが最大となる時の分割パターン、映像変換パラメータ及び付随データ変換パラメータをコンテンツ変換部２２に出力する。この場合、コンテンツ表示態様決定部２１は、コンテンツ価値Ｖが最大となる時の分割パターンを用いた表示画面上の配置レイアウトを示すレイアウト情報を生成する。そして、コンテンツ表示態様決定部２１は、映像変換パラメータ、付随データ変換パラメータ及びレイアウト情報を含む表示態様決定情報２１Ａをコンテンツ変換部２２に出力する。

以上に示すようにコンテンツ表示態様決定部２１は、ステップＳ１０１からステップＳ１１２までの処理を実行することによって、分割パターンを変えながら、すなわちｋを１ずつインクリメントしながら（ｋ＝ｋ＋１）、全ての分割パターンについてコンテンツ全体の価値を算出する。そして、コンテンツ表示態様決定部２１は、コンテンツ全体の価値が最も高い分割パターンを映像区間と付随データとの配置レイアウトとして採用する。

コンテンツ表示態様決定部２１は、以上に示すプロセスを、配信要求された映像データに含まれる映像区間毎に繰り返す。そして、コンテンツ表示態様決定部２１は、映像区間毎に、全ての分割パターンについてコンテンツ価値を算出して配置レイアウトを決定し、表示態様決定情報２１Ａを出力する。

以上のように、本実施形態によれば、コンテンツ配信サーバ２は、映像データに含まれる映像区間毎に、映像及び対応する付随データの内容に合わせてコンテンツの表示態様を適応的に決定する。また、コンテンツ配信サーバ２は、決定した表示態様に従って変換したコンテンツを利用者端末１に配信する。そして、利用者端末１は、配信されたコンテンツに従って、映像表示部と付随データ表示部とを映像区間毎に動的に変化させながら表示する。すなわち本実施形態によれば、コンテンツの表示態様を映像区間毎に自動的に決定し、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することができる。従って、本実施形態によれば、コンテンツ作成者は、個々の情報（すなわち映像及び付随データ）に対して表示画面毎に画面構成を設計しなくても、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することができる。また、本実施形態によれば、映像及び付随データの内容に応じて、映像区間毎に映像と付随データとの表示態様を適応的に決定し表示できるので、効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。

本実施形態によれば、コンテンツ配信サーバ２は、映像データと付随データとを視聴する側の要求条件である端末の表示画面に基づいて、コンテンツの表示態様を適応的に決定する。そのため、任意の表示画面に対して効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。

第２の実施形態：
次に、本発明の第２の実施形態のコンテンツ表示システムについて説明する。図６は、第２の実施形態のコンテンツ表示システムを示している。図６に示すように、第２の実施形態のコンテンツ表示システムでは、コンテンツ配信サーバ４に含まれるコンテンツ表示態様決定部４１の機能が、第１の実施形態で示したコンテンツ表示態様決定部２１の機能と異なっている。また第２の実施形態のシステムは、利用者端末１が、リクエスト情報１Ａ及び表示画面情報１Ｂに加えて、重要度バランス情報１Ｃを、通信ネットワークを介してコンテンツ配信サーバ４に送信する点で、第１の実施形態のものと異なっている。なお、第２の実施形態において、コンテンツデータベース３及び分割パターン蓄積部３４が蓄積する情報は、第１の実施形態におけるそれらが蓄積する情報と同様であり、利用者端末１の機能は、リクエスト情報１Ａ及び表示画面情報１Ｂに加えて重要度バランス情報１Ｃを送信することを除いて、第１の実施形態における利用者端末１の機能と同様であり、コンテンツ配信サーバ４のコンテンツ変換部２２及びコンテンツ配信部２３の機能は、第１の実施形態におけるそれらの機能と同様である。

第２の実施形態のシステムにおいて、コンテンツ表示態様決定部４１は、リクエスト情報１Ａ、表示画面情報１Ｂ及び重要度バランス情報１Ｃを、通信ネットワークを介して利用者端末１から受信する機能を備える。本実施形態では、コンテンツ表示態様決定部４１は、重要度バランス情報（重要度情報ともいう）１Ｃとして、利用者の嗜好又は各映像区間の重要度と対応する各付随データの重要度とのバランスを示す情報を受信する。

また、コンテンツ表示態様決定部４１は、利用者端末１から与えられた（受信した）リクエスト情報１Ａ、表示画面情報１Ｂ及びコンテンツ重要度情報１Ｃと、メタデータとに基づいて、配信要求されたコンテンツの表示態様を決定する機能を備える。この場合、コンテンツ表示態様決定部４１は、表示画面情報１Ｂ、映像メタデータや付随メタデータなどの各メタデータ、及び重要度バランス情報１Ｃのうち、少なくとも１つに基づいて、表示態様を決定する。

さらに第２の実施形態では、コンテンツ表示態様決定部４１は、映像区間毎に、リクエスト（配信要求）された映像とその映像に対応する付随データとを利用者端末１で表示するときの表示態様を決定する。また、コンテンツ表示態様決定部４１は、決定した表示態様を示す表示態様決定情報４１Ａを生成し、コンテンツ変換部２２に出力する機能を備える。

ここで、コンテンツ重要度とは、利用者が配信を希望する映像データと付随データとの間の重要度バランスである。本実施形態では、具体的には、コンテンツ表示態様決定部４１は、分割パターン蓄積部３４に用意された分割パターンのそれぞれを用いて、各映像区間に対して表示画面を映像表示部と付随データ表示部とに分割し、表示画面を分割した上で、映像表示部に表示される映像及び付随データ表示部に表示される付随データから構成されるコンテンツ全体の評価値を、コンテンツ重要度を考慮しながら求める。そしてコンテンツ表示態様決定部４１は、評価値が最適となる場合、例えば、値が最大となる場合の分割パターンを、表示画面の分割に用いる分割パターンとして映像区間毎に決定する。

ここで表示態様決定情報４１Ａは、映像変換パラメータと、付随データ変換パラメータと、レイアウト情報とを含む。映像変換パラメータは、決定した表示態様に適応するように映像を変換するためのパラメータである。付随データ変換パラメータは、決定した表示態様に適応するように付随データを変換するためのパラメータである。レイアウト情報は、映像と付随データとの配置レイアウトすなわち分割パターンを記述した情報である。なお、映像データと付随データとの間の重要度バランスは、利用者から提供される、すなわち利用者端末１から受信する代わりに、コンテンツの制作者側から予め提供されてもよい。

次に、第２の実施形態のコンテンツ表示システムの動作について説明する。まず、コンテンツ配信サーバ４が利用者端末１からの要求に応じてコンテンツを配信する動作を説明する。

利用者は、コンテンツを視聴したい場合、利用者端末１を操作して、視聴したいコンテンツの配信要求を入力指示する。利用者端末１は、利用者の操作に従って、リクエスト情報１Ａ、表示画面情報１Ｂ及び重要度バランス情報１Ｃを、通信ネットワーク４０を介してコンテンツ配信サーバ４に送信する。すると、コンテンツ配信サーバ４のコンテンツ表示態様決定部４１は、受信したリクエスト情報１Ａ、表示画面情報１Ｂ及び重要度バランス情報１Ｃと、コンテンツデータベース３が蓄積するメタデータとに基づいて、コンテンツの表示態様を決定する。なお、コンテンツ変換部２２が変換済コンテンツを生成する処理、及びコンテンツ配信部２３が変換済コンテンツを配信する処理は、図３で示したステップＳ１３からステップＳ１６までの処理と同様である。

次に、コンテンツ表示態様決定部４１がコンテンツの表示態様を決定する動作について説明する。図７は、第２の実施形態においてコンテンツ表示態様決定部がコンテンツの表示態様を決定する処理を示している。

コンテンツ表示態様決定部４１は、第１の実施形態の場合と同様に、受信したリクエスト情報１Ａに基づいて、配信要求されたコンテンツの映像データと、配信要求されたコンテンツの各付随データとをコンテンツデータベース３から抽出する。また、コンテンツ表示態様決定部４１は、配信要求されたコンテンツに対応する各メタデータを、それぞれコンテンツデータベース３から抽出する。コンテンツ表示態様決定部４１は、抽出したメタデータに基づいて、映像データに含まれる各映像区間を特定する。

次にコンテンツ表示態様決定部４１は、ステップＳ１０１ａにおいて、映像区間の特定結果に基づいて、表示対象とする映像区間を指定する。本実施形態では、予め分割パターンをｎ個用意しておき、分割パターン蓄積部３４がｎ個の分割パターンを蓄積しているものとする。コンテンツ表示態様決定部４１は、ステップＳ１０２ａにおいて、所定の変数ｋをｋ＝１と初期化し、コンテンツ価値の最大値をＶ_ｍａｘ＝０と初期化する。

次にコンテンツ表示態様決定部４１は、ステップＳ１０３ａにおいて、分割パターン蓄積部３４から、ｋ番目の分割パターンを読み込み、ステップＳ１０４ａにおいて、読み込んだ分割パターンに基づいて、処理対象の映像区間に対して、表示画面を映像表示部と付随データ表示部とに分割する。次に、コンテンツ表示態様決定部４１は、ステップＳ１０５ａにおいて、映像表示部に最適な形で映像を変換し、変換後の映像を映像表示部に表示した場合に映像がもつ価値（最大価値）を、予め定めた評価関数を用いて算出する。一般に映像を縮小すればする程映像を視聴しにくくなるので、コンテンツ表示態様決定部４１は、評価関数を用いて、例えば、映像を縮小するに従って低くなるように映像の価値を求める。

コンテンツ表示態様決定部４１は、ステップＳ１０６ａにおいて、付随データ表示部に最適な形で映像区間に対応する付随データを変換し、変換後の付随データを付随データ表示部に表示した場合に付随データがもつ価値（最大価値）を、予め定めた評価関数を用いて算出する。例えば、一般に表示画面に表示する付随データの項目数を減らす程、表示できる情報量が少なくなる反面、付随データの表示に要するページ数が減り、付随データが見やすくなる。そのため、コンテンツ表示態様決定部４１は、表示する付随データの項目数とそれら項目の重要度、及び表示に要するページ数を変数とする評価関数を用いて、変換後の付随データがもつ価値を決定する。

さらにコンテンツ表示態様決定部４１は、ステップＳ１０７ａにおいて、変換後の映像及び付随データに基づいて、表示画面に表示したコンテンツ（すなわち映像及び付随データ）全体の価値Ｖを、予め定めた評価関数を用いて算出する。本実施形態ではコンテンツ表示態様決定部４１は、映像及び付随データ双方の価値をコンテンツ重要度情報１Ｃに基づいて重み付けした評価関数を用いて、コンテンツ全体の価値Ｖを算出する。この場合、コンテンツ表示態様決定部４１は、例えば、最もシンプルな方法として、単純に映像及び付随データ双方の価値を、コンテンツ重要度情報１Ｃに基づいて重み付けして加算する。

ここで、コンテンツ表示態様決定部４１がコンテンツ全体の価値Ｖを評価するために用いるコンテンツ価値算出用評価関数の例を示す。例えば、コンテンツ価値算出用評価関数Ｖ（ｘ）は、映像価値算出用評価関数ｇ（ｘ）と、付随データ価値算出用評価関数ｈ（ｘ）との加重和として、式（１０）を用いて表すことができる
Ｖ（ｘ）＝ｆ（ｇ（ｘ），ｈ（ｘ），ｗ）＝ｗｇ（ｘ）＋（１−ｗ）ｈ（ｘ） （１０）
なお、式（１０）において、ｗは映像の重要度を示し、（１−ｗ）は付随データの重要度を示している。

次にコンテンツ表示態様決定部４１は、ステップＳ１０８ａにおいて、求めたコンテンツ全体の価値Ｖがコンテンツ価値の最大値Ｖ_ｍａｘより大きいか否かを判定する。算出したコンテンツ全体の価値Ｖがコンテンツ価値の最大値Ｖ_ｍａｘより大きいと判断すると、コンテンツ表示態様決定部４１は、ステップＳ１０９ａにおいて、Ｖ_ｍａｘにＶを代入し、Ｖ_ｍａｘの値を更新し、現在の処理対象のｋ番目の分割パターンについて、映像表示部での最適な表示を実現する映像変換パラメータ、及び付随データ表示部での最適な表示を実現する付随データ変換パラメータを生成し、ｋ番目の分割パターンと、生成した映像変換パラメータ及び付随データ変換パラメータとを、あわせてメモリ等の記憶装置に保存する。

Ｖ_ｍａｘの値を更新し、分割パターン、映像変換パラメータ及び付随データ変換パラメータを保存すると、コンテンツ表示態様決定部４１は、ステップＳ１１０ａにおいて、変数ｋに１加算する。ステップＳ１０８ａで、コンテンツ全体の価値Ｖがコンテンツ価値の最大値Ｖ_ｍａｘより大きくないと判断した場合には、コンテンツ表示態様決定部４１は、ステップＳ１０９ａの処理を実行せずに、そのまま変数ｋに１加算する。

次にコンテンツ表示態様決定部４１は、ステップＳ１１１ａにおいて、変数ｋの値がｎより大きいか否かを判断する。変数ｋの値がｎより大きいと判断すると、コンテンツ表示態様決定部４１は、全ての分割パターンについて処理を完了したと判断し、そのままステップＳ１１２ａの処理に移行する。変数ｋの値がｎより大きくないと判断すると、コンテンツ表示態様決定部４１は、ステップＳ１０３ａに戻り、ステップＳ１０３ａからステップＳ１１０ａまでの処理を繰り返し実行する。すなわち、コンテンツ表示態様決定部４１は、未処理の分割パターンが存在すると判断し、分割パターン蓄積部３４が蓄積する次の分割パターンを読み出して、その分割パターンを用いた時のコンテンツ価値を評価する。

一方、ステップＳ１１１ａにおいて変数ｋの値がｎより大きいと判断すると、コンテンツ表示態様決定部４１は、ステップＳ１１２ａにおいて、記憶装置に現在記憶している分割パターン、映像変換パラメータ及び付随データ変換パラメータを抽出し出力する。すなわち、コンテンツ表示態様決定部４１は、コンテンツ価値Ｖが最大となる時の分割パターン、映像変換パラメータ及び付随データ変換パラメータをコンテンツ変換部２２に出力する。この場合、コンテンツ表示態様決定部４１は、コンテンツ価値Ｖが最大となる時の分割パターンを用いた表示画面上の配置レイアウトを示すレイアウト情報を生成し、映像変換パラメータ、付随データ変換パラメータ及びレイアウト情報を含む表示態様決定情報４１Ａをコンテンツ変換部２２に出力する。

以上に示すように、コンテンツ表示態様決定部４１は、ステップＳ１０１ａからステップＳ１１２ａまでの処理を実行することによって、分割パターンを変えながら、すなわちｋを１ずつインクリメントしながら（ｋ＝ｋ＋１）、全ての分割パターンについてコンテンツ全体の価値を算出する。そして、コンテンツ表示態様決定部４１は、コンテンツ全体の価値が最も高い分割パターンを、映像と付随データとの配置レイアウトとして採用する。

コンテンツ表示態様決定部４１は、以上に示すプロセスを、配信要求された映像データに含まれる映像区間毎に繰り返し、映像区間毎に、全ての分割パターンについてコンテンツ価値を算出して配置レイアウトを決定し、表示態様決定情報４１Ａを出力する。

以上説明したようにこの第２の実施形態によれば、コンテンツ配信サーバ４は、映像データに含まれる映像区間毎に、映像及び対応する付随データの内容に合わせてコンテンツの表示態様を適応的に決定する。また、コンテンツ配信サーバ４は、決定した表示態様に従って変換したコンテンツを利用者端末１に配信する。そして、利用者端末１は、配信されたコンテンツに従って、映像表示部と付随データ表示部とを映像区間毎に動的に変化させながら表示する。すなわち、本実施形態によれば、コンテンツの表示態様を映像区間毎に自動的に決定し、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することができる。従って、コンテンツ作成者が個々の情報（すなわち映像及び付随データ）に対して表示画面毎に画面構成を設計しなくても、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することができる。

第２の実施形態によれば、映像及び付随データの内容に応じて、映像区間毎に映像と付随データとの表示態様を適応的に決定し表示できるので、効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。また、本実施形態によれば、コンテンツ配信サーバ４は、映像データと付随データとを視聴する側の要求条件である端末の表示画面に基づいて、コンテンツの表示態様を適応的に決定する。そのため、任意の表示画面に対して効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。さらに、コンテンツ配信サーバ４は、映像データと付随データとを視聴する側の要求条件である重要度バランスに基づいて、コンテンツの表示態様を適応的に決定するので、本実施形態によれば、利用者の嗜好に合わせて効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。

第３の実施形態：
次に、本発明の第３の実施形態のコンテンツ表示システムについて説明する。図８は、第３の実施形態のコンテンツ表示システムの構成を示している。このコンテンツ表示システムでは、コンテンツ配信サーバ５に含まれるコンテンツ表示態様決定部５１の機能が、第２の実施形態で示したコンテンツ表示態様決定部４１の機能と異なっている。また、このコンテンツ表示システムは、分割パターン蓄積部３４に代えて重畳パターン蓄積部３５を含む点で、第２の実施形態のものと異なっている。第３の実施形態において、コンテンツデータベース３が蓄積する情報は、第２の実施形態におけるコンテンツデータベース３が蓄積する情報と同様であり、利用者端末１の機能は、第２の実施形態における利用者端末１の機能と同様であり、コンテンツ配信サーバ５のコンテンツ変換部２２及びコンテンツ配信部２３の機能は、第２の実施形態におけるそれらの機能と同様である。

重畳パターン蓄積部３５は、表示画面において付随データを映像データに重畳させて表示させるパターンを示した重畳パターンを予め複数蓄積するものであって、具体的には、磁気ディスク装置や光ディスク装置等のデータベース装置によって実現される。重畳パターン蓄積部３５は、重畳パターンとして、例えば、映像の上下左右に付随データを重畳させるパターンや、縦書き又は横書きで付随データを重畳させるパターンを蓄積する。さらに重畳パターン蓄積部３５は、重畳パターンとして、付随データを重畳させるための様々な面積の矩形領域を蓄積する。

コンテンツ表示態様決定部５１は、リクエスト情報１Ａ、表示画面情報１Ｂ及び重要度バランス情報１Ｃを、通信ネットワーク４０を介して利用者端末１から受信する機能と、利用者端末１から与えられた（受信した）リクエスト情報１Ａ、表示画面情報１Ｂ及びコンテンツ重要度情報１Ｃと、メタデータとに基づいて、配信要求されたコンテンツの表示態様を決定する機能と、を備える。本実施形態では、コンテンツ表示態様決定部５１は、映像区間毎に、リクエスト（配信要求）された映像とその映像に対応する付随データとを、利用者端末１で表示するときの表示態様を決定する。また、コンテンツ表示態様決定部５１は、決定した表示態様を示す表示態様決定情報５１Ａを生成し、コンテンツ変換部２２に出力する機能も備える。

ここでコンテンツ重要度とは、利用者が配信を希望する映像データと付随データとの間の重要度バランスである。本実施形態では、具体的には、コンテンツ表示態様決定部５１は、重畳パターン蓄積部３５に用意された重畳パターンのそれぞれを用いて、表示画面上の各映像区間に対して付随データを重畳し、このように付随データを重畳した上で、表示画面に表示される映像及び付随データから構成されるコンテンツ全体の評価値を、コンテンツ重要度を考慮しながら求める。そして、コンテンツ表示態様決定部５１は、評価値が最適となる場合（例えば、値が最大となる場合）の重畳パターンを、付随データの重畳表示に用いる重畳パターンとして映像区間毎に決定する。

表示態様決定情報５１Ａは、映像変換パラメータと、付随データ変換パラメータと、レイアウト情報とを含む。映像変換パラメータは、決定した表示態様に適応するように映像を変換するためのパラメータである。付随データ変換パラメータは、決定した表示態様に適応するように付随データを変換するためのパラメータである。レイアウト情報は、映像と付随データとの配置レイアウトすなわち重畳パターンを記述した情報である。なお、映像データと付随データとの間の重要度バランスは、利用者から提供される代わりに、すなわち利用者端末１から受信する代わりに、コンテンツの制作者側から予め提供されてもよい。

次に、第３の実施形態のコンテンツ表示システムの動作について説明する。まず、コンテンツ配信サーバ５が利用者端末１からの要求に応じてコンテンツを配信する動作を説明する。

利用者は、コンテンツを視聴したい場合、利用者端末１を操作して、視聴したいコンテンツの配信要求を入力指示する。利用者端末１は、利用者の操作に従って、リクエスト情報１Ａ、表示画面情報１Ｂ及び重要度バランス情報１Ｃを、通信ネットワーク４０を介してコンテンツ配信サーバ５に送信する。すると、コンテンツ配信サーバ５のコンテンツ表示態様決定部５１は、受信したリクエスト情報１Ａ、表示画面情報１Ｂ及び重要度バランス情報１Ｃと、コンテンツデータベース３が蓄積するメタデータとに基づいて、コンテンツの表示態様を決定する。なお、コンテンツ変換部２２が変換済コンテンツを生成する処理、及びコンテンツ配信部２３が変換済コンテンツを配信する処理は、図３で示したステップＳ１３からステップＳ１６までの処理と同様である。

次に、コンテンツ表示態様決定部５１がコンテンツの表示態様を決定する動作について説明する。図９は、第３の実施形態においてコンテンツ表示態様決定部がコンテンツの表示態様を決定する処理を示している。

コンテンツ表示態様決定部５１は、第１の実施形態の場合と同様に、受信したリクエスト情報１Ａに基づいて、配信要求されたコンテンツの映像データと、配信要求されたコンテンツの各付随データとをコンテンツデータベース３から抽出する。また、コンテンツ表示態様決定部５１は、配信要求されたコンテンツに対応する各メタデータを、それぞれコンテンツデータベース３から抽出する。コンテンツ表示態様決定部５１は、抽出したメタデータに基づいて、映像データに含まれる各映像区間を特定する。

次にコンテンツ表示態様決定部５１は、ステップＳ１０１ｂにおいて、映像区間の特定結果に基づいて、表示対象とする映像区間を指定する。本実施形態では、予め重畳パターンをｎ個用意しておき、重畳パターン蓄積部３５がｎ個の重畳パターンを蓄積しているものとする。コンテンツ表示態様決定部５１は、ステップＳ１０２ｂにおいて、所定の変数ｋをｋ＝１と初期化し、コンテンツ価値の最大値をＶ_ｍａｘ＝０と初期化する。

次にコンテンツ表示態様決定部５１は、ステップＳ１０３ｂにおいて、重畳パターン蓄積部３５から、ｋ番目の重畳パターンを読み込み、ステップＳ１０４ｂにおいて、読み込んだ重畳パターンに基づいて、処理対象の映像区間に対して、映像に付随データを重畳する。次にコンテンツ表示態様決定部５１は、ステップＳ１０５ｂにおいて、映像区間に対応する付随データを最適な形で変換し、変換後の付随データを付随データ表示部に表示した場合に付随データがもつ価値（最大価値）を、予め定めた評価関数を用いて算出する。一般に表示画面に表示する付随データの項目数を減らす程、表示できる情報量が少なくなる反面、付随データの表示に要するページ数が減り、付随データが見やすくなる。そこでコンテンツ表示態様決定部５１は、例えば、表示する付随データの項目数とそれら項目の重要度、及び表示に要するページ数を変数とする評価関数を用いて、変換後の付随データがもつ価値を決定する。

コンテンツ表示態様決定部５１は、ステップＳ１０６ｂにおいて、表示画面に最適な形で映像を変換し、変換後の映像を表示画面に表示した場合に映像がもつ価値（最大価値）を、予め定めた評価関数を用いて算出する。この場合、コンテンツ表示態様決定部５１は、評価関数を用いて、付随データが重畳されることによる価値の減少も考慮した映像価値を求める。コンテンツ表示態様決定部５１は、例えば、空等の映像を邪魔しない箇所に付随データを重畳して表示する場合には、価値が高くなるように映像価値を求める。逆に、コンテンツ表示態様決定部５１は、例えば、主人公の顔の上に付随データを重畳表示する等の映像内容を大きく邪魔する場合には、価値が低くなるように映像価値を求める。

さらにコンテンツ表示態様決定部５１は、ステップＳ１０７ｂにおいて、変換後の映像及び付随データに基づいて、表示画面に表示したコンテンツ（すなわち映像及び付随データ）全体の価値Ｖを、予め定めた評価関数を用いて算出する。本実施形態ではコンテンツ表示態様決定部５１は、映像及び付随データ双方の価値をコンテンツ重要度情報１Ｃに基づいて重み付けした評価関数を用いて、コンテンツ全体の価値Ｖを算出する。

コンテンツ表示態様決定部５１は、ステップＳ１０８ｂにおいて、求めたコンテンツ全体の価値Ｖがコンテンツ価値の最大値Ｖ_ｍａｘより大きいか否かを判定する。算出したコンテンツ全体の価値Ｖがコンテンツ価値の最大値Ｖ_ｍａｘより大きいと判断すると、コンテンツ表示態様決定部５１は、ステップＳ１０９ｂにおいて、Ｖ_ｍａｘにＶを代入し、Ｖ_ｍａｘの値を更新し、現在の処理対象のｋ番目の重畳パターンについて、映像表示部での最適な表示を実現する映像変換パラメータ、及び付随データ表示部での最適な表示を実現する付随データ変換パラメータを生成し、ｋ番目の重畳パターンと、生成した映像変換パラメータ及び付随データ変換パラメータとを、あわせてメモリ等の記憶装置に保存する。

Ｖ_ｍａｘの値を更新し、重畳パターン、映像変換パラメータ及び付随データ変換パラメータを保存すると、コンテンツ表示態様決定部５１は、ステップＳ１１０ｂにおいて、変数ｋに１加算する。ステップＳ１０８ｂで、コンテンツ全体の価値Ｖがコンテンツ価値の最大値Ｖ_ｍａｘより大きくないと判断した場合には、コンテンツ表示態様決定部５１は、ステップＳ１０９ｂの処理を実行せずに、そのまま変数ｋに１加算する。

次にコンテンツ表示態様決定部５１は、ステップＳ１１１ｂにおいて、変数ｋの値がｎより大きいか否かを判断する。変数ｋの値がｎより大きいと判断すると、コンテンツ表示態様決定部５１は、全ての重畳パターンについて処理を完了したと判断し、そのままステップＳ１１２ｂの処理に移行する。変数ｋの値がｎより大きくないと判断すると、コンテンツ表示態様決定部５１は、ステップＳ１０３ｂに戻り、ステップＳ１０３ｂからステップＳ１１０ｂまでの処理を繰り返し実行する。すなわち、コンテンツ表示態様決定部５１は、未処理の重畳パターンが存在すると判断し、重畳パターン蓄積部３５が蓄積する次の重畳パターンを読み出して、その重畳パターンを用いた時のコンテンツ価値を評価する。

一方、ステップＳ１１１ｂにおいて変数ｋの値がｎより大きいと判断すると、コンテンツ表示態様決定部５１は、ステップＳ１１２ｂにおいて、記憶装置に現在記憶している重畳パターン、映像変換パラメータ及び付随データ変換パラメータを抽出し出力する。すなわち、コンテンツ表示態様決定部５１は、コンテンツ価値Ｖが最大となる時の重畳パターン、映像変換パラメータ及び付随データ変換パラメータをコンテンツ変換部２２に出力する。この場合、コンテンツ表示態様決定部５１は、コンテンツ価値Ｖが最大となる時の重畳パターンを用いた表示画面上の配置レイアウトを示すレイアウト情報を生成し、映像変換パラメータ、付随データ変換パラメータ及びレイアウト情報を含む表示態様決定情報５１Ａをコンテンツ変換部２２に出力する。

以上に示すように、コンテンツ表示態様決定部５１は、ステップＳ１０１ｂからステップＳ１１２ｂまでの処理を実行することによって、重畳パターンを変えながら、すなわちｋを１ずつインクリメントしながら（ｋ＝ｋ＋１）、全ての重畳パターンについてコンテンツ全体の価値を算出する。そして、コンテンツ表示態様決定部５１は、コンテンツ全体の価値が最も高い重畳パターンを、映像と付随データとの配置レイアウトとして採用する。

コンテンツ表示態様決定部５１は、以上に示すプロセスを、配信要求された映像データに含まれる映像区間毎に繰り返し、映像区間毎に、全ての重畳パターンについてコンテンツ価値を算出して配置レイアウトを決定し、表示態様決定情報５１Ａを出力する。

以上説明したようにこの第３の実施形態によれば、コンテンツ配信サーバ５は、映像データに含まれる映像区間毎に、映像及び対応する付随データの内容に合わせてコンテンツの表示態様を適応的に決定する。また、コンテンツ配信サーバ５は、決定した表示態様に従って変換したコンテンツを利用者端末１に配信する。そして、利用者端末１は、配信されたコンテンツに従って、映像表示部と付随データ表示部とを映像区間毎に動的に変化させながら表示する。すなわち、本実施形態によれば、コンテンツの表示態様を映像区間毎に自動的に決定し、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することができる。従って、コンテンツ作成者が個々の情報（すなわち映像及び付随データ）に対して表示画面毎に画面構成を設計しなくても、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することができる。

第３の実施形態によれば、映像及び付随データの内容に応じて、映像区間毎に映像と付随データとの表示態様を適応的に決定し表示できるので、効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。また、本実施形態によれば、コンテンツ配信サーバ５は、映像データと付随データとを視聴する側の要求条件である端末の表示画面に基づいて、コンテンツの表示態様を適応的に決定する。そのため、任意の表示画面に対して効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。さらに、本実施形態によれば、コンテンツ配信サーバ５は、映像データと付随データとを視聴する側の要求条件である重要度バランスに基づいて、コンテンツの表示態様を適応的に決定するので、利用者の嗜好に合わせて効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。

第４の実施形態：
次に、本発明の第４の実施形態のコンテンツ表示システムについて説明する。図１０は、第４の実施形態のコンテンツ表示システムの構成を示している。このコンテンツ表示システムでは、コンテンツ配信サーバ６に含まれるコンテンツ表示態様決定部６１の機能が、第２の実施形態で示したコンテンツ表示態様決定部４１の機能と異なっている。また、このコンテンツ表示システムは、分割パターン蓄積部３４に加えて、重畳パターン蓄積部３５を含む点で、第２の実施形態のものと異なっている。第４の実施形態において、コンテンツデータベース３及び分割パターン蓄積部３４が蓄積する情報は、第２の実施形態におけるそれらが蓄積する情報と同様であり、利用者端末１の機能は、第２の実施形態における利用者端末１の機能と同様であり、コンテンツ配信サーバ６のコンテンツ変換部２２及びコンテンツ配信部２３の機能は、第２の実施形態におけるそれらの機能と同様である。

重畳パターン蓄積部３５は、表示画面において付随データを映像データに重畳させて表示させるパターンを示した重畳パターンを予め複数蓄積する。重畳パターン蓄積部３５は、重畳パターンとして、例えば、映像の上下左右に付随データを重畳させるパターンや、縦書き又は横書きで付随データを重畳させるパターンを蓄積する。さらに重畳パターン蓄積部３５は、重畳パターンとして、付随データを重畳させるための様々な面積の矩形領域を蓄積する。

コンテンツ表示態様決定部６１は、リクエスト情報１Ａ、表示画面情報１Ｂ及び重要度バランス情報１Ｃを、通信ネットワーク４０を介して利用者端末１から受信する機能と、利用者端末１から与えられた（受信した）リクエスト情報１Ａ、表示画面情報１Ｂ及びコンテンツ重要度情報１Ｃと、メタデータとに基づいて、配信要求されたコンテンツの表示態様を決定する機能と、を備える。本実施形態では、コンテンツ表示態様決定部６１は、映像区間毎に、リクエスト（配信要求）された映像とその映像に対応する付随データとを、利用者端末１で表示するときの表示態様を決定する。また、コンテンツ表示態様決定部６１は、決定した表示態様を示す表示態様決定情報６１Ａを生成し、コンテンツ変換部２２に出力する機能も備える。

ここでコンテンツ重要度とは、利用者が配信を希望する映像データと付随データとの間の重要度バランスである。本実施形態では、具体的には、コンテンツ表示態様決定部６１は、分割パターン蓄積部３４に用意された分割パターンのそれぞれを用いて、各映像区間に対して表示画面を映像表示部と付随データ表示部とに分割し、このように表示画面を分割した上で、映像表示部に表示される映像及び付随データ表示部に表示される付随データから構成されるコンテンツ全体の評価値を、コンテンツ重要度を考慮しながら求める。そして、コンテンツ表示態様決定部６１は、評価値が最適となる場合（例えば、値が最大となる場合）の分割パターンを、表示画面の分割に用いる分割パターンとして映像区間毎に決定する。本実施形態では、さらにコンテンツ表示態様決定部６１は、重畳パターン蓄積部３５に用意された重畳パターンのそれぞれを用いて、表示画面上の各映像区間に対して付随データを重畳し、このように付随データを重畳した上で、表示画面に表示されている映像及び付随データから構成されるコンテンツ全体の評価値を、コンテンツ重要度を考慮しながら求める。そしてコンテンツ表示態様決定部６１は、評価値が最適となる場合（例えば、値が最大となる場合）の重畳パターンを、付随データの重畳表示に用いる重畳パターンとして映像区間毎に決定する。

評価値が最適となる分割パターンを最適分割パターンとし、評価値が最適となる重畳パターンをを最適重畳パターンとして、コンテンツ表示態様決定部６１は、最適分割パターンの評価値と最適重畳パターンの評価値とを比較し、最適分割パターン及び最適重畳パターンのうち評価値が最適となる方（例えば、値が大きい方）のパターンを、映像及び付随データの表示に用いるパターンとして選択する。

表示態様決定情報６１Ａは、映像変換パラメータと、付随データ変換パラメータと、レイアウト情報とを含む。映像変換パラメータは、決定した表示態様に適応するように映像を変換するためのパラメータである。付随データ変換パラメータは、決定した表示態様に適応するように付随データを変換するためのパラメータである。レイアウト情報は、映像と付随データとの配置レイアウトを記述した情報である。ここでの配置レイアウトは、分割パターン又は重畳パターンである。なお、映像データと付随データとの間の重要度バランスは、利用者から提供される代わりに、すなわち利用者端末１から受信する代わりに、コンテンツの制作者側から予め提供されてもよい。

次に、第４の実施形態のコンテンツ表示システムの動作について説明する。まず、コンテンツ配信サーバ６が利用者端末１からの要求に応じてコンテンツを配信する動作を説明する。

利用者は、コンテンツを視聴したい場合、利用者端末１を操作して、視聴したいコンテンツの配信要求を入力指示する。利用者端末１は、利用者の操作に従って、リクエスト情報１Ａ、表示画面情報１Ｂ及び重要度バランス情報１Ｃを、通信ネットワーク４０を介してコンテンツ配信サーバ６に送信する。すると、コンテンツ配信サーバ６のコンテンツ表示態様決定部６１は、受信したリクエスト情報１Ａ、表示画面情報１Ｂ及び重要度バランス情報１Ｃと、コンテンツデータベース３が蓄積するメタデータとに基づいて、コンテンツの表示態様を決定する。なお、コンテンツ変換部２２が変換済コンテンツを生成する処理、及びコンテンツ配信部２３が変換済コンテンツを配信する処理は、図３で示したステップＳ１３からステップＳ１６までの処理と同様である。

次に、コンテンツ表示態様決定部６１がコンテンツの表示態様を決定する動作について説明する。図１１は、第４の実施形態においてコンテンツ表示態様決定部がコンテンツの表示態様を決定する処理を示している。

コンテンツ表示態様決定部６１は、第１の実施形態の場合と同様に、受信したリクエスト情報１Ａに基づいて、配信要求されたコンテンツの映像データと、配信要求されたコンテンツの各付随データとをコンテンツデータベース３から抽出する。また、コンテンツ表示態様決定部６１は、配信要求されたコンテンツに対応する各メタデータを、それぞれコンテンツデータベース３から抽出する。コンテンツ表示態様決定部６１は、抽出したメタデータに基づいて、映像データに含まれる各映像区間を特定する。

次にコンテンツ表示態様決定部６１は、ステップＳ１０１ｃにおいて、映像区間の特定結果に基づいて、表示対象とする映像区間を指定する。本実施形態では、予め分割パターンをｎ個用意しておき、分割パターン蓄積部３４がｎ個の分割パターンを蓄積しているものとする。コンテンツ表示態様決定部６１は、ステップＳ１０２ａにおいて、所定の変数ｋをｋ＝１と初期化し、コンテンツ価値の最大値をＶ_ｍａｘ＝０と初期化する。

次にコンテンツ表示態様決定部６１は、ステップＳ１０３ａにおいて、分割パターン蓄積部３４から、ｋ番目の分割パターンを読み込み、ステップＳ１０４ａにおいて、読み込んだ分割パターンに基づいて、処理対象の映像区間に対して、表示画面を映像表示部と付随データ表示部とに分割する。次にコンテンツ表示態様決定部６１は、ステップＳ１０５ａにおいて、映像表示部に最適な形で映像を変換し、変換後の映像を映像表示部に表示した場合に映像がもつ価値（最大価値）を、予め定めた評価関数を用いて算出する。一般に映像を縮小すればする程映像を視聴しにくくなるので、コンテンツ表示態様決定部６１は、評価関数を用いて、例えば、映像を縮小するに従って低くなるように映像の価値を求める。同様にコンテンツ表示態様決定部６１は、ステップＳ１０６ａにおいて、付随データ表示部に最適な形で映像区間に対応する付随データを変換し、変換後の付随データを付随データ表示部に表示した場合に付随データがもつ価値（最大価値）を、予め定めた評価関数を用いて算出する。一般に表示画面に表示する付随データの項目数を減らす程、表示できる情報量が少なくなる反面、付随データの表示に要するページ数が減り、付随データが見やすくなる。そこでコンテンツ表示態様決定部６１は、表示する付随データの項目数とそれら項目の重要度、及び表示に要するページ数を変数とする評価関数を用いて、変換後の付随データがもつ価値を決定する。

次にコンテンツ表示態様決定部６１は、ステップＳ１０７ａにおいて、変換後の映像及び付随データに基づいて、表示画面に表示したコンテンツ（すなわち映像及び付随データ）全体の価値Ｖを、予め定めた評価関数を用いて算出する。本実施形態では、コンテンツ表示態様決定部６１は、映像及び付随データ双方の価値をコンテンツ重要度情報１Ｃに基づいて重み付けした評価関数を用いて、コンテンツ全体の価値Ｖを算出する。この場合、コンテンツ表示態様決定部６１は、例えば、最もシンプルな方法として、単純に映像及び付随データ双方の価値を、コンテンツ重要度情報１Ｃに基づいて重み付けして加算する。

コンテンツ表示態様決定部６１は、ステップＳ１０８ａにおいて、求めたコンテンツ全体の価値Ｖがコンテンツ価値の最大値Ｖ_ｍａｘより大きいか否かを判定する。算出したコンテンツ全体の価値Ｖがコンテンツ価値の最大値Ｖ_ｍａｘより大きいと判断すると、コンテンツ表示態様決定部６１は、ステップＳ１０９ａにおいて、Ｖ_ｍａｘにＶを代入し、Ｖ_ｍａｘの値を更新し、現在の処理対象のｋ番目の分割パターンについて、映像表示部での最適な表示を実現する映像変換パラメータ、及び付随データ表示部での最適な表示を実現する付随データ変換パラメータ生成し、ｋ番目の分割パターンと、生成した映像変換パラメータ及び付随データ変換パラメータとを、あわせてメモリ等の記憶装置に保存する。

Ｖ_ｍａｘの値を更新し、分割パターン、映像変換パラメータ及び付随データ変換パラメータを保存すると、コンテンツ表示態様決定部６１は、ステップ１１０ｂにおいて、変数ｋに１加算する）。ステップＳ１０８ａで、コンテンツ全体の価値Ｖがコンテンツ価値の最大値Ｖ_ｍａｘより大きくないと判断した場合には、コンテンツ表示態様決定部６１は、ステップＳ１０９ａの処理を実行せずに、そのまま変数ｋに１加算する。

次にコンテンツ表示態様決定部６１は、ステップＳ１１１ａにおいて、変数ｋの値がｎより大きいか否かを判断する。変数ｋの値がｎより大きいと判断すると、コンテンツ表示態様決定部６１は、全ての分割パターンについて処理を完了したと判断し、そのままステップＳ１１２ａの処理に移行する。変数ｋの値がｎより大きくないと判断すると、コンテンツ表示態様決定部６１は、ステップＳ１０３ａに戻り、ステップＳ１０３ａからステップＳ１１０ａまでの処理を繰り返し実行する。すなわち、コンテンツ表示態様決定部６１は、未処理の分割パターンが存在すると判断し、分割パターン蓄積部３４が蓄積する次の分割パターンを読み出して、その分割パターンを用いた時のコンテンツ価値を評価する。

一方、ステップＳ１１１ａにおいて変数ｋの値がｎより大きいと判断すると、コンテンツ表示態様決定部６１は、ステップＳ１１２ａにおいて、記憶装置に現在記憶している分割パターン、映像変換パラメータ及び付随データ変換パラメータを抽出し出力する。すなわち、コンテンツ表示態様決定部６１は、コンテンツ価値Ｖが最大となる時の分割パターン、映像変換パラメータ及び付随データ変換パラメータを出力する。

以上に示したように、コンテンツ表示態様決定部６１は、ステップＳ１０２ａからステップＳ１１２ａまでの処理を実行することによって、分割パターンを変えながら、すなわちｋを１ずつインクリメントさせながら（ｋ＝ｋ＋１）、全ての分割パターンについてコンテンツ全体の価値を算出する。そして、コンテンツ表示態様決定部６１は、コンテンツ全体の価値が最も高い分割パターンを、映像と付随データとの配置レイアウトとして採用する。

また本実施形態では、予め重畳パターンをｍ個用意しておき、重畳パターン蓄積部３５がｎ個の重畳パターンを蓄積しているものとする。コンテンツ表示態様決定部６１は、ステップＳ１０２ｂにおいて、各重畳パターンについて処理を行う際に用いる各変数やパラメータを初期化する。本実施形態では、所定の変数ｌをｌ＝１と初期化し、所定値Ｗ_ｍａｘをＷ_ｍａｘ＝０と初期化する。なお、変数ｌは、コンテンツ表示態様決定部６１が、重畳パターン蓄積部３５が蓄積する重畳パターンのうち、現在何番目の重畳パターンを用いて処理を行っているかを示す変数である。Ｗ_ｍａｘは、コンテンツ表示態様決定部６１が重畳パターン毎に求めるコンテンツ価値の最大値を示す。

次にコンテンツ表示態様決定部６１は、ステップＳ１０３ｂにおいて、重畳パターン蓄積部３５から、ｌ番目の重畳パターンを読み込み、ステップＳ１０４ｂにおいて、読み込んだ重畳パターンに基づいて、処理対象の映像区間に対して、映像に付随データを重畳する。次にコンテンツ表示態様決定部６１は、ステップＳ１０５ｂにおいて、映像区間に対応する付随データを最適な形で変換し、変換後の付随データを付随データ表示部に表示した場合に付随データがもつ価値（最大価値）を、予め定めた評価関数を用いて算出する。一般に表示画面に表示する付随データの項目数を減らす程、表示できる情報量が少なくなる反面、付随データの表示に要するページ数が減り、付随データが見やすくなる。そこでコンテンツ表示態様決定部６１は、例えば、表示する付随データの項目数とそれら項目の重要度、及び表示に要するページ数を変数とする評価関数を用いて、変換後の付随データがもつ価値を決定する。

コンテンツ表示態様決定部６１は、ステップＳ１０６ｂにおいて、表示画面に最適な形で映像を変換し、変換後の映像を表示画面に表示した場合に映像がもつ価値（最大価値）を、予め定めた評価関数を用いて算出する。この場合、コンテンツ表示態様決定部６１は、評価関数を用いて、付随データが重畳されることによる価値の減少も考慮した映像価値を求める。コンテンツ表示態様決定部６１は、例えば、空や単一色の背景等の映像を邪魔しない箇所に付随データを重畳して表示する場合には、価値が高くなるように映像価値を求める。逆に、コンテンツ表示態様決定部６１は、例えば、主人公の顔の上に付随データを重畳表示する等の映像内容を大きく邪魔する場合には、価値が低くなるように映像価値を求める。

さらにコンテンツ表示態様決定部６１は、ステップＳ１０７ｂにおいて、変換後の映像及び付随データに基づいて、表示画面に表示したコンテンツ（すなわち映像及び付随データ）全体の価値Ｗを、予め定めた評価関数を用いて算出する。本実施形態ではコンテンツ表示態様決定部６１は、映像及び付随データ双方の価値をコンテンツ重要度情報１Ｃに基づいて重み付けした評価関数を用いて、コンテンツ全体の価値Ｖを算出する。

コンテンツ表示態様決定部６１は、ステップＳ１０８ｂにおいて、求めたコンテンツ全体の価値Ｗがコンテンツ価値の最大値Ｗ_ｍａｘより大きいか否かを判定する。算出したコンテンツ全体の価値Ｗがコンテンツ価値の最大値Ｗ_ｍａｘより大きいと判断すると、コンテンツ表示態様決定部６１は、ステップＳ１０９ｂにおいて、Ｗ_ｍａｘにＷを代入し、Ｗ_ｍａｘの値を更新し、現在の処理対象のｌ番目の重畳パターンについて、映像表示部での最適な表示を実現する映像変換パラメータ、及び付随データ表示部での最適な表示を実現する付随データ変換パラメータを生成し、ｌ番目の重畳パターンと、生成した映像変換パラメータ及び付随データ変換パラメータとを、あわせてメモリ等の記憶装置に保存する。

Ｗ_ｍａｘの値を更新し、重畳パターン、映像変換パラメータ及び付随データ変換パラメータを保存すると、コンテンツ表示態様決定部６１は、ステップＳ１１０ｂにおいて、変数ｌに１加算する。ステップＳ１０８ｂで、コンテンツ全体の価値Ｗがコンテンツ価値の最大値Ｗ_ｍａｘより大きくないと判断した場合には、コンテンツ表示態様決定部６１は、ステップＳ１０９ｂの処理を実行せずに、そのまま変数ｌに１加算する。

次にコンテンツ表示態様決定部６１は、ステップＳ１１１ｂにおいて、変数ｌの値がｍより大きいか否かを判断する。変数ｌの値がｍより大きいと判断すると、コンテンツ表示態様決定部６１は、全ての重畳パターンについて処理を完了したと判断し、そのままステップＳ１１２ｂの処理に移行する。変数ｌの値がｍより大きくないと判断すると、コンテンツ表示態様決定部６１は、ステップＳ１０３ｂに戻り、ステップＳ１０３ｂからステップＳ１１０ｂまでの処理を繰り返し実行する。すなわち、コンテンツ表示態様決定部６１は、未処理の重畳パターンが存在すると判断し、重畳パターン蓄積部３５が蓄積する次の重畳パターンを読み出して、その重畳パターンを用いた時のコンテンツ価値を評価する。

一方、ステップＳ１１１ｂにおいて変数ｌの値がｍより大きいと判断すると、コンテンツ表示態様決定部６１は、ステップＳ１１２ｂにおいて、記憶装置に現在記憶している重畳パターン、映像変換パラメータ及び付随データ変換パラメータを抽出し出力する。すなわち、コンテンツ表示態様決定部６１は、コンテンツ価値Ｗが最大となる時の重畳パターン、映像変換パラメータ及び付随データ変換パラメータを出力する。

以上に示すように、コンテンツ表示態様決定部６１は、ステップＳ１０２ｂからステップＳ１１２ｂまでの処理を実行することによって、重畳パターンを変えながら、すなわちｋを１ずつインクリメントしながら（ｌ＝ｌ＋１）、全ての重畳パターンについてコンテンツ全体の価値を算出する。そして、コンテンツ表示態様決定部６１は、コンテンツ全体の価値が最も高い重畳パターンを、映像と付随データとの配置レイアウトとして採用する。

このようにして、映像と付随データとの配置レイアウトとして採用されるべき分割パターン及び重畳パターンが定まると、コンテンツ表示態様決定部６１は、ステップＳ１１２ａにおいて採用した分割パターンすなわち最適分割パターンに対応する評価値Ｖ_ｍａｘと、ステップＳ１１２ｂにおいて採用した重畳バターンすなわち最適重畳パターンに対応する評価値Ｗ_ｍａｘとを比較し、最適分割パターン及び最適重畳パターンのうち、より高い評価値をもつ方のパターンを、映像及び付随データの表示に用いるパターンとして最終的に採用する。具体的には本実施形態では、ステップＳ１１３ｃにおいて、コンテンツ表示態様決定部６１は、評価値Ｖ_ｍａｘが評価値Ｗ_ｍａｘより大きいか否かを判断する。評価値Ｖ_ｍａｘが評価値Ｗ_ｍａｘより大きいと判断すると、コンテンツ表示態様決定部６１は、ステップＳ１１４ｃにおいて、コンテンツ価値Ｖが最大となる時の分割パターン、映像変換パラメータ及び付随データ変換パラメータをコンテンツ変換部２２に出力する。この場合、コンテンツ表示態様決定部６１は、コンテンツ価値Ｖが最大となる時の分割パターンを用いた表示画面上の配置レイアウトを示すレイアウト情報を生成し、映像変換パラメータ、付随データ変換パラメータ及びレイアウト情報を含む表示態様決定情報６１Ａをコンテンツ変換部２２に出力する。一方、ステップＳ１１３ｃにおいて評価値Ｖ_ｍａｘが評価値Ｗ_ｍａｘより大きくないと判断した場合には、コンテンツ表示態様決定部６１は、ステップＳ１１５ｃにおいて、コンテンツ価値Ｖが最大となる時の重畳パターン、映像変換パラメータ及び付随データ変換パラメータをコンテンツ変換部２２に出力する。この場合、コンテンツ表示態様決定部６１は、コンテンツ価値Ｖが最大となる時の重畳パターンを用いた表示画面上の配置レイアウトを示すレイアウト情報を生成し、映像変換パラメータ、付随データ変換パラメータ及びレイアウト情報を含む表示態様決定情報６１Ａをコンテンツ変換部２２に出力する。

コンテンツ表示態様決定部６１は、以上に示したプロセスを、配信要求された映像データに含まれる映像区間毎に繰り返す。そして、コンテンツ表示態様決定部６１は、映像区間毎に、全ての分割パターン及び重畳パターンについてコンテンツ価値を算出して配置レイアウトを決定し、表示態様決定情報６１Ａを出力する。

以上説明したようにこの第４の実施形態によれば、コンテンツ配信サーバ６は、映像データに含まれる映像区間毎に、映像及び対応する付随データの内容に合わせてコンテンツの表示態様を適応的に決定する。また、コンテンツ配信サーバ６は、決定した表示態様に従って変換したコンテンツを利用者端末１に配信する。そして、利用者端末１は、配信されたコンテンツに従って、映像表示部と付随データ表示部とを映像区間毎に動的に変化させながら表示する。すなわち、本実施形態によれば、コンテンツの表示態様を映像区間毎に自動的に決定し、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することができる。従って、コンテンツ作成者が個々の情報（すなわち映像及び付随データ）に対して表示画面毎に画面構成を設計しなくても、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することができる。

第４の実施形態によれば、映像及び付随データの内容に応じて、映像区間毎に映像と付随データとの表示態様を適応的に決定し表示できるので、効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。また、本実施形態によれば、コンテンツ配信サーバ６は、映像データと付随データとを視聴する側の要求条件である端末の表示画面に基づいて、コンテンツの表示態様を適応的に決定する。そのため、任意の表示画面に対して効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。さらに、本実施形態によれば、コンテンツ配信サーバ６は、映像データと付随データとを視聴する側の要求条件である重要度バランスに基づいて、コンテンツの表示態様を適応的に決定するので、利用者の嗜好に合わせて効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。

第５の実施形態：
次に、本発明の第５の実施形態のコンテンツ表示システムについて説明する。上述の第１乃至第４の実施形態のコンテンツ表示システムでは、利用者端末１からのリクエストに応じてコンテンツ配信サーバがコンテンツを変換し、コンテンツ配信サーバが変換済コンテンツを利用者端末１に配信していた。これに対し第５の実施形態では、利用者がリクエストしたコンテンツそのものを端末で直接受け取って、利用者端末や利用者ホームサーバでコンテンツを変換し表示するように構成したコンテンツ表示システムを説明する。本実施形態において、利用者端末は、例えば、インターネットを介してコンテンツそのものをダウンロードし、ダウンロードしたコンテンツを変換して表示する。あるいは利用者端末は、例えば、予めコンテンツを蓄積するデータベースを備え、予め蓄積するコンテンツを変換して表示する。図１２は、第５の実施形態のコンテンツ表示システムの構成を示している。

図１２に示すように、本実施形態のコンテンツ表示システムは、利用者端末７、キーボードやマウス等の入力装置８、ディスプレイ装置や液晶表示部等の表示部９、コンテンツデータベース３及び分割パターン蓄積部３４を含んでいる。

コンテンツデータベース３は、コンテンツ製作者によって作成されたコンテンツを蓄積するものであって、映像データ蓄積部３１、映像付随データ蓄積部３２及びメタデータ蓄積部３３を含む。映像データ蓄積部３１は、画面に表示されるための映像データを格納する。映像付随データ蓄積部３２は、映像と共に表示されるべき情報である付随データを格納する。メタデータ蓄積部３３は、コンテンツ表示態様の決定に用いられるメタデータを格納する。

分割パターン蓄積部３４は、表示画面を映像表示部と付随データ表示部とに分割するパターンを示した、分割パターンを予め複数蓄積する。

利用者端末７は、利用者が使用する端末であり、具体的には、パーソナルコンピュータや携帯電話機、ＰＤＡ等の情報処理端末である。なお、利用者端末７は、これら利用者が使用する情報処理端末に限らず、コンテンツを表示可能な表示部を備えた他のコンテンツ表示端末であってもよい。例えば、利用者端末７は、テレビジョン受信機や、電光掲示板を搭載した端末、カーナビゲーション端末等であってもよい。図１２に示すように、利用者端末７は、コンテンツ表示態様決定部７１と、コンテンツ変換部７２とを含む。

コンテンツ表示態様決定部７１は、利用者の操作に従って、リクエスト情報１Ａ及び表示画面情報１Ｂを、入力装置８から入力する機能と、入力装置８から与えられた（入力された）リクエスト情報１Ａ及び表示画面情報１Ｂを用いて、第１の実施形態におけるコンテンツ表示態様決定部２１と同様の処理を行って、コンテンツの表示態様を決定する機能と、決定した表示態様を示す表示態様決定情報７１Ａを生成し、コンテンツ変換部７２に出力する機能を備える。

図１２に示すように、コンテンツ変換部７２は、映像データ変換部７２１と、付随データ変換部７２２と、コンテンツ配置部７２３とを含む。映像データ変換部７２１、付随データ変換部７２２及びコンテンツ配置部７２３の機能は、第１の実施形態で示したそれらの機能と同様である。本実施形態では、変換済コンテンツをコンテンツ配信サーバが利用者端末に配信する代わりに、コンテンツ変換部７２が変換済コンテンツに基づいて映像及び付随データをコンテンツ表示部９に表示させる。

第５の実施形態において、利用者端末７の記憶装置（図示せず）は、映像データ及び付随データを含むコンテンツを表示するための各種プログラムを記憶している。例えば、利用者端末７の記憶装置は、コンピュータに、映像区間毎に、コンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を決定する処理と、映像区間毎に、決定した表示態様に従って、映像データと付随データとを配置したコンテンツを生成する処理と、映像データと付随データとを配置したコンテンツを表示する処理とを実行させるためのコンテンツ表示プログラムを記憶している。

このコンテンツ表示システムにおいて、コンテンツ表示態様決定部７１は、リクエスト情報１Ａ及び表示画面情報１Ｂに加えて、重要度バランス情報１Ｃを入力装置８から入力するものであってよく、この場合、コンテンツ表示態様決定部７１は、リクエスト情報１Ａ及び表示画面情報１Ｂに加えて、重要度バランス情報１Ｃに基づいて、コンテンツの表示態様を決定してもよい。

このコンテンツ表示システムは、分割パターン蓄積部３４に加えて、重畳パターン蓄積部３５を含んでもよい。その場合、コンテンツ表示態様決定部７１は、分割パターン蓄積部３４が蓄積する分割パターンに加えて、重畳パターン蓄積部３５が蓄積する重畳パターンを用いて、コンテンツの表示態様を決定してもよい。

さらにコンテンツ表示態様決定部７１は、第１の実施形態で示した処理に限らず、上述の第２乃至第４の実施形態のうちのいずれかに示した表示態様決定処理を用いて、コンテンツの表示態様を決定してもよい。

この第５の実施形態によれば、第１乃至第４の実施形態のうちのいずれかの処理を用いて、利用者端末７内でコンテンツ表示態様を決定し、コンテンツ変換を行うことができる。

第６の実施形態：
次に、本発明の第５の実施形態のコンテンツ表示システムについて説明する。上述の第１乃至第４の実施形態のコンテンツ表示システムでは、コンテンツ配信サーバがコンテンツの表示態様を決定し、決定した表示態様に従って変換した変換済コンテンツを利用者端末に配信していた。これに対し第５の実施形態では、コンテンツ配信サーバが未変換のコンテンツそのものを利用者端末に配信し、利用者端末が、決定された表示態様に従って変換済コンテンツを生成し表示するように、コンテンツ表示システムが構成されている。図１３は、第６の実施形態のコンテンツ表示システムの構成を示している。

図１３に示すように、本実施形態のコンテンツ表示システムは、コンテンツ配信サーバ８０がコンテンツ変換部を備えるのでなく、利用者端末９０がコンテンツ変換部９２を備える点で、第１の実施形態のものと異なっている。また、本実施形態では、コンテンツ配信サーバ８０のコンテンツ配信部８３の機能は、第１の実施形態で示したコンテンツ配信部２３の機能と異なっている。なお、この第６の実施形態において、コンテンツデータベース３及び分割パターン蓄積部３４が蓄積する情報は、第１の実施形態におけるそれらが蓄積する情報と同様であり、コンテンツ配信サーバ８０のコンテンツ表示態様決定部８１の機能は、第１の実施形態で示したコンテンツ表示態様決定部２１の機能と同様である。

コンテンツ配信部８３は、コンテンツ表示態様決定部８１がコンテンツの表示態様を決定すると、リクエスト情報１Ａに基づいて、配信要求されたコンテンツ（すなわち映像データ及び付随データ）を、コンテンツデータベース３から抽出する機能と、抽出したコンテンツと、コンテンツ表示態様決定部８１が生成した表示態様決定情報８１Ａとを、通信ネットワーク４０を介して利用者端末９０に送信する機能を備える。

利用者端末９０のコンテンツ変換部９２は、表示態様決定情報８１Ａ及びコンテンツを、通信ネットワーク４０を介して、コンテンツ配信サーバ８０から受信する機能を備え、図１３に示すように、映像データ変換部９２１と、付随データ変換部９２２と、コンテンツ配置部９２３とを含んでいる。

映像データ変換部９２１は、表示態様決定情報８１Ａに含まれる映像変換パラメータを用いて、受信したコンテンツに含まれる映像データを変換する機能を備える。付随データ変換部９２２は、表示態様決定情報８１Ａに含まれる付随データ変換パラメータを用いて、受信したコンテンツに含まれる付随データを変換する機能を備える。コンテンツ配置部９２３は、表示態様決定情報８１Ａに含まれるレイアウト情報に従って、映像データ変換部９２１が変換した映像データと、付随データ変換部９２２が変換した付随データとをレイアウト上に配置した変換済コンテンツを生成する機能を備えている。また、コンテンツ配置部９２３は、変換済コンテンツに基づいて、液晶表示部等の表示部（図示せず）に映像及び付随データを表示させる機能も備える。

次に、第６の実施形態のコンテンツ表示システムの動作について説明する。図１４は、利用者端末からの要求に応じて、コンテンツ配信サーバがコンテンツを配信する処理を示している。

まず、利用者端末９０は、図３に示したステップＳ１１と同様の処理に従って、ステップＳ２１において、リクエスト情報１Ａ及び表示画面情報１Ｂを、通信ネットワーク４０を介してコンテンツ配信サーバ８０に送信する。コンテンツ配信サーバ８０のコンテンツ表示態様決定部８１は、図３に示したステップＳ１２と同様の処理に従って、ステップＳ２２において、コンテンツの表示態様を映像区間毎に決定する。

コンテンツの表示態様を決定すると、コンテンツ配信部８３は、リクエスト情報１Ａに基づいて、ステップＳ２３において、配信要求されたコンテンツの映像データをコンテンツデータベース３から抽出し、ステップＳ２４において、配信要求されたコンテンツの付随データを、コンテンツデータベース３から抽出する。

次にコンテンツ配信部８３は、ステップＳ２５において、抽出した映像データ及び付随データと、コンテンツ表示態様決定部８１が生成した表示態様決定情報８１Ａとを、通信ネットワーク４０を介して利用者端末９０に送信する。言い換えればコンテンツ配信部８３は、変換済コンテンツを配信する代わりに、未変換のコンテンツそのもの（すなわち映像データ及び付随データ）と、映像及び付随データの配置条件とを配信する。

利用者端末９０は、それらのコンテンツ及び表示態様決定情報８１Ａを、通信ネットワークを介してコンテンツ配信サーバ８０から受信する。すると、コンテンツ変換部９２は、受信したコンテンツ及び表示態様決定情報８１Ａに基づいて、ステップＳ２６において、映像データ及び付随データを、表示態様決定情報８１Ａに示される配置条件に従って変換し配置して、変換済コンテンツを生成する。そして、コンテンツ変換部９２は、生成した変換済コンテンツに基づいて、表示部に映像及び付随データを表示させる。

本実施形態においてコンテンツ表示態様決定部８１は、リクエスト情報１Ａ及び表示画面情報１Ｂに加えて、重要度バランス情報１Ｃを利用者端末９０から受信してもよい。その場合、コンテンツ表示態様決定部８１は、リクエスト情報１Ａ及び表示画面情報１Ｂに加えて、重要度バランス情報１Ｃに基づいて、コンテンツの表示態様を決定してもよい。

コンテンツ表示システムは、分割パターン蓄積部３４に加えて、重畳パターン蓄積部３５を含んでもよい。その場合、コンテンツ表示態様決定部８１は、分割パターン蓄積部３４が蓄積する分割パターンに加えて、重畳パターン蓄積部３５が蓄積する重畳パターンを用いて、コンテンツの表示態様を決定してもよい。

さらにコンテンツ表示態様決定部８１は、第１の実施形態で示した処理に限らず、上述の第２乃至第４の実施形態のうちのいずれかに示した表示態様決定処理を用いて、コンテンツの表示態様を決定してもよい。

以上説明した第１乃至第６の実施形態では、表示態様決定処理の際にコンテンツデータベースからメタデータを抽出する場合を説明したが、これらの実施形態においてコンテンツ表示態様決定部は、各映像区間に対するメタデータ、及び各映像区間の付随データに対するメタデータを、リアルタイムに生成してもよい。例えば、コンテンツ表示態様決定部は、表示対象のコンテンツに対応するメタデータ（すなわち映像メタデータや付随メタデータ）を生成するメタデータ生成部を備え、そのメタデータ生成部が生成したメタデータに基づいて、表示対象のコンテンツの表示態様を決定するようにしてもよい。メタデータ生成部は、例えば、プログラムに従って動作するサーバのＣＰＵによって構成される。

例えばコンテンツ表示態様決定部は、映像データ全体に対するメタデータとして、映像の解像度を映像データそのものから取得する（求める）ことができる。

また、コンテンツ表示態様決定部は、再生中の映像データから実時間で映像のカット変わりを自動検出することにより、メタデータとして、映像区間をリアルタイムに抽出することができる。この場合、コンテンツ表示態様決定部は、カットを検出する度に、検出したカットを新たなショットの開始点に、その検出したカットの前のフレームを前のショットの終了点として用いることができる。ここで用いることができるカット検出方法としては、例えば、Ｕｌｌａｓ Ｇａｒｇｉ， Ｒａｎｇａｃｈａｒ Ｋａｓｔｕｒｉ， Ｓｕｓａｎ Ｈ． Ｓｔｒａｙｅｒ， “Ｐｅｒｆｏｒｍａｎｃｅ Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ Ｖｉｄｅｏ−Ｓｈｏｔ−Ｃｈａｎｇｅ Ｄｅｔｅｃｔｉｏｎ Ｍｅｔｈｏｄｓ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， Ｖｏｌ． １０， Ｎｏ． １， Ｆｅｂｒｕａｒｙ ２０００に記載されている手法がある。

あるいはコンテンツ表示態様決定部は、各映像区間に対するメタデータとして、映像中から登場物を含む領域等の注目領域を自動的に抽出することによって、注目領域情報を生成できる。ここで用いることができる注目領域の抽出方法としては、例えば、Ａ． Ｍｏｈａｎ， Ｃ． Ｐａｐａｇｅｏｒｇｉｏｕ， Ｔ． Ｐｏｇｇｉｏ， “Ｅｘａｍｐｌｅ−Ｂａｓｅｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｉｎ Ｉｍａｇｅｓ ｂｙ Ｃｏｍｐｏｎｅｎｔｓ”， ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ＰＡＭＩ， Ｖｏｌ．２３， Ｎｏ．４， ｐｐ．３４９−３６１， ２００１に記載されているものがある。

またコンテンツ表示態様決定部は、各映像区間の付随データに対するメタデータを、付随データに含まれる各表示項目及び各項目の文字数をカウントすることによって、自動的に生成することができる。

上述の第１乃至第６の実施形態では、各映像区間に対応する付随データが必ず存在するものとして説明を行ったが、全ての映像区間に対して付随データが存在するとは限らない。例えば、映像データが番組間のテレビコマーシャル等の映像を含む場合、テレビコマーシャルの映像区間に対応する付随データが存在しない場合もありうる。コンテンツ表示態様決定部は、映像区間に対して付随データが存在しない場合には、付随データを表示せずに、その映像区間に対応する映像のみを表示するように表示態様を決定すればよい。

以下、具体的な実施例を用いて、本発明に基づくコンテンツ表示システムの動作を説明する。ここでは、上述したコンテンツ表示システムにおいて、複数のトピックを含むニュース番組が映像データとして用意され、予めコンテンツデータベース３に蓄積され、付随データとして、各ニューストピックのタイトルとトピックの詳細な内容を示すテキストとが用意されて予めコンテンツデータベース３に蓄積されている。映像用メタデータとして映像の解像度が予めコンテンツデータベース３に蓄積され、付随データ用メタデータとして各ニューストピックのタイトルと、詳細テキストの文字数及び各トピックの重要度とが、予めコンテンツデータベース３に蓄積され保持されている。コンテンツ配信サーバは、利用者端末１からリクエスト（配信要求）された映像データと付随データとを、利用者端末の表示能力にあわせて表示する機能を備えている。

本発明者らは、テレビジョン受信機や携帯電話機などの複数の端末を用いて、コンテンツ配信サーバにアクセスしニュース番組をリクエストすることによってコンテンツを表示画面に表示させる実験を行った。また、本発明者らは、映像と付随データとの重要度バランスとして、以下に示す３種類の重要度バランスを与えた場合について、それぞれ実験を行った。

１）まず、映像と付随データとの重要度が常に均等になるように、実験を行った。

２）利用者がニュースのトピックに興味がある場合を想定し、トピック表示中には映像の重要度が高くなるようにし、アナウンサが写っている映像区間に対して映像の重要度が低くなるように、実験を行った。

３）利用者が特定のアナウンサのファンである場合を想定し、そのアナウンサが写っている映像区間の映像の重要度が高くなるようにし、ニュースのトピックを文字で素早く理解したい場合を想定して、トピック表示中には付随データの重要度が高くなるように、実験を行った。

図１５及び図１６は、コンテンツ表示システムを用いて行った実験結果を示す説明図である。図１５は、テレビジョン受信機からニュース番組を配信要求した場合に、決定した表示態様に従って表示した表示画面を示している。図１６は、携帯電話機からニュース番組を配信要求した場合に、決定した表示態様に従って表示した表示画面を示している。

図１５に示すように、実験の結果、表示画面の解像度７２０×４８０画素であるテレビジョン受信機からニュース番組をリクエストすると、表示画面の左右に映像と付随データとが配置されて表示された。また、詳細テキストの長さとトピックの重要度とに応じて、付随データの表示範囲が映像区間毎に変動した。

図１６に示すように、表示画面の解像度２４０×３２０画素である携帯電話機からリクエストすると、縦方向（図示上下）に映像と付随データとが配置されて表示された。また、詳細テキストの長さが短い場合を除いてタイトルのみが表示された。さらに、利用者が与えた重要度バランスに従って、シーン（映像区間）毎に、よりクロースアップされるメディア（映像又は付随データ）が適応的に変化して表示された。

この実施例では、番組の実況掲示板が数多く用意され、コンテンツデータベースに蓄積されている。番組映像と掲示板の内容とを同時に表示する場合には、番組の各シーンに対する掲示板の書きこみ分量にあわせて、番組と書きこみとの表示バランスを最適に調整しながら表示することができる。

以上説明したようにこの実施例では、映像データに含まれる映像区間毎に、映像及び対応する付随データの内容に合わせてコンテンツの表示態様が適応的に決定される。そのため、効果的に映像データと付随データとを提示するコンテンツ表示システムが実現されている。また、この実施例では、映像データと付随データとを視聴する側の要求条件である端末の表示画面に基づいて、コンテンツの表示態様が適応的に決定される。そのため、任意の表示画面に対して効果的に映像データと付随データとを提示するコンテンツ表示システムが実現されている。さらにこの実施例では、映像データと付随データとを視聴する側の要求条件である重要度バランスに基づいて、コンテンツの表示態様が適応的に決定される。そのため、利用者の嗜好に合わせて効果的に映像データと付随データとを提示するコンテンツ表示システムが実現されている。

本発明は、映像データと付随データとを任意の表示画面に表示するコンテンツ表示システムや、コンテンツ表示システムをコンピュータで実現するためのコンテンツ表示プログラム等の用途に適用できる。また、テレビジョン放送やインターネット放送等の映像データと、例えばテキスト情報やウェブ情報などのその映像データに関連する付随データとを、携帯電話機やパーソナルコンピュータ、ＰＤＡ等任意の表示画面に効率的に表示する用途にも適用可能である。

Claims (34)

1. 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンツを表示するコンテンツ表示システムであって、
   表示対象のコンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段を有するコンテンツ表示システム。
2. 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンツを表示するコンテンツ表示システムであって、
   表示対象のコンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段と、
   前記映像区間毎に、前記コンテンツ表示態様決定手段が決定した表示態様に従って前記映像データと前記付随データとが配置されたコンテンツを生成するコンテンツ配置手段と、
   有するコンテンツ表示システム。
3. 前記コンテンツ配置手段が生成したコンテンツを表示するコンテンツ表示手段を有する請求項２に記載のシステム。
4. 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンツを表示するコンテンツ表示システムであって、
   表示画面の大きさを示す表示画面情報、各映像区間に対応する映像の属性情報を含む映像メタデータ、及び前記映像区間に対応する各付随データの属性情報を含む付随メタデータとに基づいて、前記映像と前記付随データとを前記表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段と、
   前記コンテンツ表示態様決定手段が決定した表示態様に従って、前記映像を変換する映像変換手段と、
   前記コンテンツ表示態様決定手段が決定した表示態様に従って、前記付随データを変換する付随データ変換手段と、
   前記映像区間毎に、前記コンテンツ表示態様決定手段が決定した表示態様に従って、前記映像変換手段が変換した映像と前記付随データ変換手段が変換した付随データとが配置されたコンテンツを生成するコンテンツ配置手段と、
   を有するコンテンツ表示システム。
5. 前記コンテンツ配置手段が生成した前記コンテンツを表示するコンテンツ表示手段をさらに備える、請求項４に記載のシステム。
6. 前記コンテンツ表示態様決定手段は、前記表示画面情報、前記各映像メタデータ、及び前記各付随メタデータに加えて、利用者の嗜好又は各映像区間の重要度と対応する各付随データの重要度とのバランスを示す重要度情報のうち、少なくとも１つに基づいて、前記表示態様を決定する請求項４または５に記載のシステム。
7. 前記コンテンツ表示態様決定手段は、
   表示対象のコンテンツに対応する映像メタデータ及び付随メタデータを生成するメタデータ生成手段を含み、
   前記メタデータ生成手段が生成した映像メタデータ及び付随メタデータに基づいて、前記表示対象のコンテンツの表示態様を決定する、請求項４乃至６のいずれか１項に記載のシステム。
8. 前記コンテンツ表示態様決定手段は、
   前記各映像区間に対して、表示画面を、コンテンツに含まれる映像を表示する映像表示部と、前記コンテンツに含まれる付随データを表示する付随データ表示部とに分割し、
   前記映像表示部に表示する映像及び前記付随データ表示部に表示する付随データから構成されるコンテンツの評価値が最適となるように分割の態様を決定することによって、表示対象のコンテンツの表示態様を決定する
   請求項４乃至７のいずれか１項に記載のシステム。
9. 前記表示画面を前記映像表示部と前記付随データ表示部とに分割するパターンを示す分割パターンを予め複数蓄積する分割パターン蓄積手段を備え、
   前記コンテンツ表示態様決定手段は、
   前記映像区間毎に、前記分割パターン蓄積手段が蓄積する各分割パターンを用いて、前記表示画面を前記映像表示部と前記付随データ表示部とに分割し、
   前記映像区間毎に、前記表示対象のコンテンツを前記映像表示部と前記付随データ表示部とに分割して表示した場合の前記コンテンツの評価値を求め、
   前記映像区間毎に、前記分割パターン蓄積手段が蓄積する各分割パターンのうち、求めた評価値が最大となる場合の分割パターンを、前記表示対象のコンテンツの表示に用いる分割パターンとして決定する、請求項８に記載のシステム。
10. 前記コンテンツ表示態様決定手段は、
    前記各映像区間に対して、映像に対応する付随データを映像に重畳し、
    前記各映像区間に対して、前記付随データを映像に重畳して表示した場合に、表示する映像及び付随データから構成されるコンテンツの評価値が最適となるように重畳の態様を決定することによって、前記表示対象のコンテンツの表示態様を決定する、請求項４乃至７のいずれか１項に記載のシステム。
11. 前記付随データを映像に重畳して表示するパターンを示す重畳パターンを予め複数蓄積する重畳パターン蓄積手段を備え、
    前記コンテンツ表示態様決定手段は、
    前記映像区間毎に、前記重畳パターン蓄積手段が蓄積する各重畳パターンを用いて、前記付随データを映像に重畳させ、
    前記映像区間毎に、前記表示対象のコンテンツに基づいて、前記付随データを映像に重畳して表示した場合の前記コンテンツの評価値を求め、
    前記映像区間毎に、前記重畳パターン蓄積手段が蓄積する各重畳パターンのうち、求めた評価値が最大となる場合の重畳パターンを、表示対象のコンテンツの表示に用いる重畳パターンとして決定する、請求項１０に記載のシステム。
12. 前記コンテンツ表示態様決定手段は、
    前記各映像区間に対して、前記表示画面を、前記コンテンツに含まれる映像を表示する映像表示部と、前記コンテンツに含まれる付随データを表示する付随データ表示部とに分割し、
    前記各映像区間に対して、映像に対応する前記付随データを当該映像に重畳し、
    前記各映像区間に対して、映像及び付随データを分割して表示する態様を用いて表示対象のコンテンツを表示した場合の前記コンテンツの評価値と、前記付随データを映像に重畳させる態様を用いて前記コンテンツを表示した場合の前記コンテンツの評価値とに基づいて、評価値が最適となる方の態様を選択することによって、表示対象のコンテンツの表示方法を決定する、請求項４乃至７のいずれか１項に記載のシステム。
13. 前記表示画面を映像表示部と付随データ表示部とに分割するパターンを示す分割パターンを予め複数蓄積する分割パターン蓄積手段と、
    前記付随データを映像に重畳して表示するパターンを示す重畳パターンを予め複数蓄積する重畳パターン蓄積手段と、
    を備え、
    前記コンテンツ表示態様決定手段は、
    前記映像区間毎に、前記分割パターン蓄積手段が蓄積する各分割パターンを用いて、前記表示画面を前記映像表示部と前記付随データ表示部とに分割し、
    前記映像区間毎に、前記表示対象のコンテンツを前記映像表示部と前記付随データ表示部とに分割して表示した場合の前記コンテンツの第１の評価値を求め、
    前記映像区間毎に、前記分割パターン蓄積手段が蓄積する各分割パターンのうち、求めた第１の評価値が最大となる場合の分割パターンを選択し、
    前記映像区間毎に、前記重畳パターン蓄積手段が蓄積する各重畳パターンを用いて、前記付随データを映像に重畳させ、
    前記映像区間毎に、前記表示対象のコンテンツに基づいて、前記付随データを映像に重畳して表示した場合の前記コンテンツの第２の評価値を求め、
    前記映像区間毎に、前記重畳パターン蓄積手段が蓄積する各重畳パターンのうち、求めた第２の評価値が最大となる場合の重畳パターンを選択し、
    映像区間毎に、選択した前記分割パターンと前記重畳パターンとのうち、評価値が最大となる方のパターンを選択することによって、表示対象のコンテンツの表示態様を決定する、請求項１２に記載のコンテンツ表示システム。
14. 前記コンテンツ表示態様決定手段は、
    前記映像区間毎に、前記映像表示部に表示する映像を評価するための第１の評価関数、前記付随データ表示部に表示する付随データを評価するための第２の所評価関数、及び各映像と前記映像に対応する付随データとの間の重要度のバランスを示す第３の評価関数を用いて、前記表示対象のコンテンツの評価値を求め、
    求めた評価値が最適になるように、各映像区間に対する表示画面の分割の態様を決定する、請求項８、９、１２及び１３のいずれか１項に記載のシステム。
15. 前記コンテンツ表示態様決定手段は、
    前記映像区間毎に、映像に重畳して表示する付随データを評価するための第１の評価関数、表示する映像を評価するための第２の評価関数、及び各映像と前記映像に対応する付随データとの間の重要度のバランスを示す第３の評価関数を用いて、前記表示対象のコンテンツの評価値を求め、
    求めた評価値が最適になるように、付随データを映像の重畳させる態様を映像区間毎に決定する、請求項１０乃至１３のいずれか１項に記載のシステム。
16. 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンツを配信するコンテンツ配信システムであって、
    利用者端末と、
    コンテンツを配信するコンテンツ配信サーバと、
    を有し、
    前記利用者端末は、コンテンツの配信要求を、通信ネットワークを介して前記コンテンツ配信サーバに送信するコンテンツ要求手段を有し、
    前記コンテンツ配信サーバは、
    前記利用者端末からコンテンツの配信要求を受信すると、配信要求されたコンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段と、
    前記映像区間毎に、前記コンテンツ表示態様決定手段が決定した表示態様に従って前記映像データと前記付随データとが配置されたコンテンツを生成するコンテンツ配置手段と、
    前記コンテンツ配置手段が生成したコンテンツを、前記通信ネットワークを介して前記利用者端末に送信するコンテンツ配信手段と、
    を有する、コンテンツ配信システム。
17. 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンツを配信するコンテンツ配信サーバであって、
    配信要求されたコンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段を備える、コンテンツ配信サーバ。
18. 前記コンテンツ表示態様決定手段が決定した表示態様を示す表示態様決定情報を生成する決定情報生成手段と、
    配信要求されたコンテンツ、及び前記決定情報生成手段が生成した表示態様決定情報を、前記通信ネットワークを介して前記利用者端末に送信するコンテンツ配信手段と、
    を備える請求項１７に記載のサーバ。
19. 前記コンテンツ表示態様決定手段が決定した表示態様に従って前記映像区間毎に前記映像データと前記付随データとが配置されたコンテンツを生成するコンテンツ配置手段を備える、請求項１７に記載のサーバ。
20. 前記コンテンツ配置手段が生成したコンテンツを、前記通信ネットワークを介して前記利用者端末に送信するコンテンツ配信手段を備える、請求項１９に記載のサーバ。
21. 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンツを配信するコンテンツ配信サーバであって、
    前記映像データに含まれる各映像、及び前記映像に対応する付随データの表示形態に関する要求条件に基づいて、前記映像と前記付随データとを前記表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段と、
    前記コンテンツ表示態様決定手段が決定した表示態様に従って、前記映像を変換する映像変換手段と、
    前記コンテンツ表示態様決定手段が決定した表示態様に従って、前記付随データを変換する付随データ変換手段と、
    前記映像区間毎に、前記コンテンツ表示態様決定手段が決定した表示態様に従って、前記映像変換手段が変換した映像と前記付随データ変換手段が変換した付随データとが配置されたコンテンツを生成するコンテンツ配置手段と、
    前記コンテンツ配置手段が生成したコンテンツを、利用者端末に配信するコンテンツ配信手段と、
    を有するコンテンツ配信サーバ。
22. 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンツを表示するコンテンツ表示方法であって、
    表示対象のコンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するステップを含むコンテンツ表示方法。
23. 前記映像区間毎に、決定した表示態様に従って映像データと付随データとが配置されたコンテンツを生成するステップを含む、請求項２２に記載の方法。
24. 決定した表示態様に従って、前記生成したコンテンツを表示するステップを含む請求項２３に記載の方法。
25. 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンツを表示するコンテンツ表示方法であって、
    表示画面の大きさを示す表示画面情報、前記映像データに含まれる各映像区間に対応する映像の属性情報を含む映像メタデータ、及び前記映像区間に対応する付随データの属性情報を含む付随メタデータとに基づいて、前記各映像区間について前記映像データと前記付随データとを表示画面に表示するときの表示態様を、前記映像区間毎に決定するコンテンツ表示態様決定ステップと、
    前記コンテンツ表示態様決定ステップで決定した態様を用いて、前記映像データと前記映像データに対応する付随データとを表示するコンテンツ表示ステップと、
    を有するコンテンツ表示方法。
26. 前記映像データに含まれる各映像、及び前記映像に対応する前記付随データの表示形態に関する要求条件として、少なくとも表示画面の大きさ、各映像区間の映像の内容、及び前記映像区間に対応する各付随データの内容の条件のいずれか１つまたはそれらの組み合わせに基づいて、前記表示態様を決定する請求項２５に記載の方法。
27. 前記コンテンツ表示態様決定ステップで、表示画面情報、各映像メタデータ、及び付随メタデータに加えて、利用者の嗜好又は各映像区間の重要度と対応する各付随データの重要度とのバランスを示す重要度情報のうち、少なくとも１つに基づいて、前記表示態様を決定する請求項２５に記載の方法。
28. 前記コンテンツ表示態様決定ステップは、
    前記各映像区間に対して、表示画面を、コンテンツに含まれる映像を表示する映像表示部と、前記コンテンツに含まれる付随データを表示する付随データ表示部とに分割するステップと、
    前記映像表示部に表示する映像及び前記付随データ表示部に表示する付随データから構成されるコンテンツの所定の評価値が最適となるように分割の態様を決定することによって、前記表示態様を決定するステップと、
    を有する、請求項２５乃至２７のいずれか１項に記載の方法。
29. コンテンツ表示態様決定ステップは、
    前記各映像区間に対して、映像に対応する付随データを当該映像に重畳するステップと、
    前記各映像区間に対して、前記付随データを前記映像に重畳して表示した場合に、表示する映像及び付随データから構成されるコンテンツの評価値が最適となるように重畳の態様を決定することによって、前記表示態様を決定するステップと、
    を有する請求項２５乃至２７のいずれか１項に記載の方法。
30. 前記コンテンツ表示態様決定ステップは、
    前記各映像区間に対して、表示画面を、コンテンツに含まれる映像を表示する映像表示部と、前記コンテンツに含まれる付随データを表示する付随データ表示部とに分割するステップと、
    前記各映像区間に対して、前記映像に対応する付随データを当該映像に重畳するステップと、
    前記各映像区間に対して、映像及び付随データを分割して表示する態様を用いて前記表示対象のコンテンツを表示する場合の前記コンテンツの第１の評価値と、付随データを映像に重畳させる態様を用いて前記コンテンツを表示した場合の前記コンテンツの第２の評価値とに基づいて、評価値が最適となる方の態様を選択することによって、前記表示態様を決定するステップと、
    を有する、請求項２５乃至２７のいずれか１項に記載の方法。
31. 前記コンテンツ表示態様決定ステップは、
    前記映像区間毎に、前記映像表示部に表示する映像を評価するための第１の評価関数、前記付随データ表示部に表示する付随データを評価するための第２の評価関数、及び各映像と前記映像に対応する付随データとの間の重要度のバランスを示す第３の評価関数を用いて、表示対象のコンテンツの評価値を求めるステップと、
    求めた評価値が最適になるように、前記各映像区間に対する表示画面の分割の態様を決定するステップと、
    を有する、請求項２８または３０に記載の方法。
32. 前記コンテンツ表示態様決定ステップは、
    前記映像区間毎に、前記映像に重畳して表示する付随データを評価するための第１の評価関数、表示する映像を評価するための第２の評価関数、及び各映像と前記映像に対応する付随データとの間の重要度のバランスを示す第３の評価関数を用いて、表示対象のコンテンツの評価値を求めるステップと、
    求めた評価値が最適になるように、付随データを映像の重畳させる態様を前記映像区間毎に決定するステップと、
    を有する、請求項２９または３０に記載の方法。
33. 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンツを表示するためのコンテンツ表示プログラムであって、
    コンピュータに、
    前記映像区間毎に、コンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を決定する処理と、
    前記映像区間毎に、決定した表示態様に従って、前記映像データと前記付随データとが配置されたコンテンツを生成する処理と、
    前記映像データと前記付随データとが配置されたコンテンツを表示する処理と、
    を実行させるコンテンツ表示プログラム。
34. 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンツを配信するためのコンテンツ配信プログラムであって、
    コンピュータに、
    コンテンツの配信要求を、通信ネットワークを介して利用者端末から受信する処理と、
    前記利用者端末からコンテンツの配信要求を受信すると、配信要求されたコンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、前記映像区間毎に決定する処理と、
    前記映像区間毎に、決定した表示態様に従って前記映像データと前記付随データとが配置されたコンテンツを生成する処理と、
    前記映像データと前記付随データとが配置されたコンテンツを、前記通信ネットワークを介して前記利用者端末に送信する処理と、
    を実行させるコンテンツ配信プログラム。
    

Images