WO2006123744A1

WO2006123744A1 - コンテンツ表示システム及びコンテンツ表示方法

Info

Publication number: WO2006123744A1
Application number: PCT/JP2006/309948
Authority: WO
Inventors: Eiji Kasutani
Original assignee: Nec Corporation
Priority date: 2005-05-18
Filing date: 2006-05-18
Publication date: 2006-11-23
Also published as: CN101223782A; JPWO2006123744A1; EP1883241A1; EP1883241B1; EP1883241A4; US20090025030A1; KR20070121049A

Abstract

　複数の映像区間からなる映像データとそれら映像データに付随する付随データとを含むコンテンツを表示するコンテンツ表示システムは、表示対象のコンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定部と、映像区間毎に、コンテンツ表示態様決定手段が決定した表示態様に従って映像データと付随データとが配置されたコンテンツを生成するコンテンツ配置部と、を備える。

Description

明細書

コンテンツ表示システム及びコンテンツ表示方法

技術分野

[0001] 本発明は、映像データと映像データに付随する付随データとを含むコンテンツを任意の表示画面に表示するコンテンツ表示システム及びコンテンッ表示方法に関する

。また、本発明は、このようなコンテンツの酉 S信サービスを行うコンテンツ酉 S信システム及びコンテンッ配信サーバにも関する。背景技術

[0002] データ放送やインターネットを介した映像配信サービス等においては、利用者が映像を視聴しながらその映像に付随するデータをその映像と同時に視聴することができるようにしたサービスが提供されている。映像に付随するデータとしては、例えば、文字情報が挙げられる。例えば、利用者によって-ユース番組が視聴されている際にその-ユース記事の詳細な内容や-ユースの見出し一覧をテキストで表示する形態のサービスや、利用者によって商品案内番組が閲覧されている際に商品の価格ゃ特徴をテキストで表示する形態のサービスが提供されている。また映像は、テレビジョン受信機によって視聴されるだけではなぐ携帯電話機や PDA (Personal Digital Asistant)、ノートブック型のパーソナルコンピュータ等によっても視聴されるようになつてきている。デバイス面においても映像を視聴できる環境が充実してきている。そのため、映像とその映像に付随されたデータとを様々な表示画面サイズをもつ各種デバイスで視聴できるように、映像を視聴するための環境を整えることが重要な課題となってきている。

[0003] 映像とその付随データとを表示する代表的な枠組み (サービス）として、ディジタル放送におけるデータ放送がある。日本国特許公開：特開 2001— 296852号公報には、映像表示領域に隣接してテキスト情報表示領域を設け、映像の表示と同期させて、テキスト情報をスクロール表示させる映像表示方法が開示されている。日本国特許公開：特開 2003— 18553号公報には、データ放送の画像及びテキストを含む内容全体を表示するのでなぐデータ放送の内容力テキストのみを抽出し、その抽出したテキストを通常の放送番組の映像とともに表示するデータ放送受信装置が開示されている。この特開 2003— 18553号公報に開示されたデータ放送受信装置によれば、視聴者は、データ放送の内容の一部しか再生表示されていなくても、データ放送の内容の概略を認識することができる。これら特開 2001— 296852号公報に記載された映像表示方法ゃ特開 2003— 018553号公報に記載されたデータ放送受信装置では、画面の解像度がほぼ一定である場合に、映像及び映像の付随データを固定的に表示画面に表示することができる。これらの技術は、例えば、画面の解像度がほぼ一定であるテレビジョン受信機向けに、映像及び付随データを固定的に表示画面に表示させるために用いることができる。し力しながらこれらの技術を用いる場合には、例えば、テレビジョン受信機以外の端末など、画面の解像度が異なる様々な端末上で映像と付随データとを表示するためには、表示対象の表示画面毎に表示内容ゃレイアウトを新たに作成 Z準備しなければならない。

[0004] 日本国特許公開：特開 2003— 32747号公報には、映像データとテキストデータとの双方のデータを合成することにより、表示すべき合成画像データを生成し、その合成画像データを表示画面に表示する端末装置が開示されている。特開 2003— 327 47号公報に記載された端末装置によれば、携帯電話機など画面あたりの表示領域が限られている端末において、テキスト等の付随画面データの内容をより明瞭に認識することが可能となる。しかしながら、この端末装置では、表示画面の大きさにかかわらず常に付随データを映像に重畳するので、表示画面の大きさに合わせて、付随データを重畳させる形態、例えば、文字の大きさや重畳させる場所等を表示画面毎に定めなければならない。しかし、一般に、想定される全ての表示画面に対して、映像等のコンテンツの作成者が予め付随データを重畳させる形態、すなわちレイアウト情報を準備することは困難である。また、元の映像や付随データに変更があった場合に、コンテンツの作成者が作成 Z準備したレイアウトを全て更新することは困難である。従って、特開 2003— 032747号公報に記載された端末装置では、コンテンツの作成者が利用環境を想定してレイアウト情報を作りこむコストがかかり、作成した各バージョンのレイアウト情報を管理するためにかかるコストが高、ものとなる。

[0005] 日本国特許公開：特開平 6— 149968号公報には、文書中での画像とその画像以外のデータとのレイアウトを、文書領域の大きさにあわせて自動的に決定する文書処理装置が開示されている。また、日本国特許公開：特開 2003— 67100号公報には、タイトル、テキスト及び画像を含む情報を画面に表示させるためのレイアウトを表示画面にあわせて動的に生成し、生成したレイアウト情報に基づいて情報を表示するディジタルコンテンツ表示方法が開示されている。しかしながら、特開平 6— 149968 号公報に記載された文書処理装置ゃ特開 2003— 067100号公報に記載されたデイジタルコンテンツ表示方法では、時間軸を有する、すなわち時間とともに画像が変化する映像を付随データとともに表示する場合は考慮されてヽなヽ。これらの文書処理装置やディジタルコンテンツ表示方法を映像を表示する場合に適用したとしても、時間とともに変化する映像の構成に関係なぐ一度決定されたレイアウトを用、て映像が表示されることになり、そのため、映像と付随データとが表示画面に適切に配置されて表示されるとは限らない。

[0006] 以下、本明細書で引用した文献を列挙する。

特許文献 1：特開 2001— 296852号公報

特許文献 2 :特開 2003— 18553号公報

特許文献 3：特開 2003 - 32747号公報

特許文献 4：特開平 6— 149968号公報

特許文献 5 :特開 2003— 67100号公報

非特干文献 1 : Ullas Gargi, Rangachar Kastun, ¾usan H. ¾trayer, Performance Characterization of Video― Shot― Change Detection M ethods", IEEE Transaction on Circuits and Systems for Video Te chnology, Vol. 10, No. 1, February 2000

非特許文献 2 : A. Mohan, C. Papageorgiou, T. Poggio, "Example― Based Object Detection in Images by Components , IEEE Trans, on PAMI, Vol. 23, No. 4, pp. 349— 361, 2001

発明の開示

発明が解決しょうとする課題

[0007] 上述したように、映像データと映像データに付随する付随データとを含むコンテンッを任意の表示画面に表示する従来のコンテンツ表示システムでは、表示画面上に映像データ及び付随データを表示させるための画面構成の設計が必要であり、複数種類の端末の表示画面に対応してそれぞれの画面構成を設計する作業は極めて煩雑である、という課題がある。

[0008] そこで本発明の目的は、コンテンツ作成者力映像データ及び付随データなどの個々の情報に対して表示画面毎に画面構成を設計しなくても、表示画面及びコンテンッの構成に応じたレイアウトで映像と付随データとを表示することが可能なコンテンッ表示システムを提供することにある。

[0009] 本発明の別の目的は、コンテンツ作成者が、映像データ及び付随データなどの個々の情報に対して表示画面毎に画面構成を設計しなくても、表示画面及びコンテンッの構成に応じたレイアウトで映像と付随データとを表示することが可能なコンテンツ表示方法を提供することにある。

課題を解決するための手段

[0010] 本発明の第 1の様相に従えば、複数の映像区間からなる映像データとその映像データに付随する付随データとを含むコンテンツを表示するコンテンツ表示システムは、表示対象のコンテンッに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段を有する

[0011] 本発明の第 2の様相に従えば、複数の映像区間からなる映像データとその映像データに付随する付随データとを含むコンテンツを表示するコンテンツ表示システムであって、表示画面の大きさを示す表示画面情報、各映像区間に対応する映像の属性情報を含む映像メタデータ、及び映像区間に対応する各付随データの属性情報を含む付随メタデータとに基づ、て、映像と付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段と、コンテンツ表示態様決定手段が決定した表示態様に従って、映像を変換する映像変換手段と、コンテンツ表示態様決定手段が決定した表示態様に従って、付随データを変換する付随データ変換手段と、映像区間毎に、コンテンツ表示態様決定手段が決定した表示態様に従って、映像変換手段が変換した映像と付随データ変換手段が変換した付随データとが配置されたコンテンツを生成するコンテンツ配置手段と、を有する。

[0012] 本発明の第 3の様相に従えば、複数の映像区間からなる映像データとその映像データに付随する付随データとを含むコンテンツを酉己信するコンテンツ酉己信システムは、利用者端末と、コンテンツを配信するコンテンツ配信サーバと、を有する。このコンテンッ配信システムにおいて、利用者端末は、コンテンツの配信要求を、通信ネットワークを介してコンテンツ配信サーバに送信するコンテンツ要求手段を有する。コンテンッ配信サーバは、利用者端末からコンテンツの配信要求を受信すると、配信要求されたコンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段と、映像区間毎に、コンテンツ表示態様決定手段が決定した表示態様に従って映像データと付随データとが配置されたコンテンツを生成するコンテンツ配置手段と、コンテンツ配置手段が生成したコンテンツを、通信ネットワークを介して利用者端末に送信するコンテンツ配信手段と、を有する。

[0013] 本発明の第 4の様相に従えば、複数の映像区間からなる映像データとその映像データに付随する付随データとを含むコンテンツを配信するコンテンツ配信サーバは、配信要求されたコンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段を備える。

[0014] 本発明の第 5の様相に従えば、複数の映像区間からなる映像データとその映像データに付随する付随データとを含むコンテンツを配信するコンテンツ配信サーバは、映像データに含まれる各映像、及び映像に対応する付随データの表示形態に関する要求条件に基づいて、映像と付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段と、コンテンツ表示態様決定手段が決定した表示態様に従って、映像を変換する映像変換手段と、コンテンツ表示態様決定手段が決定した表示態様に従って、付随データを変換する付随データ変換手段と、映像区間毎に、コンテンツ表示態様決定手段が決定した表示態様に従って、映像変換手段が変換した映像と付随データ変換手段が変換した付随データとが配置されたコンテンツを生成するコンテンツ配置手段と、コンテンツ配置手段が生成したコンテンツを、利用者端末に配信するコンテンツ配信手段と、を有する。

[0015] 本発明の第 6の様相に従えば、複数の映像区間からなる映像データとその映像データに付随する付随データとを含むコンテンツを表示するコンテンツ表示方法は、表示対象のコンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するステップを含む。

[0016] 本発明の第 7の様相に従えば、複数の映像区間からなる映像データとその映像データに付随する付随データとを含むコンテンツを表示するコンテンツ表示方法は、表示画面の大きさを示す表示画面情報、映像データに含まれる各映像区間に対応する映像の属性情報を含む映像メタデータ、及び映像区間に対応する付随データの属性情報を含む付随メタデータとに基づいて、各映像区間について映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンッ表示態様決定ステップと、コンテンッ表示態様決定ステップで決定した態様を用 V、て、映像データと映像データに対応する付随データとを表示するコンテンツ表示ステツプと、を有する。

[0017] 本発明によれば、映像データに含まれる映像区間毎に、映像及び対応する付随データの内容に合わせてコンテンツの表示態様が適応的に決定される。そのため、決定された表示態様に従って、表示画面上において映像を表示する映像表示部と付随データを表示する付随データ表示部とを映像区間毎に動的に変化させながら、コンテンッを表示することができる。すなわち、本発明によれば、コンテンツの表示態様を映像区間毎に自動的に決定し、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することができる。従って、コンテンツ作成者が個々の情報 (すなわち映像及び付随データ）に対して表示画面毎に画面構成を設計しなくても、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することがでさる。

[0018] 本発明によれば、映像及び付随データの内容に応じて、映像区間毎にコンテンツの表示態様が適応的に決定され表示されるので、利用者に対して、より効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。また本発明にお、て、映像データと付随データとを視聴する側の要求条件である端末の表示画面に基づいて、コンテンツの表示態様を適応的に決定するように構成すれば、任意の表示画面に対して効果的に映像データと付随データとを提示するコンテンッ表示システムを実現することができる。さらに本発明において、映像データと付随データとを視聴する側の要求条件である重要度バランスに基づ、て、コンテンツの表示態様を適応的に決定するように構成すれば、利用者の嗜好に合わせて効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。

図面の簡単な説明

[図 1]本発明の第 1の実施形態のコンテンッ表示システムの構成を示すブロック図である。

[図 2]コンテンツデータベースが蓄積する映像データ、付随データ及びメタデータの例を示す図である。

[図 3]利用者端末力もの要求に応じて、コンテンツ配信サーバがコンテンツを配信する処理の一例を示すフローチャートである。

[図 4A]利用者端末が映像及び付随データを表示する表示画面のレイアウトの一例を示す図である。

[図 4B]利用者端末が映像及び付随データを表示する表示画面のレイアウトの別の例を示す図である。

[図 5]コンテンツ表示態様決定部がコンテンツの表示態様を決定する表示態様決定処理の一例を示すフローチャートである。

[図 6]本発明の第 2の実施形態のコンテンツ表示システムの構成を示すブロック図である。

[図 7]図 6に示すシステムにおいてコンテンツ表示態様決定部がコンテンツの表示態様を決定する処理の例を示すフローチャートである。

[図 8]本発明の第 3の実施形態のコンテンツ表示システムの構成を示すブロック図である。

[図 9]図 8に示すシステムにおいてコンテンツ表示態様決定部がコンテンツの表示態様を決定する処理の例を示すフローチャートである。 [図 10]本発明の第 4の実施形態のコンテンツ表示システムの構成を示すブロック図である。

[図 11]図 10に示すシステムにおいてコンテンツ表示態様決定部がコンテンツの表示態様を決定する処理の例を示すフローチャートである。

[図 12]本発明の第 5の実施形態のコンテンツ表示システムの構成を示すブロック図である。

[図 13]本発明の第 6の実施形態のコンテンツ表示システムの構成を示すブロック図である。

圆 14]利用者端末力もの要求に応じて、コンテンツ配信サーバがコンテンツを配信する処理の例を示すフローチャートである。

圆 15]テレビジョン受信機力も-ユース番組を配信要求した場合に、決定した表示態様に従って表示した表示画面を示す図である。

圆 16]携帯電話機力も-ユース番組を配信要求した場合に、決定した表示態様に従つて表示した表示画面を示す図である。

符号の説明

1, 7, 90 利用者端末

2, 4, 5, 6, 80 コンテンツ配信サーバ

3 コンテンツデータベース

8 入力装置

9 表示部

21, 41, 51, 61, 71, 81 コンテンツ表示態様決定部

22, 72, 92 コンテンツ変換部

23, 83 コンテンツ酉 S信咅

31 映像データ蓄積部

32 映像付随データ蓄積部

33 メタデータ蓄積部

34 分割パターン蓄積部

35 畳パターン蓄積部 40 通信ネットワーク

221, 721, 921 像データ変換部

222, 722, 922 付随データ変換部

223, 723, 923 コンテンツ配置部

発明を実施するための最良の形態

[0021] 第 1の実施形態：

本発明の第 1の実施形態のコンテンツ表示システムについて説明する。図 1は、第 1の実施形態のコンテンツ表示システムの構成を示して、る。このコンテンツ表示システムは、利用者端末 1、コンテンツ配信サーバ 2、コンテンツデータベース 3及び分割ノターン蓄積部 34を含む。利用者端末 1とコンテンツ配信サーバ 2とは、インターネット等の通信ネットワーク 40を介して接続されて、る。

[0022] コンテンツ表示システムは、映像データ及びその映像データに付随する所定の付随データとを含むコンテンツを表示する。このときコンテンツ表示システムは、コンテンッの構成に応じたレイアウトで表示画面に配置して映像及び付随データを同時に表示する。なお、第 1の実施形態では、図 1に示すように、コンテンツ配信サーバ 2が利用者端末 1に対してコンテンツを配信し、受信したコンテンツを利用者端末 1が表示する構成を備えることによって、コンテンツ表示システムが実現されてヽる。

[0023] 利用者端末 1は、利用者が使用する端末であり、具体的には、パーソナルコンビュータゃ携帯電話機、 PDA等の情報処理端末である。なお、利用者端末 1は、これら利用者が使用する情報処理端末に限らず、コンテンツを表示可能な表示部を備えた他のコンテンツ表示端末であってもよい。例えば、利用者端末 1は、テレビジョン受信機や、電光掲示板を搭載した端末、壁掛け時計、カーナビゲーシヨン端末等であつてもよい。図 1では、 1つの利用者端末 1を示している力コンテンツ表示システムは、複数の利用者端末 1を含んで、てもよ、。

[0024] 利用者端末 1は、利用者の操作に従って、コンテンツの配信要求を、通信ネットヮークを介してコンテンツ配信サーバ 2に送信する機能を備える。本実施の形態では、利用者端末 1は、コンテンツの配信を要求する旨のリクエスト情報 1Aと、利用者端末 1の表示画面のサイズ (大きさ）を示す表示画面情報 1Bとを、コンテンツ配信サーバ 2 に送信する。例えば、利用者端末 1は、リクエスト情報 1Aとして、配信要求するコンテンッを識別するための識別子を含む情報を送信する。識別子は、例えば、コンテンツ名やコンテンツ ID、ファイル名、タイトルカゝらなる。利用者端末 1は、表示画面情報 1B として、利用者端末 1の表示画面の解像度を含む情報を送信する。なお、例えば、ブラウザ等を用いてコンテンツを表示する場合、利用者端末 1は、コンテンツを表示するブラウザのウィンドウ部分の解像度を含む情報を送信する。

[0025] また、利用者端末 1は、決定した表示態様に従ってコンテンツ配信サーバ 2が生成したコンテンツを表示するコンテンツ表示咅を備える。コンテンツ表示咅は、 ί列えば、液晶表示部等の表示部に各種情報を表示させる利用者端末 1の CPUを含んでいる。本実施形態では、利用者端末 1は、コンテンツ配信サーバ 2から、通信ネットワークを介してコンテンツを受信する。そして、利用者端末 1は、受信したコンテンツに基づいて、表示部に映像を表示し、映像と同時に付随データを表示する。

[0026] 分割パターン蓄積部 34は、表示画面を、映像を表示する映像表示部と付随データを表示する付随データ表示部とに分割するパターンを示した分割パターンを予め複数蓄積するものであって、具体的には、磁気ディスク装置や光ディスク装置等のデータベース装置によって実現される。このような分割パターン蓄積部 34は、分割パターンとして、例えば、 L字型や U字型の形状に、表示画面を映像表示部と付随データ表示部とに分割するパターンを蓄積する。あるいは、分割パターン蓄積部 34は、例えば、分割パターンとして、単純に縦方向又は横方向に分割することによって、表示画面を映像表示部と付随データ表示部とに分割するパターンを蓄積する。この場合、分割パターン蓄積部 34は、表示画面を同じ形状 (例えば、 L字型）に分割する場合であっても、各領域すなわち映像表示部と付随データ表示部の面積の割合が異なるように、分割する複数の分割パターンを蓄積する。

[0027] コンテンツデータベース 3は、コンテンツ製作者によって作成されたコンテンツを蓄積するものであって、具体的には、磁気ディスク装置や光ディスク装置等のデータべース装置によって実現される。図 1に示すように、コンテンツデータベース 3は、映像データ蓄積部 31、映像付随データ蓄積部 32及びメタデータ蓄積部 33を含む。映像データ蓄積部 31は、画面に表示されるための映像データを格納する。映像付随データ蓄積部 32は、映像と共に表示されるべき情報である付随データを格納する。メタデータ蓄積部 33は、コンテンツ表示態様の決定に用いられるメタデータを格納する。なお本実施形態では、映像データ蓄積部 31が蓄積する映像データと、映像付随データ蓄積部 32が蓄積する付随データとの組み合わせによって、 1つのコンテンツが構成される。図 1では、 1つのコンテンツデータベース 3を示している力映像データ蓄積部 31、映像付随データ蓄積部 32及びメタデータ蓄積部 33のうちのいずれか、又は全てがそれぞれ別々のデータベース装置によって実現されてもよい。

[0028] 図 2は、コンテンツデータベース 3が蓄積する映像データ、付随データ及びメタデータの例を示している。図 2に示すように、映像データは、複数の映像区間 801, 802, 803, 804から構成される。本実施形態において、映像区間は、例えば、 1台のカメラで連続的に撮影された区間であるショットであってもよいし、例えば、意味内容のまとまりをもつ複数ショットの集合であるシーンであってもよい。あるいは、映像区間は、例えば、コンテンツの制作者等により予め指定された任意の長さをもつ区間であってもよい。

[0029] 図 2に示すように、コンテンツデータベース 3は、映像区間毎に、それぞれ対応する付随データ 811, 812, 813, 814、及びそれぞれ対応するメタデータ 821, 822, 8 23, 824を蓄積する。コンテンツデータベース 3は、付随データについても、それぞれ対応するメタデータ 831, 832, 833, 834を付随データ毎に蓄積する。さらに、コンテンッデータベース 3は、映像データ全体の各種情報を含むメタデータ 840、及び付随データ全体の各種情報を含むメタデータ 850を蓄積する。なお、メタデータ 840 とメタデータ 850とが 1つのメタデータとして構成されて!、てもよ!/、。

[0030] 各映像区間に対応する付随データは、対応する映像区間と連動させて表示画面に表示させるべき各種情報、例えばテキスト情報を含んでいる。各付随データは、プレーンテキスト形式のデータであってもよぐ XML (extended markup language) で記載された構造ィ匕テキストであってもよい。また、各付随データは、 HTML (hyper text markup languageノゃ BML (broadcast markup language)等で己れたハイパーテキストであってもよ！/ヽ。

[0031] メタデータ 840は、映像データ全体に対する情報を含む。例えば、図 2に示すように、メタデータ 840は、映像の解像度や符号化方式、各映像区間の開始点、終了点及び通し番号等を含む。メタデータ 850は、付随データ全体に関する情報を含む。例えば、メタデータ 850は、付随データのジャンルやフォーマット等の情報を含む。メタデータ（映像メタデータ） 821, 822, 823, 824は、それぞれ各映像区間に含まれる映像の属性情報を含む。例えば、メタデータ 821, 822, 823, 824は、映像中の注目領域や、映像変換の際の制限事項の情報を含む。映像変換の際の制限事項としては、例えば、拡大縮小率や、圧縮率等の上限、下限、変換による映像価値変化の評価関数等が挙げられる。メタデータ (付随メタデータ） 831, 832, 833, 834は、それぞれ映像区間に対応する付随データの属性情報を含む。例えば、メタデータ 831 , 832, 833, 834は、付随データの文字数や項目数等の情報を含む。また、メタデータ 831, 832, 833, 834は、付随データ変換の際の制限事項を含み、映像区間毎に映像及び付随データの重要度バランスが記述された映像区間重要度情報等が格納されている。付随データ変換の際の制限事項としては、例えば、各表示項目の重要度や、表示項目の優先順位、変換による付随データ価値変化の評価関数等が挙げられる。なお、映像区間重要度情報は、コンテンツ製作者が作成し手動で割り当ててもよぐサーバを用いて自動的に生成してもよい。また、映像区間重要度情報を自動的に生成できるような重要度定義関数を定めておき、重要定義関数を用いて生成してちょい。

[0032] コンテンツ配信サーバ 2は、例えば、各種映像コンテンツを酉己信するコンテンツ酉己信サービスを提供するサービス事業者が運営するサーバであり、具体的には、ワークステーシヨンやパーソナルコンピュータ等の情報処理装置によって実現される。図 1に示すように、コンテンツ配信サーバ 2は、コンテンツ表示態様決定部 21と、コンテンツ変換部 22と、コンテンツ配信部 23とを含む。

[0033] コンテンツ表示態様決定部 21は、具体的には、プログラムに従って動作する情報処理装置の CPU及びネットワークインタフェース部によって実現される。コンテンツ表示態様決定部 21は、リクエスト情報 1A及び表示画面情報 1Bを、通信ネットワークを介して利用者端末 1から受信する機能を備える。また、コンテンツ表示態様決定部 21 は、利用者端末 1から与えられた (受信した)リクエスト情報 1A及び表示画面情報 1B と、コンテンツデータベース 3が蓄積するメタデータとに基づいて、配信要求されたコンテンッの表示態様を決定する機能も備える。この場合、コンテンツ表示態様決定部 21は、表示対象のコンテンツに含まれる映像データと付随データとを表示画面に表示する際の表示態様を、映像区間毎に決定する。この実施形態では、コンテンツ表示態様決定部 21は、映像区間毎に、リクエスト (配信要求)された映像とその映像に対応する付随データとを、利用者端末 1で表示したときの最適な分割パターンを、分割パターン蓄積部 34が蓄積する各分割パターンの中から選定 (選択)し、選択した分割パターンに基づいて、配信要求されたコンテンツの表示態様を映像区間毎に決定する。

[0034] さらにコンテンツ表示態様決定部 21は、決定した表示態様を示す表示態様決定情報 21Aを生成し、コンテンツ変換部 22に出力する機能も備える。具体的には、コンテンッ表示態様決定部 21は、分割パターン蓄積部 34に用意された分割パターンのそれぞれを用いて、映像区間毎に、表示画面を映像表示部と付随データ表示部とに分割し、分割結果に従って、映像表示部に表示される映像及び付随データ表示部に表示される付随データとから構成されるコンテンツ全体の評価値を求め、各分割バターンのうち、評価値が最適となる場合、例えば、値が最大となる場合の分割パターンを、表示画面の分割に用いる分割パターンとして映像区間毎に決定する。

[0035] コンテンツ表示態様決定部 21が生成する表示態様決定情報 21Aは、映像変換パラメータと、付随データ変換パラメータと、レイアウト情報とを含む。映像変換パラメ一タは、コンテンツ表示態様決定部 21が決定した表示態様に適応するように映像を変換するためのパラメータである。例えば、コンテンツ表示態様決定部 21は、映像の変換率を含む映像変換パラメータを生成する。映像の変換率には、例えば、映像の縮小率や拡大率が含まれる。コンテンツ表示態様決定部 21は、利用者端末 1に送信する映像データに含めるビット数を指定する情報や、映像の時間解像度変換率を含む映像変換パラメータを生成してもよい。ここでの時間解像度変換率は、例えば、フレ一ムの間弓 Iきの度合等を含む。

[0036] 付随データ変換パラメータは、コンテンツ表示態様決定部 21が決定した表示態様に適応するように付随データを変換するためのパラメータである。例えば、コンテンツ表示態様決定部 21は、決定した付随データ表示部のサイズに応じて、付随データのうち付随データ表示部に表示可能な量のデータを選択する。表示可能な量は、例えば、文字数で表される。そして、コンテンツ表示態様決定部 21は、付随データ表示部に表示可能なデータの一覧を含む付随データ変換パラメータを生成する。例えば、コンテンツ表示態様決定部 21は、付随データ表示部に応じて、付随データに含まれるテキストのうちのタイトル部分や所定文字以内の文章を抽出し、付随データ変換パラメータを生成する。

[0037] レイアウト情報は、映像と付随データとの配置レイアウトすなわち分割パターンを記述した情報である。コンテンツ表示態様決定部 21は、映像表示部及び付随データ表示部の形状及びサイズを含むレイアウト情報を生成する。

[0038] コンテンツ変換部 22は、具体的には、プログラムに従って動作する情報処理装置の CPUによって実現される。図 1に示すように、コンテンツ変換部 22は、映像データ変換部 221と、付随データ変換部 222と、コンテンツ配置部 223とを含む。

[0039] 映像データ変換部 221は、リクエスト情報 1Aに基づいて、利用者端末 1からリクェスト（配信要求）された映像を、データベース 3から呼び出す (抽出する)機能を備える。映像データ変換部 221は、必要に応じて、映像変換パラメータを用いて、抽出した映像データを変換する機能も備える。すなわち、映像データ変換部 221は、コンテンッ表示態様決定部 21が決定した表示態様に従って、映像を映像区間毎に変換する。この場合、例えば、映像データ変換部 221は、映像変換パラメータに示される変換率に従って、抽出した映像を縮小又は拡大する。

[0040] 付随データ変換部 222は、リクエスト情報 1Aに基づいて、利用者端末 1からリクェストされた映像に対応する付随データを、データベース 3から呼び出す (抽出する)機能を備える。付随データ変換部 222は、必要に応じて、付随データ変換パラメータを用いて、付随データを変換する機能も備える。すなわち付随データ変換部 222は、コンテンッ表示態様決定部 21が決定した表示態様に従って、付随データを映像区間毎に変換する。この場合、例えば、付随データ変換部 222は、付随データ変換パラメータに含まれる一覧に示されるデータを付随データ力抽出し、変換後の付随データを生成する。一覧に示されるデータは、例えば、テキストのうちのタイトル部分や所定文字以内の文章である。

[0041] コンテンツ配置部 223は、レイアウト情報に従って、映像データ変換部 221が変換した映像データと、付随データ変換部 222が変換した付随データとをレイアウト上に配置した新たなコンテンツを生成する機能を備える。以下、コンテンツ配置部 223が変換後の映像及び付随データを用いて生成する新たなコンテンツを、変換済コンテンッともいう。例えば、コンテンツ配置部 223は、映像区間毎に、レイアウト情報に示される映像表示部及び付随データ表示部の形状及びサイズに従って、変換後の映像及び付随データをレイァゥト上に配置し、変換済コンテンッを生成する。

[0042] コンテンツ配信部 23は、具体的には、プログラムに従って動作する情報処理装置の CPU及びネットワークインタフェース部によって実現される。コンテンツ配信部 23 は、利用者端末 1に、通信ネットワークを介して変換済コンテンツを配信する機能を備える。なお、コンテンツ配信部 23は、変換後のコンテンツ全体を配信する代わりに、変換後の映像データ、変換後の付随データ及びレイアウト情報を別個に配信してもよい。この場合、利用者端末 1は、受信したレイアウト情報に従って、変換後の映像データ及び変換後の付随データを表示画面上に配置して表示する。

[0043] 本実施形態にぉ、て、コンテンツ配信サーバ 2の記憶装置（図示せず）は、利用者端末 1に変換済コンテンツを配信するための各種プログラムを記憶して、る。例えば、コンテンツ配信サーバ 2の記憶装置は、コンピュータに、コンテンツの配信要求を、通信ネットワークを介して利用者端末から受信する処理と、利用者端末からコンテンッの配信要求を受信すると、配信要求されたコンテンッに含まれる映像データと付随データとを表示画面に表示する際の表示態様を、映像区間毎に決定する処理と、映像区間毎に、決定した表示態様に従って、映像データと付随データとを配置したコンテンッを生成する処理と、映像データと付随データとを配置したコンテンツを、通信ネットワークを介して利用者端末に送信する処理とを実行させるためのコンテンツ配信プログラムを記憶している。

[0044] 次に、第 1の実施形態のコンテンツ表示システムの動作について説明する。図 3は、利用者端末力ゝらの要求に応じて、コンテンツ配信サーバがコンテンツを配信する処理の一例を示している。 [0045] 利用者は、コンテンツを視聴した!/、場合、利用者端末 1を操作して、例えば、視聴したいコンテンツの配信要求を入力指示する。利用者端末 1は、利用者の操作に従つて、ステップ S11において、リクエスト情報 1A及び表示画面情報 1Bを、通信ネットヮークを介してコンテンツ配信サーバ 2に送信する。例えば、利用者端末 1は、利用者によって指定されたコンテンツ名やコンテンツ IDを含むリクエスト情報 1Aを、通信ネットワークを介してコンテンツ配信サーバ 2に送信する。また、例えば、利用者端末 1 は、利用者端末 1の表示画面の解像度を含む表示画面情報 1Bを、通信ネットワークを介してコンテンッ配信サーバ 2に送信する。

[0046] 利用者端末がこれらの情報を送信すると、コンテンツ配信サーバ 2のコンテンツ表示態様決定部 21は、リクエスト情報 1A及び表示画面情報 1Bを、通信ネットワーク 40 を介して利用者端末 1から受信する。するとコンテンツ表示態様決定部 21は、受信したリクエスト情報 1A及び表示画面情報 1Bと、コンテンツデータベース 3が蓄積するメタデータとに基づいて、ステップ S12において、コンテンツの表示態様を映像区間毎に決定する。またコンテンツ表示態様決定部 21は、映像変換パラメータ、付随データ変換パラメータ及びレイアウト情報を含む表示態様決定情報 21Aを映像区間毎に生成する。コンテンツ表示態様決定部 21は、生成した表示態様決定情報 21Aをコンテンッ変換部 22に出力する。

[0047] 次にステップ S13において、コンテンツ変換部 22の映像データ変換部 221は、リクェスト情報 1Aに基づいて、配信要求されたコンテンツの映像データを、コンテンツデータベース 3から抽出し、表示態様決定情報 21Aに含まれる映像変換パラメータに基づ、て、抽出した映像データを映像区間毎に変換する。

[0048] 次にステップ S 14において、コンテンツ変換部 22の付随データ変換部 222は、リクェスト情報 1Aに基づいて、配信要求されたコンテンツの付随データを、コンテンツデータベース 3から抽出し、表示態様決定情報 21Aに含まれる付随データ変換パラメータに基づいて、抽出した付随データを映像区間毎に変換する。

[0049] 次にステップ S15において、コンテンツ変換部 22のコンテンツ配置部 223は、表示態様決定情報 21Aに含まれるレイアウト情報に従って、変換後の映像データと付随データとを映像区間毎にレイアウトに配置し、変換済コンテンツを生成する。その後ステツプ S16において、コンテンツ配信部 23は、コンテンツ変換部 22が生成した変換済コンテンツを、通信ネットワークを介して利用者端末 1に送信する。

[0050] このようにして変換済コンテンツが生成され、利用者端末 1に送信されると、利用者端末 1は、受信した変換済コンテンツに基づいて、映像を再生して表示し、映像とともに、映像に対応する付随データを表示する。図 4A, 4Bは、それぞれ、利用者端末 1 が映像及び付随データを表示する表示画面のレイアウトの例を示して、る。図 4Aは、表示画面を横方向に分割する分割パターンを用いて、映像及び付随データを表示する場合を示し、図 4Bは、表示画面を縦方向に分割する分割パターンを用いて、映像及び付随データを表示する場合を示している。図 4A, 4Bに示すように、利用者端末 1は、映像区間毎に、映像表示部と付随データ表示部との面積の割合を変化させながら、映像及び付随データを表示する。

[0051] 次に、図 3のステップ S12における、コンテンツ表示態様決定部 21がコンテンツの表示態様を決定する動作について説明する。図 5は、コンテンツ表示態様決定部 21 がコンテンツの表示態様を決定する表示態様決定処理の一例を示すフローチャートである。本実施形態では、コンテンツ表示態様決定部 21は、映像区間毎に、分割パターン蓄積部 34が蓄積する各分割パターンを用いて、表示画面を映像表示部と付随データ表示部とに分割した時のコンテンツの価値を求める。そして、コンテンツ表示態様決定部 21は、コンテンツ価値が最大となる分割パターンを、その映像区間に用いる分割パターンとして選択する。

[0052] 利用者端末 1からリクエスト情報 1A及び表示画面情報 1Bを受信すると、コンテンツ表示態様決定部 21は、受信したリクエスト情報 1Aに基づいて、配信要求されたコンテンッの映像データと各付随データとをコンテンツデータベース 3から抽出するとともに、配信要求されたコンテンツに対応する各メタデータを、それぞれコンテンツデータベース 3から抽出する。また、コンテンツ表示態様決定部 21は、抽出したメタデータに基づいて、映像データに含まれる各映像区間を特定する。例えば、コンテンツ表示態様決定部 21は、図 2に示す映像コンテンッ全体のメタデータ 840に含まれる各映像区間の開始点や終了点に従って、映像データに含まれる映像区間の数や、各映像区間の映像データ中での位置を特定する。そしてコンテンツ表示態様決定部 21 は、ステップ S 101において、映像区間の特定結果に基づいて、表示対象とする映像区間を指定する。まず、コンテンツ表示態様決定部 21は、映像データに含まれる最初の映像区間を、表示態様決定の処理対象として選択する。

[0053] ここでは、分割パターンを予め n個用意しておき、分割パターン蓄積部 34が n個の分割パターンを蓄積している場合を説明する。処理対象の映像区間を選択すると、コンテンツ表示態様決定部 21は、ステップ S102において、表示態様決定処理に用いる各変数やパラメータを初期化する。本実施形態では、コンテンツ表示態様決定部 21は、所定の変数 kを k= lと初期化し、所定値 V を V =0と初期化する。変

max max

数 kは、コンテンツ表示態様決定部 21が、分割パターン蓄積部 34が蓄積する分割パターンのうち、現在何番目の分割パターンを用いて処理を行っているかを示す変数である。 V は、コンテンツ表示態様決定部 21が分割パターン毎に求めるコンテンツ

max

価値の最大値を示す。

[0054] 次にコンテンツ表示態様決定部 21は、ステップ S103において、分割パターン蓄積部 34から、 k番目の分割パターンを読み込む。ステップ S102で k= lと設定しているので、コンテンツ表示態様決定部 21は、最初に表示態様決定処理を実行する場合、まず分割パターン蓄積部 34から 1番目の分割パターンを読み込む。そして、コンテンッ表示態様決定部 21は、ステップ S104において、読み込んだ分割パターンに基づいて、処理対象の映像区間に対して、表示画面を映像表示部と付随データ表示部とに分割する。

[0055] また、コンテンツ表示態様決定部 21は、映像表示部に最適な形態で映像を変換する。この変換の具体例としては、分割後の映像表示部のサイズに合うように映像を縮小する、というものが挙げられる。そして、コンテンツ表示態様決定部 21は、ステップ S105において、変換後の映像を映像表示部に表示した場合に映像力もつ価値 (最大価値)を算出する。この場合、コンテンツ表示態様決定部 21は、予め定めた評価関数を用いて、表示した変換後の映像力 Sもつ価値を求める。例えば、一般に映像を縮小すればする程映像を視聴しにくくなるので、コンテンツ表示態様決定部 21は、評価関数を用いて、映像を縮小するに従って低くなるように映像の価値を求める。以下、ここでの評価関数のことを映像価値算出用評価関数という。 [0056] さらにコンテンツ表示態様決定部 21は、付随データ表示部に最適な形態で、映像区間に対応する付随データを変換する。この変換の具体例として、例えば、付随データ表示部のサイズに応じて表示可能なデータを抽出する、というものが挙げられる。そしてコンテンツ表示態様決定部 21は、ステップ S106において、変換後の付随データを付随データ表示部に表示した場合に付随データ力 Sもつ価値 (最大価値)を算出する。この場合、コンテンツ表示態様決定部 21は、予め定めた評価関数を用いて、表示した変換後の付随データ力 Sもつ価値を求める。以下、この評価関数を付随データ価値算出用評価関数ともいう。一般に表示画面に表示する付随データの項目数を減らす程、表示できる情報量が少なくなる反面、付随データの表示に要するぺージ数が減り、付随データが見やすくなる。そのため、コンテンツ表示態様決定部 21は、例えば、表示する付随データの項目数とそれら項目の重要度、及び表示に要するページ数を変数とする評価関数を用いて、変換後の付随データ力 Sもつ価値を決定する。

[0057] 次に、コンテンツ表示態様決定部 21は、変換後の映像及び付随データに基づいて、表示画面に表示したコンテンツすなわち表示した映像及び付随データの全体の価値 Vを、ステップ S107において、別途予め定めた評価関数を用いて算出する。この評価関数のことを、以下、コンテンツ価値算出用評価関数という。この場合、コンテンッ表示態様決定部 21は、例えば、最もシンプルな方法として、単純に映像及び付随データ双方の価値を平均化する評価関数を用いて、コンテンツ全体の価値 Vを求める。

[0058] なお、本実施形態では、予め定めた各評価関数を用いる場合を説明するが、コンテンッ表示態様決定部 21は、予め評価関数を記憶する記憶部力各評価関数を抽出し、抽出した評価関数を用いてコンテンツ価値を求めてもよい。

[0059] ここで、コンテンツ表示態様決定部 21が、利用者端末 1に表示するコンテンツすなわち映像区間及び付随データの全体の価値 Vを評価するために用いる、コンテンッ価値算出用評価関数の例を示す。コンテンツ表示態様決定部 21は、利用者に提供される情報量、情報の持つ価値及び情報の見やすさのうちいずれか 1つの項目又は 2つ以上の項目を、評価基準として用いて、映像及び付随データの双方について評価する。コンテンツ表示態様決定部 21は、この求めた評価値に基づいて、コンテンツ全体の価値を評価することができる。例えば、表示画面を面積比 X： (1— X)に分割した場合におけるコンテンツ全体の価値は、映像表示部に表示された映像の価値と、付随データ表示部に表示された付随データの価値を変数とする関数として記述できる。この場合、コンテンツ全体の価値は、映像の価値と付随データの価値とを加算することによって得ることができる。すなわち、コンテンツ価値算出用評価関数 V(x)は、映像価値算出用評価関数 g(x)と、付随データ価値算出用評価関数 h(x)とを変数とする関数 f(g(x), Mx))として表すことができる。また、コンテンツ価値算出用評価関数 V(x)は、映像価値算出用評価関数 g(x)と、付随データ価値算出用評価関数 h(x )との和として、式（1)を用いて表すことができる。

[0060] V(x)=f(g(x), h(x))=g(x)+h(x) (1)

以下、評価基準毎の映像データ及び付随データの評価関数の例を示す。まず、利用者に提供される情報量を尺度 (すなわち評価基準)とした場合の評価関数の例を示す。利用者に提供される情報量を尺度に評価する場合、映像データ表示部に表示できる映像の画素数、及び付随データ表示部に表示できる文字数が評価対象となる。映像のアスペクト比を変えることなぐ解像度が横 w画素及び縦 V画素の映像表示部にできるだけ広く映像を表示できるよう映像を変換するものとする。この場合、映像の拡大縮小率を bとすると、拡大縮小率 bは、表示される画素数を反映しているので、拡大縮小率 bを変数とする関数によって評価関数を表現できる。例えば、拡大縮小率 bそのものを映像の評価値として利用する場合、映像価値算出用評価関数は、式（ 2)を用いて表される。

[0061] g(w, v)=b

b=min(bl, b2), bl=w/x and h2=v/ y

orig orig

b = b (b>b )

max max

b = 0 (b<b ) (2)

min

式（2)にお、て、 x 及び y は、それぞれ原画像の高さ及び幅を示す。また、 b

orig orig max 及び b は、それぞれ許容されている拡大縮小率の最大値及び最小値を示す。

min

[0062] また、解像度が横 w画素及び縦 V画素の付随データ表示部に収まるように付随データを変換するものとする。又は、付随データ表示部の qページ以内に収まるように付随データを変換するものとする。具体的には、付随データに表示できる項目が m 個あり、これらの項目の中力 gページ以内に収まるように表示する項目を選定するものとする。付随データ表示部に表示できる項目が m個あり、一行あたりに収まる文字数を!:、 1ページあたりに収まる行数を s、各項目の文字数をそれぞれ t , t , · · ·, t ,

1 2 k

· · ·, t (l≤k≤m)とする。また、付随データ表示部への表示の有無を、それぞれ a , m 1 a , · · ·, a , · · ·, a (1≤k≤m)とする。ただし、 a = 1は、 k番目の項目を表示すること

2 k m k

を意味し、 a =0は、 k番目の項目を表示しないことを意味する。

k

[0063] 付随データ全てを表示した場合の情報量を 1とすると、付随データ表示部の qぺージ以内に収まるように変換された付随データの情報量すなわち付随データ価値算出用評価関数は、式（3)を用いて表される。

[0064] [数 1]

{ a_k- f loor (t_k/s )} < g (3) k=1

なお、式（3)において、 floorは、小数点切り上げを示す関数である。式（2)及び式 (3)を、式（1)に代入することにより、利用者に提供される情報量を評価尺度とするコンテンッ価値算出用評価関数 V (x)が得られる。

[0065] 次に、情報の持つ価値を尺度 (すなわち評価基準)とした場合の評価関数の例を示す。利用者に提供される情報の価値を尺度に評価する場合、映像データ表示部に表示できる映像又は映像領域の価値と、付随データ表示部に表示される項目の情報価値とを評価対象とする。情報価値は、利用者にとっての情報価値としてもよぐ情報提供者にとっての情報価値としてもよい。また、利用者及び情報提供者双方にとつての情報価値としてもよ、。

[0066] まず、映像について、評価の対象となる映像区間に登場する人物や物体それぞれに情報価値が割り当てられているとする。登場物や映像領域が j個存在し、各登場物の情報価値を Vとする。また、各登場物の表示の有無を、それぞれ C , C , ···, C ,… j 1 2 k

, c (l≤k≤j)とする。ただし、 c =1は、 k番目の項目を表示することを意味し、 c =0 j k k は、 k番目の項目を表示しな、ことを意味する。また、解像度が横 W画素及び縦 V画素の限定された映像表示部に、できるだけ情報価値の高い登場物の組み合わせを映像表示部の範囲内に表示できるよう登場物を選択するものとする。この場合、映像価値算出用評価関数は、式 (4)を用いて表される。

[0067] [数 2]

ただし、式 (4)において、選択した登場物の集合は、映像表示部をはみ出てはならない。

[0068] 一方、付随データについて、付随データに表示できる項目が m個あり、一行あたりに収まる文字数を!:、 1ページあたりに収まる行数を s、各項目の文字数をそれぞれ t , t , ···, t , ···, t (l≤k≤m)、各項目の情報価値を u (0≤u≤1)とする。また、

2 k m k k

付随データ表示部への表示の有無を、それぞれ a , a , ···, a , ···, a (l≤k≤m)と

1 2 k m

する。ただし、 a =1は、 k番目の項目を表示することを意味し、 a =0は、 k番目の項

k k

目を表示しな、ことを意味する。

[0069] 付随データ全てを表示した場合の情報量を 1とすると、付随データ表示部の qぺージ以内に収まるように変換された付随データの情報価値すなわち付随データ価値算出用評価関数 h(w, v)は、式（5)を用いて表現できる。

[0070] [数 3]

I {a_k-floor(tk/s)}<g

式 (4)及び式 (5)を、式（1)に代入することにより、利用者に提供される情報価値を尺度とするコンテンツ価値算出用評価関数 V(x)が得られる。

[0071] 次に、情報の見やすさを評価基準とした評価関数の例を示す。利用者に提供される情報の見やすさを尺度に評価する場合、映像データ表示部に表示される映像がい力に見やすいか、付随データ表示部に表示される情報がいかに見やすく配置されているかを評価対象とする。

[0072] まず、映像について、動きの滑ら力さやノイズの分量等の画質を基準に評価を行う。映像の解像度を rとし、フレームレートを f、原画像との SZN比を s、動き分量を mとする。この場合、映像価値算出用評価関数は、これら 4つの変数力もなるバランス関数として、式 (6)を用いて表される。このバランス関数を最適にするような解像度 r及びフレームレート fを選択し、その選択した解像度 r及びフレームレート fに従って映像を変換することができる。

[0073] g(w, V) =max{o(r, f, s, m) } (6)

また、付随データについて、付随データを表示するために必要なページ数が少なければ少な、程情報が見やすくなるので、必要なページ数に反比例して高、評価を割り当てるように設計する。この場合、付随データ価値算出用評価関数は、式 (7)を用いて表される。

[0074] [数 4]

h(W，V) (7)

式（7)において、 1は、選択した項目全てを表示するために必要な行数を示し、 1 max は最大行数を示し、 Lは画面内に表示できる行数を示す。式 (6)及び式（7)を、式（1 )に代入することにより、利用者に提供される情報の見やすさを尺度とするコンテンツ価値算出用評価関数 V (x)が得られる。

[0075] さらに、評価基準として、利用者に提供される情報量、情報のもつ価値及び情報の見やすさを組み合わせた場合の評価関数の例を示す。この場合、例えば、映像価値算出用評価関数として、式（2) , (4) , (6)のいずれ力 2つ又は全てを組み合わせた評価関数を利用することができる。また、例えば、付随データ価値算出用評価関数として、式（3) , (5) , (7)のいずれ力 2つ又は全てを組み合わせた評価関数を利用することもできる。例えば、映像データについて、式（2)及び式 (4)を組み合わせて利用することによって、与えられた映像表示領域に対して、登場物と各登場物についての拡大縮小率との組み合わせを考慮した関数になる。この場合、例えば、式 (8)に示す映像価値算出用評価関数を用いることができる。

[0076] [数 5]

また、例えば付随データについて、式（5)及び式（7)を組み合わせることによって、情報のもつ価値と情報の見やすさとのトレードオフを考慮した関数になる。この場合、例えば、式 (9)に示す付随データ価値算出用評価関数を用いることができる。

[数 6] h(w,v )=

h(

式 (8)及び式 (9)を、式（1)に代入することにより、利用者に提供される情報量、価値及び見やすさを尺度とするコンテンツ価値算出用評価関数 V (x)を生成することができる。

[0078] コンテンツ表示態様決定部 21は、ステップ S108において、求めたコンテンツ全体の価値 Vがコンテンツ価値の最大値 V より大きいか否かを判定する。算出したコン

max

テンッ全体の価値 Vがコンテンツ価値の最大値 V より大きいと判断すると、コンテン

max

ッ表示態様決定部 21は、 V 〖こ Vを代入し、 V の値を更新する。コンテンツ表示

max max

態様決定部 21は、現在の処理対象の k番目の分割パターンについて、映像表示部での最適な表示を実現する映像変換パラメータ、及び付随データ表示部での最適な表示を実現する付随データ変換パラメータを生成する。そして、コンテンツ表示態様決定部 21は、ステップ S109において、 k番目の分割パターンと、生成した映像変換ノラメータ及び付随データ変換パラメータとを、あわせてメモリ等の記憶装置に保存する。

[0079] V の値を更新し、分割パターン、映像変換パラメータ及び付随データ変換パラメ

max

ータを保存すると、コンテンツ表示態様決定部 21は、ステップ S110において、変数 k に 1加算する。ステップ S 108で、コンテンツ全体の価値 Vがコンテンツ価値の最大値 V より大きくないと判断した場合には、コンテンツ表示態様決定部 21は、ステップ S max

109の処理を実行せずに、そのまま変数 kに 1加算する。 [0080] 次に、コンテンツ表示態様決定部 21は、ステップ S111において、変数 kの値力より大きいか否かを判断する。変数 kの値力より大きいと判断すると、コンテンツ表示態様決定部 21は、全ての分割パターンについて処理を完了したと判断し、そのままステップ S 112の処理に移行する。変数 kの値カより大きくないと判断すると、コンテンッ表示態様決定部 21は、ステップ S103に戻り、ステップ S 103からステップ S 110 までの処理を繰り返し実行する。すなわち、コンテンツ表示態様決定部 21は、未処理の分割パターンが存在すると判断し、分割パターン蓄積部 34が蓄積する次の分割パターンを読み出して、その分割パターンを用いた時のコンテンツ価値を評価する

[0081] 以上のように、分割パターン蓄積部 34が蓄積する全ての分割パターンについて、ステップ S 103からステップ S 110までの処理が繰り返し実行される。全ての分割パターンにつ、て繰り返し処理を実行することによって、コンテンツ全体の価値が最大となる場合の分割パターン、映像変換パラメータ及び付随データ変換パラメータが保存される。

[0082] 変数 kの値カより大きいと判断すると、コンテンツ表示態様決定部 21は、ステップ S 112において、記憶装置に現在記憶している分割パターン、映像変換パラメータ及び付随データ変換パラメータを抽出し出力する。すなわち、コンテンツ表示態様決定部 21は、コンテンツ価値 Vが最大となる時の分割パターン、映像変換パラメータ及び付随データ変換パラメータをコンテンツ変換部 22に出力する。この場合、コンテンツ表示態様決定部 21は、コンテンツ価値 Vが最大となる時の分割パターンを用いた表示画面上の配置レイアウトを示すレイアウト情報を生成する。そして、コンテンツ表示態様決定部 21は、映像変換パラメータ、付随データ変換パラメータ及びレイアウト情報を含む表示態様決定情報 21Aをコンテンツ変換部 22に出力する。

[0083] 以上に示すようにコンテンツ表示態様決定部 21は、ステップ S 101からステップ S1 12までの処理を実行することによって、分割パターンを変えながら、すなわち kを 1ずつインクリメントしながら（k=k+ 1)、全ての分割パターンについてコンテンツ全体の価値を算出する。そして、コンテンツ表示態様決定部 21は、コンテンツ全体の価値が最も高い分割パターンを映像区間と付随データとの配置レイアウトとして採用する。 [0084] コンテンツ表示態様決定部 21は、以上に示すプロセスを、配信要求された映像データに含まれる映像区間毎に繰り返す。そして、コンテンツ表示態様決定部 21は、映像区間毎に、全ての分割パターンについてコンテンツ価値を算出して配置レイァゥトを決定し、表示態様決定情報 21Aを出力する。

[0085] 以上のように、本実施形態によれば、コンテンツ配信サーバ 2は、映像データに含まれる映像区間毎に、映像及び対応する付随データの内容に合わせてコンテンツの表示態様を適応的に決定する。また、コンテンツ配信サーバ 2は、決定した表示態様に従って変換したコンテンツを利用者端末 1に配信する。そして、利用者端末 1は、配信されたコンテンツに従って、映像表示部と付随データ表示部とを映像区間毎に動的に変化させながら表示する。すなわち本実施形態によれば、コンテンツの表示態様を映像区間毎に自動的に決定し、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することができる。従って、本実施形態によれば、コンテンツ作成者は、個々の情報 (すなわち映像及び付随データ）に対して表示画面毎に画面構成を設計しなくても、表示画面及びコンテンッの構成に応じたレイァゥトで映像と付随データとを表示することができる。また、本実施形態によれば、映像及び付随データの内容に応じて、映像区間毎に映像と付随データとの表示態様を適応的に決定し表示できるので、効果的に映像データと付随データとを提示するコンテンッ表示システムを実現することができる。

[0086] 本実施形態によれば、コンテンツ配信サーバ 2は、映像データと付随データとを視聴する側の要求条件である端末の表示画面に基づ、て、コンテンツの表示態様を適応的に決定する。そのため、任意の表示画面に対して効果的に映像データと付随デ一タとを提示するコンテンツ表示システムを実現することができる。

[0087] 第 2の実施形態：

次に、本発明の第 2の実施形態のコンテンツ表示システムについて説明する。図 6 は、第 2の実施形態のコンテンツ表示システムを示している。図 6に示すように、第 2 の実施形態のコンテンツ表示システムでは、コンテンツ配信サーバ 4に含まれるコンテンッ表示態様決定部 41の機能が、第 1の実施形態で示したコンテンツ表示態様決定部 21の機能と異なっている。また第 2の実施形態のシステムは、利用者端末 1が、リクエスト情報 1A及び表示画面情報 IBに加えて、重要度バランス情報 1Cを、通信ネットワークを介してコンテンッ配信サーバ 4に送信する点で、第 1の実施形態のものと異なっている。なお、第 2の実施形態において、コンテンツデータベース 3及び分割パターン蓄積部 34が蓄積する情報は、第 1の実施形態におけるそれらが蓄積する情報と同様であり、利用者端末 1の機能は、リクエスト情報 1A及び表示画面情報 1B〖こ加えて重要度バランス情報 1Cを送信することを除いて、第 1の実施形態における利用者端末 1の機能と同様であり、コンテンツ配信サーバ 4のコンテンツ変換部 22及びコンテンツ配信部 23の機能は、第 1の実施形態におけるそれらの機能と同様である。

[0088] 第 2の実施形態のシステムにおいて、コンテンツ表示態様決定部 41は、リクエスト情報 1A、表示画面情報 IB及び重要度バランス情報 1Cを、通信ネットワークを介して利用者端末 1から受信する機能を備える。本実施形態では、コンテンツ表示態様決定部 41は、重要度バランス情報 (重要度情報ともいう） 1Cとして、利用者の嗜好又は各映像区間の重要度と対応する各付随データの重要度とのバランスを示す情報を受信する。

[0089] また、コンテンツ表示態様決定部 41は、利用者端末 1から与えられた (受信した)リタエスト情報 1A、表示画面情報 IB及びコンテンツ重要度情報 1Cと、メタデータとに基づいて、配信要求されたコンテンツの表示態様を決定する機能を備える。この場合、コンテンツ表示態様決定部 41は、表示画面情報 1B、映像メタデータや付随メタデータなどの各メタデータ、及び重要度バランス情報 1Cのうち、少なくとも 1つに基づいて、表示態様を決定する。

[0090] さらに第 2の実施形態では、コンテンツ表示態様決定部 41は、映像区間毎に、リクェスト (配信要求)された映像とその映像に対応する付随データとを利用者端末 1で表示するときの表示態様を決定する。また、コンテンツ表示態様決定部 41は、決定した表示態様を示す表示態様決定情報 41Aを生成し、コンテンツ変換部 22に出力する機能を備える。

[0091] ここで、コンテンツ重要度とは、利用者が配信を希望する映像データと付随データとの間の重要度バランスである。本実施形態では、具体的には、コンテンツ表示態様決定部 41は、分割パターン蓄積部 34に用意された分割パターンのそれぞれを用いて、各映像区間に対して表示画面を映像表示部と付随データ表示部とに分割し、表示画面を分割した上で、映像表示部に表示される映像及び付随データ表示部に表示される付随データカゝら構成されるコンテンツ全体の評価値を、コンテンツ重要度を考慮しながら求める。そしてコンテンツ表示態様決定部 41は、評価値が最適となる場合、例えば、値が最大となる場合の分割パターンを、表示画面の分割に用いる分割ノ《ターンとして映像区間毎に決定する。

[0092] ここで表示態様決定情報 41Aは、映像変換パラメータと、付随データ変換パラメ一タと、レイアウト情報とを含む。映像変換パラメータは、決定した表示態様に適応するように映像を変換するためのパラメータである。付随データ変換パラメータは、決定した表示態様に適応するように付随データを変換するためのパラメータである。レイァゥト情報は、映像と付随データとの配置レイアウトすなわち分割パターンを記述した情報である。なお、映像データと付随データとの間の重要度バランスは、利用者から提供される、すなわち利用者端末 1から受信する代わりに、コンテンツの制作者側から予め提供されてもよい。

[0093] 次に、第 2の実施形態のコンテンツ表示システムの動作について説明する。まず、コンテンツ配信サーバ 4が利用者端末 1からの要求に応じてコンテンツを配信する動作を説明する。

[0094] 利用者は、コンテンツを視聴した!/、場合、利用者端末 1を操作して、視聴したヽコンテンッの配信要求を入力指示する。利用者端末 1は、利用者の操作に従って、リクェスト情報 1A、表示画面情報 IB及び重要度バランス情報 1Cを、通信ネットワーク 40 を介してコンテンツ配信サーバ 4に送信する。すると、コンテンツ配信サーバ 4のコンテンッ表示態様決定部 41は、受信したリクエスト情報 1A、表示画面情報 IB及び重要度バランス情報 1Cと、コンテンツデータベース 3が蓄積するメタデータとに基づいて、コンテンツの表示態様を決定する。なお、コンテンツ変換部 22が変換済コンテンッを生成する処理、及びコンテンツ配信部 23が変換済コンテンツを配信する処理は、図 3で示したステップ S 13からステップ S 16までの処理と同様である。

[0095] 次に、コンテンツ表示態様決定部 41がコンテンツの表示態様を決定する動作について説明する。図 7は、第 2の実施形態においてコンテンツ表示態様決定部がコンテンッの表示態様を決定する処理を示してヽる。

[0096] コンテンツ表示態様決定部 41は、第 1の実施形態の場合と同様に、受信したリクェスト情報 1Aに基づいて、配信要求されたコンテンツの映像データと、配信要求されたコンテンツの各付随データとをコンテンツデータベース 3から抽出する。また、コンテンッ表示態様決定部 41は、配信要求されたコンテンツに対応する各メタデータを、それぞれコンテンツデータベース 3から抽出する。コンテンツ表示態様決定部 41は、抽出したメタデータに基づ、て、映像データに含まれる各映像区間を特定する。

[0097] 次にコンテンツ表示態様決定部 41は、ステップ S 101aにおいて、映像区間の特定結果に基づいて、表示対象とする映像区間を指定する。本実施形態では、予め分割ノターンを n個用意しておき、分割パターン蓄積部 34が n個の分割パターンを蓄積しているものとする。コンテンツ表示態様決定部 41は、ステップ S102aにおいて、所定の変数 kを k= lと初期化し、コンテンツ価値の最大値を V =0と初期化する。

max

[0098] 次にコンテンツ表示態様決定部 41は、ステップ S 103aにおいて、分割パターン蓄積部 34から、 k番目の分割パターンを読み込み、ステップ S104aにおいて、読み込んだ分割パターンに基づいて、処理対象の映像区間に対して、表示画面を映像表示部と付随データ表示部とに分割する。次に、コンテンツ表示態様決定部 41は、ステツプ S105aにおいて、映像表示部に最適な形で映像を変換し、変換後の映像を映像表示部に表示した場合に映像がもつ価値 (最大価値)を、予め定めた評価関数を用いて算出する。一般に映像を縮小すればする程映像を視聴しに《なるので、コンテンッ表示態様決定部 41は、評価関数を用いて、例えば、映像を縮小するに従つて低くなるように映像の価値を求める。

[0099] コンテンツ表示態様決定部 41は、ステップ S106aにおいて、付随データ表示部に最適な形で映像区間に対応する付随データを変換し、変換後の付随データを付随データ表示部に表示した場合に付随データ力 Sもつ価値 (最大価値)を、予め定めた評価関数を用いて算出する。例えば、一般に表示画面に表示する付随データの項目数を減らす程、表示できる情報量が少なくなる反面、付随データの表示に要するページ数が減り、付随データが見やすくなる。そのため、コンテンツ表示態様決定部 41は、表示する付随データの項目数とそれら項目の重要度、及び表示に要するぺ一ジ数を変数とする評価関数を用いて、変換後の付随データ力 Sもつ価値を決定する

[0100] さらにコンテンツ表示態様決定部 41は、ステップ S107aにおいて、変換後の映像及び付随データに基づ、て、表示画面に表示したコンテンツ (すなわち映像及び付随データ)全体の価値 Vを、予め定めた評価関数を用いて算出する。本実施形態ではコンテンツ表示態様決定部 41は、映像及び付随データ双方の価値をコンテンツ重要度情報 1Cに基づ、て重み付けした評価関数を用いて、コンテンツ全体の価値 Vを算出する。この場合、コンテンツ表示態様決定部 41は、例えば、最もシンプルな方法として、単純に映像及び付随データ双方の価値を、コンテンツ重要度情報 1Cに基づ、て重み付けして加算する。

[0101] ここで、コンテンツ表示態様決定部 41がコンテンツ全体の価値 Vを評価するために用いるコンテンツ価値算出用評価関数の例を示す。例えば、コンテンツ価値算出用評価関数 V (x)は、映像価値算出用評価関数 g (x)と、付随データ価値算出用評価関数 h (X)との加重和として、式（10)を用いて表すことができる

V(x) =f (g (x) , h (x) , w) =wg (x) + (l -w) h (x) (10)

なお、式（10)において、 wは映像の重要度を示し、（1 w)は付随データの重要度を示している。

[0102] 次にコンテンツ表示態様決定部 41は、ステップ S 108aにおいて、求めたコンテンツ全体の価値 Vがコンテンツ価値の最大値 V より大きいか否かを判定する。算出した

max

コンテンツ全体の価値 Vがコンテンツ価値の最大値 V より大きいと判断すると、コン

max

テンッ表示態様決定部 41は、ステップ S109aにおいて、 V に Vを代入し、 V の

max max 値を更新し、現在の処理対象の k番目の分割パターンについて、映像表示部での最適な表示を実現する映像変換パラメータ、及び付随データ表示部での最適な表示を実現する付随データ変換パラメータを生成し、 k番目の分割パターンと、生成した映像変換パラメータ及び付随データ変換パラメータとを、あわせてメモリ等の記憶装置に保存する。

[0103] V の値を更新し、分割パターン、映像変換パラメータ及び付随データ変換パラメ

max

ータを保存すると、コンテンツ表示態様決定部 41は、ステップ SI 10aにおいて、変数 kに 1カロ算する。ステップ S 108aで、コンテンツ全体の価値 Vがコンテンツ価値の最大値 V より大きくないと判断した場合には、コンテンツ表示態様決定部 41は、ステツ max

プ S 109aの処理を実行せずに、そのまま変数 kに 1加算する。

[0104] 次にコンテンツ表示態様決定部 41は、ステップ S 11 laにおいて、変数 kの値力より大きいか否かを判断する。変数 kの値力より大きいと判断すると、コンテンツ表示態様決定部 41は、全ての分割パターンについて処理を完了したと判断し、そのままステップ S 112aの処理に移行する。変数 kの値力 ¾より大きくないと判断すると、コンテンッ表示態様決定部 41は、ステップ S103aに戻り、ステップ S 103aからステップ S 110aまでの処理を繰り返し実行する。すなわち、コンテンツ表示態様決定部 41は、未処理の分割パターンが存在すると判断し、分割パターン蓄積部 34が蓄積する次の分割パターンを読み出して、その分割パターンを用いた時のコンテンツ価値を評価する。

[0105] 一方、ステップ SI 11aにおいて変数 kの値が nより大きいと判断すると、コンテンツ表示態様決定部 41は、ステップ S112aにおいて、記憶装置に現在記憶している分割パターン、映像変換パラメータ及び付随データ変換パラメータを抽出し出力する。すなわち、コンテンツ表示態様決定部 41は、コンテンツ価値 Vが最大となる時の分割パターン、映像変換パラメータ及び付随データ変換パラメータをコンテンツ変換部 22 に出力する。この場合、コンテンツ表示態様決定部 41は、コンテンツ価値 Vが最大となる時の分割パターンを用いた表示画面上の配置レイアウトを示すレイアウト情報を生成し、映像変換パラメータ、付随データ変換パラメータ及びレイアウト情報を含む表示態様決定情報 41Aをコンテンツ変換部 22に出力する。

[0106] 以上に示すように、コンテンツ表示態様決定部 41は、ステップ S 101aからステップ S 112aまでの処理を実行することによって、分割パターンを変えながら、すなわち kを 1ずつインクリメントしながら (k=k+ 1)、全ての分割パターンについてコンテンツ全体の価値を算出する。そして、コンテンツ表示態様決定部 41は、コンテンツ全体の価値が最も高い分割パターンを、映像と付随データとの配置レイアウトとして採用する。

[0107] コンテンツ表示態様決定部 41は、以上に示すプロセスを、配信要求された映像データに含まれる映像区間毎に繰り返し、映像区間毎に、全ての分割パターンについてコンテンツ価値を算出して配置レイアウトを決定し、表示態様決定情報 41Aを出力する。

[0108] 以上説明したようにこの第 2の実施形態によれば、コンテンツ配信サーバ 4は、映像データに含まれる映像区間毎に、映像及び対応する付随データの内容に合わせてコンテンツの表示態様を適応的に決定する。また、コンテンツ配信サーバ 4は、決定した表示態様に従って変換したコンテンツを利用者端末 1に配信する。そして、利用者端末 1は、配信されたコンテンツに従って、映像表示部と付随データ表示部とを映像区間毎に動的に変化させながら表示する。すなわち、本実施形態によれば、コンテンッの表示態様を映像区間毎に自動的に決定し、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することができる。従って、コンテンッ作成者が個々の情報 (すなわち映像及び付随データ）に対して表示画面毎に画面構成を設計しなくても、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することができる。

[0109] 第 2の実施形態によれば、映像及び付随データの内容に応じて、映像区間毎に映像と付随データとの表示態様を適応的に決定し表示できるので、効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。また、本実施形態によれば、コンテンツ配信サーバ 4は、映像データと付随データとを視聴する側の要求条件である端末の表示画面に基づ!、て、コンテンツの表示態様を適応的に決定する。そのため、任意の表示画面に対して効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。さらに、コンテンツ配信サーバ 4は、映像データと付随データとを視聴する側の要求条件である重要度バランスに基づいて、コンテンツの表示態様を適応的に決定するので、本実施形態によれば、利用者の嗜好に合わせて効果的に映像データと付随データとを提示するコンテンッ表示システムを実現することができる。

[0110] 第 3の実施形態：

次に、本発明の第 3の実施形態のコンテンツ表示システムについて説明する。図 8 は、第 3の実施形態のコンテンツ表示システムの構成を示している。このコンテンツ表示システムでは、コンテンツ配信サーバ 5に含まれるコンテンツ表示態様決定部 51の機能が、第 2の実施形態で示したコンテンツ表示態様決定部 41の機能と異なってヽる。また、このコンテンツ表示システムは、分割パターン蓄積部 34に代えて重畳パターン蓄積部 35を含む点で、第 2の実施形態のものと異なっている。第 3の実施形態において、コンテンツデータベース 3が蓄積する情報は、第 2の実施形態におけるコンテンッデータベース 3が蓄積する情報と同様であり、利用者端末 1の機能は、第 2 の実施形態における利用者端末 1の機能と同様であり、コンテンツ配信サーバ 5のコンテンッ変換部 22及びコンテンツ配信部 23の機能は、第 2の実施形態におけるそれらの機能と同様である。

[0111] 重畳パターン蓄積部 35は、表示画面において付随データを映像データに重畳させて表示させるパターンを示した重畳パターンを予め複数蓄積するものであって、具体的には、磁気ディスク装置や光ディスク装置等のデータベース装置によって実現される。重畳パターン蓄積部 35は、重畳パターンとして、例えば、映像の上下左右に付随データを重畳させるパターンや、縦書き又は横書きで付随データを重畳させるパターンを蓄積する。さらに重畳パターン蓄積部 35は、重畳パターンとして、付随データを重畳させるための様々な面積の矩形領域を蓄積する。

[0112] コンテンツ表示態様決定部 51は、リクエスト情報 1A、表示画面情報 IB及び重要度バランス情報 1Cを、通信ネットワーク 40を介して利用者端末 1から受信する機能と、利用者端末 1から与えられた (受信した)リクエスト情報 1A、表示画面情報 IB及びコンテンッ重要度情報 1Cと、メタデータとに基づいて、配信要求されたコンテンツの表示態様を決定する機能と、を備える。本実施形態では、コンテンツ表示態様決定部 5 1は、映像区間毎に、リクエスト (配信要求）された映像とその映像に対応する付随データとを、利用者端末 1で表示するときの表示態様を決定する。また、コンテンツ表示態様決定部 51は、決定した表示態様を示す表示態様決定情報 51 Aを生成し、コンテンッ変換部 22に出力する機能も備える。

[0113] ここでコンテンツ重要度とは、利用者が配信を希望する映像データと付随データとの間の重要度バランスである。本実施形態では、具体的には、コンテンツ表示態様決定部 51は、重畳パターン蓄積部 35に用意された重畳パターンのそれぞれを用いて、表示画面上の各映像区間に対して付随データを重畳し、このように付随データを重畳した上で、表示画面に表示される映像及び付随データカゝら構成されるコンテンッ全体の評価値を、コンテンツ重要度を考慮しながら求める。そして、コンテンツ表示態様決定部 51は、評価値が最適となる場合 (例えば、値が最大となる場合)の重畳パターンを、付随データの重畳表示に用いる重畳パターンとして映像区間毎に決定する。

[0114] 表示態様決定情報 51Aは、映像変換パラメータと、付随データ変換パラメータと、レイアウト情報とを含む。映像変換パラメータは、決定した表示態様に適応するように映像を変換するためのパラメータである。付随データ変換パラメータは、決定した表示態様に適応するように付随データを変換するためのパラメータである。レイアウト情報は、映像と付随データとの配置レイアウトすなわち重畳パターンを記述した情報である。なお、映像データと付随データとの間の重要度バランスは、利用者から提供される代わりに、すなわち利用者端末 1から受信する代わりに、コンテンツの制作者側カゝら予め提供されてもよい。

[0115] 次に、第 3の実施形態のコンテンツ表示システムの動作について説明する。まず、コンテンツ配信サーノ 5が利用者端末 1からの要求に応じてコンテンツを配信する動作を説明する。

[0116] 利用者は、コンテンツを視聴した!/、場合、利用者端末 1を操作して、視聴したヽコンテンッの配信要求を入力指示する。利用者端末 1は、利用者の操作に従って、リクェスト情報 1A、表示画面情報 IB及び重要度バランス情報 1Cを、通信ネットワーク 40 を介してコンテンツ配信サーバ 5に送信する。すると、コンテンツ配信サーバ 5のコンテンッ表示態様決定部 51は、受信したリクエスト情報 1A、表示画面情報 IB及び重要度バランス情報 1Cと、コンテンツデータベース 3が蓄積するメタデータとに基づいて、コンテンツの表示態様を決定する。なお、コンテンツ変換部 22が変換済コンテンッを生成する処理、及びコンテンツ配信部 23が変換済コンテンツを配信する処理は、図 3で示したステップ S 13からステップ S 16までの処理と同様である。

[0117] 次に、コンテンツ表示態様決定部 51がコンテンツの表示態様を決定する動作について説明する。図 9は、第 3の実施形態においてコンテンツ表示態様決定部がコンテンッの表示態様を決定する処理を示してヽる。 [0118] コンテンツ表示態様決定部 51は、第 1の実施形態の場合と同様に、受信したリクェスト情報 1Aに基づいて、配信要求されたコンテンツの映像データと、配信要求されたコンテンツの各付随データとをコンテンツデータベース 3から抽出する。また、コンテンッ表示態様決定部 51は、配信要求されたコンテンツに対応する各メタデータを、それぞれコンテンツデータベース 3から抽出する。コンテンツ表示態様決定部 51は、抽出したメタデータに基づ、て、映像データに含まれる各映像区間を特定する。

[0119] 次にコンテンツ表示態様決定部 51は、ステップ SlOlbにおいて、映像区間の特定結果に基づいて、表示対象とする映像区間を指定する。本実施形態では、予め重畳ノターンを n個用意しておき、重畳パターン蓄積部 35が n個の重畳パターンを蓄積しているものとする。コンテンツ表示態様決定部 51は、ステップ S102bにおいて、所定の変数 kを k= lと初期化し、コンテンツ価値の最大値を V =0と初期化する。

max

[0120] 次にコンテンツ表示態様決定部 51は、ステップ S103bにおいて、重畳パターン蓄積部 35から、 k番目の重畳パターンを読み込み、ステップ S104bにおいて、読み込んだ重畳パターンに基づいて、処理対象の映像区間に対して、映像に付随データを重畳する。次にコンテンツ表示態様決定部 51は、ステップ S105bにおいて、映像区間に対応する付随データを最適な形で変換し、変換後の付随データを付随データ表示部に表示した場合に付随データ力 Sもつ価値 (最大価値)を、予め定めた評価関数を用いて算出する。一般に表示画面に表示する付随データの項目数を減らす程、表示できる情報量が少なくなる反面、付随データの表示に要するページ数が減り、付随データが見やすくなる。そこでコンテンツ表示態様決定部 51は、例えば、表示する付随データの項目数とそれら項目の重要度、及び表示に要するページ数を変数とする評価関数を用いて、変換後の付随データ力 Sもつ価値を決定する。

[0121] コンテンツ表示態様決定部 51は、ステップ S106bにおいて、表示画面に最適な形で映像を変換し、変換後の映像を表示画面に表示した場合に映像力もつ価値 (最大価値)を、予め定めた評価関数を用いて算出する。この場合、コンテンツ表示態様決定部 51は、評価関数を用いて、付随データが重畳されることによる価値の減少も考慮した映像価値を求める。コンテンツ表示態様決定部 51は、例えば、空等の映像を邪魔しない箇所に付随データを重畳して表示する場合には、価値が高くなるように映像価値を求める。逆に、コンテンツ表示態様決定部 51は、例えば、主人公の顔の上に付随データを重畳表示する等の映像内容を大きく邪魔する場合には、価値が低くなるように映像価値を求める。

[0122] さらにコンテンツ表示態様決定部 51は、ステップ S107bにおいて、変換後の映像及び付随データに基づ、て、表示画面に表示したコンテンツ (すなわち映像及び付随データ)全体の価値 Vを、予め定めた評価関数を用いて算出する。本実施形態ではコンテンツ表示態様決定部 51は、映像及び付随データ双方の価値をコンテンツ重要度情報 1Cに基づ、て重み付けした評価関数を用いて、コンテンツ全体の価値 Vを算出する。

[0123] コンテンツ表示態様決定部 51は、ステップ S108bにおいて、求めたコンテンツ全体の価値 Vがコンテンツ価値の最大値 V より大きいか否かを判定する。算出したコン

max

ッ表示態様決定部 51は、ステップ S 109bにおいて、 V に Vを代入し、 V の値を

max max 更新し、現在の処理対象の k番目の重畳パターンについて、映像表示部での最適な表示を実現する映像変換パラメータ、及び付随データ表示部での最適な表示を実現する付随データ変換パラメータを生成し、 k番目の重畳パターンと、生成した映像変換パラメータ及び付随データ変換パラメータとを、あわせてメモリ等の記憶装置に保存する。

[0124] V の値を更新し、重畳パターン、映像変換パラメータ及び付随データ変換パラメ

max

ータを保存すると、コンテンツ表示態様決定部 51は、ステップ SI 10bにおいて、変数 kに 1カロ算する。ステップ S 108bで、コンテンツ全体の価値 Vがコンテンツ価値の最大値 V より大きくないと判断した場合には、コンテンツ表示態様決定部 51は、ステツ max

プ S 109bの処理を実行せずに、そのまま変数 kに 1加算する。

[0125] 次にコンテンツ表示態様決定部 51は、ステップ Sl l lbにおいて、変数 kの値が nより大きいか否かを判断する。変数 kの値力より大きいと判断すると、コンテンツ表示態様決定部 51は、全ての重畳パターンについて処理を完了したと判断し、そのままステップ S 112bの処理に移行する。変数 kの値カより大きくないと判断すると、コンテンッ表示態様決定部 51は、ステップ S103bに戻り、ステップ S 103bからステップ S 110bまでの処理を繰り返し実行する。すなわち、コンテンツ表示態様決定部 51は、未処理の重畳パターンが存在すると判断し、重畳パターン蓄積部 35が蓄積する次の重畳パターンを読み出して、その重畳パターンを用いた時のコンテンツ価値を評価する。

[0126] 一方、ステップ SI l ibにおいて変数 kの値が nより大きいと判断すると、コンテンツ表示態様決定部 51は、ステップ S 112bにおいて、記憶装置に現在記憶している重畳パターン、映像変換パラメータ及び付随データ変換パラメータを抽出し出力する。すなわち、コンテンツ表示態様決定部 51は、コンテンツ価値 Vが最大となる時の重畳パターン、映像変換パラメータ及び付随データ変換パラメータをコンテンツ変換部 22 に出力する。この場合、コンテンツ表示態様決定部 51は、コンテンツ価値 Vが最大となる時の重畳パターンを用いた表示画面上の配置レイアウトを示すレイアウト情報を生成し、映像変換パラメータ、付随データ変換パラメータ及びレイアウト情報を含む表示態様決定情報 51Aをコンテンツ変換部 22に出力する。

[0127] 以上に示すように、コンテンツ表示態様決定部 51は、ステップ S 101bからステップ S112bまでの処理を実行することによって、重畳パターンを変えながら、すなわち kを 1ずつインクリメントしながら（k=k+ 1)、全ての重畳パターンにつ、てコンテンツ全体の価値を算出する。そして、コンテンツ表示態様決定部 51は、コンテンツ全体の価値が最も高、重畳パターンを、映像と付随データとの配置レイアウトとして採用する。

[0128] コンテンツ表示態様決定部 51は、以上に示すプロセスを、配信要求された映像データに含まれる映像区間毎に繰り返し、映像区間毎に、全ての重畳パターンについてコンテンツ価値を算出して配置レイアウトを決定し、表示態様決定情報 51 Aを出力する。

[0129] 以上説明したようにこの第 3の実施形態によれば、コンテンツ配信サーバ 5は、映像データに含まれる映像区間毎に、映像及び対応する付随データの内容に合わせてコンテンツの表示態様を適応的に決定する。また、コンテンツ配信サーバ 5は、決定した表示態様に従って変換したコンテンツを利用者端末 1に配信する。そして、利用者端末 1は、配信されたコンテンツに従って、映像表示部と付随データ表示部とを映像区間毎に動的に変化させながら表示する。すなわち、本実施形態によれば、コンテンッの表示態様を映像区間毎に自動的に決定し、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することができる。従って、コンテンッ作成者が個々の情報 (すなわち映像及び付随データ）に対して表示画面毎に画面構成を設計しなくても、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することができる。

[0130] 第 3の実施形態によれば、映像及び付随データの内容に応じて、映像区間毎に映像と付随データとの表示態様を適応的に決定し表示できるので、効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。また、本実施形態によれば、コンテンツ配信サーバ 5は、映像データと付随データとを視聴する側の要求条件である端末の表示画面に基づ!、て、コンテンツの表示態様を適応的に決定する。そのため、任意の表示画面に対して効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。さらに、本実施形態によれば、コンテンツ配信サーバ 5は、映像データと付随データとを視聴する側の要求条件である重要度バランスに基づいて、コンテンツの表示態様を適応的に決定するので、利用者の嗜好に合わせて効果的に映像データと付随データとを提示するコンテンッ表示システムを実現することができる。

[0131] 第 4の実施形態：

次に、本発明の第 4の実施形態のコンテンツ表示システムについて説明する。図 1 0は、第 4の実施形態のコンテンツ表示システムの構成を示している。このコンテンツ表示システムでは、コンテンツ配信サーバ 6に含まれるコンテンツ表示態様決定部 61 の機能が、第 2の実施形態で示したコンテンツ表示態様決定部 41の機能と異なっている。また、このコンテンツ表示システムは、分割パターン蓄積部 34にカ卩えて、重畳パターン蓄積部 35を含む点で、第 2の実施形態のものと異なっている。第 4の実施形態において、コンテンツデータベース 3及び分割パターン蓄積部 34が蓄積する情報は、第 2の実施形態におけるそれらが蓄積する情報と同様であり、利用者端末 1の機能は、第 2の実施形態における利用者端末 1の機能と同様であり、コンテンツ配信サーバ 6のコンテンツ変換部 22及びコンテンツ配信部 23の機能は、第 2の実施形態におけるそれらの機能と同様である。 [0132] 重畳パターン蓄積部 35は、表示画面において付随データを映像データに重畳させて表示させるパターンを示した重畳パターンを予め複数蓄積する。重畳パターン蓄積部 35は、重畳パターンとして、例えば、映像の上下左右に付随データを重畳させるパターンや、縦書き又は横書きで付随データを重畳させるパターンを蓄積する。さらに重畳パターン蓄積部 35は、重畳パターンとして、付随データを重畳させるための様々な面積の矩形領域を蓄積する。

[0133] コンテンツ表示態様決定部 61は、リクエスト情報 1A、表示画面情報 IB及び重要度バランス情報 1Cを、通信ネットワーク 40を介して利用者端末 1から受信する機能と、利用者端末 1から与えられた (受信した)リクエスト情報 1A、表示画面情報 IB及びコンテンッ重要度情報 1Cと、メタデータとに基づいて、配信要求されたコンテンツの表示態様を決定する機能と、を備える。本実施形態では、コンテンツ表示態様決定部 6 1は、映像区間毎に、リクエスト (配信要求）された映像とその映像に対応する付随データとを、利用者端末 1で表示するときの表示態様を決定する。また、コンテンツ表示態様決定部 61は、決定した表示態様を示す表示態様決定情報 61 Aを生成し、コンテンッ変換部 22に出力する機能も備える。

[0134] ここでコンテンツ重要度とは、利用者が配信を希望する映像データと付随データとの間の重要度バランスである。本実施形態では、具体的には、コンテンツ表示態様決定部 61は、分割パターン蓄積部 34に用意された分割パターンのそれぞれを用いて、各映像区間に対して表示画面を映像表示部と付随データ表示部とに分割し、このように表示画面を分割した上で、映像表示部に表示される映像及び付随データ表示部に表示される付随データ力構成されるコンテンツ全体の評価値を、コンテンツ重要度を考慮しながら求める。そして、コンテンツ表示態様決定部 61は、評価値が最適となる場合 (例えば、値が最大となる場合)の分割パターンを、表示画面の分割に用いる分割パターンとして映像区間毎に決定する。本実施形態では、さらにコンテンッ表示態様決定部 61は、重畳パターン蓄積部 35に用意された重畳パターンのそれぞれを用いて、表示画面上の各映像区間に対して付随データを重畳し、このように付随データを重畳した上で、表示画面に表示されて、る映像及び付随データから構成されるコンテンツ全体の評価値を、コンテンツ重要度を考慮しながら求める。そしてコンテンツ表示態様決定部 61は、評価値が最適となる場合 (例えば、値が最大となる場合）の重畳パターンを、付随データの重畳表示に用いる重畳パターンとして映像区間毎に決定する。

[0135] 評価値が最適となる分割パターンを最適分割パターンとし、評価値が最適となる重畳パターンをを最適重畳パターンとして、コンテンツ表示態様決定部 61は、最適分割パターンの評価値と最適重畳パターンの評価値とを比較し、最適分割パターン及び最適重畳パターンのうち評価値が最適となる方 (例えば、値が大きい方）のパターンを、映像及び付随データの表示に用、るパターンとして選択する。

[0136] 表示態様決定情報 61Aは、映像変換パラメータと、付随データ変換パラメータと、レイアウト情報とを含む。映像変換パラメータは、決定した表示態様に適応するように映像を変換するためのパラメータである。付随データ変換パラメータは、決定した表示態様に適応するように付随データを変換するためのパラメータである。レイアウト情報は、映像と付随データとの配置レイアウトを記述した情報である。ここでの配置レイアウトは、分割パターン又は重畳パターンである。なお、映像データと付随データとの間の重要度バランスは、利用者力提供される代わりに、すなわち利用者端末 1から受信する代わりに、コンテンツの制作者側から予め提供されてもよい。

[0137] 次に、第 4の実施形態のコンテンツ表示システムの動作について説明する。まず、コンテンツ配信サーノ 6が利用者端末 1からの要求に応じてコンテンツを配信する動作を説明する。

[0138] 利用者は、コンテンツを視聴した!/、場合、利用者端末 1を操作して、視聴したヽコンテンッの配信要求を入力指示する。利用者端末 1は、利用者の操作に従って、リクェスト情報 1A、表示画面情報 IB及び重要度バランス情報 1Cを、通信ネットワーク 40 を介してコンテンツ配信サーバ 6に送信する。すると、コンテンツ配信サーバ 6のコンテンッ表示態様決定部 61は、受信したリクエスト情報 1A、表示画面情報 IB及び重要度バランス情報 1Cと、コンテンツデータベース 3が蓄積するメタデータとに基づいて、コンテンツの表示態様を決定する。なお、コンテンツ変換部 22が変換済コンテンッを生成する処理、及びコンテンツ配信部 23が変換済コンテンツを配信する処理は、図 3で示したステップ S 13からステップ S 16までの処理と同様である。 [0139] 次に、コンテンツ表示態様決定部 61がコンテンツの表示態様を決定する動作について説明する。図 11は、第 4の実施形態においてコンテンツ表示態様決定部がコンテンッの表示態様を決定する処理を示して \ヽる。

[0140] コンテンツ表示態様決定部 61は、第 1の実施形態の場合と同様に、受信したリクェスト情報 1Aに基づいて、配信要求されたコンテンツの映像データと、配信要求されたコンテンツの各付随データとをコンテンツデータベース 3から抽出する。また、コンテンッ表示態様決定部 61は、配信要求されたコンテンツに対応する各メタデータを、それぞれコンテンツデータベース 3から抽出する。コンテンツ表示態様決定部 61は、抽出したメタデータに基づ、て、映像データに含まれる各映像区間を特定する。

[0141] 次にコンテンツ表示態様決定部 61は、ステップ SlOlcにおいて、映像区間の特定結果に基づいて、表示対象とする映像区間を指定する。本実施形態では、予め分割ノターンを n個用意しておき、分割パターン蓄積部 34が n個の分割パターンを蓄積しているものとする。コンテンツ表示態様決定部 61は、ステップ S102aにおいて、所定の変数 kを k= lと初期化し、コンテンツ価値の最大値を V =0と初期化する。

max

[0142] 次にコンテンツ表示態様決定部 61は、ステップ S103aにおいて、分割パターン蓄積部 34から、 k番目の分割パターンを読み込み、ステップ S104aにおいて、読み込んだ分割パターンに基づいて、処理対象の映像区間に対して、表示画面を映像表示部と付随データ表示部とに分割する。次にコンテンツ表示態様決定部 61は、ステップ S105aにおいて、映像表示部に最適な形で映像を変換し、変換後の映像を映像表示部に表示した場合に映像がもつ価値 (最大価値)を、予め定めた評価関数を用いて算出する。一般に映像を縮小すればする程映像を視聴しに《なるので、コンテンッ表示態様決定部 61は、評価関数を用いて、例えば、映像を縮小するに従って低くなるように映像の価値を求める。同様にコンテンツ表示態様決定部 61は、ステツプ S106aにおいて、付随データ表示部に最適な形で映像区間に対応する付随データを変換し、変換後の付随データを付随データ表示部に表示した場合に付随データ力 Sもつ価値 (最大価値)を、予め定めた評価関数を用いて算出する。一般に表示画面に表示する付随データの項目数を減らす程、表示できる情報量が少なくなる反面、付随データの表示に要するページ数が減り、付随データが見やすくなる。そこでコンテンッ表示態様決定部 61は、表示する付随データの項目数とそれら項目の重要度、及び表示に要するページ数を変数とする評価関数を用いて、変換後の付随デ一タカ Sもつ価値を決定する。

[0143] 次にコンテンツ表示態様決定部 61は、ステップ S107aにおいて、変換後の映像及び付随データに基づ、て、表示画面に表示したコンテンツ (すなわち映像及び付随データ)全体の価値 Vを、予め定めた評価関数を用いて算出する。本実施形態では、コンテンツ表示態様決定部 61は、映像及び付随データ双方の価値をコンテンツ重要度情報 1Cに基づヽて重み付けした評価関数を用いて、コンテンツ全体の価値 V を算出する。この場合、コンテンツ表示態様決定部 61は、例えば、最もシンプルな方法として、単純に映像及び付随データ双方の価値を、コンテンツ重要度情報 1Cに基づ、て重み付けして加算する。

[0144] コンテンツ表示態様決定部 61は、ステップ S108a〖こおいて、求めたコンテンツ全体の価値 Vがコンテンツ価値の最大値 V より大きいか否かを判定する。算出したコン

max

ッ表示態様決定部 61は、ステップ S109aにおいて、 V に Vを代入し、 V の値を

max max 更新し、現在の処理対象の k番目の分割パターンについて、映像表示部での最適な表示を実現する映像変換パラメータ、及び付随データ表示部での最適な表示を実現する付随データ変換パラメータ生成し、 k番目の分割パターンと、生成した映像変換ノラメータ及び付随データ変換パラメータとを、あわせてメモリ等の記憶装置に保存する。

[0145] V の値を更新し、分割パターン、映像変換パラメータ及び付随データ変換パラメ

max

ータを保存すると、コンテンツ表示態様決定部 61は、ステップ 110bにおいて、変数 k に 1加算する）。ステップ S108aで、コンテンツ全体の価値 Vがコンテンツ価値の最大値 V より大きくないと判断した場合には、コンテンツ表示態様決定部 61は、ステツ max

[0146] 次にコンテンツ表示態様決定部 61は、ステップ Sl l laにおいて、変数 kの値力より大きいか否かを判断する。変数 kの値力より大きいと判断すると、コンテンツ表示態様決定部 61は、全ての分割パターンについて処理を完了したと判断し、そのままステップ SI 12aの処理に移行する。変数 kの値力 ¾より大きくないと判断すると、コンテンッ表示態様決定部 61は、ステップ S 103aに戻り、ステップ S 103aからステップ S 110aまでの処理を繰り返し実行する。すなわち、コンテンツ表示態様決定部 61は、未処理の分割パターンが存在すると判断し、分割パターン蓄積部 34が蓄積する次の分割パターンを読み出して、その分割パターンを用いた時のコンテンツ価値を評価する。

[0147] 一方、ステップ SI 11aにおいて変数 kの値が nより大きいと判断すると、コンテンツ表示態様決定部 61は、ステップ S112aにおいて、記憶装置に現在記憶している分割パターン、映像変換パラメータ及び付随データ変換パラメータを抽出し出力する。すなわち、コンテンツ表示態様決定部 61は、コンテンツ価値 Vが最大となる時の分割パターン、映像変換パラメータ及び付随データ変換パラメータを出力する。

[0148] 以上に示したように、コンテンツ表示態様決定部 61は、ステップ S 102aからステツプ SI 12aまでの処理を実行することによって、分割パターンを変えながら、すなわち kを 1ずつインクリメントさせながら（k=k+ 1)、全ての分割パターンにつ!/、てコンテンッ全体の価値を算出する。そして、コンテンツ表示態様決定部 61は、コンテンツ全体の価値が最も高、分割パターンを、映像と付随データとの配置レイアウトとして採用する。

[0149] また本実施形態では、予め重畳パターンを m個用意しておき、重畳パターン蓄積部 35が n個の重畳パターンを蓄積して、るものとする。コンテンツ表示態様決定部 6 1は、ステップ S102bにおいて、各重畳パターンについて処理を行う際に用いる各変数やパラメータを初期化する。本実施形態では、所定の変数 1を 1= 1と初期化し、所定値 W を W =0と初期化する。なお、変数 1は、コンテンツ表示態様決定部 61が max max

、重畳パターン蓄積部 35が蓄積する重畳パターンのうち、現在何番目の重畳パターンを用いて処理を行って、るかを示す変数である。 W は、コンテンツ表示態様決

max

定部 61が重畳パターン毎に求めるコンテンツ価値の最大値を示す。

[0150] 次にコンテンツ表示態様決定部 61は、ステップ S103bにおいて、重畳パターン蓄積部 35から、 1番目の重畳パターンを読み込み、ステップ S104bにおいて、読み込んだ重畳パターンに基づいて、処理対象の映像区間に対して、映像に付随データを重畳する。次にコンテンツ表示態様決定部 61は、ステップ S105bにおいて、映像区間に対応する付随データを最適な形で変換し、変換後の付随データを付随データ表示部に表示した場合に付随データがもつ価値 (最大価値)を、予め定めた評価関数を用いて算出する。一般に表示画面に表示する付随データの項目数を減らす程、表示できる情報量が少なくなる反面、付随データの表示に要するページ数が減り、付随データが見やすくなる。そこでコンテンツ表示態様決定部 61は、例えば、表示する付随データの項目数とそれら項目の重要度、及び表示に要するページ数を変数とする評価関数を用いて、変換後の付随データ力 Sもつ価値を決定する。

[0151] コンテンツ表示態様決定部 61は、ステップ S106bにおいて、表示画面に最適な形で映像を変換し、変換後の映像を表示画面に表示した場合に映像力もつ価値 (最大価値)を、予め定めた評価関数を用いて算出する。この場合、コンテンツ表示態様決定部 61は、評価関数を用いて、付随データが重畳されることによる価値の減少も考慮した映像価値を求める。コンテンツ表示態様決定部 61は、例えば、空や単一色の背景等の映像を邪魔しない箇所に付随データを重畳して表示する場合には、価値が高くなるように映像価値を求める。逆に、コンテンツ表示態様決定部 61は、例えば、主人公の顔の上に付随データを重畳表示する等の映像内容を大きく邪魔する場合には、価値が低くなるように映像価値を求める。

[0152] さらにコンテンツ表示態様決定部 61は、ステップ S107bにおいて、変換後の映像及び付随データに基づ、て、表示画面に表示したコンテンツ (すなわち映像及び付随データ)全体の価値 Wを、予め定めた評価関数を用いて算出する。本実施形態ではコンテンツ表示態様決定部 61は、映像及び付随データ双方の価値をコンテンツ重要度情報 1Cに基づ、て重み付けした評価関数を用いて、コンテンツ全体の価値 Vを算出する。

[0153] コンテンツ表示態様決定部 61は、ステップ S108bにおいて、求めたコンテンツ全体の価値 Wがコンテンツ価値の最大値 W より大きいか否かを判定する。算出したコン

max

テンッ全体の価値 Wがコンテンツ価値の最大値 W より大きいと判断すると、コンテ

max

ンッ表示態様決定部 61は、ステップ S 109bにおいて、 W に Wを代入し、 W の

max max 値を更新し、現在の処理対象の 1番目の重畳パターンについて、映像表示部での最適な表示を実現する映像変換パラメータ、及び付随データ表示部での最適な表示を実現する付随データ変換パラメータを生成し、 1番目の重畳パターンと、生成した映像変換パラメータ及び付随データ変換パラメータとを、あわせてメモリ等の記憶装置に保存する。

[0154] W の値を更新し、重畳パターン、映像変換パラメータ及び付随データ変換パラメ

max

ータを保存すると、コンテンツ表示態様決定部 61は、ステップ SI 10bにおいて、変数 1に 1加算する。ステップ S 108bで、コンテンツ全体の価値 Wがコンテンツ価値の最大値 W より大きくないと判断した場合には、コンテンツ表示態様決定部 61は、ステツ max

プ S 109bの処理を実行せずに、そのまま変数 1に 1加算する。

[0155] 次にコンテンツ表示態様決定部 61は、ステップ Sl l lbにおいて、変数 1の値が m り大きいか否かを判断する。変数 1の値が mより大きいと判断すると、コンテンツ表示態様決定部 61は、全ての重畳パターンについて処理を完了したと判断し、そのままステツプ S 112bの処理に移行する。変数 1の値が mより大きくないと判断すると、コンテンッ表示態様決定部 61は、ステップ S 103bに戻り、ステップ S 103b力もステップ S 11 Obまでの処理を繰り返し実行する。すなわち、コンテンツ表示態様決定部 61は、未処理の重畳パターンが存在すると判断し、重畳パターン蓄積部 35が蓄積する次の重畳パターンを読み出して、その重畳パターンを用いた時のコンテンツ価値を評価する。

[0156] 一方、ステップ Sl l lbにおいて変数 1の値が mより大きいと判断すると、コンテンツ表示態様決定部 61は、ステップ S 112bにおいて、記憶装置に現在記憶している重畳パターン、映像変換パラメータ及び付随データ変換パラメータを抽出し出力する。すなわち、コンテンツ表示態様決定部 61は、コンテンツ価値 Wが最大となる時の重畳パターン、映像変換パラメータ及び付随データ変換パラメータを出力する。

[0157] 以上に示すように、コンテンツ表示態様決定部 61は、ステップ S 102bからステップ S112bまでの処理を実行することによって、重畳パターンを変えながら、すなわち kを 1ずつインクリメントしながら（1=1+ 1)、全ての重畳パターンについてコンテンツ全体の価値を算出する。そして、コンテンツ表示態様決定部 61は、コンテンツ全体の価値が最も高、重畳パターンを、映像と付随データとの配置レイアウトとして採用する。 [0158] このようにして、映像と付随データとの配置レイアウトとして採用されるべき分割パターン及び重畳パターンが定まると、コンテンツ表示態様決定部 61は、ステップ S112 aにおいて採用した分割パターンすなわち最適分割パターンに対応する評価値 V

max と、ステップ S 112bにお、て採用した重畳パターンすなわち最適重畳パターンに対応する評価値 W とを比較し、最適分割パターン及び最適重畳パターンのうち、より

max

高い評価値をもつ方のパターンを、映像及び付随データの表示に用いるパターンとして最終的に採用する。具体的には本実施形態では、ステップ S113cにおいて、コンテンッ表示態様決定部 61は、評価値 V が評価値 W より大きいか否かを判断

max max

する。評価値 V が評価値 W より大きいと判断すると、コンテンツ表示態様決定部

max max

61は、ステップ S114cにおいて、コンテンツ価値 Vが最大となる時の分割パターン、映像変換パラメータ及び付随データ変換パラメータをコンテンツ変換部 22に出力する。この場合、コンテンツ表示態様決定部 61は、コンテンツ価値 Vが最大となる時の分割パターンを用いた表示画面上の配置レイアウトを示すレイアウト情報を生成し、映像変換パラメータ、付随データ変換パラメータ及びレイアウト情報を含む表示態様決定情報 61Aをコンテンツ変換部 22に出力する。一方、ステップ S 113cにおいて評価値 V が評価値 W より大きくないと判断した場合には、コンテンツ表示態様決定 max max

部 61は、ステップ S115cにおいて、コンテンツ価値 Vが最大となる時の重畳パターン、映像変換パラメータ及び付随データ変換パラメータをコンテンツ変換部 22に出力する。この場合、コンテンツ表示態様決定部 61は、コンテンツ価値 Vが最大となる時の重畳パターンを用いた表示画面上の配置レイアウトを示すレイアウト情報を生成し、映像変換パラメータ、付随データ変換パラメータ及びレイアウト情報を含む表示態様決定情報 61Aをコンテンツ変換部 22に出力する。

[0159] コンテンツ表示態様決定部 61は、以上に示したプロセスを、配信要求された映像データに含まれる映像区間毎に繰り返す。そして、コンテンツ表示態様決定部 61は、映像区間毎に、全ての分割パターン及び重畳パターンについてコンテンツ価値を算出して配置レイァ外を決定し、表示態様決定情報 61Aを出力する。

[0160] 以上説明したようにこの第 4の実施形態によれば、コンテンツ配信サーバ 6は、映像データに含まれる映像区間毎に、映像及び対応する付随データの内容に合わせてコンテンツの表示態様を適応的に決定する。また、コンテンツ配信サーバ 6は、決定した表示態様に従って変換したコンテンツを利用者端末 1に配信する。そして、利用者端末 1は、配信されたコンテンツに従って、映像表示部と付随データ表示部とを映像区間毎に動的に変化させながら表示する。すなわち、本実施形態によれば、コンテンッの表示態様を映像区間毎に自動的に決定し、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することができる。従って、コンテンッ作成者が個々の情報 (すなわち映像及び付随データ）に対して表示画面毎に画面構成を設計しなくても、表示画面及びコンテンツの構成に応じたレイアウトで映像と付随データとを表示することができる。

[0161] 第 4の実施形態によれば、映像及び付随データの内容に応じて、映像区間毎に映像と付随データとの表示態様を適応的に決定し表示できるので、効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。また、本実施形態によれば、コンテンツ配信サーバ 6は、映像データと付随データとを視聴する側の要求条件である端末の表示画面に基づ!、て、コンテンツの表示態様を適応的に決定する。そのため、任意の表示画面に対して効果的に映像データと付随データとを提示するコンテンツ表示システムを実現することができる。さらに、本実施形態によれば、コンテンツ配信サーバ 6は、映像データと付随データとを視聴する側の要求条件である重要度バランスに基づいて、コンテンツの表示態様を適応的に決定するので、利用者の嗜好に合わせて効果的に映像データと付随データとを提示するコンテンッ表示システムを実現することができる。

[0162] 第 5の実施形態：

次に、本発明の第 5の実施形態のコンテンツ表示システムについて説明する。上述の第 1乃至第 4の実施形態のコンテンツ表示システムでは、利用者端末 1からのリクェストに応じてコンテンツ配信サーバがコンテンツを変換し、コンテンツ配信サーバが変換済コンテンツを利用者端末 1に配信して、た。これに対し第 5の実施形態では、利用者がリクエストしたコンテンツそのものを端末で直接受け取って、利用者端末や利用者ホームサーバでコンテンツを変換し表示するように構成したコンテンツ表示システムを説明する。本実施形態において、利用者端末は、例えば、インターネットを介してコンテンツそのものをダウンロードし、ダウンロードしたコンテンツを変換して表示する。あるいは利用者端末は、例えば、予めコンテンツを蓄積するデータベースを備え、予め蓄積するコンテンツを変換して表示する。図 12は、第 5の実施形態のコンテンッ表示システムの構成を示して、る。

[0163] 図 12に示すように、本実施形態のコンテンツ表示システムは、利用者端末 7、キーボードやマウス等の入力装置 8、ディスプレイ装置や液晶表示部等の表示部 9、コンテンッデータベース 3及び分割パターン蓄積部 34を含んでいる。

[0164] コンテンツデータベース 3は、コンテンツ製作者によって作成されたコンテンツを蓄積するものであって、映像データ蓄積部 31、映像付随データ蓄積部 32及びメタデータ蓄積部 33を含む。映像データ蓄積部 31は、画面に表示されるための映像データを格納する。映像付随データ蓄積部 32は、映像と共に表示されるべき情報である付随データを格納する。メタデータ蓄積部 33は、コンテンツ表示態様の決定に用いられるメタデータを格納する。

[0165] 分割パターン蓄積部 34は、表示画面を映像表示部と付随データ表示部とに分割するパターンを示した、分割パターンを予め複数蓄積する。

[0166] 利用者端末 7は、利用者が使用する端末であり、具体的には、パーソナルコンビュータゃ携帯電話機、 PDA等の情報処理端末である。なお、利用者端末 7は、これら利用者が使用する情報処理端末に限らず、コンテンツを表示可能な表示部を備えた他のコンテンツ表示端末であってもよい。例えば、利用者端末 7は、テレビジョン受信機や、電光掲示板を搭載した端末、カーナビゲーシヨン端末等であってもよい。図 12 に示すように、利用者端末 7は、コンテンツ表示態様決定部 71と、コンテンツ変換部 72とを含む。

[0167] コンテンツ表示態様決定部 71は、利用者の操作に従って、リクエスト情報 1A及び表示画面情報 1Bを、入力装置 8から入力する機能と、入力装置 8から与えられた (入力された)リクエスト情報 1A及び表示画面情報 1Bを用いて、第 1の実施形態におけるコンテンツ表示態様決定部 21と同様の処理を行って、コンテンッの表示態様を決定する機能と、決定した表示態様を示す表示態様決定情報 71Aを生成し、コンテンッ変換部 72に出力する機能を備える。 [0168] 図 12に示すように、コンテンツ変換部 72は、映像データ変換部 721と、付随データ変換部 722と、コンテンツ配置部 723とを含む。映像データ変換部 721、付随データ変換部 722及びコンテンツ配置部 723の機能は、第 1の実施形態で示したそれらの機能と同様である。本実施形態では、変換済コンテンツをコンテンツ配信サーバが利用者端末に配信する代わりに、コンテンツ変換部 72が変換済コンテンツに基づいて映像及び付随データをコンテンツ表示部 9に表示させる。

[0169] 第 5の実施形態において、利用者端末 7の記憶装置（図示せず）は、映像データ及び付随データを含むコンテンツを表示するための各種プログラムを記憶して、る。例えば、利用者端末 7の記憶装置は、コンピュータに、映像区間毎に、コンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を決定する処理と、映像区間毎に、決定した表示態様に従って、映像データと付随データとを配置したコンテンツを生成する処理と、映像データと付随データとを配置したコンテンツを表示する処理とを実行させるためのコンテンツ表示プログラムを記憶している。

[0170] このコンテンツ表示システムにおいて、コンテンツ表示態様決定部 71は、リクエスト情報 1A及び表示画面情報 1Bに加えて、重要度バランス情報 1Cを入力装置 8から入力するものであってよぐこの場合、コンテンツ表示態様決定部 71は、リクエスト情報 1A及び表示画面情報 1Bにカ卩えて、重要度バランス情報 1Cに基づいて、コンテンッの表示態様を決定してもよヽ。

[0171] このコンテンツ表示システムは、分割パターン蓄積部 34にカ卩えて、重畳パターン蓄積部 35を含んでもよい。その場合、コンテンツ表示態様決定部 71は、分割パターン蓄積部 34が蓄積する分割パターンに加えて、重畳パターン蓄積部 35が蓄積する重畳パターンを用いて、コンテンツの表示態様を決定してもよ、。

[0172] さらにコンテンツ表示態様決定部 71は、第 1の実施形態で示した処理に限らず、上述の第 2乃至第 4の実施形態のうちのいずれかに示した表示態様決定処理を用いて、コンテンツの表示態様を決定してもよい。

[0173] この第 5の実施形態によれば、第 1乃至第 4の実施形態のうちのいずれかの処理を用いて、利用者端末 7内でコンテンツ表示態様を決定し、コンテンツ変換を行うことができる。 [0174] 第 6の実施形態：

次に、本発明の第 5の実施形態のコンテンツ表示システムについて説明する。上述の第 1乃至第 4の実施形態のコンテンツ表示システムでは、コンテンツ配信サーバがコンテンツの表示態様を決定し、決定した表示態様に従って変換した変換済コンテンッを利用者端末に配信していた。これに対し第 5の実施形態では、コンテンツ配信サーバが未変換のコンテンツそのものを利用者端末に配信し、利用者端末が、決定された表示態様に従って変換済コンテンツを生成し表示するように、コンテンツ表示システムが構成されている。図 13は、第 6の実施形態のコンテンツ表示システムの構成を示している。

[0175] 図 13に示すように、本実施形態のコンテンツ表示システムは、コンテンツ配信サーノ 80がコンテンツ変換部を備えるのでなぐ利用者端末 90がコンテンツ変換部 92を備える点で、第 1の実施形態のものと異なっている。また、本実施形態では、コンテンッ配信サーバ 80のコンテンツ配信部 83の機能は、第 1の実施形態で示したコンテンッ配信部 23の機能と異なっている。なお、この第 6の実施形態において、コンテンツデータベース 3及び分割パターン蓄積部 34が蓄積する情報は、第 1の実施形態におけるそれらが蓄積する情報と同様であり、コンテンツ配信サーバ 80のコンテンツ表示態様決定部 81の機能は、第 1の実施形態で示したコンテンツ表示態様決定部 21 の機能と同様である。

[0176] コンテンツ配信部 83は、コンテンツ表示態様決定部 81がコンテンツの表示態様を決定すると、リクエスト情報 1Aに基づいて、配信要求されたコンテンツ (すなわち映像データ及び付随データ）を、コンテンツデータベース 3から抽出する機能と、抽出したコンテンツと、コンテンッ表示態様決定部 81が生成した表示態様決定情報 81 Aとを、通信ネットワーク 40を介して利用者端末 90に送信する機能を備える。

[0177] 利用者端末 90のコンテンツ変換部 92は、表示態様決定情報 81 A及びコンテンツを、通信ネットワーク 40を介して、コンテンツ配信サーバ 80から受信する機能を備え、図 13に示すように、映像データ変換部 921と、付随データ変換部 922と、コンテンッ配置部 923とを含んで!/、る。

[0178] 映像データ変換部 921は、表示態様決定情報 81Aに含まれる映像変換パラメータを用いて、受信したコンテンツに含まれる映像データを変換する機能を備える。付随データ変換部 922は、表示態様決定情報 81 Aに含まれる付随データ変換パラメータを用いて、受信したコンテンツに含まれる付随データを変換する機能を備える。コンテンッ配置部 923は、表示態様決定情報 81Aに含まれるレイアウト情報に従って、映像データ変換部 921が変換した映像データと、付随データ変換部 922が変換した付随データとをレイアウト上に配置した変換済コンテンツを生成する機能を備えている。また、コンテンツ配置部 923は、変換済コンテンツに基づいて、液晶表示部等の表示部（図示せず）に映像及び付随データを表示させる機能も備える。

[0179] 次に、第 6の実施形態のコンテンツ表示システムの動作について説明する。図 14 は、利用者端末からの要求に応じて、コンテンツ配信サーバがコンテンツを配信する処理を示している。

[0180] まず、利用者端末 90は、図 3に示したステップ S11と同様の処理に従って、ステツプ S21において、リクエスト情報 1A及び表示画面情報 1Bを、通信ネットワーク 40を介してコンテンツ配信サーバ 80に送信する。コンテンツ配信サーバ 80のコンテンツ表示態様決定部 81は、図 3に示したステップ S12と同様の処理に従って、ステップ S 22において、コンテンツの表示態様を映像区間毎に決定する。

[0181] コンテンツの表示態様を決定すると、コンテンツ配信部 83は、リクエスト情報 1Aに基づいて、ステップ S23において、配信要求されたコンテンツの映像データをコンテンッデータベース 3から抽出し、ステップ S24において、配信要求されたコンテンツの付随データを、コンテンツデータベース 3から抽出する。

[0182] 次にコンテンツ配信部 83は、ステップ S25において、抽出した映像データ及び付随データと、コンテンツ表示態様決定部 81が生成した表示態様決定情報 81Aとを、通信ネットワーク 40を介して利用者端末 90に送信する。言、換えればコンテンツ配信部 83は、変換済コンテンツを配信する代わりに、未変換のコンテンツそのもの（すなわち映像データ及び付随データ）と、映像及び付随データの配置条件とを配信する。

[0183] 利用者端末 90は、それらのコンテンツ及び表示態様決定情報 81 Aを、通信ネットワークを介してコンテンツ配信サーノ 80から受信する。すると、コンテンツ変換部 92 は、受信したコンテンツ及び表示態様決定情報 81 Aに基づいて、ステップ S26において、映像データ及び付随データを、表示態様決定情報 81 Aに示される配置条件に従って変換し配置して、変換済コンテンツを生成する。そして、コンテンツ変換部 9 2は、生成した変換済コンテンツに基づいて、表示部に映像及び付随データを表示させる。

[0184] 本実施形態においてコンテンツ表示態様決定部 81は、リクエスト情報 1A及び表示画面情報 1Bに加えて、重要度バランス情報 1Cを利用者端末 90から受信してもよい。その場合、コンテンツ表示態様決定部 81は、リクエスト情報 1 A及び表示画面情報 1Bに加えて、重要度バランス情報 1Cに基づいて、コンテンツの表示態様を決定してちょい。

[0185] コンテンツ表示システムは、分割パターン蓄積部 34にカ卩えて、重畳パターン蓄積部 35を含んでもよい。その場合、コンテンツ表示態様決定部 81は、分割パターン蓄積部 34が蓄積する分割パターンに加えて、重畳パターン蓄積部 35が蓄積する重畳パターンを用いて、コンテンツの表示態様を決定してもよい。

[0186] さらにコンテンツ表示態様決定部 81は、第 1の実施形態で示した処理に限らず、上述の第 2乃至第 4の実施形態のうちのいずれかに示した表示態様決定処理を用いて

、コンテンツの表示態様を決定してもよい。

[0187] 以上説明した第 1乃至第 6の実施形態では、表示態様決定処理の際にコンテンツデータベースからメタデータを抽出する場合を説明したが、これらの実施形態においてコンテンツ表示態様決定部は、各映像区間に対するメタデータ、及び各映像区間の付随データに対するメタデータを、リアルタイムに生成してもよい。例えば、コンテンッ表示態様決定部は、表示対象のコンテンツに対応するメタデータ (すなわち映像メタデータや付随メタデータ）を生成するメタデータ生成部を備え、そのメタデータ生成部が生成したメタデータに基づいて、表示対象のコンテンツの表示態様を決定するようにしてもよい。メタデータ生成部は、例えば、プログラムに従って動作するサーバの

CPUによって構成される。

[0188] 例えばコンテンツ表示態様決定部は、映像データ全体に対するメタデータとして、映像の解像度を映像データそのものから取得する（求める）ことができる。 [0189] また、コンテンツ表示態様決定部は、再生中の映像データから実時間で映像のカツト変わりを自動検出することにより、メタデータとして、映像区間をリアルタイムに抽出することができる。この場合、コンテンツ表示態様決定部は、カットを検出する度に、検出したカットを新たなショットの開始点に、その検出したカットの前のフレームを前のショットの終了点として用いることができる。ここで用いることができるカット検出方法とし一しは、 f列ば、 Ullas Gargi, Rangacnar Kasturi, ¾usan H. ¾trayer, 'Performance Characterization of Video― Shot― Change Detection Methods , IEEE Transaction on Circuits and Systems for Video Technology, Vol. 10, No. 1, February 2000に記載されている手法がある。

[0190] あるいはコンテンツ表示態様決定部は、各映像区間に対するメタデータとして、映像中から登場物を含む領域等の注目領域を自動的に抽出することによって、注目領域情報を生成できる。ここで用いることができる注目領域の抽出方法としては、例えは、 A. Monan, C. Papageorgiou, T. Poggio, 'Example― Based O bject Detection in Images by Components", IEEE Trans, on PA MI, Vol. 23, No. 4, pp. 349— 361, 2001に記載されているもの力ある。

[0191] またコンテンツ表示態様決定部は、各映像区間の付随データに対するメタデータを、付随データに含まれる各表示項目及び各項目の文字数をカウントすることによって、自動的に生成することができる。

[0192] 上述の第 1乃至第 6の実施形態では、各映像区間に対応する付随データが必ず存在するものとして説明を行った力全ての映像区間に対して付随データが存在するとは限らない。例えば、映像データが番組間のテレビコマーシャル等の映像を含む場合、テレビコマーシャルの映像区間に対応する付随データが存在しない場合もありうる。コンテンツ表示態様決定部は、映像区間に対して付随データが存在しない場合には、付随データを表示せずに、その映像区間に対応する映像のみを表示するように表示態様を決定すればょ、。

実施例

[0193] 以下、具体的な実施例を用いて、本発明に基づくコンテンツ表示システムの動作を説明する。ここでは、上述したコンテンツ表示システムにおいて、複数のトピックを含む-ユース番組が映像データとして用意され、予めコンテンツデータベース 3に蓄積され、付随データとして、各-ユーストピックのタイトルとトピックの詳細な内容を示すテキストとが用意されて予めコンテンツデータベース 3に蓄積されている。映像用メタデータとして映像の解像度が予めコンテンツデータベース 3に蓄積され、付随データ用メタデータとして各-ユーストピックのタイトルと、詳細テキストの文字数及び各トピックの重要度とが、予めコンテンツデータベース 3に蓄積され保持されている。コンテンッ配信サーバは、利用者端末 1からリクエスト (配信要求)された映像データと付随データとを、利用者端末の表示能力にあわせて表示する機能を備えて、る。

[0194] 本発明者らは、テレビジョン受信機や携帯電話機などの複数の端末を用いて、コンテンッ配信サーバにアクセスし-ユース番組をリクエストすることによってコンテンツを表示画面に表示させる実験を行った。また、本発明者らは、映像と付随データとの重要度バランスとして、以下に示す 3種類の重要度バランスを与えた場合について、それぞれ実験を行った。

[0195] 1)まず、映像と付随データとの重要度が常に均等になるように、実験を行った。

[0196] 2)利用者が-ユースのトピックに興味がある場合を想定し、トピック表示中には映像の重要度が高くなるようにし、アナゥンサが写っている映像区間に対して映像の重要度が低くなるように、実験を行った。

[0197] 3)利用者が特定のアナゥンサのファンである場合を想定し、そのアナゥンサが写つている映像区間の映像の重要度が高くなるようにし、ニュースのトピックを文字で素早く理解したい場合を想定して、トピック表示中には付随データの重要度が高くなるように、実験を行った。

[0198] 図 15及び図 16は、コンテンツ表示システムを用いて行った実験結果を示す説明図である。図 15は、テレビジョン受信機力も-ユース番組を配信要求した場合に、決定した表示態様に従って表示した表示画面を示している。図 16は、携帯電話機から- ユース番組を配信要求した場合に、決定した表示態様に従って表示した表示画面を示している。

[0199] 図 15に示すように、実験の結果、表示画面の解像度 720 X 480画素であるテレビジョン受信機力 -ユース番組をリクエストすると、表示画面の左右に映像と付随データとが配置されて表示された。また、詳細テキストの長さとトピックの重要度とに応じて、付随データの表示範囲が映像区間毎に変動した。

[0200] 図 16に示すように、表示画面の解像度 240 X 320画素である携帯電話機力もリクェストすると、縦方向（図示上下）に映像と付随データとが配置されて表示された。また、詳細テキストの長さが短い場合を除いてタイトルのみが表示された。さらに、利用者が与えた重要度バランスに従って、シーン（映像区間）毎に、よりクロースアップされるメディア（映像又は付随データ）が適応的に変化して表示された。

[0201] この実施例では、番組の実況掲示板が数多く用意され、コンテンツデータベースに蓄積されている。番組映像と掲示板の内容とを同時に表示する場合には、番組の各シーンに対する掲示板の書きこみ分量にあわせて、番組と書きこみとの表示バランスを最適に調整しながら表示することができる。

[0202] 以上説明したようにこの実施例では、映像データに含まれる映像区間毎に、映像及び対応する付随データの内容に合わせてコンテンツの表示態様が適応的に決定される。そのため、効果的に映像データと付随データとを提示するコンテンツ表示システムが実現されている。また、この実施例では、映像データと付随データとを視聴する側の要求条件である端末の表示画面に基づ、て、コンテンツの表示態様が適応的に決定される。そのため、任意の表示画面に対して効果的に映像データと付随データとを提示するコンテンツ表示システムが実現されている。さらにこの実施例では、映像データと付随データとを視聴する側の要求条件である重要度バランスに基づいて、コンテンツの表示態様が適応的に決定される。そのため、利用者の嗜好に合わせて効果的に映像データと付随データとを提示するコンテンツ表示システムが実現されている。

産業上の利用可能性

[0203] 本発明は、映像データと付随データとを任意の表示画面に表示するコンテンツ表示システムや、コンテンツ表示システムをコンピュータで実現するためのコンテンツ表示プログラム等の用途に適用できる。また、テレビジョン放送やインターネット放送等の映像データと、例えばテキスト情報やウェブ情報などのその映像データに関連する付随データとを、携帯電話機やパーソナルコンピュータ、 PDA等任意の表示画面に効率的に表示する用途にも適用可能である。

Claims

請求の範囲

[1] 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンッを表示するコンテンッ表示システムであって、

表示対象のコンテンッに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段を有するコンテンッ表示システム。

[2] 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンッを表示するコンテンッ表示システムであって、

表示対象のコンテンッに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段と、前記映像区間毎に、前記コンテンツ表示態様決定手段が決定した表示態様に従つて前記映像データと前記付随データとが配置されたコンテンツを生成するコンテンッ配置手段と、

有するコンテンッ表示システム。

[3] 前記コンテンツ配置手段が生成したコンテンツを表示するコンテンツ表示手段を有する請求項 2に記載のシステム。

[4] 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンッを表示するコンテンッ表示システムであって、

表示画面の大きさを示す表示画面情報、各映像区間に対応する映像の属性情報を含む映像メタデータ、及び前記映像区間に対応する各付随データの属性情報を含む付随メタデータとに基づ、て、前記映像と前記付随データとを前記表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段と前記コンテンツ表示態様決定手段が決定した表示態様に従って、前記映像を変換する映像変換手段と、

前記コンテンツ表示態様決定手段が決定した表示態様に従って、前記付随データを変換する付随データ変換手段と、

前記映像区間毎に、前記コンテンツ表示態様決定手段が決定した表示態様に従つて、前記映像変換手段が変換した映像と前記付随データ変換手段が変換した付随データとが配置されたコンテンツを生成するコンテンツ配置手段と、

を有するコンテンツ表示システム。

[5] 前記コンテンツ配置手段が生成した前記コンテンツを表示するコンテンツ表示手段をさらに備える、請求項 4に記載のシステム。

[6] 前記コンテンツ表示態様決定手段は、前記表示画面情報、前記各映像メタデータ

、及び前記各付随メタデータに加えて、利用者の嗜好又は各映像区間の重要度と対応する各付随データの重要度とのバランスを示す重要度情報のうち、少なくとも 1つに基づ!/、て、前記表示態様を決定する請求項 4または 5に記載のシステム。

[7] 前記コンテンツ表示態様決定手段は、

表示対象のコンテンッに対応する映像メタデータ及び付随メタデータを生成するメタデータ生成手段を含み、

前記メタデータ生成手段が生成した映像メタデータ及び付随メタデータに基づいて

、前記表示対象のコンテンツの表示態様を決定する、請求項 4乃至 6のいずれか 1項に記載のシステム。

[8] 前記コンテンツ表示態様決定手段は、

前記各映像区間に対して、表示画面を、コンテンツに含まれる映像を表示する映像表示部と、前記コンテンツに含まれる付随データを表示する付随データ表示部とに分割し、

前記映像表示部に表示する映像及び前記付随データ表示部に表示する付随データカ構成されるコンテンツの評価値が最適となるように分割の態様を決定することによって、表示対象のコンテンツの表示態様を決定する

請求項 4乃至 7の!、ずれ力 1項に記載のシステム。

[9] 前記表示画面を前記映像表示部と前記付随データ表示部とに分割するパターンを示す分割パターンを予め複数蓄積する分割パターン蓄積手段を備え、

前記コンテンツ表示態様決定手段は、

前記映像区間毎に、前記分割パターン蓄積手段が蓄積する各分割パターンを用 V、て、前記表示画面を前記映像表示部と前記付随データ表示部とに分割し、前記映像区間毎に、前記表示対象のコンテンツを前記映像表示部と前記付随データ表示部とに分割して表示した場合の前記コンテンツの評価値を求め、

前記映像区間毎に、前記分割パターン蓄積手段が蓄積する各分割パターンのうち、求めた評価値が最大となる場合の分割パターンを、前記表示対象のコンテンツの表示に用いる分割パターンとして決定する、請求項 8に記載のシステム。

[10] 前記コンテンツ表示態様決定手段は、

前記各映像区間に対して、映像に対応する付随データを映像に重畳し、前記各映像区間に対して、前記付随データを映像に重畳して表示した場合に、表示する映像及び付随データカゝら構成されるコンテンツの評価値が最適となるように重畳の態様を決定することによって、前記表示対象のコンテンツの表示態様を決定する、請求項 4乃至 7のいずれ力 1項に記載のシステム。

[11] 前記付随データを映像に重畳して表示するパターンを示す重畳パターンを予め複数蓄積する重畳パターン蓄積手段を備え、

前記コンテンツ表示態様決定手段は、

前記映像区間毎に、前記重畳パターン蓄積手段が蓄積する各重畳パターンを用いて、前記付随データを映像に重畳させ、

前記映像区間毎に、前記表示対象のコンテンツに基づいて、前記付随データを映像に重畳して表示した場合の前記コンテンツの評価値を求め、

前記映像区間毎に、前記重畳パターン蓄積手段が蓄積する各重畳パターンのうち、求めた評価値が最大となる場合の重畳パターンを、表示対象のコンテンツの表示に用、る重畳パターンとして決定する、請求項 10に記載のシステム。

[12] 前記コンテンツ表示態様決定手段は、

前記各映像区間に対して、前記表示画面を、前記コンテンツに含まれる映像を表示する映像表示部と、前記コンテンツに含まれる付随データを表示する付随データ表示部とに分割し、

前記各映像区間に対して、映像に対応する前記付随データを当該映像に重畳し、前記各映像区間に対して、映像及び付随データを分割して表示する態様を用いて表示対象のコンテンツを表示した場合の前記コンテンツの評価値と、前記付随データを映像に重畳させる態様を用いて前記コンテンツを表示した場合の前記コンテンツの評価値とに基づいて、評価値が最適となる方の態様を選択することによって、表示対象のコンテンツの表示方法を決定する、請求項 4乃至 7のいずれか 1項に記載のシステム。

[13] 前記表示画面を映像表示部と付随データ表示部とに分割するパターンを示す分割パターンを予め複数蓄積する分割パターン蓄積手段と、

前記付随データを映像に重畳して表示するパターンを示す重畳パターンを予め複数蓄積する重畳パターン蓄積手段と、

を備え、

前記コンテンツ表示態様決定手段は、

前記映像区間毎に、前記分割パターン蓄積手段が蓄積する各分割パターンを用 V、て、前記表示画面を前記映像表示部と前記付随データ表示部とに分割し、前記映像区間毎に、前記表示対象のコンテンツを前記映像表示部と前記付随データ表示部とに分割して表示した場合の前記コンテンツの第 1の評価値を求め、前記映像区間毎に、前記分割パターン蓄積手段が蓄積する各分割パターンのうち、求めた第 1の評価値が最大となる場合の分割パターンを選択し、

前記映像区間毎に、前記表示対象のコンテンツに基づいて、前記付随データを映像に重畳して表示した場合の前記コンテンツの第 2の評価値を求め、

前記映像区間毎に、前記重畳パターン蓄積手段が蓄積する各重畳パターンのうち、求めた第 2の評価値が最大となる場合の重畳パターンを選択し、

映像区間毎に、選択した前記分割パターンと前記重畳パターンとのうち、評価値が最大となる方のパターンを選択することによって、表示対象のコンテンツの表示態様を決定する、請求項 12に記載のコンテンッ表示システム。

[14] 前記コンテンツ表示態様決定手段は、

前記映像区間毎に、前記映像表示部に表示する映像を評価するための第 1の評価関数、前記付随データ表示部に表示する付随データを評価するための第 2の所評価関数、及び各映像と前記映像に対応する付随データとの間の重要度のバランスを示す第 3の評価関数を用いて、前記表示対象のコンテンツの評価値を求め、求めた評価値が最適になるように、各映像区間に対する表示画面の分割の態様を決定する、請求項 8、 9、 12及び 13のいずれか 1項に記載のシステム。

[15] 前記コンテンツ表示態様決定手段は、

前記映像区間毎に、映像に重畳して表示する付随データを評価するための第 1の評価関数、表示する映像を評価するための第 2の評価関数、及び各映像と前記映像に対応する付随データとの間の重要度のバランスを示す第 3の評価関数を用いて、前記表示対象のコンテンツの評価値を求め、

求めた評価値が最適になるように、付随データを映像の重畳させる態様を映像区間毎に決定する、請求項 10乃至 13のいずれか 1項に記載のシステム。

[16] 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンッを酉己信するコンテンッ酉己信システムであって、

利用者端末と、

コンテンツを酉己信するコンテンツ酉己信サーノと、

を有し、

前記利用者端末は、コンテンツの配信要求を、通信ネットワークを介して前記コンテンッ配信サーバに送信するコンテンツ要求手段を有し、

前記コンテンツ配信サーバは、

前記利用者端末カゝらコンテンツの配信要求を受信すると、配信要求されたコンテンッに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段と、

前記映像区間毎に、前記コンテンツ表示態様決定手段が決定した表示態様に従つて前記映像データと前記付随データとが配置されたコンテンツを生成するコンテンッ配置手段と、

前記コンテンツ配置手段が生成したコンテンツを、前記通信ネットワークを介して前記利用者端末に送信するコンテンツ配信手段と、

を有する、コンテンツ酉己信システム。

[17] 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンツを配信するコンテンツ配信サーバであって、

配信要求されたコンテンッに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段を備える、コンテンツ配信サーバ。

[18] 前記コンテンツ表示態様決定手段が決定した表示態様を示す表示態様決定情報を生成する決定情報生成手段と、

配信要求されたコンテンツ、及び前記決定情報生成手段が生成した表示態様決定情報を、前記通信ネットワークを介して前記利用者端末に送信するコンテンツ配信手段と、

を備える請求項 17に記載のサーバ。

[19] 前記コンテンツ表示態様決定手段が決定した表示態様に従って前記映像区間毎に前記映像データと前記付随データとが配置されたコンテンツを生成するコンテンツ配置手段を備える、請求項 17に記載のサーバ。

[20] 前記コンテンツ配置手段が生成したコンテンツを、前記通信ネットワークを介して前記利用者端末に送信するコンテンツ配信手段を備える、請求項 19に記載のサ一ノ^

[21] 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンツを配信するコンテンツ配信サーバであって、

前記映像データに含まれる各映像、及び前記映像に対応する付随データの表示形態に関する要求条件に基づいて、前記映像と前記付随データとを前記表示画面に表示するときの表示態様を、映像区間毎に決定するコンテンツ表示態様決定手段と、

前記コンテンツ表示態様決定手段が決定した表示態様に従って、前記映像を変換する映像変換手段と、

前記映像区間毎に、前記コンテンツ表示態様決定手段が決定した表示態様に従つて、前記映像変換手段が変換した映像と前記付随データ変換手段が変換した付随データとが配置されたコンテンツを生成するコンテンツ配置手段と、前記コンテンツ配置手段が生成したコンテンツを、利用者端末に配信するコンテンッ配信手段と、

を有するコンテンツ配信サーバ。

[22] 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンッを表示するコンテンッ表示方法であって、

表示対象のコンテンッに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、映像区間毎に決定するステップを含むコンテンツ表示方法。

[23] 前記映像区間毎に、決定した表示態様に従って映像データと付随データとが配置されたコンテンツを生成するステップを含む、請求項 22に記載の方法。

[24] 決定した表示態様に従って、前記生成したコンテンツを表示するステップを含む請求項 23に記載の方法。

[25] 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンッを表示するコンテンッ表示方法であって、

表示画面の大きさを示す表示画面情報、前記映像データに含まれる各映像区間に対応する映像の属性情報を含む映像メタデータ、及び前記映像区間に対応する付随データの属性情報を含む付随メタデータとに基づいて、前記各映像区間について前記映像データと前記付随データとを表示画面に表示するときの表示態様を、前記映像区間毎に決定するコンテンツ表示態様決定ステップと、

前記コンテンツ表示態様決定ステップで決定した態様を用いて、前記映像データと前記映像データに対応する付随データとを表示するコンテンツ表示ステップと、を有するコンテンツ表示方法。

[26] 前記映像データに含まれる各映像、及び前記映像に対応する前記付随データの表示形態に関する要求条件として、少なくとも表示画面の大きさ、各映像区間の映像の内容、及び前記映像区間に対応する各付随データの内容の条件のいずれか 1つまたはそれらの組み合わせに基づ、て、前記表示態様を決定する請求項 25に記載の方法。

[27] 前記コンテンツ表示態様決定ステップで、表示画面情報、各映像メタデータ、及び付随メタデータに加えて、利用者の嗜好又は各映像区間の重要度と対応する各付随データの重要度とのバランスを示す重要度情報のうち、少なくとも 1つに基づいて、前記表示態様を決定する請求項 25に記載の方法。

[28] 前記コンテンツ表示態様決定ステップは、

前記各映像区間に対して、表示画面を、コンテンツに含まれる映像を表示する映像表示部と、前記コンテンツに含まれる付随データを表示する付随データ表示部とに分割するステップと、

前記映像表示部に表示する映像及び前記付随データ表示部に表示する付随データカ構成されるコンテンツの所定の評価値が最適となるように分割の態様を決定することによって、前記表示態様を決定するステップと、

を有する、請求項 25乃至 27のいずれか 1項に記載の方法。

[29] コンテンツ表示態様決定ステップは、

前記各映像区間に対して、映像に対応する付随データを当該映像に重畳するステップと、

前記各映像区間に対して、前記付随データを前記映像に重畳して表示した場合に、表示する映像及び付随データから構成されるコンテンツの評価値が最適となるように重畳の態様を決定することによって、前記表示態様を決定するステップと、を有する請求項 25乃至 27のいずれ力 1項に記載の方法。

[30] 前記コンテンツ表示態様決定ステップは、

前記各映像区間に対して、前記映像に対応する付随データを当該映像に重畳するステップと、

前記各映像区間に対して、映像及び付随データを分割して表示する態様を用いて前記表示対象のコンテンツを表示する場合の前記コンテンッの第 1の評価値と、付随データを映像に重畳させる態様を用いて前記コンテンツを表示した場合の前記コンテンッの第 2の評価値とに基づいて、評価値が最適となる方の態様を選択することによって、前記表示態様を決定するステップと、

を有する、請求項 25乃至 27のいずれか 1項に記載の方法。

[31] 前記コンテンツ表示態様決定ステップは、

前記映像区間毎に、前記映像表示部に表示する映像を評価するための第 1の評価関数、前記付随データ表示部に表示する付随データを評価するための第 2の評価関数、及び各映像と前記映像に対応する付随データとの間の重要度のバランスを示す第 3の評価関数を用いて、表示対象のコンテンツの評価値を求めるステップと、求めた評価値が最適になるように、前記各映像区間に対する表示画面の分割の態様を決定するステップと、

を有する、請求項 28または 30に記載の方法。

[32] 前記コンテンツ表示態様決定ステップは、

前記映像区間毎に、前記映像に重畳して表示する付随データを評価するための第 1の評価関数、表示する映像を評価するための第 2の評価関数、及び各映像と前記映像に対応する付随データとの間の重要度のバランスを示す第 3の評価関数を用いて、表示対象のコンテンツの評価値を求めるステップと、

求めた評価値が最適になるように、付随データを映像の重畳させる態様を前記映像区間毎に決定するステップと、

を有する、請求項 29または 30に記載の方法。

[33] 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンツを表示するためのコンテンツ表示プログラムであって、

コンピュータに、

前記映像区間毎に、コンテンツに含まれる映像データと付随データとを表示画面に表示するときの表示態様を決定する処理と、

前記映像区間毎に、決定した表示態様に従って、前記映像データと前記付随データとが配置されたコンテンツを生成する処理と、

前記映像データと前記付随データとが配置されたコンテンツを表示する処理と、を実行させるコンテンツ表示プログラム。

[34] 複数の映像区間からなる映像データと当該映像データに付随する付随データとを含むコンテンツを配信するためのコンテンツ配信プログラムであって、

コンピュータに、

コンテンツの配信要求を、通信ネットワークを介して利用者端末から受信する処理と前記利用者端末カゝらコンテンツの配信要求を受信すると、配信要求されたコンテンッに含まれる映像データと付随データとを表示画面に表示するときの表示態様を、前記映像区間毎に決定する処理と、

前記映像区間毎に、決定した表示態様に従って前記映像データと前記付随データとが配置されたコンテンツを生成する処理と、

前記映像データと前記付随データとが配置されたコンテンツを、前記通信ネットヮークを介して前記利用者端末に送信する処理と、

を実行させるコンテンツ酉 S信プログラム。