WO2007094236A1

WO2007094236A1 - 表示データ生成装置

Info

Publication number: WO2007094236A1
Application number: PCT/JP2007/052251
Authority: WO
Inventors: Qi Wang; Yasuo Endo
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2006-02-13
Filing date: 2007-02-08
Publication date: 2007-08-23
Also published as: JP2007215097A; CN101385343A; US20090115895A1

Abstract

　本発明は、各映像にそれぞれ適したテロップ表示用データを生成することができる表示データ生成装置を提供することを目的とする。　本発明の表示データ生成装置は、視点情報および被写体情報に基づいて、画面に映されている被写体を判定する被写体判定部１０５と、被写体判定部１０５の判定結果および前記被写体情報に基づいて、視聴者が注目しているであろう重要被写体を判断し、前記重要被写体の特徴情報を生成する重要被写体判断部１０６と、複数のレイアウトテンプレートの中から、前記重要被写体の特徴情報と合致した選択条件を持ったレイアウトテンプレートを選出するレイアウト選出部１０７と、前記選出されたレイアウトテンプレートに基づいて、テロップ表示用データを生成するテロップ生成部１０８と、を有する。

Description

明細書

表示データ生成装置

技術分野

[0001] 本発明は、映像に付加するテロップ表示用データを生成する表示データ生成装置に関する。

背景技術

[0002] 近年、高精細デジタル大画面テレビや、映像の圧縮技術、大量データの伝送技術の進展に伴ってテレビ番組や映像情報などの視聴形態も多様ィ匕して、る。その一例として、「好みの視点から映画や野球を見たい」というニーズを満たす、任意視点映像配信システムが提案されている。任意視点映像配信システムとは、複数の視点位置で撮影した画像データやそれらを元に生成された任意視点画像データを視聴者に伝送するものである。視聴者は、受信した任意視点映像データから好みの視点に対応する視点映像を選択して視聴することが可能である。任意視点映像配信システムにより、複数の視聴者のそれぞれが、同時刻において、同じ番組の異なる映像を視聴することができる。このような技術として、複数の領域の部分画像に分割された画像データの内、センターが予測した利用者の所望する視点位置の画像を生成するのに必要な部分画像を選択して伝送するものがある（例えば、特許文献 1参照)。

[0003] ところで、テレビ映像にテロップなどの説明情報を付加することにより、視聴者は映像に関連する情報を即座に取得できる。また、視聴者がテロップを同時に参照することにより、視聴中の映像をより理解しやすくなる。テロップは、視聴画面の状況に応じて、例えば、被写体に対する説明情報を提示することもあるし、得点や時間等の全体情報を提示することもある。つまり、映像に合成されるテロップの目的は、映像画面に対する説明情報をより分力りやすぐ速やかに、視聴者に提供することである。従来、テレビ映像に情報を付加する手法としては、作成したテロップを放送局側の編集者が手動で映像に合成する方法が一般的であった。これは、情報を付加する対象となる映像が 1つであったためである。

[0004] 一方、任意視点映像に情報を付加して表示する技術として、地図ナビゲーシヨンシステムに関するものがある。このナビゲーシヨンシステムにおいて、サービスセンター側は、ユーザー側から受信した視点情報 (視点位置、縮尺情報）に応じて、表示する地図画像を再生成するとともに、画面範囲内に含まれる全ての地図案内情報を GIS (地図情報システム)から取得し、地図画像に重畳して表示するものである（例えば、特許文献 2参照)。

特許文献 1 :特開 2004— 193941号公報第 8頁〜第 20頁図 1

特許文献 2 :特開 2002— 213984号公報第 9頁〜第 14頁図 1

発明の開示

発明が解決しょうとする課題

[0005] 上記の任意視点映像配信システムにお、て、従来のテロップ付加技術を用いた場合、放送局側の編集者が、あらゆる視点の視点映像データのそれぞれに適したテロップを選択して、各視点映像に合成することになる。しかし、視点数が無限になり得るので、実現できない。また、リアルタイムで行うことも現実的ではない。

[0006] また、任意視点映像配信システムにお、て、上記特許文献 2に開示される情報付加技術を適用した場合、 020 (a)に示すように、任意視点映像に、その画面範囲に含まれる全ての被写体に関する説明情報が表示されることになる。この結果、上述したテロップ表示の目的（映像画面に対する説明情報をより分力りやすぐ速やかに、視聴者に提供すること）に反した、不適切なテロップ表示となる。それぞれの被写体がどう!/、うふうに映像画面に映って、るのかと!/、う画面状況を判断しなければ、テロップの内容の選択やレイアウト（画面配置）を決めることができない。適切なテロップ表示としては、図 20 (b)に示すような画面表示が好ましい。

[0007] 本発明は、上記従来の事情に鑑みてなされたものであって、各映像にそれぞれ適したテロップ表示用データを生成することができる表示データ生成装置を提供することを目的とする。

課題を解決するための手段

[0008] 本発明の表示データ生成装置は、視点情報および被写体情報に基づ!、て、画面に映されて!/ヽる被写体を判定する被写体判定部と、前記被写体判定部の判定結果および前記被写体情報に基づ!/、て、視聴者が注目して、るであろう重要被写体を判断し、前記重要被写体の特徴情報を生成する重要被写体判断部と、複数のレイァゥトテンプレートの中から、前記重要被写体の特徴情報と合致した選択条件を持ったレィアウトテンプレートを選出するレイアウト選出部と、前記選出されたレイアウトテンプレートに基づいて、テロップ表示用データを生成するテロップ生成部と、を有することを特徴とする。

上記構成によれば、画面の被写体構成に応じた適切なレイアウトを選出することができるため、各映像にそれぞれ適したテロップ表示用データを生成することができる。これにより、任意視点映像を配信するシステムにおいても、視聴者側端末毎に、映像画面に対する説明情報をより分かりやすぐ速やかに、視聴者に提供することができる。

[0009] また、本発明の表示データ生成装置は、前記重要被写体判断部が、前記視点情報に含まれる視点位置と前記被写体情報に含まれる被写体位置との距離を用いて、前記重要被写体の判断を行うことを特徴とする。

上記構成によれば、説明情報 (テロップ)を付加すべき重要被写体を的確に判断することがでさる。

[0010] また、本発明の表示データ生成装置は、前記重要被写体判断部が、前記視点位置と被写体との距離が一番短い被写体を前記重要被写体と判断することを特徴とする。

[0011] また、本発明の表示データ生成装置は、前記重要被写体判断部が、前記重要被写体の特徴情報を、前記視点情報および前記被写体情報に基づいて、前記重要被写体の画面上の大きさとして生成し、前記レイアウト選出部が、前記重要被写体の画面上の大きさと合致した選択条件を持ったレイアウトテンプレートを選出することを特徴とする。

上記構成によれば、説明情報 (テロップ)を付加すべき対象と判断された重要被写体に対して、適切なレイアウトでテロップを表示させることができる。

[0012] また、本発明の表示データ生成装置は、前記被写体情報が、被写体属性を有し、前記レイアウトテンプレートが持つ選択条件が、被写体属性を有し、前記レイアウト選出部が、前記重要被写体の被写体属性と合致した選択条件を持ったレイアウトテンプレートを選出することを特徴とする。

上記構成によれば、被写体属性に応じた適切な情報を含むテロップを適切なレイアウトで表示させることができる。

[0013] また、本発明の表示データ生成方法は、視点情報および被写体情報に基づいて、画面に映されて!/ヽる被写体を判定する被写体判定ステップと、判定結果および前記被写体情報に基づいて、視聴者が注目しているであろう重要被写体を判断し、前記重要被写体の特徴情報を生成する重要被写体判断ステップと、複数のレイアウトテンプレートの中から、前記重要被写体の特徴情報と合致した選択条件を持ったレイアウトテンプレートを選出するレイアウト選出ステップと、前記選出されたレイアウトテンプレートに基づいて、テロップ表示用データを生成するテロップ生成ステップと、を有する。

[0014] また、本発明の表示データ生成方法は、前記重要被写体判断ステップが、前記視点情報に含まれる視点位置と前記被写体情報に含まれる被写体位置との距離を用 V、て、前記重要被写体の判断を行うことを特徴とするものである。

[0015] また、本発明の表示データ生成方法は、前記重要被写体判断ステップが、前記視点位置と被写体との距離が一番短い被写体を前記重要被写体と判断することを特徴とするちのである。

[0016] また、本発明の表示データ生成方法は、前記重要被写体判断ステップが、前記重要被写体の特徴情報を、前記視点情報および前記被写体情報に基づいて、前記重要被写体の画面上の大きさとして生成し、前記レイアウト選出ステップは、前記重要被写体の画面上の大きさと合致した選択条件を持ったレイアウトテンプレートを選出することを特徴とするものである。

[0017] また、本発明の表示データ生成方法は、前記被写体情報が、被写体属性を有し、前記レイアウトテンプレートが持つ選択条件が、被写体属性を有し、前記レイアウト選出ステップが、前記重要被写体の被写体属性と合致した選択条件を持ったレイアウトテンプレートを選出することを特徴とするものである。 [0018] さらに、本発明の表示データ生成プログラムは、コンピュータを視点情報および被写体情報に基づいて、画面に映されている被写体を判定する被写体判定手段、前記被写体判定部の判定結果および前記被写体情報に基づ!、て、視聴者が注目して V、るであろう重要被写体を判断し、前記重要被写体の特徴情報を生成する重要被写体判断手段、複数のレイアウトテンプレートの中から、前記重要被写体の特徴情報と合致した選択条件を持ったレイアウトテンプレートを選出するレイアウト選出手段、前記選出されたレイアウトテンプレートに基づいて、テロップ表示用データを生成するテロップ生成手段、として機能させるためのプログラムである。

発明の効果

[0019] 本発明によれば、画面の被写体構成に応じた適切なレイアウトを選出することができるため、各任意視点映像に、それぞれ適したテロップを合成した表示データを生成することができる。

図面の簡単な説明

[0020] [図 1]本発明の実施の形態 1における表示データ生成装置の内部構成を示す図

[図 2]本発明の実施の形態 1における表示データ生成装置で使用する被写体情報のデータ構造を概念的に示す図

[図 3]本発明の実施の形態 1における表示データ生成装置で使用する視点情報のデータ構造を概念的に示す図

[図 4]視点情報の項目を説明するための模式図

[図 5]被写体判定方法を説明するための模式図

[図 6]被写体判定部で複数の被写体が認識される様子を説明するための模式図

[図 7]重要被写体判断方法を説明するための模式図

[図 8]被写体の画面占有率の算出方法を説明するための模式図

[図 9]本発明の実施の形態 1における表示データ生成装置で使用するレイアウトテンプレートのデータ構造を概念的に示す図

[図 10]レイアウトテンプレートの選出方法を説明するための模式図

[図 11]レイアウトテンプレートの表示例を示す模式図

[図 12]テロップ説明内容素材のデータ構造を概念的に示す図 [図 13]テロップ説明内容素材のデータ構造を概念的に示す図

[図 14]本発明の実施の形態 1における表示データ生成装置の、テロップ表示用デー

〇

タ生成処理手順を示すフローチャート

[図 15]テロップ表示用データ生成の具体例を説明するための図

[図 16]被写体の種類が複数である場合の課題について説明するための図

[図 17]本発明の実施の形態 2における表示データ生成装置で使用する被写体情報のデータ構造を概念的に示す図

[図 18]本発明の実施の形態 2における表示データ生成装置で使用するレイアウトテンプレートのデータ構造を概念的に示す図

[図 19]本発明の実施の形態 2における表示データ生成装置の、レイアウト選出部の動作を説明するための図

[図 20]従来技術の課題を説明するための図

符号の説明

表示データ生成装置

101 視点情報入力部

102 任意視点映像受信部

103 任意視点映像再生部

104 付加情報受信部

105 被写体判定部

106 重要被写体判断部

107 レイアウト選出部

108 テロップ生成部

109 映像重畳部

発明を実施するための最良の形態

[0022] 以下、本発明の実施の形態について図面を参照しながら説明する。

[0023] [実施の形態 1]

図 1は、本発明の実施の形態 1における表示データ生成装置の内部構成を示す図である。表示データ生成装置 100は、視点情報入力部 101、任意視点映像受信部 1 02、任意視点映像再生部 103、付加情報受信部 104、被写体判定部 105、重要被写体判断部 106、レイアウト選出部 107、テロップ生成部 108、映像重畳部 109を備えて構成される。これらは、任意視点映像の表示制御を行う任意視点映像制御系ブロックと、テロップの表示制御を行う付加情報制御系ブロックとに大別される。

[0024] はじめに、任意視点映像制御系ブロックにつ、て説明する。任意視点映像制御系ブロックは、視点情報入力部 101、任意視点映像受信部 102、任意視点映像再生部 103を含む。視点情報入力部 101は、リモコンなどの入力手段によって視点情報を取得し、任意視点映像の選択を指示するものである。視点情報は、任意視点映像受信部 102に出力されるとともに、被写体判定部 105と、重要被写体判断部 106にも出力される。尚、視点情報は、操作履歴から取得する等、入力以外の方法で取得してちょい。

[0025] 任意視点映像受信部 102は、視点情報に基づ!/、て、映像の配信を行う配信センタ一（以下、センターと称する)から配信された、任意視点映像を生成する元となる複数の視点位置力撮影された映像データから、視点情報に合致する映像データを選択受信する。受信した映像データは、任意視点映像再生部 103で再生される。ここで、任意視点映像データを提供する手法としては、例えば、特許文献 1に開示された任意視点映像配信システムにより、センターが任意視点映像を生成する元となる複数の視点位置力撮影された映像データを配信し、受信側が必要な視点映像が含まれた映像データを選択受信する方法などが考えられる。

[0026] 次に、付加情報制御系ブロックにつ、て説明する。付加情報制御系ブロックは、付加情報受信部 104、被写体判定部 105、重要被写体判断部 106、レイアウト選出部 107、テロップ生成部 108を含む。付加情報受信部 104は、被写体情報、テロップ説明内容素材、レイアウトテンプレートの最新データを随時受信し、受信した被写体情報を被写体判定部 105へ、テロップ説明内容素材をテロップ生成部 108へ、レイァゥトテンプレートをレイアウト選出部 107へそれぞれ提供する。尚、被写体情報、テロップ説明内容素材、レイアウトテンプレートといった付加情報の取得方法は、センターにより映像データと多重化して配信された付加情報を、受信することに限定されるものではない。例えば、表示データ生成装置内部に蓄積されている付加情報を取得してもよ、し、センターが映像データと多重化して放送により伝送した付加情報を取得してもよい。尚、付加情報の提供元は、センターに限定されるものではない。例えば、センターでない第 3者が付加情報を提供してもよい。尚、付加情報を提供する伝送路については、限定しない。

[0027] 被写体情報とは、被写体を特定し、被写体の特徴を記述するための情報である。

被写体情報は、センター (撮影側)で生成され、表示データ生成装置 100へ送信される。被写体には、表示データ生成装置 100に接続する映像表示端末（図示省略)の画面に表示されて!、る被写体だけでなぐ映像表示端末の画面に表示されてヽな、被写体も含まれる。また、被写体情報は、単体の被写体に関する情報を送信単位として配信される。被写体情報の伝送頻度は、本実施の形態では、特に限定しない。一映像フレームごとに送出されてもよいし、一映像フレーム以外の間隔で送出されてもよい。例えば、映像送信スピードが毎秒 30フレームの場合、それに合わせて 1Z3 0秒ごとに被写体情報が送出されてもよいし、 1Z2秒の間隔（15フレーム間隔)で被写体情報が送出されてもよい。尚、被写体情報の生成は、センター (撮影側)だけでなぐ表示データ生成装置 100で生成してもよい。

[0028] テロップ説明内容素材とは、画面に付加するテロップの説明内容の素材である。テロップ説明内容素材は、センターの編集者により入力される。センターは、予め作成したテロップ説明内容素材を表示データ生成装置 100へ送信し、その後は、更新された差分情報のみを随時送信する。また、テロップ説明内容素材は、テロップ説明内容素材を特定する情報を用いて区切られたデータを送信単位として配信してもよ、。

[0029] レイアウトテンプレートとは、テロップの説明内容の画面デザインを形成するために必要とされる情報である。レイアウトテンプレートは、センターで生成され、表示データ生成装置 100へ送信される。センターは、予め作成したレイアウトテンプレートを表示データ生成装置 100へ送信し、その後は、更新された情報を随時送信する。また、レィアウトテンプレートは、レイアウトテンプレートを選択する情報を用いて区切られたデータを送信単位として配信してもよヽ。

[0030] 尚、上記において付加情報受信部 104は、常時独立して処理を行ってもよいが、これに限定されるものではない。また、非同期処理を行ってもよいが、これも限定されるものではない。更に、付加情報受信部 104は、任意視点映像受信部 102と同一の機能部として構成してもよい。

[0031] 被写体判定部 105は、取得した被写体情報に係る被写体が、画面に表示されて、る力否かを判定する。重要被写体判断部 106は、画面に表示されている被写体の中から、視聴者が注目しているであろう重要被写体を特定し、当該重要被写体の特徴情報を生成する。レイアウト選出部 107は、重要被写体の特徴情報と、付加情報受信部 104で受信したレイアウトテンプレートが有する選択条件とを比較し、合致した選択条件を有するレイアウトテンプレートを選出する。

テロップ生成部 108は、選出されたレイアウトテンプレートに基づいてテロップ表示用データを生成する。

[0032] 次に、上記構成の表示データ生成装置 100の動作について説明する。

[0033] はじめに、テロップの表示制御動作について説明する。被写体判定部 105は、視点情報入力部 101から入力された視点情報に基づいて、付加情報受信部 104で受信した被写体情報の中から、画面に表示されている被写体を抽出する。次に、重要被写体判断部 106は、画面に表示されている被写体の中から、視聴者が注目しているであろう重要被写体を判断し、当該重要被写体の特徴情報を生成する。更に、レイアウト選出部 107は、重要被写体の特徴情報と付加情報受信部 104で受信したレイアウトテンプレートに関する選択条件とを比較し、合致するレイアウトテンプレートを選出する。

[0034] 次に、テロップ生成部 108は、選出されたレイアウトテンプレートに基づいて、付カロ情報受信部 104で受信したテロップ説明内容素材から、テンプレートの各パーツにあてはまる必要な情報を選択する。そして、テロップ生成部 108は、選出されたレイァゥトテンプレートと、選択したテロップ説明内容とを用いて、テロップ表示用データを生成する。最後に、映像重畳部 109は、任意視点映像と生成されたテロップ表示用データとを重畳して、図示しない映像表示装置へ出力する。

[0035] ここで、被写体情報と視点情報の定義について詳細に説明する。

[0036] 図 2は、本発明の実施の形態 1における表示データ生成装置で使用する被写体情報のデータ構造を概念的に示す図である。図 2 (a)に示すように、被写体情報 D810 0は、被写体識別情報 D8101と被写体位置 D8102で構成される。被写体識別情報 D8101は、名前や被写体 IDを表し、被写体位置 D8102は、被写体の現在位置を示す。被写体位置の座標データは、 GPS、超音波レーダ、画像認識などにより測定可能である。尚、被写体は、座標点として認識される。例えば、図 2 (b)に示すように、 A、 B、 Cの 3つの被写体について、 Aの被写体情報として、被写体識別情報: Aさん、被写体位置：（一 12m, Om, 16m)、 Bの被写体情報として、被写体識別情報: Bさん、被写体位置：（一 36m, Om, 48m)、 Cの被写体情報として、被写体識別情報: C さん、被写体位置：（60m, Om, 80m)という被写体情報が生成されている。

[0037] 次に、視点情報について説明する。任意視点映像受信部 102は、センターから配信された、複数の視点位置から撮影された映像データを元にして、視聴者が所望する位置にある仮想的カメラに対するパラメータを用いて、視聴者が所望する任意視点映像を生成する。図 3は、本発明の実施の形態 1における表示データ生成装置で使用する視点情報のデータ構造を概念的に示す図である。本実施の形態では、視点情報は、仮想的カメラに対するパラメータ、すなわち、視点位置、視線方向、視野角（画角）を特定するための情報である。図に示すように、視点情報 D8200は、視点位置 D8201、視線方向 D8202、画角 D8203で構成される。図 4は、視点情報の項目を説明するための模式図である。視点位置は、任意視点画面を生成するために使用した仮想カメラの位置であり、仮想カメラの 3次元的な位置座標 (X, y, z)で表される。視線方向は、仮想カメラの撮影方向であり、水平成分と垂直成分の 2つのパラメ一タ (パン角度、チルト角度 β )で表される。視野角は、仮想カメラが撮影する映像の範囲、即ち画角 Θで表される。画角は、一般には水平画角、垂直画角の 2つのパラメータで表されるが、本実施の形態では撮影映像のアスペクト比が 16： 9などの値に事前に固定されていることを前提として、水平画角のみを用いて表すこととする。尚、視点情報のパラメータは、必ずしも本実施の形態で示した 7つのパラメータで表現される必要はなぐ撮影位置、撮影方向、画角が特定できる情報であればどのようなものでもかまわない。

[0038] 次に、テロップの表示制御動作における各部の処理について詳細に説明する。

[0039] はじめに、被写体判定部 104の被写体判定処理にっ、て説明する。図 5は、被写体判定方法を説明するための模式図である。図に示すように、仮想カメラ位置を頂点とし、視線方向で決定された仮想カメラの向きに沿って仮想カメラの水平画角 Θ 1と垂直画角 Θ 2により、四角錐の 3次元視野領域が形成される。被写体判定部 104は、任意の被写体 (点）がその視野領域に存在すれば、当該被写体は視点情報によって構成された画面に表示されていると判定する。例えば、図中の被写体 P1は 3次元視野領域に存在しているので、被写体判定部 104は、被写体 P1が画面に表示されていると判定する。一方、 P2は 3次元視野領域に存在していないので、被写体判定部 104は、被写体 P2は画面に表示されて、な、と判定する。

[0040] 同様に、図 6は、被写体判定部 104で複数の被写体が認識される様子を説明するための模式図である。図 6 (a)は、 Y軸に沿って俯瞰する際、ある仮想カメラで構成される視野領域を示す図である。被写体判定部 104は、各オブジェクトが 3次元視野領域に存在するか否かに応じて、視野領域に存在しているオブジェクト A、 B、 Cが画面に表示され、視野領域に存在していないオブジェクト D、 Eは画面に表示されないと判定する。図 6 (b)は、図 6 (a)の状況で撮影された任意視点画面を示す模式図である。オブジェクト A、 B、 Cが画面に映っていて、オブジェクト D、 Eは画面に映っていない。

[0041] 次に、重要被写体判断部 106の重要被写体判断処理について説明する。図 7は、重要被写体判断方法を説明するための模式図である。視聴者が注目して、るであろう重要被写体の特定は、重要被写体の判定ルールによって判断する。ここで、本実施の形態においては、重要被写体の判定ルールを、「画面に表示されている被写体の中で、仮想カメラ (視点位置）に対して最も近距離にある被写体を、視聴者が注目して、るであろう重要被写体と判断する」と定義する。

[0042] 図 7に示すように、画面に映っている 3つの被写体 A、 B、 Cに対応する被写体位置は、仮想カメラの位置、即ち視点位置（Om, Om, Om)に対して、それぞれ（— 12m, Om, 16m)、（一36m, Om, 48m)、 (60m, Om, 80m)である。空間における 2点間の距離計算により、被写体 A、 B、 Cと仮想カメラとの距離 LI、 L2、 L3は、それぞれ、 20m、 60m、 100mと算出される。従って、重要被写体判断部 106は、仮想カメラに最も近、被写体 Aが重要被写体であると判断する。 [0043] 尚、本実施の形態では、視聴者が注目して、るであろう重要被写体を特定する判断方法として被写体と仮想カメラとの距離を用いたが、これに限定されるものではない。

[0044] 次に、重要被写体判断部 106で行われるもう一つの処理である重要被写体の特徴情報生成処理について説明する。被写体の特徴情報とは、被写体がどのように映つているのかを表す情報である。ここでは被写体の特徴情報として、視聴者が被写体をどれぐら、の大きさで見て、るのかを特定する被写体の画面占有率を用いる。図 8は、被写体の画面占有率の算出方法を説明するための模式図である。本実施の形態では、（式 1)に示すように、画面上に映されている被写体のサイズを画面サイズで除した値を被写体の画面占有率とする。正確には、画面上に映されている被写体のサィズは、画面上に映されている被写体の面積で表示すべきであるが、本実施形態では、図示のように、被写体を XZ平面に射影し、さらに、 X軸に射影して得た長さを、画面上に映されている被写体のサイズとみなす。

[0045] [数 1] p = K' / （式 1 )

[0046] ここで、は被写体の画面占有率、 K 'は画面上の被写体サイズ、 H 'は画面サイズを表す。更に、 Kは実際の被写体サイズ、 Hは画面と平行して被写体と認識されている点を通る相似形のサイズを表す。相似の原理により K' /H' = K/Hであるから、それを (式 1)に代入すると、（式 2)が得られる。

[0047] [数 2] p = /H (式 2 ) また、図 8に示すように、 Lは仮想カメラ位置に対する被写体の距離であり、三角関数により（式 3)が得られる。

[0048] [数 3] tan ( 6 /2) = (H/2) /L (式 3 )

(式 3)を変換した後、（式 4)が得られる [0049] [数 4]

H = 2*L*tan ( 0 /2) (式 4 )

(式 4)を (式 2)に代入して変換すると、（式 5)が得られる。

[0050] [数 5]

K ―

p = Θ (式 5 )

2 * L * tan — ここで、 Kは被写体の実サイズであり、例えば、選手の横幅などで表され、個人差を近似的に無視し、定数として予め付与される。このように、被写体の画面占有率は、 ( 式 5)で近似的に算出される。（式 5)によれば、カメラに近ければ近いほど、または画角が狭ければ狭、ほど、画面占有率が大きくなる。

[0051] 次に、前述の図 7の例を用いて重要被写体の画面占有率を具体的に算出する。図 7の例では、 Aが重要被写体である。さらに、仮想カメラに対する被写体 Aの距離は 2 Om、カメラ位置は（Om, Om, Om)、水平画角は 5度である。仮に、被写体の実サイズ (選手の横幅）が一定値の 0. 80mの場合、（式 5)により重要被写体 Aの画面占有率 pは、 0. 458となる。次に、記述を簡略化するため、生成した重要被写体の特徴情報と、受信した重要被写体の被写体識別情報とから構成される情報を重要被写体情報とする。従って、図 7の例では、重要被写体情報は、被写体識別情報: A、画面占有率: 0. 458、で構成される。尚、本実施の形態では、特徴情報に被写体の画面占有率を用いた力これに限定されるものではない。

[0052] 次に、レイアウト選出部 107のレイアウト選出処理について説明する。レイアウト選出部 107は、重要被写体判断部 106で生成された重要被写体情報に基づいて、現在の映像画面の被写体構成にあった適切な表示用のテロップのレイアウトテンプレートを選出し、選出したレイアウトテンプレートをテロップ生成部 108へ提供する。具体的には、レイアウト選出部 107は、付加情報受信部 104で受信したレイアウトテンプレートから、重要被写体判断部 106で抽出した重要被写体の画面占有率を満足する選択条件を有するレイアウトテンプレートを選出する。

[0053] 図 9は、本発明の実施の形態 1における表示データ生成装置で使用するレイアウトテンプレートのデータ構造を概念的に示す図である。図に示すように、レイアウトテンプレート D8400は、選択条件 D8401、レイアウト項目 D8402で構成される。選択条件 D8401として、レイアウトテンプレートを選択するための条件が記述され、本実施形態では、画面占有率下限と画面占有率上限で定義される。被写体の画面占有率が下限と上限の範囲内にあれば、レイアウトテンプレートの選択条件が満足される。レイアウト項目 D8402は、テロップを配置するための情報であり、項目位置、素材種別、内容項目属性などのデータで構成される。但し、内容項目属性は必須のものではない。

[0054] 図 10は、レイアウトテンプレートの選出方法を説明するための模式図である。図では、付カ卩情報受信部 104で 3つのレイアウトテンプレート D102、 D103、 D104が提供された場合について説明している。レイアウトテンプレート D102は、選択条件が画面占有率: 0. 4以上 0. 8未満のものであり、選手の名前、打率、年齢などを紹介する項目と、対戦状態 (対戦両チーム名と得点)を紹介する項目を配置するものである。一方、レイアウトテンプレート D103は、選択条件が画面占有率: 0. 05以上 0. 4未満のものであり、対戦チーム名と得点表示を配置するものである。更に、レイアウトテンプレート D104は、選択条件が画面占有率: 0以上 0. 05未満のものであり、対戦チーム毎回得点表示を配置するものである。

[0055] 図 10に示すように、重要被写体判断部 106で抽出した重要被写体情報 D101に含まれている重要被写体の画面占有率は 0. 458であるので、レイアウト選出部 107 は、選択条件が合致するのは、画面占有率: 0. 4以上 0. 8未満のレイアウトテンプレート D102であると判断する。従って、レイアウト選出部 107は、レイアウトテンプレート D102を抽出して表示用レイアウトテンプレートとする。

[0056] 次に、図 11は、レイアウトテンプレートの表示例を示す模式図である。この表示例は、図 10に示したレイアウトテンプレート D102の表示を具体化したものである。レイァゥトテンプレートでは画面左上の位置座標が（0, 0)で、画面の横幅 1600ピクセル、高さ 1200ピクセルとしている。図に示すように、レイアウトテンプレートのパーツは、固定表示パーツ、全体共通パーツ、被写体関連パーツで構成される。

[0057] 固定表示パーツは、レイアウトテンプレートにおいて、項目位置と表示内容が決定されたパーツであり、主に影の背景やラベルなど力構成される。固定表示パーツは、「項目位置」により画面上のレイアウトが決定される。さらに、固定表示パーツは、レィアウト項目に含まれる「表示内容」により表示内容が決定される。例えば、図 11に示すように、背景 D201、背景 D202、名前ラベル D205、年齢ラベル、打率ラベルなどが固定表示パーツである。背景 202は、背景 202の項目位置、即ち左上位置 (20, 9 00)と右下位置 (1580, 1180)により画面上のレイアウトが決定される。背景 202と同様に、名前ラベル D205は、名前ラベル D205の項目位置、即ち左上位置（100, 10 20)と右下位置（270, 1100)により画面上のレイアウトが決定される。また、図中のその他の固定表示パーツについても、同様に画面上の配置を決定することができる

[0058] 全体共通パーツは、レイアウトテンプレートにおいて、特定の被写体に依存しないパーツである。全体共通パーツは、主にチームの情報や得点情報などで構成される。全体共通パーツも、「項目位置」により画面上のレイアウトが決定される。例えば、図 11に示すように、レイアウトテンプレートのパーツ D203には、対戦両チームのチーム 1のチーム名が配置される。パーツ D203は、パーツ D203の項目位置、即ち左上位置（30, 30)と右下位置（160, 130)により画面上のレイアウトが決定される。また、パーツ D203の特定情報は、レイアウト項目に含まれる「素材種別」の「チーム情報 Z チーム 1」、「内容項目属性」の「チーム名」で構成される。特定情報によるテロップ説明内容の抽出方法については後述する。同様に、レイアウトテンプレートのパーツ D 204は、対戦両チームのチーム 1の得点が配置される。ノーッ D204は、パーツ D20 4の項目位置、即ち左上位置（30, 150)と右下位置（160, 200)により画面上のレイアウトが決定される。

[0059] また、パーツ D204の特定情報は、レイアウト項目に含まれる「素材種別」の「チーム情報 Zチーム 1」、「内容項目属性」の「得点」で構成される。特定情報によるテロップ説明内容の充填方法についても後述する。また、図中のその他の全体共通パーツについても、同様に画面上の配置を決定することができる。

[0060] 被写体関連パーツは、レイアウトテンプレートにおいて、特定の被写体に依存するパーツである。被写体関連パーツは、主に選手関連説明情報などで構成される。被写体関連パーツも、項目位置により画面上のレイアウトが決定される。例えば、図 11 に示すように、パーツ D206には、任意の選手の名前が配置される。パーツ D206は、ノーッ D206の項目位置、良！]ち左上位置 (290, 1020)と右下位置（760, 1100) により画面上のレイアウトが決定される。また、パーツ D206の特定情報については、レイアウト項目に含まれる「素材種別」の「選手」、「内容項目属性」の「選手名前」で構成される。特定情報によるテロップ説明内容の抽出方法については後述する。また、図中のその他の被写体関連パーツにつ、ても、同様に画面上の配置を決定することができる。また、レイアウトテンプレートの各パーツについては、画面上の前後重畳順を示す情報を付加してもよい。例えば、ラベルのパーツを背景のパーツより前に表示させるような配置が可能である。

[0061] 次に、テロップ生成部 108のテロップ生成処理について説明する。テロップ生成部 108は、抽出されたレイアウトテンプレートに基づいて、付加情報受信部 104で受信したテロップ説明内容素材からテロップ説明内容を選択し、テロップ表示用データを生成する。

[0062] 図 12および図 13は、テロップ説明内容素材のデータ構造を概念的に示す図である。図 12に示すように、テロップ説明内容素材 D8500は、素材種別 D8501とテロップ説明内容項目 D8502で構成される。テロップ説明内容項目 D8502は、内容項目属性とテロップ説明内容で構成される。素材種別 D8501は、テロップ説明内容素材を特定するための情報である。素材種別 D8501の具体的な形態については、階層型記述方法での記述が可能である。例えば、図 13 (a)に示すように、素材種別は、「選手 7八」と記述される。また、図 13 (b)に示すように、素材種別は、「チーム情報 Z チーム 1」と記述される。

[0063] 次に、テロップ表示用データの生成手順について説明する。図 14は、本発明の実施の形態 1における表示データ生成装置の、テロップ表示用データ生成処理手順を示すフローチャートである。はじめに、テロップ生成部 108は、レイアウト選出部 107 で選出されたレイアウトテンプレートに、任意の影の背景やラベルなど、既に表示内容と画面配置位置が決定されている固定表示パーツをテロップ表示用データに充填する（ステップ S001)。 [0064] 次に、テロップ生成部 108は、レイアウト選出部 107で選出されたレイアウトテンプレートにある全体共通パーツに含まれる第 1の素材種別と第 1の内容項目属性をそれぞれ取得する (ステップ S002)。第 1の素材種別と付加情報受信部 104で受信したテロップ説明内容素材に含まれる第 2の素材種別とがー致し、且つ第 1の内容項目属性と付加情報受信部 104で受信したテロップ説明内容素材に含まれる第 2の内容項目属性とがー致する場合、テロップ生成部 108は、第 2の素材種別と第 2の内容項目属性に応じたテロップ説明内容を抽出する。そして、テロップ生成部 108は、抽出したテロップ説明内容を、全体共通パーツに含まれた項目位置にしたがってテロップ表示用データに充填する。

[0065] 次に、テロップ生成部 108は、レイアウト選出部 107で選出されたレイアウトテンプレートにある、被写体関連パーツに含まれる第 3の素材種別と第 3の内容項目属性を取得する (ステップ S003)。テロップ生成部 108は、第 3の素材種別と、更に重要被写体判断部 106で抽出した重要被写体情報に含まれる被写体識別情報とを組み合わせて第 4の素材種別を生成する。また、第 4素材種別と付加情報受信部 104で受信したテロップ説明内容素材に含まれる第 5の素材種別とがー致し、且つ、第 3の内容項目属性と付加情報受信部 104で受信したテロップ説明内容素材に含まれる第 5の内容項目属性とがー致する場合、テロップ生成部 108は、第 5の素材種別と第 5の内容項目属性に応じたテロップ説明内容を抽出する。そして、テロップ生成部 108は、抽出したテロップ説明内容を、被写体関連パーツに含まれる項目位置にしたがってテロップ表示用データに充填する。

[0066] 次に、抽出したレイアウトテンプレートにおける各パーツの前後重畳順の情報により、テロップ生成部 108は、テロップ表示用データにある各パーツの前後重畳関係を調整する（ステップ S004)。テロップ表示用データにあるパーツに対して、どのパーツをより前に表示し、どのパーツをより後ろに表示するかを決定できる。

[0067] 図 15は、テロップ表示用データ生成の具体例を説明するための図である。この例では、図 10に示したレイアウト選出部 107で選出されたレイアウトテンプレートを用いて説明する。

[0068] 図 15に示すように、はじめにレイアウトテンプレートにある固定表示パーツ (背景やラベルなど）がテロップ表示用データとして充填される。テンプレート D300に配置されたラベル D301の内容は「名前」である。ラベル D301をラベル D301の項目位置によりテロップ表示用データ D400の同座標位置に充填する。これにより「名前」という内容のパーツ D401がテロップ表示用データ D400として生成される。同様の処理により、レイアウトテンプレート D300にあるその他の固定表示パーツをテロップ表示用データ D400として生成することができる。

[0069] また、レイアウトテンプレートにある特定な被写体に依存しない全体共通パーツ (チーム全体情報や得点情報など）がテロップ表示用データとして充填される。テンプレート D300に配置されたパーツ D302に含まれる素材種別 D3021は「チーム情報/ チーム 1」であり、内容項目属性 D3022は「チーム名」である。一方、付加情報受信部 108で受信したテロップ説明内容素材 D500において、素材種別 D501の内容は「チーム情報 Zチーム 1」、内容項目属性 D502の内容は「チーム名」である。従って、素材種別 D3021が素材種別 D501と一致し、且つ内容項目属性 D3022が内容項目属性 D502と一致するので、素材種別 D501と説明内容素材 D502に応じたテロップ説明内容 D503 (値は「日本」） 1S パーツ D302と同座標位置でテロップ表示用データ 400に充填される。これにより「日本」という内容のパーツ D402がテロップ表示用データ D400として生成される。同様の処理により、レイアウトテンプレート D300 にあるその他の全体共通パーツをテロップ表示用データ D400として生成することができる。

[0070] また、レイアウトテンプレートにある特定の被写体に依存する被写体関連パーツ (選手の紹介など） 1S テロップ表示用データとして充填される。テンプレート D300に配置されたパーツ D303に含まれる素材種別 D3031は「選手」であり、内容項目属性 D 3032は「選手名前」である。更に、重要被写体判断部 106で抽出された重要被写体情報 D304に含まれる被写体識別情報 D3041は「A」である。素材種別 D3031と重要被写体の被写体識別情報 D3041とを組み合わせて新たな素材種別 D305を生成する。素材種別 D305の内容は「選手 ZA」となる。一方、テロップ説明内容素材 D 500において、素材種別 D504の内容は「選手 ZA」、内容項目属性 D505の内容は「選手名前」である。従って、素材種別 D305が素材種別 D504と一致し、且つ、内容項目属性 D3032が内容項目属性 D505と一致するので、素材種別 D504と説明内容素材 D505に応じたテロップ説明内容 D506 (値は「日本一郎」）力パーツ D30 3と同座標位置でテロップ表示用データ D400に充填される。これにより、「日本一郎」と、う内容のパーツ D403がテロップ表示用データ D400として生成される。同様の処理により、レイアウトテンプレート D300にあるその他の被写体関連パーツをテロップ表示用データ D400として生成することができる。

[0071] また、レイアウトテンプレート D300にある全てのパーツの前後重畳順の情報により、生成したテロップ表示用データ D400にある全てのパーツの前後重畳関係が調整される。

[0072] 以上のように、本発明の実施の形態 1における表示データ生成装置によれば、画面に表示された被写体にっ、て視聴者が注目して、るであろう重要被写体を判断し、画面上における被写体像の大きさなど、重要被写体の特徴によってテロップの表示内容を切り替えることができる。様々な任意視点映像画面に対して同時に、画面の表示状態に応じて、重要な被写体に関する情報を適切に選択し、適切なレイアウトでテロップ表示するので、視聴者は注目しやすぐまた表示されたテロップの内容を的確に理解することができる。

[0073] [実施の形態 2]

実施の形態 1の表示データ生成装置では、カメラとの距離によって重要被写体を選出し、当該被写体の画面上におけるサイズによって唯一の被写体に関するテロップレイアウトテンプレートを選出した。これに対し、実施の形態 2では、被写体 (選手など )の種類が複数である場合、それぞれ異なった被写体関連 (個人紹介など）のテロップのレイアウトテンプレートを選出する必要がある場合について説明する。

[0074] 図 16は、被写体の種類が複数である場合の課題について説明するための図である。前述の実施の形態 1における表示データ生成装置によれば、図 16 (a)に示すように、画面の重要被写体とした選手力 Sバッターの場合、選手の種類が野手か投手かに関わらず、画面占有率だけに応じて適切なテロップのレイアウトテンプレートが選出される。その後、図 16 (b)に示すように、画面の重要被写体とした選手が他の種類の選手、例えば投手に変わると、図 16 (c)に示すように投手に応じたテロップレイアウトテンプレートが選出されることが好ましい。しかし、実施の形態 1における表示データ生成装置では、選手の画面占有率だけがレイアウトテンプレートの選択条件と照合されるので、図 16 (b)に示すように、図 16 (a)に示した画面占有率に応じた同様のバッタ一のテロップレイアウトテンプレートが選出されてしまう。

[0075] 更に、図 16に示した例と同様に、同じ選手が異なる状態に変化する場合でも同様の課題が生じる。例えば、図 16 (a)に示すように任意の選手がバッターボックスに入つてバッター状態になると、ノッター状態に応じたテロップのレイアウトテンプレートが選出される。しかし、図 16 (b)に示すように同一の選手が投手エリアに入って投手状態になると、図 16 (c)に示すように投手状態に応じたテロップのレイアウトテンプレートに切り替えられることが好ましい。しかし、実施の形態 1における表示データ生成装置では、選手の画面占有率だけがレイアウトテンプレートの選択条件と照合されるので、図 16 (b)に示すようにバッターのテロップレイアウトテンプレートが選出されてしまう。また、サッカーなど他の場合も同様に、選手がフォワードの場合とゴールキーパーの場合では、それぞれ違った紹介テロップレイアウトテンプレートが選出されることが好ましい。

[0076] そこで、実施の形態 2における表示データ生成装置では、レイアウト選出部 107において、レイアウトテンプレートの選出条件に、例えば、投手か野手かなどの被写体属性を更に追加し、被写体情報にさらに被写体属性を追加することで、被写体の画面大きさ（画面占有率)で選出したレイアウトテンプレートをもとに、重要被写体の被写体属性と選出条件に一致したレイアウトを選出する。従って、重要被写体とした被写体の種別（例えば、投手か野手か、ゴールキーパーかフォワードか、など）が変化するとそれに応じたテロップに切り替えることが可能となる。尚、実施の形態 2における表示データ生成装置の内部構成は、実施の形態 1のそれと同じであるので、説明は省略する。

[0077] 図 17は、本発明の実施の形態 2における表示データ生成装置で使用する被写体情報のデータ構造を概念的に示す図である。図 17 (a)に示すように、被写体情報 D 9100は、図 2 (a)に示す実施の形態 1の表示データ生成装置で使用する被写体情報 D8100と異なり、被写体属性 D9103が被写体情報 D9100に追加されている。被写体属性 D9103は、被写体の状態や種類を識別する被写体に関する属性である。図 17 (b)に示すように、被写体情報 D9901の被写体識別情報は「A」、被写体属性は「バッター状態」である。図 17 (c)に示すように、被写体情報 D9902の被写体識別情報は「B」、被写体属性は「投手状態」である。

[0078] 図 18は、本発明の実施の形態 2における表示データ生成装置で使用するレイァゥトテンプレートのデータ構造を概念的に示す図である。レイアウトテンプレート D9400 は、図 9に示す実施の形態 1における表示データ生成装置で使用するレイアウトテンプレート D8400と異なり、被写体属性 D9403が選択条件 D9401に追加されている。被写体属性 D9403は、被写体の状態や種類を判断する条件である。

[0079] 次に、実施の形態 2における表示データ生成装置の、レイアウト選出部 107のレイアウト選出処理について説明する。レイアウト選出部 107は、付加情報受信部 104で受信したレイアウトテンプレートから、重要被写体判断部 106で抽出した重要被写体の画面占有率と被写体属性とを共に満足するレイアウトテンプレートの選択条件を検索し、選択条件に応じたレイアウトテンプレートを選出する。ここで、レイアウトテンプレートの選択条件としては、被写体の画面占有率が、図 18に示した選択条件 D9401 にある画面占有率下限と画面占有率上限の範囲内にあるという第 1の選択条件と、被写体の被写体属性が選択条件 D9401にある被写体属性と一致するという第 2の選択条件とを用いる。

[0080] 図 19は、本発明の実施の形態 2における表示データ生成装置の、レイアウト選出部 107の動作を説明するための図である。

[0081] 図に示すように、重要被写体情報 D9910に含まれる被写体属性 D9911の内容は「投手状態」、画面占有率 D9912は「0. 458」である。例えば、任意のレイアウトテンプレートの選択条件 D9920に含まれる画面占有率下限は「0. 4」、画面占有率上限は「0. 8」、被写体属性は「投手状態」である。この場合、画面占有率 D9912が選択条件 D9920の画面占有率下限超且つ選択条件 D9920の画面占有率上限以下という第 1の選択条件を満足し、且つ被写体属性 D9911が選択条件 D9920の被写体属性と一致するという第 2の選択条件も満足することから、レイアウト選出部 107は、重要被写体 D9910が選択条件 D9920を満足すると判断する。従ってレイアウト選出部 107は、選択条件 D9920に応じたレイアウトテンプレートを選出する。一方、例えば、もう一つのレイアウトテンプレートの選択条件 D9930に含まれる画面占有率下限は「0. 4」、画面占有率上限は「0. 8」、被写体属性は「バッター状態」である。この場合、画面占有率 D9912は選択条件 D9930の画面占有率下限超かつ選択条件 D 9930の画面占有率上限以下という第 1の選択条件を満足するが、被写体属性 D99 11は選択条件 D9930の被写体属性と一致するとヽぅ第 2の選択条件を満足しな、ことから、レイアウト選出部 107は、重要被写体 D9910が選択条件 D9930を満足しないと判断する。従って、レイアウト選出部 107は、選択条件 D9930に応じたレイァゥトテンプレートを選出しな!、。

[0082] レイアウト選出部 107で選出されたレイアウトテンプレートに基づくテロップの生成については、実施の形態 1の表示データ生成装置におけるテロップ生成処理と同様であるため、説明を省略する。

[0083] 以上のように、本発明の実施の形態 2における表示データ生成装置によれば、被写体に関連するテロップを表示する際、異なる被写体の種類によってテロップを切り替えることが可能となる。また、同一の被写体の状態が変化したような場合 (例えば、被写体である野球選手が投球状態からバッティング状態に変わる場合など)でも、テ口ップを適切に切り替えることができる。このように、様々な任意視点映像視聴に相応 L 、情報を提供することができる。表示される被写体の変化に応じてテロップの表示も適切に変更されるので、視聴者は被写体に関する情報を的確に取得することができる。

[0084] 尚、上記の実施の形態における表示データ生成装置は、視聴者が視点を切り替えて視聴選択可能な視点映像を提供するその他の映像配信システムでも適用可能なことは言うまでもない。例えば、多数のカメラを用いて撮影した多視点映像を同時配信する多視点映像配信システム（マルチアングル配信システム）、超広角 '超高解像度の映像を撮影し、その一部分の映像 (視点画像)を切り出して視聴者に提示できる自由視点映像配信システムなどに適用可能である。

[0085] 本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。

本出願は、 2006年 2月 13日出願の日本特許出願 (特願 2006— 035175)に基づくものであり、その内容はここに参照として取り込まれる。

産業上の利用可能性

本発明の表示データ生成装置は、画面の被写体構成に応じた適切なレイアウトを選出することができるため、各映像にそれぞれ適したテロップ表示用データを生成することができるという効果を有し、映像に付加するテロップ表示用データを生成する表示データ生成装置等に有用である。

Claims

請求の範囲

[1] 視点情報および被写体情報に基づ!、て、画面に映されて!/、る被写体を判定する被写体判定部と、

前記被写体判定部の判定結果および前記被写体情報に基づ!、て、視聴者が注目して!/、るであろう重要被写体を判断し、前記重要被写体の特徴情報を生成する重要被写体判断部と、

複数のレイアウトテンプレートの中から、前記重要被写体の特徴情報と合致した選択条件を持ったレイアウトテンプレートを選出するレイアウト選出部と、

前記選出されたレイアウトテンプレートに基づいて、テロップ表示用データを生成するテロップ生成部と、を有することを特徴とする表示データ生成装置。

[2] 前記重要被写体判断部は、前記視点情報に含まれる視点位置と前記被写体情報に含まれる被写体位置との距離を用いて、前記重要被写体の判断を行うことを特徴とする請求項 1記載の表示データ生成装置。

[3] 前記重要被写体判断部は、前記視点位置と被写体との距離が一番短、被写体を前記重要被写体と判断することを特徴とする請求項 2記載の表示データ生成装置。

[4] 前記重要被写体判断部は、前記重要被写体の特徴情報を、前記視点情報および前記被写体情報に基づいて、前記重要被写体の画面上の大きさとして生成し、前記レイアウト選出部は、前記重要被写体の画面上の大きさと合致した選択条件を持ったレイアウトテンプレートを選出することを特徴とする請求項 1、請求項 2または請求項 3記載の表示データ生成装置。

[5] 前記被写体情報は、被写体属性を有し、

前記レイアウトテンプレートが持つ選択条件は、被写体属性を有し、

前記レイアウト選出部は、前記重要被写体の被写体属性と合致した選択条件を持つたレイアウトテンプレートを選出することを特徴とする請求項 4記載の表示データ生成装置。

[6] 視点情報および被写体情報に基づ!、て、画面に映されて!/、る被写体を判定する被写体判定ステップと、

判定結果および前記被写体情報に基づ、て、視聴者が注目して!、るであろう重要被写体を判断し、前記重要被写体の特徴情報を生成する重要被写体判断ステップと、

複数のレイアウトテンプレートの中から、前記重要被写体の特徴情報と合致した選択条件を持ったレイアウトテンプレートを選出するレイアウト選出ステップと、

前記選出されたレイアウトテンプレートに基づいて、テロップ表示用データを生成するテロップ生成ステップと、

を有する表示データ生成方法。

[7] 前記重要被写体判断ステップは、前記視点情報に含まれる視点位置と前記被写体情報に含まれる被写体位置との距離を用いて、前記重要被写体の判断を行うことを特徴とする請求項 6記載の表示データ生成方法。

[8] 前記重要被写体判断ステップは、前記視点位置と被写体との距離が一番短、被写体を前記重要被写体と判断することを特徴とする請求項 7記載の表示データ生成方法。

[9] 前記重要被写体判断ステップは、前記重要被写体の特徴情報を、前記視点情報および前記被写体情報に基づいて、前記重要被写体の画面上の大きさとして生成し前記レイアウト選出ステップは、前記重要被写体の画面上の大きさと合致した選択条件を持ったレイアウトテンプレートを選出することを特徴とする請求項 6、請求項 7または請求項 8記載の表示データ生成方法。

[10] 前記被写体情報は、被写体属性を有し、

前記レイアウト選出ステップは、前記重要被写体の被写体属性と合致した選択条件を持ったレイアウトテンプレートを選出することを特徴とする請求項 9記載の表示データ生成方法。

[11] コンピュータを

視点情報および被写体情報に基づ!、て、画面に映されて!/、る被写体を判定する被写体判定手段、

前記被写体判定部の判定結果および前記被写体情報に基づ!、て、視聴者が注目して!/、るであろう重要被写体を判断し、前記重要被写体の特徴情報を生成する重要被写体判断手段、

複数のレイアウトテンプレートの中から、前記重要被写体の特徴情報と合致した選択条件を持ったレイアウトテンプレートを選出するレイアウト選出手段、

前記選出されたレイアウトテンプレートに基づいて、テロップ表示用データを生成するテロップ生成手段、

として機能させるための表示データ生成プログラム。