WO2008041629A1 - Dispositif et procédé de reproduction, dispositif et procédé de génération d'informations, support de stockage de données, structure de données, support de stockage de programme, et programme - Google Patents

Description

明 細 書

再生装置および方法、情報生成装置および方法、データ格納媒体、デー タ構造、プログラム格納媒体、並びにプログラム

技術分野

[0001] 本発明は、再生装置および方法、情報生成装置および方法、データ格納媒体、デ ータ構造、並びにプログラムに関し、特に、メタ情報を容易に編集または付加できるよ うにした再生装置および方法、情報生成装置および方法、データ格納媒体、データ 構造、並びにプログラムに関する。

背景技術

[0002] 従来、 DVD (Digital Versatile Disc)に代表されるパッケージメディアにおいては、ビ デォテープですでに実現されていた画像や音声の再生に加えて、メニュ画面による 設定やコンテンツの選択、チヤプタ選択などによるジャンプ再生、マルチアングルな どの複数のストリームからの選択再生が可能となっていた。特に特典画像やメイキン グビデオ、解説ビデオ、デザインスケッチなどの付加画像情報を付した画像をメニュ 画面から選択可能なコンテンツが増えてきて!/、る。

[0003] 従来、これらのパッケージメディアは、画像や音声の内容に同期して付加画像情報 を付して表示されるため、画像や音声の内容に同期して付加画像情報が加えられた ストリームと、付加画像情報が加えられていないストリームとを個別に作成した上で、 これらを!/、ずれも記録し、切り替えて再生するものである（特許文献 1参照）。

[0004] 特許文献 1：特開 2005— 335521号公報

発明の開示

発明が解決しょうとする課題

[0005] しかしながら、従来のパッケージメディアにおいては画像や音声の内容に同期して 付加画像情報を付して表示するには、個別に画像や音声などのストリームとして作り こむ必要があるため、付加画像情報を視聴者が ON/OFF選択できるようにするた めには、同じ内容のストリームで、付加画像情報有りのものと無しのものを 2つ用意す る必要があり、編集作業に時間力 Sかかっていた。 [0006] また、同様の理由力 メディアの限られた容量を必要以上に占有してしまうことがあ つた。

[0007] さらに、新しい付加サービスを提供するには、画像や音声などの本編ストリームを併 せて作り直さなければならなかった。

[0008] 結果として、上記の問題点から従来のパッケージメディアにおいては本編の画像や 音声に同期した付加画像情報はほとんど提供されてこなかった。

[0009] 本発明はこのような状況に鑑みてなされたものであり、特に、付加画像情報となる画 像や音声を容易に編集または記録できるようにするものである。

課題を解決するための手段

[0010] 本発明の第 1の側面の再生装置は、入力されたビデオストリームを再生するストリー ム再生手段と、前記ストリーム再生手段により再生されるビデオストリームとは別フアイ ルである前記ビデオストリームのメタ情報を読み込むメタ情報読込手段と、前記ストリ ーム再生手段により出力されるビデオストリームの再生情報に基づいて、前記ストリー ム再生手段により再生されているビデオストリームに同期して、前記メタ情報読込手 段を制御して、前記メタ情報を読み込ませるストリーム同期読込手段と、前記ストリー ム同期読込手段により制御されて、前記メタ情報読込手段により読み込まれたメタ情 報に基づいて、前記ストリームに付加画像情報を提供する付加画像情報提供手段と 、前記付加画像情報提供手段により提供された付加画像情報を、前記再生手段によ り再生されたビデオストリームに合成する合成手段とを含む。

[0011] 前記合成手段により前記付加画像情報が合成されたビデオストリームを出力する出 力手段をさらに含ませるようにすることができ、前記メタ情報は、前記出力手段により 出力される、前記付加画像情報が合成されたビデオストリームが表示される際の、表 示画面上の位置情報とすることができる。

[0012] 前記メタ情報は、第 1の時刻情報を含む第 1のメタ情報と、第 2の時刻情報を含む 第 2のメタ情報を有し、前記ストリーム同期読込手段には、前記ビデオストリームの再 生時刻と、前記第 1の時刻情報、または、前記第 2の時刻情報を比較することにより、 前記第 1のメタ情報、または、前記第 2のメタ情報を選択させるようにすることができる [0013] 前記メタ情報読込手段は、フォーマットに応じ、 1以上とすることができる。

[0014] ネットワークを通じ、前記メタ情報を取得する取得手段をさらに設けるようにさせるこ とができ、前記ストリーム同期読込手段には、前記取得手段により取得されたメタ情 幸を読込ませるようにすること力 Sできる。

[0015] 前記メタ情報は、前記ビデオストリームがスポーツ番組の場合、競技している競技 者毎の再生情報に対応した再生画面上の位置情報とすることができ、前記付加画像 情報提供手段には、前記再生手段により再生されるビデオストリームの再生タイミン グに同期して、所定の競技者の位置情報に基づいて、前記所定の競技者のズーム 画面を付加画像情報として提供させるようにすることができる。

[0016] 前記ビデオストリームのコンテンツには、時系列に従ったオブジェクトを複数に含ま せるようにすること力 Sでき、前記メタ情報は、前記時系列に従って変化する前記ビデ ォストリームのコンテンツ中の複数のオブジェクト間の相関情報とすることができる。

[0017] 前記メタ情報は、前記ビデオストリームがドラマまたは映画の場合、登場人物毎の 再生情報に対応した相関情報とすることができ、前記付加画像情報提供手段には、 前記再生手段により再生されるビデオストリームの再生情報に同期して、前記登場人 物毎の再生情報に対応した相関情報に基づいた、前記登場人物の相関図を付加画 像†青幸として提供させるようにすること力でさる。

[0018] 前記メタ情報は、前記ビデオストリームがドラマまたは映画の場合、登場人物毎の 再生情報に対応した相関情報と供に、前記登場人物の紹介情報とすることができ、 前記付加画像情報提供手段には、前記再生手段により再生されるビデオストリーム の再生情報に同期して、前記登場人物毎の紹介情報に基づいた、前記登場人物の 紹介情報を付加画像情報として提供させるようにすることができる。

[0019] 本発明の第 1の側面の再生方法は、入力されたビデオストリームを再生するストリー ム再生ステップと、前記ストリーム再生ステップの処理により再生されるビデオストリー ムとは別ファイルであるビデオストリームのメタ情報を読み込むメタ情報読込ステップ と、前記ストリーム再生ステップの処理により再生されるビデオストリームの再生情報 に基づいて、前記ストリーム再生ステップの処理により再生されているビデオストリー ムに同期して、前記メタ情報読込手段を制御して、前記メタ情報を読み込ませるストリ 前記メタ情報読込ステップの処理により読み込まれたメタ情報に基づ!/、て、前記ビデ ォストリームに付加画像情報を提供する付加画像情報提供ステップと、前記付加画 像情報提供ステップの処理により提供された付加画像情報を、前記再生ステップの 処理により再生されたビデオストリームに合成する合成ステップとを含む。

[0020] 本発明の第 1の側面のプログラムは、入力されたビデオストリームを再生するストリ ーム再生ステップと、前記ストリーム再生ステップの処理により再生されるビデオストリ 一ムとは別ファイルであるビデオストリームのメタ情報を読み込むメタ情報読込ステツ プと、前記ストリーム再生ステップの処理により再生されるビデオストリームの再生情 報に基づいて、前記ストリーム再生ステップの処理により再生されているビデオストリ ームに同期して、前記メタ情報読込手段を制御して、前記メタ情報を読み込ませるス トリーム同期読込ステップと、前記ストリーム同期読込ステップの処理により制御され て、前記メタ情報読込ステップの処理により読み込まれたメタ情報に基づいて、前記 ビデオストリームに付加画像情報を提供する付加画像情報提供ステップと、前記付 加画像情報提供ステップの処理により提供された付加画像情報を、前記再生ステツ プの処理により再生されたビデオストリームに合成する合成ステップとを含む処理をコ ンピュータに実行させる。

[0021] 本発明の第 1の側面のプログラム格納媒体には、請求項 9に記載のプログラムが格 納されている。

[0022] 本発明の第 2の側面のデータ格納媒体は、再生装置により再生されるべき時刻情 報を有するビデオストリームが記録された記録媒体であって、前記ビデオストリームと は別ファイルとして、前記時刻情報の時刻軸に含まれる、第 1の時刻位置に対応する 時刻情報を含む、第 1の時刻位置に表示されるビデオストリームに対応する第 1のメ タ情報と、前記時刻情報の時刻軸に含まれる、第 2の時刻位置に対応する時刻情報 を含む、第 2の時刻位置に表示されるビデオストリームに対応する第 2のメタ情報とが 格納されている。

[0023] 本発明の第 3の側面のデータ構造は、記録媒体に記録される、又は、ネットワーク を通じて配信される、再生装置により再生されるべき時刻情報を有するビデオストリー ムと共に再生されるメタ情報ファイルのデータ構造であって、前記時刻情報の時刻軸 に含まれる、第 1の時刻位置に対応する時刻情報を含む、第 1の時刻位置に表示さ れるビデオストリームに対応する第 1のメタ情報と、前記時刻情報の時刻軸に含まれ る、第 2の時刻位置に対応する時刻情報を含む、第 2の時刻位置に表示されるビデ ォストリームに対応する第 2のメタ情報とを含む。

[0024] 前記第 1のメタ情報と第 2のメタデータとは、それぞれ独立した別ファイルとされるよ うにすることカでさる。

[0025] 本発明の第 4の側面の情報生成装置は、再生装置により再生されるべき時刻情報 を有するビデオストリームの、前記時刻情報の時刻軸に含まれる、時刻位置に対応 する時刻情報を取得する時刻情報取得手段と、表示されるビデオストリームに対応す るメタ情報を取得するメタ情報取得手段と、少なくとも 1以上の前記時刻情報と前記メ タ情報とを対応付けてメタ情報ファイルとして格納する格納手段とを含む。

[0026] 前記メタ情報ファイルのフォーマット形式を変換する変換手段をさらに含ませるよう にすることカでさる。

[0027] 本発明の第 4の側面の情報生成方法は、再生装置により再生されるべき時刻情報 を有するビデオストリームの、前記時刻情報の時刻軸に含まれる、時刻位置に対応 する時刻情報を取得する時刻情報取得ステップと、表示されるビデオストリームに対 応するメタ情報を取得するメタ情報取得ステップと、少なくとも 1以上の前記時刻情報 と前記メタ情報とを対応付けてメタ情報ファイルとして格納する格納ステップとを含む

[0028] 本発明の第 4の側面のプログラムは、再生装置により再生されるべき時刻情報を有 するビデオストリームの、前記時刻情報の時刻軸に含まれる、時刻位置に対応する 時刻情報を取得する時刻情報取得ステップと、表示されるビデオストリームに対応す るメタ情報を取得するメタ情報取得ステップと、少なくとも 1以上の前記時刻情報と前 記メタ情報とを対応付けてメタ情報ファイルとして格納する格納ステップとを含む処理 をコンピュータに実行させる。

[0029] 本発明の第 4の側面のプログラム格納媒体には、請求項 17に記載のプログラムが 格納されている。 [0030] 本発明の第 1の側面の再生装置および方法、並びにプログラムにおいては、入力さ れたビデオストリームが再生され、再生されるストリームのメタ情報が読み込まれ、出 力されるビデオストリームの再生情報に基づいて、再生されているストリームに同期し て、制御されて、前記メタ情報が読み込まれ、読み込まれたメタ情報に基づいて、前 記ビデオストリームに付加画像情報が提供され、提供された付加画像情報が、再生 されたストリームに合成される。

[0031] 本発明の第 2の側面のデータ格納媒体においては、ビデオストリームとは別フアイ ルとして、前記時刻情報の時刻軸に含まれる、第 1の時刻位置に対応する時刻情報 が含まれ、第 1の時刻位置に表示されるビデオストリームに対応する第 1のメタ情報と 、前記時刻情報の時刻軸に含まれる、第 2の時刻位置に対応する時刻情報が含まれ 、第 2の時刻位置に表示されるビデオストリームに対応する第 2のメタ情報とが格納さ れる。

[0032] 本発明の第 3の側面のデータ構造においては、再生装置により再生されるべき時 刻情報を有するビデオストリームの、前記時刻情報の時刻軸に含まれる、第 1の時刻 位置に対応する時刻情報が含まれ、第 1の時刻位置に表示されるビデオストリームに 対応する第 1のメタ情報と、前記時刻情報の時刻軸に含まれる、第 2の時刻位置に対 応する時刻情報が含まれ、第 2の時刻位置に表示されるビデオストリームに対応する 第 2のメタ情報とが含まれる。

[0033] 本発明の第 4の側面の情報生成装置および方法、並びにプログラムにおいては、 再生装置により再生されるべき時刻情報を有するビデオストリームの、前記時刻情報 の時刻軸に含まれる、時刻位置に対応する時刻情報が取得され、表示されるビデオ ストリームに対応するメタ情報が取得され、少なくとも 1以上の前記時刻情報と前記メ タ情報とが対応付けて格納されるメタ情報ファイルが生成される。

[0034] 本発明の再生装置、および情報生成装置は、独立した装置であっても良いし、そ れぞれ再生処理、および情報生成処理を行うブロックであっても良レ、。

発明の効果

[0035] 本発明によれば、メタ情報を容易に編集または付加することが可能となる。

図面の簡単な説明 [0036] [図 1]本発明を適用した再生装置の構成例を示すブロック図を説明する図である。

[図 2]図 1の再生装置による付加画像情報提供処理を説明するフローチャートである

[図 3]図 1の再生装置による付加画像情報生成処理を説明するフローチャートである

[図 4]図 1の再生装置によるメタ情報ファイルを説明する図である。

[図 5]図 1の再生装置による付加画像情報提供処理を説明する図である。

[図 6]再生装置のその他の構成例を示すブロック図を説明する図である。

[図 7]図 6の再生装置による付加画像情報生成処理を説明するフローチャートである

[図 8]図 6の再生装置によるメタ情報ファイルを説明する図である。

[図 9]図 6の再生装置による付加画像情報生成処理を説明する図である。

[図 10]図 6の再生装置による付加画像情報生成処理を説明する図である。

[図 11]図 6の再生装置による付加画像情報生成処理を説明する図である。

[図 12]再生装置のさらにその他の構成例を示すブロック図を説明する図である。

[図 13]メタ情報ファイル生成装置の構成例を示すブロック図を説明する図である。

[図 14]図 13のメタ情報ファイル生成装置によるメタ情報ファイル生成処理を説明する フローチャートである。

[図 15]パーソナルコンピュータの構成例を説明する図である。

符号の説明

[0037] 1 再生装置， 2 表示部， 3 メタ情報ファイル， 4 ストリームファイル， 11 操作部， 12 付加画像情報提供部， 13 合成部， 14 メタ情報ファイル読込部 , 15 ストリーム同期読込部， 16 ストリーム再生部

発明を実施するための最良の形態

[0038] 以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実 施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載 されている発明をサポートする実施の形態が本明細書に記載されていることを確認 するためのものである。従って、発明の実施の形態中には記載されているが、発明に 対応するものとして、ここには記載されていない実施の形態があつたとしても、そのこ とは、その実施の形態が、その発明に対応するものではないことを意味するものでは ない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、 そのことは、その実施の形態が、その発明以外の発明には対応しないものであること を意味するものでもない。

[0039] さらに、この記載は、本明細書に記載されている発明の全てを意味するものではな い。

換言すれば、この記載は、本明細書に記載されている発明であって、この出願では 請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現 、追加される発明の存在を否定するものではない。

[0040] 即ち、本発明の第 1の側面の再生装置は、入力されたビデオストリームを再生する ストリーム再生手段（例えば、図 1のストリーム再生部 16)と、前記ストリーム再生手段 により再生されるビデオストリームとは別ファイルである前記ビデオストリームのメタ情 報を読み込むメタ情報読込手段（例えば、図 1のメタ情報ファイル読込部 14)と、前記 ストリーム再生手段により再生されるビデオストリームの再生情報に基づいて、前記ス トリーム再生手段により再生されているビデオストリームに同期して、前記メタ情報読 込手段を制御して、前記メタ情報を読み込ませるストリーム同期読込手段（例えば、 図 1のストリーム同期読込部 15)と、前記ストリーム同期読込手段により制御されて、 前記メタ情報読込手段により読み込まれたメタ情報に基づ!/、て、前記ビデオストリー ムに付加画像情報を提供する付加画像情報提供手段 (例えば、図 1の付加画像情 報提供部 12)と、前記付加画像情報提供手段により提供された付加画像情報を、前 記再生手段により再生されたストリームに合成する合成手段（例えば、図 1の合成部 1 3)とを含む。

[0041] 前記合成手段（例えば、図 1の合成部 13)により前記付加画像情報が合成されたビ デォストリームを出力する出力手段（例えば、図 1の表示部 2)をさらに含ませるように することができ、前記メタ情報は、前記出力手段により出力される、前記付加画像情 報が合成されたビデオストリームが表示される際の、表示画面上の位置情報とするこ と力 Sできる。 [0042] 本発明の第 1の側面の再生方法およびプログラムは、入力されたストリームを再生 するストリーム再生ステップ（例えば、図 2のステップ S61 , S63)と、前記ストリーム再 生ステップの処理により再生されるビデオストリームとは別ファイルである前記ビデオ ストリームのメタ情報を読み込むメタ情報読込ステップ（例えば、図 2のステップ S83) と、前記ストリーム再生ステップの処理により再生されるビデオストリームの再生情報 に基づいて、前記ストリーム再生ステップの処理により再生されているビデオストリー ムに同期して、前記メタ情報読込手段を制御して、前記メタ情報を読み込ませるストリ ーム同期読込ステップ（例えば、図 2のステップ S39)と、前記ストリーム同期読込ステ ップの処理により制御されて、前記メタ情報読込ステップの処理により読み込まれたメ タ情報に基づいて、前記ビデオストリームに付加画像情報を提供する付加画像情報 提供ステップ (例えば、図 2のステップ S10)と、前記付加画像情報提供ステップの処 理により提供された付加画像情報を、前記再生ステップの処理により再生されたビデ ォストリームに合成する合成ステップ（例えば、図 2のステップ S 101)とを含む。

[0043] 本発明の第 4の側面の情報生成装置は、再生装置により再生されるべき時刻情報 を有するビデオストリームの、前記時刻情報の時刻軸に含まれる、時刻位置に対応 する時刻情報を取得する時刻情報取得手段 (例えば、図 13の時刻情報取得部 112 )と、表示されるビデオストリームに対応するメタ情報を取得するメタ情報取得手段（例 えば、図 13のメタ情報取得部 113)と、少なくとも 1以上の前記時刻情報と前記メタ情 報とを対応付けてメタ情報ファイルとして格納する格納手段（例えば、図 13の格納部 114)とを含む。

[0044] 前記メタ情報ファイルのフォーマット形式を変換する変換手段をさらに含ませるよう にすることカでさる。

[0045] 本発明の第 4の側面の情報生成方法およびプログラムは、再生装置により再生され るべき時刻情報を有するビデオストリームの、前記時刻情報の時刻軸に含まれる、時 刻位置に対応する時刻情報を取得する時刻情報取得ステップ (例えば、図 14のステ ップ S 192)と、表示されるビデオストリームに対応するメタ情報を取得するメタ情報取 得ステップ (例えば、図 14のステップ S 194)と、少なくとも 1以上の前記時刻情報と前 記メタ情報とを対応付けてメタ情報ファイルとして格納する格納ステップ (例えば、図 1 4のステップ SI 95)とを含む。

[0046] 図 1は、本発明を適用した再生装置の一実施の形態の構成を示している。尚、図 1 の再生装置 1は、ソフトウェアにより構成される例について説明する力 同様の機能を 備えたハードウェアにより構成することも可能である。

[0047] 再生装置 1は、メタ情報ファイル 3に基づいて、付加画像情報を生成し、ストリームフ アイル 4に基づいて再生されるビデオストリームに合成して表示部 2に表示させる。

[0048] 操作部 11は、キーボード、マウス、または、ボタンなどから構成されており、付加画 像情報提供部 12の ONまたは OFFなどが使用者により入力されるとき操作され、操 作内容に応じた操作信号を発生して、付加画像情報提供部 12に出力する。

[0049] 付加画像情報提供部 12は、ストリーム同期読込部 15より供給されてくるメタ情報に 基づいて、付加画像情報を生成し、合成部 13に出力する。ここで、付加画像情報と は、ストリームファイル 4に記録されているコンテンツを再生する際に画像などで付加 される情報である。より具体的には、例えば、ストリームファイル 4により再生されるビ デォストリームがサッカーの試合の場合、付加画像情報は、競技者毎の時刻単位の 位置情報からなるメタ情報に基づ!/、て、所定の競技者に対して画面上で付される追 跡マークなどである。尚、以降においては、付加画像情報が、所定の競技者に付さ れる追跡マークである場合について、説明を進めるものとするが、ビデオストリームや 付加画像情報はこれに限るものではなぐその他のコンテンツを再生するストリームフ アイルであってもよ!/、し、その他の付加画像情報であってもよレ、。

[0050] メタ情報ファイル読込部 14は、ストリーム同期読込部 15から供給されてくる、ストリー ム再生部 16により再生されているビデオストリームの再生情報を取得すると、再生情 報に基づいて、対応するタイミングのメタ情報をメタ情報ファイル 3より読み込み、スト リーム同期読込部 15に供給する。

[0051] ストリーム同期読込部 15は、ストリーム再生部 16に対して再生情報を依頼すること により、現在再生中のビデオストリームの再生時刻や再生フレームなどを示す再生情 報を取得すると、メタ情報ファイル読込部 14に供給する。さらに、ストリーム同期読込 部 15は、供給した再生情報に応じて、メタ情報ファイル読込部 14より供給されてくる メタ情報を取得して、付加画像情報提供部 12に供給する。 [0052] ストリーム再生部 16は、ストリームファイル 4の情報を読み込み、順次ビデオストリー ムを再生して画像として、合成部 13に出力すると供に、ストリーム同期読込部 15より 再生情報が依頼されると、今現在の再生情報をストリーム同期読込部 15に供給する

〇

[0053] 合成部 13は、ストリーム再生部 16により再生されるビデオストリームの画像と、付加 画像情報提供部 12より供給されてくる付加画像情報とを合成した画像を生成し、 LC D (Liquid Crystal Display)または CRT (Cathode Ray Tube)などからなる表示部 2に表 示させる。

[0054] 付加画像情報提供部 12は、メタ情報ファイル読込管理部 31、メタ情報取得部 32、 メタ情報認識部 33、付加画像情報出力部 34、および付加画像情報生成部 35より構 成されている。

[0055] メタ情報ファイル読込管理部 31は、操作部 11の操作信号に応じて、付加画像情報 をストリーム再生される画像に合成させることが選択された場合、すなわち、付加画像 情報の提供が ONに設定された場合、メタ情報ファイル読込部 14をストリーム同期読 込部 15に登録させると供に、付加画像情報をビデオストリームに合成した表示を終 了させることが選択された場合、すなわち、付加画像情報の提供が OFFに設定され た場合、メタ情報ファイル読込部 14の登録をストリーム同期読込部 15に解除させる。 すなわち、メタ情報ファイル読込部 14は、ソフトウェアとして存在する場合、付加画像 情報の提供が OFFに設定されているときは、存在しないものであって、付加画像情 報の提供が ONに設定されたときに、メタ情報ファイル読込管理部 31により生成され 、ストリーム同期読込部 15に登録されるものである。ただし、以降においては、メタ情 報ファイル読込管理部 31は、ハードウェアであってもよいものであるので、常時存在 するものとしてブロック図を構成する。

[0056] メタ情報取得部 32は、ストリーム同期読込部 15より供給されてくるメタ情報を取得し 、メタ情報認識部 33に供給する。メタ情報認識部 33は、供給されたメタ情報を認識し 、認識結果を付加画像情報生成部 35に供給する。

[0057] 付加画像情報生成部 35は、メタ情報の認識結果に基づ!/、て、付加画像情報を生 成し、生成した付加画像情報を付加画像情報出力部 34に供給する。より具体的に は、付加画像情報生成部 35は、リスト生成部 41、追跡マーク生成部 42およびタイム スケールバー生成部 43を制御して、メタ情報の認識結果に基づいて、競技者のリスト 、所定の競技者の追跡マーク、およびタイムスケールバーの画像を付加画像情報と して生成させて、付加画像情報出力部 34に供給する。

[0058] 付加画像情報出力部 34は、付加画像情報生成部 35により生成された付加画像情 報を合成部 13に出力する。このとき、付加画像情報出力部 34は、再生情報を取得し た時点から付加画像情報を出力するまでの処理時間を考慮して合成部 13に出力す る。すなわち、メタ情報ファイル読込部 14は、付加画像情報提供部 12における処理 時間を考慮して、今現在ストリーム再生部 16で再生されているビデオストリームより、 例えば、数フレーム先のメタ情報を読み込んでいる。したがって、付加画像情報出力 部 34は、取得したメタ情報の再生位置に対応するビデオストリームがストリーム再生 部 16により再生されるタイミングで、付加画像情報を合成部 13に供給する。

[0059] メタ情報ファイル読込部 14の再生情報取得部 51は、ストリーム同期読込部 15より 供給されてくる再生情報を取得し、取得した再生情報を読込部 52に供給する。読込 部 52は、メタ情報ファイル 3にアクセスし、供給されてきた再生情報に基づいて、付加 画像情報提供部 12における処理時間を考慮し、今現在の再生時刻より数フレーム 分先のタイミングのメタ情報を読み込みストリーム同期読込部 15に供給する。

[0060] ストリーム同期読込部 15は、メタ情報ファイル読込管理部 31によりメタ情報ファイル 読込部 14が登録されると、所定の時間間隔で再生情報取得依頼部 61を制御して、 ストリーム再生部 16に対して再生情報を依頼させる。

[0061] 再生情報取得部 62は、再生情報取得依頼部 61の依頼に応じて、ストリーム再生部 16より供給されてくる再生情報を取得し、再生情報出力部 63に供給する。再生情報 出力部 63は、再生情報取得部 62より供給されてきた再生情報をメタ情報ファイル読 込部 14に供給する。

[0062] メタ情報取得部 64は、メタ情報ファイル読込部 14より供給されてくるメタ情報を取得 し、メタ情報出力部 65に供給する。メタ情報出力部 65は、供給されてきたメタ情報を 付加画像情報提供部 12に供給する。

[0063] ストリーム再生部 16の再生処理部 71は、ストリームファイル 4にアクセスし、ビデオス トリームを再生して、合成部 13に供給すると供に、再生情報を再生情報出力部 73に 供給する。再生情報依頼受付部 72は、ストリーム同期読込部 15の再生情報取得依 頼部 61からの再生情報の取得依頼を受け付け、この依頼に基づいて、再生情報出 力部 73を動作させる。再生情報出力部 73は、再生情報依頼受付部 72により再生情 報の取得依頼があったことが通知された場合、再生処理部 71より供給されてくる再 生情報をストリーム同期読込部 15に出力する。

[0064] 次に、図 2のフローチャートを参照して、付加画像情報提供処理について説明する

[0065] ステップ S1において、メタ情報ファイル読込管理部 31は、操作部 11が操作されて 、付加画像情報の提供が要求されたか否力、を判定し、要求されるまで、同様の処理 を繰り返す。ステップ S 1において、例えば、操作部 11が操作されて、付加画像情報 の提供が要求された場合、すなわち、付加画像情報提供部 12の動作を ONにするよ うに要求された場合、ステップ S2において、メタ情報ファイル読込管理部 31は、メタ 情報ファイル読込部 14を生成する。

[0066] ステップ S3において、メタ情報ファイル読込管理部 31は、生成したメタ情報フアイ ル読込部 14をストリーム同期読込部 15に登録を要求する。

[0067] ステップ S31において、ストリーム同期読込部 15は、メタ情報ファイル読込部 14の 登録が要求されてきたか否かを判定し、登録が要求されるまで、その処理を繰り返す ステップ S31において、例えば、ステップ S3の処理により、メタ情報ファイル読込部 1 4の登録が要求されると、ステップ S32において、ストリーム同期読込部 15は、登録が 要求されたメタ情報ファイル読込部 14を登録する。

[0068] 尚、ステップ S2, S3, S31 , S32 (対応するステップ S10, S l l S41 , S42を含む） の処理は、メタ情報ファイル読込部 14がソフトウェアにより構成される場合の処理であ つて、ハードウェアにより構成される場合、不要な処理である。したがって、 ドゥエ ァにより構成されるメタ情報ファイル読込部 14を用いる場合、ステップ S2, S3, S31 , S32 (対応するステップ S10, S 11 S41 , S42を含む）の処理は、スキップされる。

[0069] ステップ S33において、再生情報取得依頼部 61は、所定の時間が経過したか否か を判定し、所定の時間が経過するまで、その処理を繰り返す。ステップ S33において 、所定の時間が経過したと判定された場合、ステップ S34において、再生情報取得 依頼部 61は、ストリーム再生部 16に対して再生情報を取得するように依頼する。

[0070] ステップ S61において、ストリーム再生部 16の再生処理部 71は、ストリームファイル 4を読み出して、所定の手順に従って、音声を含む画像を順次再生し、合成部 13に 出力すると供に、今現在の再生情報を再生情報出力部 73に供給する。

[0071] ステップ S62において、再生情報依頼受付部 72は、再生情報の取得の依頼があつ たか否かを判定し再生情報の取得の依頼がないと判定された場合、処理は、ステツ プ S61に戻る。すなわち、再生情報の依頼がない限り、単純にストリームファイルから 音声を含む画像などがビデオストリームとして再生され続けるのみとなる。

[0072] ステップ S62において、例えば、ステップ S34の処理により、再生情報の取得が要 求された場合、ステップ S63において、再生情報依頼受付部 72は、再生情報出力 部 73を制御して、再生処理部 71より供給されてくる再生情報をストリーム同期読込部 15に出力させる。

[0073] ステップ S35において、再生情報取得部 62は、再生情報が出力されてきたか否か を判定し、再生情報が出力されてくるまで、同様の処理を繰り返す。ステップ S35に おいて、例えば、ステップ S63の処理により、再生情報が出力されてきた場合、ステツ プ S36において、再生情報取得部 62は、出力されてきた再生情報を取得し、取得し た再生情報を再生情報出力部 63に供給する。

[0074] ステップ S37において、再生情報出力部 63は、供給されてきた再生情報をメタ情 報ファイル読込部 14に出力する。

[0075] ステップ S81において、再生情報取得部 51は、再生情報がストリーム同期読込部 1 5より供給されてきたか否かを判定し、出力されてくるまで、同様の処理を繰り返す。 ステップ S81において、例えば、ステップ S37の処理により、再生情報が出力されて きた場合、再生情報が供給されたと判定され、ステップ S82において、再生情報取得 部 51は、供給されてきた再生情報を取得し、取得した再生情報を読込部 52に供給 する。

[0076] ステップ S83において、読込部 52は、メタ情報ファイル 3にアクセスし、供給されて きた再生情報に基づいて、ビデオストリームの再生位置に対応するメタ情報を読み込 む。

[0077] ステップ S84において、読込部 52は、読み込んだメタ情報をストリーム同期読込部 15に出力する。

[0078] ステップ S38において、メタ情報取得部 64は、メタ情報が出力されてきたか否かを 判定し、メタ情報が出力されてくるまで、その処理を繰り返す。ステップ S38において 、例えば、ステップ S84の処理によりメタ情報が出力されてきた場合、ステップ S39に おいて、メタ情報取得部 64は、送信されてきたメタ情報を取得すると供に、取得した メタ情報をメタ情報出力部 65に供給する。

[0079] ステップ S40において、メタ情報出力部 65は、供給されてきたメタ情報を付加画像 情報提供部 12に出力する。

[0080] ステップ S4において、メタ情報取得部 32は、メタ情報がストリーム同期読込部 15よ り供給されてきたか否かを判定し、供給されてくるまで、その処理を繰り返す。ステツ プ S4において、例えば、ステップ S40の処理により、メタ情報が出力されてきた場合 、ステップ S5において、メタ情報取得部 32は、供給されてきたメタ情報を取得し、取 得したメタ情報をメタ情報認識部 33に供給する。

[0081] ステップ S6にお!/、て、メタ情報認識部 33は、供給されてきたメタ情報を認識し、認 識内容を付加画像情報生成部 35に供給する。

[0082] ステップ S7において、付加画像情報生成部 35は、付加画像情報生成処理により 付加画像情報を生成して付加画像情報出力部 34に供給する。尚、付加画像情報生 成処理については、図 3のフローチャートを参照して詳細を後述する。

[0083] ステップ S8において、付加画像情報出力部 34は、付加画像情報生成部 35により 生成された付加画像情報を合成部 13に出力する。

[0084] ステップ S101において、合成部 13は、ストリーム再生部 16より供給されてくる音声 を含む画像などからなるビデオストリームと、付加画像情報提供部 12より供給されて くる付加画像情報を構成する画像とを合成し、ステップ S 102において、表示部 2に 表示させる。このため、付加画像情報提供部 12の動作が ONにされると付加画像情 報提供部 12より供給されてくる付加画像情報を構成する画像が、音声を含む画像か らなるビデオストリームに合成されて表示部 2で表示されることになるが、付加画像情 報提供部 12の動作が ONにされず、 OFFのままの場合、単にストリーム再生部 16よ り供給されてくる音声を含む画像からなるビデオストリームが表示部 2に表示されるの みとなる。

[0085] また、ステップ S 9において、メタ情報ファイル読込管理部 31は、操作部 11が操作さ れて、付加画像情報の提供の停止が要求されたか否か、すなわち、付加画像情報 提供部 12の動作を OFFにするように要求されたか否かを判定し、例えば、停止が要 求されていない場合、処理は、ステップ S4に戻る。すなわち、付加画像情報の提供 の停止が要求されない限り、ステップ S4乃至 S9の処理が繰り返される。結果として、 登録の解除が要求されていないと判定された場合、合成部 13は、付加画像情報提 供部 12より供給されてくる付加画像情報を構成する画像と、ストリーム再生部 16より 供給されてくる音声を含む画像力 なるビデオストリームとを合成して表示部 2に表示 し！ ¾ける。

[0086] ステップ S9にお!/、て、例えば、付加画像情報の提供の停止が要求された場合、ス テツプ S 10において、メタ情報ファイル読込管理部 31は、メタ情報ファイル読込部 14 の登録を解除するようにストリーム同期読込部 15に対して要求する。

[0087] ステップ S41において、ストリーム同期読込部 15は、メタ情報ファイル読込部 14の 登録の解除が要求されたか否かを判定し、登録の解除が要求されて!/、な!/、と判定さ れた場合、処理は、ステップ S33に戻る。すなわち、ステップ S33乃至 S41の処理が 繰り返される。

[0088] 一方、ステップ S41において、例えば、ステップ S10の処理によりメタ情報ファイル 読込部 14の登録の解除が要求された場合、ステップ S42において、ストリーム同期 読込部 15は、解除が要求されたメタ情報ファイル読取部 14の登録を解除する。この 結果、ストリーム同期読込部 15は、メタ情報ファイル読込部 14に対して再生情報を供 給しない状態となる。

[0089] ステップ S 11において、メタ情報ファイル読込管理部 31は、メタ情報ファイル読込部

14を破棄し、処理は、ステップ S1に戻る。

[0090] 以上の処理により、ストリームファイル 4から読み出されるビデオストリームと、メタ情 報ファイル 3に記録されているメタ情報に基づいて、生成される付加画像情報とが合 成されることになるので、メタ情報ファイル 3のみを交換するだけで、付加画像情報を 変更することが可能になると供に、付加画像情報の種類に応じてストリームファイル 4 を構成する必要がなぐ 1つのストリームファイルを記録するだけでよいので、記録容 量を節約することが可能となる。

[0091] 次に、図 3のフローチャートを参照して、付加画像情報生成処理について説明する

[0092] ステップ S 151において、リスト生成部 41は、ステップ S 5の処理により取得されたメ タ情報である競技者毎の位置情報を読み出し、さらに、ステップ S 152において、読 み出した位置情報に基づいて、ビデオストリームとして再生されるサッカーの試合に 出場してレ、る競技者のリストを生成する。

[0093] ここで、メタ情報ファイル 3の構成について説明する。メタ情報ファイル 3は、例えば 、図 4で示されるようなものである。図 4においては、左側から順に競技者毎の試合の 経過時刻毎の画面上の位置情報が示されている。すなわち、図 4においては、競技 者は、「aaa」、「bbb」、「ccc」、「ddd」、 · . ·「jjj」、および「kkk」の 11人分であり、例えば 、競技者「aaa」は、時亥 ij「00： 01： 00」（=「分：秒：秒/ 100」）において、画面上の座 標（Xal , Yal)に存在し、時刻「00： 02： 00」において、画面上の座標（Xa2, Ya2) に存在し、時刻「00 : 03 : 00」において、画面上の座標（Xa3, Ya3)に存在し、時刻「 00 : 04 : 00」にお!/、て、画面上の座標 (Xa4, Ya4)に存在し、時刻「94： 59： 00」に ぉレヽて、画面上の座標 (Xa5699, Ya5699) ίこ存在し、日寺亥 U「95： 00： 00」 ίこお!/ヽて 、画面上の座標（Xa5700, Ya5700)に存在することを示している。尚、競技者「bbb 」、「ccc」、「ddd」、 · · ·「jjj」、および「kkk」についても同様であるので、その説明は、省 略するものとする。

[0094] ここ力、ら、例えば、時刻「00： 04： 00」のタイミングの場合、図 4で示される競技者の 氏名「aaa」、「bbb」、「ccc」、「ddd」、 . · ·「jjj」、および「kkk」と、それぞれの存在位置と して、 (Xa4, Ya4)、 （Xb4, Yb4)、 (Xc4, Yc4)、 (Xc4, Yc4)、 （Xd4, Yd4) · · · ( Xj4, Yj4)、 （Xk4, Yk4)、および、最終時刻「95 : 00 : 00」がメタ情報ファイル 3より メタ情報として読み出される。 [0095] そこで、このメタ情報に基づいて、リスト生成部 41は、図 5の右下部に表示されてい るリスト 102を生成する。図 5においては、ストリーム再生部 16により再生されているサ ッカーの試合中の画像が画像表示部 101に表示されており、サッカーの試合中の画 像が表示されている。また、図 5におけるリスト 102は、上から「aaa」、「bbb」、「ccc」、「 ddd」、 · · · ¾」、および「kkk」が表示されており、さらに、いずれか追跡マーク 111を 表示させた!/、競技者を選択するための選択枠 103が表示されて!/、る。

選択枠 103は、操作部 11により上下に移動させることができ、これにより、競技者「aa a」、「bbb」、「ccc」、「ddd」、 · · ·「jjj」、および「kkk」のいずれかを選択することができる 。図 5においては、追跡マーク 111を表示させたい競技者として「kkk」が選択されて いる。

[0096] ステップ S 153において、追跡マーク生成部 42は、メタ情報に基づいて、選択され ている競技者の位置に追跡マーク 11 1を生成する。すなわち、図 5においては、選択 枠 103力 「kkk」上にあり、追跡マーク 111を表示させたい競技者として「kkk」が選択 されているので、追跡マーク生成部 42は、時刻「00 : 04 : 00」のタイミングにおける「k kk」の座標（Xk4, Yk4)を中心として追跡マーク 111を生成する。尚、追跡マーク 11 1は、図 5においては、丸印である力 その他の形状であっても良いことは言うまでも ない。

[0097] ステップ S 154において、タイムスケールバー生成部 43は、供給されてきたメタ情報 に基づいて、タイムスケールバー 104を生成する。すなわち、図 5においては、画像 表示部 101の下部にタイムスケールバー 104が表示されており、さらに、タイムスケー ルノ一 104上には、水平方向の長さを全体として「95 : 00 : 00」としたときの、時刻「0 0 : 04 : 00」における割合を示す位置にカレントマーク 105が表示されて!/、る。タイム スケールバー生成部 43は、タイムスケールバー 104を生成すると供に、水平方向の 長さを全体として「95： 00： 00」としたときの、時刻「00： 04： 00」における割合を示す 位置を計算により求め、その位置にカレントマーク 105を付してタイムスケールバー 1 04の画像を生成する。

[0098] 付加画像情報生成処理により、図 5におけるリスト 102、選択枠 103、追跡マーク 1 11、タイムスケールバー 104、およびカレントマーク 105の画像がそれぞれの位置に 生成されて、上述したステップ S8の処理により、合成部 13に出力される。そして、ス テツプ S 101の処理により、合成部 13が、ステップ S61の処理でストリームファイル 4よ り読み出されて表示されるサッカーの試合のビデオストリーム画像上に、これらの付 加画像情報からなる画像をオーバーラップ表示するように合成して、表示部 2に表示 させることにより、図 5で示されるような画像が表示される。

[0099] 結果として、リスト 102上の競技者を選択枠 103により選択すると、選択された競技 者に連続的に追跡マーク 111が付されていくので、使用者は、様々な場面で選択し た競技者を見つけ出すことが可能となる。尚、図 5においては、追跡マーク 111がー 度表示されてから所定時間かけて徐々に色を薄くして消えるように設定した場合を示 しており、結果として、選択された競技者の累積的な動き力 追跡マーク 111の残像 として表示されることになるので、動いている方向などが認識しやすくなり、選択した 競技者の動きをより注目して視聴することが可能となる。尚、図 5においては、残像と して表示されてレ、る追跡マークにつ!/、ては、点線で示されて!/、る。

[0100] また、以上においては、追跡マーク 111を選択した競技者に付されるようにする付 加画像情報を提供する例について説明してきたが、同様のメタ情報により別の付加 画像情報を提供するようにしてもよぐ例えば、追跡マーク 111を付する代わりに、選 択された競技者の位置を中心として、所定倍率にズームアップした画像を表示するよ うにしても良い。このような付加画像情報を提供することにより、選択された競技者の プレイを連続的に表示部 2に拡大して視聴することが可能となる。

[0101] さらに、以上においては、ストリームファイル 4に基づいて再生される音声を含む画 像がサッカー中継を録画したものであって、付加画像情報として選択された競技者 に追跡マークを付する例について説明してきた力 例えば、ストリームファイル 4に基 づいて再生される音声を含む画像が、ドラマや映画などである場合、付加画像情報 として、登場人物の相関図などを表示するようにしても良い。

[0102] 図 6は、ストリームファイル 4に基づいて再生される音声を含む画像力 S、ドラマや映 画などである場合、付加画像情報として、登場人物の相関図などを表示するようにし た再生装置 1の構成例を示している。尚、図 6の再生装置 1において、図 1の再生装 置 1における構成と同一の構成については、同一の符号を付しており、その説明は 適宜省略するものとする。

[0103] 図 6の再生装置 1において、図 1の再生装置 1と異なる構成は、付加画像情報生成 部 35に代えて、付加画像情報生成部 141を設けた点と、メタ情報ファイル 3の内容で ある。

[0104] 付加画像情報生成部 141は、顔画像枠生成部 151、グループ枠生成部 152、相 関生成部 153、タイムスケールバー生成部 154、およびキャスト枠生成部 155を備え ている。顔画像枠生成部 151は、メタ情報に基づいて、登場人物の顔画像枠を生成 する。グループ枠生成部 152は、メタ情報に含まれている、登場人物をグループ化す るグループ化情報に基づ!/、て、顔画像枠をグループ化して表示するグループ枠の画 像を生成する。相関生成部 153は、各登場人物間の関係を示す矢印状の相関の画 像を生成する。タイムスケールバー生成部 154は、メタ情報に基づいて、ストリームフ アイル 4より読み出されて再生されるドラマや映画の再生総時間に対する再生位置や 、ストーリーにおけるイベントを示すタイムスケールバーの画像を生成する。キャスト枠 生成部 155は、メタ情報に基づいて、登場人物の紹介画像を生成する。

[0105] 次に、図 7のフローチャートを参照して、図 6の再生装置 1による付加画像情報生成 処理について説明する。尚、図 6の再生装置 1による付加画像情報提供処理につい ては、ステップ S 7の付加画像情報生成処理を除き、図 2を参照して説明した処理と 同様であるので、その説明は省略する。

[0106] ステップ S 171において、付加画像情報生成部 141は、付加画像情報として相関図 を表示するためのウィンドウ 202 (図 9)を表示する画像を生成する。

[0107] ステップ S 172において、顔画像枠生成部 151は、メタ情報に基づいて、登場人物 毎に、顔画像の位置情報を読み出し、顔画像枠を生成する。すなわち、図 6の再生 装置 1におけるメタ情報ファイル 3は、例えば、図 8で示されるようなものである。図 8に おいては、左から登場人物毎に設定される ID、登場人物名、並びに再生時刻毎の顔 画像枠の表示中心位置、グループ化情報、相関情報、および顔画像の格納位置が 示されている。

[0108] すなわち、図 8においては、登場人物「aaa」は、 ID = 1であり、登場人物の紹介文書 データが _C:¥cast¥aaa.txtJに格納されており、時刻「00： 01： 00」（=「時：分：秒」 )に おいて、顔画像の画面上の中心位置座標は、座標（Xal , Yal)であり、グループ化 情報 Gr (親友同士）は「親友同士」であり、相関情報 (from ID=2 :好意）は、「ID = 2」と なる登場人物「bbb」から「好意」を持たれており、相関情報 (from ID=3 :好意）は、「ID = 3」となる登場人物「ccc」から「好意」を持たれており、登場人物「aaa」の顔画像の情 報が「c:¥face¾aa. jpg」に格納されて!/、ることがそれぞれ示されて!/、る。

[0109] また、 ID = 1の登場人物「aaa」は、時刻「00： 02： 00」において、顔画像の画面上の 中心位置座標は、座標 (Xa2, Ya2)であり、グループ化情報 Gr (親友同士）が「親友 同士」であり、相関情報 (from ID=2 :好意）は「ID = 2」となる登場人物「bbb」から「好意 」を持たれており、相関情報 (from ID=3：好意）は「ID = 3」となる登場人物「ccc」から「 好意」を持たれており、登場人物「aaa」の顔画像の情報が「c:¥face¾aa.jpg」に格納さ れて!/、ることがそれぞれ示されて!/、る。

[0110] さらに、 10 = 1の登場人物「&&&」は、時刻「00 : 50 : 09」において、顔画像の画面上 の中心位置座標は、座標（Xa3009, Ya3009)であり、グループ化情報 Gr (親友同 士）が「親友同士」であり、相関情報 (from ID=2 :好意）は「ID = 2」となる登場人物「bb b」から「好意」を持たれており、相関情報 (from ID=3 :好意）は「ID = 3」となる登場人 物「ccc」力も「好意」を持たれており、登場人物「aaa」の顔画像の情報が「c:¥face¾aa. j gjに格納されて!/、ること力 S示されて!/、る。

[0111] また、 10 = 1の登場人物「&&&」は、時刻「00 : 50 : 10」において、顔画像の画面上の 中心位置座標は、座標（Xa3010, Ya3010)であり、グループ化情報 Gr (恋人同士） 力 恋人同士」であることを示し、相関情報 (to ID=2 :好意）は「ID = 2」となる登場人物 「bbb」に「好意」を持っており、相関情報 (from ID=3 :失恋）は「ID = 3」となる登場人物 「ccc」との間で「失恋」関係にあることが示されており、登場人物「aaa」の顔画像の情 報が「c:¥face¾aa.jpg」に格納されていることがそれぞれ示されている。さらに、このタ イミングにおいては、最上段で示されるように、ストーリー上の重要なイベントとして「 告白」が登録されている。

[0112] さらに、 10 = 1の登場人物「&&&」は、時刻「00 : 50 : 11」において、顔画像の画面上 の中心位置座標は、座標（Xa3011 , Ya3011 )であり、グループ化情報 Gr (恋人同 士）が「恋人同士」であることを示し、相関情報 (to ID=2 :好意）は「ID = 2」となる登場 人物「bbb」に「好意」を持っており、相関情報 (to ID=3 :失恋）は「ID = 3」となる登場 人物「ccc」に「失恋」した関係にあることが示されており、登場人物「aaa」の顔画像の 情報が「c:¥face¾aa. jpg」に格納されて!/、ることがそれぞれ示されて!/、る。

[0113] 尚、 ID=2および 3の登場人物「bbb」および「ccc」については、 ID = 1の登場人物「aa a」と同様であるので、その説明は省略するものとする。

[0114] 図 8のメタ情報ファイル 3より、例えば、時刻「00 : 02 : 00」のタイミングの場合、図 8 で示される ID = 1乃至 3の登場人物「aaa」、「bbb」、および「ccc」のそれぞれについて 、顔画像表示位置として（Xa2, Ya2)、 （Xb2, Yb2)、および（Xc2, Yc2)、グノレー プ化情報として Gr (親友同士）、 Gr (親友同士）、および Gr (親友同士）、相関情報とし て、「aaa」につ!/、ては、相関情報 (from ID=2：好意）、および相関情報 (from ID=3：好 意）、「bbb」、「ccc」のそれぞれについては、相関情報 (to ID=1 :好意）、それぞれの 顔画像の格納位置として（c:¥face¾aa.jpg)、 (c:¥face¥bbb.jpg)、および（c:¥face¥ccc. jpg)、それぞれの紹介情報の格納位置として（c:¥cast¥aaa.txt)、 (c:¥cast¥bbb.txt)、 および（c:¥cast¥ccc.txt)、再生総時間、並びにイベントとして時刻「00： 50： 10」にお ける「告白」が、それぞれメタ情報として読み出される。

[0115] そこで、このメタ情報に基づいて、顔画像枠生成部 151は、図 9で示されるように、 付加画像情報を表示するウィンドウ 202上に登場人物「aaa」、「bbb」、および「ccc」の それぞれの顔画像枠 221— 1乃至 221— 3を生成する。図 9においては、ストリームフ アイル 4よりストリーム再生部 16により再生されているドラマまたは映画の画像が画像 表示部 201に表示されており、付加画像情報を示すウィンドウ 202が表示されている 。尚、画像表示部 201上に表示されるドラマや映画の画像は、図 9においては省略さ れている。

[0116] 例えば、時刻「00 : 02 : 00」において、顔画像枠生成部 151は、ウィンドウ 202上の

(Xa2, Ya2)、 （Xb2, Yb2)、および（Xc2, Yc2)のそれぞれの位置を中心として、 登場人物「aaa」、「bbb」、および「ccc」の顔画像を（c:¥face¾aa.jpg)、 (c:¥face¥bbb.jp g)、および（c:¥face¥cc jpg)より読み出して、図 9の顔画像枠 221— 1乃至 221— 3と して生成する。

[0117] ステップ S 173において、グループ枠生成部 152は、メタ情報に基づいて、グルー プ枠 211を生成する。すなわち、例えば、時刻「00 : 02 : 00」においては、登場人物「 aaa」、「bbb」、および「ccc」のグループ化情報は、いずれも Gr (親友同士）であるので 、同一のグノレープ化情報を備えた顔画像枠 221— 1乃至 221— 3を囲み込むように グループ枠 211を生成し、グループ構成として「親友同士」を付する。

[0118] ステップ S 174において、相関生成部 153は、メタ情報に基づいて、相関 222— 1 , 222— 2を生成する。すなわち、例えば、時刻「00 : 02 : 00」においては、登場人物「a aa」、「bbb」、および「ccc」の相関情報は、「aaa」については、相関情報（from ID=2 :好 意）、および相関情報（from ID=3 :好意）、「bbb」、「ccc」のそれぞれについては、相 関情報 (to ID=1 :好意）とされており、この表示において相関情報は、（自らを起点と した矢印の終点の形状 ID =終点位置となる顔画像の ID :関係）で構成されており、 例えば、 自らを起点とした矢印の終点の形状は「from」または「to」のいずれかであつ て、「from」の場合、 自らを起点とした矢印の終点の形状が矢印記号なしを示し、「to」 の場合、自らを起点とした矢印の終点の形状が矢印記号ありを示す。

[0119] すなわち、例えば、「aaa」についての相関情報（from ID=2 :好意）の場合、顔画像 枠 221— 1を起点とし、 ID = 2である「bbb」の顔画像枠 221— 2を終点とする矢印記 号のない相関 222— 1が構成される。反対に、例えば、「bbb」については、相関情報 (from ID=1：好意）の場合、顔画像枠 221— 2を起点とし、 ID = 1の顔画像枠 221— 1 を終点とする矢印記号のある相関 222— 1が構成される。結果として、これらの二つ の相関情報に基づいて、相関 222— 1は、顔画像枠 221— 2から顔画像枠 221— 1 方向の矢印状に構成される。さらに、「好意」を示すため相関 222— 1には、下部にハ ートマークが表示されてレ、る。

[0120] また、例えば、「aaa」についての相関情報（from ID=3 :好意）の場合、顔画像枠 221 —1を起点とし、 ID = 3である「ccc」の顔画像枠 221—3を終点とする矢印記号のない 相関 222— 2が構成される。反対に、例えば、「ccc」については、相関情報 (from ID= 1 :好意）の場合、顔画像枠 221— 3を起点とし、 ID = 1の顔画像枠 221— 1を終点と する矢印記号のある相関 222— 2を構成する。結果として、これらの二つの相関情報 に基づいて、相関 222— 2は、顔画像枠 221— 3から顔画像枠 221— 1方向の矢印 状に構成される。さらに、「好意」を示すため相関 222— 2には、下部にハートマーク が表示されている。

[0121] ステップ S 175において、タイムスケールバー生成部 154は、供給されてきたメタ情 報に基づいて、タイムスケールバー 203を生成する。すなわち、図 9においては、画 像表示部 201の下部にタイムスケールバー 203が表示されており、さらに、タイムスケ 一ルバ一 203上には、水平方向の長さを全体として「01 : 53 : 20」としたときの、時刻 「00： 02： 00」における割合を示す位置にカレントマーク 204が表示されて!/、る。タイ ムスケールバー生成部 154は、タイムスケールバー 203を生成すると供に、水平方向 の長さを全体として「01： 53： 20」としたときの、時刻「00： 02： 00」における割合を示 す位置を計算により求め、その位置にカレントマーク 204を付し、さらに、イベントとし て時刻「00： 50： 10」における「告白」を示すタイムスケールバー 203上の割合を示す 位置を計算により求め、その位置にイベントマーク 205, 206を付して、タイムスケー ノレバー 203上の画像を生成する。

[0122] このような付加画像情報からなるウィンドウ 202として表示されることにより、図 9で示 されるように、時刻「00 : 02 : 00」においては、登場人物の「aaa」、「bbb」、および「ccc 」は、いずれも相互に親友同士であるが、登場人物「aaa」に、登場人物「bbb」、および 「ccc」がそれぞれ好意を抱いている相関図として示される。

[0123] この結果、例えば、ドラマ、または映画のビデオストリームが進行し、時刻「00： 50： 09」までは、同様の相関関係が維持されたままであつたが、時刻「00： 50： 10」にお いて、人物「bbb」が人物「&&&」に対して告白することにより、人物「aaa」<^「bbb」のダル ープ化情報が変化して、 Gr (恋人同士）で示されるように恋人同士となり、人物「ccc」 のグループ化情報が Gr ()で示されるように!/、ずれのグループにも属して!/、な!/、状態 となり、相関情報が、「aaa」については、相関情報 (to ID=2 :好意）、および相関情報 ( to ID=3 :失恋）、「bbb」、については、相関情報（to ID=1 :好意）、「ccc」については、 相関情報 (to ID=1 :失恋）となる場合、図 10で示されるように、恋人同士という同一の グループに属する登場人物「aaa」、および「bbb」の顔画像枠 221— 1 , 221— 2力グ ループ枠 251により囲み込まれて、グループを示す「恋人同士」が付される。

[0124] さらに、相関として「aaa」についての相関情報 (to ID=2 :好意）の場合、顔画像枠 22 1 1を起点とし、 ID = 2である「bbb」の顔画像枠 221— 2を終点とする矢印記号のあ る相関 262— 1が構成される。反対に、例えば、「bbb」については、相関情報は相関 情報 (to ID=1 :好意）となるので、顔画像枠 221— 2を起点とし、 ID = 1の顔画像枠 22 1—1を終点とする矢印記号のある相関 222— 1が構成される。結果として、これらの 二つの相関情報に基づ!/、て、相関 261— 1は、顔画像枠 221— 2, 221— 1の双方 向の矢印状に構成される。さらに、「好意」を示すため相関 261— 1には、下部にハー トマークが表示されている。

[0125] また、例えば、「aaa」についての相関情報 (to ID=3 :失恋）の場合、顔画像枠 221— 1を起点とし、 ID = 3である「ccc」の顔画像枠 221—3を終点とする矢印記号のある相 関 261—2が構成される。反対に、「ccc」については、相関情報 (to ID=1 :失恋）の場 合、顔画像枠 221—3を起点とし、 ID = 1の顔画像枠 221— 1を終点とする矢印記号 のある相関 261—2を構成する。結果として、これらの二つの相関情報に基づいて、 相関 261— 2は、顔画像枠 221— 3, 221— 1の双方向の矢印状に構成される。さら に、「失恋」を示すため相関 261— 2には、下部にハートマークが破れたマークが表 示されている。

[0126] さらに、タイムスケールバー 203において、時刻「00 : 50 : 10」において、人物「bbb」 が人物「aaa」に対して「告白」のイベントが発生したので、新たにイベントマーク 205 ' として「？？？？」から「告白」と表示が切り替えられ、さらに、カレントマーク 204 'に っレ、ても、今現在の時刻「01 : 05 : 10」が表示される。

[0127] 結果として、時刻「00 : 50 : 10」において、人物「bbb」が人物「aaa」 対して告白す ることにより、図 10で示されるように、時刻「00： 50： 10」以降にお!/、ては、登場人物 の「aaa」， 「bbb」が恋人同士の関係になり、登場人物「ccc」， 「aaa」は失恋関係に変化 し、親友関係が崩れたことが相関図として示される。

[0128] ステップ S 176において、付加画像情報生成部 141は、操作部 11が操作されて、 特定の登場人物の顔画像枠 221が指定されたか否かを判定する。例えば、図 11で 示されるように、顔画像枠 221— 1が選択された場合、ステップ S 177において、キヤ スト枠を表示するための「キャスト紹介」とタイトルが付されたウィンドウ 271を生成する と供に、選択された顔画像枠 221— 1を太枠にするなどして、選択された顔画像枠 2 21を認識しやすいように変更させる。 [0129] ステップ S 178において、キャスト枠生成部 155は、メタ情報に基づいて、ウィンドウ 271上に登場人物毎の人物紹介を表示する。すなわち、キャスト枠生成部 155は、 顔画像の格納位置である（c:¥face¾aa.jpg)、 (c:¥face¥bbb.jpg)、および（c:¥face¥ccc •jpg)より顔画像を読み出すと供に、紹介情報の格納位置である（c:¥c_ast¥_aaa.txt)、 ( c:¥cast¥bbb.txt)、および（c:¥cast¥cc txt)のそれぞれにアクセスして読み出し、それ ぞれのキャスト枠 281乃至 283を生成する。図 11においては、キャスト枠 281は、選 択された登場人物「aaa」のものであるので、他のキャスト枠よりも大きぐ顔画像と供に 、人物紹介として「クラスの人気者。モテモテの女の子」と表記されており、キャスト枠 2 82は、選択されていない登場人物「bbb」の顔画像と供に、人物紹介として「ちょっと 気難しい男」と表記されており、キャスト枠 283は、選択されていない登場人物「ccc」 の顔画像と供に、人物紹介として「ちょっと変わり者」と表記されている。

[0130] 尚、ステップ S 176において、特定の登場人物の顔画像枠 221が選択されていない と判定された場合、ステップ S 177, S 178の処理はスキップされるので、ウィンドウ 27 1が表示されない。

[0131] 以上の処理により、ストリームファイル 4に格納されているドラマや映画の進行に伴 つて変化する登場人物の相関図や紹介文書が図示して表示される。

[0132] 結果として、登場人物が多い、または、人間関係が複雑なドラマや映画などを相関 図を把握しながら視聴することが可能となる。

[0133] 以上においては、メタ情報ファイル 3が 1種類の場合について説明してきた力 複数 のメタ情報ファイル 3を用いるようにしても良!/、。

[0134] 図 12は、フォーマットの異なるメタ情報ファイル 3— 1 , 3— 2を用いて、ストリームファ ィル 4より再生される音声を含む画像に付加画像情報を付して提供するようにした再 生装置 1の構成例を示したものである。別フォーマットとして記録されているため、そ れぞれ独立したファイルとして設定されている。尚、図 12の再生装置 1において、図 1 の再生装置 1と同一の構成については、同一の符号を付しており、その説明は省略 する。

[0135] 図 12の再生装置 1において、図 1の再生装置 1と異なる点は、メタ情報ファイル読 込部 14に代えて、メタ情報ファイル読込部 14— 1 , 14— 2を設けた点である。メタ情 報ファイル読込部 14— 1 , 14— 2は、それぞれ同一の再生情報取得部 51— 1 , 51 - 2を備えているが、読込部 52— 1は、フォーマット Aで記録されているメタ情報フアイ ル 3—1よりメタ情報を読み出し、読込部 52— 2は、フォーマット Bで記録されているメ タ情報ファイル 3— 2よりメタ情報を読み出す。このように本実施例においては、フォー マットが異なるメタ情報ファイルを扱うことが出来るため、フォーマット Aは人間が認識 しゃすいテキスト形式のフォーマットのファイルとして編集しやすくし、フォーマット Bは 圧縮されたメタ情報ファイルとすることにより、より編集を容易にすると共に、記録媒体 の容量も効率的に使用してメタ情報ファイルを用いることが可能となる。

[0136] しかしながら、読込部 52— 1 , 52— 2により読み出されたメタ情報は、いずれも同一 のフォーマットの情報となるため、付加画像情報提供部 12には、読込部 52— 1 , 52 2により読み出されたメタ情報が組み合わされたものが供給される。

[0137] また、付加画像情報提供処理については、図 2のフローチャートを参照して説明し た、メタ情報ファイル読込部 14の処理である、ステップ S81乃至 S84がメタ情報フアイ ル読込部 14— 1 , 14 2のそれぞれで独立してなされるのみであるので、その説明 は省略する。

[0138] 以上においては、人物相関や登場人物紹介を付加画像情報として表示させる例に ついて説明してきたが、例えば、登場人物を演じる役者に対するインタビュなどを関 連するシーンを再生している時に表示させることも可能である。

[0139] 以上によれば、多様な音声を含む画像からなるビデオストリームのコンテンツに対し て、画像や音声などの再生内容に同期した付加画像情報を提供することが可能とな

[0140] また、ストリームファイルとメタ情報ファイルとがそれぞれ別ファイルであることから、 それぞれ別に編集することが可能となるので、本編の画像や音声のストリームを作り 直すことなく、新しレ、メタ情報を付加するだけで再生を行うことができる。

[0141] さらに、画像や音声からなるビデオストリームを作成する作業とメタ情報を作成する 作業を分離することができ、同時並行して作業を行うことができるので、全体の編集 時間を短縮することが可能となる。

[0142] また、ネットワークを用いたダウンロードに代表される情報の取得手段を使用するこ とで、メタ情報の追加、もしくは、置き換えるようにしてもよいので、発売されたパッケ ージメディアであっても、パッケージメディアを買い換えることなく新しい楽しみ方を視 聴者に提供することが可能となる。従って、視聴者は、パッケージメディアを購入した 後でも、購入時に楽しむことのできなかった機能を、付加画像情報として追加するこ とで楽しむことが可能となる。

[0143] さらに、以上の再生装置 1においては、メタ情報ファイルのフォーマットと、メタ情報 ファイルを読込む機構のみを取り替えることができるので、例えば、メタ情報フアイノレ の情報量が非常に多いコンテンツでは、メタ情報ファイルのサイズをなるベく小さくす るための高効率の圧縮型フォーマットを使用したり、人間が編集する機会の多いもの につ!/、ては、人間が認識しやす!/、フォーマットにすると!/、つたようにフォーマットを切り 替えて使用することが可能となる。

[0144] 次に、図 13を参照して、メタ情報ファイルを生成するメタ情報ファイル生成装置の実 施の形態について説明する。

[0145] 図 13のメタ情報ファイル生成装置 101は、図 4または図 8で示したメタ情報フアイノレ

3を生成する。

[0146] 操作部 111は、キーボードや操作ボタンから構成され、ストリームの再生時刻と、対 応する再生時刻におけるメタ情報を入力するとき操作され、操作内容に応じた再生 時刻の情報を時刻情報取得部 112に、対応する再生時刻におけるメタ情報をメタ情 報取得部 113にそれぞれ供給する。また、操作部 111は、メタ情報ファイル 3のフォ 一マットを指定するとき、または、メタ情報ファイル 3のフォーマットを決定するに際し て、優先されるモードを指定するとき、操作され、操作内容に応じた情報をフォーマツ ト変換部 115に供給する。

[0147] 時刻情報取得部 112は、操作部 111が操作されることにより入力された再生時刻を 特定する情報を取得し、格納部 114に格納させる。

[0148] メタ情報取得部 113は、操作部 111が操作されることにより入力されたメタ情報を取 得し、格納部 114に格納させる。

[0149] 格納部 114は、時刻情報取得部 112より供給されてくる再生時刻を特定する情報と 、メタ情報取得部 113より供給されてくるメタ情報とを対応付けて、メタ情報ファイル 3 として格納する。

[0150] フォーマット変換部 115は、格納部 114に格納されているメタ情報ファイル 3を操作 部 111より指定される形式、または、モードに応じてフォーマット変換し、記録部 116 に供給する。尚、ここでいう、モードとは、複数に存在するフォーマットの形式のうち、 いずれかのフォーマットを選択する優先度を示すものであり、例えば、人間に認識し やすいモードが指定された場合、フォーマット変換部 115は、複数に存在するフォー マットの形式のうち、最も人間が認識し易い形式のフォーマット形式でメタ情報フアイ ル 3を変換し、容量を最小にするモードが指定された場合、容量を最小にする高効 率の圧縮形式のフォーマットに変換し、情報処理装置での処理に適するモードが指 定された場合、情報処理装置での処理に最適な形式のフォーマットに変換する。

[0151] 記録部 116は、フォーマット変換部 115より供給されてきた、所定の形式でフォーマ ットされたメタ情報ファイル 3を記録媒体 121に記録する。この際、記録部 116は、記 録媒体 121の記録形式に対応したフォーマット変換を実行した後、記録媒体 121に メタ情報ファイル 3を記録する。

[0152] 次に、図 14のフローチャートを参照して、図 13のメタ情報ファイル生成装置 101に よるメタ情報生成処理につ!/、て説明する。

[0153] ステップ S191において、時刻情報取得部 112は、操作部 111が操作されてメタ情 報ファイル 3に登録するメタ情報に対応するビデオストリームの再生時刻の情報が入 力されたか否力、を判定し、入力されたと判定されるまで、同様の処理を繰り返す。

[0154] ステップ S191において、再生時刻の情報として、例えば、「00 : 01 : 00」、または、「 00 : 50 : 10」のように、ビデオストリームの再生時刻の情報が入力されたと判定された 場合、ステップ S192において、操作部 111により入力された再生時刻の情報を取得 し、格納部 114に供給する。

[0155] ステップ S193において、メタ情報取得部 113は、操作部 111が操作されてメタ情報 が入力されたか否かを判定し、入力されたと判定されるまで、同様の処理を繰り返す

[0156] ステップ S193において、メタ情報として、例えば、サッカーの試合のビデオストリー ムで競技者ごとの位置情報を表示する場合、図 4で示されているような、競技者毎の 試合の画面上の座標（Xal , Yal)などの位置情報、または、ドラマや映画などの付 加画像情報として、登場人物の相関図などを表示する場合、図 8で示されているよう な、座標 (Xal , Yal)、グループ化情報 Gr (親友同士）、相関情報 (from ID=2 :好意） , (from ID=3：好意）、および登場人物「aaa」の顔画像の情報「c:¥face¾aa.jpg」が入 力されたと判定されたとき、ステップ S194において、操作部 111により入力されたメタ 情報を取得し、格納部 114に供給する。尚、ドラマや映画などの付加画像情報として 登場人物の相関図などの表示を切替えるイベントが入力される場合、メタ情報として 、例えば、図 8で示されるように「告白」といったイベントの情報が入力されるようにして あよい。

[0157] ステップ S195において、格納部 114は、時刻情報取得部 112より供給されてくる再 生時刻の情報と、メタ情報取得部 113より供給されてくるメタ情報とを対応付けて、例 えば、図 4、または図 8で示されるように、メタ情報ファイル 4として格納する。

[0158] ステップ S196において、時刻情報取得部 112は、操作部 111の操作内容に応じ て、新たにメタ情報ファイル 3に登録する別の再生時刻のメタ情報が存在するか否か を判定し、新たに別の再生時刻のメタ情報が存在すると判定された場合、処理は、ス テツプ S 191に戻る。すなわち、新たに登録すべきメタ情報が存在しない状態になる まで、ステップ S 191乃至 S 196の処理が繰り返される。

[0159] そして、ステップ S 196において、新たに登録すべきメタ情報が存在しない場合、ス テツプ S 197において、フォーマット変換部 115は、操作部 111が操作されて、メタ情 報ファイルを変換するフォーマットの形式が選択された力、、または、フォーマットの形 式を選択するためのモードが入力されたか否かを判定し、メタ情報ファイルを変換す るフォーマットの形式が選択される力、、または、形式を選択するためのモードが入力さ れるまで、同様の処理を繰り返す。

[0160] ステップ S197において、例えば、フォーマットの形式が選択された、または、フォー マットの形式を選択するためのモードが決定された場合、ステップ S 198において、フ ォーマット変換部 115は、選択された形式のフォーマット、または、モードにより選択 すべき形式のフォーマットに、格納部 114に格納されているメタ情報ファイル 3をフォ 一マット変換し、記録部 116に供給する。 [0161] ステップ S 199において、記録部 116は、フォーマット変換部 115より供給されてき た、フォーマット変換されたメタ情報ファイル 3をストリームファイルとは別個の独立した ファイルとして所定の形式の記録媒体 121に記録する。

[0162] 以上の処理により、指定された形式のファイルフォーマットに変換されたメタ情報フ アイル 3が生成される。このようにメタ情報ファイル 3は、ストリームファイル 4とは独立し たファイルとして生成されるので、メタ情報のみを編集する際には、上述のように生成 されたメタ情報ファイル 3のみを編集するのみで、ストリームファイル 4とは独立して編 集すること力 S可能となる。また、メタ情報ファイル 3とストリームファイル 4とをそれぞれ 独立して設けること力 S可能となることにより、例えば、複数言語に対応するメタ情報フ アイル 3が必要な場合でも、ストリームファイル 4を重複して記録媒体に記録する必要 がないので、記録容量を必要最小限にすることが可能となる。さらに、メタ情報のみを 編集したいような場合、メタ情報ファイル 3のみを編集することが可能となるので、メタ 情報

の編集を容易にすることが可能となる。また、メタ情報ファイルをストリームファイルと 独立に設定したため、ファイル置き換え（Name mapping)によりメタデータファイルの みを置換し、最新の情報を表示させることも可能になる。これにより、例えば、記録媒 体に記録された映画の中の俳優がある賞を受賞した場合にその受賞履歴の表示等 をさせるために、新たなメタデータを再生装置によりネットワーク等を通じて取得させ、 当該俳優が出演してレ、る箇所にお!/、て表示させると!/、う処理も可能になる。

[0163] ところで、上述した一連の画像処理は、ノ、一ドウエアにより実行させることもできる力 S 、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させ る場合には、そのソフトウェアを構成するプログラム力 専用のハードウェアに組み込 まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の 機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒 体からインストールされる。

[0164] 図 15は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコ ンピュータは、 CPU(Central Processing Unit)1001を内蔵している。 CPU1001には バス 1004を介して、入出力インタフェース 1005が接続されている。バス 1004には、 れている。

入出力インタフェース 1005には、ユーザが操作コマンドを入力するキーボード、マ ウスなどの入力デバイスよりなる入力部 1006、処理操作画面や処理結果の画像を表 示デバイスに出力する出力部 1007、プログラムや各種データを格納するハードディ スクドライブなどよりなる記憶部 1008、

り、インターネットに代表されるネットワークを介した通信処理を実行する通信部 1009 が接続されている。また、

(CD

-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)を含む）、光 磁気ディスク（MD(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディ ァ 1011に対してデータを読み書きするドライブ 1010が接続されている。

[0166] CPU1001は、 ROM1002に記憶されているプログラム、または磁気ディスク、光ディ スク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア 1011から読み 出されて記憶部 1008にインストールされ、記憶部 1008力、ら RAM1003にロードされ たプログラムに従って各種の処理を実行する。 RAM1003にはまた、 CPU1001が各 種の処理を実行する上において必要なデータなども適宜記憶される。

[0167] 尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、 記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的 に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

Claims

請求の範囲

[1] 入力されたビデオストリームを再生するストリーム再生手段と、

前記ストリーム再生手段により再生されるビデオストリームとは別ファイルである前記 ビデオストリームのメタ情報を読み込むメタ情報読込手段と、

前記ストリーム再生手段により再生されるビデオストリームの再生情報に基づいて、 前記ストリーム再生手段により再生されているビデオストリームに同期して、前記メタ 情報読込手段を制御して、前記メタ情報を読み込ませるストリーム同期読込手段と、 前記ストリーム同期読込手段により制御されて、前記メタ情報読込手段により読み 込まれたメタ情報に基づ!/、て、前記ビデオストリームに付加画像情報を提供する付加 画像情報提供手段と、

前記付加画像情報提供手段により提供された付加画像情報を、前記再生手段によ り再生されたビデオストリームに合成する合成手段と

を含む再生装置。

[2] 前記合成手段により前記付加画像情報が合成されたビデオストリームを出力する出 力手段をさらに含み、

前記メタ情報は、前記出力手段により出力される、前記付加画像情報が合成された ビデオストリームが表示される際の、表示画面上の位置情報である

請求項 1に記載の再生装置。

[3] 前記メタ情報は、

第 1の時刻情報を含む第 1のメタ情報と、第 2の時刻情報を含む第 2のメタ情報を有 し、

前記ストリーム同期読込手段は、

前記ビデオストリームの再生時刻と、前記第 1の時刻情報、または、前記第 2の時刻 情報を比較することにより、前記第 1のメタ情報、または、前記第 2のメタ情報を選択 する

請求項 1に記載の再生装置。

[4] 前記メタ情報読込手段は、フォーマットに応じ、 1以上である

請求項 1に記載の再生装置。

[5] ネットワークを通じ、前記メタ情報を取得する取得手段をさらに備え、 前記ストリーム同期読込手段は、前記取得部により取得されたメタ情報を読込む 請求項 1に記載の再生装置。

[6] 前記メタ情報は、前記ビデオストリームがドラマまたは映画の場合、登場人物毎の 再生情報に対応した相関情報であり、

前記付加画像情報提供手段は、前記再生手段により再生されるビデオストリームの 再生情報に同期して、前記登場人物毎の再生情報に対応した相関情報に基づいた 、前記登場人物の相関図を付加画像情報として提供する

請求項 1に記載の再生装置。

[7] 前記メタ情報は、前記ビデオストリームがドラマまたは映画の場合、登場人物毎の 再生情報に対応した相関情報と供に、前記登場人物の紹介情報であり、

前記付加画像情報提供手段は、前記再生手段により再生されるストリームの再生 情報に同期して、前記登場人物毎の紹介情報に基づいた、前記登場人物の紹介情 報を付加画像情報として提供する

請求項 1に記載の再生装置。

[8] 入力されたビデオストリームを再生するストリーム再生ステップと、

前記ストリーム再生ステップの処理により再生されるビデオストリームとは別ファイル である前記ビデオストリームのメタ情報を読み込むメタ情報読込ステップと、

前記ストリーム再生ステップの処理により再生されるビデオストリームの再生情報に 基づいて、前記ストリーム再生ステップの処理により再生されているビデオストリーム に同期して、前記メタ情報読込手段を制御して、前記メタ情報を読み込ませるストリー ム同期読込ステップと、

前記ストリーム同期読込ステップの処理により制御されて、前記メタ情報読込ステツ プの処理により読み込まれたメタ情報に基づいて、前記ビデオストリームに付加画像 情報を提供する付加画像情報提供ステップと、

前記付加画像情報提供ステップの処理により提供された付加画像情報を、前記再 生ステップの処理により再生されたビデオストリームに合成する合成ステップと を含む再生方法。

[9] 入力されたビデオストリームを再生するストリーム再生ステップと、

前記ストリーム再生ステップの処理により再生されるビデオストリームとは別ファイル である前記ビデオストリームのメタ情報を読み込むメタ情報読込ステップと、

前記ストリーム再生ステップの処理により再生されるビデオストリームの再生情報に 基づいて、前記ストリーム再生ステップの処理により再生されているビデオストリーム に同期して、前記メタ情報読込手段を制御して、前記メタ情報を読み込ませるストリー ム同期読込ステップと、

前記ストリーム同期読込ステップの処理により制御されて、前記メタ情報読込ステツ プの処理により読み込まれたメタ情報に基づいて、前記ビデオストリームに付加画像 情報を提供する付加画像情報提供ステップと、

前記付加画像情報提供ステップの処理により提供された付加画像情報を、前記再 生ステップの処理により再生されたビデオストリームに合成する合成ステップと を含む処理をコンピュータに実行させるプログラム。

[10] 請求項 9に記載のプログラムが格納されて!/、るプログラム格納媒体。

[11] 再生装置により再生されるべき時刻情報を有するビデオストリームが格納されたデ ータ格納媒体であって、

前記ビデオストリームとは別ファイルとして、

前記時刻情報の時刻軸に含まれる、第 1の時刻位置に対応する時刻情報を含む、 第 1の時刻位置に表示されるビデオストリームに対応する第 1のメタ情報と、

前記時刻情報の時刻軸に含まれる、第 2の時刻位置に対応する時刻情報を含む、 第 2の時刻位置に表示されるビデオストリームに対応する第 2のメタ情報と

が格納されてレ、るデータ格納媒体。

[12] 記録媒体に記録される、又は、ネットワークを通じて配信される、再生装置により再 生されるべき時刻情報を有するビデオストリームと共に再生されるメタ情報ファイルの データ構造であって、

前記時刻情報の時刻軸に含まれる、第 1の時刻位置に対応する時刻情報を含む、 第 1の時刻位置に表示されるビデオストリームに対応する第 1のメタ情報と、

前記時刻情報の時刻軸に含まれる、第 2の時刻位置に対応する時刻情報を含む、 第 2の時刻位置に表示されるビデオストリームに対応する第 2のメタ情報と

を含むデータ構造。

[13] 前記第 1のメタ情報と第 2のメタデータとは、それぞれ独立した別ファイルとされてい る

請求項 12に記載のデータ構造。

[14] 再生装置により再生されるべき時刻情報を有するビデオストリームの、前記時刻情 報の時刻軸に含まれる、時刻位置に対応する時刻情報を取得する時刻情報取得手 段と、

表示されるビデオストリームに対応するメタ情報を取得するメタ情報取得手段と、 少なくとも 1以上の前記時刻情報と前記メタ情報とを対応付けてメタ情報ファイルと して格納する格納手段と

を含む情報生成装置。

[15] 前記メタ情報ファイルのフォーマット形式を変換する変換手段をさらに含む

請求項 14の情報生成装置。

[16] 再生装置により再生されるべき時刻情報を有するビデオストリームの、前記時刻情 報の時刻軸に含まれる、時刻位置に対応する時刻情報を取得する時刻情報取得ス 表示されるビデオストリームに対応するメタ情報を取得するメタ情報取得ステップと、 少なくとも 1以上の前記時刻情報と前記メタ情報とを対応付けてメタ情報ファイルと して格納する格納ステップと

を含む情報生成方法。

[17] 再生装置により再生されるべき時刻情報を有するビデオストリームの、前記時刻情 報の時刻軸に含まれる、時刻位置に対応する時刻情報を取得する時刻情報取得ス 表示されるビデオストリームに対応するメタ情報を取得するメタ情報取得ステップと、 少なくとも 1以上の前記時刻情報と前記メタ情報とを対応付けてメタ情報ファイルと して格納する格納ステップと

を含む処理をコンピュータに実行させるプログラム。 [18] 請求項 17に記載のプログラムが格納されているプログラム格納媒体。