JPWO2008041629A1 - 再生装置および方法、情報生成装置および方法、データ格納媒体、データ構造、プログラム格納媒体、並びにプログラム - Google Patents

Abstract

本発明は、メタ情報を容易に編集または付加できる再生装置および方法、プログラム格納媒体、並びにプログラムに関する。ストリーム再生部１６は、ストリームファイルに基づいて、ストリームを再生すると供に、再生している前記ストリームの再生情報を出力し、メタ情報ファイル読込部１４は、再生されるストリームのメタ情報ファイルを読み込み、ストリーム同期読込部１５は、再生されるビデオストリームの再生情報に基づいて、再生されているビデオストリームに同期して、前記メタ情報ファイルを読み込ませ、付加画像情報提供部１２は、読み込まれたメタ情報ファイルに基づいて、前記ビデオストリームに付加画像情報を提供し、合成部１３は、提供された付加画像情報を、前記再生手段により再生されたビデオストリームに合成する。本発明は、再生装置に適用することができる。

Description

本発明は、再生装置および方法、情報生成装置および方法、データ格納媒体、データ構造、並びにプログラムに関し、特に、メタ情報を容易に編集または付加できるようにした再生装置および方法、情報生成装置および方法、データ格納媒体、データ構造、並びにプログラムに関する。

従来、DVD（Digital Versatile Disc）に代表されるパッケージメディアにおいては、ビデオテープですでに実現されていた画像や音声の再生に加えて、メニュ画面による設定やコンテンツの選択、チャプタ選択などによるジャンプ再生、マルチアングルなどの複数のストリームからの選択再生が可能となっていた。特に特典画像やメイキングビデオ、解説ビデオ、デザインスケッチなどの付加画像情報を付した画像をメニュ画面から選択可能なコンテンツが増えてきている。

従来、これらのパッケージメディアは、画像や音声の内容に同期して付加画像情報を付して表示されるため、画像や音声の内容に同期して付加画像情報が加えられたストリームと、付加画像情報が加えられていないストリームとを個別に作成した上で、これらをいずれも記録し、切り替えて再生するものである（特許文献１参照）。

特開２００５−３３５５２１号公報

しかしながら、従来のパッケージメディアにおいては画像や音声の内容に同期して付加画像情報を付して表示するには、個別に画像や音声などのストリームとして作りこむ必要があるため、付加画像情報を視聴者がＯＮ／ＯＦＦ選択できるようにするためには、同じ内容のストリームで、付加画像情報有りのものと無しのものを2つ用意する必要があり、編集作業に時間がかかっていた。

また、同様の理由からメディアの限られた容量を必要以上に占有してしまうことがあった。

さらに、新しい付加サービスを提供するには、画像や音声などの本編ストリームを併せて作り直さなければならなかった。

結果として、上記の問題点から従来のパッケージメディアにおいては本編の画像や音声に同期した付加画像情報はほとんど提供されてこなかった。

本発明はこのような状況に鑑みてなされたものであり、特に、付加画像情報となる画像や音声を容易に編集または記録できるようにするものである。

本発明の第１の側面の再生装置は、入力されたビデオストリームを再生するストリーム再生手段と、前記ストリーム再生手段により再生されるビデオストリームとは別ファイルである前記ビデオストリームのメタ情報を読み込むメタ情報読込手段と、前記ストリーム再生手段により出力されるビデオストリームの再生情報に基づいて、前記ストリーム再生手段により再生されているビデオストリームに同期して、前記メタ情報読込手段を制御して、前記メタ情報を読み込ませるストリーム同期読込手段と、前記ストリーム同期読込手段により制御されて、前記メタ情報読込手段により読み込まれたメタ情報に基づいて、前記ストリームに付加画像情報を提供する付加画像情報提供手段と、前記付加画像情報提供手段により提供された付加画像情報を、前記再生手段により再生されたビデオストリームに合成する合成手段とを含む。

前記合成手段により前記付加画像情報が合成されたビデオストリームを出力する出力手段をさらに含ませるようにすることができ、前記メタ情報は、前記出力手段により出力される、前記付加画像情報が合成されたビデオストリームが表示される際の、表示画面上の位置情報とすることができる。

前記メタ情報は、第１の時刻情報を含む第１のメタ情報と、第２の時刻情報を含む第２のメタ情報を有し、前記ストリーム同期読込手段には、前記ビデオストリームの再生時刻と、前記第１の時刻情報、または、前記第２の時刻情報を比較することにより、前記第１のメタ情報、または、前記第２のメタ情報を選択させるようにすることができる。

前記メタ情報読込手段は、フォーマットに応じ、１以上とすることができる。

ネットワークを通じ、前記メタ情報を取得する取得手段をさらに設けるようにさせることができ、前記ストリーム同期読込手段には、前記取得手段により取得されたメタ情報を読込ませるようにすることができる。

前記メタ情報は、前記ビデオストリームがスポーツ番組の場合、競技している競技者毎の再生情報に対応した再生画面上の位置情報とすることができ、前記付加画像情報提供手段には、前記再生手段により再生されるビデオストリームの再生タイミングに同期して、所定の競技者の位置情報に基づいて、前記所定の競技者のズーム画面を付加画像情報として提供させるようにすることができる。

前記ビデオストリームのコンテンツには、時系列に従ったオブジェクトを複数に含ませるようにすることができ、前記メタ情報は、前記時系列に従って変化する前記ビデオストリームのコンテンツ中の複数のオブジェクト間の相関情報とすることができる。

前記メタ情報は、前記ビデオストリームがドラマまたは映画の場合、登場人物毎の再生情報に対応した相関情報とすることができ、前記付加画像情報提供手段には、前記再生手段により再生されるビデオストリームの再生情報に同期して、前記登場人物毎の再生情報に対応した相関情報に基づいた、前記登場人物の相関図を付加画像情報として提供させるようにすることができる。

前記メタ情報は、前記ビデオストリームがドラマまたは映画の場合、登場人物毎の再生情報に対応した相関情報と供に、前記登場人物の紹介情報とすることができ、前記付加画像情報提供手段には、前記再生手段により再生されるビデオストリームの再生情報に同期して、前記登場人物毎の紹介情報に基づいた、前記登場人物の紹介情報を付加画像情報として提供させるようにすることができる。

本発明の第１の側面の再生方法は、入力されたビデオストリームを再生するストリーム再生ステップと、前記ストリーム再生ステップの処理により再生されるビデオストリームとは別ファイルであるビデオストリームのメタ情報を読み込むメタ情報読込ステップと、前記ストリーム再生ステップの処理により再生されるビデオストリームの再生情報に基づいて、前記ストリーム再生ステップの処理により再生されているビデオストリームに同期して、前記メタ情報読込手段を制御して、前記メタ情報を読み込ませるストリーム同期読込ステップと、前記ストリーム同期読込ステップの処理により制御されて、前記メタ情報読込ステップの処理により読み込まれたメタ情報に基づいて、前記ビデオストリームに付加画像情報を提供する付加画像情報提供ステップと、前記付加画像情報提供ステップの処理により提供された付加画像情報を、前記再生ステップの処理により再生されたビデオストリームに合成する合成ステップとを含む。

本発明の第１の側面のプログラムは、入力されたビデオストリームを再生するストリーム再生ステップと、前記ストリーム再生ステップの処理により再生されるビデオストリームとは別ファイルであるビデオストリームのメタ情報を読み込むメタ情報読込ステップと、前記ストリーム再生ステップの処理により再生されるビデオストリームの再生情報に基づいて、前記ストリーム再生ステップの処理により再生されているビデオストリームに同期して、前記メタ情報読込手段を制御して、前記メタ情報を読み込ませるストリーム同期読込ステップと、前記ストリーム同期読込ステップの処理により制御されて、前記メタ情報読込ステップの処理により読み込まれたメタ情報に基づいて、前記ビデオストリームに付加画像情報を提供する付加画像情報提供ステップと、前記付加画像情報提供ステップの処理により提供された付加画像情報を、前記再生ステップの処理により再生されたビデオストリームに合成する合成ステップとを含む処理をコンピュータに実行させる。

本発明の第１の側面のプログラム格納媒体には、請求項９に記載のプログラムが格納されている。

本発明の第２の側面のデータ格納媒体は、再生装置により再生されるべき時刻情報を有するビデオストリームが記録された記録媒体であって、前記ビデオストリームとは別ファイルとして、前記時刻情報の時刻軸に含まれる、第１の時刻位置に対応する時刻情報を含む、第１の時刻位置に表示されるビデオストリームに対応する第１のメタ情報と、前記時刻情報の時刻軸に含まれる、第２の時刻位置に対応する時刻情報を含む、第２の時刻位置に表示されるビデオストリームに対応する第２のメタ情報とが格納されている。

本発明の第３の側面のデータ構造は、記録媒体に記録される、又は、ネットワークを通じて配信される、再生装置により再生されるべき時刻情報を有するビデオストリームと共に再生されるメタ情報ファイルのデータ構造であって、前記時刻情報の時刻軸に含まれる、第１の時刻位置に対応する時刻情報を含む、第１の時刻位置に表示されるビデオストリームに対応する第１のメタ情報と、前記時刻情報の時刻軸に含まれる、第２の時刻位置に対応する時刻情報を含む、第２の時刻位置に表示されるビデオストリームに対応する第２のメタ情報とを含む。

前記第１のメタ情報と第２のメタデータとは、それぞれ独立した別ファイルとされるようにすることができる。

本発明の第４の側面の情報生成装置は、再生装置により再生されるべき時刻情報を有するビデオストリームの、前記時刻情報の時刻軸に含まれる、時刻位置に対応する時刻情報を取得する時刻情報取得手段と、表示されるビデオストリームに対応するメタ情報を取得するメタ情報取得手段と、少なくとも１以上の前記時刻情報と前記メタ情報とを対応付けてメタ情報ファイルとして格納する格納手段とを含む。

前記メタ情報ファイルのフォーマット形式を変換する変換手段をさらに含ませるようにすることができる。

本発明の第４の側面の情報生成方法は、再生装置により再生されるべき時刻情報を有するビデオストリームの、前記時刻情報の時刻軸に含まれる、時刻位置に対応する時刻情報を取得する時刻情報取得ステップと、表示されるビデオストリームに対応するメタ情報を取得するメタ情報取得ステップと、少なくとも１以上の前記時刻情報と前記メタ情報とを対応付けてメタ情報ファイルとして格納する格納ステップとを含む。

本発明の第４の側面のプログラムは、再生装置により再生されるべき時刻情報を有するビデオストリームの、前記時刻情報の時刻軸に含まれる、時刻位置に対応する時刻情報を取得する時刻情報取得ステップと、表示されるビデオストリームに対応するメタ情報を取得するメタ情報取得ステップと、少なくとも１以上の前記時刻情報と前記メタ情報とを対応付けてメタ情報ファイルとして格納する格納ステップとを含む処理をコンピュータに実行させる。

本発明の第４の側面のプログラム格納媒体には、請求項１７に記載のプログラムが格納されている。

本発明の第１の側面の再生装置および方法、並びにプログラムにおいては、入力されたビデオストリームが再生され、再生されるストリームのメタ情報が読み込まれ、出力されるビデオストリームの再生情報に基づいて、再生されているストリームに同期して、制御されて、前記メタ情報が読み込まれ、読み込まれたメタ情報に基づいて、前記ビデオストリームに付加画像情報が提供され、提供された付加画像情報が、再生されたストリームに合成される。

本発明の第２の側面のデータ格納媒体においては、ビデオストリームとは別ファイルとして、前記時刻情報の時刻軸に含まれる、第１の時刻位置に対応する時刻情報が含まれ、第１の時刻位置に表示されるビデオストリームに対応する第１のメタ情報と、前記時刻情報の時刻軸に含まれる、第２の時刻位置に対応する時刻情報が含まれ、第２の時刻位置に表示されるビデオストリームに対応する第２のメタ情報とが格納される。

本発明の第３の側面のデータ構造においては、再生装置により再生されるべき時刻情報を有するビデオストリームの、前記時刻情報の時刻軸に含まれる、第１の時刻位置に対応する時刻情報が含まれ、第１の時刻位置に表示されるビデオストリームに対応する第１のメタ情報と、前記時刻情報の時刻軸に含まれる、第２の時刻位置に対応する時刻情報が含まれ、第２の時刻位置に表示されるビデオストリームに対応する第２のメタ情報とが含まれる。

本発明の第４の側面の情報生成装置および方法、並びにプログラムにおいては、再生装置により再生されるべき時刻情報を有するビデオストリームの、前記時刻情報の時刻軸に含まれる、時刻位置に対応する時刻情報が取得され、表示されるビデオストリームに対応するメタ情報が取得され、少なくとも１以上の前記時刻情報と前記メタ情報とが対応付けて格納されるメタ情報ファイルが生成される。

本発明の再生装置、および情報生成装置は、独立した装置であっても良いし、それぞれ再生処理、および情報生成処理を行うブロックであっても良い。

本発明によれば、メタ情報を容易に編集または付加することが可能となる。

本発明を適用した再生装置の構成例を示すブロック図を説明する図である。 図１の再生装置による付加画像情報提供処理を説明するフローチャートである。 図１の再生装置による付加画像情報生成処理を説明するフローチャートである。 図１の再生装置によるメタ情報ファイルを説明する図である。 図１の再生装置による付加画像情報提供処理を説明する図である。 再生装置のその他の構成例を示すブロック図を説明する図である。 図６の再生装置による付加画像情報生成処理を説明するフローチャートである。 図６の再生装置によるメタ情報ファイルを説明する図である。 図６の再生装置による付加画像情報生成処理を説明する図である。 図６の再生装置による付加画像情報生成処理を説明する図である。 図６の再生装置による付加画像情報生成処理を説明する図である。 再生装置のさらにその他の構成例を示すブロック図を説明する図である。 メタ情報ファイル生成装置の構成例を示すブロック図を説明する図である。 図１３のメタ情報ファイル生成装置によるメタ情報ファイル生成処理を説明するフローチャートである。 パーソナルコンピュータの構成例を説明する図である。

符号の説明

１ 再生装置， ２ 表示部， ３ メタ情報ファイル， ４ ストリームファイル， １１ 操作部， １２ 付加画像情報提供部， １３ 合成部， １４ メタ情報ファイル読込部， １５ ストリーム同期読込部， １６ ストリーム再生部

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。
換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

即ち、本発明の第１の側面の再生装置は、入力されたビデオストリームを再生するストリーム再生手段（例えば、図１のストリーム再生部１６）と、前記ストリーム再生手段により再生されるビデオストリームとは別ファイルである前記ビデオストリームのメタ情報を読み込むメタ情報読込手段（例えば、図１のメタ情報ファイル読込部１４）と、前記ストリーム再生手段により再生されるビデオストリームの再生情報に基づいて、前記ストリーム再生手段により再生されているビデオストリームに同期して、前記メタ情報読込手段を制御して、前記メタ情報を読み込ませるストリーム同期読込手段（例えば、図１のストリーム同期読込部１５）と、前記ストリーム同期読込手段により制御されて、前記メタ情報読込手段により読み込まれたメタ情報に基づいて、前記ビデオストリームに付加画像情報を提供する付加画像情報提供手段（例えば、図１の付加画像情報提供部１２）と、前記付加画像情報提供手段により提供された付加画像情報を、前記再生手段により再生されたストリームに合成する合成手段（例えば、図１の合成部１３）とを含む。

前記合成手段（例えば、図１の合成部１３）により前記付加画像情報が合成されたビデオストリームを出力する出力手段（例えば、図１の表示部２）をさらに含ませるようにすることができ、前記メタ情報は、前記出力手段により出力される、前記付加画像情報が合成されたビデオストリームが表示される際の、表示画面上の位置情報とすることができる。

本発明の第１の側面の再生方法およびプログラムは、入力されたストリームを再生するストリーム再生ステップ（例えば、図２のステップＳ６１，Ｓ６３）と、前記ストリーム再生ステップの処理により再生されるビデオストリームとは別ファイルである前記ビデオストリームのメタ情報を読み込むメタ情報読込ステップ（例えば、図２のステップＳ８３）と、前記ストリーム再生ステップの処理により再生されるビデオストリームの再生情報に基づいて、前記ストリーム再生ステップの処理により再生されているビデオストリームに同期して、前記メタ情報読込手段を制御して、前記メタ情報を読み込ませるストリーム同期読込ステップ（例えば、図２のステップＳ３９）と、前記ストリーム同期読込ステップの処理により制御されて、前記メタ情報読込ステップの処理により読み込まれたメタ情報に基づいて、前記ビデオストリームに付加画像情報を提供する付加画像情報提供ステップ（例えば、図２のステップＳ１０）と、前記付加画像情報提供ステップの処理により提供された付加画像情報を、前記再生ステップの処理により再生されたビデオストリームに合成する合成ステップ（例えば、図２のステップＳ１０１）とを含む。

本発明の第４の側面の情報生成装置は、再生装置により再生されるべき時刻情報を有するビデオストリームの、前記時刻情報の時刻軸に含まれる、時刻位置に対応する時刻情報を取得する時刻情報取得手段（例えば、図１３の時刻情報取得部１１２）と、表示されるビデオストリームに対応するメタ情報を取得するメタ情報取得手段（例えば、図１３のメタ情報取得部１１３）と、少なくとも１以上の前記時刻情報と前記メタ情報とを対応付けてメタ情報ファイルとして格納する格納手段（例えば、図１３の格納部１１４）とを含む。

前記メタ情報ファイルのフォーマット形式を変換する変換手段をさらに含ませるようにすることができる。

本発明の第４の側面の情報生成方法およびプログラムは、再生装置により再生されるべき時刻情報を有するビデオストリームの、前記時刻情報の時刻軸に含まれる、時刻位置に対応する時刻情報を取得する時刻情報取得ステップ（例えば、図１４のステップＳ１９２）と、表示されるビデオストリームに対応するメタ情報を取得するメタ情報取得ステップ（例えば、図１４のステップＳ１９４）と、少なくとも１以上の前記時刻情報と前記メタ情報とを対応付けてメタ情報ファイルとして格納する格納ステップ（例えば、図１４のステップＳ１９５）とを含む。

図１は、本発明を適用した再生装置の一実施の形態の構成を示している。尚、図１の再生装置１は、ソフトウェアにより構成される例について説明するが、同様の機能を備えたハードウェアにより構成することも可能である。

再生装置１は、メタ情報ファイル３に基づいて、付加画像情報を生成し、ストリームファイル４に基づいて再生されるビデオストリームに合成して表示部２に表示させる。

操作部１１は、キーボード、マウス、または、ボタンなどから構成されており、付加画像情報提供部１２のＯＮまたはＯＦＦなどが使用者により入力されるとき操作され、操作内容に応じた操作信号を発生して、付加画像情報提供部１２に出力する。

付加画像情報提供部１２は、ストリーム同期読込部１５より供給されてくるメタ情報に基づいて、付加画像情報を生成し、合成部１３に出力する。ここで、付加画像情報とは、ストリームファイル４に記録されているコンテンツを再生する際に画像などで付加される情報である。より具体的には、例えば、ストリームファイル４により再生されるビデオストリームがサッカーの試合の場合、付加画像情報は、競技者毎の時刻単位の位置情報からなるメタ情報に基づいて、所定の競技者に対して画面上で付される追跡マークなどである。尚、以降においては、付加画像情報が、所定の競技者に付される追跡マークである場合について、説明を進めるものとするが、ビデオストリームや付加画像情報はこれに限るものではなく、その他のコンテンツを再生するストリームファイルであってもよいし、その他の付加画像情報であってもよい。

メタ情報ファイル読込部１４は、ストリーム同期読込部１５から供給されてくる、ストリーム再生部１６により再生されているビデオストリームの再生情報を取得すると、再生情報に基づいて、対応するタイミングのメタ情報をメタ情報ファイル３より読み込み、ストリーム同期読込部１５に供給する。

ストリーム同期読込部１５は、ストリーム再生部１６に対して再生情報を依頼することにより、現在再生中のビデオストリームの再生時刻や再生フレームなどを示す再生情報を取得すると、メタ情報ファイル読込部１４に供給する。さらに、ストリーム同期読込部１５は、供給した再生情報に応じて、メタ情報ファイル読込部１４より供給されてくるメタ情報を取得して、付加画像情報提供部１２に供給する。

ストリーム再生部１６は、ストリームファイル４の情報を読み込み、順次ビデオストリームを再生して画像として、合成部１３に出力すると供に、ストリーム同期読込部１５より再生情報が依頼されると、今現在の再生情報をストリーム同期読込部１５に供給する。

合成部１３は、ストリーム再生部１６により再生されるビデオストリームの画像と、付加画像情報提供部１２より供給されてくる付加画像情報とを合成した画像を生成し、LCD（Liquid Crystal Display）またはCRT（Cathode Ray Tube）などからなる表示部２に表示させる。

付加画像情報提供部１２は、メタ情報ファイル読込管理部３１、メタ情報取得部３２、メタ情報認識部３３、付加画像情報出力部３４、および付加画像情報生成部３５より構成されている。

メタ情報ファイル読込管理部３１は、操作部１１の操作信号に応じて、付加画像情報をストリーム再生される画像に合成させることが選択された場合、すなわち、付加画像情報の提供がＯＮに設定された場合、メタ情報ファイル読込部１４をストリーム同期読込部１５に登録させると供に、付加画像情報をビデオストリームに合成した表示を終了させることが選択された場合、すなわち、付加画像情報の提供がＯＦＦに設定された場合、メタ情報ファイル読込部１４の登録をストリーム同期読込部１５に解除させる。すなわち、メタ情報ファイル読込部１４は、ソフトウェアとして存在する場合、付加画像情報の提供がＯＦＦに設定されているときは、存在しないものであって、付加画像情報の提供がＯＮに設定されたときに、メタ情報ファイル読込管理部３１により生成され、ストリーム同期読込部１５に登録されるものである。ただし、以降においては、メタ情報ファイル読込管理部３１は、ハードウェアであってもよいものであるので、常時存在するものとしてブロック図を構成する。

メタ情報取得部３２は、ストリーム同期読込部１５より供給されてくるメタ情報を取得し、メタ情報認識部３３に供給する。メタ情報認識部３３は、供給されたメタ情報を認識し、認識結果を付加画像情報生成部３５に供給する。

付加画像情報生成部３５は、メタ情報の認識結果に基づいて、付加画像情報を生成し、生成した付加画像情報を付加画像情報出力部３４に供給する。より具体的には、付加画像情報生成部３５は、リスト生成部４１、追跡マーク生成部４２およびタイムスケールバー生成部４３を制御して、メタ情報の認識結果に基づいて、競技者のリスト、所定の競技者の追跡マーク、およびタイムスケールバーの画像を付加画像情報として生成させて、付加画像情報出力部３４に供給する。

付加画像情報出力部３４は、付加画像情報生成部３５により生成された付加画像情報を合成部１３に出力する。このとき、付加画像情報出力部３４は、再生情報を取得した時点から付加画像情報を出力するまでの処理時間を考慮して合成部１３に出力する。すなわち、メタ情報ファイル読込部１４は、付加画像情報提供部１２における処理時間を考慮して、今現在ストリーム再生部１６で再生されているビデオストリームより、例えば、数フレーム先のメタ情報を読み込んでいる。したがって、付加画像情報出力部３４は、取得したメタ情報の再生位置に対応するビデオストリームがストリーム再生部１６により再生されるタイミングで、付加画像情報を合成部１３に供給する。

メタ情報ファイル読込部１４の再生情報取得部５１は、ストリーム同期読込部１５より供給されてくる再生情報を取得し、取得した再生情報を読込部５２に供給する。読込部５２は、メタ情報ファイル３にアクセスし、供給されてきた再生情報に基づいて、付加画像情報提供部１２における処理時間を考慮し、今現在の再生時刻より数フレーム分先のタイミングのメタ情報を読み込みストリーム同期読込部１５に供給する。

ストリーム同期読込部１５は、メタ情報ファイル読込管理部３１によりメタ情報ファイル読込部１４が登録されると、所定の時間間隔で再生情報取得依頼部６１を制御して、ストリーム再生部１６に対して再生情報を依頼させる。

再生情報取得部６２は、再生情報取得依頼部６１の依頼に応じて、ストリーム再生部１６より供給されてくる再生情報を取得し、再生情報出力部６３に供給する。再生情報出力部６３は、再生情報取得部６２より供給されてきた再生情報をメタ情報ファイル読込部１４に供給する。

メタ情報取得部６４は、メタ情報ファイル読込部１４より供給されてくるメタ情報を取得し、メタ情報出力部６５に供給する。メタ情報出力部６５は、供給されてきたメタ情報を付加画像情報提供部１２に供給する。

ストリーム再生部１６の再生処理部７１は、ストリームファイル４にアクセスし、ビデオストリームを再生して、合成部１３に供給すると供に、再生情報を再生情報出力部７３に供給する。再生情報依頼受付部７２は、ストリーム同期読込部１５の再生情報取得依頼部６１からの再生情報の取得依頼を受け付け、この依頼に基づいて、再生情報出力部７３を動作させる。再生情報出力部７３は、再生情報依頼受付部７２により再生情報の取得依頼があったことが通知された場合、再生処理部７１より供給されてくる再生情報をストリーム同期読込部１５に出力する。

次に、図２のフローチャートを参照して、付加画像情報提供処理について説明する。

ステップＳ１において、メタ情報ファイル読込管理部３１は、操作部１１が操作されて、付加画像情報の提供が要求されたか否かを判定し、要求されるまで、同様の処理を繰り返す。ステップＳ１において、例えば、操作部１１が操作されて、付加画像情報の提供が要求された場合、すなわち、付加画像情報提供部１２の動作をＯＮにするように要求された場合、ステップＳ２において、メタ情報ファイル読込管理部３１は、メタ情報ファイル読込部１４を生成する。

ステップＳ３において、メタ情報ファイル読込管理部３１は、生成したメタ情報ファイル読込部１４をストリーム同期読込部１５に登録を要求する。

ステップＳ３１において、ストリーム同期読込部１５は、メタ情報ファイル読込部１４の登録が要求されてきたか否かを判定し、登録が要求されるまで、その処理を繰り返す。
ステップＳ３１において、例えば、ステップＳ３の処理により、メタ情報ファイル読込部１４の登録が要求されると、ステップＳ３２において、ストリーム同期読込部１５は、登録が要求されたメタ情報ファイル読込部１４を登録する。

尚、ステップＳ２，Ｓ３，Ｓ３１，Ｓ３２（対応するステップＳ１０，Ｓ１１、Ｓ４１，Ｓ４２を含む）の処理は、メタ情報ファイル読込部１４がソフトウェアにより構成される場合の処理であって、ハードウェアにより構成される場合、不要な処理である。したがって、ハードウェアにより構成されるメタ情報ファイル読込部１４を用いる場合、ステップＳ２，Ｓ３，Ｓ３１，Ｓ３２（対応するステップＳ１０，Ｓ１１、Ｓ４１，Ｓ４２を含む）の処理は、スキップされる。

ステップＳ３３において、再生情報取得依頼部６１は、所定の時間が経過したか否かを判定し、所定の時間が経過するまで、その処理を繰り返す。ステップＳ３３において、所定の時間が経過したと判定された場合、ステップＳ３４において、再生情報取得依頼部６１は、ストリーム再生部１６に対して再生情報を取得するように依頼する。

ステップＳ６１において、ストリーム再生部１６の再生処理部７１は、ストリームファイル４を読み出して、所定の手順に従って、音声を含む画像を順次再生し、合成部１３に出力すると供に、今現在の再生情報を再生情報出力部７３に供給する。

ステップＳ６２において、再生情報依頼受付部７２は、再生情報の取得の依頼があったか否かを判定し再生情報の取得の依頼がないと判定された場合、処理は、ステップＳ６１に戻る。すなわち、再生情報の依頼がない限り、単純にストリームファイルから音声を含む画像などがビデオストリームとして再生され続けるのみとなる。

ステップＳ６２において、例えば、ステップＳ３４の処理により、再生情報の取得が要求された場合、ステップＳ６３において、再生情報依頼受付部７２は、再生情報出力部７３を制御して、再生処理部７１より供給されてくる再生情報をストリーム同期読込部１５に出力させる。

ステップＳ３５において、再生情報取得部６２は、再生情報が出力されてきたか否かを判定し、再生情報が出力されてくるまで、同様の処理を繰り返す。ステップＳ３５において、例えば、ステップＳ６３の処理により、再生情報が出力されてきた場合、ステップＳ３６において、再生情報取得部６２は、出力されてきた再生情報を取得し、取得した再生情報を再生情報出力部６３に供給する。

ステップＳ３７において、再生情報出力部６３は、供給されてきた再生情報をメタ情報ファイル読込部１４に出力する。

ステップＳ８１において、再生情報取得部５１は、再生情報がストリーム同期読込部１５より供給されてきたか否かを判定し、出力されてくるまで、同様の処理を繰り返す。ステップＳ８１において、例えば、ステップＳ３７の処理により、再生情報が出力されてきた場合、再生情報が供給されたと判定され、ステップＳ８２において、再生情報取得部５１は、供給されてきた再生情報を取得し、取得した再生情報を読込部５２に供給する。

ステップＳ８３において、読込部５２は、メタ情報ファイル３にアクセスし、供給されてきた再生情報に基づいて、ビデオストリームの再生位置に対応するメタ情報を読み込む。

ステップＳ８４において、読込部５２は、読み込んだメタ情報をストリーム同期読込部１５に出力する。

ステップＳ３８において、メタ情報取得部６４は、メタ情報が出力されてきたか否かを判定し、メタ情報が出力されてくるまで、その処理を繰り返す。ステップＳ３８において、例えば、ステップＳ８４の処理によりメタ情報が出力されてきた場合、ステップＳ３９において、メタ情報取得部６４は、送信されてきたメタ情報を取得すると供に、取得したメタ情報をメタ情報出力部６５に供給する。

ステップＳ４０において、メタ情報出力部６５は、供給されてきたメタ情報を付加画像情報提供部１２に出力する。

ステップＳ４において、メタ情報取得部３２は、メタ情報がストリーム同期読込部１５より供給されてきたか否かを判定し、供給されてくるまで、その処理を繰り返す。ステップＳ４において、例えば、ステップＳ４０の処理により、メタ情報が出力されてきた場合、ステップＳ５において、メタ情報取得部３２は、供給されてきたメタ情報を取得し、取得したメタ情報をメタ情報認識部３３に供給する。

ステップＳ６において、メタ情報認識部３３は、供給されてきたメタ情報を認識し、認識内容を付加画像情報生成部３５に供給する。

ステップＳ７において、付加画像情報生成部３５は、付加画像情報生成処理により付加画像情報を生成して付加画像情報出力部３４に供給する。尚、付加画像情報生成処理については、図３のフローチャートを参照して詳細を後述する。

ステップＳ８において、付加画像情報出力部３４は、付加画像情報生成部３５により生成された付加画像情報を合成部１３に出力する。

ステップＳ１０１において、合成部１３は、ストリーム再生部１６より供給されてくる音声を含む画像などからなるビデオストリームと、付加画像情報提供部１２より供給されてくる付加画像情報を構成する画像とを合成し、ステップＳ１０２において、表示部２に表示させる。このため、付加画像情報提供部１２の動作がＯＮにされると付加画像情報提供部１２より供給されてくる付加画像情報を構成する画像が、音声を含む画像からなるビデオストリームに合成されて表示部２で表示されることになるが、付加画像情報提供部１２の動作がＯＮにされず、ＯＦＦのままの場合、単にストリーム再生部１６より供給されてくる音声を含む画像からなるビデオストリームが表示部２に表示されるのみとなる。

また、ステップＳ９において、メタ情報ファイル読込管理部３１は、操作部１１が操作されて、付加画像情報の提供の停止が要求されたか否か、すなわち、付加画像情報提供部１２の動作をＯＦＦにするように要求されたか否かを判定し、例えば、停止が要求されていない場合、処理は、ステップＳ４に戻る。すなわち、付加画像情報の提供の停止が要求されない限り、ステップＳ４乃至Ｓ９の処理が繰り返される。結果として、登録の解除が要求されていないと判定された場合、合成部１３は、付加画像情報提供部１２より供給されてくる付加画像情報を構成する画像と、ストリーム再生部１６より供給されてくる音声を含む画像からなるビデオストリームとを合成して表示部２に表示し続ける。

ステップＳ９において、例えば、付加画像情報の提供の停止が要求された場合、ステップＳ１０において、メタ情報ファイル読込管理部３１は、メタ情報ファイル読込部１４の登録を解除するようにストリーム同期読込部１５に対して要求する。

ステップＳ４１において、ストリーム同期読込部１５は、メタ情報ファイル読込部１４の登録の解除が要求されたか否かを判定し、登録の解除が要求されていないと判定された場合、処理は、ステップＳ３３に戻る。すなわち、ステップＳ３３乃至Ｓ４１の処理が繰り返される。

一方、ステップＳ４１において、例えば、ステップＳ１０の処理によりメタ情報ファイル読込部１４の登録の解除が要求された場合、ステップＳ４２において、ストリーム同期読込部１５は、解除が要求されたメタ情報ファイル読取部１４の登録を解除する。この結果、ストリーム同期読込部１５は、メタ情報ファイル読込部１４に対して再生情報を供給しない状態となる。

ステップＳ１１において、メタ情報ファイル読込管理部３１は、メタ情報ファイル読込部１４を破棄し、処理は、ステップＳ１に戻る。

以上の処理により、ストリームファイル４から読み出されるビデオストリームと、メタ情報ファイル３に記録されているメタ情報に基づいて、生成される付加画像情報とが合成されることになるので、メタ情報ファイル３のみを交換するだけで、付加画像情報を変更することが可能になると供に、付加画像情報の種類に応じてストリームファイル４を構成する必要がなく、１つのストリームファイルを記録するだけでよいので、記録容量を節約することが可能となる。

次に、図３のフローチャートを参照して、付加画像情報生成処理について説明する。

ステップＳ１５１において、リスト生成部４１は、ステップＳ５の処理により取得されたメタ情報である競技者毎の位置情報を読み出し、さらに、ステップＳ１５２において、読み出した位置情報に基づいて、ビデオストリームとして再生されるサッカーの試合に出場している競技者のリストを生成する。

ここで、メタ情報ファイル３の構成について説明する。メタ情報ファイル３は、例えば、図４で示されるようなものである。図４においては、左側から順に競技者毎の試合の経過時刻毎の画面上の位置情報が示されている。すなわち、図４においては、競技者は、「aaa」、「bbb」、「ccc」、「ddd」、・・・「jjj」、および「kkk」の１１人分であり、例えば、競技者「aaa」は、時刻「００：０１：００」（＝「分：秒：秒／１００」）において、画面上の座標（Ｘａ１，Ｙａ１）に存在し、時刻「００：０２：００」において、画面上の座標（Ｘａ２，Ｙａ２）に存在し、時刻「００：０３：００」において、画面上の座標（Ｘａ３，Ｙａ３）に存在し、時刻「００：０４：００」において、画面上の座標（Ｘａ４，Ｙａ４）に存在し、時刻「９４：５９：００」において、画面上の座標（Ｘａ５６９９，Ｙａ５６９９）に存在し、時刻「９５：００：００」において、画面上の座標（Ｘａ５７００，Ｙａ５７００）に存在することを示している。尚、競技者「bbb」、「ccc」、「ddd」、・・・「jjj」、および「kkk」についても同様であるので、その説明は、省略するものとする。

ここから、例えば、時刻「００：０４：００」のタイミングの場合、図４で示される競技者の氏名「aaa」、「bbb」、「ccc」、「ddd」、・・・「jjj」、および「kkk」と、それぞれの存在位置として、（Ｘａ４，Ｙａ４）、（Ｘｂ４，Ｙｂ４）、（Ｘｃ４，Ｙｃ４）、（Ｘｃ４，Ｙｃ４）、（Ｘｄ４，Ｙｄ４）・・・（Ｘｊ４，Ｙｊ４）、（Ｘｋ４，Ｙｋ４）、および、最終時刻「９５：００：００」がメタ情報ファイル３よりメタ情報として読み出される。

そこで、このメタ情報に基づいて、リスト生成部４１は、図５の右下部に表示されているリスト１０２を生成する。図５においては、ストリーム再生部１６により再生されているサッカーの試合中の画像が画像表示部１０１に表示されており、サッカーの試合中の画像が表示されている。また、図５におけるリスト１０２は、上から「aaa」、「bbb」、「ccc」、「ddd」、・・・「jjj」、および「kkk」が表示されており、さらに、いずれか追跡マーク１１１を表示させたい競技者を選択するための選択枠１０３が表示されている。
選択枠１０３は、操作部１１により上下に移動させることができ、これにより、競技者「aaa」、「bbb」、「ccc」、「ddd」、・・・「jjj」、および「kkk」のいずれかを選択することができる。図５においては、追跡マーク１１１を表示させたい競技者として「kkk」が選択されている。

ステップＳ１５３において、追跡マーク生成部４２は、メタ情報に基づいて、選択されている競技者の位置に追跡マーク１１１を生成する。すなわち、図５においては、選択枠１０３が、「kkk」上にあり、追跡マーク１１１を表示させたい競技者として「kkk」が選択されているので、追跡マーク生成部４２は、時刻「００：０４：００」のタイミングにおける「kkk」の座標（Ｘｋ４，Ｙｋ４）を中心として追跡マーク１１１を生成する。尚、追跡マーク１１１は、図５においては、丸印であるが、その他の形状であっても良いことは言うまでもない。

ステップＳ１５４において、タイムスケールバー生成部４３は、供給されてきたメタ情報に基づいて、タイムスケールバー１０４を生成する。すなわち、図５においては、画像表示部１０１の下部にタイムスケールバー１０４が表示されており、さらに、タイムスケールバー１０４上には、水平方向の長さを全体として「９５：００：００」としたときの、時刻「００：０４：００」における割合を示す位置にカレントマーク１０５が表示されている。タイムスケールバー生成部４３は、タイムスケールバー１０４を生成すると供に、水平方向の長さを全体として「９５：００：００」としたときの、時刻「００：０４：００」における割合を示す位置を計算により求め、その位置にカレントマーク１０５を付してタイムスケールバー１０４の画像を生成する。

付加画像情報生成処理により、図５におけるリスト１０２、選択枠１０３、追跡マーク１１１、タイムスケールバー１０４、およびカレントマーク１０５の画像がそれぞれの位置に生成されて、上述したステップＳ８の処理により、合成部１３に出力される。そして、ステップＳ１０１の処理により、合成部１３が、ステップＳ６１の処理でストリームファイル４より読み出されて表示されるサッカーの試合のビデオストリーム画像上に、これらの付加画像情報からなる画像をオーバーラップ表示するように合成して、表示部２に表示させることにより、図５で示されるような画像が表示される。

結果として、リスト１０２上の競技者を選択枠１０３により選択すると、選択された競技者に連続的に追跡マーク１１１が付されていくので、使用者は、様々な場面で選択した競技者を見つけ出すことが可能となる。尚、図５においては、追跡マーク１１１が一度表示されてから所定時間かけて徐々に色を薄くして消えるように設定した場合を示しており、結果として、選択された競技者の累積的な動きが、追跡マーク１１１の残像として表示されることになるので、動いている方向などが認識しやすくなり、選択した競技者の動きをより注目して視聴することが可能となる。尚、図５においては、残像として表示されている追跡マークについては、点線で示されている。

また、以上においては、追跡マーク１１１を選択した競技者に付されるようにする付加画像情報を提供する例について説明してきたが、同様のメタ情報により別の付加画像情報を提供するようにしてもよく、例えば、追跡マーク１１１を付する代わりに、選択された競技者の位置を中心として、所定倍率にズームアップした画像を表示するようにしても良い。このような付加画像情報を提供することにより、選択された競技者のプレイを連続的に表示部２に拡大して視聴することが可能となる。

さらに、以上においては、ストリームファイル４に基づいて再生される音声を含む画像がサッカー中継を録画したものであって、付加画像情報として選択された競技者に追跡マークを付する例について説明してきたが、例えば、ストリームファイル４に基づいて再生される音声を含む画像が、ドラマや映画などである場合、付加画像情報として、登場人物の相関図などを表示するようにしても良い。

図６は、ストリームファイル４に基づいて再生される音声を含む画像が、ドラマや映画などである場合、付加画像情報として、登場人物の相関図などを表示するようにした再生装置１の構成例を示している。尚、図６の再生装置１において、図１の再生装置１における構成と同一の構成については、同一の符号を付しており、その説明は適宜省略するものとする。

図６の再生装置１において、図１の再生装置１と異なる構成は、付加画像情報生成部３５に代えて、付加画像情報生成部１４１を設けた点と、メタ情報ファイル３の内容である。

付加画像情報生成部１４１は、顔画像枠生成部１５１、グループ枠生成部１５２、相関生成部１５３、タイムスケールバー生成部１５４、およびキャスト枠生成部１５５を備えている。顔画像枠生成部１５１は、メタ情報に基づいて、登場人物の顔画像枠を生成する。グループ枠生成部１５２は、メタ情報に含まれている、登場人物をグループ化するグループ化情報に基づいて、顔画像枠をグループ化して表示するグループ枠の画像を生成する。相関生成部１５３は、各登場人物間の関係を示す矢印状の相関の画像を生成する。タイムスケールバー生成部１５４は、メタ情報に基づいて、ストリームファイル４より読み出されて再生されるドラマや映画の再生総時間に対する再生位置や、ストーリーにおけるイベントを示すタイムスケールバーの画像を生成する。キャスト枠生成部１５５は、メタ情報に基づいて、登場人物の紹介画像を生成する。

次に、図７のフローチャートを参照して、図６の再生装置１による付加画像情報生成処理について説明する。尚、図６の再生装置１による付加画像情報提供処理については、ステップＳ７の付加画像情報生成処理を除き、図２を参照して説明した処理と同様であるので、その説明は省略する。

ステップＳ１７１において、付加画像情報生成部１４１は、付加画像情報として相関図を表示するためのウィンドウ２０２（図９）を表示する画像を生成する。

ステップＳ１７２において、顔画像枠生成部１５１は、メタ情報に基づいて、登場人物毎に、顔画像の位置情報を読み出し、顔画像枠を生成する。すなわち、図６の再生装置１におけるメタ情報ファイル３は、例えば、図８で示されるようなものである。図８においては、左から登場人物毎に設定されるID、登場人物名、並びに再生時刻毎の顔画像枠の表示中心位置、グループ化情報、相関情報、および顔画像の格納位置が示されている。

すなわち、図８においては、登場人物「aaa」は、ID＝１であり、登場人物の紹介文書データが「c:\cast\aaa.txt」に格納されており、時刻「００：０１：００」（＝「時：分：秒」）において、顔画像の画面上の中心位置座標は、座標（Ｘａ１，Ｙａ１）であり、グループ化情報Gr（親友同士）は「親友同士」であり、相関情報（from ID=2：好意）は、「ID＝２」となる登場人物「bbb」から「好意」を持たれており、相関情報（from ID=3：好意）は、「ID＝３」となる登場人物「ccc」から「好意」を持たれており、登場人物「aaa」の顔画像の情報が「c:\face\aaa.jpg」に格納されていることがそれぞれ示されている。

また、ID＝１の登場人物「aaa」は、時刻「００：０２：００」において、顔画像の画面上の中心位置座標は、座標（Ｘａ２，Ｙａ２）であり、グループ化情報Gr（親友同士）が「親友同士」であり、相関情報（from ID=2：好意）は「ID＝２」となる登場人物「bbb」から「好意」を持たれており、相関情報（from ID=3：好意）は「ID＝３」となる登場人物「ccc」から「好意」を持たれており、登場人物「aaa」の顔画像の情報が「c:\face\aaa.jpg」に格納されていることがそれぞれ示されている。

さらに、ID＝１の登場人物「aaa」は、時刻「００：５０：０９」において、顔画像の画面上の中心位置座標は、座標（Ｘａ３００９，Ｙａ３００９）であり、グループ化情報Gr（親友同士）が「親友同士」であり、相関情報（from ID=2：好意）は「ID＝２」となる登場人物「bbb」から「好意」を持たれており、相関情報（from ID=3：好意）は「ID＝３」となる登場人物「ccc」から「好意」を持たれており、登場人物「aaa」の顔画像の情報が「c:\face\aaa.jpg」に格納されていることが示されている。

また、ID＝１の登場人物「aaa」は、時刻「００：５０：１０」において、顔画像の画面上の中心位置座標は、座標（Ｘａ３０１０，Ｙａ３０１０）であり、グループ化情報Gr（恋人同士）が「恋人同士」であることを示し、相関情報（to ID=2：好意）は「ID＝２」となる登場人物「bbb」に「好意」を持っており、相関情報（from ID=3：失恋）は「ID＝３」となる登場人物「ccc」との間で「失恋」関係にあることが示されており、登場人物「aaa」の顔画像の情報が「c:\face\aaa.jpg」に格納されていることがそれぞれ示されている。さらに、このタイミングにおいては、最上段で示されるように、ストーリー上の重要なイベントとして「告白」が登録されている。

さらに、ID＝１の登場人物「aaa」は、時刻「００：５０：１１」において、顔画像の画面上の中心位置座標は、座標（Ｘａ３０１１，Ｙａ３０１１）であり、グループ化情報Gr（恋人同士）が「恋人同士」であることを示し、相関情報（to ID=2：好意）は「ID＝２」となる登場人物「bbb」に「好意」を持っており、相関情報（to ID=3：失恋）は「ID＝３」となる登場人物「ccc」に「失恋」した関係にあることが示されており、登場人物「aaa」の顔画像の情報が「c:\face\aaa.jpg」に格納されていることがそれぞれ示されている。

尚、ID=２および３の登場人物「bbb」および「ccc」については、ID＝１の登場人物「aaa」と同様であるので、その説明は省略するものとする。

図８のメタ情報ファイル３より、例えば、時刻「００：０２：００」のタイミングの場合、図８で示されるID＝１乃至３の登場人物「aaa」、「bbb」、および「ccc」のそれぞれについて、顔画像表示位置として（Ｘａ２，Ｙａ２）、（Ｘｂ２，Ｙｂ２）、および（Ｘｃ２，Ｙｃ２）、グループ化情報としてGr（親友同士）、Gr（親友同士）、およびGr（親友同士）、相関情報として、「aaa」については、相関情報（from ID=2：好意）、および相関情報（from ID=3：好意）、「bbb」、「ccc」のそれぞれについては、相関情報（to ID=1：好意）、それぞれの顔画像の格納位置として（c:\face\aaa.jpg）、（c:\face\bbb.jpg）、および（c:\face\ccc.jpg）、それぞれの紹介情報の格納位置として（c:\cast\aaa.txt）、（c:\cast\bbb.txt）、および（c:\cast\ccc.txt）、再生総時間、並びにイベントとして時刻「００：５０：１０」における「告白」が、それぞれメタ情報として読み出される。

そこで、このメタ情報に基づいて、顔画像枠生成部１５１は、図９で示されるように、付加画像情報を表示するウィンドウ２０２上に登場人物「aaa」、「bbb」、および「ccc」のそれぞれの顔画像枠２２１−１乃至２２１−３を生成する。図９においては、ストリームファイル４よりストリーム再生部１６により再生されているドラマまたは映画の画像が画像表示部２０１に表示されており、付加画像情報を示すウィンドウ２０２が表示されている。尚、画像表示部２０１上に表示されるドラマや映画の画像は、図９においては省略されている。

例えば、時刻「００：０２：００」において、顔画像枠生成部１５１は、ウィンドウ２０２上の（Ｘａ２，Ｙａ２）、（Ｘｂ２，Ｙｂ２）、および（Ｘｃ２，Ｙｃ２）のそれぞれの位置を中心として、登場人物「aaa」、「bbb」、および「ccc」の顔画像を（c:\face\aaa.jpg）、（c:\face\bbb.jpg）、および（c:\face\ccc.jpg）より読み出して、図９の顔画像枠２２１−１乃至２２１−３として生成する。

ステップＳ１７３において、グループ枠生成部１５２は、メタ情報に基づいて、グループ枠２１１を生成する。すなわち、例えば、時刻「００：０２：００」においては、登場人物「aaa」、「bbb」、および「ccc」のグループ化情報は、いずれもGr（親友同士）であるので、同一のグループ化情報を備えた顔画像枠２２１−１乃至２２１−３を囲み込むようにグループ枠２１１を生成し、グループ構成として「親友同士」を付する。

ステップＳ１７４において、相関生成部１５３は、メタ情報に基づいて、相関２２２−１，２２２−２を生成する。すなわち、例えば、時刻「００：０２：００」においては、登場人物「aaa」、「bbb」、および「ccc」の相関情報は、「aaa」については、相関情報（from ID=2：好意）、および相関情報（from ID=3：好意）、「bbb」、「ccc」のそれぞれについては、相関情報（to ID=1：好意）とされており、この表示において相関情報は、（自らを起点とした矢印の終点の形状 ID＝終点位置となる顔画像のID：関係）で構成されており、例えば、自らを起点とした矢印の終点の形状は「from」または「to」のいずれかであって、「from」の場合、自らを起点とした矢印の終点の形状が矢印記号なしを示し、「to」の場合、自らを起点とした矢印の終点の形状が矢印記号ありを示す。

すなわち、例えば、「aaa」についての相関情報（from ID=2：好意）の場合、顔画像枠２２１−１を起点とし、ID＝２である「bbb」の顔画像枠２２１−２を終点とする矢印記号のない相関２２２−１が構成される。反対に、例えば、「bbb」については、相関情報（from ID=1：好意）の場合、顔画像枠２２１−２を起点とし、ID＝１の顔画像枠２２１−１を終点とする矢印記号のある相関２２２−１が構成される。結果として、これらの二つの相関情報に基づいて、相関２２２−１は、顔画像枠２２１−２から顔画像枠２２１−１方向の矢印状に構成される。さらに、「好意」を示すため相関２２２−１には、下部にハートマークが表示されている。

また、例えば、「aaa」についての相関情報（from ID=3：好意）の場合、顔画像枠２２１−１を起点とし、ID＝３である「ccc」の顔画像枠２２１−３を終点とする矢印記号のない相関２２２−２が構成される。反対に、例えば、「ccc」については、相関情報（from ID=1：好意）の場合、顔画像枠２２１−３を起点とし、ID＝１の顔画像枠２２１−１を終点とする矢印記号のある相関２２２−２を構成する。結果として、これらの二つの相関情報に基づいて、相関２２２−２は、顔画像枠２２１−３から顔画像枠２２１−１方向の矢印状に構成される。さらに、「好意」を示すため相関２２２−２には、下部にハートマークが表示されている。

ステップＳ１７５において、タイムスケールバー生成部１５４は、供給されてきたメタ情報に基づいて、タイムスケールバー２０３を生成する。すなわち、図９においては、画像表示部２０１の下部にタイムスケールバー２０３が表示されており、さらに、タイムスケールバー２０３上には、水平方向の長さを全体として「０１：５３：２０」としたときの、時刻「００：０２：００」における割合を示す位置にカレントマーク２０４が表示されている。タイムスケールバー生成部１５４は、タイムスケールバー２０３を生成すると供に、水平方向の長さを全体として「０１：５３：２０」としたときの、時刻「００：０２：００」における割合を示す位置を計算により求め、その位置にカレントマーク２０４を付し、さらに、イベントとして時刻「００：５０：１０」における「告白」を示すタイムスケールバー２０３上の割合を示す位置を計算により求め、その位置にイベントマーク２０５，２０６を付して、タイムスケールバー２０３上の画像を生成する。

このような付加画像情報からなるウィンドウ２０２として表示されることにより、図９で示されるように、時刻「００：０２：００」においては、登場人物の「aaa」、「bbb」、および「ccc」は、いずれも相互に親友同士であるが、登場人物「aaa」に、登場人物「bbb」、および「ccc」がそれぞれ好意を抱いている相関図として示される。

この結果、例えば、ドラマ、または映画のビデオストリームが進行し、時刻「００：５０：０９」までは、同様の相関関係が維持されたままであったが、時刻「００：５０：１０」において、人物「bbb」が人物「aaa」に対して告白することにより、人物「aaa」と「bbb」のグループ化情報が変化して、Gr（恋人同士）で示されるように恋人同士となり、人物「ccc」のグループ化情報がGr（）で示されるようにいずれのグループにも属していない状態となり、相関情報が、「aaa」については、相関情報（to ID=2：好意）、および相関情報（to ID=3：失恋）、「bbb」、については、相関情報（to ID=1：好意）、「ccc」については、相関情報（to ID=1：失恋）となる場合、図１０で示されるように、恋人同士という同一のグループに属する登場人物「aaa」、および「bbb」の顔画像枠２２１−１，２２１−２がグループ枠２５１により囲み込まれて、グループを示す「恋人同士」が付される。

さらに、相関として「aaa」についての相関情報（to ID=2：好意）の場合、顔画像枠２２１−１を起点とし、ID＝２である「bbb」の顔画像枠２２１−２を終点とする矢印記号のある相関２６２−１が構成される。反対に、例えば、「bbb」については、相関情報は相関情報（to ID=1：好意）となるので、顔画像枠２２１−２を起点とし、ID＝１の顔画像枠２２１−１を終点とする矢印記号のある相関２２２−１が構成される。結果として、これらの二つの相関情報に基づいて、相関２６１−１は、顔画像枠２２１−２，２２１−１の双方向の矢印状に構成される。さらに、「好意」を示すため相関２６１−１には、下部にハートマークが表示されている。

また、例えば、「aaa」についての相関情報（to ID=3：失恋）の場合、顔画像枠２２１−１を起点とし、ID＝３である「ccc」の顔画像枠２２１−３を終点とする矢印記号のある相関２６１−２が構成される。反対に、「ccc」については、相関情報（to ID=1：失恋）の場合、顔画像枠２２１−３を起点とし、ID＝１の顔画像枠２２１−１を終点とする矢印記号のある相関２６１−２を構成する。結果として、これらの二つの相関情報に基づいて、相関２６１−２は、顔画像枠２２１−３，２２１−１の双方向の矢印状に構成される。さらに、「失恋」を示すため相関２６１−２には、下部にハートマークが破れたマークが表示されている。

さらに、タイムスケールバー２０３において、時刻「００：５０：１０」において、人物「bbb」が人物「aaa」に対して「告白」のイベントが発生したので、新たにイベントマーク２０５’として「？？？？」から「告白」と表示が切り替えられ、さらに、カレントマーク２０４’についても、今現在の時刻「０１：０５：１０」が表示される。

結果として、時刻「００：５０：１０」において、人物「bbb」が人物「aaa」に対して告白することにより、図１０で示されるように、時刻「００：５０：１０」以降においては、登場人物の「aaa」，「bbb」が恋人同士の関係になり、登場人物「ccc」，「aaa」は失恋関係に変化し、親友関係が崩れたことが相関図として示される。

ステップＳ１７６において、付加画像情報生成部１４１は、操作部１１が操作されて、特定の登場人物の顔画像枠２２１が指定されたか否かを判定する。例えば、図１１で示されるように、顔画像枠２２１−１が選択された場合、ステップＳ１７７において、キャスト枠を表示するための「キャスト紹介」とタイトルが付されたウィンドウ２７１を生成すると供に、選択された顔画像枠２２１−１を太枠にするなどして、選択された顔画像枠２２１を認識しやすいように変更させる。

ステップＳ１７８において、キャスト枠生成部１５５は、メタ情報に基づいて、ウィンドウ２７１上に登場人物毎の人物紹介を表示する。すなわち、キャスト枠生成部１５５は、顔画像の格納位置である（c:\face\aaa.jpg）、（c:\face\bbb.jpg）、および（c:\face\ccc.jpg）より顔画像を読み出すと供に、紹介情報の格納位置である（c:\cast\aaa.txt）、（c:\cast\bbb.txt）、および（c:\cast\ccc.txt）のそれぞれにアクセスして読み出し、それぞれのキャスト枠２８１乃至２８３を生成する。図１１においては、キャスト枠２８１は、選択された登場人物「aaa」のものであるので、他のキャスト枠よりも大きく、顔画像と供に、人物紹介として「クラスの人気者。モテモテの女の子」と表記されており、キャスト枠２８２は、選択されていない登場人物「bbb」の顔画像と供に、人物紹介として「ちょっと気難しい男」と表記されており、キャスト枠２８３は、選択されていない登場人物「ccc」の顔画像と供に、人物紹介として「ちょっと変わり者」と表記されている。

尚、ステップＳ１７６において、特定の登場人物の顔画像枠２２１が選択されていないと判定された場合、ステップＳ１７７，Ｓ１７８の処理はスキップされるので、ウィンドウ２７１が表示されない。

以上の処理により、ストリームファイル４に格納されているドラマや映画の進行に伴って変化する登場人物の相関図や紹介文書が図示して表示される。

結果として、登場人物が多い、または、人間関係が複雑なドラマや映画などを相関図を把握しながら視聴することが可能となる。

以上においては、メタ情報ファイル３が１種類の場合について説明してきたが、複数のメタ情報ファイル３を用いるようにしても良い。

図１２は、フォーマットの異なるメタ情報ファイル３−１，３−２を用いて、ストリームファイル４より再生される音声を含む画像に付加画像情報を付して提供するようにした再生装置１の構成例を示したものである。別フォーマットとして記録されているため、それぞれ独立したファイルとして設定されている。尚、図１２の再生装置１において、図１の再生装置１と同一の構成については、同一の符号を付しており、その説明は省略する。

図１２の再生装置１において、図１の再生装置１と異なる点は、メタ情報ファイル読込部１４に代えて、メタ情報ファイル読込部１４−１，１４−２を設けた点である。メタ情報ファイル読込部１４−１，１４−２は、それぞれ同一の再生情報取得部５１−１，５１−２を備えているが、読込部５２−１は、フォーマットＡで記録されているメタ情報ファイル３−１よりメタ情報を読み出し、読込部５２−２は、フォーマットＢで記録されているメタ情報ファイル３−２よりメタ情報を読み出す。このように本実施例においては、フォーマットが異なるメタ情報ファイルを扱うことが出来るため、フォーマットＡは人間が認識しやすいテキスト形式のフォーマットのファイルとして編集しやすくし、フォーマットＢは圧縮されたメタ情報ファイルとすることにより、より編集を容易にすると共に、記録媒体の容量も効率的に使用してメタ情報ファイルを用いることが可能となる。

しかしながら、読込部５２−１，５２−２により読み出されたメタ情報は、いずれも同一のフォーマットの情報となるため、付加画像情報提供部１２には、読込部５２−１，５２−２により読み出されたメタ情報が組み合わされたものが供給される。

また、付加画像情報提供処理については、図２のフローチャートを参照して説明した、メタ情報ファイル読込部１４の処理である、ステップＳ８１乃至Ｓ８４がメタ情報ファイル読込部１４−１，１４−２のそれぞれで独立してなされるのみであるので、その説明は省略する。

以上においては、人物相関や登場人物紹介を付加画像情報として表示させる例について説明してきたが、例えば、登場人物を演じる役者に対するインタビュなどを関連するシーンを再生している時に表示させることも可能である。

以上によれば、多様な音声を含む画像からなるビデオストリームのコンテンツに対して、画像や音声などの再生内容に同期した付加画像情報を提供することが可能となる。

また、ストリームファイルとメタ情報ファイルとがそれぞれ別ファイルであることから、それぞれ別に編集することが可能となるので、本編の画像や音声のストリームを作り直すことなく、新しいメタ情報を付加するだけで再生を行うことができる。

さらに、画像や音声からなるビデオストリームを作成する作業とメタ情報を作成する作業を分離することができ、同時並行して作業を行うことができるので、全体の編集時間を短縮することが可能となる。

また、ネットワークを用いたダウンロードに代表される情報の取得手段を使用することで、メタ情報の追加、もしくは、置き換えるようにしてもよいので、発売されたパッケージメディアであっても、パッケージメディアを買い換えることなく新しい楽しみ方を視聴者に提供することが可能となる。従って、視聴者は、パッケージメディアを購入した後でも、購入時に楽しむことのできなかった機能を、付加画像情報として追加することで楽しむことが可能となる。

さらに、以上の再生装置１においては、メタ情報ファイルのフォーマットと、メタ情報ファイルを読込む機構のみを取り替えることができるので、例えば、メタ情報ファイルの情報量が非常に多いコンテンツでは、メタ情報ファイルのサイズをなるべく小さくするための高効率の圧縮型フォーマットを使用したり、人間が編集する機会の多いものについては、人間が認識しやすいフォーマットにするといったようにフォーマットを切り替えて使用することが可能となる。

次に、図１３を参照して、メタ情報ファイルを生成するメタ情報ファイル生成装置の実施の形態について説明する。

図１３のメタ情報ファイル生成装置１０１は、図４または図８で示したメタ情報ファイル３を生成する。

操作部１１１は、キーボードや操作ボタンから構成され、ストリームの再生時刻と、対応する再生時刻におけるメタ情報を入力するとき操作され、操作内容に応じた再生時刻の情報を時刻情報取得部１１２に、対応する再生時刻におけるメタ情報をメタ情報取得部１１３にそれぞれ供給する。また、操作部１１１は、メタ情報ファイル３のフォーマットを指定するとき、または、メタ情報ファイル３のフォーマットを決定するに際して、優先されるモードを指定するとき、操作され、操作内容に応じた情報をフォーマット変換部１１５に供給する。

時刻情報取得部１１２は、操作部１１１が操作されることにより入力された再生時刻を特定する情報を取得し、格納部１１４に格納させる。

メタ情報取得部１１３は、操作部１１１が操作されることにより入力されたメタ情報を取得し、格納部１１４に格納させる。

格納部１１４は、時刻情報取得部１１２より供給されてくる再生時刻を特定する情報と、メタ情報取得部１１３より供給されてくるメタ情報とを対応付けて、メタ情報ファイル３として格納する。

フォーマット変換部１１５は、格納部１１４に格納されているメタ情報ファイル３を操作部１１１より指定される形式、または、モードに応じてフォーマット変換し、記録部１１６に供給する。尚、ここでいう、モードとは、複数に存在するフォーマットの形式のうち、いずれかのフォーマットを選択する優先度を示すものであり、例えば、人間に認識しやすいモードが指定された場合、フォーマット変換部１１５は、複数に存在するフォーマットの形式のうち、最も人間が認識し易い形式のフォーマット形式でメタ情報ファイル３を変換し、容量を最小にするモードが指定された場合、容量を最小にする高効率の圧縮形式のフォーマットに変換し、情報処理装置での処理に適するモードが指定された場合、情報処理装置での処理に最適な形式のフォーマットに変換する。

記録部１１６は、フォーマット変換部１１５より供給されてきた、所定の形式でフォーマットされたメタ情報ファイル３を記録媒体１２１に記録する。この際、記録部１１６は、記録媒体１２１の記録形式に対応したフォーマット変換を実行した後、記録媒体１２１にメタ情報ファイル３を記録する。

次に、図１４のフローチャートを参照して、図１３のメタ情報ファイル生成装置１０１によるメタ情報生成処理について説明する。

ステップＳ１９１において、時刻情報取得部１１２は、操作部１１１が操作されてメタ情報ファイル３に登録するメタ情報に対応するビデオストリームの再生時刻の情報が入力されたか否かを判定し、入力されたと判定されるまで、同様の処理を繰り返す。

ステップＳ１９１において、再生時刻の情報として、例えば、「００：０１：００」、または、「００：５０：１０」のように、ビデオストリームの再生時刻の情報が入力されたと判定された場合、ステップＳ１９２において、操作部１１１により入力された再生時刻の情報を取得し、格納部１１４に供給する。

ステップＳ１９３において、メタ情報取得部１１３は、操作部１１１が操作されてメタ情報が入力されたか否かを判定し、入力されたと判定されるまで、同様の処理を繰り返す。

ステップＳ１９３において、メタ情報として、例えば、サッカーの試合のビデオストリームで競技者ごとの位置情報を表示する場合、図４で示されているような、競技者毎の試合の画面上の座標（Ｘａ１，Ｙａ１）などの位置情報、または、ドラマや映画などの付加画像情報として、登場人物の相関図などを表示する場合、図８で示されているような、座標（Ｘａ１，Ｙａ１）、グループ化情報Gr（親友同士）、相関情報（from ID=2：好意），（from ID=3：好意）、および登場人物「aaa」の顔画像の情報「c:\face\aaa.jpg」が入力されたと判定されたとき、ステップＳ１９４において、操作部１１１により入力されたメタ情報を取得し、格納部１１４に供給する。尚、ドラマや映画などの付加画像情報として登場人物の相関図などの表示を切替えるイベントが入力される場合、メタ情報として、例えば、図８で示されるように「告白」といったイベントの情報が入力されるようにしてもよい。

ステップＳ１９５において、格納部１１４は、時刻情報取得部１１２より供給されてくる再生時刻の情報と、メタ情報取得部１１３より供給されてくるメタ情報とを対応付けて、例えば、図４、または図８で示されるように、メタ情報ファイル４として格納する。

ステップＳ１９６において、時刻情報取得部１１２は、操作部１１１の操作内容に応じて、新たにメタ情報ファイル３に登録する別の再生時刻のメタ情報が存在するか否かを判定し、新たに別の再生時刻のメタ情報が存在すると判定された場合、処理は、ステップＳ１９１に戻る。すなわち、新たに登録すべきメタ情報が存在しない状態になるまで、ステップＳ１９１乃至Ｓ１９６の処理が繰り返される。

そして、ステップＳ１９６において、新たに登録すべきメタ情報が存在しない場合、ステップＳ１９７において、フォーマット変換部１１５は、操作部１１１が操作されて、メタ情報ファイルを変換するフォーマットの形式が選択されたか、または、フォーマットの形式を選択するためのモードが入力されたか否かを判定し、メタ情報ファイルを変換するフォーマットの形式が選択されるか、または、形式を選択するためのモードが入力されるまで、同様の処理を繰り返す。

ステップＳ１９７において、例えば、フォーマットの形式が選択された、または、フォーマットの形式を選択するためのモードが決定された場合、ステップＳ１９８において、フォーマット変換部１１５は、選択された形式のフォーマット、または、モードにより選択すべき形式のフォーマットに、格納部１１４に格納されているメタ情報ファイル３をフォーマット変換し、記録部１１６に供給する。

ステップＳ１９９において、記録部１１６は、フォーマット変換部１１５より供給されてきた、フォーマット変換されたメタ情報ファイル３をストリームファイルとは別個の独立したファイルとして所定の形式の記録媒体１２１に記録する。

以上の処理により、指定された形式のファイルフォーマットに変換されたメタ情報ファイル３が生成される。このようにメタ情報ファイル３は、ストリームファイル４とは独立したファイルとして生成されるので、メタ情報のみを編集する際には、上述のように生成されたメタ情報ファイル３のみを編集するのみで、ストリームファイル４とは独立して編集することが可能となる。また、メタ情報ファイル３とストリームファイル４とをそれぞれ独立して設けることが可能となることにより、例えば、複数言語に対応するメタ情報ファイル３が必要な場合でも、ストリームファイル４を重複して記録媒体に記録する必要がないので、記録容量を必要最小限にすることが可能となる。さらに、メタ情報のみを編集したいような場合、メタ情報ファイル３のみを編集することが可能となるので、メタ情報
の編集を容易にすることが可能となる。また、メタ情報ファイルをストリームファイルと独立に設定したため、ファイル置き換え（Name mapping）によりメタデータファイルのみを置換し、最新の情報を表示させることも可能になる。これにより、例えば、記録媒体に記録された映画の中の俳優がある賞を受賞した場合にその受賞履歴の表示等をさせるために、新たなメタデータを再生装置によりネットワーク等を通じて取得させ、当該俳優が出演している箇所において表示させるという処理も可能になる。

ところで、上述した一連の画像処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１５は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

Claims (18)

1. 入力されたビデオストリームを再生するストリーム再生手段と、
   前記ストリーム再生手段により再生されるビデオストリームとは別ファイルである前記ビデオストリームのメタ情報を読み込むメタ情報読込手段と、
   前記ストリーム再生手段により再生されるビデオストリームの再生情報に基づいて、前記ストリーム再生手段により再生されているビデオストリームに同期して、前記メタ情報読込手段を制御して、前記メタ情報を読み込ませるストリーム同期読込手段と、
   前記ストリーム同期読込手段により制御されて、前記メタ情報読込手段により読み込まれたメタ情報に基づいて、前記ビデオストリームに付加画像情報を提供する付加画像情報提供手段と、
   前記付加画像情報提供手段により提供された付加画像情報を、前記再生手段により再生されたビデオストリームに合成する合成手段と
   を含む再生装置。
2. 前記合成手段により前記付加画像情報が合成されたビデオストリームを出力する出力手段をさらに含み、
   前記メタ情報は、前記出力手段により出力される、前記付加画像情報が合成されたビデオストリームが表示される際の、表示画面上の位置情報である
   請求項１に記載の再生装置。
3. 前記メタ情報は、
   第１の時刻情報を含む第１のメタ情報と、第２の時刻情報を含む第２のメタ情報を有し、
   前記ストリーム同期読込手段は、
   前記ビデオストリームの再生時刻と、前記第１の時刻情報、または、前記第２の時刻情報を比較することにより、前記第１のメタ情報、または、前記第２のメタ情報を選択する
   請求項１に記載の再生装置。
4. 前記メタ情報読込手段は、フォーマットに応じ、１以上である
   請求項１に記載の再生装置。
5. ネットワークを通じ、前記メタ情報を取得する取得手段をさらに備え、
   前記ストリーム同期読込手段は、前記取得部により取得されたメタ情報を読込む
   請求項１に記載の再生装置。
6. 前記メタ情報は、前記ビデオストリームがドラマまたは映画の場合、登場人物毎の再生情報に対応した相関情報であり、
   前記付加画像情報提供手段は、前記再生手段により再生されるビデオストリームの再生情報に同期して、前記登場人物毎の再生情報に対応した相関情報に基づいた、前記登場人物の相関図を付加画像情報として提供する
   請求項１に記載の再生装置。
7. 前記メタ情報は、前記ビデオストリームがドラマまたは映画の場合、登場人物毎の再生情報に対応した相関情報と供に、前記登場人物の紹介情報であり、
   前記付加画像情報提供手段は、前記再生手段により再生されるストリームの再生情報に同期して、前記登場人物毎の紹介情報に基づいた、前記登場人物の紹介情報を付加画像情報として提供する
   請求項１に記載の再生装置。
8. 入力されたビデオストリームを再生するストリーム再生ステップと、
   前記ストリーム再生ステップの処理により再生されるビデオストリームとは別ファイルである前記ビデオストリームのメタ情報を読み込むメタ情報読込ステップと、
   前記ストリーム再生ステップの処理により再生されるビデオストリームの再生情報に基づいて、前記ストリーム再生ステップの処理により再生されているビデオストリームに同期して、前記メタ情報読込手段を制御して、前記メタ情報を読み込ませるストリーム同期読込ステップと、
   前記ストリーム同期読込ステップの処理により制御されて、前記メタ情報読込ステップの処理により読み込まれたメタ情報に基づいて、前記ビデオストリームに付加画像情報を提供する付加画像情報提供ステップと、
   前記付加画像情報提供ステップの処理により提供された付加画像情報を、前記再生ステップの処理により再生されたビデオストリームに合成する合成ステップと
   を含む再生方法。
9. 入力されたビデオストリームを再生するストリーム再生ステップと、
   前記ストリーム再生ステップの処理により再生されるビデオストリームとは別ファイルである前記ビデオストリームのメタ情報を読み込むメタ情報読込ステップと、
   前記ストリーム再生ステップの処理により再生されるビデオストリームの再生情報に基づいて、前記ストリーム再生ステップの処理により再生されているビデオストリームに同期して、前記メタ情報読込手段を制御して、前記メタ情報を読み込ませるストリーム同期読込ステップと、
   前記ストリーム同期読込ステップの処理により制御されて、前記メタ情報読込ステップの処理により読み込まれたメタ情報に基づいて、前記ビデオストリームに付加画像情報を提供する付加画像情報提供ステップと、
   前記付加画像情報提供ステップの処理により提供された付加画像情報を、前記再生ステップの処理により再生されたビデオストリームに合成する合成ステップと
   を含む処理をコンピュータに実行させるプログラム。
10. 請求項９に記載のプログラムが格納されているプログラム格納媒体。
11. 再生装置により再生されるべき時刻情報を有するビデオストリームが格納されたデータ格納媒体であって、
    前記ビデオストリームとは別ファイルとして、
    前記時刻情報の時刻軸に含まれる、第１の時刻位置に対応する時刻情報を含む、第１の時刻位置に表示されるビデオストリームに対応する第１のメタ情報と、
    前記時刻情報の時刻軸に含まれる、第２の時刻位置に対応する時刻情報を含む、第２の時刻位置に表示されるビデオストリームに対応する第２のメタ情報と
    が格納されているデータ格納媒体。
12. 記録媒体に記録される、又は、ネットワークを通じて配信される、再生装置により再生されるべき時刻情報を有するビデオストリームと共に再生されるメタ情報ファイルのデータ構造であって、
    前記時刻情報の時刻軸に含まれる、第１の時刻位置に対応する時刻情報を含む、第１の時刻位置に表示されるビデオストリームに対応する第１のメタ情報と、
    前記時刻情報の時刻軸に含まれる、第２の時刻位置に対応する時刻情報を含む、第２の時刻位置に表示されるビデオストリームに対応する第２のメタ情報と
    を含むデータ構造。
13. 前記第１のメタ情報と第２のメタデータとは、それぞれ独立した別ファイルとされている
    請求項１２に記載のデータ構造。
14. 再生装置により再生されるべき時刻情報を有するビデオストリームの、前記時刻情報の時刻軸に含まれる、時刻位置に対応する時刻情報を取得する時刻情報取得手段と、
    表示されるビデオストリームに対応するメタ情報を取得するメタ情報取得手段と、
    少なくとも１以上の前記時刻情報と前記メタ情報とを対応付けてメタ情報ファイルとして格納する格納手段と
    を含む情報生成装置。
15. 前記メタ情報ファイルのフォーマット形式を変換する変換手段をさらに含む
    請求項１４の情報生成装置。
16. 再生装置により再生されるべき時刻情報を有するビデオストリームの、前記時刻情報の時刻軸に含まれる、時刻位置に対応する時刻情報を取得する時刻情報取得ステップと、
    表示されるビデオストリームに対応するメタ情報を取得するメタ情報取得ステップと、
    少なくとも１以上の前記時刻情報と前記メタ情報とを対応付けてメタ情報ファイルとして格納する格納ステップと
    を含む情報生成方法。
17. 再生装置により再生されるべき時刻情報を有するビデオストリームの、前記時刻情報の時刻軸に含まれる、時刻位置に対応する時刻情報を取得する時刻情報取得ステップと、
    表示されるビデオストリームに対応するメタ情報を取得するメタ情報取得ステップと、
    少なくとも１以上の前記時刻情報と前記メタ情報とを対応付けてメタ情報ファイルとして格納する格納ステップと
    を含む処理をコンピュータに実行させるプログラム。
18. 請求項１７に記載のプログラムが格納されているプログラム格納媒体。

Images