JP4718275B2

JP4718275B2 - 複数メディアの同期再生システム及び同期再生方法

Info

Publication number: JP4718275B2
Application number: JP2005246137A
Authority: JP
Inventors: 一博松崎; 嘉明加藤
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-08-26
Filing date: 2005-08-26
Publication date: 2011-07-06
Anticipated expiration: 2025-08-26
Also published as: JP2007060524A

Description

この発明は、受信中のコンテンツと蓄積媒体に蓄積してあるコンテンツ間の同期再生や、異なる伝送路を介して受信したコンテンツ間の同期再生を可能にするため、送信時に付与されるタイムスタンプとオリジナルのタイムスタンプとの差分値を付加情報として送信する複数メディアの同期再生システム及び同期再生方法に関するものである。

従来の複数メディアの同期再生システムは、記録媒体から再生したデータと、ネットワークを介してダウンロードしたデータを同期再生するものがある（例えば、特許文献１参照）。双方のデータともタイムスタンプを含むＭＰＥＧパケットとして符号化しておき、付与されているタイムスタンプに従って同期再生している。

また、予め用意したタイムコード情報に従って複数データを同期再生するものもある（例えば、特許文献２参照）。

このほか、ストリーミング伝送されるデータに送信側で付与した収録時刻情報と、無線伝送されたマルチメディア信号に対して受信側で付与した受信時刻情報とを利用して、ストリーミング伝送されたデータと無線伝送されたマルチメディアデータの同期再生を行うものもある（例えば、特許文献３参照）。

更に、蓄積した番組コンテンツと対応するウェブページとを同期再生するため、受信側での蓄積時に番組コンテンツと対応するウェブコンテンツとにタイムスタンプを押して保存するようにするものもある（例えば、特許文献４参照）。

特開２００５−１１７５１５号公報（第３頁２８〜３０行、第７頁４０行〜第９頁４６行）特開２００５−７３１３８号公報（第１頁、第２頁）特開２００４−１２８８３６号公報（第２頁、第５頁２９〜３６行）特表２００４−５２９５８８号公報（第５頁３０〜４１行）

従来の複数メディアの同期再生システムは、ＤＶＤなどの記録媒体に一旦蓄積したマルチメディアコンテンツ同士の同期再生に関するものであった。しかしながら、放送により送られるマルチメディアコンテンツは、通常、マルチメディアコンテンツの送信時にタイムスタンプが付与されるため、放送受信中のマルチメディアコンテンツと受信機に蓄積されているマルチメディアコンテンツとの同期再生や、放送中のマルチメディアコンテンツとインターネットのような別の伝送路を使ってストリーミング受信されるマルチメディアコンテンツとの同期再生が困難であるという問題点があった。

この発明は、上述のような課題を解決するためになされたもので、その目的は、受信中のマルチメディアコンテンツと蓄積媒体に蓄積してあるマルチメディアコンテンツ間の同期再生や、異なる伝送路で受信しているマルチメディアコンテンツ間の同期再生を可能にすることができる複数メディアの同期再生システム及び同期再生方法を得るものである。

例えば、放送されてきた映像とインターネットでダウンロードまたはストリーミング配信された音声との同期再生や、ＤＶＤに蓄積した映像とインターネットでダウンロードまたはストリーミング配信された音声との同期再生による多言語視聴サービスの実現や、放送とインターネットとＤＶＤなどの蓄積メディアから取得したマルチメディアコンテンツを同期再生することにより展開される多種多様なマルチメディアサービスの実現を目的とする。

この発明に係る複数メディアの同期再生システムは、各メディアの処理ユニットに対してオリジナルのタイムスタンプが付与されたマルチメディアコンテンツを蓄積するとともに、要求に応じて蓄積したマルチメディアコンテンツを提供する第１のコンテンツサーバ手段と、外部から入力したマルチメディアコンテンツの各メディアの処理ユニットに対してオリジナルのタイムスタンプを付与し、前記オリジナルのタイムスタンプが付与された外部から入力したマルチメディアコンテンツ、又は前記第１のコンテンツサーバ手段から読み出したマルチメディアコンテンツを送信する送信手段と、各メディアの処理ユニットに対してオリジナルのタイムスタンプが付与されたマルチメディアコンテンツを蓄積するとともに、要求に応じて蓄積したマルチメディアコンテンツを提供する第２のコンテンツサーバ手段と、前記送信手段により送信されたマルチメディアコンテンツを受信し、又は前記第２のコンテンツサーバ手段からＩＰ網を介してマルチメディアコンテンツを取得する受信手段と、前記受信手段により受信されたマルチメディアコンテンツを蓄積するコンテンツ蓄積手段と、前記受信手段により受信若しくは取得されたマルチメディアコンテンツ、又は前記コンテンツ蓄積手段から読み出されたマルチメディアコンテンツを個々のメディアストリームに分離する分離手段と、前記分離手段により分離された各メディアストリームを同期再生する同期再生手段とを設け、前記送信手段は、マルチメディアコンテンツの送信時に、前記マルチメディアコンテンツの構成要素である各メディアストリームに対して処理ユニットを検出し、前記処理ユニットに付与されているオリジナルのタイムスタンプに対して、送信時のタイムクロック情報に基づきタイムスタンプの付け替えを行い、送信時に付与するタイムスタンプとオリジナルのタイムスタンプとの差分値を算出し、前記マルチメディアコンテンツ、送信時に付与するタイムスタンプ、及び前記差分値を送信し、前記同期再生手段は、１つ又は複数のマルチメディアコンテンツに対して送信時に付与されたタイムスタンプ、及び前記差分値を用いて、１つ又は複数のマルチメディアコンテンツを構成する各メディアストリームを同期再生するものである。

この発明に係る複数メディアの同期再生システムは、受信中のマルチメディアコンテンツと蓄積媒体に蓄積してあるマルチメディアコンテンツ間の同期再生や、異なる伝送路で受信しているマルチメディアコンテンツ間の同期再生を可能にすることができるという効果を奏する。

実施の形態１．
この発明の実施の形態１に係る複数メディアの同期再生システムについて図１から図４までを参照しながら説明する。図１は、この発明の実施の形態１に係る複数メディアの同期再生システムの構成を示す図である。なお、各図中、同一符号は同一又は相当部分を示す。

図１において、この実施の形態１に係る複数メディアの同期再生システムは、放送局などの送信機側には、マルチメディアコンテンツを構成するメディア信号１１０に対して符号化と多重化を行う符号化及び多重化部１０と、マルチメディアコンテンツの蓄積と読み出しを行う放送コンテンツサーバ（第１のコンテンツサーバ手段）１１と、同期再生に必要となるタイムクロック（タイムクロック情報）１１２を生成するタイムクロック生成部１２と、マルチメディアコンテンツを放送する送信処理部１３とが設けられている。さらに、放送コンテンツサーバ１１と同様にしてマルチメディアコンテンツを蓄積し、ＩＰ網６０を介してマルチメディアコンテンツを提供するインターネットコンテンツサーバ（第２のコンテンツサーバ手段）２１が設けられている。なお、符号化及び多重化部１０、タイムクロック生成部１２及び送信処理部１３が送信手段を構成している。

また、ディジタルＴＶなどの受信機側には、放送及びＩＰ伝送されたマルチメディアコンテンツを受信する受信処理部（受信手段）４１と、マルチメディアコンテンツの蓄積と読み出しを行うマルチメディアコンテンツ蓄積部（コンテンツ蓄積手段）４２と、マルチメディアコンテンツを個々のメディア信号に分離する分離部（分離手段）４３と、分離したメディア信号を同期再生する同期再生部（同期再生手段）４４と、マルチメディアコンテンツに対するインデックスファイルを生成するインデックスファイル生成部（インデックスファイル生成手段）５１とが設けられている。

図２は、この発明の実施の形態１に係る複数メディアの同期再生システムの符号化及び多重化部の詳細構成を示す図である。

図２において、符号化及び多重化部１０は、メディア信号１１０であるビデオ信号の符号化を行うビデオ符号器１４と、メディア信号１１０であるオーディオ信号の符号化を行うオーディオ符号器１５と、メディア信号１１０であるデータ信号の符号化を行うデータ符号器１６と、符号化ビット列１１５をパケット化するパケット化部１７、１８、１９と、パケット列１１６を多重化してマルチメディアコンテンツを生成するメディア多重化部２２と、複数のマルチメディアコンテンツ（メディア多重化ビット列１１１）を多重化して多重化ビット列１１３を生成するマルチメディアコンテンツ多重化部２３とが設けられている。

つぎに、この実施の形態１に係る複数メディアの同期再生システムの動作について図面を参照しながら説明する。図３は、この発明の実施の形態１に係る複数メディアの同期再生システムの符号化及び多重化部のパケット化部の動作を示す図である。また、図４は、この発明の実施の形態１に係る複数メディアの同期再生システムのインデックスファイルの構成を示す図である。

送信機側の符号化及び多重化部１０は、メディア信号１１０を符号化して多重化する。ここで、図２を用いて符号化及び多重化部１０の詳細な動作を説明する。

まず、各メディア信号１１０は、それぞれ対応する、ビデオ符号器１４、オーディオ符号器１５、データ符号器１６のいずれかで符号化されて符号化ビット列１１５となる。各符号化ビット列１１５は、パケット化部１７、１８、１９において、固定長のパケット（処理ユニット）からなるパケット列１１６に変換される。

このとき、受信機側での復号開始時刻と、復号したメディア信号の再生時刻を通知するタイムスタンプが付加される。このタイムスタンプは、タイムクロック生成部１２で生成したタイムクロック情報１１２に対して伝送遅延と処理遅延を勘案して生成する。

すなわち、タイムクロック情報１１２で与えられた時刻をＴ_０、伝送遅延をＴ_Ｄｔ、受信機における受信から復号処理までの処理遅延をＴ_Ｄｄ、受信機における受信から再生処理までの処理遅延Ｔ_Ｄｐとするとき、復号開始時刻に関するタイムスタンプＴ_Ｓｄ、再生時刻に関するタイムスタンプＴ_Ｓｐをそれぞれ次式により決定する。

Ｔ_Ｓｄ＝Ｔ_０＋Ｔ_Ｄｔ＋Ｔ_Ｄｄ＋ｔ_ｄ

Ｔ_Ｓｐ＝Ｔ_０＋Ｔ_Ｄｔ＋Ｔ_Ｄｐ＋ｔ_ｐ

なお、ｔ_ｄ及びｔ_ｐは、装置による処理遅延のバリエーションを考慮して決定した定数である。

メディア多重化部２２では、メディア毎のパケット列１１６を多重化してメディア多重化ビット列１１１を生成する。個々のメディア多重化ビット列１１１は、個々のマルチメディアコンテンツに対応する。メディア多重化部２２で生成したメディア多重化ビット列１１１は、放送コンテンツサーバ１１、またはマルチメディアコンテンツ多重化部２３に転送される。

マルチメディアコンテンツ多重化部２３では、１つまたは複数のメディア多重化部２２から転送されたメディア多重化ビット列１１１や、放送コンテンツサーバ１１から転送されたメディア多重化ビット列１１１を多重化して多重化ビット列１１３を生成する。このとき、放送コンテンツサーバ１１から転送されたメディア多重化ビット列１１１に対しては、タイムスタンプの付け替え処理を行う。

マルチメディアコンテンツ多重化部２３で送信時に新たに付与したタイムスタンプ（Ｔ_Ｓｎｅｗ）と、パケット化部１７、１８、１９で付与したオリジナルのタイムスタンプ（Ｔ_Ｓｏｒｉ）の差分値（ΔＴ_Ｓ＝Ｔ_Ｓｎｅｗ−Ｔ_Ｓｏｒｉ）を多重化ビット列１１３の中の付加情報で通知する。各マルチメディアコンテンツにおいて差分値（ΔＴ_Ｓ）を計算する場合、マルチメディアコンテンツ内の任意のＴ_Ｓｎｅｗと対応するＴ_Ｓｏｒｉを使っても得られる差分値（ΔＴ_Ｓ）は通常同じ値となる。また、復号開始時刻に関するタイムスタンプ（Ｔ_Ｓｄ）と再生時刻に関するタイムスタンプ（Ｔ_Ｓｐ）を使って差分値（ΔＴ_Ｓ）を計算しても通常同じ値となる。

メディア多重化部２２から転送されたメディア多重化ビット列１１１については、タイムスタンプの付け替え処理を行わないためＴ_Ｓｎｅｗ＝Ｔ_Ｓｏｒｉとなり、差分値として「ΔＴ_Ｓ＝０」が付加情報で通知される。差分値（ΔＴ_Ｓ）は、多重化ビット列１１３の中で定期的に送られるものとする。多重化ビット列１１３が「ＭＰＥＧ−２Ｓｙｓｔｅｍｓ標準」に準拠する場合は、差分値（ΔＴ_Ｓ）をＰＭＴ（Program Map Table）の中の個々のメディア毎の情報とペアにして伝送してもよい。

符号化及び多重化部１０のパケット化部１７、１８、１９での処理について図３を用いて説明する。

まず、メディア毎の符号化ビット列１１５に対して、符号化処理フレームに相当する可変長の符号化ユニット毎にパケット化処理を行って可変長パケットを生成する。すなわち、図３に示すように、可変長パケットのペイロード２０２には、符号化ユニットが格納される。可変長パケットのパケットヘッダ２００には、パケット検出を容易にするためユニークワードが付与されているほか、符号化ビット列の復号開始時刻と復号したメディア信号の再生時刻を通知するタイムスタンプ２０１が格納されている。

可変長パケットは、図３に示すように、更に固定長のパケットに分割される。固定長パケットは、ユニークワードが付与された固定長パケットヘッダ２０３と固定長パケットペイロード２０５で構成される。固定長パケットヘッダ２０３には、各パケット列１１６を識別するためのパケットＩＤ２０４が付与されている。固定長パケットペイロード２０５には、可変長パケットを分割して格納する。このとき、可変長パケットヘッダ２００の先頭が常に固定長パケットペイロード２０５の先頭に来るように格納する。固定長パケットペイロード２０５のデータ未格納部分にはスタッフィングバイト（ダミーデータ）２０６を詰める。タイムスタンプを必要としない非同期データについては、可変長パケット化のプロセスを経ないで符号化ビット列１１５から直接固定長パケットを生成してもよい。

放送コンテンツサーバ１１は、メディア多重化ビット列１１１を蓄積すると共に、蓄積したメディア多重化ビット列１１１を読み出して転送する。

送信処理部１３では、多重化ビット列１１３に対して、誤り訂正符号化や伝送フレーミング、変調などの処理を行って放送ビット列１１４を生成し、放送する。

受信機側の受信処理部４１では、放送ビット列１１４を受信し、復調や誤り訂正処理などを行って所望のメディア多重化ビット列１１１を生成するほか、ＩＰ網６０に接続したインターネットコンテンツサーバ２１にアクセスしてオリジナルのタイムスタンプが付与された所望のマルチメディアコンテンツをダウンロードしてＩＰビット列１１７からメディア多重化ビット列１１１を生成する。ここで、ＩＰ網６０を介してダウンロードするコンテンツは、映像や音声のようなモノメディアコンテンツであってもよい。

マルチメディアコンテンツ蓄積部４２では、メディア多重化ビット列１１１の形式でマルチメディアコンテンツを蓄積する。このとき、インデックスファイル生成部５１において、メディア多重化ビット列１１１に多重化されているメディア毎にインデックスファイル１１８が生成され、マルチメディアコンテンツ蓄積部４２に蓄積される。

インデックスファイル１１８の構成例を図４に示す。インデックスファイル１１８には、受信機側で独自に決めた『ファイル名』と、マルチメディアコンテンツを識別する『コンテンツＩＤ』と、関連するマルチメディアコンテンツの『関連コンテンツＩＤ』と、『オリジナルの復号開始時刻に関するタイムスタンプ及びオリジナルの再生時刻に関するタイムスタンプ（Ｔ_{Ｓｏｒｉ＿ｄ}，Ｔ_{Ｓｏｒｉ＿ｐ}）、マルチメディアコンテンツを構成するメディアのパケットＩＤ、及び１つ前のタイムスタンプから現在のタイムスタンプまでの間隔（固定長パケットの個数で示す）』とを格納する。

図４に示した記入例では、タイムスタンプ（Ｔ_{Ｓｏｒｉ＿ｄ}＝２５．０，Ｔ_{Ｓｏｒｉ＿ｐ}＝２５．０）を格納したパケットＩＤ＝２５の固定長パケットから数えて２７個目に位置するパケットＩＤ＝３５の固定長パケットがタイムスタンプ（Ｔ_{Ｓｏｒｉ＿ｄ}＝３３．３，Ｔ_{Ｓｏｒｉ＿ｐ}＝３３．３）を格納することを示している。

オリジナルの復号開始時刻に関するタイムスタンプ及びオリジナルの再生時刻に関するタイムスタンプ（Ｔ_{Ｓｏｒｉ＿ｄ}，Ｔ_{Ｓｏｒｉ＿ｐ}）は、順次伝送されてくる復号開始時刻に関するタイムスタンプ及び再生時刻に関するタイムスタンプ（Ｔ_{Ｓｎｅｗ＿ｄ}，Ｔ_{Ｓｎｅｗ＿ｐ}）から付加情報として多重化伝送されてくる差分値（ΔＴ_Ｓ）を差し引くことによって得ることができる。

受信中のマルチメディアコンテンツと、マルチメディアコンテンツ蓄積部４２に蓄積した関連メディアのコンテンツの一部又は全てを同期再生する場合、マルチメディアコンテンツ蓄積部４２は、インデックスファイル１１８を参照して受信中のコンテンツのコンテンツＩＤと同一の「関連コンテンツＩＤ」を有する蓄積コンテンツを検索し、「パケットＩＤ」と「オリジナルのタイムスタンプ（Ｔ_{Ｓｏｒｉ＿ｄ}，Ｔ_{Ｓｏｒｉ＿ｐ}）、符号化ユニットを格納する固定長パケットの個数」を参照して、受信中のメディアコンテンツのタイムスタンプに対応するタイムスタンプを有する固定長パケットを蓄積したメディア多重化ビット列１１１の中から特定し、特定した固定長パケットの部分からメディア多重化ビット列１１１を読み出して分離部４３に転送する。

分離部４３では、受信処理部４１からのメディア多重化ビット列１１１と、インデックスファイル１１８を参照してマルチメディアコンテンツ蓄積部４２から読み出したメディア多重化ビット列１１１とから、所望のメディアの符号化ビット列１１５を分離し、各符号化ビット列１１５に対応したタイムスタンプ情報１１９を生成する。該タイムスタンプ情報１１９は、以下のようにして生成する。

すなわち、放送ビット列１１４を受信して受信処理部４１から分離部４３に直接入力されたメディア多重化ビット列１１１から分離した符号化ビット列１１５については、順次伝送されてくる復号開始時刻に関するタイムスタンプ及び再生時刻に関するタイムスタンプ（Ｔ_{Ｓｎｅｗ＿ｄ}，Ｔ_{Ｓｎｅｗ＿ｐ}）がタイムスタンプ情報１１９となる。

一方、ＩＰ網６０からストリーミング配信されるメディア多重化ビット列１１１やマルチメディアコンテンツ蓄積部４２から読み出されたメディア多重化ビット列１１１については、オリジナルの復号開始時刻に関するタイムスタンプ及びオリジナルの再生時刻に関するタイムスタンプ（Ｔ_{Ｓｏｒｉ＿ｄ}，Ｔ_{Ｓｏｒｉ＿ｐ}）に対して差分値（ΔＴ_Ｓ）を足し合わせることにより、それぞれ得られる復号開始時刻に関するタイムスタンプ及び再生時刻に関するタイムスタンプ（Ｔ_{Ｓｎｅｗ＿ｄ}，Ｔ_{Ｓｎｅｗ＿ｐ}）がタイムスタンプ情報１１９となる。

同期再生部４４では、分離部４３からの各符号化ビット列１１５をタイムスタンプ情報１１９に従って復号し、再生することにより、互いに関連する各メディアの同期再生を行う。

なお、上記では送信時に新たに付与したタイムスタンプをベースに同期再生を行う場合について説明したが、オリジナルのタイムスタンプをベースに同期再生を行う場合の処理は、以下のようになる。

すなわち、放送ビット列１１４を受信して受信処理部４１から分離部４３に直接入力されたメディア多重化ビット列１１１から分離した符号化ビット列１１５については、順次伝送されてくる復号開始時刻に関するタイムスタンプ及び再生時刻に関するタイムスタンプ（Ｔ_{Ｓｎｅｗ＿ｄ}，Ｔ_{Ｓｎｅｗ＿ｐ}）から差分値（ΔＴ_Ｓ）を差し引くことによって得られるオリジナルの復号開始時刻に関するタイムスタンプ及びオリジナルの再生時刻に関するタイムスタンプ（Ｔ_{Ｓｏｒｉ＿ｄ}，Ｔ_{Ｓｏｒｉ＿ｐ}）がタイムスタンプ情報１１９となる。

一方、ＩＰ網６０からストリーミング配信されるメディア多重化ビット列１１１や、マルチメディアコンテンツ蓄積部４２から読み出されたメディア多重化ビット列１１１については、オリジナルの復号開始時刻に関するタイムスタンプ及びオリジナルの再生時刻に関するタイムスタンプ（Ｔ_{Ｓｏｒｉ＿ｄ}，Ｔ_{Ｓｏｒｉ＿ｐ}）がタイムスタンプ情報１１９となる。

オリジナルのタイムスタンプをベースに同期再生を行う場合、同期再生部４４においては、同期再生部４４におけるクロックに対して差分値（ΔＴ_Ｓ）を差し引くことによってオリジナルのタイムスタンプに対応したクロックに変換し、変換したクロックを用いて同期再生処理を行う。

以上のように、この実施の形態１では、送信時に付与したタイムスタンプとオリジナルのタイムスタンプとの差分値（ΔＴ_Ｓ）を付加情報として伝送するようにしたため、送信時に付与したタイムスタンプとオリジナルのタイムスタンプの両方を送信する場合に比べ、タイムスタンプ関連の情報を伝送するのに要するビット量を抑制することができると共に、送信時に付与されたタイムスタンプと差分値（ΔＴ_Ｓ）からオリジナルのタイムスタンプを再生することができる。

また、受信機側では受信した差分値（ΔＴ_Ｓ）と送信時に付与されたタイムスタンプからオリジナルのタイムスタンプを再生することができる。

また、オリジナルのタイムスタンプ情報を付与して蓄積したマルチメディアコンテンツに対して受信した差分値（ΔＴ_Ｓ）を足し合わせて得たタイムスタンプ情報１１９を利用することにより、放送受信中のマルチメディアコンテンツと蓄積媒体から読み出した関連コンテンツとの同期再生が可能になる。

また、受信機側では受信した差分値（ΔＴ_Ｓ）を利用することにより、放送中のコンテンツと受信機側の蓄積媒体に蓄積済みのコンテンツとの同期再生だけでなく、放送中のコンテンツとＩＰ網６０のような補助の回線を使って伝送したコンテンツとの同期再生や、ＩＰ網６０のような補助の回線を使って伝送したコンテンツと受信機側の蓄積媒体に蓄積済みのコンテンツとの同期再生が可能になる。

また、放送中の映像コンテンツに対して、受信機側の蓄積媒体に蓄積済みの多言語音声コンテンツや字幕コンテンツ、あるいは補助の回線を使って伝送される多言語音声コンテンツや字幕コンテンツと組み合わせて同期再生することができるため、通常の放送波では帯域上の制約から不可能であった多言語放送のようなサービスが可能になる。

なお、上記実施の形態１では、マルチメディアコンテンツ蓄積部４２にマルチメディアコンテンツを蓄積する際に受信機側で独自に決めたファイル名を使用するようにしたが、マルチメディアコンテンツのファイル名を送信機側から付加情報として多重化伝送するようにし、受信機側ではそのファイル名を使用するようにしても上記と同様の効果が得られる。

また、この実施の形態１では、インデックスファイル１１８にオリジナルのタイムスタンプ（Ｔ_{Ｓｏｒｉ＿ｄ}，Ｔ_{Ｓｏｒｉ＿ｐ}）を記載するようにしたが、代わりに送信時に付与された復号開始時刻に関するタイムスタンプ及び再生時刻に関するタイムスタンプ（Ｔ_{Ｓｎｅｗ＿ｄ}，Ｔ_{Ｓｎｅｗ＿ｐ}）と差分値（ΔＴ_Ｓ）の両方を記載するようにしても、Ｔ_{Ｓｎｅｗ＿ｄ}、Ｔ_{Ｓｎｅｗ＿ｐ}及びΔＴ_Ｓを用いていれば、オリジナルのタイムスタンプ（Ｔ_{Ｓｏｒｉ＿ｄ}，Ｔ_{Ｓｏｒｉ＿ｐ}）が再生できるため、上記と同様の効果が得られる。

また、マルチメディアコンテンツ蓄積部４２にマルチメディアコンテンツを蓄積する際に、マルチメディアコンテンツに付与されている復号開始時刻に関するタイムスタンプ及び再生時刻に関するタイムスタンプ（Ｔ_{Ｓｎｅｗ＿ｄ}，Ｔ_{Ｓｎｅｗ＿ｐ}）をオリジナルのタイムスタンプ（Ｔ_{Ｓｏｒｉ＿ｄ}，Ｔ_{Ｓｏｒｉ＿ｐ}）に付け替えて蓄積しても上記と同様の効果が得られる。

受信中の放送コンテンツと、ＩＰ網６０からストリーミング配信されてきた関連コンテンツを同期再生する場合には、それぞれに対して算出したオリジナルのタイムスタンプをベースにして同期再生を行う。

実施の形態２．
この発明の実施の形態２に係る複数メディアの同期再生システムについて図５を参照しながら説明する。図５は、この発明の実施の形態２に係る複数メディアの同期再生システムの構成を示す図である。

上記の実施の形態１では、受信機側でインデックスファイル１１８を作成して、マルチメディアコンテンツと一緒にマルチメディアコンテンツ蓄積部４２に蓄積するようにしていたが、この実施の形態２では、図５に示すように、送信機側においてインデックスファイル生成部５１によりインデックスファイル１１８を生成して、このインデックスファイル１１８を付加情報として多重化ビット列１１３に多重化して伝送し、受信機側では受信したマルチメディアコンテンツと対応するインデックスファイル１１８をマルチメディアコンテンツ蓄積部４２に蓄積するようにしてもよい。なお、インデックスファイル１１８の『ファイル名』に、放送コンテンツサーバ１１に蓄積したファイル名を使用してもよい。

この実施の形態２によれば、上記の実施の形態１に比べて受信機側での処理を軽減できる効果がある。

実施の形態３．
この発明の実施の形態３に係る複数メディアの同期再生システムについて図６から図８までを参照しながら説明する。

上記実施の形態１では、放送コンテンツサーバ１１及びマルチメディアコンテンツ蓄積部４２にはメディア多重化ビット列１１１の形式でマルチメディアコンテンツを蓄積していたが、代わりにメディア毎の固定長のパケット列１１６を蓄積するようにしてもよい。

図６は、この発明の実施の形態３に係る複数メディアの同期再生システムのインデックスファイルの構成を示す図である。

図６に示すように、インデックスファイル１１８には、蓄積した『ファイル名』と、蓄積したマルチメディアコンテンツを識別する『コンテンツＩＤ』と、関連するマルチメディアコンテンツの『関連コンテンツＩＤ』と、マルチメディアコンテンツを構成するメディアの『パケットＩＤ』と、マルチメディアコンテンツを構成する他のメディアのパケットＩＤに相当する『関連パケットＩＤ』と、『オリジナルの復号開始時刻に関するタイムスタンプ及びオリジナルの再生時刻に関するタイムスタンプ（Ｔ_{Ｓｏｒｉ＿ｄ}，Ｔ_{Ｓｏｒｉ＿ｐ}）、並びにタイムスタンプに対応する符号化ユニットを格納する固定長パケットの個数』とを格納する。

図６に示した記入例では、パケットＩＤが２５と３５，４５の３つのメディアから構成されたマルチメディアコンテンツについて示しており、このマルチメディアコンテンツに対して各メディアに対応した３つのインデックスファイルが作成される。

なお、コンテンツＩＤと関連コンテンツＩＤは、付加情報として多重化ビット列１１３に多重化されて送信機側より伝送される。

図７は、この発明の実施の形態３に係る複数メディアの同期再生システムの送信機側の符号化及び多重化部と放送コンテンツサーバの接続形態を示す図である。

送信機側では、放送コンテンツサーバ１１からマルチメディアコンテンツに対応するメディア毎のパケット列１１６を読み出した後に多重化してメディア多重化ビット列１１１を生成する。

図８は、この発明の実施の形態３に係る複数メディアの同期再生システムの受信機側の分離部とマルチメディアコンテンツ蓄積部の接続形態を示す図である。

受信機側では、分離部４３が、メディア分離部４５と、パケット分解部４６、４７、４８とで構成される。この分離部４３の構成は、上記実施の形態１の分離部４３の構成と同じである。メディア多重化ビット列１１１をメディア分離部４５で分離して生成したメディア毎のパケット列１１６をインデックスファイル１１８と共にマルチメディアコンテンツ蓄積部４２に蓄積する。

パケット分解部４６、４７、４８では、メディア毎のパケット列１１６に対して、固定長パケットを分解して可変長パケットを取り出し、可変長パケットを更に分解してメディア毎の符号化ビット列１１５とタイムスタンプ情報１１９を取り出す。

この実施の形態３によれば、放送コンテンツサーバ１１及びマルチメディアコンテンツ蓄積部４２にはメディア毎の固定長のパケット列で蓄積するため、所望のメディアのみの蓄積や読み出しが可能である。

実施の形態４．
この発明の実施の形態４に係る複数メディアの同期再生システムについて図９を参照しながら説明する。図９は、この発明の実施の形態４に係る複数メディアの同期再生システムのインデックスファイルの構成を示す図である。

放送コンテンツサーバ１１及びマルチメディアコンテンツ蓄積部４２には、メディア毎の可変長パケットを蓄積してもよい。この場合の分離部４３の構成も上記実施の形態１に示した分離部４３の構成と同様である。

上記実施の形態１では「１つ前のタイムスタンプから現在のタイムスタンプまでの間隔（固定長パケットの個数で示す）」を、上記実施の形態３では「符号化ユニットを格納する固定長パケットの個数」をインデックスファイル１１８に記載していたが、この実施の形態４では、図９に示すように、代わりに「符号化ユニットを格納する可変長パケットの長さ（byte）」を記載する。

この実施の形態４によれば、マルチメディアコンテンツ蓄積部４２に蓄積した所望のメディアを読み出して再生する場合、上記実施の形態１で必要であったメディアの分離処理や、上記実施の形態３で必要であった固定長パケットの分解処理が不要となるため、読み出しから再生までの処理をより簡略化することができる。

この発明の実施の形態１に係る複数メディアの同期再生システムの構成を示す図である。この発明の実施の形態１に係る複数メディアの同期再生システムの符号化及び多重化部の詳細構成を示す図である。この発明の実施の形態１に係る複数メディアの同期再生システムの符号化及び多重化部のパケット化部の動作を示す図である。この発明の実施の形態１に係る複数メディアの同期再生システムのインデックスファイルの構成を示す図である。この発明の実施の形態２に係る複数メディアの同期再生システムの構成を示す図である。この発明の実施の形態３に係る複数メディアの同期再生システムのインデックスファイルの構成を示す図である。この発明の実施の形態３に係る複数メディアの同期再生システムの送信機側の符号化及び多重化部と放送コンテンツサーバの接続形態を示す図である。この発明の実施の形態３に係る複数メディアの同期再生システムの受信機側の分離部とマルチメディアコンテンツ蓄積部の接続形態を示す図である。この発明の実施の形態４に係る複数メディアの同期再生システムのインデックスファイルの構成を示す図である。

符号の説明

１０符号化及び多重化部、１１放送コンテンツサーバ、１２タイムクロック生成部、１３送信処理部、１４ビデオ符号器、１５オーディオ符号器、１６データ符号器、１７、１８、１９パケット化部、２１インターネットコンテンツサーバ、２２メディア多重化部、２３マルチメディアコンテンツ多重化部、４１受信処理部、４２マルチメディアコンテンツ蓄積部、４３分離部、４４同期再生部、４５メディア分離部、４６、４７、４８パケット分解部、５１インデックスファイル生成部、６０ＩＰ網、１１０メディア信号、１１１メディア多重化ビット列、１１２タイムクロック情報、１１３多重化ビット列、１１４放送ビット列、１１５符号化ビット列、１１６パケット列、１１７ＩＰビット列、１１８インデックスファイル、１１９タイムスタンプ情報。

Claims

各メディアの処理ユニットに対してオリジナルのタイムスタンプが付与されたマルチメディアコンテンツを蓄積するとともに、要求に応じて蓄積したマルチメディアコンテンツを提供する第１のコンテンツサーバ手段と、
外部から入力したマルチメディアコンテンツの各メディアの処理ユニットに対してオリジナルのタイムスタンプを付与し、前記オリジナルのタイムスタンプが付与された外部から入力したマルチメディアコンテンツ、又は前記第１のコンテンツサーバ手段から読み出したマルチメディアコンテンツを送信する送信手段と、
各メディアの処理ユニットに対してオリジナルのタイムスタンプが付与されたマルチメディアコンテンツを蓄積するとともに、要求に応じて蓄積したマルチメディアコンテンツを提供する第２のコンテンツサーバ手段と、
前記送信手段により送信されたマルチメディアコンテンツを受信し、又は前記第２のコンテンツサーバ手段からＩＰ網を介してマルチメディアコンテンツを取得する受信手段と、
前記受信手段により受信されたマルチメディアコンテンツを蓄積するコンテンツ蓄積手段と、
前記受信手段により受信若しくは取得されたマルチメディアコンテンツ、又は前記コンテンツ蓄積手段から読み出されたマルチメディアコンテンツを個々のメディアストリームに分離する分離手段と、
前記分離手段により分離された各メディアストリームを同期再生する同期再生手段とを備え、
前記送信手段は、マルチメディアコンテンツの送信時に、
前記マルチメディアコンテンツの構成要素である各メディアストリームに対して処理ユニットを検出し、
前記処理ユニットに付与されているオリジナルのタイムスタンプに対して、送信時のタイムクロック情報に基づきタイムスタンプの付け替えを行い、
送信時に付与するタイムスタンプとオリジナルのタイムスタンプとの差分値を算出し、
前記マルチメディアコンテンツ、送信時に付与するタイムスタンプ、及び前記差分値を送信し、
前記同期再生手段は、
１つ又は複数のマルチメディアコンテンツに対して送信時に付与されたタイムスタンプ、及び前記差分値を用いて、１つ又は複数のマルチメディアコンテンツを構成する各メディアストリームを同期再生する
ことを特徴とする複数メディアの同期再生システム。
前記同期再生手段は、
前記受信手段により受信中のマルチメディアコンテンツについては、送信時に付与されたタイムスタンプを用い、前記コンテンツ蓄積手段に蓄積されたマルチメディアコンテンツについては、前記蓄積されたマルチメディアコンテンツに付与されたオリジナルのタイムスタンプに対して、前記受信中のマルチメディアコンテンツに含まれる差分値を足し合わせることによって得たタイムスタンプを用いて、前記受信中のマルチメディアコンテンツと前記コンテンツ蓄積手段に蓄積されたマルチメディアコンテンツの同期再生を行う
ことを特徴とする請求項１記載の複数メディアの同期再生システム。
前記同期再生手段は、
送信時に付与されたタイムスタンプから前記差分値を差し引くことによって得たオリジナルのタイムスタンプを用いてマルチメディアコンテンツの同期再生を行う
ことを特徴とする請求項１記載の複数メディアの同期再生システム。
マルチメディアコンテンツのコンテンツＩＤと、関連するマルチメディアコンテンツの関連コンテンツＩＤとを少なくとも含む、マルチメディアコンテンツに対するインデックスファイルを生成するインデックスファイル生成手段をさらに備えた
ことを特徴とする請求項１記載の複数メディアの同期再生システム。
前記インデックスファイルは、
前記コンテンツ蓄積手段に蓄積された各マルチメディアコンテンツを構成するメディア毎に生成され、
送信時に付与されたタイムスタンプから前記差分値を差し引くことによって得たオリジナルのタイムスタンプと、１つ前のオリジナルのタイムスタンプから現在のオリジナルのタイムスタンプまでの間隔とを少なくとも含む
ことを特徴とする請求項４記載の複数メディアの同期再生システム。
前記インデックスファイルは、
前記コンテンツ蓄積手段に蓄積された各マルチメディアコンテンツを構成するメディア毎に生成され、
送信時に付与されたタイムスタンプから前記差分値を差し引くことによって得たオリジナルのタイムスタンプと、前記処理ユニットである固定長パケットの個数とを少なくとも含む
ことを特徴とする請求項４記載の複数メディアの同期再生システム。
前記インデックスファイルは、
前記コンテンツ蓄積手段に蓄積された各マルチメディアコンテンツを構成するメディア毎に生成され、
送信時に付与されたタイムスタンプから前記差分値を差し引くことによって得たオリジナルのタイムスタンプと、前記処理ユニットである可変長パケットの長さとを少なくとも含む
ことを特徴とする請求項４記載の複数メディアの同期再生システム。
各メディアの処理ユニットに対してオリジナルのタイムスタンプが付与されたマルチメディアコンテンツを格納するとともに、要求に応じて格納したマルチメディアコンテンツを提供するステップと、
外部から入力したマルチメディアコンテンツの各メディアの処理ユニットに対してオリジナルのタイムスタンプを付与し、前記オリジナルのタイムスタンプが付与された外部から入力したマルチメディアコンテンツ、又は格納されたマルチメディアコンテンツを送信するステップと、
送信されたマルチメディアコンテンツを受信し、又はＩＰ網を介して各メディアの処理ユニットに対してオリジナルのタイムスタンプが付与されたマルチメディアコンテンツを取得するステップと、
受信されたマルチメディアコンテンツを蓄積するステップと、
前記受信手段により受信若しくは取得されたマルチメディアコンテンツ、又は蓄積されたマルチメディアコンテンツを個々のメディアストリームに分離するステップと、
分離された各メディアストリームを同期再生するステップとを含み、
前記送信するステップは、マルチメディアコンテンツの送信時に、
前記マルチメディアコンテンツの構成要素である各メディアストリームに対して処理ユニットを検出し、
前記処理ユニットに付与されているオリジナルのタイムスタンプに対して、送信時のタイムクロック情報に基づきタイムスタンプの付け替えを行い、
送信時に付与するタイムスタンプとオリジナルのタイムスタンプとの差分値を算出し、
前記マルチメディアコンテンツ、送信時に付与するタイムスタンプ、及び前記差分値を送信し、
前記同期再生するステップは、
１つ又は複数のマルチメディアコンテンツに対して送信時に付与されたタイムスタンプ、及び前記差分値を用いて、１つ又は複数のマルチメディアコンテンツを構成する各メディアストリームを同期再生する
ことを特徴とする複数メディアの同期再生方法。
前記同期再生するステップは、
受信中のマルチメディアコンテンツについては、送信時に付与されたタイムスタンプを用い、蓄積されたマルチメディアコンテンツについては、前記蓄積されたマルチメディアコンテンツに付与されたオリジナルのタイムスタンプに対して、前記受信中のマルチメディアコンテンツに含まれる差分値を足し合わせることによって得たタイムスタンプを用いて、前記受信中のマルチメディアコンテンツと前記蓄積されたマルチメディアコンテンツの同期再生を行う
ことを特徴とする請求項８記載の複数メディアの同期再生方法。
前記同期再生するステップは、
送信時に付与されたタイムスタンプから前記差分値を差し引くことによって得たオリジナルのタイムスタンプを用いてマルチメディアコンテンツの同期再生を行う
ことを特徴とする請求項８記載の複数メディアの同期再生方法。
マルチメディアコンテンツのコンテンツＩＤと、関連するマルチメディアコンテンツの関連コンテンツＩＤとを少なくとも含む、マルチメディアコンテンツに対するインデックスファイルを生成するステップをさらに含む
ことを特徴とする請求項８記載の複数メディアの同期再生方法。
前記インデックスファイルは、
蓄積された各マルチメディアコンテンツを構成するメディア毎に生成され、
送信時に付与されたタイムスタンプから前記差分値を差し引くことによって得たオリジナルのタイムスタンプと、１つ前のオリジナルのタイムスタンプから現在のオリジナルのタイムスタンプまでの間隔とを少なくとも含む
ことを特徴とする請求項１１記載の複数メディアの同期再生方法。
前記インデックスファイルは、
蓄積された各マルチメディアコンテンツを構成するメディア毎に生成され、
送信時に付与されたタイムスタンプから前記差分値を差し引くことによって得たオリジナルのタイムスタンプと、前記処理ユニットである固定長パケットの個数とを少なくとも含む
ことを特徴とする請求項１１記載の複数メディアの同期再生方法。
前記インデックスファイルは、
蓄積された各マルチメディアコンテンツを構成するメディア毎に生成され、
送信時に付与されたタイムスタンプから前記差分値を差し引くことによって得たオリジナルのタイムスタンプと、前記処理ユニットである可変長パケットの長さとを少なくとも含む
ことを特徴とする請求項１１記載の複数メディアの同期再生方法。