JPWO2015115171A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

Abstract

ビデオ、オーディオなどの伝送メディアを断片化して得られた伝送メディアパケットを放送信号に載せて送信する場合におけるクロック同期、提示同期を良好に実現可能とする。時刻情報サーバから取得された時刻情報に同期した２７ＭＨｚのクロックを生成する。この２７ＭＨｚのクロックの周波数情報を含む、時刻情報サーバから取得された時刻情報に同期した時刻情報を生成する。伝送メディアを符号化する。符号化された伝送メディアを所定の単位で断片化し、各断片を含む伝送メディアパケットを生成する。伝送メディアパケット、時刻情報を持つパケットおよび制御信号を持つパケットを時分割的に含むストリームを放送波に載せて送信する。

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ビデオ、オーディオなどの伝送メディアを断片化して得られた伝送メディアパケットを放送信号に載せて送信する送信装置等に関する。

従来、デジタル放送は世界的にＭＰＥＧ２−ＴＳ方式のシステム仕様に基づいて規定され運用されてきた。運用を開始した後、１０−１５年経過するうちに、映像符号化の技術が進化すると共により高解像度高画質化の要求も高まってきた。また、一方で、インターネットの普及と高速化が進み、放送と同等の画質の映像信号を、通信路を経由して受信することも可能となってきた。

従来、インターネット等のネットワークを利用したＩＰＴＶ(Internet Protocol Television)配信システムが提案されている（例えば、特許文献１参照）。近時、ＩＰＴＶ等のインターネットストリーミングにおける標準化が行われている。例えば、ＨＴＴＰ（Hypertext Transfer Protocol）ストリーミングによるＶｏＤ（(Video on Demand）ストリーミングや、ライブストリーミングに適用される方式の標準化が行われている。

特に、ＩＳＯ／ＩＥＣ／ＭＰＥＧで標準化が行われているＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）が注目されている。ＤＡＳＨでは、クライアント端末は、ＭＰＤ（Media Presentation Description）と呼ばれるメタファイルと、そこに記述されるチャンク化されたメディアデータのアドレス（url）をもとに、ストリーミングデータを取得して再生する。この場合のメディアデータは、オーディオ（Audio）/ビデオ（Video）/サブタイトル（Subtitle）等のメディアデータである。

特開２０１１−１９３０５８号公報

そのような状況にあって、放送と通信を統合的に利用したサービスへの期待もふくらんできており、技術的にも放送と通信の配信仕様の共通化、統合化が求められている。

本技術の目的は、ビデオ、オーディオなどの伝送メディアを断片化して得られた伝送メディアパケットを放送信号に載せて送信する場合におけるクロック同期、提示同期を良好に実現することにある。

本技術の概念は、
時刻情報サーバから取得された時刻情報に同期した第１の周波数のクロックを生成するクロック生成部と、
上記クロック生成部で生成された上記第１の周波数のクロックの周波数情報を含む上記時刻情報サーバから取得された時刻情報に同期した時刻情報を生成する時刻情報生成部と、
伝送メディアを符号化する符号化部と、
上記符号化部で符号化された伝送メディアを所定の単位で断片化し、各断片を含む伝送メディアパケットを生成するパケット化部と、
上記パケット化部で生成された伝送メディアパケット、上記時刻情報生成部で生成された時刻情報を持つ時刻情報パケットおよび制御信号を持つ制御信号パケットを時分割的に含むストリームを放送波に載せて送信する送信部を備える
送信装置にある。

本技術において、クロック生成部により、時刻情報サーバ、例えばＮＴＰ（Network Time Protocol）サーバから取得された時刻情報に同期した第１の周波数、例えば２７ＭＨｚのクロックが生成される。時刻情報生成部により、クロック生成部で生成された第１の周波数のクロックの周波数情報を含む時刻情報が生成される。

例えば、時刻情報生成部は、クロック生成部で生成された２７ＭＨｚのクロックをカウントして３００分周する９ビットカウンタと、この９ビットカウンタの分周出力をカウントして９００００分周する１７ビットカウンタと、この１７ビットカウンタの分周出力をカウントする３２ビットカウンタとを有する、ようにされてもよい。

符号化部により、ビデオ、オーディオ等の伝送メディアが符号化される。パケット化部により、符号化部で符号化された伝送メディアが所定の単位で断片化され、各断片を含む伝送メディアパケットが生成される。例えば、パケット化部は、時刻情報生成部で得られる９０ＫＨｚのクロックに基づいて、伝送メディアパケットに挿入する、伝送メディアの提示単位毎のデコード時刻および表示時刻を求めるための時間情報を取得する、ようにされてもよい。

また、例えば、パケット化部で生成される伝送メディアパケットは、所定数のムービーフラグメントを含むメディアセグメントであり、パケット化部は、このムービーフラグメントを構成するｍｏｏｆボックス内のｔｆｄｔボックスおよびｔｒｕｎボックスに挿入する時間情報を取得する、ようにされてもよい。

送信部により、パケット化部で生成された伝送メディアパケット、時刻情報生成部で生成された時刻情報を持つ時刻情報パケットおよび制御信号を持つ制御信号パケットを時分割的に含むストリームを乗せた放送波が送信される。

このように本技術においては、放送波に載せるストリームに、時刻情報サーバから取得された時刻情報に同期した第１の周波数のクロックの周波数情報を持つ時刻情報を持つパケットが含まれるものである。そのため、受信側では、この時刻情報に基づいて送信側と同様の第１の周波数のクロック（システムクロック）を生成でき、クロック同期の実現が可能となる。

また、本技術においては、伝送メディアパケットに挿入する、伝送メディアの提示単位毎のデコード時刻および表示時刻を求めるための時間情報が、時刻情報生成部で得られる第２の周波数、例えば９０ＫＨｚのクロックに基づいて取得されるものである。そのため、受信側では、ストリームに含まれる時刻情報に基づいて生成される第１の周波数のクロックの周波数情報を含む時刻情報と、伝送メディアの提示単位毎に伝送メディアパケットに挿入されている時間情報により求められるデコード時刻および表示時刻とに基づき、提示同期の実現が可能となる。

また、本技術の他の概念は、
符号化された伝送メディアが断片化されて得られた断片を持つ伝送メディアパケット、第１の周波数のクロックの周波数情報を含む、時刻情報サーバから取得された時刻情報に同期した時刻情報を持つ時刻情報パケットおよび制御信号を含む制御信号パケットを時分割的に含むストリームが載せられた放送波を受信する受信部と、
上記時刻情報パケットが持つ時刻情報に基づいて、上記第１の周波数のクロックを生成するクロック生成部と、
上記クロック生成部で生成された上記第１の周波数のクロックの周波数情報を含む上記時刻情報サーバから取得された時刻情報に同期した時刻情報を生成する時刻情報生成部と、
上記伝送メディアパケットに挿入されている時間情報に基づいて、上記伝送メディアの提示単位毎のデコード時刻および表示時刻を求める時刻算出部と、
上記受信部で受信された伝送メディアパケットに含まれる符号化された伝送メディアを、提示単位毎に、上記時刻算出部で算出されたデコード時刻および表示時刻と、上記時刻情報生成部で生成された時刻情報とに基づいて処理する処理部を備える
受信装置にある。

本技術において、受信部により、ストリームを乗せた放送波が受信される。このストリームには、伝送メディアパケット、時刻情報パケットおよび制御信号パケットが時分割的に含まれている。ここで、伝送メディアパケットは、符号化された伝送メディアが断片化されて得られた断片を持っている。時刻情報パケットは、第１の周波数、例えば２７ＭＨｚのクロックの周波数情報を含む、時刻情報サーバ、例えばＮＴＰサーバから取得された時刻情報に同期した時刻情報を持っている。また、制御信号パケットは、制御信号を持っている。

例えば、受信部で受信される伝送メディアパケットは、所定数のムービーフラグメントを含むメディアセグメントであり、ムービーフラグメントを構成するｍｏｏｆボックス内のｔｆｄｔボックスおよびｔｒｕｎボックスに、伝送メディアの提示単位毎のデコード時刻および表示時刻を求めるための時間情報が挿入されている、ようにされてもよい。

クロック生成部により、時刻情報パケットが持つ時刻情報に基づいて、第１の周波数のクロックが生成される。時刻情報生成部により、この第１の周波数のクロックの周波数情報を含む、時刻情報サーバから取得された時刻情報に同期した時刻情報が生成される。

時刻算出部により、伝送メディアパケットに挿入されている時間情報に基づいて、伝送メディアの提示単位毎のデコード時刻および表示時刻が求められる。そして、処理部により、受信部で受信された伝送メディアパケットに含まれる符号化された伝送メディアが、提示単位毎に、時刻算出部で算出されたデコード時刻および表示時刻と、時刻情報生成部で生成された時刻情報とに基づいて処理される。

このように本技術においては、放送信号に含まれる時刻情報サーバから取得された時刻情報に関連した時刻情報に基づいて送信側と同様の第１の周波数のクロック（システムクロック）と、この第１の周波数のクロックの周波数情報を含む時刻情報が生成されるものである。また、伝送メディアパケットに挿入されている時間情報に基づいて、伝送メディアの提示単位毎のデコード時刻および表示時刻が求められ、伝送メディアの提示単位毎のデコードや表示の処理が行われる。そのため、クロック同期および提示同期の実現が可能となる。

なお、本技術において、例えば、時刻情報生成部は、クロック生成部で生成される２７ＭＨｚのクロックをカウントして３００分周する９ビットカウンタと、この９ビットカウンタの分周出力をカウントして９００００分周する１７ビットカウンタと、この１７ビットカウンタの分周出力をカウントする３２ビットカウンタとを有し、秒部分と、９０ＫＨｚのクロックのカウント値で示されるサブ秒部分とを持つ時刻情報を生成し、時刻算出部は、デコード時刻および表示時刻を、それぞれ、秒部分と、９０ＫＨｚのクロックのカウント値で示されるサブ秒部分に分けて算出する、ようにされてもよい。この場合、デコードや表示のタイミングを、生成された時刻情報と、算出されたデコード時刻、表示時刻のマッチングを、秒部分とサブ秒部分のマッチングをそれぞれとることで行うことが可能となる。

本技術によれば、ビデオ、オーディオなどの伝送メディアを断片化して得られた伝送メディアパケットを放送信号に載せて送信する場合におけるクロック同期、提示同期を良好に実現できる。なお、ここに記載された効果に必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

実施の形態としての送受信システムの構成例を示すブロック図である。 送信・受信システムにおけるクロック同期と提示同期について説明するための図である。 放送送出システムから受信機に送信される放送信号に含まれるｆ−ＭＰ４方式のストリーム構造を示す図である。 ｆ−ＭＰ４方式のストリームに含まれる初期化セグメント（ＩＳ）の構造を示す図である。 ｆ−ＭＰ４方式のストリームに含まれるメディアセグメント（ＭＳ）の構造を示す図である。 ｆ−ＭＰ４方式のストリームにサービス・チャネル・シグナル（ＳＣＳ）として含まれるＭＰＤファイルの記述例を示す図である。 ピリオド（Period）とセグメントタイムライン（SegmentTimeline）の時間関係などを示す図である。 “ｍｏｏｆ”ボックス内の“ｔｆｄｔ”ボックス、“ｔｒｕｎ”ボックスに含まれる主要な情報の内容を示す図である。 提示単位毎のデコード時刻（Decoding Time）および表示時刻（Presentation Time）を算出するための数式を説明するための図である。 ＮＴＰサーバおよびこのＮＴＰサーバが提供する時刻情報のフォーマット（NTP time stamp format）を説明するための図である。 放送送出システムの構成例を示すブロック図である。 ＮＴＰ・クロック・リファレンスの構成を示す図である。 時間情報取得部の構成例を示すブロック図である。 時間情報取得部の各部の信号の状態を示す図である。 受信機の構成例を示すブロック図である。 受信機における同期制御処理の処理手順の一例を示すフローチャートである。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［送受信システムの構成例］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、放送送出システム１００と、受信機２００により構成されている。

放送送出システム１００は、時刻情報サーバとしてのＮＴＰ（Network Time Protocol）サーバから取得された時刻情報に同期した、２７ＭＨｚのクロック（システムクロック）と、この２７ＭＨｚのクロックの周波数情報を含む時刻情報を生成する。放送送出システム１００は、ビデオ、オーディオなどの伝送メディアを所定の単位で断片化し、各断片を含む伝送メディアパケット（メディアセグメント）を生成する。

放送送出システム１００は、伝送メディアパケットに、伝送メディアの提示単位毎のデコード時刻および表示時刻を求めるための時間情報を挿入するが、この時間情報を時刻生成で使用される９０ＫＨｚのクロックに基づいて取得する。放送送出システム１００は、伝送メディアパケット、時刻情報を持つ時刻情報パケットおよび制御信号を持つ制御信号パケットを時分割的に含む、Ｆｒａｇｍｅｎｔｅｄ ＭＰ４（ｆ−ＭＰ４）方式のストリームを放送波に載せて送信する。

受信機２００は、放送送出システム１００から送られてくる上述の放送波を受信する。受信機２００は、放送波に載せて送られてくるｆ−ＭＰ４方式のストリームに含まれる時刻情報に基づいて、この時刻情報に同期した、２７ＭＨｚのクロック（システムクロック）と、この２７ＭＨｚのクロックの周波数情報を含む、時刻情報サーバから取得された時刻情報に同期した時刻情報を生成する。

また、受信機２００は、伝送メディアパケットに挿入されている時間情報に基づいて、伝送メディアの提示単位毎のデコード時刻および表示時刻を求める。そして、受信機２００は、ｆ−ＭＰ４方式のストリームに含まれる伝送メディアを、提示単位毎に、算出されたデコード時刻および表示時刻と、生成された時刻情報とに基づいて処理する。

送受信システム１０においては、放送送出システム１００および受信機２００を上述した構成とすることで、従来のＭＰＥＧ２−ＴＳ方式と同様に、クロック同期と提示同期が実現される。

図２を用いて、送信・受信システムにおけるクロック同期と提示同期について説明する。送信システム、受信システムは、例えば、上述の放送送出システム１００、受信機２００に対応する。送信システムは、２７ＭＨｚのシステムクロックを生成するクロック生成部１１と、時刻情報を生成する時計部（時刻情報生成部）１２を有している。また、送信システムは、エンコード処理部１３と、パケット化/タイムスタンプ付加部１４と、エンコードバッファ１５を有している。

エンコード処理部１３では、ビデオ、オーディオなどの伝送メディアが符号化される。パケット化/タイムスタンプ付加部１４では、符号化後の伝送メディアのパケット化が行われると共に、時計部１２で生成される時刻情報に基づいて伝送メディアの提示単位毎に表示時刻（ＰＴＳ：Presentation Time Stamp）が付加される。そして、伝送メディアのパケットは、エンコードバッファ１５に一時的に蓄積され、適宜なタイミングで送信される。

受信システムは、２７ＭＨｚのシステムクロックを生成するクロック生成部２１と、時刻情報を発生する時計部（時刻情報生成部）２２を有している。また、受信システムは、デコードバッファ２３と、デパケット化/タイミング調整部２４と、デコード処理部２５を有している。

デコードバッファ２３では、受信された伝送メディアのパケットを一時的に蓄積する。デパケット化/タイミング調整部２４では、デコードバッファ２３に蓄積されている伝送メディアのパケットが、時計部２２で生成される時刻情報が参照され、付加されている表示時刻情報のタイミングで取り出されてデパケット化される。デコード処理部２５では、デパケット化により得られた伝送メディアが復号化され、ベースバンドの伝送メディアが得られる。

ここで、クロック同期とは、送信システムのクロック生成部１１で生成されるシステムクロックの周波数と、受信システムのクロック生成部２１で生成されるシステムクロックの周波数が、同一周波数となることを意味する。クロック同期が実現されていない場合、受信側で受信を継続しているうちにフレーム飛び等が発生するなどの破たんが起きる。

また、提示同期とは、送信システムの時計部１２の時刻情報と受信システムの時計部２２の時刻情報を合わせ、かつ伝送メディアの提示単位毎の表示時刻情報を伝送メディアのパケットに付加することを意味する。なお、ここで、送信システムの時計部１２の時刻情報に受信システムの時計部２２の時刻情報を合わせる場合には、送信システムから受信システムへの伝送遅延が考慮される。提示同期が実現されていない場合、受信側でビデオ、オーディオの同期をとってバッファを破たんさせずに適切に提示するということができなくなる。

図３は、放送送出システム１００から受信機２００に送信される放送信号に含まれるｆ−ＭＰ４方式のストリーム構造を示している。このｆ−ＭＰ４方式のストリームには、ビデオ、オーディオの各コンポーネントに関連して、上述した伝送メディアパケットとしてのメディアセグメント（ＭＳ：Media Segment）と、初期化セグメント（ＩＳ：Initialization Segment）が存在する。初期化セグメント（ＩＳ）には、復号処理の初期化情報などが含まれている。受信時には、初期化セグメント（ＩＳ）を取得した上で、メディアセグメント（ＭＳ）を取得することになる。

また、このｆ−ＭＰ４方式のストリームには、サービス・チャネル・シグナル（ＳＣＳ：Service Channel Signal）、つまり制御信号を含むパケット（制御信号パケット）が存在する。図には、ＭＰＤ（Media Presentation Description）ファイルというメタファイルを含むパケットのみが示されている。ＭＰＤファイルには、動画の圧縮方式や符号化速度、画像サイズ、言語などの情報がＸＭＬ形式で階層的に記述されている。

また、このｆ−ＭＰ４方式のストリームには、ＮＴＰ（Network Time Protocol）サーバから取得された時刻情報に同期した、２７ＭＨｚのクロックの周波数情報を含む時刻情報を持つパケット（時刻情報パケット）が存在する。

図４は、初期化セグメント（ＩＳ）の構造を示している。この初期化セグメント（ＩＳ）は、ＩＳＯＢＭＦＦ（ISO Base Media File Format）に基づくボックス（Box）構造を持つ。先頭に、ファイルタイプ（File type）を示す“ｆｔｙｐ”ボックスが配置され、それに続いて制御用の“ｍｏｏｖ”ボックスが配置されている。詳細説明は省略するが、“ｍｏｏｖ”ボックス内には、図示の“ｍｖｅｘ”ボックスを含む種々のボックスが含まれている。この“ｍｏｏｖ”ボックスに、復号処理の初期化情報などが入っている。

図５は、メディアセグメント（ＭＳ）の構造を示している。このメディアセグメント（ＭＳ）は、ＩＳＯＢＭＦＦ（ISO Base Media File Format）に基づくボックス（Box）構造を持つ。先頭にセグメントタイプ（Segment type）を示す“ｓｔｙｐ”ボックスが配置され、それに続いてセグメントインデックス（Segment index）を示す“ｓｉｄｘ”ボックスは配置され、それに続いて一つまたは複数のムービーフラグメント（Movie Fragment）が配置されている。

“ｓｔｙｐ”ボックスに入っているセグメントタイプの情報は固定値の‘ｍｓｄｈ’である。この“ｓｔｙｐ”ボックスはなくてもよい。また、“ｓｉｄｘ”ボックスに入っているセグメントインデックスの情報は、各ムービーフラグメントの先頭のバイト（byte）値を示す情報である。ムービーフラグメントが一つの場合は、この“ｓｔｙｐ”ボックスがなくてもよい。ムービーフラグメントのサイズは可変長であることから、ムービーフラグメントが複数の場合は、各ムービーフラグメントの先頭のバイト値を知るために、“ｓｉｄｘ”ボックスが必要となる。

ムービーフラグメント（Movie Fragment）は、制御情報が入る“ｍｏｏｆ”ボックスと、ビデオ、オーディオなどの信号（伝送メディア）の実体そのものが入る“ｍｄａｔ”ボックスから構成される。一つのムービーフラグメントの“ｍｄａｔ”ボックスには、伝送メディアが断片化されて得られた断片が入るので、“ｍｏｏｆ”ボックスに入る制御情報はその断片に関する制御情報となる。断片の大きさとしては、例えば、ＭＰＥＧ ＶｉｄｅｏのＧＯＰ（Group Of Picture）などが想定される。

図６は、ＭＰＤファイルの一例を示している。なお、この例示は実際のＸＭＬ記述ではなく、記述される各要素と属性を構造に従って並べたものである。ＭＰＤファイルには、上述したように、動画の圧縮方式や符号化速度、画像サイズ、言語などの情報がＸＭＬ形式で階層的に記述されている。ＭＰＤファイルには、ピリオド（Period）、アダプテーションセット（AdaptationSet）、リプレゼンテーション（Representation）、セグメントテンプレート（SegmentTemplate）、などの構造体が、階層的に含まれている。このＭＰＤファイルの記述仕様は、ＭＰＥＧ−ＤＡＳＨの仕様を規定する国際標準規格「ＩＳＯ/ＩＥＣ ２３００９−１」に定められている。

ピリオドの構造体は、プログラム（同期を取った１組の動画や音声等のデータ）の情報を持つ。また、ピリオドの構造体に含まれるアダプテーションセットの構造体は、ストリームの選択範囲（リプレゼンテーション群）をグルーピングする。また、アダプテーションセットの構造体に含まれるリプレゼンテーションの構造体は、動画や音声の符号化速度、動画の音声サイズなどの情報を持つ。

また、アダプテーションセットの構造体に含まれるセグメントテンプレートの構造体は、動画や音声のセグメント関連の情報を持つ。セグメントテンプレートの構造体には、初期化セグメント(IS)を取得するロケーション情報を示すイニシャライゼ―ション要素と、時々刻々異なるファイルで供給されるメディアセグメント(MS)を取得するロケーション情報のテンプレートを示すメディア属性等が含まれる。

ＭＰＤファイルには、ピリオド（Period）毎の制御情報が記述される。このピリオドは、例えば一つの番組に相当する期間を示している。ＭＰＤファイルには、ピリオドの開始時刻情報が、「Period＠start」として含まれている。この情報は、年月日時分秒で示される。図示の例では、「Period＠start = “2013-12-01T10:30:30”」となっており、２０１３年１２月１日１０時３０分３０秒が示されている。

また、ＭＰＤファイルには、提示タイミングなどの時刻指定のときの時間単位情報が、「SegmentBase@timescale」として含まれている。図示の例では、「SegmentBase@timescale = 90000」となっており、１/９００００秒（９０ＫＨｚのクロックの周期に相当）の単位であることが示されている。

また、ＭＰＤファイルには、ピリオドに含まれるメディアセグメント（ＭＳ）の連続であるセグメントタイムライン（SegmentTimeline）の開始時刻を示す時間情報が、「SegmentTimeline S@t」として含まれている。この時時間情報は、ピリオドの開始時刻からセグメントタイムラインの開始時刻までの相対的な時間長を示し、「SegmentBase@timescale」で示される周波数のクロックのカウント値で示される。図示の例では、「SegmentTimeline S@t = 0」となっており、セグメントタイムラインの開始時間がピリオドの開始時間と同じであることが示されている。

また、ＭＰＤファイルには、ピリオドに含まれるメディアセグメント（ＭＳ）の時間長を示す時間情報が、「SegmentTimeline S@d」として含まれている。この時時間情報は、「SegmentBase@timescale」で示される周波数のクロックのカウント値で示される。図示の例では、「SegmentTimeline S@t = 180000」となっており、「SegmentBase@timescale = 90000」であるとき、2秒であることが示されている。

図７は、ピリオド（Period）とセグメントタイムライン（SegmentTimeline）との時間関係などを示している。図示の例では、「SegmentTimeline S@t = 0」で、セグメントタイムラインの開始時間がピリオドの開始時間と同じである例を示している。セグメントタイムラインにおけるｄ１，ｄ２，・・・，ｄｒは、それぞれ、メディアセグメント（ＭＳ）を示している。

メディアセグメント（ＭＳ）には、上述したように一つまたは複数のムービーフラグメント（Movie Fragment）が配置されており、各ムービーフラグメントは、“ｍｏｏｆ”ボックスと、“ｍｄａｔ”ボックスから構成されている。“ｍｄａｔ”ボックスには、伝送メディアが断片化されて得られた断片が含まれている。例えば、伝送メディアがビデオ信号である場合、“ｍｄａｔ”ボックスには、ＭＰＥＧ Ｖｉｄｅｏの符号化データが含まれる。図示のように、この符号化データは、Ｉピクチャ、Ｂピクチャなどの複数のピクチャの符号化データにより構成されている。

また、“ｍｏｏｆ”ボックスには、“ｔｆｄｔ”ボックスが含まれている。この“ｔｆｄｔ”ボックスには、「base Media Decode Time」の情報が含まれている。図８に示すように、「base Media Decode Time」は、セグメントタイムライン（SegmentTimeline）上の当該ムービーフラグメントの最初のデコード時刻（セグメントタイムライン上のタイムスケール単位の時刻）を示している。図示の例では、Ｉピクチャ（＃１のピクチャ）のデコード時刻である。

また、“ｍｏｏｆ”ボックスには、“ｔｒｕｎ”ボックスが含まれている。この“ｔｒｕｎ”ボックスには、「trun@sample」、「trun@dataoffset」、「trun@sample_duration」、「trun@sample_composition_time_offset」などの情報が含まれている。図８に示すように、「trun@sample」はサンプル数を示し、“ｔｒｕｎ”ボックスは、「trun@dataoffset」、「trun@sample_duration」、「trun@sample_composition_time_offset」の各情報をサンプル毎に備える。

図８に示すように、「trun@dataoffset」は各サンプルの先頭（バイト位置）を示し、「trun@sample_duration」は各サンプルの時間幅（duration）を示し、「trun@sample_composition_time_offset」はデコード時刻から表示時刻までのオフセット時間を示す。ここでサンプルとは、MPEG Videoの各ピクチャ―に相当する。

受信側においては、ＭＰＤファイルに含まれる「Period＠start」、「SegmentBase@timescale」、「SegmentTimeline S@t」の情報と、各ムービーフラグメント（Movie Fragment）に含まれる「base Media Decode Time」、「trun@sample_duration」、「trun@sample_composition_time_offset」の情報に基づいて、提示単位毎のデコード時刻（Decoding Time）および表示時刻（Presentation Time）を算出できる。

すなわち、図９に示すように、最初に、セグメントタイムライン（SegmentTimeline）の開始時刻である「Segment Timeline Initial Time」が、以下の数式（１）で求められる。
SegmentTimelineInitialTime
= Period@start ＋SegmentTimeline s@t/SegmentBase@timescale
・・・（１）

そして、図９に示すように、デコード時刻（Decoding Time）が、以下の数式（２）で求められる。
DecodingTime
＝ SegmentTimelineInitialTime
＋ (BaseMediaDecodeTime + Σ (SampleDuration) )/timescale
・・・（２）

また、図９に示すように、表示時刻（Presentation Time）が、以下の数式（３）で求められる。
PresentationTime
＝ DecodingTime＋CompositionTimeOffset)/timescale
・・・（３）

ＮＴＰ（Network Time Protocol）について説明する。図１０（ａ）に示すように、ＮＴＰサーバには、階層（Stratum）が存在し、番号が若いほど高精度となっている。例えば、階層１（Stratum 1）のＮＴＰサーバは原子時計と直結していて、時刻情報の誤差は１μs未満である。ＮＴＰサーバが提供する時刻情報は、１９００年１月１日からの積算秒数（ＵＴＣ：Coordinated Universal Time）で表現されている。

図１０（ｂ）は、ＮＴＰサーバが提供する時刻情報のフォーマット（NTP time stamp format）を示している。この時刻情報は、６４ビットフォーマットであり、上位３２ビットはＵＴＣの積算秒数を示し、下位３２ビットは秒未満を示している。

パーソナルコンピュータ、スマートフォンなどのクライアントからＮＴＰプロトコルでＮＴＰサーバにアクセスして時刻情報を取得するときには、どの階層のＮＴＰサーバにサクセスするか不明である。そのため、複数のＮＴＰサーバに同期アクセスして平均値を取ることで、ばらつきを抑え、より正確な時刻情報を得るようになされる。

［放送送出システムの構成］
図１１は、放送送出システム１００の構成例を示している。なお、図示の例においては、オーディオの送信系については、省略されている。この放送送出システム１００は、ＮＴＰ/ＩＰインタフェース１３１と、３２ビットレジスタ１３２ａ，１３２ｂを有している。また、この放送送出システム１００は、２７ＭＨｚのクロック（システムクロック）を生成する電圧制御発振器１３３と、時計部を構成する９ビットカウンタ１３４ａ、１７ビットカウンタ１３４ｂおよび３２ビットカウンタ１３４ｃと、ビット変換部１３５と、比較器１３６を有している。また、この放送送出システム１００は、ＮＴＰ−ＣＲパケット化部１３７と、ビデオエンコード処理部１３８と、ｆ−ＭＰ４パケット化部１３９と、エンコードバッファ１４０と、ＭＰＤ発生器１４１と、マルチプレクサ１４２を有している。

ＮＴＰ/ＩＰインタフェース１３１により、インターネット経由で図示しないＮＴＰサーバに所定の時間間隔でアクセスされ、６４ビットフォーマットの時刻情報（図１０（ｂ）参照）が取得される。３２ビットレジスタ１３２ａ，１３２ｂでは、ＮＴＰ/ＩＰインタフェース１３１で取得される６４ビットフォーマットの時刻情報が保持される。３２ビットレジスタ１３２ａには上位３２ビットのビットデータが保持され、３２ビットレジスタ１３２ｂには下位３２ビットのビットデータが保持される。３２ビットレジスタ１３２ａ，１３２ｂの保持内容は、ＮＴＰ/ＩＰインタフェース１３１で６４ビットフォーマットの時刻情報を取得する毎に更新される。

ここで時刻情報を取得する頻度が十分高い場合にはこのままの構成でよいが、低い場合にはレジスタ１３２ａ，１３２ｂはＮＴＰサーバの時計を再現するように自動的に時刻を示すカウンタとして継続動作することも考えられる。ここで、取得した時刻情報の下位３２ビットを示すレジスタ１３２ｂの出力がオール０となった時点で、時刻情報の上位３２ビットを示すレジスタ１３２ａの出力を３２ビットカウンタ１３４ｃの初期値としてセットし、かつ１７ビットカウンタ１３４ｂと９ビットカウンタ１３４ａをそれぞれオール０にセットする。この設定動作は放送送出システム１００が動作開始する1回のみに限定される。

電圧制御発振器１３３では、２７ＭＨｚのクロック（システムクロック）が発生される。９ビットカウンタ１３４ａでは、電圧制御発振器１３３から出力される２７ＭＨｚのクロックがカウントされて、３００分周され、９０ＫＨｚのクロックが出力される。１７ビットカウンタ１３４ｂでは、９ビットカウンタ１３４ａから出力される９０ＫＨｚのクロックがカウントされて、９００００分周されて、１Ｈｚのクロックが出力される。３２ビットカウンタ１３４ｃでは、１７ビットカウンタ１３４ｂから出力される１Ｈｚのクロックがカウントされて、秒精度の時刻情報（Regenerated UTC）である３２ビットのビット出力が得られる。

９ビットカウンタ１３４ａ、１７ビットカウンタ１３４ｂおよび３２ビットカウンタ１３４ｃの５８ビットのビット出力は、初期値からのカウンタ動作により、時刻情報としてのシステム・タイム・クロック（ＳＴＣ：System Time Clock）となる。このシステム・タイム・クロックはビット変換部１３５に入力される。

このビット変換部１３５では、例えば変換テーブルが使用されるなどして、９ビットカウンタ１３４ａおよび１７ビットカウンタ１３４ｂのビット出力が、３２ビットカウンタ１３４ｃのビット出力の下位に連続する３２ビット出力に変換される。この変換は、ＮＴＰサーバから取得される６４ビットフォーマットの時刻情報の下位３２ビットのビット出力に対応させるために行われる。ビット変換部１３５では、このように変換された３２ビット出力と３２ビットカウンタ１３４ｃのビット出力とを合わせた６４ビット出力が得られる。

比較器１３６では、３２ビットレジスタ１３２ａ，１３２ｂの保持内容が更新されるタイミングでビット変換部１３５からの６４ビットのビット出力がラッチされ、レジスタ保持内容、つまりＮＴＰサーバから取得された６４ビットフォーマットの時刻情報と比較される。そして、比較器１３６から電圧制御発振器１３３に、比較誤差信号が制御信号として供給される。

ここで、電圧制御発振器１３３、カウンタ１３４ａ，１３４ｂ，１３４ｃ、ビット変換部１３４および比較器１３６により、ＰＬＬ（Phase Locked Loop）回路が構成される。そのため、電圧制御発振器１３３では、ＮＴＰサーバから取得された６４ビットフォーマットの時刻情報に同期した２７ＭＨｚのクロック（システムクロック）が生成される。また、カウンタ１３４ａ，１３４ｂ，１３４ｃでは、この２７ＭＨｚのクロックの周波数情報を含み、ＮＴＰサーバから取得された６４ビットフォーマットの時刻情報に同期した、５８ビットの時刻情報が生成される。

この５８ビットの時刻情報は、ＮＴＰ−ＣＲパケット化部１３７に供給される。ＮＴＰ−ＣＲパケット化部１３７では、この５８ビットの時刻情報に基づき、２７ＭＨｚのクロックの周波数情報を持つＮＴＰ・クロック・リファレンス（ＮＴＰ_ＣＲ：NTP Clock Reference）を含むパケットが生成される。図１２（ａ）は、このＮＴＰ・クロック・リファレンスの構成を示している。このようにパケット化部１３７で生成されるＮＴＰ_ＣＲを含むパケットはマルチプレクサ１４２に供給される。

ビデオエンコード処理部１３８では、電圧制御発振器１３３で得られる２７ＭＨｚのクロックに同期して、送信すべきビデオデータの符号化が行われて、ビデオエレメンタリストリームが得られる。ｆ−ＭＰ４パケット化部１３９では、このように得られるビデオエレメンタリストリームが、所定時間分、例えば、１０秒分毎に断片化され、各断片を含むメディアセグメント（ＭＳ）が生成される。なお、このｆ−ＭＰ４パケット化部１３９では、初期化セグメント（ＩＳ）も生成される。このようにｆ−ＭＰ４パケット化部１３９で生成されるメディアセグメント（ＭＳ）および初期化セグメント（ＩＳ）は、エンコードバッファ１４０を通じてマルチプレクサ１４２に供給される。

また、ｆ−ＭＰ４パケット化部１３９では、伝送メディアとしてのビデオ信号の提示単位毎のデコード時刻および表示時刻を求めるための時間情報が、時計部を構成する９ビットカウンタ１３４ａから出力される９０ＫＨｚのクロックに基づいて、取得される。ここで言う時間情報は、各ムービーフラグメント（Movie Fragment）構成する“ｍｏｏｆ”ボックス内の“ｔｆｄｔ”ボックス挿入すべき「base Media Decode Time」と、その“ｍｏｏｆ”ボックス内の“ｔｒｕｎ”ボックスに挿入すべき各サンプルの「trun@sample_duration」である。

図１３は、ｆ−ＭＰ４パケット化部１３９内の時間情報取得部１５０の構成例を示している。この時間情報取得部１５０は、９０ＫＨｚカウンタ１５１と、ラッチ回路１５２，１５３，１５５と、減算器１５４を有している。９ビットカウンタ１３４ａから出力される９０ＫＨｚのクロック（図１４（ａ）参照）は、９０ＫＨｚカウンタ１５１にカウントクロックとして供給される。

また、この９０ＫＨｚカウンタ１５１には、ビデオエンコード処理部１３８から、セグメントタイムライン（SegmentTimeline）の開始時刻のタイミングで発生されるセグメントタイムライン・スタートパルス（Segment Timeline Start pulse）（図１４（ｂ）参照）がクリア信号として供給される。これにより、９０ＫＨｚカウンタ１５１のカウント値は、セグメントタイムラインの開始時刻で０にクリアされ、その後は９０ＫＨｚのクロックに同期してカウントアップされていく（図１４（ｃ）参照）。

９０ＫＨｚカウンタ１５１のカウント値は、ラッチ回路１５２に入力される。また、このラッチ回路１５２には、ビデオエンコード処理部１３８から、各ムービーフラグメント（Movie Fragment）の“ｍｄａｔ”ボックスに含まれるＧＯＰの最初のピクチャのデコード時刻のタイミングで発生されるフラグメント・スタートパルス（Fragment Start pulse）（図１４（ｄ）参照）がラッチパルスとして供給される。これにより、ラッチ回路１５２の出力として、各ムービーフラグメント（Movie Fragment）の“ｍｄａｔ”ボックス内の“ｔｆｄｔ”ボックスに挿入すべき「base Media Decode Time」の情報、つまりセグメントタイムラインの開始時刻からＧＯＰの最初のピクチャのデコード時刻までの時間長に対応するカウント値(図１４（ｅ）参照)が、順次得られる。

また、９０ＫＨｚカウンタ１５１のカウント値は、ラッチ回路１５３に入力される。また、このラッチ回路１５３には、ビデオエンコード処理部１３８から、各ムービーフラグメント（Movie Fragment）の“ｍｄａｔ”ボックスに含まれるＧＯＰの各ピクチャのデコード時刻のタイミングで発生されるピクチャ・スタートパルス（Picture Start pulse）（図１４（ｆ）参照）がラッチパルスとして供給される。これにより、ラッチ回路１５３の出力として、セグメントタイムラインの開始時刻から各ムービーフラグメントのＧＯＰの各ピクチャのデコード時刻までの時間長に対応するカウント値(図１４（ｇ）参照)が、順次得られる。

このラッチ回路１５３の出力は、減算器１５４に一方の入力として供給される。また、９０ＫＨｚカウンタ１５１のカウント値は、この減算器１５４に他方の入力として供給される。そして、この減算器２５４の出力として、９０ＫＨｚカウンタ１５１のカウント値からラッチ回路１５３の出力が減算されて得られた差分値が得られる。

この減算器１５４の出力は、ラッチ回路１５５に入力される。また、このラッチ回路１５５には、ビデオエンコード処理部１３８から、各ムービーフラグメント（Movie Fragment）の“ｍｄａｔ”ボックスに含まれるＧＯＰの各ピクチャのデコード時刻のタイミングで発生されるピクチャ・スタートパルス（Picture Start pulse）（図１４（ｆ）参照）がラッチパルスとして供給される。これにより、ラッチ回路１５５の出力として、各ムービーフラグメント（Movie Fragment）の“ｍｄａｔ”ボックス内の“ｔｒｕｎ”ボックスに挿入すべき「Sample Duration」の情報、つまりＧＯＰの各ピクチャ（各サンプル）の時間幅（duration）に対応するカウント値（図１４（ｈ）参照）が、順次得られる。

図１１に戻って、ＭＰＤ発生器１４１では、ＭＰＤファイル（図６参照）が生成され、このＭＰＤファイルを含むパケットが生成される。このパケットは、マルチプレクサ１４２に供給される。マルチプレクサ１４２では、各パケットを含むｆ−ＭＰ４方式のストリームが生成される。このｆ−ＭＰ４方式のストリームが放送波に載せて送信される。

なお、放送送出システムが、１３１〜１３７を同期信号生成器、１３８〜１４０をエンコーダ、１４２をマルチプレクサという形態の独立した装置の集合体として構成されることも想定される、その場合には、上記同期信号生成器からエンコーダのインタフェースとしては、２７ＭＨｚクロックを直接接続するのではなく、９０ＫＨｚクロックのみ、あるいはいわゆるＴＶ同期信号（水平・垂直同期信号）を同期信号生成器で生成してこれをエンコーダへ入力し、エンコーダでも２７ＭＨｚＶＣＯを上記ＴＶ同期信号にロックさせる方法をとることが考えられる。

［受信機の構成］
図１５は、受信機２００の構成例を示している。なお、図示の例においては、オーディオの受信系については、省略されている。この受信機２００は、デマルチプレクサ２３１と、２７ＭＨｚのクロック（システムクロック）を生成する電圧制御発振器２３２と、時計部を構成する９ビットカウンタ２３３ａ、１７ビットカウンタ２３３ｂおよび３２ビットカウンタ２３３ｃと、比較器２３４を有している。また、この受信機２００は、デコードバッファ２３５と、ＭＰＤ解析部２３６と、Ｍｏｏｆ解析部２３７と、ＤＴＳ/ＰＴＳ算出部２３８と、タイミングコントローラ２３９と、ビデオデコード処理部２４０を有している。

デマルチプレクサ２３１には、放送波に載せて送られてくるｆ−ＭＰ４方式のストリームが供給される。デマルチプレクサ２３１では、ＮＴＰ・クロック・リファレンス（ＮＴＰ_ＣＲ）を含むパケットからＮＴＰ_ＣＲが抽出される。選局時や電源投入時において、最初に受信した５８ビットのＮＴＰ＿ＣＲ はカウンタ２３３a、カウンタ２３３ｂおよびカウンタ２３３ｃからなる５８ビットのカウンタに初期値としてセットされる、その後に受信したこのＮＴＰ_ＣＲは、比較器２３４に供給される。

また、電圧制御発振器２３２で生成される２７ＭＨｚのクロックは９ビットカウンタ２３３ａでカウントされ、３００分周される。この９ビットカウンタ２３３ａで得られる９０ＫＨｚのクロックは１７ビットカウンタ２３３ｂでカウントされ、９００００分周される。そして、この１７ビットカウンタ２３３ｂで得られる１Ｈｚのクロックは３２ビットカウンタ２３３ｃでカウントされる。３２ビットカウンタ２３３ｃでは、秒精度の時刻情報（Regenerated UTC）である３２ビットのビット出力が得られる。

９ビットカウンタ２３３ａ、１７ビットカウンタ２３３ｂおよび３２ビットカウンタ２３３ｃの５８ビットのビット出力は、時刻情報としてのシステム・タイム・クロック（ＳＴＣ：System Time Clock）となる。このシステム・タイム・クロックは、比較器２３４に供給される。比較器２３４では、例えば、デマルチプレクサ２３１からＮＴＰ_ＣＲが供給されるタイミングで、システム・タイム・クロックがラッチされ、ＮＴＰ_ＣＲと比較される。

この比較器２３４から出力される比較誤差信号は、電圧制御発振器２３２に制御信号として供給される。ここで、電圧制御発振器２３２、カウンタ２３３ａ，２３３ｂ，２３３ｃおよび比較器２３４により、ＰＬＬ（Phase Locked Loop）回路が構成される。そのため、電圧制御発振器２３２ではＮＴＰ_ＣＲに同期した２７ＭＨｚのクロックが生成される。この２７ＭＨｚのクロックの周波数は、上述し放送送出システム１００の電圧制御発振器１３３で生成されるクロックの周波数と等しくなり、クロック同期が実現される。

また、カウンタ２３３ａ，２３３ｂ，２３３ｃでは、ＮＴＰ_ＣＲに同期したシステム・タイム・クロックが生成される。このシステム・タイム・クロックは、上述した放送送出システム１００のカウンタ１３４ａ，１３４ｂ，１３４ｃで生成されるシステム・タイム・クロックと合ったものとなる。そのため、上述したように、ｆ−ＭＰ４ストリームに９ビットカウンタ１３４ａから出力される９０ＫＨｚのクロックに基づいて取得された、ビデオ信号の提示単位毎のデコード時刻および表示時刻を求めるための時間情報が挿入されていることと相まって、提示同期が実現される。

また、デマルチプレクサ２３１では、ＭＰＤファイルを含むパケットからＭＰＤファイルが抽出される。このＭＰＤファイルはＭＰＤ解析部２３６に供給される。ＭＰＤ解析部２３６では、ＭＰＤファイルが解析されて、「Period＠start」、「SegmentTemplete@timescale」、「SegmentTimeline S@t」の情報が取り出されて、ＤＴＳ/ＰＴＳ算出部２３８に供給される。

また、デマルチプレクサ２３１では、初期化セグメント（ＩＳ）およびメディアセグメント（ＭＳ）が抽出される。この場合、初期化セグメント（ＩＳ）が抽出された後に、その後に送られてくるメディアセグメント（ＭＳ）が抽出される。

また、デマルチプレクサ２３１では、初期化セグメント（ＩＳ）から復号処理の初期化情報などが取り出されて、デコードバッファ２３５を通じてビデオデコード処理部２４０に供給される。ビデオデコード処理部２４０では、例えば、復号処理の初期化情報に基づいて、初期化が行われる。

また、デマルチプレクサ２３１では、抽出された各メディアセグメント（ＭＳ）のデパケット化が行われ、各ムービーフラグメント（Movie Fragment）の“ｍｄａｔ”ボックスに含まれている各ピクチャの符号化ビデオデータが取り出される。このように取りされた各ピクチャの符号化ビデオデータは、デコードバッファ２３５に一時的に蓄積される。

また、デマルチプレクサ２３１では、抽出された各メディアセグメント（ＭＳ）の各ムービーフラグメント（Movie Fragment）の“ｍｏｏｆ”ボックスが抽出される。この“ｍｏｏｆ”ボックスは、ｍｏｏｆ解析部２３７に供給される。ｍｏｏｆ解析部２３７では、ｍｏｏｆ”ボックス内の“ｔｆｄｔ”ボックスに含まれている「base Media Decode Time」の情報が取り出される。また、ｍｏｏｆ解析部２３７では、“ｍｏｏｆ”ボックス内の“ｔｒｕｎ”ボックスが含まれている「trun@sample_duration」、「trun@sample_composition_time_offset」の情報が取り出される。このように取り出された情報は、ＤＴＳ/ＰＴＳ算出部２３８に供給される。

ＤＴＳ/ＰＴＳ算出部２３８では、ＭＰＤ解析部２３６から供給される情報およびｍｏｏｆ解析部２３７から供給される情報に基づいき、デコードバッファ２３５に蓄積されている各ピクチャの符号化ビデオデータに対応した、デコード時刻（ＤＴＳ： Decoding Time Stamp）と、表示時刻（ＰＴＳ： Presentation TimeStamp）を算出する。

この場合、デコード時刻および表示時刻は、それぞれ、秒部分と、９０ＫＨｚのクロックのカウント値で示されるサブ秒部分に分けて算出される。ここで、「Period＠start」は、ＮＴＰベースであるが、秒精度であると想定する。また、その他のパラメータ（情報）は、全て、９０ＫＨｚのクロックのカウント値で示される。そのため、ＤＴＳ/ＰＴＳ算出部２３８は、当該その他のパラメータについては足し合わせた値を９００００で割り、その割り算の商を秒精度の「Period@start」と足し合わせて、上位３２ビット分とし、その割り算の剰余を下位１７ビット分とする。

デコード時刻（ＤＴＳ）および表示時刻（ＰＴＳ）における、上位３２ビット（秒部分）および下位１７ビット（サブ秒部分）の算出式を示す。

デコード時刻（ＤＴＳ）の算出式は、以下の通りである。
Decoding Time
上位32bit:
Period@start+ Period@start ＋(SegmentTimeline s@t＋BaseMediaDecodeTime + Σ (SampleDuration) )/90000
下位17bit：
Mod(SegmentTimeline s@t＋BaseMediaDecodeTime + Σ (SampleDuration) ,90000)

また、表示時刻（ＰＴＳ）の算出式は、以下の通りである。
Presentation Time
上位32bit:
Period@start+ Period@start ＋(SegmentTimeline s@t＋BaseMediaDecodeTime + Σ (SampleDuration) ＋CompositionTimeOffset )/90000
下位17bit：
Mod(SegmentTimeline s@t＋BaseMediaDecodeTime + Σ (SampleDuration) ＋CompositionTimeOffset ,90000)

上述したように、カウンタ２３３ａ，２３３ｂ，２３３ｃで生成されるシステム・タイム・クロック（時刻情報）は、放送送出システム１００のカウンタ１３４ａ，１３４ｂ，１３４ｃで生成されるシステム・タイム・クロック（時刻情報）に、同期したものとなる。３２ビットカウンタ２３３ｃのカウント値（秒部分）と、１７ビットカウンタ２３３ｂのカウント値（サブ秒部分で、９０ＫＨｚのクロックのカウント値）は、タイミングコントローラ２３９に供給される。また、タイミングコントローラ２３９には、ＤＴＳ/ＰＴＳ算出部２３８で算出された、デコードバッファ２３５に蓄積されている各ピクチャの符号化ビデオデータに対応した、デコード時刻（ＤＴＳ）および表示時刻（ＰＴＳ）が供給される。

タイミングコントローラ２３９では、ビデオデコード処理部２３８に対して、デコードバッファ２３５に蓄積されている各ピクチャの符号化ビデオデータに対する、デコード指示および提示指示が行われる。この場合、タイミングコントローラ２３９は、それらの指示を、カウンタ２３３ｃのカウント値（秒部分）とカウンタ２３３ｂのカウント値（サブ秒部分）を参照し、ＤＴＳ/ＰＴＳ算出部２３８から供給されるデコード時刻（ＤＴＳ）および表示時刻（ＰＴＳ）に基づいて、それぞれのタイミングで指示を行う。なお、この場合、タイミングコントローラ２３９は、デコード時刻（ＤＴＳ）や表示時刻（ＰＴＳ）になったことの判断を、秒部分とサブ秒部分とのマッチングをそれぞれとることで行う。

ビデオデコード処理部２４０では、タイミングコントローラ２３９からの指示に基づいて、デコードバッファ２３５に蓄積されている各ピクチャの符号化ビデオデータのデコード処理を行って出力する。この場合、ビデオデコード処理部２３８は、デコード指示に従ってデコードバッファ２３５から処理対象のピクチャの符号化ビデオデータを取り込んでデコードし、その後、提示指示に従ってデコード後のビデオデータを出力する。

図１６のフローチャートは、上述した受信機２００における同期制御処理の処理手順の一例を示している。受信機２００は、ステップＳＴ１において、処理を開始する。その後、受信機２００は、ステップＳＴ２において、ＭＰＤファイルを受信したか否かを判断する。受信したとき、受信機２００は、ステップＳＴ３において、ＭＰＤファイルを解析し、ステップＳＴ４において、その解析で得られた「Period＠start」、「SegmentTemplete@timescale」、「SegmentTimeline S@t」の情報に基づいて、セグメントタイムライン（SegmentTimeline）の開始時刻である「Segment Timeline Initial Time」を算出する。受信機２００は、ステップＳＴ４の処理の後、ステップＳＴ５の処理に移る。ステップＳＴ３でＭＰＤファイルを受信していないとき、受信機２００は、直ちに、ステップＳＴ５の処理に移る。

ステップＳＴ５において、受信機２００は、メディアセグメント（ＭＳ）を構成するムービーフラグメント（Movie Fragment）を受信したか否かを判断する。受信したとき、ステップＳＴ６において、“ｍｏｏｆ”ボックスを解析する。そして、受信機２００は、ステップＳＴ７において、ステップＳＴ４で算出した「Segment Timeline Initial Time」と、その解析で得られた「base Media Decode Time」、「trun@sample_duration」、「trun@sample_composition_time_offset」の情報に基づいて、ムービーフラグメント（Movie Fragment）に含まれる各ピクチャのデコード時刻（ＤＴＳ）および表示時刻（ＰＴＳ）を算出する。

次に、受信機２００は、ステップＳＴ８において、デコード時刻（ＤＴＳ）になったか否かを判断する。デコード時刻（ＤＴＳ）になったとき、受信機２００は、ステップＳＴ９において、タイミングコントローラ２３９からビデオデコード処理部２３８に対して、対象のピクチャの符号化ビデオデータのデコード指示を行う。その後、受信機２００は、ステップＳＴ１０の処理に移る。また、ステップＳＴ８でデコード時刻（ＤＴＳ）になっていないとき、受信機２００は、直ちに、ステップＳＴ１０の処理に移る。

このステップＳＴ１０において、受信機２００は、表示時刻（ＰＴＳ）になったか否かを判断する。表示時刻（ＰＴＳ）になったとき、受信機２００は、ステップＳＴ１１において、タイミングコントローラ２３９からビデオデコード処理部２３８に対して、対象のピクチャの提示指示、つまりデコード後のビデオデータの出力指示を行う。受信機２００は、このステップＳＴ１１の処理の後、ステップＳＴ２の処理に戻る。また、ステップＳＴ１０で表示時刻（ＰＴＳ）になっていないとき、受信機２００は、直ちに、ステップＳＴ１０の処理に戻る。

上述したように、図１に示す送受信システム１０においては、放送送出システム１００から送信される放送波に載せるストリームに、時刻情報サーバから取得された時刻情報に同期した２７ＭＨｚのクロックの周波数情報を持つ時刻情報を持つパケットが含まれるものである。そのため、受信側では、この時刻情報に基づいて送信側と同様の２７ＭＨｚのクロック（システムクロック）を生成でき、クロック同期の実現が可能となる。

また、図１に示す送受信システム１０においては、放送送出システム１００から送信される放送波に載せるストリームに含まれるメディアセグメント（伝送メディアパケット）に挿入する、ビデオやオーディオの信号などの伝送メディアの提示単位毎のデコード時刻および表示時刻を求めるための時間情報が、時計部で得られる９０ＫＨｚのクロックに基づいて取得されるものである。そのため、受信側では、ストリームに含まれる時刻情報に基づいて生成される２７ＭＨｚのクロックの周波数情報を含む時刻情報と、伝送メディアの提示単位毎にメディアセグメントに挿入されている時間情報により求められるデコード時刻（ＤＴＳ）および表示時刻（ＰＴＳ）とに基づき、提示同期の実現が可能となる。

＜２．変形例＞
なお、上述実施の形態において、放送波に載せられるストリームがｆ−ＭＰ４方式のストリームである例を示した。本技術は、放送波に載せられるストリームがｆ−ＭＰ４方式のストリームに限定されるものではなく、その他の同等のストリームである場合にも同様に適用ものである。

また、上述実施の形態においては、放送送出システム１００の電圧制御発振器１３３や受信機２００の電圧制御発振器２３２で２７ＭＨｚのクロックを生成する例を示した。また、上述実施の形態においては、放送送出システム１００のＦ−ＭＰ４パケット化部１３９では、９０ＫＨｚのクロックに基づいて、伝送メディアパケット（メディアセグメント）に挿入すべき時間情報を生成する例を示した。しかし、本技術は、上述の２７ＭＨｚや９０ＫＨｚに必ずしも限定されるものではなく、その他の周波数である場合にも同様に適用できるものである。

また、本技術は、以下のような構成を取ることもできる。
（１）時刻情報サーバから取得された時刻情報に同期した第１の周波数のクロックを生成するクロック生成部と、
上記クロック生成部で生成された上記第１の周波数のクロックの周波数情報を含む上記時刻情報サーバから取得された時刻情報に同期した時刻情報を生成する時刻情報生成部と、
伝送メディアを符号化する符号化部と、
上記符号化部で符号化された伝送メディアを所定の単位で断片化し、各断片を含む伝送メディアパケットを生成するパケット化部と、
上記パケット化部で生成された伝送メディアパケット、上記時刻情報生成部で生成された時刻情報を持つ時刻情報パケットおよび制御信号を持つ制御信号パケットを時分割的に含むストリームを放送波にのせて送信する送信部を備える
送信装置。
（２）上記パケット化部は、
上記時刻情報生成部で得られる第２の周波数のクロックに基づいて、上記伝送メディアパケットに挿入する、上記伝送メディアの提示単位毎のデコード時刻および表示時刻を求めるための時間情報を取得する
前記（１）に記載の送信装置。
（３）上記第１の周波数は２７ＭＨｚであり、上記第２の周波数は９０ＫＨｚである
前記（２）に記載の送信装置。
（４）上記パケット化部で生成される伝送メディアパケットは、所定数のムービーフラグメントを含むメディアセグメントであり、
上記パケット化部は、
上記ムービーフラグメントを構成するｍｏｏｆボックス内のｔｆｄｔボックスおよびｔｒｕｎボックスに挿入する上記時間情報を取得する
前記（２）または（３）に記載の送信装置。
（５）上記第１の周波数は２７ＭＨｚである
前記（１）に記載の送信装置。
（６）上記時刻情報生成部は、
上記クロック生成部で生成される上記２７ＭＨｚのクロックをカウントして３００分周する９ビットカウンタと、該９ビットカウンタの分周出力をカウントして９００００分周する１７ビットカウンタと、該１７ビットカウンタの分周出力をカウントする３２ビットカウンタとを有する
前記（５）に記載の送信装置。
（７）時刻情報サーバから取得された時刻情報に同期した第１の周波数のクロックを生成するクロック生成ステップと、
上記クロック生成ステップで生成された上記第１の周波数のクロックの周波数情報を含む上記時刻情報サーバから取得された時刻情報に同期した時刻情報を生成する時刻情報生成ステップと、
伝送メディアを符号化する符号化ステップと、
上記符号化ステップで符号化された伝送メディアを所定の単位で断片化し、各断片を含む伝送メディアパケットを生成するパケット化ステップと、
上記パケット化ステップで生成された伝送メディアパケット、上記時刻情報生成ステップで生成された時刻情報を持つパケットおよび制御信号を持つパケットを時分割的に含む送信信号を送信する送信ステップを有する
送信方法。
（８）符号化された伝送メディアが断片化されて得られた断片を持つ伝送メディアパケット、第１の周波数のクロックの周波数情報を含む、時刻情報サーバから取得された時刻情報に同期した時刻情報を持つ時刻情報パケットおよび制御信号を持つ制御信号パケットを時分割的に含むストリームが載せられた放送波を受信する受信部と、
上記時刻情報パケットが持つ時刻情報に基づいて、上記第１の周波数のクロックを生成するクロック生成部と、
上記クロック生成部で生成された上記第１の周波数のクロックの周波数情報を含む上記時刻情報サーバから取得された時刻情報に同期した時刻情報を生成する時刻情報生成部と、
上記伝送メディアパケットに挿入されている時間情報に基づいて、上記伝送メディアの提示単位毎のデコード時刻および表示時刻を求める時刻算出部と、
上記受信部で受信された伝送メディアパケットに含まれる符号化された伝送メディアを、提示単位毎に、上記時刻算出部で算出されたデコード時刻および表示時刻と、上記時刻情報算出部で生成された時刻情報とに基づいて処理する処理部を備える
受信装置。
（９）上記第１の周波数は２７ＭＨｚである
前記（８）に記載の受信装置。
（１０）上記時刻情報生成部は、
上記クロック生成部で生成される上記２７ＭＨｚのクロックをカウントして３００分周する９ビットカウンタと、該９ビットカウンタの分周出力をカウントして９００００分周する１７ビットカウンタと、該１７ビットカウンタの分周出力をカウントする３２ビットカウンタとを有し、秒部分と、９０ＫＨｚのクロックのカウント値で示されるサブ秒部分とを持つ時刻情報を生成し、
上記時刻算出部は、
上記デコード時刻および上記表示時刻を、それぞれ、秒部分と、９０ＫＨｚのクロックのカウント値で示されるサブ秒部分に分けて算出する
前記（９）に記載の受信装置。
（１１）上記受信部で受信される伝送メディアパケットは、所定数のムービーフラグメントを含むメディアセグメントであり、
上記ムービーフラグメントを構成するｍｏｏｆボックス内のｔｆｄｔボックスおよびｔｒｕｎボックスに、上記伝送メディアの提示単位毎のデコード時刻および表示時刻を求めるための時間情報が挿入されている
前記（８）から（１０）のいずれかに記載の受信装置。
（１２）符号化された伝送メディアが断片化されて得られた断片を含む伝送メディアパケット、第１の周波数のクロックの周波数情報を含む、時刻情報サーバから取得された時刻情報に同期した時刻情報を持つ時刻情報パケットおよび制御信号を含む制御信号パケットを時分割的に含むストリームが載せられた放送波を受信する受信ステップと、
上記伝送メディアパケットに挿入されている時間情報に基づいて、上記伝送メディアの提示単位毎のデコード時刻および表示時刻を求める時刻算出ステップと、
上記時刻情報パケットが持つ時刻情報に基づいて、上記第１の周波数のクロックを生成するクロック生成ステップと、
上記クロック生成ステップで生成された上記第１の周波数のクロックの周波数情報を含む上記時刻情報サーバから取得された時刻情報に同期した時刻情報を生成する時刻情報生成ステップと、
上記受信ステップで受信された伝送メディアパケットに含まれる符号化された伝送メディアを、提示単位毎に、上記時刻算出部で算出されたデコード時刻および表示時刻と、上記時刻情報生成ステップで生成された時刻情報とに基づいて処理する処理ステップを有する
受信方法。

１０・・・送受信システム
１００・・・放送送出システム
１３１・・・ＮＴＰ/ＩＰインタフェース
１３２ａ，１３２ｂ・・・３２ビットレジスタ
１３３・・・電圧制御発振器
１３４ａ・・・９ビットカウンタ
１３４ｂ・・・１７ビットカウンタ
１３４ｃ・・・３２ビットカウンタ
１３５・・・ビット変換部
１３６・・・比較器
１３７・・・ＮＴＰ−ＣＲパケット化部
１３８・・・ビデオエンコード処理部
１３９・・・ｆ−ＭＰ４パケット化部
１４０・・・エンコードバッファ
１４１・・・ＭＰＤ発生器
１４２・・・マルチプレクサ
１５０・・・時間情報取得部
１５１・・・９０ＫＨｚカウンタ
１５２，１５３，１５５・・・ラッチ回路
１５４・・・減算器
２００・・・受信機
２３１・・・デマルチプレクサ
２３２・・・電圧制御発振器
２３３ａ・・・９ビットカウンタ
２３３ｂ・・・１７ビットカウンタ
２３３ｃ・・・３２ビットカウンタ
２３４・・・比較器
２３５・・・デコードバッファ
２３６・・・ＭＰＤ解析部
２３７・・・Ｍｏｏｆ解析部
２３８・・・ＤＴＳ/ＰＴＳ算出部
２３９・・・タイミングコントローラ
２４０・・・ビデオデコード処理部

Claims (12)

1. 時刻情報サーバから取得された時刻情報に同期した第１の周波数のクロックを生成するクロック生成部と、
   上記クロック生成部で生成された上記第１の周波数のクロックの周波数情報を含む上記時刻情報サーバから取得された時刻情報に同期した時刻情報を生成する時刻情報生成部と、
   伝送メディアを符号化する符号化部と、
   上記符号化部で符号化された伝送メディアを所定の単位で断片化し、各断片を含む伝送メディアパケットを生成するパケット化部と、
   上記パケット化部で生成された伝送メディアパケット、上記時刻情報生成部で生成された時刻情報を持つ時刻情報パケットおよび制御信号を持つ制御信号パケットを時分割的に含むストリームを放送波にのせて送信する送信部を備える
   送信装置。
2. 上記パケット化部は、
   上記時刻情報生成部で得られる第２の周波数のクロックに基づいて、上記伝送メディアパケットに挿入する、上記伝送メディアの提示単位毎のデコード時刻および表示時刻を求めるための時間情報を取得する
   請求項１に記載の送信装置。
3. 上記第１の周波数は２７ＭＨｚであり、上記第２の周波数は９０ＫＨｚである
   請求項２に記載の送信装置。
4. 上記パケット化部で生成される伝送メディアパケットは、所定数のムービーフラグメントを含むメディアセグメントであり、
   上記パケット化部は、
   上記ムービーフラグメントを構成するｍｏｏｆボックス内のｔｆｄｔボックスおよびｔｒｕｎボックスに挿入する上記時間情報を取得する
   請求項２に記載の送信装置。
5. 上記第１の周波数は２７ＭＨｚである
   請求項１に記載の送信装置。
6. 上記時刻情報生成部は、
   上記クロック生成部で生成される上記２７ＭＨｚのクロックをカウントして３００分周する９ビットカウンタと、該９ビットカウンタの分周出力をカウントして９００００分周する１７ビットカウンタと、該１７ビットカウンタの分周出力をカウントする３２ビットカウンタとを有する
   請求項５に記載の送信装置。
7. 時刻情報サーバから取得された時刻情報に同期した第１の周波数のクロックを生成するクロック生成ステップと、
   上記クロック生成ステップで生成された上記第１の周波数のクロックの周波数情報を含む上記時刻情報サーバから取得された時刻情報に同期した時刻情報を生成する時刻情報生成ステップと、
   伝送メディアを符号化する符号化ステップと、
   上記符号化ステップで符号化された伝送メディアを所定の単位で断片化し、各断片を含む伝送メディアパケットを生成するパケット化ステップと、
   上記パケット化ステップで生成された伝送メディアパケット、上記時刻情報生成ステップで生成された時刻情報を持つパケットおよび制御信号を持つパケットを時分割的に含むストリームを放送波にのせて送信する送信ステップを有する
   送信方法。
8. 符号化された伝送メディアが断片化されて得られた断片を持つ伝送メディアパケット、第１の周波数のクロックの周波数情報を含む、時刻情報サーバから取得された時刻情報に同期した時刻情報を持つ時刻情報パケットおよび制御信号を持つ制御信号パケットを時分割的に含むストリームが載せられた放送波を受信する受信部と、
   上記時刻情報パケットが持つ時刻情報に基づいて、上記第１の周波数のクロックを生成するクロック生成部と、
   上記クロック生成部で生成された上記第１の周波数のクロックの周波数情報を含む上記時刻情報サーバから取得された時刻情報に同期した時刻情報を生成する時刻情報生成部と、
   上記伝送メディアパケットに挿入されている時間情報に基づいて、上記伝送メディアの提示単位毎のデコード時刻および表示時刻を求める時刻算出部と、
   上記受信部で受信された伝送メディアパケットに含まれる符号化された伝送メディアを、提示単位毎に、上記時刻算出部で算出されたデコード時刻および表示時刻と、上記時刻情報生成部で生成された時刻情報とに基づいて処理する処理部を備える
   受信装置。
9. 上記第１の周波数は２７ＭＨｚである
   請求項８に記載の受信装置。
10. 上記時刻情報生成部は、
    上記クロック生成部で生成される上記２７ＭＨｚのクロックをカウントして３００分周する９ビットカウンタと、該９ビットカウンタの分周出力をカウントして９００００分周する１７ビットカウンタと、該１７ビットカウンタの分周出力をカウントする３２ビットカウンタとを有し、秒部分と、９０ＫＨｚのクロックのカウント値で示されるサブ秒部分とを持つ時刻情報を生成し、
    上記時刻算出部は、
    上記デコード時刻および上記表示時刻を、それぞれ、秒部分と、９０ＫＨｚのクロックのカウント値で示されるサブ秒部分に分けて算出する
    請求項９に記載の受信装置。
11. 上記受信部で受信される伝送メディアパケットは、所定数のムービーフラグメントを含むメディアセグメントであり、
    上記ムービーフラグメントを構成するｍｏｏｆボックス内のｔｆｄｔボックスおよびｔｒｕｎボックスに、上記伝送メディアの提示単位毎のデコード時刻および表示時刻を求めるための時間情報が挿入されている
    請求項８に記載の受信装置。
12. 符号化された伝送メディアが断片化されて得られた断片を含む伝送メディアパケット、第１の周波数のクロックの周波数情報を含む、時刻情報サーバから取得された時刻情報に同期した時刻情報を持つ時刻情報パケットおよび制御信号を含む制御信号パケットを時分割的に含むストリームが載せられた放送波を受信する受信ステップと、
    上記伝送メディアパケットに挿入されている時間情報に基づいて、上記伝送メディアの提示単位毎のデコード時刻および表示時刻を求める時刻算出ステップと、
    上記時刻情報パケットが持つ時刻情報に基づいて、上記第１の周波数のクロックを生成するクロック生成ステップと、
    上記クロック生成ステップで生成された上記第１の周波数のクロックの周波数情報を含む上記時刻情報サーバから取得された時刻情報に同期した時刻情報を生成する時刻情報生成ステップと、
    上記受信ステップで受信された伝送メディアパケットに含まれる符号化された伝送メディアを、提示単位毎に、上記時刻算出部で算出されたデコード時刻および表示時刻と、上記時刻情報生成ステップで生成された時刻情報とに基づいて処理する処理ステップを有する
    受信方法。

Images