JP5708866B1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JP5708866B1
JP5708866B1 JP2014112002A JP2014112002A JP5708866B1 JP 5708866 B1 JP5708866 B1 JP 5708866B1 JP 2014112002 A JP2014112002 A JP 2014112002A JP 2014112002 A JP2014112002 A JP 2014112002A JP 5708866 B1 JP5708866 B1 JP 5708866B1
Authority
JP
Japan
Prior art keywords
time
presentation
information
unit
presentation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014112002A
Other languages
English (en)
Other versions
JP2015207984A (ja
Inventor
北里 直久
直久 北里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2014112002A priority Critical patent/JP5708866B1/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to PCT/JP2014/080561 priority patent/WO2015155907A1/ja
Priority to BR112016022965-7A priority patent/BR112016022965B1/pt
Priority to EP14888953.8A priority patent/EP3131301B1/en
Priority to US15/116,463 priority patent/US9942292B2/en
Priority to CN201480077769.1A priority patent/CN106134208B/zh
Application granted granted Critical
Publication of JP5708866B1 publication Critical patent/JP5708866B1/ja
Publication of JP2015207984A publication Critical patent/JP2015207984A/ja
Priority to PH12016501971A priority patent/PH12016501971A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/38Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
    • H04H60/40Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0635Clock or time synchronisation in a network
    • H04J3/0638Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658Clock or time synchronisation among packet nodes
    • H04J3/0661Clock or time synchronisation among packet nodes using timestamps
    • H04J3/0664Clock or time synchronisation among packet nodes using timestamps unidirectional timestamps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/09Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
    • H04H60/13Arrangements for device control affected by the broadcast information

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Electric Clocks (AREA)
  • Circuits Of Receivers In General (AREA)

Abstract

【課題】IP方式で伝送する放送方式においてクロック同期、提示同期を良好に実現する。【解決手段】外部から取得された時刻情報に同期したクロックを生成する。このクロックの周波数情報を含む、外部から取得された時刻情報に同期した時刻情報を生成する。伝送メディアと、生成された時刻情報に基づいて得られた伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、生成された時刻情報を含む放送信号を送信する。【選択図】図33

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ビデオ、オーディオなどの伝送メディアを含むIP方式の放送信号を送信する送信装置等に関する。
次世代の放送方式として、IPプロトコルをベースにMP4 ISO Base Media File Formatに基づいたコンテンツフォーマットで伝送するMMT等の伝送方式が検討されている(例えば、非特許文献1参照)。MP4 ISO Base Media File Formatにより、従来のMPEG2 Systemsで供給されていたピクチャ単位のPTS/DTSを得るために、moof boxというメタデータに相当する時刻情報を伝送することが可能である。
この場合、効率的な伝送を行うためには、GOP単位の符号化データに対するメタデータをまとめて伝送することが要求される。その場合、送信側か受信側においてGOP分の遅延(delay)を持たせる必要があり、全体の遅延量がGOP分増えて低遅延の要求に合致しなくなる。また、上記メタデータがGOP分まとまっていることによりパケットロスによる影響が大きくなる。
Study of ISO/IEC CD 23008-1 MPEG Media Transport ,[online],[平成25年5月7日検索]、インターネット<URL: http://mpeg.chiariglione.org/standards/mpeg-h/mpeg-media-transport>
本技術の目的は、IP方式で伝送する放送方式においてクロック同期、提示同期を良好に実現することにある。
本技術の概念は、
外部から取得された時刻情報に同期したクロックを生成するクロック生成部と、
上記クロック生成部で生成されたクロックの周波数情報を含む上記外部から取得された時刻情報に同期した時刻情報を生成する時刻情報生成部と、
伝送メディアと、上記時刻情報生成部で生成された時刻情報に基づいて得られた該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、上記時刻情報生成部で生成された時刻情報を含む放送信号を送信する送信部とを備える
送信装置にある。
本技術において、クロック生成部により、外部から取得された時刻情報に同期したクロックが生成される。例えば、時刻情報は、NTP(Network Time Protocol)によりNTPサーバから、あるいはIEEE1588PTPにより他の装置から、NTPロングフォーマット(NTP long format)で取得される。
時刻情報生成部により、クロック生成部で生成されたクロックの周波数情報を含む、外部から取得された時刻情報に同期した時刻情報が生成される。例えば、クロック生成部で生成されるクロックの周波数は2**nHzである、ようにされてもよい。これにより、時刻情報生成部で、NTPロングフォーマットに対応した時刻情報を生成することが可能となる。
送信部により、伝送メディアと、時刻情報生成部で生成された時刻情報に基づいて得られた伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻情報と、時刻情報生成部で生成された時刻情報を含む放送信号が送信される。
例えば、時刻取得情報は、伝送メディアの所定数の提示単位からなる提示単位グループ毎に、提示単位グループの最初の提示単位の提示時刻と、提示単位グループの各提示単位のデコード時刻および提示時刻を最初の提示単位の提示時刻を参照して算出するための時間長情報とからなる、ようにされてもよい。
例えば、時間長情報は、最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、各提示単位の時間長を示す情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる、ようにされてもよい。この場合、各提示単位の時間長が固定である場合には、時間長情報の送信に必要とするビット数を抑制することが可能となる。
また、例えば、時間長情報は、各提示単位の、最初の提示単位の提示時刻からのオフセット時間長で示したデコード時刻情報と、デコード時刻からのオフセット時間長で示した提示時刻情報とからなる、ようにされてもよい。この場合、各提示単位のデコード時刻のそれぞれを最初の提示単位の提示時刻にオフセット時間長で示したデコード時刻情報を加算することで求めることができ、算出処理が簡単となる。
また、例えば、時間長情報は、最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、2番目以降の各提示単位の前の提示単位のデコード時刻からのオフセット時間長で示したデコード時刻情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる、ようにされてもよい。この場合、2番目以降のデコード時刻情報が各提示単位の前の提示単位のデコード時刻からのオフセット時間長で示されることから、このデコード時刻情報に必要とするビット数を抑制することが可能となる。
例えば、放送信号は、伝送メディアを含む第1のパケットと、伝送メディアに関する情報を含む第2のパケットと、時刻情報生成部で生成された時刻情報を含む第3のパケットを持ち、最初の提示時刻および時間長情報は、第2のパケットに挿入される、ようにされてもよい。この場合、時間長情報が伝送メディアに関する情報を含む第2のパケットに挿入されることから、受信側でデコード時刻および提示時刻による処理を行うための遅延を低く抑えることが可能となる。
また、例えば、放送信号は、伝送メディアを含む第1のパケットと、伝送メディアに関する情報を含む第2のパケットと、時刻情報生成部で生成された時刻情報を含む第3のパケットを持ち、最初の提示時刻は、第2のパケットに挿入され、時間長情報は、第1のパケットに挿入される、ようにされてもよい。この場合、時間長情報が伝送メディアを含む第1の伝送パケットに挿入されることから、受信側でデコード時刻および提示時刻による処理を行うための遅延を低く抑えることが可能となる。
この場合、例えば、時間長情報は、第1のパケットの拡張ヘッダに挿入される、ようにされてもよい。そして、この場合、例えば、第1のパケットには、提示単位の先頭が含まれるとき、拡張ヘッダが設けられる、ようにされてもよい。これにより、発生情報量を抑え、帯域節約を図ることが可能となる。また、この場合、例えば、第1のパケットには、常に、拡張ヘッダが設けられ、この拡張ヘッダには、この第1のパケットに提示単位の先頭が含まれるか否かを示すフラグ情報がさらに挿入される、ようにされてもよい。これにより、ヘッダ情報量の乱れを抑えることができ、受信側におけるヘッダ処理の単純化が可能となる。
このように本技術においては、放送信号に、外部から取得された時刻情報に同期したクロックの周波数情報を含む時刻情報が含まれるものである。そのため、受信側では、この時刻情報に基づいて送信側と同様のクロック(システムクロック)を生成でき、クロック同期の実現が可能となる。
また、本技術においては、放送信号に、さらに、外部から取得された時刻情報に同期したクロックの周波数情報を含み、この外部から取得された時刻情報に同期した時刻情報に基づいて得られた伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報が含まれるものである。そのため、受信側では、送信信号に含まれる時刻情報に基づいて生成される時刻情報と、伝送メディアの提示単位毎の提示時刻情報とに基づき、提示同期の実現が可能となる。
また、本技術の他の概念は、
伝送メディアと、該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、外部から取得された時刻情報に同期したクロックの周波数情報を含み、上記外部から取得された時刻情報に同期した時刻情報を含む放送信号を受信する受信部と、
上記放送信号に含まれる時刻情報に基づいてクロックを生成し、該クロックを用いて該時刻情報と同期した時刻情報を生成する時刻情報生成部と、
上記放送信号に含まれる上記時刻取得情報に基づいて、上記伝送メディアの提示単位毎のデコード時刻および提示時刻を求める時刻算出部と、
上記放送信号に含まれる伝送メディアを、提示単位毎に、上記時刻算出部で算出されたデコード時刻および提示時刻と、上記時刻情報生成部で生成された時刻情報とに基づいて処理する処理部を備える
受信装置にある。
本技術において、受信部により、放送信号が受信される。この放送信号には、伝送メディアと、この伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、外部から取得された時刻情報に同期したクロックの周波数情報を含み、外部から取得された時刻情報に同期した時刻情報が含まれる。
例えば、伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報は、伝送メディアの所定数の提示単位からなる提示単位グループ毎に、提示単位グループの最初の提示単位の提示時刻と、提示単位グループの各提示単位のデコード時刻および提示時刻を最初の提示単位の提示時刻を参照して算出するための時間長情報とからなる、ようにされてもよい。そして、この場合、時間長情報は、最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、各提示単位の時間長を示す情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる、ようにされてもよい。
また、例えば、放送信号は、伝送メディアを含む第1のパケットと、伝送メディアに関する情報を含む第2のパケットと、時刻情報を含む第3のパケットを持ち、最初の提示時刻および時間長情報は、第2のパケットに挿入されている、ようにされてもよい。また、例えば、放送信号は、伝送メディアを含む第1のパケットと、伝送メディアに関する情報を含む第2のパケットと、時刻情報を含む第3のパケットを持ち、最初の提示時刻は、第2のパケットに挿入され、時間長情報は、第1のパケットに挿入されている、ようにされてもよい。
時刻情報生成部により、放送信号に含まれる時刻情報に基づいてクロックが生成され、このクロックを用いてその時刻情報と同期した時刻情報が生成される。また、時刻算出部により、放送信号に含まれる時刻取得情報に基づいて、伝送メディアの提示単位毎のデコード時刻および提示時刻が求められる。そして、処理部により、放送信号に含まれる伝送メディアが、提示単位毎に、時刻算出部で算出されたデコード時刻および提示時刻と、時刻情報生成部で生成された時刻情報とに基づいて処理される。
このように本技術においては、放送信号に含まれる外部から取得された時刻情報に関連した時刻情報に基づいて送信側と同様のクロック(システムクロック)と、このクロックの周波数情報を含む時刻情報が生成されるものである。そして、これらのクロックおよび時刻情報と、放送信号に含まれる時刻取得情報に基づいて求められた伝送メディアの提示単位毎のデコード時刻および提示時刻とに基づいて、伝送メディアが、提示単位毎に処理されるものである。そのため、クロック同期および提示同期の実現が可能となる。
本技術によれば、IP方式で伝送する放送方式においてクロック同期、提示同期を良好に実現できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 送信・受信システムにおけるクロック同期と提示同期について説明するための図である。 MMT方式のプロトコルスタックを示す図である。 MMT方式放送ストリーム(放送信号)の構成例を示す図である。 MMTパケットおよびMMT拡張ヘッダの構成例を示す図である。 MMTPペイロードおよびDUヘッダの構成例を示す図である。 MMTファイルとMMTPペイロードとの対応関係の一例を示す図である。 PAメッセージおよびMPテーブルの構成例を示す図である。 PAメッセージの主要なパラメータの説明を示す図である。 MPテーブルの主要なパラメータの説明を示す図である。 MPUタイムスタンプ・デスクリプタの構造例を示す図である。 MMT方式の放送ストリームにおける伝送順を説明するための図である。 第1の形態のオフセット情報が挿入される拡張ヘッダの構造例を示す図である。 第1の形態のオフセット情報が挿入される拡張ヘッダの構造例における主要な情報の内容を示す図である。 受信側における第1の形態のオフセット情報によるデコード時刻DTおよび提示時刻PTの算出方法を示す図である。 各提示単位のデコード時刻DTおよび提示時刻PTの算出式等を示す図である。 第2の形態のオフセット情報が挿入される拡張ヘッダの構造例を示す図である。 第2の形態のオフセット情報が挿入される拡張ヘッダの構造例における主要な情報の内容を示す図である。 受信側における第2の形態のオフセット情報によるデコード時刻DTおよび提示時刻PTの算出方法を示す図である。 各提示単位のデコード時刻DTおよび提示時刻PTの算出式等を示す図である。 拡張ヘッダの伝送頻度の第1の形態を示す図である。 拡張ヘッダの伝送頻度の第2の形態を示す図である。 MPU拡張タイムスタンプ・デスクリプタの構造例を示す図である。 受信側におけるデコード時刻DTおよび提示時刻PTの算出方法を示す図である。 MPU拡張タイムスタンプ・デスクリプタの他の構造例を示す図である。 MPU拡張タイムスタンプ・デスクリプタの他の構造例を示す図である。 受信側におけるデコード時刻DTおよび提示時刻PTの算出方法を示す図である。 各提示単位のデコード時刻DTおよび提示時刻PTの算出式等を示す図である。 MPU拡張タイムスタンプ・デスクリプタが挿入されるMPTとAV符号化データの遅延調整を説明するための図である。 放送送出システムの構成例を示すブロック図である。 受信機の構成例を示すブロック図である。 NTPサーバおよびこのNTPサーバが提供する時刻情報のフォーマットを説明するための図である。 MMT方式におけるクロック同期・提示同期方式を説明するための放送送出システム側の構成例を示すブロック図である。 MMT方式におけるクロック同期・提示同期方式を説明するための受信機側の構成例を示すブロック図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[送受信システムの構成例]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、放送送出システム100と、受信機200により構成されている。
放送送出システム100は、ビデオ、オーディオなどの伝送メディアを含むIP(Internet Protocol)方式の放送信号を送信する。放送送出システム100は、時刻情報を外部から取得する。例えば、NTP(Network Time Protocol)によりNTPサーバから、あるいはIEEE1588PTPにより他の装置から、NTPロングフォーマット(NTP long format)で取得する。
放送送出システム100は、外部から取得された時刻情報に同期したクロック(システムクロック)と、このクロックの周波数情報を含む時刻情報を生成する。この実施の形態において、クロックの周波数は、従来の放送システムに適用されてきた27MHzではなく、2**nHzとされる。そして、この実施の形態では、n=24とされるが、nは、その他の整数、例えば24から28のいずれかの整数とされてもよい。このようにクロックの周波数が2**nHzとされることで、外部から取得するNTPロングフォーマットの時刻情報に同期した時刻情報の生成が容易となり、また、生成される時刻情報はNTPロングフォーマットに対応したものとなる。
放送信号は、伝送メディアと共に、生成された時刻情報に基づいて得られた伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、生成された時刻情報とを含む。この実施の形態では、時刻取得情報は、伝送メディアの所定数の提示単位からなる提示単位グループ毎に、提示単位グループの最初の提示単位の提示時刻と、提示単位グループの各提示単位のデコード時刻および提示時刻を最初の提示単位の提示時刻を参照して算出するためのオフセット情報とからなる。
受信機200は、放送送出システム100から送られてくる上述のIP方式の放送信号を受信する。受信機200は、放送信号に含まれる時刻情報に基づいて、この時刻情報に同期した、2**nHzのクロック(システムクロック)と、この2**nHzのクロックの周波数情報を含む時刻情報を生成する。また、受信機200は、放送信号に含まれる時刻取得情報に基づいて、伝送メディアの提示単位毎のデコード時刻および提示時刻を求める。そして、受信機200は、放送信号に含まれる伝送メディアを、提示単位毎に、求められたデコード時刻および提示時刻と、生成された時刻情報に基づいて処理する。
送受信システム10においては、放送送出システム100および受信機200を上述した構成とすることで、従来のMPEG2−TS方式と同様に、クロック同期と提示同期を実現する。
図2を用いて、送信・受信システムにおけるクロック同期と提示同期について説明する。送信システム、受信システムは、それぞれ、例えば、上述の放送送出システム100、受信機200に対応する。送信システムは、2**nHzのシステムクロックを生成するクロック生成部11と、時刻情報を生成する時計部(時刻情報生成部)12を有している。また、送信システムは、エンコード処理部13と、パケット化/タイムスタンプ付加部14と、エンコードバッファ15を有している。
エンコード処理部13では、ビデオ、オーディオなどの伝送メディアが符号化される。パケット化/タイムスタンプ付加部14では、符号化後の伝送メディアのパケット化が行われると共に、時計部12で生成される時刻情報に基づいて伝送メディアの提示単位毎に提示時刻情報が付加される。そして、伝送メディアのパケットは、エンコードバッファ15に一時的に蓄積され、適宜なタイミングで送信される。
受信システムは、2**nHzのシステムクロックを生成するクロック生成部21と、時刻情報を発生する時計部(時刻情報生成部)22を有している。また、受信システムは、デコードバッファ23と、デパケット化/タイミング調整部24と、デコード処理部25を有している。
デコードバッファ23では、受信された伝送メディアのパケットを一時的に蓄積する。デパケット化/タイミング調整部24では、デコードバッファ23に蓄積されている伝送メディアのパケットが、時計部22で生成される時刻情報が参照され、付加されている提示時刻情報のタイミングで取り出されてデパケット化される。デコード処理部25では、デパケット化により得られた伝送メディアが復号化され、ベースバンドの伝送メディアが得られる。
図1に示す送受信システム10においては、クロック同期および提示同期が実現されている。このクロック同期・提示同期方式の詳細については、後述する。ここで、クロック同期とは、基本的に、送信システムのクロック生成部11で生成されるシステムクロックの周波数と、受信システムのクロック生成部21で生成されるシステムクロックの周波数が、同一周波数となることを意味する。但し、必ずしも同一周波数でなくても、周波数が整数倍などの関係が保持されればよい。クロック同期が実現されていない場合、受信側で受信を継続しているうちにフレーム飛び等が発生するなどの破たんが起きる。
また、提示同期とは、送信システムの時計部12の時刻情報と受信システムの時計部22の時刻情報を合わせ、かつ伝送メディアの提示単位毎の提示時刻情報を伝送メディアのパケットに付加することを意味する。なお、ここで、送信システムの時計部12の時刻情報に受信システムの時計部22の時刻情報を合わせる場合には、送信システムから受信システムへの伝送遅延が考慮される。提示同期が実現されていない場合、受信側でビデオ、オーディオの同期をとってバッファを破たんさせずに適切に提示するということができなくなる。
図1に戻って、上述したように、放送送出システム100から受信機200には、IP方式の放送信号が送信される。この実施の形態において、IP方式の放送信号は、MMT(MPEG Media Transport)方式とされる。
図3は、MMT方式のプロトコルスタックを示している。下位に物理レイヤ(PHY)がある。この物理レイヤには、変調方式、誤り訂正方式などが含まれる。この物理レイヤの上に、TLV(Type Length Value)の伝送パケットのレイヤがある。このTLVの伝送パケットの上にIPパケットが載る。
このIPパケットの上に、さらに、UDP(User Datagram Protocol)が載る。一方、TLVの伝送パケットの上に、シグナリング(Signaling)情報としての伝送制御信号も載る。また、UDPの上に、MMTパケットが載る。このMMTパケットのペイロード部には、ビデオ、オーディオ等の伝送メディアの符号化データを含むMFU(MMT Fragment Unit)、あるいは伝送メディアに関する情報を含むシグナリングメッセージ(Signaling Message)が含まれる。なお、図示のように、UDPの上に、さらに時刻情報を含むNTP(Network Time Protocol)パケットが存在する。
図4は、MMT方式放送ストリーム(放送信号)の構成例を示している。図4(a)は、ビデオのエレメンタリストリーム(Video ES)を示している。このビデオのエレメンタリストリームは、所定の大きさの固まりに分割され、図4(b)に示すように、MFUのペイロード部に配置される。
図4(c)に示すように、MFUにMMTペイロードヘッダ(MMT payload header)が付加されてMMTPペイロード(MMTP payload)が構成される。そして、図4(d)に示すように、このMMTPペイロードにさらにMMTヘッダ(MMT header)が付加されて、MMTパケット(MMT packet)が構成される。なお、ペイロード部に、シグナリングメッセージ(Signaling Message)を含むMMTパケットも存在する。図4(e)に示すように、MMTパケットに、UDPヘッダ、IPヘッダおよびTLVヘッダが付加されて、MMT方式放送ストリームを構成するTLVパケット(TLV packet)が生成される。
なお、TLVパケットには、NTPの時刻情報を含むNTPパケットも存在する。なお、図示は省略されているが、TLVパケットとしては、さらに、オーディオ、字幕などのその他の伝送メディアのMMTパケットを含むTLVパケットも存在する。このMMT方式放送ストリームは、伝送メディアを含む第1のパケット(MMTパケット)と、シグナリング情報を含む第2のパケット(MMTパケット)と、時刻情報を含む第3のパケット(NTPパケット)を持つものとなる。
図5(a)は、MMTパケットの構成例(Syntax)を示している。MMTパケットは、MMTヘッダ(MMT header)と、MMTペイロード(MMT payload)とからなる。「C」の1ビットフラグ情報は、「packet_counter」のフィールドが存在するか否かを示す。図示の例では、「packet_counter」が存在している例を示している。“FEC”の2ビットフィールドは、FEC(forward error correction)のフォーマットを示す。
“X”の1ビットフラグ情報は、MMT拡張ヘッダ、つまり「header_extension」のフィールドが存在しているか否かを示す。図示の例では、「header_extension」が存在している例を示している。“R”の1ビットフラグ情報は、ランダムアクセスポイント、従ってIピクチャを含んでいるか否かを示す。
「type」の6ビットフィールドは、MMTパケットのタイプを示す。例えば、「0x00」はペイロードにMPU(Media Processing Unit)を含むMMTパケットであることを示し、「0x02」はペイロードにシグナリングメッセージ(Signaling message)を含むMMTパケットであることを示す。
「packet_id」の16ビットフィールドは、ビデオ、オーディオ等のアセット(Asset)を識別するための識別子である。「timestamp」の32ビットフィールドは、伝送のためのタイプスタンプ、すなわちMMTパケットが送信側から出ていくときの時刻を示す。この時刻は、NTPショートフォーマット(NTP short format)で表される。「packet_sequence_number」は、同一の「packet_id」を持つMMTパケットのシーケンス番号を示す。「packet_counter」の32ビットフィールドは、「packet_id」のに関係なく、全てのMMTパケットのシーケンス番号を示す。
上述の「X」の1ビットフラグ情報が「1」であるとき、「packet_counter」の32ビットフィールドの後に、MMT拡張ヘッダである「header_extension」のフィールドが配置される。その後に、MMTPペイロード(MMTP payload)を構成する「payload data」のフィールドおよび「source_FEC_payload_ID」のフィールドが存在する。
図5(b)は、MMT拡張ヘッダの構成例(Syntax)を示している。「type」の16ビットフィールドは、拡張ヘッダのタイプを示す。「length」の16ビットフィールドは、これ以降の拡張ヘッダのバイトサイズを示す。この拡張ヘッダのバイトサイズは、拡張ヘッダのタイプにより異なる。「header_extension_value」のフィールドに、拡張ヘッダの本体が挿入される。
図6(a)は、上述のMMTパケットの「payload data」のフィールドに配置されるMMTPペイロード(MMTP payload)の構成例(Syntax)を示している。なお、この例は、MMTヘッダの「type」が「0x00」であるMPUモードである場合を示している。最初にヘッダ情報が存在する。「length」の16ビットフィールドは、MMTPペイロード全体のバイトサイズを示す。“FT“の4ビットフィールドは、フィールドタイプを示す。 “0”は「MPU metadata」を含むことを示し、“1”は「Movie Fragment metadata」を含むことを示し、“2”は「MFU」を含むことを示す。
ここで、MFU(MMT Fragment Unit)は、MPUが細分化、すなわちフラグメント(Fragment)化されたものである。例えば、ビデオの場合、このMFUを一つのNALユニットに相当するように設定できる。また、例えば、通信ネットワーク伝送路で送る場合、このMFUを一つまたは複数のMTUサイズ(MTU size)で構成することもできる。
また、MPUは、ランダムアクセスポイント(RAP:Random Access Pint)から始まるものであり、一つまたは複数のアクセスユニット(AU:Access Unit)を含むものである。具体的には、例えば、一つのGOP(Group Of Picture)のピクチャが、一つのMPUの構成となることがある。このMPUは、アセット別に定義されるものとなっている。したがって、ビデオのアセットからはビデオデータのみを含むビデオのMPUが作成され、オーディオのアセットからはオーディオデータのみを含むオーディオのMPUが作成される。
「T」の1ビットフラグ情報は、タイムドメディア(Timed Media)を伝送するか、ノンタイムドメディア(Non-Timed Media)を伝送するかを示す。“1”はタイムドメディアを示し、“0”はノンタイムドメディアを示す。この実施の形態では、タイムドメディア(Timed Media)の伝送を想定している。
「f_i」の2ビットフィールドは、「DU payload」のフィールドに、整数個のデータユニット(DU:Data Unit)が入っているか、データユニットが断片化されて得られたフラグメント(Fragment)の最初(first)、中間、最後(last)のいずれが入っているかを示す。“0”は整数個のデータユニットが入っていることを示し、“1”は最初のフラグメントが入っていることを示し、“2”は中間のフラグメントが入っていることを示し、“3”は最後のフラグメントが入っていることを示す。
「A」の1ビットフラグ情報は、「DU payload」のフィールドに、複数個のデータユニットが入っているか否かを示す。“1”は入っていることを示し、“0”が入っていないことを示す。「frag_counter」の8ビットフィールドは、「f_i」が1〜3であるとき、何番目のフラグメントであるかを示す。
「MPU_sequence_number」の32ビットフィールドは、MPUの順番を示す番号であり、MPUを識別する情報である。例えば、1つのGOPが1つのMPUを構成する場合、あるGOPの「MPU_sequence_number」が「i」であるとき、次のGOPの「MPU_sequence_number」は「i+1」となる。
この「MPU_sequence_number」のフィールドの後に、「DU_length」、「DU_header」、「DU_payload」の各フィールドが配置される。「DU_length」の16ビットフィールドは、上述の「A=0」である場合、つまり「DU payload」のフィールドに複数個のデータユニットが入っていない場合は存在しない。また、「DU_header」のフィールドは、“FT=0/1”である場合、つまり「MPU metadata」や「Movie Fragment metadata」を含む場合は存在しない。
図6(b)は、「DU_header」の構成例(Syntax)を示している。なお、この例は、「T=1」の場合、つまりタイムドメディア(Timed Media)を伝送する場合を示している。「movie_fragment_sequence_number」の32ビットフィールドは、MFU単位でのシーケンス番号を示す。例えば、Iピクチャを分割したとき、その一つ一つがMFUとなる。「sample_number」の32ビットフィールドは、例えばビデオの場合はピクチャ単位の番号を示す。「offset」の32ビットフィールドは、例えばビデオの場合はピクチャの先頭からのオフセット値(バイト値)を示す。
MMT方式では、ビデオなどの伝送メディアを、フラグメント化されたISOBMFF(ISO Base Media File Format)に基づいたコンテンツフォーマットで伝送する。図7は、一つのGOPのビデオデータを送るときのMMTファイル(MMT file)とMMTPペイロード(MMTP payload)との対応関係の一例を示している。
MMTファイルの構成は、基本的には、MP4のファイル構成とほぼ同等である。最初に“styp”のボックス(Box)がある。続いて、セグメントインフォメーションとしての“sidx”のボックスがある。続いて、MMT独自の“mmpu”のボックスがある。続いて、ファイル全体のメタデータとしての“moov”のボックスがある。
続いて、ムービーフラグメント(Movie Fragment)がある。このムービーフラグメントは、制御情報が入る“moof”ボックスと、ビデオの符号化データが入る“mdat”ボックスからなる。ここでは、一つのGOPが一つのMPUの構成となることを想定しているので、ムービーフラグメントは一組だけ存在する。
“styp”,“sidx”,“mmpu”,“moov”の各ボックスのメタデータは、「MPU metadata」として、一つのMMTパケットで伝送される。この場合、“FT=0”である。“moof”ボックスのメタデータは、「Movie Fragment metadata」として、一つのMMTパケットで伝送される。この場合、“FT=1”である。“mdat”ボックスに含まれるビデオの符号化データは、「MFU」に断片化され、それぞれが一つのMMTパケットで伝送される。この場合、“FT=2”である。
次に、MPT(MMT Package Table)について説明する。MMTパケットには、上述したように、ペイロードに、シグナリングメッセージ(Signaling message)を含むMMTパケットも存在する。このシグナリングメッセージの一つとして、MPTを含むPAメッセージ(Package Access Message)がある。MPTは、一つの放送サービスがどのようなコンポーネント(アセット)で構成されているかを示す。
図8は、PAメッセージ(Package Access Message)およびMPテーブル(MPT:MMT Package Table)の構成例を示している。また、図9は、PAメッセージの主要なパラメータの説明を示し、図10は、MPテーブルの主要なパラメータの説明を示している。
「message_id」は、各種シグナリング情報において、PAメッセージを識別する固定値である。「version」は、PAメッセージのバージョンを示す8ビット整数値である。例えば、MPテーブルを構成する一部のパラメータでも更新した場合には、+1インクリメントされる。「length」は、このフィールドの直後からカウントされる、PAメッセージのサイズを示すバイト数である。
「extension」のフィールドには、ペイロード(Payload)のフィールドに配置されるテーブルのインデックス情報が配置される。このフィールドには、「table_id」、「table_version」、「table_length」の各フィールドが、テーブル数だけ配置される。「table_id」は、テーブルを識別する固定値である。「table_version」は、テーブルのバージョンを示す。「table_length」は、テーブルのサイズを示すバイト数である。
PAメッセージのペイロード(Payload)のフィールドには、MPTと、所定数のその他のテーブル(Other table)が配置される。以下、MPTの構成について説明する。
「table_id」は、各種シグナリング情報において、MPテーブルを識別する固定値である。「version」は、MPテーブルのバージョンを示す8ビット整数値である。例えば、MPテーブルを構成する一部のパラメータでも更新した場合には、+1インクリメントされる。「length」は、このフィールドの直後からカウントされる、MPテーブルのサイズを示すバイト数である。
「pack_id」は、放送信号で伝送される全ての信号、ファイルを構成要素とする全体のパッケージとしての識別情報である。この識別情報は、テキスト情報である。「pack_id_len」は、そのテキスト情報のサイズ(バイト数)を示す。「MPT_descripors」のフィールドは、パッケージ全体に関わる記述子の格納領域である。「MPT_dsc_len」は、そのフィールドのサイズ(バイト数)を示す。
「num_of_asset」は、パッケージを構成する要素としてのアセット(信号、ファイルト)の数を示す。この数分だけ、以下のアセットループが配置される。「asset_id」は、アセットをユニークに識別する情報(アセットID)である。この識別情報は、テキスト情報である。「asset_id_len」は、そのテキスト情報のサイズ(バイト数)を示す。「gen_loc_info」は、アセットの取得先のロケーションを示す情報である。
「asset_descriptors」のフィールドは、アセットに関わる記述子の格納領域である。「asset_dsc_len」は、そのフィールドのサイズ(バイト数)を示す。この「asset_descriptors」のフィールドに格納される記述子として、MPUタイムスタンプ・デスクリプタ(MPU_timestamp_descriptor)がある。このデスクリプタには、MPUの先頭の提示単位の提示時刻が記述される。
図11は、MPUタイムスタンプ・デスクリプタの構造例(Syntax)を示している。「descriptor_tag」の16ビットフィールドは、デスクリプタタイプを示す。ここでは、MPUタイムスタンプ・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。
そして、MPUの個数分だけ、「MPU_sequence_number」と、「MPU_presentation_time」の組が存在する。「MPU_sequence_number」の32ビットフィールドは、上述したように、MPUの順番を示す番号であり、MPUを識別する情報である。「MPU_presentation_time」の64ビットフィールドは、MPUの先頭の提示単位の提示時刻を示す。例えば、MPU=GOPである場合、この提示時刻は、GOPの先頭のピクチャの提示時刻を示す。
図12は、MMT方式の伝送順の一例を示している。図示では、一つのGOPのビデオデータからなるMPUを伝送する例を示している。最初に、MPTを含むシグナリングメッセージをペイロードに持つMMTパケットが伝送される。このMPTには、上述したMPUタイムスタンプ・デスクリプタが挿入される。エンコーダでエンコードされる際に、GOPの先頭のピクチャの提示時刻が割出され、その提示時刻がMPUタイムスタンプ・デスクリプタに記述される。
このMPTを含むシグナリングメッセージをペイロードに持つMMTパケットが伝送された後に、GOPをペイロードに持つMMTパケットが伝送される。この場合、GOPが断片化されて、MFUの単位で伝送される。MFUの前にMMTペイロードヘッダ(MMT payload header)が付加されてMMTPペイロードが構成される。そして、このMMTPペイロード全体がMMTパケットのペイロードデータとなる。
このとき、「MPU metadata」はGOPのデータの前に伝送されるが、「Movie fragment metadata」は、GOPのデータの後に伝送される。この「Movie fragment metadata」には、GOPの各ピクチャのデコード時刻(DT:Decoding time)、提示時刻(PT:presentation time)を算出するためのメタデータが含まれる。基本的に、GOPのデータをエンコードした後でないと、GOPの各ピクチャのDT,PTを算出するための情報が得られない。そのため、「Movie fragment metadata」は、GOPのデータの後に伝送される。
デコーダでは、「Movie fragment metadata」を用いてGOPの各ピクチャのDT,PTを算出する場合、GOPのデータを、「Movie fragment metadata」が受信されるまで遅延することが必要となる。したがって、送信側で、GOPのデータを遅延させなくとも、受信側で遅延させることになる。
[DT/PT情報の伝送]
この実施の形態においては、伝送メディアの提示単位(サンプル)毎のデコード時刻DT、提示時刻PTを得るための時刻取得情報(DT/PT情報)を、ペイロードにMPU(Media Processing Unit)を含むMMTパケット、あるいはペイロードにシグナリングメッセージ(Signaling message)を含むMMTパケットに挿入して伝送する。これにより、受信側でデコード時刻および提示時刻による処理を行うための遅延を低く抑えることが可能となる。
「MMTパケットのMMT拡張ヘッダの利用」
最初に、MPU(MFU)を含むMMTパケットのMMT拡張ヘッダ(図5参照)を利用する場合について説明する。この場合、各サンプル(提示単位)のDT/PT情報を、そのサンプルを含むMMTパケットの拡張ヘッダ(header_extension)に配置する。
具体的には、DT/PT情報を示す特定のタイプ情報を有する拡張ヘッダに、DT/PT情報が配置される。この場合、拡張ヘッダには、DT/PT情報として、提示単位のデコード時刻および提示時刻を、上述のMPTのMPUタイムスタンプ・デスクリプタに記述されるMPUの先頭の提示単位の提示時刻を参照して算出するための時間長情報が挿入される。
この時間長情報としては、例えば、以下の第1、第2の形態が考えられる。第1の形態の時間長情報について説明する。この第1の形態のオフセット情報は、最初の提示単位の提示時刻からのオフセット時間長で示したデコード時刻情報と、デコード時刻からのオフセット時間長で示した提示時刻情報とからなる。
図13は、第1の形態の時間長情報が挿入される拡張ヘッダ(header_extension)の構造例(syntax)を示している。図14は、その構造例における主要な情報の内容(Semantics)を示している。「type」の16ビットフィールドは、DT/PT情報が配置された拡張ヘッダ、つまり「dt_pt_shortcut_extension」であることを示す。
「length」の16ビットフィールドは、これ以降の拡張ヘッダのバイトサイズを示す。ここでは、「4」の固定値となる。「PU_start_indicator」の1ビットフラグ情報は、当該MMTパケットに、サンプル(提示単位)の先頭が含まれているか否かを示す。“1”は含まれていることを示し、“0”は含まれていないことを示す。
「decoding_time_offset」の17ビットフィールドは、最初の提示単位の提示時刻からのオフセット時間長で示したデコード時刻情報を示す。つまり、このフィールドは、当該MMTパケットに含まれるビデオ、オーディ等のサンプル(提示単位)に関し、そのサンプルのデコード時刻(Decoding time)を、MPUタイムスタンプ・デスクリプタの当該サンプルを含むMPUの「MPU_presentation_time」からのオフセット時間長で示す。
この場合、例えば、1/(2**16)秒単位の値で示される。この場合、約65KHzの精度となる。なお、この場合、「decoding_time_offset」は正負の符号ビットを持つので、例えば、GOPが15ピクチャからなり、その時間長が0.5秒であるときには、「decoding_time_offset」の17ビットフィールドにより2GOP分の時間幅をカバー可能となる。なお、例えば、精度を上げて、1/(2**17)秒単位の値で示される場合には、1GOP分の時間幅をカバー可能となる。
「presentation_time_offset」の14ビットフィールドは、デコード時刻からのオフセット時間長で示した提示時刻情報を示す。つまり、当該MMTパケットに含まれるビデオ、オーディ等のサンプル(提示単位)に関し、同一サンプルのデコード時刻(Decoding time)と提示時刻(Presentation time)の時間長を示す。この場合、例えば、1/(2**16)秒単位の値で示される。
図15は、受信側におけるデコード時刻DTおよび提示時刻PTの算出方法を示している。図示のように、シグナリングメッセージとしてのMPTに含まれるMPUタイムスタンプ・デスクリプタの「MPU_presentation_time」のフィールドから、最初の提示単位の提示時刻mptが取得される。また、MMTパケットの拡張ヘッダの「decoding_time_offset」、「presentation_time_offset」のフィールドから、提示単位(サンプル)毎に、デコード時刻情報dto、提示時刻情報ptoが取得される。
受信側では、これらの取得情報に基づいて、各提示単位のデコード時刻DTおよび提示時刻PTは、図16(b)に示すように、以下の(1)式、(2)式で、算出される。
DT=mpt+dto ・・・(1)
PT=DT+pto ・・・(2)
そして、受信側では、図16(a)に示すように、後述するように送信側から送られてきた時刻情報に基づいて生成された時刻情報(NTP)と、算出されたデコード時刻DTおよび提示時刻PTとにより、伝送メディアの各提示単位のデコードおよび提示の制御が行われる。
次に、第2の形態の時間長情報について説明する。この第2の形態の時間長情報は、最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、2番目以降の各提示単位の前の提示単位のデコード時刻からのオフセット時間長で示したデコード時刻情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる。
図17は、第2の形態の時間長情報が挿入される拡張ヘッダ(header_extension)の構造例(syntax)を示している。図18は、その構造例における主要な情報の内容(Semantics)を示している。「type」の16ビットフィールドは、DT/PT情報が配置された拡張ヘッダ、つまり「dt_pt_shortcut_extension」であることを示す。
「length」の16ビットフィールドは、これ以降の拡張ヘッダのバイトサイズを示す。ここでは、「4」の固定値となる。「PU_start_indicator」の1ビットフラグ情報は、当該MMTパケットに、サンプル(提示単位)の先頭が含まれているか否かを示す。“1”は含まれていることを示し、“0”は含まれていないことを示す。
「decoding_time_offset」の16ビットフィールドは、最初の提示単位に関しては、その提示時刻からのオフセット時間長で示したデコード時刻情報を示す。また、2番目以降の各提示単位に関しては、その前の提示単位のデコード時刻からのオフセット時間長で示したデコード時刻情報を示す。
つまり、当該MMTパケットに含まれるビデオ、オーディ等のサンプル(提示単位)に関し、そのサンプルのデコード時刻(Decoding time)を、直前のサンプルからのオフセット時間長で示す。ただし、最初のサンプルの場合のみ、MPUタイムスタンプ・デスクリプタの当該サンプルを含むMPUの「MPU_presentation_time」からのオフセット時間長で示す。
この場合、例えば、1/(2**16)秒単位の値で示される。この場合、約65KHzの精度となる。なお、この場合、「decoding_time_offset」は正負の符号ビットを持つので、例えば、GOPが15ピクチャからなり、その時間長が0.5秒であるときには、「decoding_time_offset」の16ビットフィールドにより1GOP分の時間幅をカバー可能となる。なお、第2の形態のオフセット情報の場合、「decoding_time_offset」の値は、第1の形態のオフセット情報と異なり、それほど大きくならないと予想される。そのため、例えば、精度をより上げて、1/(2**18)秒単位の値で示されてもよい。
「presentation_time_offset」の15ビットフィールドは、デコード時刻からのオフセット時間長で示した提示時刻情報を示す。つまり、当該MMTパケットに含まれるビデオ、オーディ等のサンプル(提示単位)に関し、同一サンプルのデコード時刻(Decoding time)と提示時刻(Presentation time)の時間長を示す。この場合、例えば、1/(2**16)秒単位の値で示される。
図19は、受信側におけるデコード時刻DTおよび提示時刻PTの算出方法を示している。図示のように、シグナリングメッセージとしてのMPTに含まれるMPUタイムスタンプ・デスクリプタの「MPU_presentation_time」のフィールドから、最初の提示単位の提示時刻mptが取得される。また、MMTパケットの拡張ヘッダの「decoding_time_offset」、「presentation_time_offset」のフィールドから、提示単位(サンプル)毎に、デコード時刻情報dto、提示時刻情報ptoが取得される。
受信側では、これらの取得情報に基づいて、各提示単位のデコード時刻DTおよび提示時刻PTは、図20(b)に示すように、以下の(3)式、(4)式で、算出される。
DT=mpt+Σdto ・・・(3)
PT=DT+pto ・・・(4)
そして、受信側では、図20(a)に示すように、後述するように送信側から送られてきた時刻情報に基づいて生成された時刻情報(NTP)と、算出されたデコード時刻DTおよび提示時刻PTとにより、伝送メディアの各提示単位のデコードおよび提示の制御が行われる。
「拡張ヘッダの伝送頻度」
次に、拡張ヘッダ(header_extension)の伝送頻度に関し、例えば、以下の第1、第2の形態が考えられる。第1の形態では、図21に示すように、MMTパケットには、サンプル(提示単位)の先頭が含まれる場合にのみ、MMT拡張ヘッダが設けられる。この場合、発生情報量を抑え、帯域節約を図ることが可能となる。
第2の形態では、図22に示すように、MMTパケットには、常に、MMT拡張ヘッダが設けられる。この場合、サンプル(提示単位)の先頭が含まれる場合にのみ、「PU_start_indicator = 1」とされる。この場合、ヘッダ情報量の乱れを抑えることができ、受信側におけるヘッダ処理の単純化が可能となる。
上述したように、MMTパケットのMMT拡張ヘッダにDT/PT情報を挿入して伝送することで、MPUのデータを遅延させることなく、各提示単位(サンプル)のデータの受信に対応して、その提示単位のデコード時刻および提示時刻を直ちに算出できる。そのため、受信側でデコード時刻および提示時刻による処理を行うための遅延を低く抑えることが可能となる。
「MPU拡張タイムスタンプ・デスクリプタの利用」
次に、新規定義するMPU拡張タイムスタンプ・デスクリプタ(MPU_extended_timestamp_descriptor)を利用する場合について説明する。この場合、MPU拡張タイムスタンプ・デスクリプタに、MPUの各サンプル(提示単位)のDT/PT情報を配置する。
このMPU拡張タイムスタンプ・デスクリプタは、MPT(図8参照)の「asset_descriptors」のフィールドに格納される。このMPU拡張タイムスタンプ・デスクリプタに含まれる各サンプル(提示単位)のDT/PT情報として、上述のMMTパケットのMMT拡張ヘッダに挿入される場合で説明したと同様に、第1、第2の形態が考えられる。
すなわち、第1の形態の時間長情報は、最初の提示単位の提示時刻からのオフセット時間長で示したデコード時刻情報と、デコード時刻からのオフセット時間長で示した提示時刻情報とからなる。また、第2の形態の時間長情報は、最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、2番目以降の各提示単位の前の提示単位のデコード時刻からのオフセット時間長で示したデコード時刻情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる。
図23は、MPU拡張タイムスタンプ・デスクリプタの構造例(Syntax)を示している。「descriptor_tag」の16ビットフィールドは、デスクリプタタイプを示す。ここでは、MPU拡張タイムスタンプ・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。
MPUの個数分だけ、「MPU_sequence_number」と「number_of_PU」が存在する。「MPU_sequence_number」の32ビットフィールドは、MPUの順番を示す番号であり、MPUを識別する情報である。「number_of_PU」の16ビットフィールドは、MPUに含まれるサンプル(提示単位)の個数を示す。また、このサンプル(提示単位)の個数分だけ、「presentation_time_offset」の16ビットフィールドと、「decoding_time_offset」の16ビットフィールドの組が存在する。
「decoding_time_offset」、「presentation_time_offset」のフィールドには、詳細説明は省略するが、上述したMMTパケットのMMT拡張ヘッダ(図13、図17参照)の「decoding_time_offset」、「presentation_time_offset」のフィールドに配置されると同様のデコード時刻情報、提示時刻情報が配置される。
図24は、受信側におけるデコード時刻DTおよび提示時刻PTの算出方法を示している。この例は、DT/PT情報としての時間長情報が第2の形態の時間長情報である場合を示している。
図示のように、シグナリングメッセージとしてのMPTに含まれるMPUタイムスタンプ・デスクリプタの「MPU_presentation_time」のフィールドから、最初の提示単位の提示時刻mptが取得される。また、シグナリングメッセージとしてのMPTに含まれるMPU拡張タイムスタンプ・デスクリプタの「decoding_time_offset」、「presentation_time_offset」のフィールドから、各提示単位(サンプル)のデコード時刻情報dto、提示時刻情報ptoが取得される。
受信側では、これらの取得情報に基づいて、各提示単位のデコード時刻DTおよび提示時刻PTが、上述の(3)式、(4)式で、算出される(図20(b)参照)。そして、受信側では、後述するように送信側から送られてきた時刻情報に基づいて生成された時刻情報(NTP)と、算出されたデコード時刻DTおよび提示時刻PTとにより、伝送メディアの各提示単位のデコードおよび提示の制御が行われる(図20(a)参照)。
また、MPU拡張タイムスタンプ・デスクリプタに含まれる各サンプル(提示単位)のDT/PT情報として、上述のMMTパケットのMMT拡張ヘッダに挿入される場合では説明していない第3の形態の時間長情報も考えられる。すなわち、第3の時間長情報は、最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、各提示単位の時間長を示す情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる。
図25、図26は、MPU拡張タイムスタンプ・デスクリプタの構造例(Syntax)を示している。「descriptor_tag」の16ビットフィールドは、デスクリプタタイプを示す。ここでは、MPU拡張タイムスタンプ・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。
「timescale_flg」の1ビットフィールドは、時間単位指定を記述するか否かを示すフラグである。時間単位指定を記述する場合には、“1”に設定される。なお、あらかじめ規定される時間単位を用いる場合には、“0”に設定される。「PU_duration_description_type」の2ビットフィールドは、提示単位時間長の記述タイプを示す。あらかじめ規定される固定値の場合は“0”であり、固定値を指定する場合は“1”であり、提示単位毎に指定する場合は“2”である。
「timescale_flg = 1」であるとき、「timescale」の32ビットフィールドが存在する。このフィールドは、本デスクリプタにおける時間長の単位を示す値であり、90k、2**nなどの値である。1秒を本値で割った時間長を単位とする。なお、32ビットは大きいので、例えば8ビットとして、“1”は90k、“2”は2**16を表すなど、モード的に値を表すようにすることも考えられる。
「PU_duration_description_type = 1」であるとき、「default_PU_duration」の16ビットフィールドが存在する。このフィールドは、本デスクリプタの有効範囲における提示単位時間長の固定値であるデフォルト提示単位時間長を上記時間単位に基づき示す。この提示単位時間長は、「PU_duration_description_type = 1」における各提示単位の時間長を示す情報である。なお、「PU_duration_description_type = 0」の場合は各提示単位の時間長は規定される固定値であるので、「PU_duration_description_type = 0」自体が各提示単位の時間長を示す情報ということになる。
また、MPUの個数分だけ、「MPU_sequence_number」、「SAP_type」、「initial_decoding_time_offset」、「number_of_PU」の各フィールドが存在する。「MPU_sequence_number」の32ビットフィールドは、MPUの順番を示す番号であり、MPUを識別する情報である。
「SAP_type」の3ビットフィールドは、MPUとしてのGOPの構成と独立性を示す。例えば、「SAP_type = 1」は、Iピクチャから始まり、かつクローズドGOPであることを示す。また、例えば、「SAP_type = 2」は、Bピクチャから始まり、かつクローズドGOPであることを示す。また、例えば、「SAP_type = 3」は、オープンGOPであることを示す。
「initial_decoding_time_offset」の16ビットフィールドは、最初に伝送される提示単位のデコード時刻を起点からのオフセット時間で上記時間単位に基づき示す、初期デコード時間オフセットである。この初期デコード時間オフセットは、最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報である。
「number_of_PU」の8ビットフィールドは、MPUに含まれるサンプル(提示単位)の個数を示す。また、このサンプルの個数分だけ、「decoding_presentation_time_offset」の16ビットフィールドが存在する。このフィールドは、同一提示単位のデコード時刻から提示時刻までの時間長を上記時間単位に基づき示す、デコード・提示時間オフセットである。このデコード・提示時間オフセットは、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報である。
「PU_duration_description_type = 2」であるとき、MPUに含まれるサンプル(提示単位)の個数分だけ、「PU_duration」の16ビットフィールドが存在する。このフィールドは、サンプル(提示単位)毎の提示単位時間長を上記時間単位に基づき示す。この提示単位時間長は、「PU_duration_description_type = 2」における各提示単位の時間長を示す情報である。
図27は、受信側におけるデコード時刻DTおよび提示時刻PTの算出方法を示している。図示のように、シグナリングメッセージとしてのMPTに含まれるMPUタイムスタンプ・デスクリプタの「MPU_presentation_time」のフィールドから、最初の提示単位の提示時刻mptが取得される。
また、シグナリングメッセージとしてのMPTに含まれるMPU拡張タイムスタンプ・デスクリプタの「initial_decoding_time_offset」のフィールドから、最初に伝送される提示単位(サンプル)のデコード時刻情報idtoが取得される。また、このデスクリプタの「decoding_presentation_time_offset」のフィールドから各提示単位(サンプル)の提示時刻情報dptoが取得される。
さらに、このデスクリプタの記述情報に基づいて各提示単位の時間長を示す情報PUdが取得される。すなわち、「PU_duration_description_type = 0」の場合、各提示単位の時間長を示す情報PUdは、あらかじめ規定される固定値とされる。また、「PU_duration_description_type = 1」の場合、各提示単位の時間長を示す情報PUdは、「default_PU_duration」のフィールドから固定値として取得される。さらに、「PU_duration_description_type = 2」の場合、各提示単位の時間長を示す情報PUdは、「PU_duration」のフィールドから取得される。
受信側では、これらの取得情報に基づいて、各提示単位のデコード時刻DTkよび提示時刻PTkが、図28(b)に示すように、以下の(5)式、(6)式、(7)式で、算出される。
DTk=mpt+((k−1)*PUd−idto)*2/ts
・・・(5)
DTk=mpt+(ΣPUdi−idto)*2/ts
・・・(6)
PTk=DTk+dptok*2/ts ・・・(7)
なお、(5)式は、「PU_duration_description_type = 0/1」の場合における各提示単位のデコード時刻DTkの算出式である。また、(6)式は「PU_duration_description_type = 2」の場合における各提示単位のデコード時刻DTkの算出式である。ここで、「ΣPudi」の項は、k=1の場合は0となり、k>1の場合はi=1からk−1までの和となる。
また、各算出式は、DTk,PTkを、MPUタイムスタンプ・デスクリプタの「MPU_presentation_time」のフィールドから取得される最初の提示単位の提示時刻mptの単位、すなわち1/(2**N)秒に合致させた状態で得るようになっている(図28(a)参照)。各式において、「2/ts」の項では、「timescale」で示される単位をmptの単位に合わせるための換算を行っている。
受信側では、後述するように送信側から送られてきた時刻情報に基づいて生成された時刻情報(NTP)と、上述のように算出されたデコード時刻DTkおよび提示時刻PTkとにより、伝送メディアの各提示単位のデコードおよび提示の制御が行われる(図28(a)参照)。
次に、MPU拡張タイムスタンプ・デスクリプタの伝送順について説明する。MPUタイムスタンプ・デスクリプタがMPUのAVデータの前に配置されるのに対し、MPU拡張タイムスタンプ・デスクリプタは、図29に示すように、AV信号のエンコーダバッファ(Enc Buffer)入力以前のDT/PT決定時点で即時にMPTに配置されて放送ストリームで伝送される。
AVデータはバッファでGOP分以上の遅延があるとすると、MPU拡張タイムスタンプ・デスクリプタは上記遅延がないので、デコーダバッファ(Dec Buffer)出力時点では確実にDT/PT情報を受信機で利用可能な状態とすることが可能である。
上述したように、MPU拡張タイムスタンプ・デスクリプタにDT/PT情報を挿入して伝送することで、MPUのデータを遅延させることなく、各提示単位(サンプル)のデータの受信に対応して、その提示単位のデコード時刻および提示時刻を直ちに算出できる。そのため、受信側でデコード時刻および提示時刻による処理を行うための遅延を低く抑えることが可能となる。
図30は、放送送出システム100の構成例を示している。この放送送出システム100は、NTPクロック生成部(時計部)111と、信号送出部112と、ビデオエンコーダ113と、オーディオエンコーダ114と、MMTシグナリングエンコード部115を有している。また、この放送送出システム100は、TLVシグナリング発生部116と、N個のIPサービス・マルチプレクサ117-1〜117-Nと、TLV・マルチプレクサ118と、変調/送信部119を有している。
NTPクロック生成部(時計部)111では、外部から取得されたNTP時刻情報に同期したNTP時刻情報が生成され、このNTP時刻情報を含むIPパケットがIPサービス・マルチプレクサ117-1に送られる。信号送出部112は、例えば、TV局のスタジオとか、VTR等の記録再生機であり、伝送メディアとしてのビデオ、オーディオなどのベースバンド信号を送出するシステムである。
ビデオエンコーダ113では、信号送出部112から送出されるビデオ信号が符号化され、さらにパケット化されて、ビデオのMMTパケットを含むIPパケットがIPサービス・マルチプレクサ117-1に送られる。オーディオエンコーダ114では、信号送出部112から送出されるオーディオ信号が符号化され、さらにパケット化されて、オーディオのMMTパケットを含むIPパケットがIPサービス・マルチプレクサ117-1に送られる。
ここで、上述したようにMMTパケットのMMT拡張ヘッダを利用する場合には、ビデオのMMTパケットやオーディオのMMTパケットに、そのパケットに含まれるサンプル(提示単位)のデコード時刻(DT)、提示時刻(PT)を得るための時刻取得情報(DT/PT情報)を持つ拡張ヘッダ(header_extension)が配置される。
MMTシグナリングエンコード部115では、シグナリングメッセージが発生され、ペイロード部にこのシグナリングメッセージが配置されたMMTパケットを含むIPパケットがIPサービス・マルチプレクサ117-1に送られる。このシグナリングメッセージには、MPT(MMT Package Table)が含まれる。このMPTには、MPUタイムスタンプ・デスクリプタ(MPU_timestamp_descriptor)が挿入される。ここで、上述したように新規定義するMPU拡張タイムスタンプ・デスクリプタ(MPU_extended_timestamp_descriptor)を利用する場合には、このMPTに、MPU拡張タイムスタンプ・デスクリプタがさらに挿入される。
IPサービス・マルチプレクサ117-1では、各エンコーダから送られてくるIPパケットの時分割多重化が行われる。この際、IPサービス・マルチプレクサ117-1では、各IPパケットにUDPヘッダおよびTLVヘッダが付加されて、TLVパケットとされる。IPサービス・マルチプレクサ117-1では、一つのトランスポンダの中に入れる一つのチャネル部分が構成される。IPサービス・マルチプレクサ117-2〜117-Nでは、IPサービス・マルチプレクサ117-1と同様の機能を持ち、その一つのトランスポンダの中にいれる他のチャネル部分が構成される。
TLVシグナリング発生部116では、シグナリング(Signaling)情報が発生され、このシグナリング(Signaling)情報をペイロード部に配置するTLVパケットが生成される。TLV・マルチプレクサ118では、IPサービス・マルチプレクサ117-1〜117-NおよびTLVシグナリング発生部116で生成されるTLVパケットが多重化されて、MMT方式の放送ストリーム(図4(e)参照)が生成される。変調/送信部119では、TLV・マルチプレクサ118で生成されるMMT方式の放送ストリームに対して、RF変調処理が行われて、RF伝送路に送出される。
図31は、受信機200の構成例を示している。この受信機200は、チューナ/復調部201と、デマルチプレクサ202と、NTPクロック再生部(時計部)203と、システム制御部204とを有している。また、この受信機200は、ビデオ制御部205と、ビデオデコードバッファ206と、ビデオデコーダ204と、オーディオ制御部208と、オーディオデコードバッファ209と、オーディオデコーダ210を有している。
チューナ/復調部201では、図示しないアンテナからの中間周波信号が受信され、復調処理が行われて、MMT方式の放送ストリーム(図4(e)参照)が得られる。デマルチプレクサ202では、この放送ストリームに対して、デマルチプレクス処理およびデパケット化処理が行われて、NTP時刻情報、シグナリング情報、さらにはビデオ、オーディオの符号化データ、ビデオ、オーディオのDT/PT情報が取り出される。
デマルチプレクサ202では、MMT−SIフィルタ部202aでフィルタリングされてMMTのシグナリング情報(シグナリングメッセージ)が取り出され、システム制御部204に送られる。また、デマルチプレクサ202では、TLV−SIフィルタ部202bでフィルタリングされてTLVシグナリング情報を取り出され、システム制御部204に送られる。
デマルチプレクサ202で取り出されるNTP時刻情報は、NTPクロック再生部203に送られる。NTPクロック再生部203では、そのNTP時刻情報に同期したNTP時刻情報が再生される。このように再生されたNTP時刻情報は、ビデオ制御部205およびオーディオ制御部208に送られる。
デマルチプレクサ202で取り出されるビデオの符号化データは、ビデオデコードバッファ206に一時的に蓄積される。また、デマルチプレクサ202で取り出されるオーディオの符号化データは、オーディオデコードバッファ209に一時的に蓄積される。
上述したようにMMTパケットのMMT拡張ヘッダを利用する場合、デマルチプレクサ202では、ビデオ、オーディオのMMTパケットのMMT拡張ヘッダからビデオ、オーディオのDT/PT情報が取り出され、それぞれ、ビデオ制御部205、オーディオ制御部208に送られる。
一方、上述したようにMPU拡張タイムスタンプ・デスクリプタを利用する場合、システム制御部204では、MPTのビデオ、オーディオのMPU拡張タイムスタンプ・デスクリプタ(図23あるいは図25、図26参照)から、ビデオ、オーディオのDT/PT情報が取り出され、それぞれ、ビデオ制御部205、オーディオ制御部208に送られる。
また、システム制御部204では、MPTのビデオ、オーディオのMPUタイムスタンプ・デスクリプタ(図11参照)から、ビデオ、オーディオのMPUの最初のサンプル(提示単位)の提示時刻が取り出され、それぞれ、ビデオ制御部205、オーディオ制御部208に送られる。
ビデオ制御部205では、MPUの最初のサンプル(提示単位)の提示時刻と、MPUの各サンプル(提示単位)のDT/PT情報に基づいて、各サンプル(提示単位)のデコード時刻DTおよび提示時刻PTが求められる(上述の(1)式、(2)式、あるいは(3)式、(4)式、あるいは(5)式、(6)式、(7)式参照)。
ビデオ制御部205では、ビデオデコーダ207に対して、ビデオデコードバッファ206に蓄積されている各サンプル(提示単位)の符号化ビデオに対する、デコードおよび提示の指示が行われる。この場合、ビデオ制御部205では、それらの指示が、NTPクロック再生部203から供給されるNTP時刻情報が参照され、上述したように求められたデコード時刻DTおよび提示時刻PTのタイミングで行われる。
ビデオデコーダ207では、ビデオ制御部205からの指示に基づいて、ビデオデコードバッファ206に蓄積されている各サンプル(提示単位)の符号化ビデオのデコード処理が行われる。そして、このビデオデコーダ207から、各サンプル(提示単位)のビデオが提示時刻PTのタイミングで順次出力される。
また、オーディオ制御部208では、MPUの最初のサンプル(提示単位)の提示時刻と、MPUの各サンプル(提示単位)のDT/PT情報に基づいて、各サンプル(提示単位)のデコード時刻DTおよび提示時刻PTが求められる(上述の(1)式、(2)式、あるいは(3)式、(4)式、あるいは(5)式、(6)式、(7)式参照)。
オーディオ制御部208では、オーディオデコーダ210に対して、オーディオデコードバッファ209に蓄積されている各サンプル(提示単位)の符号化オーディオに対する、デコードおよび提示の指示が行われる。この場合、オーディオ制御部208では、それらの指示が、NTPクロック再生部203から供給されるNTP時刻情報が参照され、上述したように求められたデコード時刻DTおよび提示時刻PTのタイミングで行われる。
オーディオデコーダ210では、オーディオ制御部208からの指示に基づいて、オーディオデコードバッファ209に蓄積されている各サンプル(提示単位)の符号化オーディオのデコード処理が行われる。そして、このオーディオデコーダ210から、各サンプル(提示単位)のオーディオが提示時刻PTのタイミングで順次出力される。
ここで、NTP(Network Time Protocol)について説明する。NTPは、ITU(International Telecommunication Union)でインターネットの標準として規定されているプロトコルである。パーソナルコンピュータ、スマートフォンなどのクライアントからNTPプロトコルによりNTPサーバにアクセスすることで、時刻情報を得ることができる。
図32(a)に示すように、NTPサーバには、階層(Stratum)が存在し、番号が若いほど高精度となっている。例えば、階層1(Stratum 1)のNTPサーバは原子時計と直結していて、時刻情報の誤差は1μs未満である。NTPサーバが提供する時刻情報は、1900年1月1日からの積算秒数(UTC:Coordinated Universal Time)で表現されている。
図32(b)は、NTPサーバが提供する時刻情報のフォーマット(NTP time stamp long format)を示している。この時刻情報は、64ビットフォーマットであり、上位32ビットはUTCの積算秒数を示し、下位32ビットは秒未満を示している。図32(c)は、NTPサーバが提供する時刻情報のフォーマット(NTP time stamp short format)を示している。この時刻情報は、32ビットフォーマットであり、上位16ビットはUTCの積算秒数を示し、下位16ビットは秒未満を示している。
パーソナルコンピュータ、スマートフォンなどのクライアントからNTPプロトコルでNTPサーバにアクセスして時刻情報を取得するときには、どの階層のNTPサーバにサクセスするか不明である。そのため、複数のNTPサーバに同期アクセスして平均値を取ることで、ばらつきを抑え、より正確な時刻情報を得るようになされる。
図33、図34は、MMT方式におけるクロック同期・提示同期方式を示している。図33は、放送送出システム100側の構成例を示している。図34は、受信機200側の構成例を示している。
最初に、図33を参照して、放送送出システム100側の構成例を説明する。この放送送出システム100は、NTP/IPインタフェース131と、32ビットレジスタ132a,132bを有している。また、この放送送出システム100は、2**24Hzのクロック(システムクロック)を生成する電圧制御発振器133と、時計部を構成する8ビットカウンタ134a、16ビットカウンタ134bおよび32ビットカウンタ134cと、比較器135を有している。また、この放送送出システム100は、パケット化部136と、ビデオエンコード処理部137と、パケット化部138と、エンコードバッファ139と、ビデオ同期制御部140と、MMTシグナリングエンコード部141と、マルチプレクサ142を有している。
NTP/IPインタフェース131により、例えば、インターネット経由で図示しないNTPサーバに所定の時間間隔でアクセスされ、64ビットフォーマットの時刻情報(図32(b)参照)が取得される。32ビットレジスタ132a,132bでは、NTP/IPインタフェース131で取得される64ビットフォーマットの時刻情報が保持される。32ビットレジスタ132aには上位32ビットのビットデータが保持され、32ビットレジスタ132bには下位32ビットのビットデータが保持される。32ビットレジスタ132a,132bの保持内容は、NTP/IPインタフェース131で64ビットフォーマットの時刻情報を取得する毎に更新される。
ここで時刻情報を取得する頻度が十分高い場合にはこのままの構成でよいが、低い場合にはレジスタ132a,132bはNTPサーバの時計を再現するように自動的に時刻を示すカウンタとして継続動作することも考えられる。ここで、取得した時刻情報の下位32ビットを示すレジスタ132bの出力がオール0となった時点で、時刻情報の上位32ビットを示すレジスタ132aの出力を32ビットカウンタ134cの初期値としてセットし、かつ16ビットカウンタ134bと8ビットカウンタ134aをそれぞれオール0にセットする。この設定動作は放送送出システム100が動作開始する1回のみに限定される。
電圧制御発振器133では、2**24Hzのクロック(システムクロック)が発生される。8ビットカウンタ134aでは、電圧制御発振器133から出力される2**24Hzのクロックがカウントされる。16ビットカウンタ134bでは、8ビットカウンタ134aの桁上げ出力がカウントされる。つまり、この実施の形態では、8ビットカウンタ134aと16ビットカウンタ134bにより、24ビットカウンタが構成されている。
32ビットカウンタ134cでは、16ビットカウンタ134bの桁上げ出力である1Hzのクロックがカウントされて、秒精度の時刻情報(Regenerated UTC)である32ビットのビット出力が得られる。8ビットカウンタ134a、16ビットカウンタ134bおよび32ビットカウンタ134cの56ビットのビット出力は、初期値からの上記カウンタ動作により、時刻情報としてのシステム・タイム・クロック(STC:System Time Clock)となる。
比較器135では、32ビットレジスタ132a,132bの保持内容が更新されるタイミングで、上述の56ビットのシステム・タイム・クロックがラッチされ、レジスタ保持内容、つまりNTPサーバから取得された時刻情報(下位8ビットを除く)と比較される。そして、比較器135から電圧制御発振器133に、比較誤差信号が制御信号として供給される。
電圧制御発振器133、カウンタ134a,134b,134cおよび比較器135により、PLL(Phase Locked Loop)回路が構成される。そのため、電圧制御発振器133では、NTPサーバから取得された64ビットフォーマットの時刻情報に同期した2**24Hzのクロック(システムクロック)が生成される。また、カウンタ134a,134b,134cでは、この2**24Hzのクロックの周波数情報を含み、NTPサーバから取得された64ビットフォーマットの時刻情報に同期した、56ビットの時刻情報が生成される。
この56ビットの時刻情報は、パケット部136に供給される。パケット化部136では、この56ビットの時刻情報の下位にオールゼロの8ビットを付加して、64ビットフォーマットの時刻情報(図28(b)参照)とする。そして、このパケット化部136では、この64ビットの時刻情報に基づき、2**24Hzのクロックの周波数情報を持つNTP・クロック・リファレンス(NTP_CR:NTP Clock Reference)を含むIPパケットが生成される。
ビデオエンコード処理部137では、電圧制御発振器133で得られる2**24Hzのクロックに同期して、ビデオ(ビデオデータ)が符号化される。この場合、2**24Hzのクロックは、適宜、逓倍や分周が行われて、所望の周波数に変換されて使用される。パケット化部138では、符号化後のビデオのエレメンタリストリームが所定の大きさの固まりに分割され、それぞれの固まりをペイロード部に含むMMTパケット(MMT packet)が生成される。このMMTパケットは、エンコードバッファ139を通じてマルチプレクサ142に供給される。
MMTシグナリングエンコード部141では、シグナリングメッセージが発生され、ペイロード部にこのシグナリングメッセージが配置されたMMTパケットを含むIPパケットがマルチプレクサ142に送られる。
ビデオ同期制御部140には、カウンタ134a,134b,134cで得られる56ビットの時刻情報が供給される。ビデオ同期制御部140では、ビデオエンコード処理部138でエンコードされるビデオのGOP毎に、先頭のピクチャ(サンプル=提示単位)のエンコードタイミングを基に、そのピクチャの提示時刻(PT:Presentation Time)が求められる。この提示時刻mptは、MMTシグナリング発生部141に供給される。
MMTシグナリングエンコード部141では、ビデオエンコード処理部138でエンコードされるビデオのGOP毎に、そのピクチャの提示時刻mptを持つMPUタイムスタンプ・デスクリプタ(MPU_timestamp_descriptor)が生成され、このデスクリプタが挿入されたMPT(MMT Package Table)を含むシグナリングメッセージが発生される。
また、ビデオ同期制御部140では、ビデオエンコード処理部138でエンコードされるビデオのGOP毎に、各ピクチャのエンコードタイミングを基に、上述のDT/PT情報(デコード時刻DT、提示時刻PTを得るための時刻取得情報)が生成される。
ビデオ同期制御部140で生成されるDT/PT情報は、上述したようにMMTパケットのMMT拡張ヘッダを利用する場合には、パケット化部138に供給される。パケット化部138では、ビデオのMMTパケットに、DT/PT情報を持つMMT拡張ヘッダ(header_extension)が配置される。
また、ビデオ同期制御部140で生成されるDT/PT情報は、上述したようにMPU拡張タイムスタンプ・デスクリプタ(MPU_extended_timestamp_descriptor)を利用する場合には、MMTシグナリングエンコード部141に供給される。MMTシグナリングエンコード部141では、ビデオエンコード処理部138でエンコードされるビデオのGOP毎に、各ピクチャのDT/PT情報を持つMPU拡張タイムスタンプ・デスクリプタが生成され、このデスクリプタが挿入されたMPT(MMT Package Table)を含むシグナリングメッセージが発生される。
マルチプレクサ142には、上述したように、NTP・クロック・リファレンスを含むIPパケット、符号化ビデオを含むMMTパケットおよびシグナリングメッセージを含むMMTパケットが供給される。なお、図示は省略されているが、符号化オーディオなどを含むMMTパケットも、符号化ビデオを含むMMTパケットと同様に生成され、マルチプレクサ142に供給される。マルチプレクサ142では、各パケットにさらに必要なヘッダが付加され、MMT方式の放送ストリームが生成される。このMMT方式の放送ストリームが、放送信号として送信される。
次に、図30を参照して、受信機200側の構成例を説明する。この受信機200は、デマルチプレクサ231と、2**24Hzのクロック(システムクロック)を生成する電圧制御発振器232と、時計を構成する8ビットカウンタ233a、16ビットカウンタ233bおよび32ビットカウント233cと、比較器234を有している。また、この受信機200は、MMTシグナリングデコード部235と、ビデオ同期制御部236と、デパケット化部237と、デコードバッファ238と、ビデオデコード処理部238を有している。ここで、システムクロックを生成する電圧制御発振器232は必ずしも送信システムと同じ周波数である必要はなく、例えば、2**22Hzでも、2**n(nは整数)であればよい。
デマルチプレクサ231には、受信放送信号であるMMT方式の放送ストリームが供給される。デマルチプレクサ231では、NTP・クロック・リファレンス(NTP_CR)を含むIPパケットからNTP_CRが抽出される。選局時や電源投入時において、最初に受信された64ビットのNTP_CRのうち上位56ビットはカウンタ233a、カウンタ233bおよびカウンタ233cからなる56ビットのカウンタに初期値としてセットされる、その後に受信したこのNTP_CRは、比較器234に供給される。
電圧制御発振器232、カウンタ233a,233b,233cおよび比較器234により、PLL(Phase Locked Loop)回路が構成される。そのため、電圧制御発振器232ではNTP_CRに同期した2**24Hzのクロックが生成される。この2**24Hzのクロックの周波数は、上述し放送送出システム100の電圧制御発振器133で生成されるクロックの周波数と等しくなり、クロック同期が実現される。
また、カウンタ233a,233b,233cでは、NTP_CRに同期したシステム・タイム・クロックが生成される。このシステム・タイム・クロックは、上述した放送送出システム100のカウンタ134a,134b,134cで生成されるシステム・タイム・クロックと合ったものとなる。そのため、上述したように、MMT方式の放送ストリームに、ビデオ、オーディオの提示単位毎のデコード時刻DTおよび提示時刻PTを求めるための情報(提示時刻mpt、DT/PT情報)が挿入されていることと相俟って、提示同期が実現される。
デマルチプレクサ231で抽出されるシグナリングメッセージは、MMTシグナリングデコード部235に供給される。このMMTシグナリングデコード部235では、MPT(MMT Package Table)に含まれるMPUタイムスタンプ・デスクリプタ(MPU_timestamp_descriptor)から、ビデオのGOP毎に、そのピクチャの提示時刻mptが取り出される。この提示時刻mptは、ビデオ同期制御部236に供給される。
なお、上述したようにMPU拡張タイムスタンプ・デスクリプタ(MPU_extended_timestamp_descriptor)を利用する場合には、このMMTシグナリングデコード部235では、MPT(MMT Package Table)に含まれるMPU拡張タイムスタンプ・デスクリプタから、ビデオのGOP毎に、各ピクチャのDT/PT情報が取り出される。このDT/PT情報は、ビデオ同期制御部236に供給される。
デマルチプレクサ231で抽出される符号化ビデオを含むMMTパケットは、デパケット化部237に供給されてデパケット化の処理が行われる。デパケット化部237で得られる符号化ビデオはデコードバッファ238に一時的に蓄積される。
なお、上述したようにMMTパケットのMMT拡張ヘッダを利用する場合には、このデパケット化部237では、ビデオのGOP毎に、MMTパケットに設けられているMMT拡張ヘッダ(header_extension)から、各ピクチャのDT/PT情報が取り出される。このDT/PT情報は、ビデオ同期制御部236に供給される。
カウンタ233a,233b,233cで生成されるシステム・タイム・クロックは、ビデオ同期制御部236に供給される。この場合、56ビットの全てを供給する必要はなく、ビデオ同期制御部236で算出されるデコード時刻DTおよび提示時刻PTの精度に対応したビット部分だけが供給されてもよい。
例えば、ビデオ同期制御部236で算出されるデコード時刻(DT)および提示時刻(PT)の精度が1/2**16秒(約15μ秒)である場合には、32ビットカウンタ233cと16ビットカウンタ233bの(32+16)ビットの出力だけで足りる。また、それ以上の精度、例えば1/2**18秒(3.8μ秒)である場合には、8ビットカウンタ233aのビット出力も必要となる。
ビデオ同期制御部236では、提示時刻mptとDT/PT情報に基づいて、ビデオのGOP毎に、各ピクチャのデコード時刻DTおよび提示時刻PTが求められる(上述の(1)式、(2)式、あるいは(3)式、(4)式、あるいは(5)式、(6)式、(7)式参照)。ビデオ同期制御部236では、ビデオデコード処理部239に対して、デコードバッファ238に蓄積されている各ピクチャの符号化ビデオに対する、デコードおよび提示の指示が行われる。この場合、ビデオ同期制御部236では、それらの指示が、カウンタ233a,233b,233cで生成されるシステム・タイム・クロックが参照され、上述したように求められたデコード時刻DTおよび提示時刻PTのタイミングで行われる。
ビデオデコード処理部239では、ビデオ同期制御部236からの指示に基づいて、デコードバッファ238に蓄積されている各ピクチャの符号化ビデオのデコード処理が行われる。そして、このビデオデコード処理部239から、各ピクチャのビデオが提示時刻PTのタイミングで順次出力される。なお、図示は省略されているが、デマルチプレクサ231では、符号化オーディオを含むMMTパケットも抽出され、上述のビデオの場合と同様に処理されてベースバンドのオーディオデータが得られ、音声出力が行われる。
上述したように、図1に示す送受信システム10においては、MMT方式の放送ストリームに外部から取得された時刻情報に同期したクロックの周波数情報を含む時刻情報(NTP_CR)が含まれるものである。そのため、受信側では、この時刻情報に基づいて送信側と同様のクロック(システムクロック)を生成でき、クロック同期を実現できる。
この場合、クロックの周波数が2**nHz(例えば、n=24〜28)とされることで、外部から取得するNTPロングフォーマットの時刻情報に同期した時刻情報の生成が容易となると共に、生成される時刻情報をNTPロングフォーマットに対応したものとすることができる。
また、図1に示す送受信システム10においては、MMT方式の放送ストリームには、外部から取得された時刻情報に同期した時刻情報(システム・タイム・クロック)に基づいて得られた、ビデオ、オーディオの提示単位毎のデコード時刻DTおよび提示時刻PTを求めるための情報(提示時刻mpt、DT/PT情報)が挿入されるものである。そのため、この情報と、時刻情報(システム・タイム・クロック)に基づき、提示同期の実現が可能となる。
また、図1に示す送受信システム10においては、各サンプル(提示単位)のデコード時刻DTおよび提示時刻PTを求めるためのDT/PT情報の伝送に、MMTパケットのMMT拡張ヘッダあるいは新規定義するMPU拡張タイムスタンプ・デスクリプタを利用するものである。そのため、受信側でデコード時刻および提示時刻による処理を行うための遅延を低く抑えることが可能となる。
<2.変形例>
なお、上述実施の形態では、MMT方式の放送ストリームを取り扱う例を示した。詳細説明は省略するが、本技術は、同様の放送ストリームを取り使う場合にも同様に適用できることが勿論である。
また、本技術は、以下のような構成を取ることもできる。
(1)外部から取得された時刻情報に同期したクロックを生成するクロック生成部と、
上記クロック生成部で生成されたクロックの周波数情報を含み、上記外部から取得された時刻情報に同期した時刻情報を生成する時刻情報生成部と、
伝送メディアと、上記時刻情報生成部で生成された時刻情報に基づいて得られた該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、上記時刻情報生成部で生成された時刻情報を含む放送信号を送信する送信部とを備える
送信装置。
(2)上記時刻取得情報は、
上記伝送メディアの所定数の提示単位からなる提示単位グループ毎に、
上記提示単位グループの最初の提示単位の提示時刻と、
上記提示単位グループの各提示単位のデコード時刻および提示時刻を上記最初の提示単位の提示時刻を参照して算出するための時間長情報とからなる
前記(1)に記載の送信装置。
(3)上記時間長情報は、
上記最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、各提示単位の時間長を示す情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる
前記(2)に記載の送信装置。
(4)上記時間長情報は、
上記各提示単位の、上記最初の提示単位の提示時刻からのオフセット時間長で示したデコード時刻情報と、デコード時刻からのオフセット時間長で示した提示時刻情報とからなる
前記(2)に記載の送信装置。
(5)上記時間長情報は、
上記最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、2番目以降の各提示単位の前の提示単位のデコード時刻からのオフセット時間長で示したデコード時刻情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる
前記(2)に記載の送信装置。
(6)上記放送信号は、上記伝送メディアを含む第1のパケットと、上記伝送メディアに関する情報を含む第2のパケットと、上記時刻情報生成部で生成された時刻情報を含む第3のパケットを持ち、
上記最初の提示時刻および上記時間長情報は、上記第2のパケットに挿入される
前記(2)から(4)のいずれかに記載の送信装置。
(7)上記放送信号は、上記伝送メディアを含む第1のパケットと、上記伝送メディアに関する情報を含む第2のパケットと、上記時刻情報生成部で生成された時刻情報を含む第3のパケットを持ち、
上記最初の提示時刻は、上記第2のパケットに挿入され、
上記時間長情報は、上記第1のパケットに挿入される
前記(2)から(4)のいずれかに記載の送信装置。
(8)上記時間長情報は、上記第1のパケットの拡張ヘッダに挿入される
前記(7)に記載の送信装置。
(9)上記第1のパケットには、提示単位の先頭が含まれるとき、上記拡張ヘッダが設けられる
前記(8)に記載の送信装置。
(10)上記第1のパケットには、常に、上記拡張ヘッダが設けられ、該拡張ヘッダには、該第1のパケットに提示単位の先頭が含まれるか否かを示すフラグ情報がさらに挿入される
前記(8)に記載の送信装置。
(11)上記クロック生成部で生成されるクロックの周波数は、2**nHzである
前記(1)から(10)のいずれかに記載の送信装置。
(12)外部から取得された時刻情報に同期したクロックを生成するクロック生成ステップと、
上記クロック生成ステップで生成されたクロックの周波数情報を含み、上記外部から取得された時刻情報に同期した時刻情報を生成する時刻情報生成ステップと、
伝送メディアと、上記時刻情報生成ステップで生成された時刻情報に基づいて得られた該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻情報と、上記時刻情報生成ステップで生成された時刻情報を含む放送信号を送信する送信ステップとを有する
送信方法。
(13)伝送メディアと、該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、外部から取得された時刻情報に同期したクロックの周波数情報を含み、上記外部から取得された時刻情報に同期した時刻情報を含む放送信号を受信する受信部と、
上記放送信号に含まれる時刻情報に基づいてクロックを生成し、該クロックを用いて該時刻情報と同期した時刻情報を生成する時刻情報生成部と、
上記放送信号に含まれる上記時刻取得情報に基づいて、上記伝送メディアの提示単位毎のデコード時刻および提示時刻を求める時刻算出部と、
上記放送信号に含まれる伝送メディアを、提示単位毎に、上記時刻算出部で算出されたデコード時刻および提示時刻と、上記時刻情報生成部で生成された時刻情報とに基づいて処理する処理部を備える
受信装置。
(14)上記伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報は、
上記伝送メディアの所定数の提示単位からなる提示単位グループ毎に、
上記提示単位グループの最初の提示単位の提示時刻と、
上記提示単位グループの各提示単位のデコード時刻および提示時刻を上記最初の提示単位の提示時刻を参照して算出するための時間長情報とからなる
前記(13)に記載の受信装置。
(15)上記時間長情報は、
上記最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、各提示単位の時間長を示す情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる
前記(14)に記載の受信装置。
(16)上記放送信号は、上記伝送メディアを含む第1のパケットと、上記伝送メディアに関する情報を含む第2のパケットと、上記時刻情報を含む第3のパケットを持ち、
上記最初の提示時刻および上記時間長情報は、上記第2のパケットに挿入されている
前記(14)または(15)に記載の受信装置。
(17)上記放送信号は、上記伝送メディアを含む第1のパケットと、上記伝送メディアに関する情報を含む第2のパケットと、上記時刻情報を含む第3のパケットを持ち、
上記最初の提示時刻は、上記第2のパケットに挿入され、
上記時間長情報は、上記第1のパケットに挿入されている
前記(14)または(15)に記載の受信装置。
(18)伝送メディアと、該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、外部から取得された時刻情報に同期したクロックの周波数情報を含み、上記外部から取得された時刻情報に同期した時刻情報を含む放送信号を受信する受信ステップと、
上記放送信号に含まれる時刻情報に基づいてクロックを生成し、該クロックを用いて該時刻情報と同期した時刻情報を生成する時刻情報生成ステップと、
上記放送信号に含まれる上記時刻取得情報に基づいて、上記伝送メディアの提示単位毎のデコード時刻および提示時刻を求める時刻算出ステップと、
上記放送信号に含まれる伝送メディアを、提示単位毎に、上記時刻算出ステップで算出されたデコード時刻および提示時刻と、上記時刻情報生成ステップで生成された時刻情報とに基づいて処理する処理ステップを有する
受信方法。
(19)外部から取得された時刻情報に同期した2**nHzのクロックを生成するクロック生成部と、
上記クロック生成部で生成された2**nHzのクロックの周波数情報を含み、上記外部から取得された時刻情報に同期した時刻情報を生成する時刻情報生成部と、
伝送メディアと、上記時刻情報生成部で生成された時刻情報に基づいて得られた該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻情報と、上記時刻情報生成部で生成された時刻情報を含む放送信号を送信する送信部とを備える
送信装置。
(20)上記nは、24から28のいずれかの整数である
前記(19)に記載の送信装置。
本技術の主な特徴は、各サンプル(提示単位)のデコード時刻DTおよび提示時刻PTを求めるためのDT/PT情報の伝送に、MMTパケットのMMT拡張ヘッダあるいは新規定義するMPU拡張タイムスタンプ・デスクリプタを利用することで、受信側でデコード時刻および提示時刻による処理を行うための遅延を低く抑えることを可能としたことである(図15、図19、図24、図27参照)。また、本技術の主な特徴は、システムクロックの周波数を2**nHz(例えば、n=24〜28)とすることで、外部から取得するNTPロングフォーマットの時刻情報に同期した時刻情報の生成を容易とし、しかも生成される時刻情報をNTPロングフォーマットに対応したものとすることを可能としたことである(図33参照)。
10・・・送受信システム
100・・・放送送出システム
111・・・NTPクロック生成部
112・・・信号送出部
113・・・ビデオエンコーダ
114・・・オーディオエンコーダ
115・・・MMTシグナリングエンコード部
116・・・TLVシグナリング発生部
117-1〜117-N・・・IPサービス・マルチプレクサ
118・・・TLV・マルチプレクサ
119・・・変調/送信部
131・・・NTP/IPインタフェース
132a,132b・・・32ビットレジスタ
133・・・電圧制御発振器
134a・・・8ビットカウンタ
134b・・・16ビットカウンタ
134c・・・32ビットカウンタ
135・・・比較器
136・・・パケット化部
137・・・ビデオエンコード処理部
138・・・パケット化部
139・・・エンコードバッファ
140・・・ビデオ同期制御部
141・・・MMTシグナリングエンコード部
142・・・マルチプレクサ
200・・・受信機
201・・・チューナ/復調部
202・・・デマルチプレクサ
202a・・・MMT−SIフィルタ部
202b・・・TLV−SIフィルタ部
203・・・NTPクロック再生部
204・・・システム制御部
205・・・ビデオ制御部
206・・・ビデオデコードバッファ
207・・・ビデオデコーダ
208・・・オーディオ制御部
209・・・オーディオデコードバッファ
210・・・オーディオデコーダ
231・・・デマルチプレクサ
232・・・電圧制御発振器
233a・・・8ビットカウンタ
233b・・・16ビットカウンタ
233c・・・32ビットカウンタ
234・・・比較器
235・・・MMTシグナリングデコード部
236・・・ビデオ同期制御部
237・・・デパケット化部
238・・・デコードバッファ
239・・・ビデオデコード処理部

Claims (4)

  1. 伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報を生成する時刻取得情報生成部と、
    上記伝送メディアと上記時刻取得情報を含む放送信号を送信する送信部とを備え、
    上記時刻取得情報は、上記伝送メディアの所定数の提示単位からなる提示単位グループ毎に、上記提示単位グループの最初の提示単位の提示時刻と、上記提示単位グループの各提示単位のデコード時刻および提示時刻を上記最初の提示単位の提示時刻を参照して算出するための時間長情報とからなり、
    上記放送信号は、上記伝送メディアを含む第1のパケットと、上記伝送メディアに関する情報を含む第2のパケットを含み、
    上記最初の提示単位の提示時刻および上記時間長情報は、上記第2のパケットに挿入され
    上記時間長情報は、上記最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、各提示単位の時間長を示す情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからな
    送信装置。
  2. 伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報を生成する時刻取得情報生成ステップと、
    上記伝送メディアと上記時刻取得情報を含む放送信号を送信する送信ステップとを有し、
    上記時刻取得情報は、上記伝送メディアの所定数の提示単位からなる提示単位グループ毎に、上記提示単位グループの最初の提示単位の提示時刻と、上記提示単位グループの各提示単位のデコード時刻および提示時刻を上記最初の提示単位の提示時刻を参照して算出するための時間長情報とからなり、
    上記放送信号は、上記伝送メディアを含む第1のパケットと、上記伝送メディアに関する情報を含む第2のパケットを含み、
    上記最初の提示単位の提示時刻および上記時間長情報は、上記第2のパケットに挿入され

    上記時間長情報は、上記最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、各提示単位の時間長を示す情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからな
    送信方法。
  3. 伝送メディアと該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報を含む放送信号を受信する受信部を備え、
    上記時刻取得情報は、上記伝送メディアの所定数の提示単位からなる提示単位グループ毎に、上記提示単位グループの最初の提示単位の提示時刻と、上記提示単位グループの各提示単位のデコード時刻および提示時刻を上記最初の提示単位の提示時刻を参照して算出するための時間長情報とからなり、
    上記放送信号は、上記伝送メディアを含む第1のパケットと、上記伝送メディアに関する情報を含む第2のパケットを含み、
    上記最初の提示単位の提示時刻および上記時間長情報は、上記第2のパケットに挿入されており、
    上記時間長情報は、上記最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、各提示単位の時間長を示す情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなり、
    上記放送信号に含まれる上記時刻取得情報に基づいて、上記伝送メディアの提示単位毎のデコード時刻および提示時刻を求める時刻算出部と、
    上記放送信号に含まれる伝送メディアを、提示単位毎に、上記時刻算出部で算出されたデコード時刻および提示時刻に基づいて処理する処理部をさらに備える
    受信装置。
  4. 伝送メディアと該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報を含む放送信号を受信する受信ステップを有し、
    上記時刻取得情報は、上記伝送メディアの所定数の提示単位からなる提示単位グループ毎に、上記提示単位グループの最初の提示単位の提示時刻と、上記提示単位グループの各提示単位のデコード時刻および提示時刻を上記最初の提示単位の提示時刻を参照して算出するための時間長情報とからなり、
    上記放送信号は、上記伝送メディアを含む第1のパケットと、上記伝送メディアに関する情報を含む第2のパケットを含み、
    上記最初の提示単位の提示時刻および上記時間長情報は、上記第2のパケットに挿入されており、
    上記時間長情報は、上記最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、各提示単位の時間長を示す情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなり、
    上記放送信号に含まれる上記時刻取得情報に基づいて、上記伝送メディアの提示単位毎のデコード時刻および提示時刻を求める時刻算出ステップと、
    上記放送信号に含まれる伝送メディアを、提示単位毎に、上記時刻算出ステップで算出されたデコード時刻および提示時刻に基づいて処理する処理ステップをさらに有する
    受信方法。
JP2014112002A 2014-04-10 2014-05-30 送信装置、送信方法、受信装置および受信方法 Active JP5708866B1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2014112002A JP5708866B1 (ja) 2014-04-10 2014-05-30 送信装置、送信方法、受信装置および受信方法
BR112016022965-7A BR112016022965B1 (pt) 2014-04-10 2014-11-18 Aparelhos e métodos de transmissão e recepção
EP14888953.8A EP3131301B1 (en) 2014-04-10 2014-11-18 Transmission apparatus, transmission method, reception apparatus and reception method
US15/116,463 US9942292B2 (en) 2014-04-10 2014-11-18 Transmission apparatus, transmitting method, reception apparatus, and reception method
PCT/JP2014/080561 WO2015155907A1 (ja) 2014-04-10 2014-11-18 送信装置、送信方法、受信装置および受信方法
CN201480077769.1A CN106134208B (zh) 2014-04-10 2014-11-18 发送设备、发送方法、接收设备以及接收方法
PH12016501971A PH12016501971A1 (en) 2014-04-10 2016-10-04 Transmission apparatus, transmission method, reception apparatus and reception method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014081391 2014-04-10
JP2014081391 2014-04-10
JP2014112002A JP5708866B1 (ja) 2014-04-10 2014-05-30 送信装置、送信方法、受信装置および受信方法

Related Child Applications (3)

Application Number Title Priority Date Filing Date
JP2014242255A Division JP5708877B1 (ja) 2014-04-10 2014-11-28 送信装置、送信方法、受信装置および受信方法
JP2014242245A Division JP5708876B1 (ja) 2014-04-10 2014-11-28 送信装置、送信方法、受信装置および受信方法
JP2015024966A Division JP6330681B2 (ja) 2014-04-10 2015-02-12 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JP5708866B1 true JP5708866B1 (ja) 2015-04-30
JP2015207984A JP2015207984A (ja) 2015-11-19

Family

ID=53277154

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2014112002A Active JP5708866B1 (ja) 2014-04-10 2014-05-30 送信装置、送信方法、受信装置および受信方法
JP2014242255A Active JP5708877B1 (ja) 2014-04-10 2014-11-28 送信装置、送信方法、受信装置および受信方法
JP2014242245A Active JP5708876B1 (ja) 2014-04-10 2014-11-28 送信装置、送信方法、受信装置および受信方法
JP2015024966A Active JP6330681B2 (ja) 2014-04-10 2015-02-12 送信装置、送信方法、受信装置および受信方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2014242255A Active JP5708877B1 (ja) 2014-04-10 2014-11-28 送信装置、送信方法、受信装置および受信方法
JP2014242245A Active JP5708876B1 (ja) 2014-04-10 2014-11-28 送信装置、送信方法、受信装置および受信方法
JP2015024966A Active JP6330681B2 (ja) 2014-04-10 2015-02-12 送信装置、送信方法、受信装置および受信方法

Country Status (7)

Country Link
US (1) US9942292B2 (ja)
EP (1) EP3131301B1 (ja)
JP (4) JP5708866B1 (ja)
CN (1) CN106134208B (ja)
BR (1) BR112016022965B1 (ja)
PH (1) PH12016501971A1 (ja)
WO (1) WO2015155907A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017077881A1 (ja) * 2015-11-05 2017-05-11 ソニー株式会社 コンテンツ再生装置、およびコンテンツ再生方法
JP2021168520A (ja) * 2020-07-07 2021-10-21 マクセル株式会社 放送受信装置における映像と音声の再生同期方法
JP2021168521A (ja) * 2020-07-07 2021-10-21 マクセル株式会社 放送受信装置における映像、音声及び字幕の再生同期方法
US11575960B2 (en) 2015-08-06 2023-02-07 Maxell, Ltd. Broadcast receiving apparatus, output video information generating method, broadcast receiving method, and video recording method

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016048912A (ja) * 2014-08-27 2016-04-07 パナソニックIpマネジメント株式会社 復号装置、逆多重化装置、復号方法及び逆多重化方法
CN111526390B (zh) * 2014-09-17 2022-12-06 北京三星通信技术研究有限公司 发送mmt包的方法及装置、接收mmt包的方法
WO2016079946A1 (ja) * 2014-11-20 2016-05-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置及び受信装置
US10085051B2 (en) * 2015-02-13 2018-09-25 Samsung Electronics Co., Ltd. Method and apparatus for converting MMTP stream to MPEG-2TS
CN105554134B (zh) * 2015-12-23 2018-12-18 小米科技有限责任公司 信息同步方法及装置
JP6744092B2 (ja) * 2015-12-24 2020-08-19 日本電気株式会社 送信装置、受信装置、送信方法及び受信方法
JP6115904B1 (ja) * 2016-06-17 2017-04-19 株式会社すなおネット 食品製品及び食品製品の提供方法
JP6951094B2 (ja) * 2017-03-22 2021-10-20 株式会社東芝 放送システム、制御装置、および再生制御方法
US10986402B2 (en) 2018-07-11 2021-04-20 Qualcomm Incorporated Time signaling for media streaming
WO2020075235A1 (ja) * 2018-10-10 2020-04-16 株式会社メディアリンクス エルエスアイラボ クロック生成装置およびクロック生成方法
CN109669918B (zh) * 2018-12-13 2023-04-28 成都心吉康科技有限公司 数据展示方法、装置及可穿戴健康设备
CN109587541A (zh) * 2018-12-13 2019-04-05 青岛海信传媒网络技术有限公司 一种数字电视业务处理方法、装置和电视终端
JP7210272B2 (ja) 2018-12-28 2023-01-23 株式会社東芝 放送システム、エンコーダ、多重化装置、多重化方法、系統切替装置、および同期制御装置
JP7569195B2 (ja) 2020-10-14 2024-10-17 日本放送協会 送信装置および受信装置
CN114189737B (zh) * 2021-12-06 2024-08-06 国微集团(深圳)有限公司 一种数字电视快速切台方法及数字电视

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3278794B2 (ja) * 1995-03-14 2002-04-30 日本電信電話株式会社 分散型実時間連続メディア処理装置
JPH10200854A (ja) * 1997-01-13 1998-07-31 Sony Corp 記録装置、再生装置及び記録再生装置
JP3462087B2 (ja) * 1998-06-17 2003-11-05 日本放送協会 デジタル放送送出装置及びデジタル放送のデータ構造
JP4256715B2 (ja) * 2003-04-28 2009-04-22 パナソニック株式会社 デジタル放送受信装置
EP2346261A1 (en) * 2009-11-18 2011-07-20 Tektronix International Sales GmbH Method and apparatus for multiplexing H.264 elementary streams without timing information coded
CN101820540B (zh) * 2009-12-25 2011-09-14 北京惠信博思技术有限公司 一种mpeg-2编码复用的方法
KR101885852B1 (ko) * 2011-09-29 2018-08-08 삼성전자주식회사 컨텐트 전송 및 수신 방법 및 장치
KR20130078643A (ko) * 2011-12-30 2013-07-10 한국전자통신연구원 Mmt 복합 전달 서비스에서 mmt 패킷 스트림 동기화를 위한 mmt 제어 계층 시그널링을 이용한 타이밍 정보 제공 방법 및 mmt 패킷 스트림 동기화 방법
JP2013229689A (ja) * 2012-04-24 2013-11-07 Sharp Corp 再生装置、配信装置、データ構造、再生方法、配信方法、制御プログラム、および記録媒体
JP5641090B2 (ja) * 2013-03-14 2014-12-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6652320B2 (ja) * 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置及び受信装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11575960B2 (en) 2015-08-06 2023-02-07 Maxell, Ltd. Broadcast receiving apparatus, output video information generating method, broadcast receiving method, and video recording method
US12041295B2 (en) 2015-08-06 2024-07-16 Maxell, Ltd. Broadcast receiving apparatus, output video information generating method, broadcast receiving method, and video recording method
WO2017077881A1 (ja) * 2015-11-05 2017-05-11 ソニー株式会社 コンテンツ再生装置、およびコンテンツ再生方法
JPWO2017077881A1 (ja) * 2015-11-05 2018-08-16 ソニー株式会社 コンテンツ再生装置、およびコンテンツ再生方法
US10405028B2 (en) 2015-11-05 2019-09-03 Sony Corporation Content reproduction apparatus and content reproduction method
JP2021168520A (ja) * 2020-07-07 2021-10-21 マクセル株式会社 放送受信装置における映像と音声の再生同期方法
JP2021168521A (ja) * 2020-07-07 2021-10-21 マクセル株式会社 放送受信装置における映像、音声及び字幕の再生同期方法

Also Published As

Publication number Publication date
JP2015207989A (ja) 2015-11-19
US9942292B2 (en) 2018-04-10
PH12016501971B1 (en) 2016-12-19
JP5708877B1 (ja) 2015-04-30
JP5708876B1 (ja) 2015-04-30
JP6330681B2 (ja) 2018-05-30
JP2015207984A (ja) 2015-11-19
WO2015155907A1 (ja) 2015-10-15
JP2015207992A (ja) 2015-11-19
EP3131301A1 (en) 2017-02-15
CN106134208B (zh) 2018-03-27
BR112016022965A2 (pt) 2022-07-19
BR112016022965B1 (pt) 2023-02-28
CN106134208A (zh) 2016-11-16
PH12016501971A1 (en) 2016-12-19
US20170012765A1 (en) 2017-01-12
JP2015207990A (ja) 2015-11-19
EP3131301A4 (en) 2018-02-14
EP3131301B1 (en) 2019-10-30

Similar Documents

Publication Publication Date Title
JP5708876B1 (ja) 送信装置、送信方法、受信装置および受信方法
JP7533685B2 (ja) 受信装置および受信方法
KR102102349B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6563337B2 (ja) 送信装置、送信方法、受信装置および受信方法
WO2014188960A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP5672406B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150216

R151 Written notification of patent or utility model registration

Ref document number: 5708866

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250