WO2015155907A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2015155907A1
WO2015155907A1 PCT/JP2014/080561 JP2014080561W WO2015155907A1 WO 2015155907 A1 WO2015155907 A1 WO 2015155907A1 JP 2014080561 W JP2014080561 W JP 2014080561W WO 2015155907 A1 WO2015155907 A1 WO 2015155907A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
information
presentation
unit
time information
Prior art date
Application number
PCT/JP2014/080561
Other languages
English (en)
French (fr)
Inventor
北里 直久
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/116,463 priority Critical patent/US9942292B2/en
Priority to BR112016022965-7A priority patent/BR112016022965B1/pt
Priority to EP14888953.8A priority patent/EP3131301B1/en
Priority to CN201480077769.1A priority patent/CN106134208B/zh
Publication of WO2015155907A1 publication Critical patent/WO2015155907A1/ja
Priority to PH12016501971A priority patent/PH12016501971B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/38Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
    • H04H60/40Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0635Clock or time synchronisation in a network
    • H04J3/0638Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658Clock or time synchronisation among packet nodes
    • H04J3/0661Clock or time synchronisation among packet nodes using timestamps
    • H04J3/0664Clock or time synchronisation among packet nodes using timestamps unidirectional timestamps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/09Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
    • H04H60/13Arrangements for device control affected by the broadcast information

Definitions

  • the present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and more particularly, to a transmission device that transmits an IP broadcast signal including transmission media such as video and audio.
  • the purpose of this technology is to achieve good clock synchronization and presentation synchronization in a broadcast system transmitted by the IP system.
  • a clock generation unit that generates a clock synchronized with time information acquired from the outside;
  • a time information generating unit that generates time information synchronized with the time information acquired from the outside including the frequency information of the clock generated by the clock generating unit;
  • Transmission media time acquisition information for obtaining a decoding time and a presentation time for each presentation unit of the transmission media obtained based on the time information generated by the time information generator, and generated by the time information generator
  • a transmission unit that transmits a broadcast signal including the received time information.
  • the clock generation unit generates a clock synchronized with the time information acquired from the outside.
  • the time information is acquired in an NTP long format (NTP long format) from an NTP server by NTP (Network Time Protocol) or from another device by IEEE 1588 PTP.
  • NTP long format NTP long format
  • NTP server Network Time Protocol
  • IEEE 1588 PTP IEEE 1588 Precision Time Protocol
  • the time information generation unit generates time information synchronized with the time information acquired from the outside, including the frequency information of the clock generated by the clock generation unit.
  • the frequency of the clock generated by the clock generation unit may be 2 ** nHz.
  • the time information generation unit can generate time information corresponding to the NTP long format.
  • a broadcast signal including the received time information is transmitted.
  • the time acquisition information includes the presentation time of the first presentation unit of the presentation unit group and the decoding time and presentation time of each presentation unit of the presentation unit group for each presentation unit group including a predetermined number of presentation units of transmission media. It may be configured to include time length information for calculating with reference to the presentation time of the first presentation unit.
  • the time length information includes the decoding time information of the presentation unit transmitted first, indicated by the offset time length from the presentation time of the first presentation unit, information indicating the time length of each presentation unit,
  • the presentation time information indicated by the offset time length from the decoding time may be used. In this case, when the time length of each presentation unit is fixed, the number of bits necessary for transmission of the time length information can be suppressed.
  • the time length information includes, for each presentation unit, decoding time information indicated by an offset time length from the presentation time of the first presentation unit, and presentation time information indicated by an offset time length from the decoding time. , May be.
  • the decoding time of each presentation unit can be obtained by adding the decoding time information indicated by the offset time length to the presentation time of the first presentation unit, and the calculation process is simplified.
  • the time length information includes the decoding time information of the first transmitted presentation unit indicated by the offset time length from the presentation time of the first presentation unit, and the presentation unit before the second and subsequent presentation units.
  • the decoding time information indicated by the offset time length from the decoding time and the presentation time information indicated by the offset time length from the decoding time of each presentation unit may be used.
  • the second and subsequent decoding time information is indicated by the offset time length from the decoding time of the presentation unit before each presentation unit, the number of bits required for the decoding time information can be suppressed. Become.
  • a broadcast signal has a first packet including a transmission medium, a second packet including information on the transmission medium, and a third packet including time information generated by the time information generation unit.
  • the time and time length information may be inserted into the second packet.
  • the time length information is inserted into the second packet including the information regarding the transmission medium, it is possible to suppress a delay for performing processing based on the decoding time and the presentation time on the receiving side.
  • the broadcast signal has a first packet including transmission media, a second packet including information regarding the transmission media, and a third packet including time information generated by the time information generation unit. May be inserted into the second packet, and the time length information may be inserted into the first packet. In this case, since the time length information is inserted into the first transmission packet including the transmission medium, it is possible to suppress a delay for performing processing based on the decoding time and the presentation time on the receiving side.
  • the time length information may be inserted into the extension header of the first packet.
  • an extension header may be provided. Thereby, it is possible to reduce the amount of generated information and save bandwidth.
  • the first packet is always provided with an extension header, and the extension header further includes flag information indicating whether or not the first packet includes the head of the presentation unit. It may be inserted. Thereby, the disturbance of the header information amount can be suppressed, and the header processing on the receiving side can be simplified.
  • the broadcast signal includes time information including clock frequency information synchronized with time information acquired from the outside. Therefore, on the receiving side, a clock (system clock) similar to that on the transmitting side can be generated based on this time information, and clock synchronization can be realized.
  • a clock system clock
  • the broadcast signal further includes clock frequency information synchronized with the time information acquired from the outside, and the transmission obtained based on the time information synchronized with the time information acquired from the outside Time acquisition information for obtaining a decoding time and a presentation time for each media presentation unit is included. Therefore, on the receiving side, presentation synchronization can be realized based on time information generated based on time information included in a transmission signal and presentation time information for each presentation unit of transmission media.
  • a transmission medium time acquisition information for obtaining a decoding time and a presentation time for each presentation unit of the transmission medium, and clock frequency information synchronized with the time information acquired from the outside, and the time acquired from the outside
  • a receiver for receiving a broadcast signal including time information synchronized with the information
  • a time information generating unit that generates a clock based on time information included in the broadcast signal, and generates time information synchronized with the time information using the clock
  • a time calculation unit Based on the time acquisition information included in the broadcast signal, a time calculation unit for obtaining a decoding time and a presentation time for each presentation unit of the transmission media
  • a processing unit that processes the transmission media included in the broadcast signal for each presentation unit based on the decoding time and the presentation time calculated by the time calculation unit and the time information generated by the time information generation unit; It is in the receiving device.
  • a broadcast signal is received by the receiving unit.
  • the broadcast signal includes a transmission medium, time acquisition information for obtaining the decoding time and presentation time for each presentation unit of the transmission medium, and clock frequency information synchronized with the time information acquired from the outside.
  • the time information synchronized with the time information acquired from is included.
  • the time acquisition information for obtaining the decoding time and the presentation time for each presentation unit of the transmission media is the presentation time of the first presentation unit of the presentation unit group for each presentation unit group consisting of a predetermined number of presentation units of the transmission media.
  • the time length information includes the decoding time information of the presentation unit transmitted first, indicated by the offset time length from the presentation time of the first presentation unit, information indicating the time length of each presentation unit, The presentation time information indicated by the offset time length from the decoding time of the presentation unit may be used.
  • the broadcast signal has a first packet including transmission media, a second packet including information regarding the transmission media, and a third packet including time information, and the first presentation time and time length information are , May be inserted into the second packet.
  • the broadcast signal has a first packet including transmission media, a second packet including information regarding the transmission media, and a third packet including time information, and the first presentation time is the second The time length information may be inserted into the packet and inserted into the first packet.
  • the time information generation unit generates a clock based on the time information included in the broadcast signal, and generates time information synchronized with the time information using the clock. Further, the time calculation unit obtains the decoding time and the presentation time for each transmission media presentation unit based on the time acquisition information included in the broadcast signal. Then, the transmission unit included in the broadcast signal is processed by the processing unit based on the decoding time and the presentation time calculated by the time calculation unit and the time information generated by the time information generation unit for each presentation unit.
  • the same clock (system clock) as that on the transmission side based on the time information related to the time information acquired from the outside included in the broadcast signal and the time information including the frequency information of this clock are obtained. Is generated. Then, based on the clock and time information and the decoding time and presentation time for each presentation unit of the transmission media obtained based on the time acquisition information included in the broadcast signal, the transmission medium processes for each presentation unit. It is what is done. Therefore, clock synchronization and presentation synchronization can be realized.
  • FIG. 1 shows a configuration example of a transmission / reception system 10 as an embodiment.
  • the transmission / reception system 10 includes a broadcast transmission system 100 and a receiver 200.
  • the broadcast transmission system 100 transmits an IP (Internet Protocol) broadcast signal including transmission media such as video and audio.
  • IP Internet Protocol
  • the broadcast transmission system 100 acquires time information from the outside. For example, it is acquired from an NTP server by NTP (Network Time Protocol) or from another device by IEEE 1588 PTP in NTP long format (NTP long format).
  • NTP Network Time Protocol
  • NTP long format NTP long format
  • the broadcast transmission system 100 generates a clock (system clock) synchronized with time information acquired from the outside and time information including frequency information of this clock.
  • the frequency of the clock is 2 ** nHz instead of 27 MHz which has been applied to the conventional broadcasting system.
  • n 24, but n may be another integer, for example, any integer from 24 to 28.
  • the broadcast signal includes transmission media, time acquisition information for obtaining a decoding time and a presentation time for each presentation unit of the transmission media obtained based on the generated time information, and generated time information.
  • the time acquisition information includes the presentation time of the first presentation unit of the presentation unit group and the decoding time of each presentation unit of the presentation unit group for each presentation unit group including a predetermined number of presentation units of the transmission medium.
  • offset information for calculating the presentation time with reference to the presentation time of the first presentation unit.
  • the receiver 200 receives the above-described IP system broadcast signal transmitted from the broadcast transmission system 100. Based on the time information included in the broadcast signal, the receiver 200 receives time information including a 2 ** nHz clock (system clock) synchronized with the time information and frequency information of the 2 ** nHz clock. Generate. The receiver 200 obtains the decoding time and the presentation time for each transmission media presentation unit based on the time acquisition information included in the broadcast signal. Then, the receiver 200 processes the transmission medium included in the broadcast signal based on the obtained decoding time and presentation time, and the generated time information for each presentation unit.
  • time information including a 2 ** nHz clock (system clock) synchronized with the time information and frequency information of the 2 ** nHz clock.
  • the receiver 200 obtains the decoding time and the presentation time for each transmission media presentation unit based on the time acquisition information included in the broadcast signal. Then, the receiver 200 processes the transmission medium included in the broadcast signal based on the obtained decoding time and presentation time, and the generated time information for each presentation unit.
  • the broadcast transmission system 100 and the receiver 200 are configured as described above, thereby realizing clock synchronization and presentation synchronization as in the conventional MPEG2-TS system.
  • the transmission system and the reception system correspond to, for example, the broadcast transmission system 100 and the receiver 200 described above, respectively.
  • the transmission system includes a clock generation unit 11 that generates a system clock of 2 ** nHz and a clock unit (time information generation unit) 12 that generates time information.
  • the transmission system also includes an encoding processing unit 13, a packetization / time stamp adding unit 14, and an encoding buffer 15.
  • the encoding processing unit 13 encodes transmission media such as video and audio.
  • the packetization / time stamp adding unit 14 packetizes the transmission media after encoding, and adds presentation time information for each transmission media presentation unit based on the time information generated by the clock unit 12. .
  • the packet of the transmission medium is temporarily stored in the encode buffer 15 and transmitted at an appropriate timing.
  • the receiving system includes a clock generation unit 21 that generates a system clock of 2 ** nHz and a clock unit (time information generation unit) 22 that generates time information.
  • the receiving system also includes a decode buffer 23, a depacketization / timing adjustment unit 24, and a decode processing unit 25.
  • the decode buffer 23 temporarily stores received transmission media packets.
  • the packet of the transmission medium stored in the decode buffer 23 is taken out at the timing of the presentation time information added by referring to the time information generated by the clock unit 22, and depacketed. It becomes.
  • the decoding processing unit 25 the transmission medium obtained by depacketization is decoded to obtain a baseband transmission medium.
  • clock synchronization and presentation synchronization are realized. Details of the clock synchronization / presentation synchronization method will be described later.
  • the clock synchronization basically means that the frequency of the system clock generated by the clock generation unit 11 of the transmission system and the frequency of the system clock generated by the clock generation unit 21 of the reception system are the same frequency. Means that. However, even if the frequency is not necessarily the same, it is only necessary to maintain a relationship such as an integral multiple of the frequency. If clock synchronization is not realized, corruption such as frame skipping occurs while reception is continued on the receiving side.
  • the presentation synchronization means that the time information of the clock unit 12 of the transmission system and the time information of the clock unit 22 of the reception system are combined, and the presentation time information for each transmission media presentation unit is added to the packet of the transmission medium. means.
  • the time information of the clock unit 22 of the reception system is matched with the time information of the clock unit 12 of the transmission system, a transmission delay from the transmission system to the reception system is considered. If the presentation synchronization is not realized, it is impossible to synchronize the video and audio on the receiving side and appropriately present without destroying the buffer.
  • an IP broadcast signal is transmitted from the broadcast transmission system 100 to the receiver 200.
  • an IP broadcast signal is an MMT (MPEG Media Transport) method.
  • FIG. 3 shows an MMT protocol stack.
  • PHY physical layer
  • This physical layer includes a modulation scheme, an error correction scheme, and the like.
  • TLV Type Length Value
  • An IP packet is placed on the TLV transmission packet.
  • UDP User Datagram Protocol
  • a transmission control signal as signaling information is also placed on the TLV transmission packet.
  • An MMT packet is placed on the UDP.
  • the payload portion of the MMT packet includes an MFU (MMT Fragment Unit) including encoded data of transmission media such as video and audio, or a signaling message including information related to the transmission media.
  • MFU MMT Fragment Unit
  • NTP Network Time Protocol
  • FIG. 4 shows a configuration example of an MMT broadcast stream (broadcast signal).
  • FIG. 4A shows a video elementary stream (Video ES). This video elementary stream is divided into chunks of a predetermined size and arranged in the payload portion of the MFU as shown in FIG.
  • an MMT payload header (MMT payload) is added to the MFU to form an MMTP payload (MMTP payload).
  • MMT payload MMTP payload
  • MMT header (MMTMMpacket) is further added to the MMTP payload to form an MMT packet (MMT packet).
  • MMT packet There is also an MMT packet including a signaling message (SignalingalMessage) in the payload portion.
  • a UDP header, an IP header, and a TLV header are added to the MMT packet to generate a TLV packet (TLVTLpacket) that constitutes an MMT broadcast stream.
  • the TLV packet includes an NTP packet including NTP time information.
  • NTP packet including NTP time information.
  • MMT packet first packet
  • MMT packet second packet
  • NTP packet third packet
  • FIG. 5A shows a configuration example (Syntax) of the MMT packet.
  • the MMT packet includes an MMT header (MMTMMheader) and an MMT payload (MMT payload).
  • MMT payload MMT payload
  • the 1-bit flag information “C” indicates whether or not the “packet_counter” field exists. In the illustrated example, an example in which “packet_counter” exists is shown.
  • a 2-bit field of “FEC” indicates a format of FEC (forward error correction).
  • 1-bit flag information of “X” indicates whether or not an MMT extension header, that is, a “header_extension” field exists. In the illustrated example, “header_extension” is present.
  • the 1-bit flag information “R” indicates whether or not a random access point, and thus an I picture is included.
  • “6-bit field of“ type ” indicates the type of the MMT packet. For example, “0x00” indicates an MMT packet including an MPU (Media Processing Unit) in the payload, and “0x02” indicates an MMT packet including a signaling message (Signaling message) in the payload.
  • MPU Media Processing Unit
  • 0x02 indicates an MMT packet including a signaling message (Signaling message) in the payload.
  • the 16-bit field of “packet_id” is an identifier for identifying an asset such as video or audio.
  • a 32-bit field of “timestamp” indicates a time stamp when the MMT packet leaves the transmission side, that is, a time stamp for transmission. This time is expressed in an NTP short format (NTP short format).
  • “Packet_sequence_number” indicates the sequence number of an MMT packet having the same “packet_id”.
  • the 32-bit field of “packet_counter” indicates the sequence numbers of all MMT packets regardless of “packet_id”.
  • a field of “header_extension” that is an MMT extension header is arranged after the 32-bit field of “packet_counter”. After that, there are a “payload data” field and a “source_FEC_payload_ID” field that constitute the MMTP payload (MMTP payload).
  • FIG. 5B shows a configuration example (Syntax) of the MMT extension header.
  • the 16-bit field of “type” indicates the type of the extension header.
  • a 16-bit field of “length” indicates the byte size of the extension header thereafter.
  • the byte size of this extension header varies depending on the type of extension header.
  • the main body of the extension header is inserted into the “header_extension_value” field.
  • FIG. 6A shows a configuration example (Syntax) of the MMTP payload (MMTP payload) arranged in the “payload data” field of the MMT packet described above.
  • the MPU mode in which “type” of the MMT header is “0x00” is shown.
  • header information exists.
  • a 16-bit field of “length” indicates the byte size of the entire MMTP payload.
  • a 4-bit field “FT” indicates a field type. "0" indicates that "MPU" metadata "is included,” 1 "indicates that” Movie “Fragment” metadata "is included, and” 2 "indicates that” MFU "is included.
  • MFU MMT Fragment Unit
  • MFU MMT Fragment Unit
  • this MFU can be set to correspond to one NAL unit.
  • this MFU can be configured with one or a plurality of MTU sizes (MTU size).
  • the MPU starts from a random access point (RAP: Random Access Pint) and includes one or a plurality of access units (AU: Access Unit).
  • RAP Random Access Pint
  • AU Access Unit
  • one GOP Group Of Picture
  • This MPU is defined for each asset. Therefore, a video MPU including only video data is created from the video asset, and an audio MPU including only audio data is created from the audio asset.
  • 1-bit flag information of “T” indicates whether to transmit timed media (Timed Media) or non-timed media (Non-Timed Media). “1” indicates timed media, and “0” indicates non-timed media. In this embodiment, transmission of timed media (Timed Media) is assumed.
  • the 2-bit field of “f_i” has an integer number of data units (DU: Data ⁇ Unit) in the field of “DU ⁇ payload”, or the first fragment (Fragment) obtained by fragmenting the data unit ( Indicates whether it contains first, middle or last. “0” indicates that an integer number of data units are included, “1” indicates that the first fragment is included, “2” indicates that an intermediate fragment is included, and “3” Indicates that the last fragment is contained.
  • the 1-bit flag information of “A” indicates whether or not a plurality of data units are contained in the “DU payload” field. “1” indicates that it is included, and “0” indicates that it is not included.
  • the 8-bit field of “frag_counter” indicates the number of the fragment when “f_i” is 1 to 3.
  • the 32-bit field of “MPU_sequence_number” is a number indicating the order of the MPU and is information for identifying the MPU. For example, when one GOP constitutes one MPU, when “MPU_sequence_number” of one GOP is “i”, “MPU_sequence_number” of the next GOP is “i + 1”.
  • “DU_length”, “DU_header”, and “DU_payload” fields are arranged.
  • a 32-bit field of “movie_fragment_sequence_number” indicates a sequence number in units of MFU. For example, when an I picture is divided, each one becomes an MFU.
  • the 32-bit field of “sample_number” indicates a number in units of pictures in the case of video, for example.
  • the 32-bit field of “offset” indicates an offset value (byte value) from the beginning of a picture in the case of video, for example.
  • FIG. 7 shows an example of the correspondence between the MMT file (MMT file) and the MMTP payload (MMTP payload) when sending video data of one GOP.
  • MMT file MMT file
  • MMTP payload MMTP payload
  • the structure of the MMT file is basically the same as the MP4 file structure. First, there is a “ftyp” box. Next, there is a box “mmpu” unique to MMT. Next, there is a “moov” box as metadata for the entire file.
  • This movie fragment consists of a “moof” box containing control information and an “mdat” box containing encoded video data.
  • This movie fragment since it is assumed that one GOP has a configuration of one MPU, there is only one set of movie fragments.
  • the metadata of each box of “ftyp”, “mmpu”, and “moov” is transmitted as “MPU metadata” in one MMT packet.
  • “FT 0”.
  • the metadata of the “moof” box is transmitted as “Movie Fragment metadata” in one MMT packet.
  • “FT 1”.
  • the MMT packet includes an MMT packet including a signaling message (Signaling message) in the payload.
  • One of the signaling messages is a PA message (Package Access Message) including MPT.
  • MPT indicates what components (assets) each broadcast service is configured with.
  • FIG. 8 shows a configuration example of a PA message (Package Access Message) and an MP table (MPT: MMT Package Table). Further, FIG. 9 shows an explanation of main parameters of the PA message, and FIG. 10 shows an explanation of main parameters of the MP table.
  • “Message_id” is a fixed value for identifying a PA message in various signaling information. “Version” is an 8-bit integer value indicating the version of the PA message. For example, when some parameters constituting the MP table are also updated, +1 is incremented. “Length” is the number of bytes indicating the size of the PA message counted immediately after this field.
  • index information of the table arranged in the payload field is arranged.
  • “table_id”, “table_version”, and “table_length” fields are arranged by the number of tables.
  • Table_id is a fixed value for identifying a table.
  • Table_version indicates the version of the table.
  • Table_length is the number of bytes indicating the size of the table.
  • MPT In the PA message payload field, MPT and a predetermined number of other tables (Other table) are arranged. Hereinafter, the configuration of the MPT will be described.
  • “Table_id” is a fixed value for identifying the MP table in various signaling information. “Version” is an 8-bit integer value indicating the version of the MP table. For example, when some parameters constituting the MP table are also updated, +1 is incremented. “Length” is the number of bytes indicating the size of the MP table, counted immediately after this field.
  • Pack_id is identification information as an entire package including all signals and files transmitted as broadcast signals. This identification information is text information. “Pack_id_len” indicates the size (number of bytes) of the text information. The field of “MPT_descripors” is a storage area for descriptors related to the entire package. “MPT_dsc_len” indicates the size (number of bytes) of the field.
  • “Num_of_asset” indicates the number of assets (signals, files) as elements constituting the package. The following asset loops are arranged for this number of minutes.
  • “Asset_id” is information (asset ID) that uniquely identifies the asset. This identification information is text information.
  • “Asset_id_len” indicates the size (number of bytes) of the text information.
  • “Gen_loc_info” is information indicating an asset acquisition destination location.
  • assert_descriptors is a storage area for descriptors related to assets.
  • “Asset_dsc_len” indicates the size (number of bytes) of the field.
  • MPU_timestamp_descriptor MPU time stamp descriptor
  • FIG. 11 shows a structural example (Syntax) of the MPU time stamp descriptor.
  • a 16-bit field of “descriptor_tag” indicates a descriptor type. Here, it indicates an MPU time stamp descriptor.
  • the 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor.
  • MPU_sequence_number a set of “MPU_sequence_number” and “MPU_presentation_time” as many as the number of MPUs.
  • the 32-bit field of “MPU_sequence_number” is a number indicating the order of the MPUs and is information for identifying the MPUs.
  • FIG. 12 shows an example of the transmission order of the MMT method.
  • an MPU composed of video data of one GOP is transmitted.
  • an MMT packet having a signaling message including MPT in the payload is transmitted.
  • the MPU time stamp descriptor described above is inserted into this MPT.
  • the presentation time of the first picture of the GOP is determined, and the presentation time is described in the MPU time stamp descriptor.
  • the MMT packet having the signaling message including the MPT in the payload is transmitted.
  • the GOP is fragmented and transmitted in units of MFU.
  • An MMT payload header (MMT payload header) is added before the MFU to form an MMTP payload.
  • the entire MMTP payload becomes the payload data of the MMT packet.
  • “MPU metadata” is transmitted before the GOP data
  • “Movie fragment metadata” is transmitted after the GOP data.
  • This “Movie fragment metadata” includes metadata for calculating the decoding time (DT: Decoding time) and presentation time (PT: presentation time) of each picture of the GOP. Basically, information for calculating DT and PT of each picture of the GOP cannot be obtained unless the GOP data is encoded. For this reason, “Movie fragment metadata” is transmitted after the GOP data.
  • a decoding time DT for each transmission media presentation unit (sample), time acquisition information (DT / PT information) for obtaining a presentation time PT, and an MMT including an MPU (Media Processing Unit) in the payload
  • the packet is inserted into an MMT packet containing a signaling message (Signaling message) in the payload or transmitted.
  • DT / PT information is arranged in an extension header having specific type information indicating DT / PT information.
  • the extension header refers to the presentation unit decoding time and presentation time as DT / PT information, and refers to the presentation time of the first presentation unit of the MPU described in the MPU time stamp descriptor of the MPT described above. Time length information for calculation is inserted.
  • the time length information for example, the following first and second forms are conceivable.
  • the time length information of the first form will be described.
  • the offset information in the first form includes decoding time information indicated by an offset time length from the presentation time of the first presentation unit and presentation time information indicated by an offset time length from the decoding time.
  • FIG. 13 shows a structure example (syntax) of an extension header (header_extension) into which time length information of the first form is inserted.
  • FIG. 14 shows the contents (Semantics) of main information in the structural example.
  • a 16-bit field of “type” indicates an extension header in which DT / PT information is arranged, that is, “dt_pt_shortcut_extension”.
  • the 16-bit field of “length” indicates the byte size of the subsequent extension header.
  • the fixed value is “4”.
  • the 1-bit flag information of “PU_start_indicator” indicates whether or not the head of the sample (presentation unit) is included in the MMT packet. “1” indicates that it is included, and “0” indicates that it is not included.
  • the 17-bit field of “decoding_time_offset” indicates decoding time information indicated by an offset time length from the presentation time of the first presentation unit. That is, this field relates to a sample (presentation unit) of video, audio, etc. included in the MMT packet, the decoding time (Decoding time) of the sample, and “MPU_presentation_time” of the MPU including the sample of the MPU time stamp descriptor. It is indicated by the offset time length from.
  • the accuracy is about 65 KHz.
  • “decoding_time_offset” has positive and negative sign bits, for example, when the GOP is composed of 15 pictures and the time length is 0.5 seconds, the time of 2 GOPs by the 17-bit field of “decoding_time_offset” The width can be covered. For example, when the accuracy is increased and indicated by a value in units of 1 / (2 ** 17) seconds, a time width of 1 GOP can be covered.
  • the 14-bit field of “presentation_time_offset” indicates presentation time information indicated by an offset time length from the decoding time. That is, the time length of the decoding time (Decoding ⁇ ⁇ ⁇ time) and the presentation time (Presentation time) of the same sample is shown for samples (presentation units) such as video and audio included in the MMT packet. In this case, for example, it is indicated by a value in units of 1 / (2 ** 16) seconds.
  • FIG. 15 shows a calculation method of the decoding time DT and the presentation time PT on the receiving side.
  • the presentation time mpt of the first presentation unit is acquired from the “MPU_presentation_time” field of the MPU time stamp descriptor included in the MPT as the signaling message.
  • decode time information dto and presentation time information pto are obtained for each presentation unit (sample) from the fields of “decoding_time_offset” and “presentation_time_offset” of the extension header of the MMT packet.
  • the decoding time DT and the presentation time PT of each presentation unit are calculated by the following formulas (1) and (2), as shown in FIG.
  • the DT mpt + dto (1)
  • PT DT + pto (2)
  • time information generated based on time information sent from the transmitting side as will be described later, calculated decoding time DT, and presentation
  • the decoding and presentation control of each presentation unit of the transmission medium is performed based on the time PT.
  • the time length information of the second form includes the decoding time information of the presentation unit transmitted first indicated by the offset time length from the presentation time of the first presentation unit, and the presentation before the second and subsequent presentation units. It consists of decoding time information indicated by the offset time length from the decoding time of the unit and presentation time information indicated by the offset time length from the decoding time of each presentation unit.
  • FIG. 17 shows a structure example (syntax) of an extension header (header_extension) into which time length information of the second form is inserted.
  • FIG. 18 shows the contents (Semantics) of main information in the structural example.
  • a 16-bit field of “type” indicates an extension header in which DT / PT information is arranged, that is, “dt_pt_shortcut_extension”.
  • the 16-bit field of “length” indicates the byte size of the subsequent extension header.
  • the fixed value is “4”.
  • the 1-bit flag information of “PU_start_indicator” indicates whether or not the head of the sample (presentation unit) is included in the MMT packet. “1” indicates that it is included, and “0” indicates that it is not included.
  • the 16-bit field of “decoding_time_offset” indicates the decoding time information indicated by the offset time length from the presentation time for the first presentation unit. For each presentation unit after the second, decoding time information indicated by an offset time length from the decoding time of the previous presentation unit is shown.
  • the decoding time (DecodingDetime) of the sample is indicated by the offset time length from the immediately preceding sample.
  • the offset time length from “MPU_presentation_time” of the MPU including the sample of the MPU time stamp descriptor is indicated.
  • the accuracy is about 65 KHz.
  • “decoding_time_offset” has positive and negative sign bits, for example, when the GOP consists of 15 pictures and the time length is 0.5 seconds, the time of 1 GOP is set by the 16-bit field of “decoding_time_offset” The width can be covered.
  • the value of “decoding_time_offset” is expected to be not so large unlike the offset information in the first form. Therefore, for example, the accuracy may be further increased and may be indicated by a value in units of 1 / (2 ** 18) seconds.
  • the 15-bit field of “presentation_time_offset” indicates presentation time information indicated by an offset time length from the decoding time. That is, the time length of the decoding time (Decoding ⁇ ⁇ ⁇ time) and the presentation time (Presentation time) of the same sample is shown for samples (presentation units) such as video and audio included in the MMT packet. In this case, for example, it is indicated by a value in units of 1 / (2 ** 16) seconds.
  • FIG. 19 shows a calculation method of the decoding time DT and the presentation time PT on the receiving side.
  • the presentation time mpt of the first presentation unit is acquired from the “MPU_presentation_time” field of the MPU time stamp descriptor included in the MPT as the signaling message.
  • decode time information dto and presentation time information pto are obtained for each presentation unit (sample) from the fields of “decoding_time_offset” and “presentation_time_offset” of the extension header of the MMT packet.
  • the decoding time DT and the presentation time PT of each presentation unit are calculated by the following formulas (3) and (4), as shown in FIG.
  • the DT mpt + ⁇ dto (3)
  • PT DT + pto (4)
  • time information generated based on time information sent from the transmitting side as will be described later, calculated decoding time DT, and presentation
  • the decoding and presentation control of each presentation unit of the transmission medium is performed based on the time PT.
  • the transmission frequency of the extension header (header_extension)
  • the following first and second modes can be considered.
  • the MMT extension header is provided only when the top of the sample (presentation unit) is included in the MMT packet. In this case, it is possible to reduce the amount of generated information and save bandwidth.
  • the MMT packet is always provided with an MMT extension header.
  • the data of each presentation unit can be received without delaying the MPU data.
  • the decoding time and presentation time of the presentation unit can be calculated immediately. Therefore, it is possible to suppress a delay for performing processing based on the decoding time and the presentation time on the receiving side.
  • MPU_extended_timestamp_descriptor a newly defined MPU extended time stamp descriptor (MPU_extended_timestamp_descriptor) is used.
  • DT / PT information of each sample (presentation unit) of the MPU is arranged in the MPU extended time stamp descriptor.
  • the MPU extended time stamp descriptor is stored in the “asset_descriptors” field of the MPT (see FIG. 8). As described in the case where the DT / PT information of each sample (presentation unit) included in the MPU extended time stamp descriptor is inserted into the MMT extended header of the MMT packet described above, the first and second modes are used. Can be considered.
  • the time length information of the first form includes decoding time information indicated by an offset time length from the presentation time of the first presentation unit and presentation time information indicated by an offset time length from the decoding time.
  • the time length information of the second form includes the decoding time information of the presentation unit transmitted first indicated by the offset time length from the presentation time of the first presentation unit, and the second and subsequent presentation units before each presentation unit. It consists of decoding time information indicated by the offset time length from the decoding time of the presentation unit and presentation time information indicated by the offset time length from the decoding time of each presentation unit.
  • FIG. 23 shows a structural example (Syntax) of the MPU extended time stamp descriptor.
  • a 16-bit field of “descriptor_tag” indicates a descriptor type. Here, it indicates that it is an MPU extended time stamp descriptor.
  • the 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor.
  • [MPU_sequence_number] and [number_of_PU] exist for the number of MPUs.
  • the 32-bit field of “MPU_sequence_number” is a number indicating the order of the MPUs and is information for identifying the MPUs.
  • a 16-bit field of “number_of_PU” indicates the number of samples (presentation units) included in the MPU. Further, there are a set of 16-bit fields of “presentation_time_offset” and 16-bit fields of “decoding_time_offset” as many as the number of samples (presentation units).
  • decoding_time_offset and “presentation_time_offset”
  • decoding_time_offset are arranged in the fields of “decoding_time_offset” and “presentation_time_offset” of the MMT extension header (see FIGS. 13 and 17) of the MMT packet described above. Similar decoding time information and presentation time information are arranged.
  • FIG. 24 shows a calculation method of the decoding time DT and the presentation time PT on the receiving side. This example shows a case where the time length information as DT / PT information is the time length information of the second form.
  • the presentation time mpt of the first presentation unit is acquired from the “MPU_presentation_time” field of the MPU time stamp descriptor included in the MPT as the signaling message.
  • decoding time information dto and presentation time information pto of each presentation unit are acquired from the “decoding_time_offset” and “presentation_time_offset” fields of the MPU extended time stamp descriptor included in the MPT as the signaling message.
  • the decoding time DT and the presentation time PT of each presentation unit are calculated by the above formulas (3) and (4) (see FIG. 20B). Then, on the receiving side, each presentation of the transmission media is performed based on the time information (NTP) generated based on the time information sent from the transmitting side as described later, and the calculated decoding time DT and presentation time PT. Unit decoding and presentation control are performed (see FIG. 20A).
  • the third time length information includes first presentation unit decoding time information transmitted with an offset time length from the presentation time of the first presentation unit, information indicating each presentation unit time length, It consists of presentation time information indicated by the offset time length from the decoding time of the presentation unit.
  • FIG. 25 and FIG. 26 show a structural example (Syntax) of the MPU extended time stamp descriptor.
  • a 16-bit field of “descriptor_tag” indicates a descriptor type. Here, it indicates that it is an MPU extended time stamp descriptor.
  • the 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor.
  • the 1-bit field of “timescale_flg” is a flag indicating whether or not the time unit designation is described. When describing the time unit designation, it is set to “1”. Note that “0” is set when a predetermined time unit is used.
  • a 2-bit field of “PU_duration_description_type” indicates a description type of the presentation unit time length. The fixed value specified in advance is “0”, the fixed value is “1”, and the designation is “2” for each presentation unit.
  • timescale_flg 1
  • timescale_flg 1
  • timescale_flg 1
  • timescale_flg 1
  • This field is a value indicating a unit of time length in this descriptor, and is a value such as 90k, 2 ** n.
  • the unit is the time length obtained by dividing 1 second by this value. Since 32 bits are large, for example, 8 bits may be used to represent values in a mode such as “1” represents 90k and “2” represents 2 ** 16.
  • fields of “MPU_sequence_number”, “SAP_type”, “initial_decoding_time_offset”, and “number_of_PU” exist as many as the number of MPUs.
  • the 32-bit field of “MPU_sequence_number” is a number indicating the order of the MPUs and is information for identifying the MPUs.
  • SAP_type 1
  • SAP_type 2
  • SAP_type 3
  • the 16-bit field of “initial_decoding_time_offset” is an initial decoding time offset indicating the decoding time of the presentation unit transmitted first based on the above time unit as an offset time from the starting point.
  • This initial decoding time offset is the decoding time information of the presentation unit transmitted for the first time indicated by the offset time length from the presentation time of the first presentation unit.
  • the 8-bit field of“ number_of_PU ” indicates the number of samples (presentation units) included in the MPU. Also, there are as many 16-bit fields of “decoding_presentation_time_offset” as the number of samples.
  • This field is a decoding / presentation time offset indicating the length of time from the decoding time of the same presentation unit to the presentation time based on the time unit.
  • This decoding / presentation time offset is presentation time information indicated by an offset time length from the decoding time of each presentation unit.
  • FIG. 27 shows a calculation method of the decoding time DT and the presentation time PT on the receiving side.
  • the presentation time mpt of the first presentation unit is acquired from the “MPU_presentation_time” field of the MPU time stamp descriptor included in the MPT as the signaling message.
  • the decoding time information idto of the presentation unit (sample) to be transmitted first is acquired from the “initial_decoding_time_offset” field of the MPU extended timestamp descriptor included in the MPT as the signaling message.
  • presentation time information dpto of each presentation unit (sample) is acquired from the “decoding_presentation_time_offset” field of this descriptor.
  • the decoding time DTk and the presentation time PTk of each presentation unit are based on these pieces of acquired information, as shown in FIG. 28 (b), the following equations (5), (6), (7) It is calculated by the formula.
  • DTk mpt + ((k-1) * PUd-idto) * 2 N / ts (5)
  • DTk mpt + ( ⁇ PUdi-idto) * 2 N / ts (6)
  • PTk DTk + dptok * 2 N / ts (7)
  • Each calculation formula matches DTk and PTk to the unit of the presentation time mpt of the first presentation unit acquired from the “MPU_presentation_time” field of the MPU time stamp descriptor, that is, 1 / (2 ** N) seconds. In such a state, it is obtained (see FIG. 28A).
  • conversion is performed to match the unit represented by “timescale” with the unit of mpt.
  • NTP time information
  • the MPU time stamp descriptor is arranged before the AV data of the MPU, whereas the MPU extended time stamp descriptor is DT / PT before the AV signal encoder buffer (Enc Buffer) input, as shown in FIG. At the time of determination, it is immediately placed in the MPT and transmitted as a broadcast stream.
  • the MPU extended time stamp descriptor does not have the above-mentioned delay, so that the DT / PT information can be reliably used by the receiver when the decoder buffer (Dec ⁇ ⁇ ⁇ ⁇ Buffer) is output. It is possible to be in a state.
  • the data of each presentation unit can be received without delaying the MPU data.
  • the decoding time and presentation time of the presentation unit can be calculated immediately. Therefore, it is possible to suppress a delay for performing processing based on the decoding time and the presentation time on the receiving side.
  • FIG. 30 shows a configuration example of the broadcast transmission system 100.
  • the broadcast transmission system 100 includes an NTP clock generation unit (clock unit) 111, a signal transmission unit 112, a video encoder 113, an audio encoder 114, and an MMT signaling encoding unit 115.
  • the broadcast transmission system 100 also includes a TLV signaling generator 116, N IP service multiplexers 117-1 to 117-N, a TLV multiplexer 118, and a modulation / transmission unit 119.
  • the NTP clock generation unit (clock unit) 111 NTP time information synchronized with NTP time information acquired from the outside is generated, and an IP packet including this NTP time information is sent to the IP service multiplexer 117-1.
  • the signal sending unit 112 is, for example, a studio of a TV station or a recording / playback device such as a VTR, and is a system that sends out baseband signals such as video and audio as transmission media.
  • the video encoder 113 the video signal transmitted from the signal transmission unit 112 is encoded, further packetized, and an IP packet including a video MMT packet is transmitted to the IP service multiplexer 117-1.
  • the audio encoder 114 the audio signal transmitted from the signal transmission unit 112 is encoded, packetized, and an IP packet including an audio MMT packet is transmitted to the IP service multiplexer 117-1.
  • the decoding time (DT) and the presentation time of the sample (presentation unit) included in the packet are included in the video MMT packet and the audio MMT packet.
  • An extension header (header_extension) having time acquisition information (DT / PT information) for obtaining (PT) is arranged.
  • MMT signaling encoding unit 115 a signaling message is generated, and an IP packet including the MMT packet in which the signaling message is arranged in the payload part is sent to the IP service multiplexer 117-1.
  • This signaling message includes MPT (MMT Package Table).
  • MPT MMT Package Table
  • An MPU time stamp descriptor (MPU_timestamp_descriptor) is inserted into this MPT.
  • MPU_extended_timestamp_descriptor newly defined as described above is used, the MPU extended time stamp descriptor is further inserted into this MPT.
  • the IP service multiplexer 117-1 performs time division multiplexing of IP packets sent from each encoder. At this time, in the IP service multiplexer 117-1, a UDP header and a TLV header are added to each IP packet to form a TLV packet. In the IP service multiplexer 117-1, one channel part put in one transponder is configured.
  • the IP service multiplexers 117-2 to 117-N have the same function as the IP service multiplexer 117-1, and other channel portions included in one transponder are configured.
  • the TLV signaling generation unit 116 signaling information is generated, and a TLV packet in which the signaling information is arranged in the payload portion is generated.
  • the TLV multiplexer 118 multiplexes the TLV packets generated by the IP service multiplexers 117-1 to 117-N and the TLV signaling generator 116 to generate an MMT broadcast stream (see FIG. 4 (e)). Is done.
  • the modulation / transmission unit 119 performs RF modulation processing on the MMT broadcast stream generated by the TLV / multiplexer 118 and transmits the result to the RF transmission path.
  • FIG. 31 shows a configuration example of the receiver 200.
  • the receiver 200 includes a tuner / demodulator 201, a demultiplexer 202, an NTP clock recovery unit (clock unit) 203, and a system controller 204.
  • the receiver 200 includes a video control unit 205, a video decode buffer 206, a video decoder 207, an audio control unit 208, an audio decode buffer 209, and an audio decoder 210.
  • the tuner / demodulator 201 receives an intermediate frequency signal from an antenna (not shown), performs demodulation processing, and obtains an MMT broadcast stream (see FIG. 4E).
  • the demultiplexer 202 performs demultiplex processing and depacketization processing on the broadcast stream, and performs NTP time information, signaling information, video, audio encoded data, video, audio DT / PT information. Is taken out.
  • the MMT signaling information (signaling message) is extracted by being filtered by the MMT-SI filter unit 202 a and sent to the system control unit 204.
  • the TLV-SI filter unit 202b performs filtering to extract TLV signaling information, which is sent to the system control unit 204.
  • NTP time information extracted by the demultiplexer 202 is sent to the NTP clock recovery unit 203.
  • the NTP clock reproduction unit 203 reproduces NTP time information synchronized with the NTP time information.
  • the NTP time information reproduced in this way is sent to the video control unit 205 and the audio control unit 208.
  • the encoded video data extracted by the demultiplexer 202 is temporarily stored in the video decoding buffer 206.
  • the encoded audio data extracted by the demultiplexer 202 is temporarily stored in the audio decode buffer 209.
  • the demultiplexer 202 extracts the DT / PT information of video and audio from the MMT extension header of the video and audio MMT packets. It is sent to the audio control unit 208.
  • the system control unit 204 uses the MPT video and audio MPU extended time stamp descriptor (refer to FIG. 23, FIG. 25, and FIG. 26), the video, Audio DT / PT information is extracted and sent to the video control unit 205 and the audio control unit 208, respectively.
  • system control unit 204 extracts the presentation time of the first sample (presentation unit) of the video and audio MPUs from the MPT video and audio MPU time stamp descriptors (see FIG. 11). Sent to the unit 205 and the audio control unit 208.
  • the decoding time DT and the presentation time of each sample (presentation unit) PT is obtained (see the above formula (1), formula (2), or formula (3), formula (4), formula (5), formula (6), formula (7)).
  • the video control unit 205 instructs the video decoder 207 to decode and present the encoded video of each sample (presentation unit) stored in the video decode buffer 206.
  • the video control unit 205 refers to the NTP time information supplied from the NTP clock reproduction unit 203 and performs the instruction at the timing of the decoding time DT and the presentation time PT obtained as described above.
  • the video decoder 207 decodes the encoded video of each sample (presentation unit) stored in the video decoding buffer 206 based on an instruction from the video control unit 205.
  • the video decoder 207 sequentially outputs the video of each sample (presentation unit) at the timing of the presentation time PT.
  • the audio control unit 208 determines the decoding time DT of each sample (presentation unit) based on the presentation time of the first sample (presentation unit) of the MPU and the DT / PT information of each sample (presentation unit) of the MPU.
  • the presentation time PT is obtained (see the above formula (1), formula (2), formula (3), formula (4), formula (5), formula (6), formula (7)).
  • the audio control unit 208 instructs the audio decoder 210 to decode and present the encoded audio of each sample (presentation unit) stored in the audio decode buffer 209.
  • these instructions are performed with reference to the NTP time information supplied from the NTP clock reproduction unit 203 and at the timing of the decoding time DT and the presentation time PT obtained as described above.
  • the audio decoder 210 decodes the encoded audio of each sample (presentation unit) stored in the audio decoding buffer 209 based on an instruction from the audio control unit 208.
  • the audio decoder 210 sequentially outputs the audio of each sample (presentation unit) at the timing of the presentation time PT.
  • NTP Network Time Protocol
  • ITU International Telecommunication Union
  • the NTP server has a hierarchy (stratum), and the lower the number, the higher the accuracy.
  • the NTP server at level 1 (Stratum 1) is directly connected to the atomic clock, and the error in time information is less than 1 ⁇ s.
  • the time information provided by the NTP server is expressed as an accumulated number of seconds (UTC: Coordinated Universal Time) from January 1, 1900.
  • FIG. 32 (b) shows the format of time information (NTP time stamp long format) provided by the NTP server. This time information is in a 64-bit format, with the upper 32 bits indicating UTC accumulated seconds and the lower 32 bits indicating less than seconds.
  • FIG. 32C shows a format of time information (NTP time stamp short format) provided by the NTP server. This time information is in a 32-bit format, with the upper 16 bits indicating the number of seconds accumulated in UTC and the lower 16 bits indicating less than a second.
  • FIG. 33 and 34 show a clock synchronization / presentation synchronization method in the MMT method.
  • FIG. 33 shows a configuration example on the broadcast transmission system 100 side.
  • FIG. 34 shows a configuration example on the receiver 200 side.
  • the broadcast transmission system 100 includes an NTP / IP interface 131 and 32-bit registers 132a and 132b.
  • the broadcast transmission system 100 is compared with a voltage-controlled oscillator 133 that generates a 2 ** 24 Hz clock (system clock), and an 8-bit counter 134a, a 16-bit counter 134b, and a 32-bit counter 134c that constitute a clock unit.
  • a container 135 is provided.
  • the broadcast transmission system 100 includes a packetizing unit 136, a video encoding processing unit 137, a packetizing unit 138, an encoding buffer 139, a video synchronization control unit 140, an MMT signaling encoding unit 141, and a multiplexer 142.
  • a packetizing unit 136 receives packets from a packetizing unit 136 and packets packets from a packetizing unit 138.
  • the NTP / IP interface 131 accesses, for example, an NTP server (not shown) via the Internet at a predetermined time interval, and obtains time information in 64-bit format (see FIG. 32B).
  • the 32-bit registers 132a and 132b hold 64-bit format time information acquired by the NTP / IP interface 131.
  • the 32-bit register 132a holds upper 32 bits of bit data
  • the 32-bit register 132b holds lower 32 bits of bit data.
  • the contents held in the 32-bit registers 132a and 132b are updated each time the 64-bit format time information is acquired by the NTP / IP interface 131.
  • the configuration may remain as it is. However, if the frequency is low, the registers 132a and 132b automatically continue to operate as a counter indicating the time so as to reproduce the clock of the NTP server. It is also possible.
  • the output of the register 132b indicating the lower 32 bits of the acquired time information becomes all 0s
  • the output of the register 132a indicating the upper 32 bits of the time information is set as an initial value of the 32-bit counter 134c.
  • the 16-bit counter 134b and the 8-bit counter 134a are all set to 0. This setting operation is limited to one time when the broadcast transmission system 100 starts operation.
  • the voltage controlled oscillator 133 generates a 2 ** 24 Hz clock (system clock).
  • 2 ** 24 Hz clocks output from the voltage controlled oscillator 133 are counted.
  • the 16-bit counter 134b the carry output of the 8-bit counter 134a is counted. That is, in this embodiment, a 24-bit counter is configured by the 8-bit counter 134a and the 16-bit counter 134b.
  • the 1 Hz clock that is the carry output of the 16-bit counter 134b is counted, and a 32-bit bit output that is time information (Regenerated UTC) with second accuracy is obtained.
  • the 56-bit bit output of the 8-bit counter 134a, 16-bit counter 134b, and 32-bit counter 134c becomes a system time clock (STC: System : Time Clock) as time information by the counter operation from the initial value.
  • STC System : Time Clock
  • the comparator 135 latches the above-described 56-bit system time clock at the timing when the held contents of the 32-bit registers 132a and 132b are updated, and the register held contents, that is, time information (lower order) acquired from the NTP server. Compared to 8 bits). Then, a comparison error signal is supplied from the comparator 135 to the voltage controlled oscillator 133 as a control signal.
  • the voltage controlled oscillator 133, the counters 134a, 134b, 134c and the comparator 135 constitute a PLL (Phase Locked Loop) circuit. Therefore, the voltage controlled oscillator 133 generates a 2 ** 24 Hz clock (system clock) synchronized with the time information in the 64-bit format acquired from the NTP server.
  • the counters 134a, 134b, and 134c generate 56-bit time information that includes the frequency information of the clock of 2 ** 24 Hz and is synchronized with the time information in the 64-bit format acquired from the NTP server.
  • the 56-bit time information is supplied to the packetizing unit 136.
  • the packetizing unit 136 8 bits of all zeros are added to the lower order of the 56-bit time information to obtain time information in a 64-bit format (see FIG. 28B).
  • the packetizing unit 136 Based on the 64-bit time information, the packetizing unit 136 generates an IP packet including an NTP clock reference (NTP_CR: NTP Clock Reference) having frequency information of a clock of 2 ** 24 Hz.
  • NTP_CR NTP Clock Reference
  • the video encoding processing unit 137 encodes video (video data) in synchronization with a 2 ** 24 Hz clock obtained by the voltage controlled oscillator 133. In this case, the 2 ** 24 Hz clock is appropriately multiplied and divided to be used after being converted to a desired frequency.
  • the packetizing unit 138 divides the encoded video elementary stream into chunks of a predetermined size, and generates MMT packets (MMT packet) including the respective chunks in the payload portion. The MMT packet is supplied to the multiplexer 142 through the encode buffer 139.
  • a signaling message is generated, and an IP packet including the MMT packet in which the signaling message is arranged in the payload part is sent to the multiplexer 142.
  • the video synchronization control unit 140 is supplied with 56-bit time information obtained by the counters 134a, 134b, and 134c.
  • This presentation time mpt is supplied to the MMT signaling generator 141.
  • the MMT signaling encoding unit 141 generates an MPU time stamp descriptor (MPU_timestamp_descriptor) having the presentation time mpt of the picture for each GOP of the video encoded by the video encoding processing unit 138, and the MPT (MPT ( A signaling message containing an MMT Package Table) is generated.
  • MPU_timestamp_descriptor MPU time stamp descriptor
  • MPT MPT ( A signaling message containing an MMT Package Table) is generated.
  • the video synchronization control unit 140 obtains the above-described DT / PT information (decoding time DT and presentation time PT) based on the encoding timing of each picture for each GOP of the video encoded by the video encoding processing unit 138. Time acquisition information) is generated.
  • DT / PT information generated by the video synchronization control unit 140 is supplied to the packetization unit 138 when the MMT extension header of the MMT packet is used as described above.
  • an MMT extension header (header_extension) having DT / PT information is arranged in the video MMT packet.
  • the DT / PT information generated by the video synchronization control unit 140 is supplied to the MMT signaling encoding unit 141 when the MPU extended time stamp descriptor (MPU_extended_timestamp_descriptor) is used as described above.
  • the MMT signaling encoding unit 141 generates, for each GOP of the video encoded by the video encoding processing unit 138, an MPU extended time stamp descriptor having DT / PT information of each picture, and an MPT (MMT) in which this descriptor is inserted.
  • a signaling message containing a Package (Table) is generated.
  • the multiplexer 142 is supplied with the IP packet including the NTP / clock reference, the MMT packet including the encoded video, and the MMT packet including the signaling message. Although illustration is omitted, an MMT packet including encoded audio and the like is generated in the same manner as the MMT packet including encoded video and supplied to the multiplexer 142.
  • the multiplexer 142 further adds a necessary header to each packet, and generates an MMT broadcast stream. This MMT broadcast stream is transmitted as a broadcast signal.
  • the receiver 200 includes a demultiplexer 231, a voltage-controlled oscillator 232 that generates a 2 ** 24 Hz clock (system clock), an 8-bit counter 233a, a 16-bit counter 233b, and a 32-bit count 233c that constitute a clock, A comparator 234 is included.
  • the receiver 200 includes an MMT signaling decoding unit 235, a video synchronization control unit 236, a depacketization unit 237, a decoding buffer 238, and a video decoding processing unit 239.
  • the voltage controlled oscillator 232 that generates the system clock does not necessarily have the same frequency as that of the transmission system. For example, even 2 ** 22 Hz may be 2 ** n (n is an integer).
  • the demultiplexer 231 is supplied with an MMT broadcast stream that is a received broadcast signal.
  • the demultiplexer 231 extracts the NTP_CR from the IP packet including the NTP clock reference (NTP_CR).
  • NTP_CR NTP clock reference
  • the upper 56 bits of the first received 64-bit NTP_CR are set as initial values in a 56-bit counter including the counter 233a, the counter 233b, and the counter 233c. This NTP_CR is supplied to the comparator 234.
  • the voltage controlled oscillator 232, the counters 233a, 233b, 233c and the comparator 234 constitute a PLL (Phase Locked Loop) circuit. Therefore, the voltage-controlled oscillator 232 generates a 2 ** 24 Hz clock synchronized with NTP_CR. The frequency of the clock of 2 ** 24 Hz becomes equal to the frequency of the clock generated by the voltage controlled oscillator 133 of the broadcast transmission system 100 described above, and clock synchronization is realized.
  • the counters 233a, 233b, and 233c generate a system time clock synchronized with NTP_CR.
  • This system time clock matches the system time clock generated by the counters 134a, 134b, 134c of the broadcast transmission system 100 described above. Therefore, as described above, information (presentation time mpt, DT / PT information) for obtaining the decoding time DT and the presentation time PT for each video and audio presentation unit is inserted in the MMT broadcast stream. Together with this, presentation synchronization is realized.
  • the signaling message extracted by the demultiplexer 231 is supplied to the MMT signaling decoding unit 235.
  • the presentation time mpt of the picture is extracted for each video GOP from the MPU time stamp descriptor (MPU_timestamp_descriptor) included in the MPT (MMT Package Table).
  • the presentation time mpt is supplied to the video synchronization control unit 236.
  • the MMT signaling decoding unit 235 uses the video GOP from the MPU extended time stamp descriptor included in the MPT (MMT Package Table). Every time, DT / PT information of each picture is extracted. The DT / PT information is supplied to the video synchronization control unit 236.
  • the MMT packet including the encoded video extracted by the demultiplexer 231 is supplied to the depacketization unit 237 and subjected to depacketization processing.
  • the encoded video obtained by the depacketizer 237 is temporarily stored in the decode buffer 238.
  • the depacketizing unit 237 uses the MMT extension header (header_extension) provided in the MMT packet for each GOP of the video, DT / PT information is extracted.
  • the DT / PT information is supplied to the video synchronization control unit 236.
  • the system time clock generated by the counters 233a, 233b, 233c is supplied to the video synchronization control unit 236. In this case, it is not necessary to supply all 56 bits, and only the bit portion corresponding to the accuracy of the decoding time DT and the presentation time PT calculated by the video synchronization control unit 236 may be supplied.
  • the 32-bit counter 233c and the 16-bit Only the (32 + 16) bit output of the counter 233b is sufficient.
  • the bit output of the 8-bit counter 233a is also required.
  • the video synchronization control unit 236 Based on the presentation time mpt and the DT / PT information, the video synchronization control unit 236 obtains the decoding time DT and the presentation time PT of each picture for each video GOP (the above-described equations (1) and (2) Or (3), (4), or (5), (6), (7)).
  • the video synchronization control unit 236 instructs the video decoding processing unit 239 to decode and present the encoded video of each picture stored in the decoding buffer 238.
  • the video synchronization control unit 236 refers to the system time clock generated by the counters 233a, 233b, and 233c for those instructions, and the timing of the decoding time DT and the presentation time PT obtained as described above. Done in
  • the decoding processing unit 239 based on an instruction from the video synchronization control unit 236, the encoded video of each picture stored in the decoding buffer 238 is decoded.
  • the video decode processing unit 239 sequentially outputs the video of each picture at the presentation time PT.
  • the demultiplexer 231 also extracts MMT packets including encoded audio, and processes them in the same manner as in the case of the video described above to obtain baseband audio data. Is called.
  • time information (NTP_CR) including clock frequency information synchronized with time information acquired from the outside is included in the MMT broadcast stream. Therefore, on the receiving side, the same clock (system clock) as that on the transmitting side can be generated based on this time information, and clock synchronization can be realized.
  • the time information to be used can correspond to the NTP long format.
  • an MMT broadcast stream includes video and audio obtained based on time information (system time clock) synchronized with time information acquired from the outside.
  • Information presentation time mpt, DT / PT information
  • presentation time synchronization can be realized based on this information and time information (system time clock).
  • an MMT extension header of a MMT packet or a newly defined MPU extension is used for transmission of DT / PT information for obtaining a decoding time DT and a presentation time PT of each sample (presentation unit). It uses a time stamp descriptor. Therefore, it is possible to suppress a delay for performing processing based on the decoding time and the presentation time on the receiving side.
  • this technique can also take the following structures.
  • a clock generation unit that generates a clock synchronized with time information acquired from the outside;
  • a time information generation unit that includes frequency information of the clock generated by the clock generation unit and generates time information synchronized with the time information acquired from the outside;
  • Transmission media time acquisition information for obtaining a decoding time and a presentation time for each presentation unit of the transmission media obtained based on the time information generated by the time information generator, and generated by the time information generator
  • a transmission unit that transmits a broadcast signal including the received time information.
  • the time acquisition information is For each presentation unit group consisting of a predetermined number of presentation units of the transmission media, The presentation time of the first presentation unit of the presentation unit group, The transmission apparatus according to (1), including time length information for calculating a decoding time and a presentation time of each presentation unit of the presentation unit group with reference to the presentation time of the first presentation unit.
  • the above time length information is Decoding time information of the first presentation unit transmitted by the offset time length from the presentation time of the first presentation unit, information indicating the time length of each presentation unit, and offset time from the decoding time of each presentation unit
  • the transmission device according to (2) including presentation time information indicated by a length.
  • the above time length information is The decoding time information indicated by the offset time length from the presentation time of the first presentation unit, and the presentation time information indicated by the offset time length from the decoding time, for each of the presentation units. Transmitter device.
  • the above time length information is Decoding time information of the first transmitted presentation unit indicated by the offset time length from the presentation time of the first presentation unit and an offset time length from the decoding time of the presentation unit before each of the second and subsequent presentation units
  • the transmission device according to (2) including the indicated decoding time information and presentation time information indicated by an offset time length from the decoding time of each presentation unit.
  • the broadcast signal includes a first packet including the transmission medium, a second packet including information on the transmission medium, and a third packet including time information generated by the time information generation unit.
  • the broadcast signal includes a first packet including the transmission medium, a second packet including information on the transmission medium, and a third packet including time information generated by the time information generation unit.
  • the first presentation time is inserted into the second packet.
  • the first packet is always provided with the extension header, and flag information indicating whether or not the head of the presentation unit is included in the first packet is further inserted into the extension header.
  • (11) The transmission device according to any one of (1) to (10), wherein a frequency of a clock generated by the clock generation unit is 2 ** nHz.
  • a clock generation step for generating a clock synchronized with time information acquired from the outside;
  • a time information generation step that includes frequency information of the clock generated in the clock generation step, and generates time information synchronized with the time information acquired from the outside;
  • the transmission medium, the time information for obtaining the decoding time and the presentation time for each presentation unit of the transmission medium obtained based on the time information generated in the time information generation step, and the time information generation step A transmission step of transmitting a broadcast signal including the time information.
  • a receiving unit for receiving a broadcast signal including time information synchronized with the received time information;
  • a time information generating unit that generates a clock based on time information included in the broadcast signal, and generates time information synchronized with the time information using the clock;
  • a time calculation unit for obtaining a decoding time and a presentation time for each presentation unit of the transmission media;
  • a processing unit that processes the transmission media included in the broadcast signal for each presentation unit based on the decoding time and the presentation time calculated by the time calculation unit and the time information generated by the time information generation unit;
  • a receiving device for receiving a broadcast signal including time information synchronized with the received time information;
  • a time information generating unit that generates a clock based on time information included in the broadcast signal, and generates time information synchronized with the time information using the clock;
  • a time calculation unit for obtaining a decoding time and a presentation time for each presentation unit of the transmission media;
  • a processing unit that processes the transmission media included in the broadcast signal for each presentation unit based on
  • the time acquisition information for obtaining the decoding time and the presentation time for each presentation unit of the transmission media is: For each presentation unit group consisting of a predetermined number of presentation units of the transmission media, The presentation time of the first presentation unit of the presentation unit group, The receiving device according to (13), including time length information for calculating a decoding time and a presentation time of each presentation unit of the presentation unit group with reference to the presentation time of the first presentation unit.
  • the time length information is Decoding time information of the first presentation unit transmitted by the offset time length from the presentation time of the first presentation unit, information indicating the time length of each presentation unit, and offset time from the decoding time of each presentation unit
  • the receiving device according to (14) including presentation time information indicated by a length.
  • the broadcast signal includes a first packet including the transmission medium, a second packet including information on the transmission medium, and a third packet including the time information.
  • the receiving device according to (14) or (15), wherein the first presentation time and the time length information are inserted into the second packet.
  • the broadcast signal includes a first packet including the transmission medium, a second packet including information on the transmission medium, and a third packet including the time information.
  • the first presentation time is inserted into the second packet,
  • the reception apparatus according to (14) or (15), wherein the time length information is inserted into the first packet.
  • a clock generation unit that generates a 2 ** nHz clock synchronized with time information acquired from the outside;
  • a time information generation unit that includes frequency information of a clock of 2 ** nHz generated by the clock generation unit and generates time information synchronized with the time information acquired from the outside;
  • the transmission media, the time information for obtaining the decoding time and the presentation time for each presentation unit of the transmission media obtained based on the time information generated by the time information generation unit, and the time information generation unit A transmission unit that transmits a broadcast signal including the time information.
  • n is an integer from 24 to 28.
  • the main feature of the present technology is that an MMT extension header of a MMT packet or a newly defined MPU extension time stamp descriptor is used to transmit DT / PT information for obtaining a decoding time DT and a presentation time PT of each sample (presentation unit). By using this, it is possible to suppress a delay for performing processing based on the decoding time and the presentation time on the receiving side (see FIGS. 15, 19, 24, and 27).
  • DESCRIPTION OF SYMBOLS 10 ... Transmission / reception system 100 ... Broadcast transmission system 111 ... NTP clock generation part 112 ... Signal transmission part 113 ... Video encoder 114 ... Audio encoder 115 ... MMT signaling encoding part 116- .. TLV signaling generators 117-1 to 117-N ... IP service multiplexer 118 ... TLV / multiplexer 119 ... modulation / transmission unit 131 ... NTP / IP interface 132a, 132b ...
  • Audio control unit 209 ... Audio decode buffer 210 ... Audio decoder 231 ... Demultiplexer 232 ... Voltage controlled oscillator 233a ... 8-bit counter 233b ... 16-bit counter 233c ... ⁇ 32-bit count 234 ... comparator 235 ... MMT signaling decoding unit 236 ... video synchronization controller 237 ... depacketizer 238 ... decode buffer 239 ... video decoding unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Electric Clocks (AREA)
  • Circuits Of Receivers In General (AREA)

Abstract

 IP方式で伝送する放送方式においてクロック同期、提示同期を良好に実現する。 外部から取得された時刻情報に同期したクロックを生成する。このクロックの周波数情報を含む、外部から取得された時刻情報に同期した時刻情報を生成する。伝送メディアと、生成された時刻情報に基づいて得られた伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、生成された時刻情報を含む放送信号を送信する。

Description

送信装置、送信方法、受信装置および受信方法
 本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ビデオ、オーディオなどの伝送メディアを含むIP方式の放送信号を送信する送信装置等に関する。
 次世代の放送方式として、IPプロトコルをベースにMP4 ISO Base Media File Formatに基づいたコンテンツフォーマットで伝送するMMT等の伝送方式が検討されている(例えば、非特許文献1参照)。MP4 ISO Base Media File Formatにより、従来のMPEG2 Systemsで供給されていたピクチャ単位のPTS/DTSを得るために、moof boxというメタデータに相当する時刻情報を伝送することが可能である。
 この場合、効率的な伝送を行うためには、GOP単位の符号化データに対するメタデータをまとめて伝送することが要求される。その場合、送信側か受信側においてGOP分の遅延(delay)を持たせる必要があり、全体の遅延量がGOP分増えて低遅延の要求に合致しなくなる。また、上記メタデータがGOP分まとまっていることによりパケットロスによる影響が大きくなる。
Study of ISO/IEC CD 23008-1 MPEG Media Transport ,[online],[平成25年5月7日検索]、インターネット<URL: http://mpeg.chiariglione.org/standards/mpeg-h/mpeg-media-transport>
 本技術の目的は、IP方式で伝送する放送方式においてクロック同期、提示同期を良好に実現することにある。
 本技術の概念は、
 外部から取得された時刻情報に同期したクロックを生成するクロック生成部と、
 上記クロック生成部で生成されたクロックの周波数情報を含む上記外部から取得された時刻情報に同期した時刻情報を生成する時刻情報生成部と、
 伝送メディアと、上記時刻情報生成部で生成された時刻情報に基づいて得られた該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、上記時刻情報生成部で生成された時刻情報を含む放送信号を送信する送信部とを備える
 送信装置にある。
 本技術において、クロック生成部により、外部から取得された時刻情報に同期したクロックが生成される。例えば、時刻情報は、NTP(Network Time Protocol)によりNTPサーバから、あるいはIEEE1588PTPにより他の装置から、NTPロングフォーマット(NTP long format)で取得される。
 時刻情報生成部により、クロック生成部で生成されたクロックの周波数情報を含む、外部から取得された時刻情報に同期した時刻情報が生成される。例えば、クロック生成部で生成されるクロックの周波数は2**nHzである、ようにされてもよい。これにより、時刻情報生成部で、NTPロングフォーマットに対応した時刻情報を生成することが可能となる。
 送信部により、伝送メディアと、時刻情報生成部で生成された時刻情報に基づいて得られた伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻情報と、時刻情報生成部で生成された時刻情報を含む放送信号が送信される。
 例えば、時刻取得情報は、伝送メディアの所定数の提示単位からなる提示単位グループ毎に、提示単位グループの最初の提示単位の提示時刻と、提示単位グループの各提示単位のデコード時刻および提示時刻を最初の提示単位の提示時刻を参照して算出するための時間長情報とからなる、ようにされてもよい。
 例えば、時間長情報は、最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、各提示単位の時間長を示す情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる、ようにされてもよい。この場合、各提示単位の時間長が固定である場合には、時間長情報の送信に必要とするビット数を抑制することが可能となる。
 また、例えば、時間長情報は、各提示単位の、最初の提示単位の提示時刻からのオフセット時間長で示したデコード時刻情報と、デコード時刻からのオフセット時間長で示した提示時刻情報とからなる、ようにされてもよい。この場合、各提示単位のデコード時刻のそれぞれを最初の提示単位の提示時刻にオフセット時間長で示したデコード時刻情報を加算することで求めることができ、算出処理が簡単となる。
 また、例えば、時間長情報は、最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、2番目以降の各提示単位の前の提示単位のデコード時刻からのオフセット時間長で示したデコード時刻情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる、ようにされてもよい。この場合、2番目以降のデコード時刻情報が各提示単位の前の提示単位のデコード時刻からのオフセット時間長で示されることから、このデコード時刻情報に必要とするビット数を抑制することが可能となる。
 例えば、放送信号は、伝送メディアを含む第1のパケットと、伝送メディアに関する情報を含む第2のパケットと、時刻情報生成部で生成された時刻情報を含む第3のパケットを持ち、最初の提示時刻および時間長情報は、第2のパケットに挿入される、ようにされてもよい。この場合、時間長情報が伝送メディアに関する情報を含む第2のパケットに挿入されることから、受信側でデコード時刻および提示時刻による処理を行うための遅延を低く抑えることが可能となる。
 また、例えば、放送信号は、伝送メディアを含む第1のパケットと、伝送メディアに関する情報を含む第2のパケットと、時刻情報生成部で生成された時刻情報を含む第3のパケットを持ち、最初の提示時刻は、第2のパケットに挿入され、時間長情報は、第1のパケットに挿入される、ようにされてもよい。この場合、時間長情報が伝送メディアを含む第1の伝送パケットに挿入されることから、受信側でデコード時刻および提示時刻による処理を行うための遅延を低く抑えることが可能となる。
 この場合、例えば、時間長情報は、第1のパケットの拡張ヘッダに挿入される、ようにされてもよい。そして、この場合、例えば、第1のパケットには、提示単位の先頭が含まれるとき、拡張ヘッダが設けられる、ようにされてもよい。これにより、発生情報量を抑え、帯域節約を図ることが可能となる。また、この場合、例えば、第1のパケットには、常に、拡張ヘッダが設けられ、この拡張ヘッダには、この第1のパケットに提示単位の先頭が含まれるか否かを示すフラグ情報がさらに挿入される、ようにされてもよい。これにより、ヘッダ情報量の乱れを抑えることができ、受信側におけるヘッダ処理の単純化が可能となる。
 このように本技術においては、放送信号に、外部から取得された時刻情報に同期したクロックの周波数情報を含む時刻情報が含まれるものである。そのため、受信側では、この時刻情報に基づいて送信側と同様のクロック(システムクロック)を生成でき、クロック同期の実現が可能となる。
 また、本技術においては、放送信号に、さらに、外部から取得された時刻情報に同期したクロックの周波数情報を含み、この外部から取得された時刻情報に同期した時刻情報に基づいて得られた伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報が含まれるものである。そのため、受信側では、送信信号に含まれる時刻情報に基づいて生成される時刻情報と、伝送メディアの提示単位毎の提示時刻情報とに基づき、提示同期の実現が可能となる。
 また、本技術の他の概念は、
 伝送メディアと、該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、外部から取得された時刻情報に同期したクロックの周波数情報を含み、上記外部から取得された時刻情報に同期した時刻情報を含む放送信号を受信する受信部と、
 上記放送信号に含まれる時刻情報に基づいてクロックを生成し、該クロックを用いて該時刻情報と同期した時刻情報を生成する時刻情報生成部と、
 上記放送信号に含まれる上記時刻取得情報に基づいて、上記伝送メディアの提示単位毎のデコード時刻および提示時刻を求める時刻算出部と、
 上記放送信号に含まれる伝送メディアを、提示単位毎に、上記時刻算出部で算出されたデコード時刻および提示時刻と、上記時刻情報生成部で生成された時刻情報とに基づいて処理する処理部を備える
 受信装置にある。
 本技術において、受信部により、放送信号が受信される。この放送信号には、伝送メディアと、この伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、外部から取得された時刻情報に同期したクロックの周波数情報を含み、外部から取得された時刻情報に同期した時刻情報が含まれる。
 例えば、伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報は、伝送メディアの所定数の提示単位からなる提示単位グループ毎に、提示単位グループの最初の提示単位の提示時刻と、提示単位グループの各提示単位のデコード時刻および提示時刻を最初の提示単位の提示時刻を参照して算出するための時間長情報とからなる、ようにされてもよい。そして、この場合、時間長情報は、最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、各提示単位の時間長を示す情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる、ようにされてもよい。
 また、例えば、放送信号は、伝送メディアを含む第1のパケットと、伝送メディアに関する情報を含む第2のパケットと、時刻情報を含む第3のパケットを持ち、最初の提示時刻および時間長情報は、第2のパケットに挿入されている、ようにされてもよい。また、例えば、放送信号は、伝送メディアを含む第1のパケットと、伝送メディアに関する情報を含む第2のパケットと、時刻情報を含む第3のパケットを持ち、最初の提示時刻は、第2のパケットに挿入され、時間長情報は、第1のパケットに挿入されている、ようにされてもよい。
 時刻情報生成部により、放送信号に含まれる時刻情報に基づいてクロックが生成され、このクロックを用いてその時刻情報と同期した時刻情報が生成される。また、時刻算出部により、放送信号に含まれる時刻取得情報に基づいて、伝送メディアの提示単位毎のデコード時刻および提示時刻が求められる。そして、処理部により、放送信号に含まれる伝送メディアが、提示単位毎に、時刻算出部で算出されたデコード時刻および提示時刻と、時刻情報生成部で生成された時刻情報とに基づいて処理される。
 このように本技術においては、放送信号に含まれる外部から取得された時刻情報に関連した時刻情報に基づいて送信側と同様のクロック(システムクロック)と、このクロックの周波数情報を含む時刻情報が生成されるものである。そして、これらのクロックおよび時刻情報と、放送信号に含まれる時刻取得情報に基づいて求められた伝送メディアの提示単位毎のデコード時刻および提示時刻とに基づいて、伝送メディアが、提示単位毎に処理されるものである。そのため、クロック同期および提示同期の実現が可能となる。
 本技術によれば、IP方式で伝送する放送方式においてクロック同期、提示同期を良好に実現できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 送信・受信システムにおけるクロック同期と提示同期について説明するための図である。 MMT方式のプロトコルスタックを示す図である。 MMT方式放送ストリーム(放送信号)の構成例を示す図である。 MMTパケットおよびMMT拡張ヘッダの構成例を示す図である。 MMTPペイロードおよびDUヘッダの構成例を示す図である。 MMTファイルとMMTPペイロードとの対応関係の一例を示す図である。 PAメッセージおよびMPテーブルの構成例を示す図である。 PAメッセージの主要なパラメータの説明を示す図である。 MPテーブルの主要なパラメータの説明を示す図である。 MPUタイムスタンプ・デスクリプタの構造例を示す図である。 MMT方式の放送ストリームにおける伝送順を説明するための図である。 第1の形態のオフセット情報が挿入される拡張ヘッダの構造例を示す図である。 第1の形態のオフセット情報が挿入される拡張ヘッダの構造例における主要な情報の内容を示す図である。 受信側における第1の形態のオフセット情報によるデコード時刻DTおよび提示時刻PTの算出方法を示す図である。 各提示単位のデコード時刻DTおよび提示時刻PTの算出式等を示す図である。 第2の形態のオフセット情報が挿入される拡張ヘッダの構造例を示す図である。 第2の形態のオフセット情報が挿入される拡張ヘッダの構造例における主要な情報の内容を示す図である。 受信側における第2の形態のオフセット情報によるデコード時刻DTおよび提示時刻PTの算出方法を示す図である。 各提示単位のデコード時刻DTおよび提示時刻PTの算出式等を示す図である。 拡張ヘッダの伝送頻度の第1の形態を示す図である。 拡張ヘッダの伝送頻度の第2の形態を示す図である。 MPU拡張タイムスタンプ・デスクリプタの構造例を示す図である。 受信側におけるデコード時刻DTおよび提示時刻PTの算出方法を示す図である。 MPU拡張タイムスタンプ・デスクリプタの他の構造例を示す図である。 MPU拡張タイムスタンプ・デスクリプタの他の構造例を示す図である。 受信側におけるデコード時刻DTおよび提示時刻PTの算出方法を示す図である。 各提示単位のデコード時刻DTおよび提示時刻PTの算出式等を示す図である。 MPU拡張タイムスタンプ・デスクリプタが挿入されるMPTとAV符号化データの遅延調整を説明するための図である。 放送送出システムの構成例を示すブロック図である。 受信機の構成例を示すブロック図である。 NTPサーバおよびこのNTPサーバが提供する時刻情報のフォーマットを説明するための図である。 MMT方式におけるクロック同期・提示同期方式を説明するための放送送出システム側の構成例を示すブロック図である。 MMT方式におけるクロック同期・提示同期方式を説明するための受信機側の構成例を示すブロック図である。
 以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
 1.実施の形態
 2.変形例
 <1.実施の形態>
 [送受信システムの構成例]
 図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、放送送出システム100と、受信機200により構成されている。
 放送送出システム100は、ビデオ、オーディオなどの伝送メディアを含むIP(Internet Protocol)方式の放送信号を送信する。放送送出システム100は、時刻情報を外部から取得する。例えば、NTP(Network Time Protocol)によりNTPサーバから、あるいはIEEE1588PTPにより他の装置から、NTPロングフォーマット(NTP long format)で取得する。
 放送送出システム100は、外部から取得された時刻情報に同期したクロック(システムクロック)と、このクロックの周波数情報を含む時刻情報を生成する。この実施の形態において、クロックの周波数は、従来の放送システムに適用されてきた27MHzではなく、2**nHzとされる。そして、この実施の形態では、n=24とされるが、nは、その他の整数、例えば24から28のいずれかの整数とされてもよい。このようにクロックの周波数が2**nHzとされることで、外部から取得するNTPロングフォーマットの時刻情報に同期した時刻情報の生成が容易となり、また、生成される時刻情報はNTPロングフォーマットに対応したものとなる。
 放送信号は、伝送メディアと共に、生成された時刻情報に基づいて得られた伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、生成された時刻情報とを含む。この実施の形態では、時刻取得情報は、伝送メディアの所定数の提示単位からなる提示単位グループ毎に、提示単位グループの最初の提示単位の提示時刻と、提示単位グループの各提示単位のデコード時刻および提示時刻を最初の提示単位の提示時刻を参照して算出するためのオフセット情報とからなる。
 受信機200は、放送送出システム100から送られてくる上述のIP方式の放送信号を受信する。受信機200は、放送信号に含まれる時刻情報に基づいて、この時刻情報に同期した、2**nHzのクロック(システムクロック)と、この2**nHzのクロックの周波数情報を含む時刻情報を生成する。また、受信機200は、放送信号に含まれる時刻取得情報に基づいて、伝送メディアの提示単位毎のデコード時刻および提示時刻を求める。そして、受信機200は、放送信号に含まれる伝送メディアを、提示単位毎に、求められたデコード時刻および提示時刻と、生成された時刻情報に基づいて処理する。
 送受信システム10においては、放送送出システム100および受信機200を上述した構成とすることで、従来のMPEG2-TS方式と同様に、クロック同期と提示同期を実現する。
 図2を用いて、送信・受信システムにおけるクロック同期と提示同期について説明する。送信システム、受信システムは、それぞれ、例えば、上述の放送送出システム100、受信機200に対応する。送信システムは、2**nHzのシステムクロックを生成するクロック生成部11と、時刻情報を生成する時計部(時刻情報生成部)12を有している。また、送信システムは、エンコード処理部13と、パケット化/タイムスタンプ付加部14と、エンコードバッファ15を有している。
 エンコード処理部13では、ビデオ、オーディオなどの伝送メディアが符号化される。パケット化/タイムスタンプ付加部14では、符号化後の伝送メディアのパケット化が行われると共に、時計部12で生成される時刻情報に基づいて伝送メディアの提示単位毎に提示時刻情報が付加される。そして、伝送メディアのパケットは、エンコードバッファ15に一時的に蓄積され、適宜なタイミングで送信される。
 受信システムは、2**nHzのシステムクロックを生成するクロック生成部21と、時刻情報を発生する時計部(時刻情報生成部)22を有している。また、受信システムは、デコードバッファ23と、デパケット化/タイミング調整部24と、デコード処理部25を有している。
 デコードバッファ23では、受信された伝送メディアのパケットを一時的に蓄積する。デパケット化/タイミング調整部24では、デコードバッファ23に蓄積されている伝送メディアのパケットが、時計部22で生成される時刻情報が参照され、付加されている提示時刻情報のタイミングで取り出されてデパケット化される。デコード処理部25では、デパケット化により得られた伝送メディアが復号化され、ベースバンドの伝送メディアが得られる。
 図1に示す送受信システム10においては、クロック同期および提示同期が実現されている。このクロック同期・提示同期方式の詳細については、後述する。ここで、クロック同期とは、基本的に、送信システムのクロック生成部11で生成されるシステムクロックの周波数と、受信システムのクロック生成部21で生成されるシステムクロックの周波数が、同一周波数となることを意味する。但し、必ずしも同一周波数でなくても、周波数が整数倍などの関係が保持されればよい。クロック同期が実現されていない場合、受信側で受信を継続しているうちにフレーム飛び等が発生するなどの破たんが起きる。
 また、提示同期とは、送信システムの時計部12の時刻情報と受信システムの時計部22の時刻情報を合わせ、かつ伝送メディアの提示単位毎の提示時刻情報を伝送メディアのパケットに付加することを意味する。なお、ここで、送信システムの時計部12の時刻情報に受信システムの時計部22の時刻情報を合わせる場合には、送信システムから受信システムへの伝送遅延が考慮される。提示同期が実現されていない場合、受信側でビデオ、オーディオの同期をとってバッファを破たんさせずに適切に提示するということができなくなる。
 図1に戻って、上述したように、放送送出システム100から受信機200には、IP方式の放送信号が送信される。この実施の形態において、IP方式の放送信号は、MMT(MPEG Media Transport)方式とされる。
 図3は、MMT方式のプロトコルスタックを示している。下位に物理レイヤ(PHY)がある。この物理レイヤには、変調方式、誤り訂正方式などが含まれる。この物理レイヤの上に、TLV(Type Length Value)の伝送パケットのレイヤがある。このTLVの伝送パケットの上にIPパケットが載る。
 このIPパケットの上に、さらに、UDP(User Datagram Protocol)が載る。一方、TLVの伝送パケットの上に、シグナリング(Signaling)情報としての伝送制御信号も載る。また、UDPの上に、MMTパケットが載る。このMMTパケットのペイロード部には、ビデオ、オーディオ等の伝送メディアの符号化データを含むMFU(MMT Fragment Unit)、あるいは伝送メディアに関する情報を含むシグナリングメッセージ(Signaling Message)が含まれる。なお、図示のように、UDPの上に、さらに時刻情報を含むNTP(Network Time Protocol)パケットが存在する。
 図4は、MMT方式放送ストリーム(放送信号)の構成例を示している。図4(a)は、ビデオのエレメンタリストリーム(Video ES)を示している。このビデオのエレメンタリストリームは、所定の大きさの固まりに分割され、図4(b)に示すように、MFUのペイロード部に配置される。
 図4(c)に示すように、MFUにMMTペイロードヘッダ(MMT payload header)が付加されてMMTPペイロード(MMTP payload)が構成される。そして、図4(d)に示すように、このMMTPペイロードにさらにMMTヘッダ(MMT header)が付加されて、MMTパケット(MMT packet)が構成される。なお、ペイロード部に、シグナリングメッセージ(Signaling Message)を含むMMTパケットも存在する。図4(e)に示すように、MMTパケットに、UDPヘッダ、IPヘッダおよびTLVヘッダが付加されて、MMT方式放送ストリームを構成するTLVパケット(TLV packet)が生成される。
 なお、TLVパケットには、NTPの時刻情報を含むNTPパケットも存在する。なお、図示は省略されているが、TLVパケットとしては、さらに、オーディオ、字幕などのその他の伝送メディアのMMTパケットを含むTLVパケットも存在する。このMMT方式放送ストリームは、伝送メディアを含む第1のパケット(MMTパケット)と、シグナリング情報を含む第2のパケット(MMTパケット)と、時刻情報を含む第3のパケット(NTPパケット)を持つものとなる。
 図5(a)は、MMTパケットの構成例(Syntax)を示している。MMTパケットは、MMTヘッダ(MMT header)と、MMTペイロード(MMT payload)とからなる。「C」の1ビットフラグ情報は、「packet_counter」のフィールドが存在するか否かを示す。図示の例では、「packet_counter」が存在している例を示している。“FEC”の2ビットフィールドは、FEC(forward error correction)のフォーマットを示す。
 “X”の1ビットフラグ情報は、MMT拡張ヘッダ、つまり「header_extension」のフィールドが存在しているか否かを示す。図示の例では、「header_extension」が存在している例を示している。“R”の1ビットフラグ情報は、ランダムアクセスポイント、従ってIピクチャを含んでいるか否かを示す。
 「type」の6ビットフィールドは、MMTパケットのタイプを示す。例えば、「0x00」はペイロードにMPU(Media Processing Unit)を含むMMTパケットであることを示し、「0x02」はペイロードにシグナリングメッセージ(Signaling message)を含むMMTパケットであることを示す。
 「packet_id」の16ビットフィールドは、ビデオ、オーディオ等のアセット(Asset)を識別するための識別子である。「timestamp」の32ビットフィールドは、伝送のためのタイプスタンプ、すなわちMMTパケットが送信側から出ていくときの時刻を示す。この時刻は、NTPショートフォーマット(NTP short format)で表される。「packet_sequence_number」は、同一の「packet_id」を持つMMTパケットのシーケンス番号を示す。「packet_counter」の32ビットフィールドは、「packet_id」のに関係なく、全てのMMTパケットのシーケンス番号を示す。
 上述の「X」の1ビットフラグ情報が「1」であるとき、「packet_counter」の32ビットフィールドの後に、MMT拡張ヘッダである「header_extension」のフィールドが配置される。その後に、MMTPペイロード(MMTP payload)を構成する「payload data」のフィールドおよび「source_FEC_payload_ID」のフィールドが存在する。
 図5(b)は、MMT拡張ヘッダの構成例(Syntax)を示している。「type」の16ビットフィールドは、拡張ヘッダのタイプを示す。「length」の16ビットフィールドは、これ以降の拡張ヘッダのバイトサイズを示す。この拡張ヘッダのバイトサイズは、拡張ヘッダのタイプにより異なる。「header_extension_value」のフィールドに、拡張ヘッダの本体が挿入される。
 図6(a)は、上述のMMTパケットの「payload data」のフィールドに配置されるMMTPペイロード(MMTP payload)の構成例(Syntax)を示している。なお、この例は、MMTヘッダの「type」が「0x00」であるMPUモードである場合を示している。最初にヘッダ情報が存在する。「length」の16ビットフィールドは、MMTPペイロード全体のバイトサイズを示す。“FT“の4ビットフィールドは、フィールドタイプを示す。 “0”は「MPU metadata」を含むことを示し、“1”は「Movie Fragment metadata」を含むことを示し、“2”は「MFU」を含むことを示す。
 ここで、MFU(MMT Fragment Unit)は、MPUが細分化、すなわちフラグメント(Fragment)化されたものである。例えば、ビデオの場合、このMFUを一つのNALユニットに相当するように設定できる。また、例えば、通信ネットワーク伝送路で送る場合、このMFUを一つまたは複数のMTUサイズ(MTU size)で構成することもできる。
 また、MPUは、ランダムアクセスポイント(RAP:Random Access Pint)から始まるものであり、一つまたは複数のアクセスユニット(AU:Access Unit)を含むものである。具体的には、例えば、一つのGOP(Group Of Picture)のピクチャが、一つのMPUの構成となることがある。このMPUは、アセット別に定義されるものとなっている。したがって、ビデオのアセットからはビデオデータのみを含むビデオのMPUが作成され、オーディオのアセットからはオーディオデータのみを含むオーディオのMPUが作成される。
 「T」の1ビットフラグ情報は、タイムドメディア(Timed Media)を伝送するか、ノンタイムドメディア(Non-Timed Media)を伝送するかを示す。“1”はタイムドメディアを示し、“0”はノンタイムドメディアを示す。この実施の形態では、タイムドメディア(Timed Media)の伝送を想定している。
 「f_i」の2ビットフィールドは、「DU payload」のフィールドに、整数個のデータユニット(DU:Data Unit)が入っているか、データユニットが断片化されて得られたフラグメント(Fragment)の最初(first)、中間、最後(last)のいずれが入っているかを示す。“0”は整数個のデータユニットが入っていることを示し、“1”は最初のフラグメントが入っていることを示し、“2”は中間のフラグメントが入っていることを示し、“3”は最後のフラグメントが入っていることを示す。
 「A」の1ビットフラグ情報は、「DU payload」のフィールドに、複数個のデータユニットが入っているか否かを示す。“1”は入っていることを示し、“0”が入っていないことを示す。「frag_counter」の8ビットフィールドは、「f_i」が1~3であるとき、何番目のフラグメントであるかを示す。
 「MPU_sequence_number」の32ビットフィールドは、MPUの順番を示す番号であり、MPUを識別する情報である。例えば、1つのGOPが1つのMPUを構成する場合、あるGOPの「MPU_sequence_number」が「i」であるとき、次のGOPの「MPU_sequence_number」は「i+1」となる。
 この「MPU_sequence_number」のフィールドの後に、「DU_length」、「DU_header」、「DU_payload」の各フィールドが配置される。「DU_length」の16ビットフィールドは、上述の「A=0」である場合、つまり「DU payload」のフィールドに複数個のデータユニットが入っていない場合は存在しない。また、「DU_header」のフィールドは、“FT=0/1”である場合、つまり「MPU metadata」や「Movie Fragment metadata」を含む場合は存在しない。
 図6(b)は、「DU_header」の構成例(Syntax)を示している。なお、この例は、「T=1」の場合、つまりタイムドメディア(Timed Media)を伝送する場合を示している。「movie_fragment_sequence_number」の32ビットフィールドは、MFU単位でのシーケンス番号を示す。例えば、Iピクチャを分割したとき、その一つ一つがMFUとなる。「sample_number」の32ビットフィールドは、例えばビデオの場合はピクチャ単位の番号を示す。「offset」の32ビットフィールドは、例えばビデオの場合はピクチャの先頭からのオフセット値(バイト値)を示す。
 MMT方式では、ビデオなどの伝送メディアを、フラグメント化されたISOBMFF(ISO Base Media File Format)に基づいたコンテンツフォーマットで伝送する。図7は、一つのGOPのビデオデータを送るときのMMTファイル(MMT file)とMMTPペイロード(MMTP payload)との対応関係の一例を示している。
 MMTファイルの構成は、基本的には、MP4のファイル構成とほぼ同等である。最初に“ftyp”のボックス(Box)がある。続いて、MMT独自の“mmpu”のボックスがある。続いて、ファイル全体のメタデータとしての“moov”のボックスがある。
 続いて、ムービーフラグメント(Movie Fragment)がある。このムービーフラグメントは、制御情報が入る“moof”ボックスと、ビデオの符号化データが入る“mdat”ボックスからなる。ここでは、一つのGOPが一つのMPUの構成となることを想定しているので、ムービーフラグメントは一組だけ存在する。
 “ftyp”,“mmpu”,“moov”の各ボックスのメタデータは、「MPU metadata」として、一つのMMTパケットで伝送される。この場合、“FT=0”である。“moof”ボックスのメタデータは、「Movie Fragment metadata」として、一つのMMTパケットで伝送される。この場合、“FT=1”である。“mdat”ボックスに含まれるビデオの符号化データは、「MFU」に断片化され、それぞれが一つのMMTパケットで伝送される。この場合、“FT=2”である。
 次に、MPT(MMT Package Table)について説明する。MMTパケットには、上述したように、ペイロードに、シグナリングメッセージ(Signaling message)を含むMMTパケットも存在する。このシグナリングメッセージの一つとして、MPTを含むPAメッセージ(Package Access Message)がある。MPTは、一つの放送サービスがどのようなコンポーネント(アセット)で構成されているかを示す。
 図8は、PAメッセージ(Package Access Message)およびMPテーブル(MPT:MMT Package Table)の構成例を示している。また、図9は、PAメッセージの主要なパラメータの説明を示し、図10は、MPテーブルの主要なパラメータの説明を示している。
 「message_id」は、各種シグナリング情報において、PAメッセージを識別する固定値である。「version」は、PAメッセージのバージョンを示す8ビット整数値である。例えば、MPテーブルを構成する一部のパラメータでも更新した場合には、+1インクリメントされる。「length」は、このフィールドの直後からカウントされる、PAメッセージのサイズを示すバイト数である。
 「extension」のフィールドには、ペイロード(Payload)のフィールドに配置されるテーブルのインデックス情報が配置される。このフィールドには、「table_id」、「table_version」、「table_length」の各フィールドが、テーブル数だけ配置される。「table_id」は、テーブルを識別する固定値である。「table_version」は、テーブルのバージョンを示す。「table_length」は、テーブルのサイズを示すバイト数である。
 PAメッセージのペイロード(Payload)のフィールドには、MPTと、所定数のその他のテーブル(Other table)が配置される。以下、MPTの構成について説明する。
 「table_id」は、各種シグナリング情報において、MPテーブルを識別する固定値である。「version」は、MPテーブルのバージョンを示す8ビット整数値である。例えば、MPテーブルを構成する一部のパラメータでも更新した場合には、+1インクリメントされる。「length」は、このフィールドの直後からカウントされる、MPテーブルのサイズを示すバイト数である。
 「pack_id」は、放送信号で伝送される全ての信号、ファイルを構成要素とする全体のパッケージとしての識別情報である。この識別情報は、テキスト情報である。「pack_id_len」は、そのテキスト情報のサイズ(バイト数)を示す。「MPT_descripors」のフィールドは、パッケージ全体に関わる記述子の格納領域である。「MPT_dsc_len」は、そのフィールドのサイズ(バイト数)を示す。
 「num_of_asset」は、パッケージを構成する要素としてのアセット(信号、ファイルト)の数を示す。この数分だけ、以下のアセットループが配置される。「asset_id」は、アセットをユニークに識別する情報(アセットID)である。この識別情報は、テキスト情報である。「asset_id_len」は、そのテキスト情報のサイズ(バイト数)を示す。「gen_loc_info」は、アセットの取得先のロケーションを示す情報である。
 「asset_descriptors」のフィールドは、アセットに関わる記述子の格納領域である。「asset_dsc_len」は、そのフィールドのサイズ(バイト数)を示す。この「asset_descriptors」のフィールドに格納される記述子として、MPUタイムスタンプ・デスクリプタ(MPU_timestamp_descriptor)がある。このデスクリプタには、MPUの先頭の提示単位の提示時刻が記述される。
 図11は、MPUタイムスタンプ・デスクリプタの構造例(Syntax)を示している。「descriptor_tag」の16ビットフィールドは、デスクリプタタイプを示す。ここでは、MPUタイムスタンプ・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。
 そして、MPUの個数分だけ、「MPU_sequence_number」と、「MPU_presentation_time」の組が存在する。「MPU_sequence_number」の32ビットフィールドは、上述したように、MPUの順番を示す番号であり、MPUを識別する情報である。「MPU_presentation_time」の64ビットフィールドは、MPUの先頭の提示単位の提示時刻を示す。例えば、MPU=GOPである場合、この提示時刻は、GOPの先頭のピクチャの提示時刻を示す。
 図12は、MMT方式の伝送順の一例を示している。図示では、一つのGOPのビデオデータからなるMPUを伝送する例を示している。最初に、MPTを含むシグナリングメッセージをペイロードに持つMMTパケットが伝送される。このMPTには、上述したMPUタイムスタンプ・デスクリプタが挿入される。エンコーダでエンコードされる際に、GOPの先頭のピクチャの提示時刻が割出され、その提示時刻がMPUタイムスタンプ・デスクリプタに記述される。
 このMPTを含むシグナリングメッセージをペイロードに持つMMTパケットが伝送された後に、GOPをペイロードに持つMMTパケットが伝送される。この場合、GOPが断片化されて、MFUの単位で伝送される。MFUの前にMMTペイロードヘッダ(MMT payload header)が付加されてMMTPペイロードが構成される。そして、このMMTPペイロード全体がMMTパケットのペイロードデータとなる。
 このとき、「MPU metadata」はGOPのデータの前に伝送されるが、「Movie fragment metadata」は、GOPのデータの後に伝送される。この「Movie fragment metadata」には、GOPの各ピクチャのデコード時刻(DT:Decoding time)、提示時刻(PT:presentation time)を算出するためのメタデータが含まれる。基本的に、GOPのデータをエンコードした後でないと、GOPの各ピクチャのDT,PTを算出するための情報が得られない。そのため、「Movie fragment metadata」は、GOPのデータの後に伝送される。
 デコーダでは、「Movie fragment metadata」を用いてGOPの各ピクチャのDT,PTを算出する場合、GOPのデータを、「Movie fragment metadata」が受信されるまで遅延することが必要となる。したがって、送信側で、GOPのデータを遅延させなくとも、受信側で遅延させることになる。
 [DT/PT情報の伝送]
 この実施の形態においては、伝送メディアの提示単位(サンプル)毎のデコード時刻DT、提示時刻PTを得るための時刻取得情報(DT/PT情報)を、ペイロードにMPU(Media Processing Unit)を含むMMTパケット、あるいはペイロードにシグナリングメッセージ(Signaling message)を含むMMTパケットに挿入して伝送する。これにより、受信側でデコード時刻および提示時刻による処理を行うための遅延を低く抑えることが可能となる。
 「MMTパケットのMMT拡張ヘッダの利用」
 最初に、MPU(MFU)を含むMMTパケットのMMT拡張ヘッダ(図5参照)を利用する場合について説明する。この場合、各サンプル(提示単位)のDT/PT情報を、そのサンプルを含むMMTパケットの拡張ヘッダ(header_extension)に配置する。
 具体的には、DT/PT情報を示す特定のタイプ情報を有する拡張ヘッダに、DT/PT情報が配置される。この場合、拡張ヘッダには、DT/PT情報として、提示単位のデコード時刻および提示時刻を、上述のMPTのMPUタイムスタンプ・デスクリプタに記述されるMPUの先頭の提示単位の提示時刻を参照して算出するための時間長情報が挿入される。
 この時間長情報としては、例えば、以下の第1、第2の形態が考えられる。第1の形態の時間長情報について説明する。この第1の形態のオフセット情報は、最初の提示単位の提示時刻からのオフセット時間長で示したデコード時刻情報と、デコード時刻からのオフセット時間長で示した提示時刻情報とからなる。
 図13は、第1の形態の時間長情報が挿入される拡張ヘッダ(header_extension)の構造例(syntax)を示している。図14は、その構造例における主要な情報の内容(Semantics)を示している。「type」の16ビットフィールドは、DT/PT情報が配置された拡張ヘッダ、つまり「dt_pt_shortcut_extension」であることを示す。
 「length」の16ビットフィールドは、これ以降の拡張ヘッダのバイトサイズを示す。ここでは、「4」の固定値となる。「PU_start_indicator」の1ビットフラグ情報は、当該MMTパケットに、サンプル(提示単位)の先頭が含まれているか否かを示す。“1”は含まれていることを示し、“0”は含まれていないことを示す。
 「decoding_time_offset」の17ビットフィールドは、最初の提示単位の提示時刻からのオフセット時間長で示したデコード時刻情報を示す。つまり、このフィールドは、当該MMTパケットに含まれるビデオ、オーディ等のサンプル(提示単位)に関し、そのサンプルのデコード時刻(Decoding time)を、MPUタイムスタンプ・デスクリプタの当該サンプルを含むMPUの「MPU_presentation_time」からのオフセット時間長で示す。
 この場合、例えば、1/(2**16)秒単位の値で示される。この場合、約65KHzの精度となる。なお、この場合、「decoding_time_offset」は正負の符号ビットを持つので、例えば、GOPが15ピクチャからなり、その時間長が0.5秒であるときには、「decoding_time_offset」の17ビットフィールドにより2GOP分の時間幅をカバー可能となる。なお、例えば、精度を上げて、1/(2**17)秒単位の値で示される場合には、1GOP分の時間幅をカバー可能となる。
 「presentation_time_offset」の14ビットフィールドは、デコード時刻からのオフセット時間長で示した提示時刻情報を示す。つまり、当該MMTパケットに含まれるビデオ、オーディ等のサンプル(提示単位)に関し、同一サンプルのデコード時刻(Decoding time)と提示時刻(Presentation time)の時間長を示す。この場合、例えば、1/(2**16)秒単位の値で示される。
 図15は、受信側におけるデコード時刻DTおよび提示時刻PTの算出方法を示している。図示のように、シグナリングメッセージとしてのMPTに含まれるMPUタイムスタンプ・デスクリプタの「MPU_presentation_time」のフィールドから、最初の提示単位の提示時刻mptが取得される。また、MMTパケットの拡張ヘッダの「decoding_time_offset」、「presentation_time_offset」のフィールドから、提示単位(サンプル)毎に、デコード時刻情報dto、提示時刻情報ptoが取得される。
 受信側では、これらの取得情報に基づいて、各提示単位のデコード時刻DTおよび提示時刻PTは、図16(b)に示すように、以下の(1)式、(2)式で、算出される。
 DT=mpt+dto   ・・・(1)
 PT=DT+pto    ・・・(2)
 そして、受信側では、図16(a)に示すように、後述するように送信側から送られてきた時刻情報に基づいて生成された時刻情報(NTP)と、算出されたデコード時刻DTおよび提示時刻PTとにより、伝送メディアの各提示単位のデコードおよび提示の制御が行われる。
 次に、第2の形態の時間長情報について説明する。この第2の形態の時間長情報は、最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、2番目以降の各提示単位の前の提示単位のデコード時刻からのオフセット時間長で示したデコード時刻情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる。
 図17は、第2の形態の時間長情報が挿入される拡張ヘッダ(header_extension)の構造例(syntax)を示している。図18は、その構造例における主要な情報の内容(Semantics)を示している。「type」の16ビットフィールドは、DT/PT情報が配置された拡張ヘッダ、つまり「dt_pt_shortcut_extension」であることを示す。
 「length」の16ビットフィールドは、これ以降の拡張ヘッダのバイトサイズを示す。ここでは、「4」の固定値となる。「PU_start_indicator」の1ビットフラグ情報は、当該MMTパケットに、サンプル(提示単位)の先頭が含まれているか否かを示す。“1”は含まれていることを示し、“0”は含まれていないことを示す。
 「decoding_time_offset」の16ビットフィールドは、最初の提示単位に関しては、その提示時刻からのオフセット時間長で示したデコード時刻情報を示す。また、2番目以降の各提示単位に関しては、その前の提示単位のデコード時刻からのオフセット時間長で示したデコード時刻情報を示す。
 つまり、当該MMTパケットに含まれるビデオ、オーディ等のサンプル(提示単位)に関し、そのサンプルのデコード時刻(Decoding time)を、直前のサンプルからのオフセット時間長で示す。ただし、最初のサンプルの場合のみ、MPUタイムスタンプ・デスクリプタの当該サンプルを含むMPUの「MPU_presentation_time」からのオフセット時間長で示す。
 この場合、例えば、1/(2**16)秒単位の値で示される。この場合、約65KHzの精度となる。なお、この場合、「decoding_time_offset」は正負の符号ビットを持つので、例えば、GOPが15ピクチャからなり、その時間長が0.5秒であるときには、「decoding_time_offset」の16ビットフィールドにより1GOP分の時間幅をカバー可能となる。なお、第2の形態のオフセット情報の場合、「decoding_time_offset」の値は、第1の形態のオフセット情報と異なり、それほど大きくならないと予想される。そのため、例えば、精度をより上げて、1/(2**18)秒単位の値で示されてもよい。
 「presentation_time_offset」の15ビットフィールドは、デコード時刻からのオフセット時間長で示した提示時刻情報を示す。つまり、当該MMTパケットに含まれるビデオ、オーディ等のサンプル(提示単位)に関し、同一サンプルのデコード時刻(Decoding time)と提示時刻(Presentation time)の時間長を示す。この場合、例えば、1/(2**16)秒単位の値で示される。
 図19は、受信側におけるデコード時刻DTおよび提示時刻PTの算出方法を示している。図示のように、シグナリングメッセージとしてのMPTに含まれるMPUタイムスタンプ・デスクリプタの「MPU_presentation_time」のフィールドから、最初の提示単位の提示時刻mptが取得される。また、MMTパケットの拡張ヘッダの「decoding_time_offset」、「presentation_time_offset」のフィールドから、提示単位(サンプル)毎に、デコード時刻情報dto、提示時刻情報ptoが取得される。
 受信側では、これらの取得情報に基づいて、各提示単位のデコード時刻DTおよび提示時刻PTは、図20(b)に示すように、以下の(3)式、(4)式で、算出される。
 DT=mpt+Σdto   ・・・(3)
 PT=DT+pto    ・・・(4)
 そして、受信側では、図20(a)に示すように、後述するように送信側から送られてきた時刻情報に基づいて生成された時刻情報(NTP)と、算出されたデコード時刻DTおよび提示時刻PTとにより、伝送メディアの各提示単位のデコードおよび提示の制御が行われる。
 「拡張ヘッダの伝送頻度」
 次に、拡張ヘッダ(header_extension)の伝送頻度に関し、例えば、以下の第1、第2の形態が考えられる。第1の形態では、図21に示すように、MMTパケットには、サンプル(提示単位)の先頭が含まれる場合にのみ、MMT拡張ヘッダが設けられる。この場合、発生情報量を抑え、帯域節約を図ることが可能となる。
 第2の形態では、図22に示すように、MMTパケットには、常に、MMT拡張ヘッダが設けられる。この場合、サンプル(提示単位)の先頭が含まれる場合にのみ、「PU_start_indicator = 1」とされる。この場合、ヘッダ情報量の乱れを抑えることができ、受信側におけるヘッダ処理の単純化が可能となる。
 上述したように、MMTパケットのMMT拡張ヘッダにDT/PT情報を挿入して伝送することで、MPUのデータを遅延させることなく、各提示単位(サンプル)のデータの受信に対応して、その提示単位のデコード時刻および提示時刻を直ちに算出できる。そのため、受信側でデコード時刻および提示時刻による処理を行うための遅延を低く抑えることが可能となる。
 「MPU拡張タイムスタンプ・デスクリプタの利用」
 次に、新規定義するMPU拡張タイムスタンプ・デスクリプタ(MPU_extended_timestamp_descriptor)を利用する場合について説明する。この場合、MPU拡張タイムスタンプ・デスクリプタに、MPUの各サンプル(提示単位)のDT/PT情報を配置する。
 このMPU拡張タイムスタンプ・デスクリプタは、MPT(図8参照)の「asset_descriptors」のフィールドに格納される。このMPU拡張タイムスタンプ・デスクリプタに含まれる各サンプル(提示単位)のDT/PT情報として、上述のMMTパケットのMMT拡張ヘッダに挿入される場合で説明したと同様に、第1、第2の形態が考えられる。
 すなわち、第1の形態の時間長情報は、最初の提示単位の提示時刻からのオフセット時間長で示したデコード時刻情報と、デコード時刻からのオフセット時間長で示した提示時刻情報とからなる。また、第2の形態の時間長情報は、最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、2番目以降の各提示単位の前の提示単位のデコード時刻からのオフセット時間長で示したデコード時刻情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる。
 図23は、MPU拡張タイムスタンプ・デスクリプタの構造例(Syntax)を示している。「descriptor_tag」の16ビットフィールドは、デスクリプタタイプを示す。ここでは、MPU拡張タイムスタンプ・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。
 MPUの個数分だけ、「MPU_sequence_number」と「number_of_PU」が存在する。「MPU_sequence_number」の32ビットフィールドは、MPUの順番を示す番号であり、MPUを識別する情報である。「number_of_PU」の16ビットフィールドは、MPUに含まれるサンプル(提示単位)の個数を示す。また、このサンプル(提示単位)の個数分だけ、「presentation_time_offset」の16ビットフィールドと、「decoding_time_offset」の16ビットフィールドの組が存在する。
 「decoding_time_offset」、「presentation_time_offset」のフィールドには、詳細説明は省略するが、上述したMMTパケットのMMT拡張ヘッダ(図13、図17参照)の「decoding_time_offset」、「presentation_time_offset」のフィールドに配置されると同様のデコード時刻情報、提示時刻情報が配置される。
 図24は、受信側におけるデコード時刻DTおよび提示時刻PTの算出方法を示している。この例は、DT/PT情報としての時間長情報が第2の形態の時間長情報である場合を示している。
 図示のように、シグナリングメッセージとしてのMPTに含まれるMPUタイムスタンプ・デスクリプタの「MPU_presentation_time」のフィールドから、最初の提示単位の提示時刻mptが取得される。また、シグナリングメッセージとしてのMPTに含まれるMPU拡張タイムスタンプ・デスクリプタの「decoding_time_offset」、「presentation_time_offset」のフィールドから、各提示単位(サンプル)のデコード時刻情報dto、提示時刻情報ptoが取得される。
 受信側では、これらの取得情報に基づいて、各提示単位のデコード時刻DTおよび提示時刻PTが、上述の(3)式、(4)式で、算出される(図20(b)参照)。そして、受信側では、後述するように送信側から送られてきた時刻情報に基づいて生成された時刻情報(NTP)と、算出されたデコード時刻DTおよび提示時刻PTとにより、伝送メディアの各提示単位のデコードおよび提示の制御が行われる(図20(a)参照)。
 また、MPU拡張タイムスタンプ・デスクリプタに含まれる各サンプル(提示単位)のDT/PT情報として、上述のMMTパケットのMMT拡張ヘッダに挿入される場合では説明していない第3の形態の時間長情報も考えられる。すなわち、第3の時間長情報は、最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、各提示単位の時間長を示す情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる。
 図25、図26は、MPU拡張タイムスタンプ・デスクリプタの構造例(Syntax)を示している。「descriptor_tag」の16ビットフィールドは、デスクリプタタイプを示す。ここでは、MPU拡張タイムスタンプ・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。
 「timescale_flg」の1ビットフィールドは、時間単位指定を記述するか否かを示すフラグである。時間単位指定を記述する場合には、“1”に設定される。なお、あらかじめ規定される時間単位を用いる場合には、“0”に設定される。「PU_duration_description_type」の2ビットフィールドは、提示単位時間長の記述タイプを示す。あらかじめ規定される固定値の場合は“0”であり、固定値を指定する場合は“1”であり、提示単位毎に指定する場合は“2”である。
 「timescale_flg = 1」であるとき、「timescale」の32ビットフィールドが存在する。このフィールドは、本デスクリプタにおける時間長の単位を示す値であり、90k、2**nなどの値である。1秒を本値で割った時間長を単位とする。なお、32ビットは大きいので、例えば8ビットとして、“1”は90k、“2”は2**16を表すなど、モード的に値を表すようにすることも考えられる。
 「PU_duration_description_type = 1」であるとき、「default_PU_duration」の16ビットフィールドが存在する。このフィールドは、本デスクリプタの有効範囲における提示単位時間長の固定値であるデフォルト提示単位時間長を上記時間単位に基づき示す。この提示単位時間長は、「PU_duration_description_type = 1」における各提示単位の時間長を示す情報である。なお、「PU_duration_description_type = 0」の場合は各提示単位の時間長は規定される固定値であるので、「PU_duration_description_type = 0」自体が各提示単位の時間長を示す情報ということになる。
 また、MPUの個数分だけ、「MPU_sequence_number」、「SAP_type」、「initial_decoding_time_offset」、「number_of_PU」の各フィールドが存在する。「MPU_sequence_number」の32ビットフィールドは、MPUの順番を示す番号であり、MPUを識別する情報である。
 「SAP_type」の3ビットフィールドは、MPUとしてのGOPの構成と独立性を示す。例えば、「SAP_type = 1」は、Iピクチャから始まり、かつクローズドGOPであることを示す。また、例えば、「SAP_type = 2」は、Bピクチャから始まり、かつクローズドGOPであることを示す。また、例えば、「SAP_type = 3」は、オープンGOPであることを示す。
 「initial_decoding_time_offset」の16ビットフィールドは、最初に伝送される提示単位のデコード時刻を起点からのオフセット時間で上記時間単位に基づき示す、初期デコード時間オフセットである。この初期デコード時間オフセットは、最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報である。
 「number_of_PU」の8ビットフィールドは、MPUに含まれるサンプル(提示単位)の個数を示す。また、このサンプルの個数分だけ、「decoding_presentation_time_offset」の16ビットフィールドが存在する。このフィールドは、同一提示単位のデコード時刻から提示時刻までの時間長を上記時間単位に基づき示す、デコード・提示時間オフセットである。このデコード・提示時間オフセットは、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報である。
 「PU_duration_description_type = 2」であるとき、MPUに含まれるサンプル(提示単位)の個数分だけ、「PU_duration」の16ビットフィールドが存在する。このフィールドは、サンプル(提示単位)毎の提示単位時間長を上記時間単位に基づき示す。この提示単位時間長は、「PU_duration_description_type = 2」における各提示単位の時間長を示す情報である。
 図27は、受信側におけるデコード時刻DTおよび提示時刻PTの算出方法を示している。図示のように、シグナリングメッセージとしてのMPTに含まれるMPUタイムスタンプ・デスクリプタの「MPU_presentation_time」のフィールドから、最初の提示単位の提示時刻mptが取得される。
 また、シグナリングメッセージとしてのMPTに含まれるMPU拡張タイムスタンプ・デスクリプタの「initial_decoding_time_offset」のフィールドから、最初に伝送される提示単位(サンプル)のデコード時刻情報idtoが取得される。また、このデスクリプタの「decoding_presentation_time_offset」のフィールドから各提示単位(サンプル)の提示時刻情報dptoが取得される。
 さらに、このデスクリプタの記述情報に基づいて各提示単位の時間長を示す情報PUdが取得される。すなわち、「PU_duration_description_type = 0」の場合、各提示単位の時間長を示す情報PUdは、あらかじめ規定される固定値とされる。また、「PU_duration_description_type = 1」の場合、各提示単位の時間長を示す情報PUdは、「default_PU_duration」のフィールドから固定値として取得される。さらに、「PU_duration_description_type = 2」の場合、各提示単位の時間長を示す情報PUdは、「PU_duration」のフィールドから取得される。
 受信側では、これらの取得情報に基づいて、各提示単位のデコード時刻DTkよび提示時刻PTkが、図28(b)に示すように、以下の(5)式、(6)式、(7)式で、算出される。
 DTk=mpt+((k-1)*PUd-idto)*2/ts   ・・・(5)
 DTk=mpt+(ΣPUdi-idto)*2/ts       ・・・(6)
 PTk=DTk+dptok*2/ts    ・・・(7)
 なお、(5)式は、「PU_duration_description_type = 0/1」の場合における各提示単位のデコード時刻DTkの算出式である。また、(6)式は「PU_duration_description_type = 2」の場合における各提示単位のデコード時刻DTkの算出式である。ここで、「ΣPudi」の項は、k=1の場合は0となり、k>1の場合はi=1からk-1までの和となる。
 また、各算出式は、DTk,PTkを、MPUタイムスタンプ・デスクリプタの「MPU_presentation_time」のフィールドから取得される最初の提示単位の提示時刻mptの単位、すなわち1/(2**N)秒に合致させた状態で得るようになっている(図28(a)参照)。各式において、「2/ts」の項では、「timescale」で示される単位をmptの単位に合わせるための換算を行っている。
 受信側では、後述するように送信側から送られてきた時刻情報に基づいて生成された時刻情報(NTP)と、上述のように算出されたデコード時刻DTkおよび提示時刻PTkとにより、伝送メディアの各提示単位のデコードおよび提示の制御が行われる(図28(a)参照)。
 次に、MPU拡張タイムスタンプ・デスクリプタの伝送順について説明する。MPUタイムスタンプ・デスクリプタがMPUのAVデータの前に配置されるのに対し、MPU拡張タイムスタンプ・デスクリプタは、図29に示すように、AV信号のエンコーダバッファ(Enc Buffer)入力以前のDT/PT決定時点で即時にMPTに配置されて放送ストリームで伝送される。
 AVデータはバッファでGOP分以上の遅延があるとすると、MPU拡張タイムスタンプ・デスクリプタは上記遅延がないので、デコーダバッファ(Dec Buffer)出力時点では確実にDT/PT情報を受信機で利用可能な状態とすることが可能である。
 上述したように、MPU拡張タイムスタンプ・デスクリプタにDT/PT情報を挿入して伝送することで、MPUのデータを遅延させることなく、各提示単位(サンプル)のデータの受信に対応して、その提示単位のデコード時刻および提示時刻を直ちに算出できる。そのため、受信側でデコード時刻および提示時刻による処理を行うための遅延を低く抑えることが可能となる。
 図30は、放送送出システム100の構成例を示している。この放送送出システム100は、NTPクロック生成部(時計部)111と、信号送出部112と、ビデオエンコーダ113と、オーディオエンコーダ114と、MMTシグナリングエンコード部115を有している。また、この放送送出システム100は、TLVシグナリング発生部116と、N個のIPサービス・マルチプレクサ117-1~117-Nと、TLV・マルチプレクサ118と、変調/送信部119を有している。
 NTPクロック生成部(時計部)111では、外部から取得されたNTP時刻情報に同期したNTP時刻情報が生成され、このNTP時刻情報を含むIPパケットがIPサービス・マルチプレクサ117-1に送られる。信号送出部112は、例えば、TV局のスタジオとか、VTR等の記録再生機であり、伝送メディアとしてのビデオ、オーディオなどのベースバンド信号を送出するシステムである。
 ビデオエンコーダ113では、信号送出部112から送出されるビデオ信号が符号化され、さらにパケット化されて、ビデオのMMTパケットを含むIPパケットがIPサービス・マルチプレクサ117-1に送られる。オーディオエンコーダ114では、信号送出部112から送出されるオーディオ信号が符号化され、さらにパケット化されて、オーディオのMMTパケットを含むIPパケットがIPサービス・マルチプレクサ117-1に送られる。
 ここで、上述したようにMMTパケットのMMT拡張ヘッダを利用する場合には、ビデオのMMTパケットやオーディオのMMTパケットに、そのパケットに含まれるサンプル(提示単位)のデコード時刻(DT)、提示時刻(PT)を得るための時刻取得情報(DT/PT情報)を持つ拡張ヘッダ(header_extension)が配置される。
 MMTシグナリングエンコード部115では、シグナリングメッセージが発生され、ペイロード部にこのシグナリングメッセージが配置されたMMTパケットを含むIPパケットがIPサービス・マルチプレクサ117-1に送られる。このシグナリングメッセージには、MPT(MMT Package Table)が含まれる。このMPTには、MPUタイムスタンプ・デスクリプタ(MPU_timestamp_descriptor)が挿入される。ここで、上述したように新規定義するMPU拡張タイムスタンプ・デスクリプタ(MPU_extended_timestamp_descriptor)を利用する場合には、このMPTに、MPU拡張タイムスタンプ・デスクリプタがさらに挿入される。
 IPサービス・マルチプレクサ117-1では、各エンコーダから送られてくるIPパケットの時分割多重化が行われる。この際、IPサービス・マルチプレクサ117-1では、各IPパケットにUDPヘッダおよびTLVヘッダが付加されて、TLVパケットとされる。IPサービス・マルチプレクサ117-1では、一つのトランスポンダの中に入れる一つのチャネル部分が構成される。IPサービス・マルチプレクサ117-2~117-Nでは、IPサービス・マルチプレクサ117-1と同様の機能を持ち、その一つのトランスポンダの中にいれる他のチャネル部分が構成される。
 TLVシグナリング発生部116では、シグナリング(Signaling)情報が発生され、このシグナリング(Signaling)情報をペイロード部に配置するTLVパケットが生成される。TLV・マルチプレクサ118では、IPサービス・マルチプレクサ117-1~117-NおよびTLVシグナリング発生部116で生成されるTLVパケットが多重化されて、MMT方式の放送ストリーム(図4(e)参照)が生成される。変調/送信部119では、TLV・マルチプレクサ118で生成されるMMT方式の放送ストリームに対して、RF変調処理が行われて、RF伝送路に送出される。
 図31は、受信機200の構成例を示している。この受信機200は、チューナ/復調部201と、デマルチプレクサ202と、NTPクロック再生部(時計部)203と、システム制御部204とを有している。また、この受信機200は、ビデオ制御部205と、ビデオデコードバッファ206と、ビデオデコーダ207と、オーディオ制御部208と、オーディオデコードバッファ209と、オーディオデコーダ210を有している。
 チューナ/復調部201では、図示しないアンテナからの中間周波信号が受信され、復調処理が行われて、MMT方式の放送ストリーム(図4(e)参照)が得られる。デマルチプレクサ202では、この放送ストリームに対して、デマルチプレクス処理およびデパケット化処理が行われて、NTP時刻情報、シグナリング情報、さらにはビデオ、オーディオの符号化データ、ビデオ、オーディオのDT/PT情報が取り出される。
 デマルチプレクサ202では、MMT-SIフィルタ部202aでフィルタリングされてMMTのシグナリング情報(シグナリングメッセージ)が取り出され、システム制御部204に送られる。また、デマルチプレクサ202では、TLV-SIフィルタ部202bでフィルタリングされてTLVシグナリング情報を取り出され、システム制御部204に送られる。
 デマルチプレクサ202で取り出されるNTP時刻情報は、NTPクロック再生部203に送られる。NTPクロック再生部203では、そのNTP時刻情報に同期したNTP時刻情報が再生される。このように再生されたNTP時刻情報は、ビデオ制御部205およびオーディオ制御部208に送られる。
 デマルチプレクサ202で取り出されるビデオの符号化データは、ビデオデコードバッファ206に一時的に蓄積される。また、デマルチプレクサ202で取り出されるオーディオの符号化データは、オーディオデコードバッファ209に一時的に蓄積される。
 上述したようにMMTパケットのMMT拡張ヘッダを利用する場合、デマルチプレクサ202では、ビデオ、オーディオのMMTパケットのMMT拡張ヘッダからビデオ、オーディオのDT/PT情報が取り出され、それぞれ、ビデオ制御部205、オーディオ制御部208に送られる。
 一方、上述したようにMPU拡張タイムスタンプ・デスクリプタを利用する場合、システム制御部204では、MPTのビデオ、オーディオのMPU拡張タイムスタンプ・デスクリプタ(図23あるいは図25、図26参照)から、ビデオ、オーディオのDT/PT情報が取り出され、それぞれ、ビデオ制御部205、オーディオ制御部208に送られる。
 また、システム制御部204では、MPTのビデオ、オーディオのMPUタイムスタンプ・デスクリプタ(図11参照)から、ビデオ、オーディオのMPUの最初のサンプル(提示単位)の提示時刻が取り出され、それぞれ、ビデオ制御部205、オーディオ制御部208に送られる。
 ビデオ制御部205では、MPUの最初のサンプル(提示単位)の提示時刻と、MPUの各サンプル(提示単位)のDT/PT情報に基づいて、各サンプル(提示単位)のデコード時刻DTおよび提示時刻PTが求められる(上述の(1)式、(2)式、あるいは(3)式、(4)式、あるいは(5)式、(6)式、(7)式参照)。
 ビデオ制御部205では、ビデオデコーダ207に対して、ビデオデコードバッファ206に蓄積されている各サンプル(提示単位)の符号化ビデオに対する、デコードおよび提示の指示が行われる。この場合、ビデオ制御部205では、それらの指示が、NTPクロック再生部203から供給されるNTP時刻情報が参照され、上述したように求められたデコード時刻DTおよび提示時刻PTのタイミングで行われる。
 ビデオデコーダ207では、ビデオ制御部205からの指示に基づいて、ビデオデコードバッファ206に蓄積されている各サンプル(提示単位)の符号化ビデオのデコード処理が行われる。そして、このビデオデコーダ207から、各サンプル(提示単位)のビデオが提示時刻PTのタイミングで順次出力される。
 また、オーディオ制御部208では、MPUの最初のサンプル(提示単位)の提示時刻と、MPUの各サンプル(提示単位)のDT/PT情報に基づいて、各サンプル(提示単位)のデコード時刻DTおよび提示時刻PTが求められる(上述の(1)式、(2)式、あるいは(3)式、(4)式、あるいは(5)式、(6)式、(7)式参照)。
 オーディオ制御部208では、オーディオデコーダ210に対して、オーディオデコードバッファ209に蓄積されている各サンプル(提示単位)の符号化オーディオに対する、デコードおよび提示の指示が行われる。この場合、オーディオ制御部208では、それらの指示が、NTPクロック再生部203から供給されるNTP時刻情報が参照され、上述したように求められたデコード時刻DTおよび提示時刻PTのタイミングで行われる。
 オーディオデコーダ210では、オーディオ制御部208からの指示に基づいて、オーディオデコードバッファ209に蓄積されている各サンプル(提示単位)の符号化オーディオのデコード処理が行われる。そして、このオーディオデコーダ210から、各サンプル(提示単位)のオーディオが提示時刻PTのタイミングで順次出力される。
 ここで、NTP(Network Time Protocol)について説明する。NTPは、ITU(International Telecommunication Union)でインターネットの標準として規定されているプロトコルである。パーソナルコンピュータ、スマートフォンなどのクライアントからNTPプロトコルによりNTPサーバにアクセスすることで、時刻情報を得ることができる。
 図32(a)に示すように、NTPサーバには、階層(Stratum)が存在し、番号が若いほど高精度となっている。例えば、階層1(Stratum 1)のNTPサーバは原子時計と直結していて、時刻情報の誤差は1μs未満である。NTPサーバが提供する時刻情報は、1900年1月1日からの積算秒数(UTC:Coordinated Universal Time)で表現されている。
 図32(b)は、NTPサーバが提供する時刻情報のフォーマット(NTP time stamp long format)を示している。この時刻情報は、64ビットフォーマットであり、上位32ビットはUTCの積算秒数を示し、下位32ビットは秒未満を示している。図32(c)は、NTPサーバが提供する時刻情報のフォーマット(NTP time stamp short format)を示している。この時刻情報は、32ビットフォーマットであり、上位16ビットはUTCの積算秒数を示し、下位16ビットは秒未満を示している。
 パーソナルコンピュータ、スマートフォンなどのクライアントからNTPプロトコルでNTPサーバにアクセスして時刻情報を取得するときには、どの階層のNTPサーバにサクセスするか不明である。そのため、複数のNTPサーバに同期アクセスして平均値を取ることで、ばらつきを抑え、より正確な時刻情報を得るようになされる。
 図33、図34は、MMT方式におけるクロック同期・提示同期方式を示している。図33は、放送送出システム100側の構成例を示している。図34は、受信機200側の構成例を示している。
 最初に、図33を参照して、放送送出システム100側の構成例を説明する。この放送送出システム100は、NTP/IPインタフェース131と、32ビットレジスタ132a,132bを有している。また、この放送送出システム100は、2**24Hzのクロック(システムクロック)を生成する電圧制御発振器133と、時計部を構成する8ビットカウンタ134a、16ビットカウンタ134bおよび32ビットカウンタ134cと、比較器135を有している。また、この放送送出システム100は、パケット化部136と、ビデオエンコード処理部137と、パケット化部138と、エンコードバッファ139と、ビデオ同期制御部140と、MMTシグナリングエンコード部141と、マルチプレクサ142を有している。
 NTP/IPインタフェース131により、例えば、インターネット経由で図示しないNTPサーバに所定の時間間隔でアクセスされ、64ビットフォーマットの時刻情報(図32(b)参照)が取得される。32ビットレジスタ132a,132bでは、NTP/IPインタフェース131で取得される64ビットフォーマットの時刻情報が保持される。32ビットレジスタ132aには上位32ビットのビットデータが保持され、32ビットレジスタ132bには下位32ビットのビットデータが保持される。32ビットレジスタ132a,132bの保持内容は、NTP/IPインタフェース131で64ビットフォーマットの時刻情報を取得する毎に更新される。
 ここで時刻情報を取得する頻度が十分高い場合にはこのままの構成でよいが、低い場合にはレジスタ132a,132bはNTPサーバの時計を再現するように自動的に時刻を示すカウンタとして継続動作することも考えられる。ここで、取得した時刻情報の下位32ビットを示すレジスタ132bの出力がオール0となった時点で、時刻情報の上位32ビットを示すレジスタ132aの出力を32ビットカウンタ134cの初期値としてセットし、かつ16ビットカウンタ134bと8ビットカウンタ134aをそれぞれオール0にセットする。この設定動作は放送送出システム100が動作開始する1回のみに限定される。
 電圧制御発振器133では、2**24Hzのクロック(システムクロック)が発生される。8ビットカウンタ134aでは、電圧制御発振器133から出力される2**24Hzのクロックがカウントされる。16ビットカウンタ134bでは、8ビットカウンタ134aの桁上げ出力がカウントされる。つまり、この実施の形態では、8ビットカウンタ134aと16ビットカウンタ134bにより、24ビットカウンタが構成されている。
 32ビットカウンタ134cでは、16ビットカウンタ134bの桁上げ出力である1Hzのクロックがカウントされて、秒精度の時刻情報(Regenerated UTC)である32ビットのビット出力が得られる。8ビットカウンタ134a、16ビットカウンタ134bおよび32ビットカウンタ134cの56ビットのビット出力は、初期値からの上記カウンタ動作により、時刻情報としてのシステム・タイム・クロック(STC:System Time Clock)となる。
 比較器135では、32ビットレジスタ132a,132bの保持内容が更新されるタイミングで、上述の56ビットのシステム・タイム・クロックがラッチされ、レジスタ保持内容、つまりNTPサーバから取得された時刻情報(下位8ビットを除く)と比較される。そして、比較器135から電圧制御発振器133に、比較誤差信号が制御信号として供給される。
 電圧制御発振器133、カウンタ134a,134b,134cおよび比較器135により、PLL(Phase Locked Loop)回路が構成される。そのため、電圧制御発振器133では、NTPサーバから取得された64ビットフォーマットの時刻情報に同期した2**24Hzのクロック(システムクロック)が生成される。また、カウンタ134a,134b,134cでは、この2**24Hzのクロックの周波数情報を含み、NTPサーバから取得された64ビットフォーマットの時刻情報に同期した、56ビットの時刻情報が生成される。
 この56ビットの時刻情報は、パケット化部136に供給される。パケット化部136では、この56ビットの時刻情報の下位にオールゼロの8ビットを付加して、64ビットフォーマットの時刻情報(図28(b)参照)とする。そして、このパケット化部136では、この64ビットの時刻情報に基づき、2**24Hzのクロックの周波数情報を持つNTP・クロック・リファレンス(NTP_CR:NTP Clock Reference)を含むIPパケットが生成される。
 ビデオエンコード処理部137では、電圧制御発振器133で得られる2**24Hzのクロックに同期して、ビデオ(ビデオデータ)が符号化される。この場合、2**24Hzのクロックは、適宜、逓倍や分周が行われて、所望の周波数に変換されて使用される。パケット化部138では、符号化後のビデオのエレメンタリストリームが所定の大きさの固まりに分割され、それぞれの固まりをペイロード部に含むMMTパケット(MMT packet)が生成される。このMMTパケットは、エンコードバッファ139を通じてマルチプレクサ142に供給される。
 MMTシグナリングエンコード部141では、シグナリングメッセージが発生され、ペイロード部にこのシグナリングメッセージが配置されたMMTパケットを含むIPパケットがマルチプレクサ142に送られる。
 ビデオ同期制御部140には、カウンタ134a,134b,134cで得られる56ビットの時刻情報が供給される。ビデオ同期制御部140では、ビデオエンコード処理部138でエンコードされるビデオのGOP毎に、先頭のピクチャ(サンプル=提示単位)のエンコードタイミングを基に、そのピクチャの提示時刻(PT:Presentation Time)が求められる。この提示時刻mptは、MMTシグナリング発生部141に供給される。
 MMTシグナリングエンコード部141では、ビデオエンコード処理部138でエンコードされるビデオのGOP毎に、そのピクチャの提示時刻mptを持つMPUタイムスタンプ・デスクリプタ(MPU_timestamp_descriptor)が生成され、このデスクリプタが挿入されたMPT(MMT Package Table)を含むシグナリングメッセージが発生される。
 また、ビデオ同期制御部140では、ビデオエンコード処理部138でエンコードされるビデオのGOP毎に、各ピクチャのエンコードタイミングを基に、上述のDT/PT情報(デコード時刻DT、提示時刻PTを得るための時刻取得情報)が生成される。
 ビデオ同期制御部140で生成されるDT/PT情報は、上述したようにMMTパケットのMMT拡張ヘッダを利用する場合には、パケット化部138に供給される。パケット化部138では、ビデオのMMTパケットに、DT/PT情報を持つMMT拡張ヘッダ(header_extension)が配置される。
 また、ビデオ同期制御部140で生成されるDT/PT情報は、上述したようにMPU拡張タイムスタンプ・デスクリプタ(MPU_extended_timestamp_descriptor)を利用する場合には、MMTシグナリングエンコード部141に供給される。MMTシグナリングエンコード部141では、ビデオエンコード処理部138でエンコードされるビデオのGOP毎に、各ピクチャのDT/PT情報を持つMPU拡張タイムスタンプ・デスクリプタが生成され、このデスクリプタが挿入されたMPT(MMT Package Table)を含むシグナリングメッセージが発生される。
 マルチプレクサ142には、上述したように、NTP・クロック・リファレンスを含むIPパケット、符号化ビデオを含むMMTパケットおよびシグナリングメッセージを含むMMTパケットが供給される。なお、図示は省略されているが、符号化オーディオなどを含むMMTパケットも、符号化ビデオを含むMMTパケットと同様に生成され、マルチプレクサ142に供給される。マルチプレクサ142では、各パケットにさらに必要なヘッダが付加され、MMT方式の放送ストリームが生成される。このMMT方式の放送ストリームが、放送信号として送信される。
 次に、図34を参照して、受信機200側の構成例を説明する。この受信機200は、デマルチプレクサ231と、2**24Hzのクロック(システムクロック)を生成する電圧制御発振器232と、時計を構成する8ビットカウンタ233a、16ビットカウンタ233bおよび32ビットカウント233cと、比較器234を有している。また、この受信機200は、MMTシグナリングデコード部235と、ビデオ同期制御部236と、デパケット化部237と、デコードバッファ238と、ビデオデコード処理部239を有している。ここで、システムクロックを生成する電圧制御発振器232は必ずしも送信システムと同じ周波数である必要はなく、例えば、2**22Hzでも、2**n(nは整数)であればよい。
 デマルチプレクサ231には、受信放送信号であるMMT方式の放送ストリームが供給される。デマルチプレクサ231では、NTP・クロック・リファレンス(NTP_CR)を含むIPパケットからNTP_CRが抽出される。選局時や電源投入時において、最初に受信された64ビットのNTP_CRのうち上位56ビットはカウンタ233a、カウンタ233bおよびカウンタ233cからなる56ビットのカウンタに初期値としてセットされる、その後に受信したこのNTP_CRは、比較器234に供給される。
 電圧制御発振器232、カウンタ233a,233b,233cおよび比較器234により、PLL(Phase Locked Loop)回路が構成される。そのため、電圧制御発振器232ではNTP_CRに同期した2**24Hzのクロックが生成される。この2**24Hzのクロックの周波数は、上述し放送送出システム100の電圧制御発振器133で生成されるクロックの周波数と等しくなり、クロック同期が実現される。
 また、カウンタ233a,233b,233cでは、NTP_CRに同期したシステム・タイム・クロックが生成される。このシステム・タイム・クロックは、上述した放送送出システム100のカウンタ134a,134b,134cで生成されるシステム・タイム・クロックと合ったものとなる。そのため、上述したように、MMT方式の放送ストリームに、ビデオ、オーディオの提示単位毎のデコード時刻DTおよび提示時刻PTを求めるための情報(提示時刻mpt、DT/PT情報)が挿入されていることと相俟って、提示同期が実現される。
 デマルチプレクサ231で抽出されるシグナリングメッセージは、MMTシグナリングデコード部235に供給される。このMMTシグナリングデコード部235では、MPT(MMT Package Table)に含まれるMPUタイムスタンプ・デスクリプタ(MPU_timestamp_descriptor)から、ビデオのGOP毎に、そのピクチャの提示時刻mptが取り出される。この提示時刻mptは、ビデオ同期制御部236に供給される。
 なお、上述したようにMPU拡張タイムスタンプ・デスクリプタ(MPU_extended_timestamp_descriptor)を利用する場合には、このMMTシグナリングデコード部235では、MPT(MMT Package Table)に含まれるMPU拡張タイムスタンプ・デスクリプタから、ビデオのGOP毎に、各ピクチャのDT/PT情報が取り出される。このDT/PT情報は、ビデオ同期制御部236に供給される。
 デマルチプレクサ231で抽出される符号化ビデオを含むMMTパケットは、デパケット化部237に供給されてデパケット化の処理が行われる。デパケット化部237で得られる符号化ビデオはデコードバッファ238に一時的に蓄積される。
 なお、上述したようにMMTパケットのMMT拡張ヘッダを利用する場合には、このデパケット化部237では、ビデオのGOP毎に、MMTパケットに設けられているMMT拡張ヘッダ(header_extension)から、各ピクチャのDT/PT情報が取り出される。このDT/PT情報は、ビデオ同期制御部236に供給される。
 カウンタ233a,233b,233cで生成されるシステム・タイム・クロックは、ビデオ同期制御部236に供給される。この場合、56ビットの全てを供給する必要はなく、ビデオ同期制御部236で算出されるデコード時刻DTおよび提示時刻PTの精度に対応したビット部分だけが供給されてもよい。
 例えば、ビデオ同期制御部236で算出されるデコード時刻(DT)および提示時刻(PT)の精度が1/2**16秒(約15μ秒)である場合には、32ビットカウンタ233cと16ビットカウンタ233bの(32+16)ビットの出力だけで足りる。また、それ以上の精度、例えば1/2**18秒(3.8μ秒)である場合には、8ビットカウンタ233aのビット出力も必要となる。
 ビデオ同期制御部236では、提示時刻mptとDT/PT情報に基づいて、ビデオのGOP毎に、各ピクチャのデコード時刻DTおよび提示時刻PTが求められる(上述の(1)式、(2)式、あるいは(3)式、(4)式、あるいは(5)式、(6)式、(7)式参照)。ビデオ同期制御部236では、ビデオデコード処理部239に対して、デコードバッファ238に蓄積されている各ピクチャの符号化ビデオに対する、デコードおよび提示の指示が行われる。この場合、ビデオ同期制御部236では、それらの指示が、カウンタ233a,233b,233cで生成されるシステム・タイム・クロックが参照され、上述したように求められたデコード時刻DTおよび提示時刻PTのタイミングで行われる。
 ビデオデコード処理部239では、ビデオ同期制御部236からの指示に基づいて、デコードバッファ238に蓄積されている各ピクチャの符号化ビデオのデコード処理が行われる。そして、このビデオデコード処理部239から、各ピクチャのビデオが提示時刻PTのタイミングで順次出力される。なお、図示は省略されているが、デマルチプレクサ231では、符号化オーディオを含むMMTパケットも抽出され、上述のビデオの場合と同様に処理されてベースバンドのオーディオデータが得られ、音声出力が行われる。
 上述したように、図1に示す送受信システム10においては、MMT方式の放送ストリームに外部から取得された時刻情報に同期したクロックの周波数情報を含む時刻情報(NTP_CR)が含まれるものである。そのため、受信側では、この時刻情報に基づいて送信側と同様のクロック(システムクロック)を生成でき、クロック同期を実現できる。
 この場合、クロックの周波数が2**nHz(例えば、n=24~28)とされることで、外部から取得するNTPロングフォーマットの時刻情報に同期した時刻情報の生成が容易となると共に、生成される時刻情報をNTPロングフォーマットに対応したものとすることができる。
 また、図1に示す送受信システム10においては、MMT方式の放送ストリームには、外部から取得された時刻情報に同期した時刻情報(システム・タイム・クロック)に基づいて得られた、ビデオ、オーディオの提示単位毎のデコード時刻DTおよび提示時刻PTを求めるための情報(提示時刻mpt、DT/PT情報)が挿入されるものである。そのため、この情報と、時刻情報(システム・タイム・クロック)に基づき、提示同期の実現が可能となる。
 また、図1に示す送受信システム10においては、各サンプル(提示単位)のデコード時刻DTおよび提示時刻PTを求めるためのDT/PT情報の伝送に、MMTパケットのMMT拡張ヘッダあるいは新規定義するMPU拡張タイムスタンプ・デスクリプタを利用するものである。そのため、受信側でデコード時刻および提示時刻による処理を行うための遅延を低く抑えることが可能となる。
 <2.変形例>
 なお、上述実施の形態では、MMT方式の放送ストリームを取り扱う例を示した。詳細説明は省略するが、本技術は、同様の放送ストリームを取り使う場合にも同様に適用できることが勿論である。
 また、本技術は、以下のような構成を取ることもできる。
 (1)外部から取得された時刻情報に同期したクロックを生成するクロック生成部と、
 上記クロック生成部で生成されたクロックの周波数情報を含み、上記外部から取得された時刻情報に同期した時刻情報を生成する時刻情報生成部と、
 伝送メディアと、上記時刻情報生成部で生成された時刻情報に基づいて得られた該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、上記時刻情報生成部で生成された時刻情報を含む放送信号を送信する送信部とを備える
 送信装置。
 (2)上記時刻取得情報は、
 上記伝送メディアの所定数の提示単位からなる提示単位グループ毎に、
 上記提示単位グループの最初の提示単位の提示時刻と、
 上記提示単位グループの各提示単位のデコード時刻および提示時刻を上記最初の提示単位の提示時刻を参照して算出するための時間長情報とからなる
 前記(1)に記載の送信装置。
 (3)上記時間長情報は、
 上記最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、各提示単位の時間長を示す情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる
 前記(2)に記載の送信装置。
 (4)上記時間長情報は、
 上記各提示単位の、上記最初の提示単位の提示時刻からのオフセット時間長で示したデコード時刻情報と、デコード時刻からのオフセット時間長で示した提示時刻情報とからなる
 前記(2)に記載の送信装置。
 (5)上記時間長情報は、
 上記最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、2番目以降の各提示単位の前の提示単位のデコード時刻からのオフセット時間長で示したデコード時刻情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる
 前記(2)に記載の送信装置。
 (6)上記放送信号は、上記伝送メディアを含む第1のパケットと、上記伝送メディアに関する情報を含む第2のパケットと、上記時刻情報生成部で生成された時刻情報を含む第3のパケットを持ち、
 上記最初の提示時刻および上記時間長情報は、上記第2のパケットに挿入される
 前記(2)から(4)のいずれかに記載の送信装置。
 (7)上記放送信号は、上記伝送メディアを含む第1のパケットと、上記伝送メディアに関する情報を含む第2のパケットと、上記時刻情報生成部で生成された時刻情報を含む第3のパケットを持ち、
 上記最初の提示時刻は、上記第2のパケットに挿入され、
 上記時間長情報は、上記第1のパケットに挿入される
 前記(2)から(4)のいずれかに記載の送信装置。
 (8)上記時間長情報は、上記第1のパケットの拡張ヘッダに挿入される
 前記(7)に記載の送信装置。
 (9)上記第1のパケットには、提示単位の先頭が含まれるとき、上記拡張ヘッダが設けられる
 前記(8)に記載の送信装置。
 (10)上記第1のパケットには、常に、上記拡張ヘッダが設けられ、該拡張ヘッダには、該第1のパケットに提示単位の先頭が含まれるか否かを示すフラグ情報がさらに挿入される
 前記(8)に記載の送信装置。
 (11)上記クロック生成部で生成されるクロックの周波数は、2**nHzである
 前記(1)から(10)のいずれかに記載の送信装置。
 (12)外部から取得された時刻情報に同期したクロックを生成するクロック生成ステップと、
 上記クロック生成ステップで生成されたクロックの周波数情報を含み、上記外部から取得された時刻情報に同期した時刻情報を生成する時刻情報生成ステップと、
 伝送メディアと、上記時刻情報生成ステップで生成された時刻情報に基づいて得られた該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻情報と、上記時刻情報生成ステップで生成された時刻情報を含む放送信号を送信する送信ステップとを有する
 送信方法。
 (13)伝送メディアと、該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、外部から取得された時刻情報に同期したクロックの周波数情報を含み、上記外部から取得された時刻情報に同期した時刻情報を含む放送信号を受信する受信部と、
 上記放送信号に含まれる時刻情報に基づいてクロックを生成し、該クロックを用いて該時刻情報と同期した時刻情報を生成する時刻情報生成部と、
 上記放送信号に含まれる上記時刻取得情報に基づいて、上記伝送メディアの提示単位毎のデコード時刻および提示時刻を求める時刻算出部と、
 上記放送信号に含まれる伝送メディアを、提示単位毎に、上記時刻算出部で算出されたデコード時刻および提示時刻と、上記時刻情報生成部で生成された時刻情報とに基づいて処理する処理部を備える
 受信装置。
 (14)上記伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報は、
 上記伝送メディアの所定数の提示単位からなる提示単位グループ毎に、
 上記提示単位グループの最初の提示単位の提示時刻と、
 上記提示単位グループの各提示単位のデコード時刻および提示時刻を上記最初の提示単位の提示時刻を参照して算出するための時間長情報とからなる
 前記(13)に記載の受信装置。
 (15)上記時間長情報は、
 上記最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、各提示単位の時間長を示す情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる
 前記(14)に記載の受信装置。
 (16)上記放送信号は、上記伝送メディアを含む第1のパケットと、上記伝送メディアに関する情報を含む第2のパケットと、上記時刻情報を含む第3のパケットを持ち、
 上記最初の提示時刻および上記時間長情報は、上記第2のパケットに挿入されている
 前記(14)または(15)に記載の受信装置。
 (17)上記放送信号は、上記伝送メディアを含む第1のパケットと、上記伝送メディアに関する情報を含む第2のパケットと、上記時刻情報を含む第3のパケットを持ち、
 上記最初の提示時刻は、上記第2のパケットに挿入され、
 上記時間長情報は、上記第1のパケットに挿入されている
 前記(14)または(15)に記載の受信装置。
 (18)伝送メディアと、該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、外部から取得された時刻情報に同期したクロックの周波数情報を含み、上記外部から取得された時刻情報に同期した時刻情報を含む放送信号を受信する受信ステップと、
 上記放送信号に含まれる時刻情報に基づいてクロックを生成し、該クロックを用いて該時刻情報と同期した時刻情報を生成する時刻情報生成ステップと、
 上記放送信号に含まれる上記時刻取得情報に基づいて、上記伝送メディアの提示単位毎のデコード時刻および提示時刻を求める時刻算出ステップと、
 上記放送信号に含まれる伝送メディアを、提示単位毎に、上記時刻算出ステップで算出されたデコード時刻および提示時刻と、上記時刻情報生成ステップで生成された時刻情報とに基づいて処理する処理ステップを有する
 受信方法。
 (19)外部から取得された時刻情報に同期した2**nHzのクロックを生成するクロック生成部と、
 上記クロック生成部で生成された2**nHzのクロックの周波数情報を含み、上記外部から取得された時刻情報に同期した時刻情報を生成する時刻情報生成部と、
 伝送メディアと、上記時刻情報生成部で生成された時刻情報に基づいて得られた該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻情報と、上記時刻情報生成部で生成された時刻情報を含む放送信号を送信する送信部とを備える
 送信装置。
 (20)上記nは、24から28のいずれかの整数である
 前記(19)に記載の送信装置。
 本技術の主な特徴は、各サンプル(提示単位)のデコード時刻DTおよび提示時刻PTを求めるためのDT/PT情報の伝送に、MMTパケットのMMT拡張ヘッダあるいは新規定義するMPU拡張タイムスタンプ・デスクリプタを利用することで、受信側でデコード時刻および提示時刻による処理を行うための遅延を低く抑えることを可能としたことである(図15、図19、図24、図27参照)。また、本技術の主な特徴は、システムクロックの周波数を2**nHz(例えば、n=24~28)とすることで、外部から取得するNTPロングフォーマットの時刻情報に同期した時刻情報の生成を容易とし、しかも生成される時刻情報をNTPロングフォーマットに対応したものとすることを可能としたことである(図33参照)。
 10・・・送受信システム
 100・・・放送送出システム
 111・・・NTPクロック生成部
 112・・・信号送出部
 113・・・ビデオエンコーダ
 114・・・オーディオエンコーダ
 115・・・MMTシグナリングエンコード部
 116・・・TLVシグナリング発生部
 117-1~117-N・・・IPサービス・マルチプレクサ
 118・・・TLV・マルチプレクサ
 119・・・変調/送信部
 131・・・NTP/IPインタフェース
 132a,132b・・・32ビットレジスタ
 133・・・電圧制御発振器
 134a・・・8ビットカウンタ
 134b・・・16ビットカウンタ
 134c・・・32ビットカウンタ
 135・・・比較器
 136・・・パケット化部
 137・・・ビデオエンコード処理部
 138・・・パケット化部
 139・・・エンコードバッファ
 140・・・ビデオ同期制御部
 141・・・MMTシグナリングエンコード部
 142・・・マルチプレクサ
 200・・・受信機
 201・・・チューナ/復調部
 202・・・デマルチプレクサ
 202a・・・MMT-SIフィルタ部
 202b・・・TLV-SIフィルタ部
 203・・・NTPクロック再生部
 204・・・システム制御部
 205・・・ビデオ制御部
 206・・・ビデオデコードバッファ
 207・・・ビデオデコーダ
 208・・・オーディオ制御部
 209・・・オーディオデコードバッファ
 210・・・オーディオデコーダ
 231・・・デマルチプレクサ
 232・・・電圧制御発振器
 233a・・・8ビットカウンタ
 233b・・・16ビットカウンタ
 233c・・・32ビットカウンタ
 234・・・比較器
 235・・・MMTシグナリングデコード部
 236・・・ビデオ同期制御部
 237・・・デパケット化部
 238・・・デコードバッファ
 239・・・ビデオデコード処理部

Claims (20)

  1.  外部から取得された時刻情報に同期したクロックを生成するクロック生成部と、
     上記クロック生成部で生成されたクロックの周波数情報を含み、上記外部から取得された時刻情報に同期した時刻情報を生成する時刻情報生成部と、
     伝送メディアと、上記時刻情報生成部で生成された時刻情報に基づいて得られた該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、上記時刻情報生成部で生成された時刻情報を含む放送信号を送信する送信部とを備える
     送信装置。
  2.  上記時刻取得情報は、
     上記伝送メディアの所定数の提示単位からなる提示単位グループ毎に、
     上記提示単位グループの最初の提示単位の提示時刻と、
     上記提示単位グループの各提示単位のデコード時刻および提示時刻を上記最初の提示単位の提示時刻を参照して算出するための時間長情報とからなる
     請求項1に記載の送信装置。
  3.  上記時間長情報は、
     上記最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、各提示単位の時間長を示す情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる
     請求項2に記載の送信装置。
  4.  上記時間長情報は、
     上記各提示単位の、上記最初の提示単位の提示時刻からのオフセット時間長で示したデコード時刻情報と、デコード時刻からのオフセット時間長で示した提示時刻情報とからなる
     請求項2に記載の送信装置。
  5.  上記時間長情報は、
     上記最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、2番目以降の各提示単位の前の提示単位のデコード時刻からのオフセット時間長で示したデコード時刻情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる
     請求項2に記載の送信装置。
  6.  上記放送信号は、上記伝送メディアを含む第1のパケットと、上記伝送メディアに関する情報を含む第2のパケットと、上記時刻情報生成部で生成された時刻情報を含む第3のパケットを持ち、
     上記最初の提示時刻および上記時間長情報は、上記第2のパケットに挿入される
     請求項2に記載の送信装置。
  7.  上記放送信号は、上記伝送メディアを含む第1のパケットと、上記伝送メディアに関する情報を含む第2のパケットと、上記時刻情報生成部で生成された時刻情報を含む第3のパケットを持ち、
     上記最初の提示時刻は、上記第2のパケットに挿入され、
     上記時間長情報は、上記第1のパケットに挿入される
     請求項2に記載の送信装置。
  8.  上記時間長情報は、上記第1のパケットの拡張ヘッダに挿入される
     請求項7に記載の送信装置。
  9.  上記第1のパケットには、提示単位の先頭が含まれるとき、上記拡張ヘッダが設けられる
     請求項8に記載の送信装置。
  10.  上記第1のパケットには、常に、上記拡張ヘッダが設けられ、該拡張ヘッダには、該第1のパケットに提示単位の先頭が含まれるか否かを示すフラグ情報がさらに挿入される
     請求項8に記載の送信装置。
  11.  上記クロック生成部で生成されるクロックの周波数は、2**nHzである
     請求項1に記載の送信装置。
  12.  外部から取得された時刻情報に同期したクロックを生成するクロック生成ステップと、
     上記クロック生成ステップで生成されたクロックの周波数情報を含み、上記外部から取得された時刻情報に同期した時刻情報を生成する時刻情報生成ステップと、
     伝送メディアと、上記時刻情報生成ステップで生成された時刻情報に基づいて得られた該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻情報と、上記時刻情報生成ステップで生成された時刻情報を含む放送信号を送信する送信ステップとを有する
     送信方法。
  13.  伝送メディアと、該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、外部から取得された時刻情報に同期したクロックの周波数情報を含み、上記外部から取得された時刻情報に同期した時刻情報を含む放送信号を受信する受信部と、
     上記放送信号に含まれる時刻情報に基づいてクロックを生成し、該クロックを用いて該時刻情報と同期した時刻情報を生成する時刻情報生成部と、
     上記放送信号に含まれる上記時刻取得情報に基づいて、上記伝送メディアの提示単位毎のデコード時刻および提示時刻を求める時刻算出部と、
     上記放送信号に含まれる伝送メディアを、提示単位毎に、上記時刻算出部で算出されたデコード時刻および提示時刻と、上記時刻情報生成部で生成された時刻情報とに基づいて処理する処理部を備える
     受信装置。
  14.  上記伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報は、
     上記伝送メディアの所定数の提示単位からなる提示単位グループ毎に、
     上記提示単位グループの最初の提示単位の提示時刻と、
     上記提示単位グループの各提示単位のデコード時刻および提示時刻を上記最初の提示単位の提示時刻を参照して算出するための時間長情報とからなる
     請求項13に記載の受信装置。
  15.  上記時間長情報は、
     上記最初の提示単位の提示時刻からのオフセット時間長で示した最初に伝送される提示単位のデコード時刻情報と、各提示単位の時間長を示す情報と、各提示単位のデコード時刻からのオフセット時間長で示した提示時刻情報とからなる
     請求項14に記載の受信装置。
  16.  上記放送信号は、上記伝送メディアを含む第1のパケットと、上記伝送メディアに関する情報を含む第2のパケットと、上記時刻情報を含む第3のパケットを持ち、
     上記最初の提示時刻および上記時間長情報は、上記第2のパケットに挿入されている
     請求項14に記載の受信装置。
  17.  上記放送信号は、上記伝送メディアを含む第1のパケットと、上記伝送メディアに関する情報を含む第2のパケットと、上記時刻情報を含む第3のパケットを持ち、
     上記最初の提示時刻は、上記第2のパケットに挿入され、
     上記時間長情報は、上記第1のパケットに挿入されている
     請求項14に記載の受信装置。
  18.  伝送メディアと、該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻取得情報と、外部から取得された時刻情報に同期したクロックの周波数情報を含み、上記外部から取得された時刻情報に同期した時刻情報を含む放送信号を受信する受信ステップと、
     上記放送信号に含まれる時刻情報に基づいてクロックを生成し、該クロックを用いて該時刻情報と同期した時刻情報を生成する時刻情報生成ステップと、
     上記放送信号に含まれる上記時刻取得情報に基づいて、上記伝送メディアの提示単位毎のデコード時刻および提示時刻を求める時刻算出ステップと、
     上記放送信号に含まれる伝送メディアを、提示単位毎に、上記時刻算出ステップで算出されたデコード時刻および提示時刻と、上記時刻情報生成ステップで生成された時刻情報とに基づいて処理する処理ステップを有する
     受信方法。
  19.  外部から取得された時刻情報に同期した2**nHzのクロックを生成するクロック生成部と、
     上記クロック生成部で生成された2**nHzのクロックの周波数情報を含み、上記外部から取得された時刻情報に同期した時刻情報を生成する時刻情報生成部と、
     伝送メディアと、上記時刻情報生成部で生成された時刻情報に基づいて得られた該伝送メディアの提示単位毎のデコード時刻および提示時刻を得るための時刻情報と、上記時刻情報生成部で生成された時刻情報を含む放送信号を送信する送信部とを備える
     送信装置。
  20.  上記nは、24から28のいずれかの整数である
     請求項19に記載の送信装置。
PCT/JP2014/080561 2014-04-10 2014-11-18 送信装置、送信方法、受信装置および受信方法 WO2015155907A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US15/116,463 US9942292B2 (en) 2014-04-10 2014-11-18 Transmission apparatus, transmitting method, reception apparatus, and reception method
BR112016022965-7A BR112016022965B1 (pt) 2014-04-10 2014-11-18 Aparelhos e métodos de transmissão e recepção
EP14888953.8A EP3131301B1 (en) 2014-04-10 2014-11-18 Transmission apparatus, transmission method, reception apparatus and reception method
CN201480077769.1A CN106134208B (zh) 2014-04-10 2014-11-18 发送设备、发送方法、接收设备以及接收方法
PH12016501971A PH12016501971B1 (en) 2014-04-10 2016-10-04 Transmission apparatus, transmission method, reception apparatus and reception method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014081391 2014-04-10
JP2014-081391 2014-04-10
JP2014112002A JP5708866B1 (ja) 2014-04-10 2014-05-30 送信装置、送信方法、受信装置および受信方法
JP2014-112002 2014-05-30

Publications (1)

Publication Number Publication Date
WO2015155907A1 true WO2015155907A1 (ja) 2015-10-15

Family

ID=53277154

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/080561 WO2015155907A1 (ja) 2014-04-10 2014-11-18 送信装置、送信方法、受信装置および受信方法

Country Status (7)

Country Link
US (1) US9942292B2 (ja)
EP (1) EP3131301B1 (ja)
JP (4) JP5708866B1 (ja)
CN (1) CN106134208B (ja)
BR (1) BR112016022965B1 (ja)
PH (1) PH12016501971B1 (ja)
WO (1) WO2015155907A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016048912A (ja) * 2014-08-27 2016-04-07 パナソニックIpマネジメント株式会社 復号装置、逆多重化装置、復号方法及び逆多重化方法
CN111526390B (zh) * 2014-09-17 2022-12-06 北京三星通信技术研究有限公司 发送mmt包的方法及装置、接收mmt包的方法
EP4277170A3 (en) * 2014-11-20 2024-01-17 Panasonic Intellectual Property Corporation of America Transmitting method, receiving method, transmitting device, and receiving device
US10085051B2 (en) * 2015-02-13 2018-09-25 Samsung Electronics Co., Ltd. Method and apparatus for converting MMTP stream to MPEG-2TS
US11272241B2 (en) 2015-08-06 2022-03-08 Maxell, Ltd. Broadcast receiving apparatus, output video information generating method, broadcast receiving method, and video recording method
EP3373589A4 (en) * 2015-11-05 2019-07-24 Sony Corporation CONTENT PROCESSING AND CONTENT PROCESSING
CN105554134B (zh) * 2015-12-23 2018-12-18 小米科技有限责任公司 信息同步方法及装置
JP6744092B2 (ja) * 2015-12-24 2020-08-19 日本電気株式会社 送信装置、受信装置、送信方法及び受信方法
JP6115904B1 (ja) * 2016-06-17 2017-04-19 株式会社すなおネット 食品製品及び食品製品の提供方法
JP6951094B2 (ja) * 2017-03-22 2021-10-20 株式会社東芝 放送システム、制御装置、および再生制御方法
US10986402B2 (en) 2018-07-11 2021-04-20 Qualcomm Incorporated Time signaling for media streaming
WO2020075235A1 (ja) * 2018-10-10 2020-04-16 株式会社メディアリンクス エルエスアイラボ クロック生成装置およびクロック生成方法
CN109669918B (zh) * 2018-12-13 2023-04-28 成都心吉康科技有限公司 数据展示方法、装置及可穿戴健康设备
CN109587541A (zh) * 2018-12-13 2019-04-05 青岛海信传媒网络技术有限公司 一种数字电视业务处理方法、装置和电视终端
JP7210272B2 (ja) 2018-12-28 2023-01-23 株式会社東芝 放送システム、エンコーダ、多重化装置、多重化方法、系統切替装置、および同期制御装置
JP2021168521A (ja) * 2020-07-07 2021-10-21 マクセル株式会社 放送受信装置における映像、音声及び字幕の再生同期方法
JP2021168520A (ja) * 2020-07-07 2021-10-21 マクセル株式会社 放送受信装置における映像と音声の再生同期方法
CN114189737A (zh) * 2021-12-06 2022-03-15 国微集团(深圳)有限公司 一种数字电视快速切台方法及数字电视

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10200854A (ja) * 1997-01-13 1998-07-31 Sony Corp 記録装置、再生装置及び記録再生装置
WO2013048148A2 (en) * 2011-09-29 2013-04-04 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving content
US20130173826A1 (en) * 2011-12-30 2013-07-04 Electronics And Telecommunications Research Institute Method of providing timing information using mmt signaling layer signaling for synchronizing mmt packet streams in mmt hybrid delivery service and method of synchronizing mmt packet streams in mmt hybrid delivery service
JP2013229689A (ja) * 2012-04-24 2013-11-07 Sharp Corp 再生装置、配信装置、データ構造、再生方法、配信方法、制御プログラム、および記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3278794B2 (ja) * 1995-03-14 2002-04-30 日本電信電話株式会社 分散型実時間連続メディア処理装置
JP3462087B2 (ja) * 1998-06-17 2003-11-05 日本放送協会 デジタル放送送出装置及びデジタル放送のデータ構造
JP4256715B2 (ja) * 2003-04-28 2009-04-22 パナソニック株式会社 デジタル放送受信装置
EP2346261A1 (en) * 2009-11-18 2011-07-20 Tektronix International Sales GmbH Method and apparatus for multiplexing H.264 elementary streams without timing information coded
CN101820540B (zh) * 2009-12-25 2011-09-14 北京惠信博思技术有限公司 一种mpeg-2编码复用的方法
JP5641090B2 (ja) 2013-03-14 2014-12-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6652320B2 (ja) 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置及び受信装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10200854A (ja) * 1997-01-13 1998-07-31 Sony Corp 記録装置、再生装置及び記録再生装置
WO2013048148A2 (en) * 2011-09-29 2013-04-04 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving content
US20130173826A1 (en) * 2011-12-30 2013-07-04 Electronics And Telecommunications Research Institute Method of providing timing information using mmt signaling layer signaling for synchronizing mmt packet streams in mmt hybrid delivery service and method of synchronizing mmt packet streams in mmt hybrid delivery service
JP2013229689A (ja) * 2012-04-24 2013-11-07 Sharp Corp 再生装置、配信装置、データ構造、再生方法、配信方法、制御プログラム、および記録媒体

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Association of Radio Industries and Businesses Digital Hoso System Kaihatsu Bukai", SHIRYO UHD SAKU 4-2-5 CHO KOSEISAIDO TELEVISION HOSO SYSTEM NI KANSURU CHUKAN HOKOKU, 1 December 2013 (2013-12-01), pages 1 - 60, XP055289841, Retrieved from the Internet <URL:http://warp.ndl.go.jp/info:ndljp/pid/8380046/www.soumu.go.jp/main_content/000262096.pdf> [retrieved on 20141217] *
KWANG-DEOK SEO ET AL.: "A New Timing Model Design for MPEG Media Transport (MMT", 2012 IEEE INTERNATIONAL SYMPOSIUM ON BROADBAND MULTIMEDIA SYSTEMS AND BROADCASTING (BMSB, 27 June 2012 (2012-06-27), pages 1 - 5, XP032495792 *
KYUNGMO PARK ET AL.: "Study of ISO/IEC CD 23008- 1 MPEG Media Transport", ISO/IEC JTC1/SC29/WG11 MPEG/N13089, October 2012 (2012-10-01), Shanghai, China, pages 38 - 44,63-64,69-74, Retrieved from the Internet <URL:http://mpeg.chiariglione.org/standards> *
See also references of EP3131301A4 *
SHUICHI AOKI: "Media Transport Technologies for Next Generation Broadcasting Systems", NHK SCIENCE AND TECHNICAL RESEARCH LABORATORIES R&D REPORT, vol. 140, 15 July 2013 (2013-07-15), pages 22 - 31, XP008180293 *

Also Published As

Publication number Publication date
JP5708866B1 (ja) 2015-04-30
PH12016501971A1 (en) 2016-12-19
EP3131301A4 (en) 2018-02-14
JP2015207990A (ja) 2015-11-19
JP2015207989A (ja) 2015-11-19
PH12016501971B1 (en) 2016-12-19
US20170012765A1 (en) 2017-01-12
JP2015207992A (ja) 2015-11-19
US9942292B2 (en) 2018-04-10
CN106134208B (zh) 2018-03-27
JP2015207984A (ja) 2015-11-19
BR112016022965A2 (pt) 2022-07-19
JP5708876B1 (ja) 2015-04-30
CN106134208A (zh) 2016-11-16
JP5708877B1 (ja) 2015-04-30
EP3131301B1 (en) 2019-10-30
BR112016022965B1 (pt) 2023-02-28
JP6330681B2 (ja) 2018-05-30
EP3131301A1 (en) 2017-02-15

Similar Documents

Publication Publication Date Title
JP6330681B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP7279767B2 (ja) 送信方法および送信装置
US10862638B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
WO2014188960A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2015022827A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP5672406B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14888953

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15116463

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2014888953

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014888953

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12016501971

Country of ref document: PH

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112016022965

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112016022965

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20161003

ENPC Correction to former announcement of entry into national phase, pct application did not enter into the national phase

Ref document number: 112016022965

Country of ref document: BR

Kind code of ref document: A2

Free format text: ANULADA A PUBLICACAO CODIGO 1.3 NA RPI NO 2432 DE 15/08/2017 POR TER SIDO INDEVIDA.

REG Reference to national code

Ref country code: BR

Ref legal event code: B01E

Ref document number: 112016022965

Country of ref document: BR

Kind code of ref document: A2

Free format text: REAPRESENTE A DECLARACAO REFERENTE AO DOCUMENTO DE PRIORIDADE DEVIDAMENTE ASSINADA, CONFORME ART. 408 C/C ART. 410, II, DO CODIGO DE PROCESSO CIVIL.

ENP Entry into the national phase

Ref document number: 112016022965

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20161003