WO2017110854A1 - 送信装置、受信装置、送信方法及び受信方法 - Google Patents

送信装置、受信装置、送信方法及び受信方法 Download PDF

Info

Publication number
WO2017110854A1
WO2017110854A1 PCT/JP2016/088063 JP2016088063W WO2017110854A1 WO 2017110854 A1 WO2017110854 A1 WO 2017110854A1 JP 2016088063 W JP2016088063 W JP 2016088063W WO 2017110854 A1 WO2017110854 A1 WO 2017110854A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
mpu
encoded
output
message
Prior art date
Application number
PCT/JP2016/088063
Other languages
English (en)
French (fr)
Inventor
直也 辻
橋本　清
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2017110854A1 publication Critical patent/WO2017110854A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream

Definitions

  • the present technology relates to a transmission device, a reception device, a transmission method, and a reception method, and more particularly, to a transmission device, a reception device, a transmission method, and a reception method that transmit or receive an MMT (MPEG Media Transport) broadcast signal.
  • MMT MPEG Media Transport
  • Patent Document 1 discloses a transmission device that transmits an MMT broadcast signal and a reception device that receives the broadcast signal.
  • the transmitting apparatus disclosed in Patent Literature 1 first transmits an IP packet including an MPU (Media Processing Unit), that is, an MPT (MMT Package Table) for a GOP (Group Of Picture).
  • MPU Media Processing Unit
  • MPT MMT Package Table
  • an MPU time stamp descriptor and an MPU extended time stamp descriptor are inserted.
  • the presentation time of the first picture of the GOP is determined, and the presentation time is described in the MPU time stamp descriptor.
  • the MPU extended time stamp descriptor includes 1) a difference value between the decoding time of the first access unit in the decoding order and the presentation time of the first access unit in the presentation order in the MPU, and 2) the decoding time of each access unit. 4), 4) a time scale, and 3) a difference value between the presentation time of the access unit and the presentation time of the current access unit in the presentation order in the same MPU.
  • the presentation time of the first access unit (presentation unit) of the MPU and the decoding time of each access unit are extracted from the video and audio MPU timestamp descriptors and MPU extended timestamp descriptors included in the MPT. .
  • the decoder performs the decoding process for each access unit stored in the decoding buffer at the timing of the decoding time and the presentation time.
  • the receiving apparatus must analyze the MPT to obtain the decoding time and presentation time of each access unit of the MPU, and perform decoding based on them.
  • a predetermined decoding time when the advance time from when an IP packet carrying signaling information SI including MPT is transmitted to when an IP packet carrying a video signal and an audio signal corresponding to those time stamps is transmitted is short
  • the main object of the present invention is to provide a transmission device, a reception device, a transmission method, and a reception method capable of ensuring a good MPT advance time and performing decoding at a decoding time specified by the MPT.
  • a transmitting apparatus includes a CPB buffer that outputs an MPU encoded after a first time from encoding of the MPU, a decoding time and a presentation time by analyzing the encoded MPU.
  • a PA generating unit that generates a PA message including an MPT that specifies the decoding time and the presentation time; a delay unit that temporarily stores and delays the encoded MPU;
  • a multiplexing unit that outputs an MMT packet obtained by multiplexing the encoded MPU and a PA message at that time after a second time from the output of the encoded MPU, and the second time is The maximum value of the GOP length of the video, the maximum value of the first time, and the specified value of the MPT advance time for advancement of the MPT from the transmission of the encoded MPU.
  • the transmission method outputs an MPU encoded after a first time from the encoding of the MPU, analyzes the encoded MPU to obtain a decoding time and a presentation time, A PA message including an MPT that specifies a decoding time and a presentation time is generated, the encoded MPU is temporarily stored and delayed, and the delayed encoded MPU and the PA message at that time are multiplexed.
  • the encoded MMT packet is output after a second time from the output of the encoded MPU, and the second time includes the maximum value of the GOP length of the video, the maximum value of the first time, and the This is the total time of the MPT advance time for sending out the MPT from the encoded MPU transmission.
  • a receiving apparatus multiplexes an encoded MPU output after a first time from the encoding of the MPU and outputs a second time after the output of the encoded MPU.
  • a demultiplexer that receives the decoded MMT packet, and a PA message including an MPT that specifies a decoding time and a presentation time for the encoded MPU, and performs a demultiplexing process on the MMT packet and the PA message;
  • An SI buffer that temporarily stores the decoding time and presentation time; and a decoder that decodes the encoded MPU at the decoding time with reference to the SI buffer and outputs the decoded MPU at the presentation time
  • the MPT is advanced based on the maximum value of the video GOP length, the maximum value of the first time, and the transmission of the encoded MPU. That is the MPT first-out time that the sum of the time of the specified value.
  • a reception method in which an encoded MPU output after a first time from MPU encoding is multiplexed and output after a second time from the output of the encoded MPU.
  • Received video signal, audio signal, and PA message including MPT that specifies a decoding time for the encoded MPU, and demultiplexing the video signal, audio signal, and PA message And temporarily storing the decoding time and presentation time, decoding the encoded MPU at the decoding time, and outputting at the presentation time, the second time is the maximum value of the GOP length of the video, This is the total time of the maximum value of the first time and the specified value of the MPT advance time for advancement of the MPT from the transmission of the encoded MPU.
  • FIG. 2 is a timing chart showing operations of PA message and MPU transmission in FIG. 1.
  • FIG. It is a figure which shows an example of a structure of PA message. It is a figure which shows an example of the operation
  • FIG. 1 is a block diagram showing an example of the configuration of the first embodiment.
  • FIG. 2 is a timing chart showing the operation of sending the PA message and MPU in FIG.
  • the broadcast system 1 includes a transmission device 2 and a reception device 3.
  • the transmission device 2 includes one or more encoders 11, 12... 1 n, an MMT multiplexer 21, and a TLV multiplexer 22.
  • the encoder 11 includes an encoding unit 111, a CPB (Coded Picture Buffer) buffer 112, an analysis unit 113, a PA generation unit 114, a delay unit 115, and a multiplexing unit 116.
  • the other encoders 12,... 1n may have the same configuration as the encoder 11.
  • the encoding unit 111 encodes a video signal, an audio signal, a caption, and the like, and outputs the MPU to the CPB buffer 112. As shown in FIG. 2, the GOP length G (s) of the MPU encoded by the encoding unit 111 is output in 0.5 seconds or 0.25 seconds, for example.
  • the CPB buffer 112 temporarily stores the encoded MPU as shown in FIG. 2, and outputs the encoded MPU with a delay of X (s) which is the first time.
  • X (s) varies depending on the data amount of each MPU.
  • the analysis unit 113 generates an MFU (Media Fragment Unit) obtained by dividing the MPU.
  • MFU Media Fragment Unit
  • MFU is a smaller unit than MPU
  • MFU is obtained by dividing sample data.
  • a NAL (Network Abstraction Layer) unit may be an MFU
  • an access unit may be an MFU.
  • the analysis unit 113 analyzes the MFU, and MPU_sequence_number for the MFU, a decoding time DTS that specifies the time to start decoding at the receiving device, and a time stamp and video such as a presentation time PTS that specifies the time to be presented after decoding by the receiving device Are output to the PA generator 114.
  • the analysis unit 113 outputs the analyzed MFU to the delay unit 115.
  • the PA generation unit 114 uses the above-mentioned three pieces of information from the analysis unit 113 and information on encoder setting values (Packet ID, number of audio ESs, etc.) on the video basis (GOP cycle) for the encoded MPU.
  • a PA message including the MPT designating the time stamp of is generated.
  • the PA generation unit 114 generates a time stamp descriptor by an audio MPU cycle interrupt and a video MPU cycle interrupt. After the video time stamp descriptor is generated, a PA message is generated and output.
  • FIG. 3 is a diagram showing the structure of the PA message.
  • the PA message 4 includes one or more MPTs 5.
  • Each MPT 5 includes asset information about one or more assets such as video and audio.
  • MPT 5 includes video asset information 6 and audio asset information 7.
  • the video asset information 6 includes a PID 61, an MPU time stamp descriptor 62, and an MPU extended time stamp descriptor 63.
  • the audio asset information 7 includes a PID 71, an MPU time stamp descriptor 72, and an MPU extended time stamp descriptor 73.
  • the MPU extended time stamp descriptors 63 and 73 include various types of time stamp information for the decoding apparatus 3 to calculate the decoding time and the presentation time.
  • the MPU extended time stamp descriptors 63 and 73 include pts_offset_type that defines a method for indicating a presentation time, timescale_flag that defines a method for indicating a time scale, a timescale that indicates a time scale, and a default_pts_offset that indicates an interval between presentation times.
  • the delay unit 115 delays the MFU and outputs it to the multiplexing unit 116.
  • the delay time in the delay unit 115 is set so that a time necessary for analyzing the information to be passed to the PA generation unit 114 can be secured, and the PA message can be advanced from the actual data.
  • the multiplexing unit 116 time-division-multiplexes and outputs the PA message from the PA generation unit 114 and the MFU such as video and audio delayed by the delay unit 115.
  • the MMT packet in which the PA message and the encoded MPU are multiplexed is delayed by a second time Y (s) from the output of the encoded MPU by the CPB buffer 112, and is sent to the MMT multiplexer 21. Is output.
  • the second time Y (s) of the present embodiment is defined as the maximum value of the time from the beginning to the end of the GOP at the output of the CPB buffer 112 and the MPT advance time to advance the MPT from the encoded MPU transmission.
  • the time is the sum of the values. That is, the second time Y (s) of the present embodiment is the maximum value of the GOP length G (s) of the GOP that is the MPU of the video at the time of encoding by the encoding unit 111, and the delay by the CPB buffer 112. And the maximum value of the first time X (s), and the specified value of the MPT advance time to advance the MPT from the transmission of the encoded MPU.
  • FIG. 4 is a flowchart showing an example of the PA message generation and MPU delay operations of the encoder of FIG.
  • the analysis unit 113 divides the MPU in which the audio signal is encoded and generates one MFU A1 (step S1)
  • the analysis unit 113 analyzes A1, and MP1_sequence_number for A1, the decoding time DTS, and the presentation time PTS. Etc. are output to the PA generator 114 (step S2).
  • the PA generation unit 114 receives MPU_sequence_number, decoding time DTS, and the like for A1, and determines whether the GOP has ended (step S3). If it is determined that the output is a time stamp by voice MFU and the GOP is not finished, the PA generation unit 114 does not generate a PA message.
  • the analysis unit 113 analyzes A2 as in step S2.
  • the analysis unit 113 also outputs MPU_sequence_number for A2 and a time stamp such as the decoding time DTS to the PA generation unit 114 (step S5).
  • the PA generation unit 114 receives MPU_sequence_number, decoding time DTS, and the like for A2, and determines whether the GOP has ended (step S6). When determining that the GOP has not ended, the PA generation unit 114 does not generate a PA message.
  • the analysis unit 113 divides the MPU of the video signal and generates V1 which is an MFU (step S7), the analysis unit 113 analyzes V1 in the same manner as in step S2.
  • MPU_sequence_number, a time stamp such as a decoding time DTS, and a GOP cycle are output to the PA generation unit 114 (step S8).
  • the PA generation unit 114 receives MPU_sequence_number, decoding time DTS, etc., and the video GOP cycle for V1, and determines whether the GOP has ended. For example, if it is assumed that the GOP has ended this time, the PA generation unit 114 detects the end of the GOP (step S9).
  • the PA generation unit 114 Upon detecting the end of the GOP, the PA generation unit 114 generates a PA message based on the MPU_sequence_number output from the analysis unit 113, the decoding time DTS, the presentation time PTS, and the video GOP period for the MFU that has not been output (step S10). ). If the video MFU V1 and the audio MFUs A1 and A2 are not output, a PA message is generated based on the decoding time DTS output from the analysis unit 113 for V1, A1, and A2.
  • the multiplexing unit 116 sends the PA message for the V1, A1, and A2 output from the PA generation unit 114 to the MMT.
  • the MMT packet multiplexed with signaling information SI (Signaling Information) for configuring the packet is output to the MMT multiplexer 21 (step S11). If the output timing of the PA message includes MFU delayed by the delay unit 115 that has not been output, an MMT packet in which the PA message is multiplexed including the MFU that has not been output may be output to the MMT multiplexer 21.
  • the delay unit 115 delays the video MFU V1 generated by the analysis unit 113 in step S1 and the audio MFUs A1 and A2 generated in step S7 and outputs them to the multiplexing unit 116, respectively (see FIG. Steps S12 to S14).
  • the multiplexing unit 116 does not multiplex the PA message from the PA generation unit 114 unless it is the output timing of the PA message, and multiplexes the encoded MPU with the signaling information SI and the like for configuring the MMT packet.
  • the packet is output to the MMT multiplexer 21 (steps S15 to S17).
  • the multiplexing unit 116 outputs the MMT packet in which the encoded MPU is multiplexed to the MMT multiplexer 21 at a timing delayed by a second time Y (s) from the output of the encoded MPU by the encoding unit 111.
  • the MMT multiplexer 21 performs time division multiplexing of the MMT packets sent from the encoders 11, 12... 1 n and outputs the MMT packets. As shown in FIG. 2, the MMT packet is output with a fixed third time M (s), for example, 0.18 (s) delay from the MMT packet output from the encoders 11, 12,.
  • M third time
  • FIG. 5 is a flowchart showing an example of the PA message reconstruction operation of the MMT multiplexer of FIG.
  • the encoder message 12 outputs a PA message 21p generated by the end of the voice MFU (step S21).
  • the MMT multiplexer 21 receives the PA message 21p from the encoder 12, and determines whether this PA message 21p is due to the end of the GOP (step S22). If it is determined that the PA message 21p is not due to the end of the GOP, the PA message 21p is temporarily stored without being reconstructed.
  • the MMT multiplexer 21 receives the PA message n1p from the encoder 1n, and determines whether it is due to the end of the GOP. (Step S24). If it is determined that the PA message n1p is not due to the end of the GOP, the MMT multiplexer 21 temporarily stores the PA message n1p without reconstructing it.
  • the MMT multiplexer 21 receives the PA message 11p from the encoder 11, and is it due to the end of the GOP? If it is determined that it is due to the end of the GOP (step S26), the PA message is reconstructed (step S27). That is, the MMT multiplexer 21 reconstructs and outputs one PA message based on the latest PA message 11p, PA message 21p, PA message n1p, signaling information SI, and the like of each encoder.
  • the MMT multiplexer 21 When the MMT multiplexer 21 reconstructs and outputs the PA message before, the MMT multiplexer 21 includes the PA message output from the encoder after the previous output and the PA message output before the previous output.
  • the PA message which is the latest for the encoder at the present time, and the PA message reconstructed based on the signaling information SI and the like for constructing the MMT packet are output.
  • PA messages 22p and 23p generated by the end of the voice MFU are output from the encoder 12 (steps S28 and S29), and the PA message generated by the end of the voice MFU from the encoder 1n. Assume that n2p is output (step S30). If the MMT multiplexer 21 determines that these PA messages 22p, 23p, and n2p are not due to the end of the GOP by a process not shown, the MMT multiplexer 21 temporarily stores the PA messages 22p, 23p, and n2p without performing reconstruction.
  • the MMT multiplexer 21 detects that a preset period, for example, a 100 ms period has elapsed since outputting the PA message reconstructed in step S27 (step S31), the plurality of encoders 11, 12,. -Reconstruct and output the PA message output from 1n. That is, the MMT multiplexer 21 outputs the PA message 22p, 23p, n2p output after step S27 and the PA message 11p output before step S27. A PA message reconstructed based on the signaling information SI for configuring the packet is output (step S32).
  • the MMT multiplexer 21 performs steps S31 and S32. If a PA message indicating the end of GOP is output from the encoder before a preset period has elapsed since the MMT multiplexer 21 outputs the reconstructed PA message, the processes of steps S26 and S27 are performed. With such an operation, as shown in FIG. 2, the MMT multiplexer 21 reconstructs and outputs a PA message at a timing set in advance with reference to the end of the video GOP, for example, a cycle of 100 ms.
  • the reconstructed PA message output is output with a delay of a fourth time P (s) from the PA message output from the encoders 11, 12,... 1n, as shown in FIG.
  • the fourth time P (s) is shorter than the third time M (s) from the output of the IP packet by the MMT multiplexer 21 to the output of the MMT packet.
  • P (s) is longer than 0.08 seconds at the shortest.
  • the TLV multiplexer 22 multiplexes TLV packets generated by the MMT multiplexer 21 and a TLV signaling generator (not shown) to generate a TLV format broadcast stream. As shown in FIG. 2, the TLV multiplexer 22 delays a fixed fifth time T (s), eg, 0.1 (s), from the reconstructed PA message and MMT packet output generated by the MMT multiplexer 21. To output a broadcast stream.
  • T fifth time
  • An RF (Radio Frequency) modulation process (not shown) is performed on the TLV-format broadcast stream generated by the TLV multiplexer 22 and sent to the RF transmission path 8.
  • the receiving device 3 of this embodiment includes a demultiplexer 31, a decoder buffer 32, an SI buffer 33, and a decoder 34.
  • the TLV format broadcast stream is input to the demultiplexer 31 by performing demodulation processing of an RF modulation signal (not shown) on the TLV format broadcast stream received via the RF transmission path 8.
  • the demultiplexer 31 performs demultiplex processing and depacketization processing on the broadcast stream, and extracts time stamp information such as signaling information SI, video and audio encoded data, decoding time, and presentation time.
  • the decoder buffer 32 In the decoder buffer 32, encoded video and audio data extracted by the demultiplexer 31 is temporarily stored.
  • the decoder buffer 32 outputs a delay from the output from the demultiplexer 31. As shown in FIG. 2, the sum of the delay time Z (s) by the decoder buffer 32 and the delay time X (s) in the CPB buffer 112 of the transmission apparatus 2 is constant, for example, 0.5 seconds.
  • the SI buffer 33 temporarily stores signaling information SI and time stamp information such as video and audio decoding time DTS and presentation time PTS.
  • the decoder 34 obtains the decoding time DTS and the presentation time PTS of each MFU based on the presentation time of the first MFU of the MPU and the time stamp information of each MFU.
  • the decoder 34 decodes each MFU stored in the decoder buffer 32 based on the decoding time DTS.
  • Each MFU is sequentially output from the decoder 34 at the timing of the presentation time PTS.
  • the transmission apparatus The minimum value of the time for sending the MPU after sending the PA message in FIG. 2 is equal to the minimum value of the advance time of the PA message for the output of the MMT packet of the MPU to the MMT multiplexer 21. This advance time is minimized when the time from the beginning to the end of the MPU is maximum in the output of the CPB buffer 112.
  • the second time Y (s) from the output of the encoded MPU by the CPB buffer 112 to the output of the MMT packet by the multiplexing unit 116 to the MMT multiplexer 21 is the CPB buffer.
  • the maximum value of the time from the beginning to the end of the MPU at the output of 112 that is, the maximum value of the GOP length G (s) at the time of encoding and the first time X (s) due to the delay in the CPB buffer 112
  • the MPT advance time can be secured above a specified value.
  • decoding can be reliably performed at the decoding time designated by the MPT in which the MPT advance time is ensured satisfactorily.
  • the specified value of the MPT advance time has been described based on the transmission of the encoded MPU, but is not limited thereto. For example, it may be defined based on the decoder buffer output of the receiving device.
  • the second time Y (s) from the output of the encoded MPU by the CPB buffer 112 of the transmission apparatus to the output of the MMT packet by the multiplexing unit 116 to the MMT multiplexer 21 is the time when the encoding is performed.
  • the maximum value of the GOP length G (s) at the time and the specified value of the MPT advance time for receiving the MPT first from the decoder buffer output of the MPU at the receiving device may be summed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ＭＰＴの先出し時間を良好に確保しＭＰＴにより指定される復号時刻にデコードを行うよう、送信装置２は、ＭＰＵの符号化からＸ（ｓ）後に符号化されたＭＰＵを出力するＣＰＢバッファ１１２と、符号化されたＭＰＵを解析して復号時刻を生成する解析部１１３と、復号時刻を指定するＭＰＴ５を含むＰＡメッセージ４を生成するＰＡ生成部１１４と、符号化されたＭＰＵを一時蓄積し遅延させて出力する遅延部１１５と、遅延された符号化されたＭＰＵ及びＰＡメッセージを多重化したＭＭＴパケットを符号化されたＭＰＵの出力からＹ（ｓ）後に出力する多重部１１６と、を有し、Ｙ（ｓ）は、ＧＯＰ長Ｇ（ｓ）の最大値と、Ｘ（ｓ）の最大値と、ＭＰＴ先出し時間の規定値を合計した時間である。

Description

送信装置、受信装置、送信方法及び受信方法
　本技術は、送信装置、受信装置、送信方法及び受信方法に関し、特に、ＭＭＴ（ＭＰＥＧ　Ｍｅｄｉａ　Ｔｒａｎｓｐｏｒｔ）方式の放送信号を送信又は受信する送信装置、受信装置、送信方法及び受信方法に関する。
　ＭＭＴ方式の放送信号を送信する送信装置及びその放送信号を受信する受信装置が、例えば特許文献１に開示されている。特許文献１に開示される送信装置は、最初に、ＭＰＵ（Ｍｅｄｉａ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、すなわちＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅ）についてのＭＰＴ（ＭＭＴ　Ｐａｃｋａｇｅ　Ｔａｂｌｅ）を含むＩＰパケットを伝送する。このＭＰＴには、ＭＰＵタイムスタンプ記述子及びＭＰＵ拡張タイムスタンプ記述子が挿入される。送信装置のエンコーダでエンコードされる際に、ＧＯＰの先頭のピクチャの提示時刻が割出され、その提示時刻がＭＰＵタイムスタンプ記述子に記述される。またＭＰＵ拡張タイムスタンプ記述子には、１）ＭＰＵ内において、復号順序で最初のアクセスユニットの復号時刻と提示順序で最初のアクセスユニットの提示時刻との差分値、２）各アクセスユニットの復号時刻と提示時刻との差分値、３）同一ＭＰＵ内における提示順序で直前のアクセスユニットの提示時刻と現在のアクセスユニットの提示時刻の差分値、４）タイムスケール、の４つの情報が記述される。このＭＰＴを含むシグナリング情報ＳＩを乗せたＩＰパケットが伝送された後に、それらのタイムスタンプに対応する映像信号、音声信号を乗せたＩＰパケットが伝送される。また受信装置のデマルチプレクサでは、デマルチプレクス処理およびデパケット化処理が行われる。デマルチプレクサで取り出される符号化データは、バッファに一時的に蓄積される。デマルチプレクサでは、ＭＰＴに含まれる映像、音声のＭＰＵタイムスタンプ記述子及びＭＰＵ拡張タイムスタンプ記述子から、ＭＰＵの最初のアクセスユニット（提示単位）の提示時刻、及び各アクセスユニットの復号時刻が取り出される。デコーダは、復号時刻および提示時刻のタイミングで、デコードバッファに蓄積されている各アクセスユニットのデコード処理を行う。
特許第５７０８８６６号公報
　受信装置は、特許文献１に開示されているように、ＭＰＴを解析してＭＰＵの各アクセスユニットの復号時刻、及び、提示時刻を求め、それらに基づいてデコードを行わなければならない。ＭＰＴを含むシグナリング情報ＳＩを乗せたＩＰパケットが伝送されてから、それらのタイムスタンプに対応する映像信号、音声信号を乗せたＩＰパケットが伝送されるまでの先出し時間が短い場合、所定の復号時刻および提示時刻にデコード及び出力を行うことが困難となる恐れがある。
　本発明は、ＭＰＴの先出し時間を良好に確保しＭＰＴにより指定される復号時刻にデコードを行うことができる送信装置、受信装置、送信方法及び受信方法を提供することを主な目的としている。
　本発明の１つの側面による送信装置は、ＭＰＵの符号化から第１の時間後に符号化されたＭＰＵを出力するＣＰＢバッファと、前記符号化されたＭＰＵを解析して復号時刻、及び、提示時刻を生成する解析部と、前記復号時刻、及び、提示時刻を指定するＭＰＴを含むＰＡメッセージを生成するＰＡ生成部と、前記符号化されたＭＰＵを一時蓄積し遅延させる遅延部と、遅延された前記符号化されたＭＰＵとその時点のＰＡメッセージとを多重化したＭＭＴパケットを前記符号化されたＭＰＵの出力から第２の時間後に出力する多重部と、を有し、前記第２の時間は、映像のＧＯＰ長の最大値と、前記第１の時間の最大値と、前記符号化されたＭＰＵの送信より前記ＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間である。
　また本発明の他の側面による送信方法は、ＭＰＵの符号化から第１の時間後に符号化されたＭＰＵを出力し、前記符号化されたＭＰＵを解析して復号時刻と提示時刻を求め、前記復号時刻、及び、提示時刻を指定するＭＰＴを含むＰＡメッセージを生成し、前記符号化されたＭＰＵを一時蓄積し遅延させ、遅延された前記符号化されたＭＰＵとその時点のＰＡメッセージとを多重化したＭＭＴパケットを前記符号化されたＭＰＵの出力から第２の時間後に出力し、前記第２の時間は、映像のＧＯＰ長の最大値と、前記第１の時間の最大値と、及び前記符号化されたＭＰＵの送信より前記ＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間である。
　また本発明のさらに他の側面による受信装置は、ＭＰＵの符号化から第１の時間後に出力された符号化されたＭＰＵが多重化され前記符号化されたＭＰＵの出力から第２の時間後に出力されたＭＭＴパケットと、前記符号化されたＭＰＵについての復号時刻と提示時刻を指定するＭＰＴを含むＰＡメッセージと、を受信し、前記ＭＭＴパケット及び前記ＰＡメッセージのデマルチプレクス処理を行うデマルチプレクサと、前記復号時刻と提示時刻を一時蓄積するＳＩバッファと、前記ＳＩバッファを参照して前記復号時刻に前記符号化されたＭＰＵをデコードし、提示時刻に出力するデコーダと、を有し、前記第２の時間は、映像のＧＯＰ長の最大値と、前記第１の時間の最大値と、前記符号化されたＭＰＵの送信より前記ＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間である。
　また本発明のさらに他の側面による受信方法は、ＭＰＵの符号化から第１の時間後に出力された符号化されたＭＰＵが多重化され前記符号化されたＭＰＵの出力から第２の時間後に出力された映像信号、音声信号と、前記符号化されたＭＰＵについての復号時刻を指定するＭＰＴを含むＰＡメッセージと、を受信し、前記映像信号、音声信号、及び、前記ＰＡメッセージのデマルチプレクス処理を行い、前記復号時刻と提示時刻を一時蓄積し、前記復号時刻に前記符号化されたＭＰＵをデコードし、提示時刻に出力し、前記第２の時間は、映像のＧＯＰ長の最大値と、前記第１の時間の最大値と、前記符号化されたＭＰＵの送信より前記ＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間である。
　本発明の上記側面によれば、ＭＰＴの先出し時間を良好に確保しＭＰＴにより指定される復号時刻にデコードを行うことができる。
第１の実施形態の構成の一例を示すブロック図である。 図１のＰＡメッセージ及びＭＰＵ送出の動作を示すタイミングチャートである。 ＰＡメッセージの構成の一例を示す図である。 図１のエンコーダのＰＡメッセージ生成及びＭＰＵ遅延の動作の一例を示す図である。 図１のＭＭＴマルチプレクサのＰＡメッセージ再構築の動作の一例を示す図である。
　次に例示的な第１の実施形態について図面を参照して説明する。
　図１は、第１の実施形態の構成の一例を示すブロック図である。図２は、図１のＰＡメッセージ及びＭＰＵ送出の動作を示すタイミングチャートである。図１に示すように放送システム１は、送信装置２と受信装置３とにより構成されている。
　まず送信装置２の構成について説明する。送信装置２は、図１に示すように１つ以上のエンコーダ１１、１２・・１ｎと、ＭＭＴマルチプレクサ２１と、ＴＬＶマルチプレクサ２２を備えている。エンコーダ１１は、図１に示すように符号化部１１１と、ＣＰＢ（Ｃｏｄｅｄ　Ｐｉｃｔｕｒｅ　Ｂｕｆｆｅｒ）バッファ１１２と、解析部１１３と、ＰＡ生成部１１４と、遅延部１１５と、多重部１１６を備えている。なお他のエンコーダ１２、・・１ｎもエンコーダ１１と同じ構成としてよい。
　符号化部１１１は、映像信号、音声信号、字幕等を符号化してＭＰＵをＣＰＢバッファ１１２に出力する。図２に示すように、符号化部１１１で符号化されたＭＰＵのＧＯＰ長Ｇ（ｓ）は、例えば０．５秒あるいは０．２５秒で出力される。
　ＣＰＢバッファ１１２は、図２に示すように符号化されたＭＰＵを一旦蓄積し、第１の時間であるＸ（ｓ）遅延して符号化されたＭＰＵを出力する。なおＸ（ｓ）は、各ＭＰＵのデータ量により変化する。
　解析部１１３は、ＭＰＵを分割したＭＦＵ（Ｍｅｄｉａ　Ｆｒａｇｍｅｎｔ　Ｕｎｉｔ）を生成する。ＭＦＵは、ＭＰＵよりも小さな単位であり、サンプルデータを分割したものがＭＦＵとなる。映像信号ではＮＡＬ（Ｎｅｔｗｏｒｋ　Ａｂｓｔｒａｃｔｉｏｎ　Ｌａｙｅｒ）ユニットをＭＦＵとし、音声信号ではアクセスユニットをＭＦＵとしてもよい。解析部１１３は、ＭＦＵを解析し、ＭＦＵについてＭＰＵ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒと、受信装置でデコードを開始する時刻を指定する復号時刻ＤＴＳ及び受信装置でデコード後に提示する時刻を指定する提示時刻ＰＴＳ等のタイムスタンプと映像のＧＯＰ周期をＰＡ生成部１１４に出力する。解析部１１３は、解析したＭＦＵを遅延部１１５に出力する。
　ＰＡ生成部１１４は、映像基準（ＧＯＰ周期）で解析部１１３からの上記の３つの情報や、エンコーダの設定値（Ｐａｃｋｅｔ　ＩＤや音声ＥＳ数等）の情報から、符号化されたＭＰＵについて、上記のタイムスタンプを指定するＭＰＴを含むＰＡメッセージを生成する。具体的には、ＰＡ生成部１１４は、音声のＭＰＵ周期割込み、及び映像のＭＰＵ周期割込みでタイムスタンプ記述子を生成する。映像のタイムスタンプ記述子生成後、ＰＡメッセージを生成し出力する。
　図３は、ＰＡメッセージの構成を示す図である。図３に示すように、ＰＡメッセージ４は１つ以上のＭＰＴ５を含んで構成される。またＭＰＴ５は、それぞれ１つ以上の映像や音声等のアセットについてのアセット情報を含んで構成されている。例えば図３に示すようにＭＰＴ５は、映像アセット情報６と音声アセット情報７を含む。
　映像アセット情報６は、ＰＩＤ６１と、ＭＰＵタイムスタンプ記述子６２とＭＰＵ拡張タイムスタンプ記述子６３を含む。同様に音声アセット情報７は、ＰＩＤ７１と、ＭＰＵタイムスタンプ記述子７２とＭＰＵ拡張タイムスタンプ記述子７３を含む。ＭＰＵ拡張タイムスタンプ記述子６３、７３には、受信装置３において復号時刻、提示時刻を算出するための各種のタイムスタンプ情報が含まれる。例えばＭＰＵ拡張タイムスタンプ記述子６３、７３は、提示時刻を示す方法を規定するｐｔｓ＿ｏｆｆｓｅｔ＿ｔｙｐｅ、タイムスケールを示す方法を規定するｔｉｍｅｓｃａｌｅ＿ｆｌａｇ、タイムスケールを示すｔｉｍｅｓｃａｌｅ、提示時刻の間隔を示すｄｅｆａｕｌｔ＿ｐｔｓ＿ｏｆｆｓｅｔなどである。
　遅延部１１５は、ＭＦＵを遅延して多重部１１６に出力する。遅延部１１５での遅延時間は、ＰＡ生成部１１４に渡す情報を解析するために必要な時間を確保できるよう、またＰＡメッセージを実データより先出しできるように設定される。
　多重部１１６は、ＰＡ生成部１１４からのＰＡメッセージ及び遅延部１１５により遅延された映像、音声などのＭＦＵを時分割多重して出力する。図２に示すように、ＣＰＢバッファ１１２による符号化されたＭＰＵの出力から第２の時間Ｙ（ｓ）遅延して、ＰＡメッセージ及び符号化されたＭＰＵを多重化したＭＭＴパケットがＭＭＴマルチプレクサ２１に出力される。
　本実施形態の第２の時間Ｙ（ｓ）は、ＣＰＢバッファ１１２の出力においてＧＯＰの先頭から終了までの時間の最大値と、符号化されたＭＰＵの送信よりＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間とされる。すなわち本実施形態の第２の時間Ｙ（ｓ）は、符号化部１１１で符号化された時点での映像のＭＰＵであるＧＯＰのＧＯＰ長Ｇ（ｓ）の最大値と、ＣＰＢバッファ１１２による遅延である第１の時間Ｘ（ｓ）の最大値と、符号化されたＭＰＵの送信よりＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間とされる。
　次にエンコーダの動作について説明する。図２に示すように、ＣＰＢバッファ１１２出力において符号化されたＭＰＵの出力終了のとき、そのＭＰＵについてのＭＰＵタイムスタンプ記述子等を含むＰＡメッセージ４が出力される。一方、エンコーダ出力（多重部１１６の出力）では、ＣＰＢバッファ１１２出力から第２の時間Ｙ（ｓ）遅延して符号化されたＭＰＵが出力される。
　図４は、図１のエンコーダのＰＡメッセージ生成及びＭＰＵ遅延の動作の一例を示すフローチャートである。
　解析部１１３が音声信号を符号化したＭＰＵを分割し、１つのＭＦＵであるＡ１を生成すると（ステップＳ１）、解析部１１３はＡ１を解析し、Ａ１についてＭＰＵ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒと、復号時刻ＤＴＳ及び提示時刻ＰＴＳ等のタイムスタンプをＰＡ生成部１１４に出力する（ステップＳ２）。ＰＡ生成部１１４は、Ａ１についてＭＰＵ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒと、復号時刻ＤＴＳ等を受信するとともに、ＧＯＰ終了か判断する（ステップＳ３）。音声のＭＦＵによるタイムスタンプ等の出力であり、ＧＯＰ終了ではないと判断すると、ＰＡ生成部１１４は、ＰＡメッセージは生成しない。
　次に解析部１１３が音声信号のＭＦＵであるＡ２を生成すると（ステップＳ４）、解析部１１３はステップＳ２と同様にＡ２を解析する。また解析部１１３はＡ２についてＭＰＵ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒと、復号時刻ＤＴＳ等のタイムスタンプをＰＡ生成部１１４に出力する（ステップＳ５）。ＰＡ生成部１１４はＡ２についてＭＰＵ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒと、復号時刻ＤＴＳ等を受信し、ＧＯＰ終了か判断する（ステップＳ６）。ＧＯＰ終了でないと判断するとＰＡ生成部１１４は、ＰＡメッセージを生成しない。
　次に解析部１１３が映像信号のＭＰＵを分割して、ＭＦＵであるＶ１を生成すると（ステップＳ７）、解析部１１３はステップＳ２と同様にＶ１を解析する。Ｖ１についてＭＰＵ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒと、復号時刻ＤＴＳ等のタイムスタンプ及びＧＯＰ周期をＰＡ生成部１１４に出力する（ステップＳ８）。ＰＡ生成部１１４はＶ１についてＭＰＵ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒと、復号時刻ＤＴＳ等と映像のＧＯＰ周期を受信し、ＧＯＰ終了か判断する。例えば今回はＧＯＰ終了であるとすると、ＰＡ生成部１１４は、ＧＯＰ終了を検知する（ステップＳ９）。ＧＯＰ終了を検知すると、ＰＡ生成部１１４は、未出力のＭＦＵについて、解析部１１３から出力されたＭＰＵ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒ、復号時刻ＤＴＳ、提示時刻ＰＴＳ、映像のＧＯＰ周期に基づいてＰＡメッセージを生成する（ステップＳ１０）。映像のＭＦＵであるＶ１と音声のＭＦＵであるＡ１、Ａ２について未出力であるとするとＶ１、Ａ１、Ａ２について解析部１１３から出力された復号時刻ＤＴＳ等に基づいてＰＡメッセージを生成する。
　多重部１１６は、ＰＡメッセージの出力タイミングに、遅延部１１５により遅延されたＭＦＵで未出力のものがなければ、ＰＡ生成部１１４から出力された上記Ｖ１、Ａ１、Ａ２についてのＰＡメッセージを、ＭＭＴパケットを構成するためのシグナリング情報ＳＩ（Ｓｉｇｎａｌｉｎｇ　Ｉｎｆｏｒｍａｔｉｏｎ）等と多重化したＭＭＴパケットをＭＭＴマルチプレクサ２１に出力する（ステップＳ１１）。なおＰＡメッセージの出力タイミングに、遅延部１１５により遅延されたＭＦＵで未出力のものがあれば、未出力のＭＦＵを含めＰＡメッセージを多重化したＭＭＴパケットをＭＭＴマルチプレクサ２１に出力してもよい。
　また遅延部１１５は、解析部１１３がステップＳ１で生成した映像のＭＦＵであるＶ１、ステップＳ４、ステップＳ７で生成した音声のＭＦＵであるＡ１、Ａ２を遅延してそれぞれ多重部１１６に出力する（ステップＳ１２からＳ１４）。多重部１１６は、ＰＡメッセージの出力タイミングでなければＰＡ生成部１１４からのＰＡメッセージとは多重せず、符号化されたＭＰＵを、ＭＭＴパケットを構成するためのシグナリング情報ＳＩ等と多重化したＭＭＴパケットをＭＭＴマルチプレクサ２１に出力する（ステップＳ１５からＳ１７）。多重部１１６は、符号化部１１１による符号化されたＭＰＵの出力から第２の時間Ｙ（ｓ）遅延したタイミングで、符号化されたＭＰＵを多重化したＭＭＴパケットをＭＭＴマルチプレクサ２１に出力する。
　ＭＭＴマルチプレクサ２１は、エンコーダ１１、１２・・１ｎから送られてくるＭＭＴパケットの時分割多重化を行ってＭＭＴパケットを出力する。図２に示すように、エンコーダ１１、１２・・・１ｎからのＭＭＴパケット出力から固定の第３の時間Ｍ（ｓ）、例えば０．１８（ｓ）遅延してＭＭＴパケットが出力される。
　また本実施形態のＭＭＴマルチプレクサ２１は、映像のＧＯＰ終了を基準として予め設定された周期、例えば１００ｍｓ周期のタイミングで複数のエンコーダ１１、１２、・・・１ｎから出力されたＰＡメッセージを再構築して出力する。図５は、図１のＭＭＴマルチプレクサのＰＡメッセージ再構築の動作の一例を示すフローチャートである。
　複数のエンコーダ１１、１２・・１ｎにおいてＣＰＢバッファ１１２から出力されるＭＦＵの終了時に、したがって異なるタイミングでＰＡメッセージが出力される。図５に示すように、例えばエンコーダ１２から音声のＭＦＵの終了により生成されたＰＡメッセージ２１ｐが出力される（ステップＳ２１）。ＭＭＴマルチプレクサ２１は、エンコーダ１２からＰＡメッセージ２１ｐを受信し、このＰＡメッセージ２１ｐはＧＯＰ終了によるものか判断する（ステップＳ２２）。このＰＡメッセージ２１ｐはＧＯＰ終了によるものではないと判断すると、再構築は行わずＰＡメッセージ２１ｐを一時蓄積する。
　次に例えばエンコーダ１ｎから音声のＭＦＵの終了により生成されたＰＡメッセージｎ１ｐが出力されると（ステップＳ２３）、ＭＭＴマルチプレクサ２１は、エンコーダ１ｎからＰＡメッセージｎ１ｐを受信し、ＧＯＰ終了によるものか判断する（ステップＳ２４）。ＰＡメッセージｎ１ｐはＧＯＰ終了によるものではないと判断すると、ＭＭＴマルチプレクサ２１は、再構築は行わずＰＡメッセージｎ１ｐを一時蓄積する。
　ここで例えばエンコーダ１１から映像のＭＦＵすなわちＧＯＰの終了により生成されたＰＡメッセージ１１ｐが出力されると（ステップＳ２５）、ＭＭＴマルチプレクサ２１は、エンコーダ１１からＰＡメッセージ１１ｐを受信し、ＧＯＰ終了によるものか判断し、ＧＯＰ終了によるものであると判断すると（ステップＳ２６）、ＰＡメッセージを再構築する（ステップＳ２７）。すなわちＭＭＴマルチプレクサ２１は、各エンコーダの最新のＰＡメッセージ１１ｐ、ＰＡメッセージ２１ｐ、ＰＡメッセージｎ１ｐ及びシグナリング情報ＳＩ等に基づいて１つのＰＡメッセージを再構築して出力する。なお、ＭＭＴマルチプレクサ２１は、以前にＰＡメッセージを再構築して出力している場合、前回の出力後にエンコーダから出力されたＰＡメッセージと、前回の出力前に出力されたＰＡメッセージであるが、各エンコーダにとって現時点でも最新であるＰＡメッセージと、ＭＭＴパケットを構成するためのシグナリング情報ＳＩ等に基づいて再構築したＰＡメッセージを出力する。
　その後、図５に示すように、エンコーダ１２から音声のＭＦＵの終了により生成されたＰＡメッセージ２２ｐ、２３ｐが出力され（ステップＳ２８、Ｓ２９）、エンコーダ１ｎから音声のＭＦＵの終了により生成されたＰＡメッセージｎ２ｐが出力されたとする（ステップＳ３０）。ＭＭＴマルチプレクサ２１は、図示しない処理によりこれらのＰＡメッセージ２２ｐ、２３ｐ、ｎ２ｐはＧＯＰ終了によるものではないと判断すると、再構築は行わずＰＡメッセージ２２ｐ、２３ｐ、ｎ２ｐを一時蓄積する。ここでＭＭＴマルチプレクサ２１は、ステップＳ２７において再構築したＰＡメッセージを出力してから予め設定された周期、例えば１００ｍｓ周期が経過したことを検出すると（ステップＳ３１）、複数のエンコーダ１１、１２、・・・１ｎから出力されたＰＡメッセージを再構築して出力する。すなわちＭＭＴマルチプレクサ２１は、ステップＳ２７の後に出力されたＰＡメッセージ２２ｐ、２３ｐ、ｎ２ｐと、ステップＳ２７の前に出力されたＰＡメッセージであるが、エンコーダ１１にとって現時点でも最新であるＰＡメッセージ１１ｐと、ＭＭＴパケットを構成するためのシグナリング情報ＳＩ等に基づいて再構築したＰＡメッセージを出力する（ステップＳ３２）。
　ＭＭＴマルチプレクサ２１が再構築したＰＡメッセージを出力してから予め設定された周期が経過する間にエンコーダからＧＯＰ終了によるＰＡメッセージが出力されなければ、ＭＭＴマルチプレクサ２１はステップＳ３１、Ｓ３２の処理を行う。またＭＭＴマルチプレクサ２１が再構築したＰＡメッセージを出力してから予め設定された周期が経過する前に、エンコーダからＧＯＰ終了によるＰＡメッセージが出力されると、ステップＳ２６、Ｓ２７の処理を行う。このような動作により、ＭＭＴマルチプレクサ２１は、図２に示すように、映像のＧＯＰ終了を基準として予め設定された周期、例えば１００ｍｓ周期のタイミングでＰＡメッセージを再構築して出力する。
　なお再構築されたＰＡメッセージ出力は、図２に示すようにエンコーダ１１、１２・・・１ｎからのＰＡメッセージ出力から第４の時間Ｐ（ｓ）遅延して出力される。第４の時間Ｐ（ｓ）は、ＭＭＴマルチプレクサ２１によるＩＰパケットの出力からＭＭＴパケットの出力までの第３の時間Ｍ（ｓ）より短い。Ｐ（ｓ）は、例えば最短でも０．０８秒よりは長い。
　ＴＬＶマルチプレクサ２２は、ＭＭＴマルチプレクサ２１および図示しないＴＬＶシグナリング生成部で生成されるＴＬＶパケットを多重化し、ＴＬＶ形式の放送ストリームを生成する。図２に示すようにＴＬＶマルチプレクサ２２は、ＭＭＴマルチプレクサ２１で生成される再構築されたＰＡメッセージ及びＭＭＴパケットの出力から、固定の第５の時間Ｔ（ｓ）、例えば０．１（ｓ）遅延して放送ストリームを出力する。
　ＴＬＶマルチプレクサ２２で生成されるＴＬＶ形式の放送ストリームに対して、図示しないＲＦ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ）変調処理が行われて、ＲＦ伝送路８に送出される。
　次に本実施形態の受信装置３について説明する。図１に示すように、受信装置３は、デマルチプレクサ３１と、デコーダバッファ３２と、ＳＩバッファ３３と、デコーダ３４と、を有している。
　デマルチプレクサ３１には、ＲＦ伝送路８を経由して受信されたＴＬＶ形式の放送ストリームに対し図示しないＲＦ変調信号の復調処理が行われてＴＬＶ形式の放送ストリームが入力される。デマルチプレクサ３１は、この放送ストリームに対して、デマルチプレクス処理およびデパケット化処理を行い、シグナリング情報ＳＩ、映像、音声の符号化データ、復号時刻及び提示時刻等のタイムスタンプ情報が取り出される。
　デコーダバッファ３２には、デマルチプレクサ３１で取り出される映像および音声の符号化データが一時的に蓄積される。デコーダバッファ３２は、デマルチプレクサ３１からの出力より遅延して出力する。図２に示すようにデコーダバッファ３２による遅延時間Ｚ（ｓ）と送信装置２のＣＰＢバッファ１１２における遅延時間Ｘ（ｓ）の合計は一定であり、例えば０．５秒とされる。
　ＳＩバッファ３３には、シグナリング情報ＳＩ及び映像、音声の復号時刻ＤＴＳ及び提示時刻ＰＴＳ等のタイムスタンプ情報が一時的に蓄積される。
　デコーダ３４では、ＭＰＵの最初のＭＦＵの提示時刻と、各ＭＦＵのタイムスタンプ情報に基づいて、各ＭＦＵの復号時刻ＤＴＳおよび提示時刻ＰＴＳが求められる。デコーダ３４では、復号時刻ＤＴＳに基づいて、デコーダバッファ３２に蓄積されている各ＭＦＵのデコード処理が行われる。またデコーダ３４から、各ＭＦＵが提示時刻ＰＴＳのタイミングで順次出力される。
　以上説明したようにＭＭＴマルチプレクサ２１によるＰＡメッセージの再構築にかかる第４の時間Ｐ（ｓ）がＭＰＵのＭＭＴパケットの多重化処理にかかる第３の時間Ｍ（ｓ）より短いことから、送信装置においてＰＡメッセージを送出してからＭＰＵを送出する時間の最小値は、ＭＭＴマルチプレクサ２１へのＭＰＵのＭＭＴパケットの出力に対するＰＡメッセージの先出し時間の最小値と等しい。この先出し時間が最小となるのは、ＣＰＢバッファ１１２の出力においてＭＰＵの先頭から終了までの時間が最大の場合である。本実施形態の送信装置によれば、ＣＰＢバッファ１１２による符号化されたＭＰＵの出力から、多重部１１６によるＭＭＴパケットのＭＭＴマルチプレクサ２１への出力までの第２の時間Ｙ（ｓ）は、ＣＰＢバッファ１１２の出力においてＭＰＵの先頭から終了までの時間の最大値（すなわち符号化された時点でのＧＯＰ長Ｇ（ｓ）の最大値とＣＰＢバッファ１１２での遅延による第１の時間Ｘ（ｓ）の最大値の合計）と、符号化されたＭＰＵの送信よりＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間とされている。この構成によりＭＰＴ先出し時間を規定値以上確保することができる。また本実施形態の受信装置によれば、ＭＰＴ先出し時間が良好に確保されたＭＰＴにより指定される復号時刻に確実にデコードを行うことができる。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　例えば、ＭＰＴ先出し時間の規定値は、符号化されたＭＰＵの送信を基準として説明したがこれに限らない。例えば受信装置のデコーダバッファ出力を基準として、規定されてもよい。この場合は、送信装置のＣＰＢバッファ１１２による符号化されたＭＰＵの出力から、多重部１１６によるＭＭＴパケットのＭＭＴマルチプレクサ２１への出力までの第２の時間Ｙ（ｓ）は、符号化された時点でのＧＯＰ長Ｇ（ｓ）の最大値と、受信装置でのＭＰＵのデコーダバッファ出力よりＭＰＴを先に受信するＭＰＴ先出し時間の規定値を合計した時間とすればよい。
　この出願は、２０１５年１２月２４日に出願された日本出願特願２０１５－２５１８６０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１　　放送システム
　２　　送信装置
　３　　受信装置
　１１、１２、１ｎ　　エンコーダ
　１１１　　符号化部
　１１２　　ＣＰＢバッファ
　１１３　　解析部
　１１４　　ＰＡ生成部
　１１５　　遅延部
　１１６　　多重部
　２１　　ＭＭＴマルチプレクサ
　２２　　ＴＬＶマルチプレクサ
　３１　　デマルチプレクサ
　３２　　デコーダバッファ
　３３　　ＳＩバッファ
　３４　　デコーダ
　４　　ＰＡメッセージ
　５　　ＭＰＴ
　６　　映像アセット情報
　７　　音声アセット情報
　６１、７１　　ＰＩＤ
　６２、７２　　ＭＰＵタイムスタンプ記述子
　６３、７３　　ＭＰＵ拡張タイムスタンプ記述子
　８　　ＲＦ伝送路

Claims (10)

  1. 　ＭＰＵの符号化から第１の時間後に符号化されたＭＰＵを出力するＣＰＢバッファと、
    　前記符号化されたＭＰＵを解析して復号時刻、及び、提示時刻を生成する解析手段と、
    　前記復号時刻、及び、提示時刻を指定するＭＰＴを含むＰＡメッセージを生成するＰＡ生成手段と、
    　前記符号化されたＭＰＵを一時蓄積し遅延させる遅延手段と、
    　遅延された前記符号化されたＭＰＵとその時点のＰＡメッセージとを多重化したＭＭＴパケットを前記符号化されたＭＰＵの出力から第２の時間後に出力する多重手段と、を有し、
    　前記第２の時間は、映像のＧＯＰ長の最大値と、前記第１の時間の最大値と、前記符号化されたＭＰＵの送信より前記ＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間である送信装置。
  2. 　前記ＰＡ生成手段は、前記符号化されたＭＰＵの出力終了のとき、前記ＭＰＵについて生成された復号時刻を含むＰＡメッセージを生成する、
    　請求項１に記載の送信装置。
  3. 　前記解析手段は、前記符号化されたＭＰＵを分割したＭＦＵを生成し、
    　前記ＭＦＵのそれぞれについて前記復号時刻を生成する、
    　請求項１又は２に記載の送信装置。
  4. 　前記ＣＰＢバッファと、前記ＰＡ生成手段と、前記多重手段を有する複数のエンコーダを有し、
    　前記複数のエンコーダから出力される前記ＭＭＴパケット及び前記ＰＡメッセージを多重化するマルチプレクサを有し、
    　前記マルチプレクサは、前記複数のエンコーダから出力された前記ＰＡメッセージを前記ＧＯＰの終了のとき再構築する、
    　請求項１から３のいずれかに記載の送信装置。
  5. 　前記マルチプレクサは、前記ＧＯＰの終了のとき、前記複数のエンコーダから出力された前記ＰＡメッセージに基づいてＰＡメッセージを再構築する、
    　請求項４に記載の送信装置。
  6. 　前記マルチプレクサは、前記ＧＯＰの終了からＧＯＰ周期より短い周期で前記複数のエンコーダから出力された前記ＰＡメッセージを再構築する、
    　請求項５に記載の送信装置。
  7. 　前記第２の時間は、固定時間とする、
    　請求項１から６のいずれかに記載の送信装置。
  8. 　ＭＰＵの符号化から第１の時間後に符号化されたＭＰＵを出力し、
    　前記符号化されたＭＰＵを解析して復号時刻と提示時刻を求め、
    　前記復号時刻、及び、提示時刻を指定するＭＰＴを含むＰＡメッセージを生成し、
    　前記符号化されたＭＰＵを一時蓄積し遅延させ、
    　遅延された前記符号化されたＭＰＵとその時点のＰＡメッセージとを多重化したＭＭＴパケットを前記符号化されたＭＰＵの出力から第２の時間後に出力し、
    　前記第２の時間は、映像のＧＯＰ長の最大値と、前記第１の時間の最大値と、及び前記符号化されたＭＰＵの送信より前記ＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間である送信方法。
  9. 　ＭＰＵの符号化から第１の時間後に出力された符号化されたＭＰＵが多重化され前記符号化されたＭＰＵの出力から第２の時間後に出力されたＭＭＴパケットと、前記符号化されたＭＰＵについての復号時刻と提示時刻を指定するＭＰＴを含むＰＡメッセージと、を受信し、前記ＭＭＴパケット及び前記ＰＡメッセージのデマルチプレクス処理を行うデマルチプレクサと、
    　前記復号時刻と提示時刻を一時蓄積するＳＩバッファと、
    　前記ＳＩバッファを参照して前記復号時刻に前記符号化されたＭＰＵをデコードし、提示時刻に出力するデコーダと、を有し、
    　前記第２の時間は、映像のＧＯＰ長の最大値と、前記第１の時間の最大値と、前記符号化されたＭＰＵの送信より前記ＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間である受信装置。
  10. 　ＭＰＵの符号化から第１の時間後に出力された符号化されたＭＰＵが多重化され前記符号化されたＭＰＵの出力から第２の時間後に出力された映像信号、音声信号と、前記符号化されたＭＰＵについての復号時刻を指定するＭＰＴを含むＰＡメッセージと、を受信し、
    　前記映像信号、音声信号、及び、前記ＰＡメッセージのデマルチプレクス処理を行い、
    　前記復号時刻と提示時刻を一時蓄積し、
    　前記復号時刻に前記符号化されたＭＰＵをデコードし、提示時刻に出力し、
    　前記第２の時間は、映像のＧＯＰ長の最大値と、前記第１の時間の最大値と、前記符号化されたＭＰＵの送信より前記ＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間である受信方法。
PCT/JP2016/088063 2015-12-24 2016-12-21 送信装置、受信装置、送信方法及び受信方法 WO2017110854A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015251860A JP6744092B2 (ja) 2015-12-24 2015-12-24 送信装置、受信装置、送信方法及び受信方法
JP2015-251860 2015-12-24

Publications (1)

Publication Number Publication Date
WO2017110854A1 true WO2017110854A1 (ja) 2017-06-29

Family

ID=59090715

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/088063 WO2017110854A1 (ja) 2015-12-24 2016-12-21 送信装置、受信装置、送信方法及び受信方法

Country Status (2)

Country Link
JP (1) JP6744092B2 (ja)
WO (1) WO2017110854A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015207984A (ja) * 2014-04-10 2015-11-19 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015207984A (ja) * 2014-04-10 2015-11-19 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
JP2017118327A (ja) 2017-06-29
JP6744092B2 (ja) 2020-08-19

Similar Documents

Publication Publication Date Title
US11978487B2 (en) Data transmission method, data playback method, data transmission device, and data playback device
CN110213618B (zh) 发送方法、接收方法、发送装置及接收装置
US20230396830A1 (en) Transmitting method, receiving method, transmitting apparatus, and receiving apparatus
US11743312B2 (en) Transmission method, reception method, transmission apparatus, and reception apparatus
KR20130014428A (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
US10194196B2 (en) Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein
JP2023115072A (ja) 送信方法、送信装置、受信方法、及び受信装置
US11128911B2 (en) Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein
US10797811B2 (en) Transmitting device and transmitting method, and receiving device and receiving method
US20180069728A1 (en) Transmission device, transmission method, reception device and reception method
JP2018182677A (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
KR101131836B1 (ko) 디지털 광고 삽입기를 위한 비동기 직렬 인터페이스 스위쳐
JP6957186B2 (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
WO2017110854A1 (ja) 送信装置、受信装置、送信方法及び受信方法
JP2008245061A (ja) Ｉｐストリーム伝送におけるｐｃｒ再生方式
JP2005530376A (ja) ディジタルストリームの動的多重化方法
WO2012068898A1 (zh) 移动多媒体广播中分级业务同步的方法、设备和系统
JP2023119869A (ja) 受信装置、放送システム、受信方法及びプログラム
US10531136B2 (en) Data processing device, data processing method, and program
JP6684433B2 (ja) 送信装置、送信方法、並びに、プログラム
JP2002353922A (ja) デジタル放送番組中継送出システム
KR20140026246A (ko) 하이브리드 환경에서의 증강 서비스 제공장치 및 수신장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16878741

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16878741

Country of ref document: EP

Kind code of ref document: A1