JP6744092B2 - Transmitting device, receiving device, transmitting method and receiving method - Google Patents

Transmitting device, receiving device, transmitting method and receiving method Download PDF

Info

Publication number
JP6744092B2
JP6744092B2 JP2015251860A JP2015251860A JP6744092B2 JP 6744092 B2 JP6744092 B2 JP 6744092B2 JP 2015251860 A JP2015251860 A JP 2015251860A JP 2015251860 A JP2015251860 A JP 2015251860A JP 6744092 B2 JP6744092 B2 JP 6744092B2
Authority
JP
Japan
Prior art keywords
time
mpu
encoded
output
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015251860A
Other languages
Japanese (ja)
Other versions
JP2017118327A (en
Inventor
直也 辻
直也 辻
橋本　清
清 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
NEC Corp
Original Assignee
NEC Platforms Ltd
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd, NEC Corp filed Critical NEC Platforms Ltd
Priority to JP2015251860A priority Critical patent/JP6744092B2/en
Priority to PCT/JP2016/088063 priority patent/WO2017110854A1/en
Publication of JP2017118327A publication Critical patent/JP2017118327A/en
Application granted granted Critical
Publication of JP6744092B2 publication Critical patent/JP6744092B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本技術は、送信装置、受信装置、送信方法及び受信方法に関し、特に、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）方式の放送信号を送信又は受信する送信装置、受信装置、送信方法及び受信方法に関する。 The present technology relates to a transmission device, a reception device, a transmission method, and a reception method, and more particularly, to a transmission device, a reception device, a transmission method, and a reception method that transmit or receive a broadcast signal of an MMT (MPEG Media Transport) system.

ＭＭＴ方式の放送信号を送信する送信装置及びその放送信号を受信する受信装置が、例えば特許文献１に開示されている。特許文献１に開示される送信装置は、最初に、ＭＰＵ（Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、すなわちＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）についてのＭＰＴ（ＭＭＴ Ｐａｃｋａｇｅ Ｔａｂｌｅ）を含むＩＰパケットを伝送する。このＭＰＴには、ＭＰＵタイムスタンプ記述子及びＭＰＵ拡張タイムスタンプ記述子が挿入される。送信装置のエンコーダでエンコードされる際に、ＧＯＰの先頭のピクチャの提示時刻が割出され、その提示時刻がＭＰＵタイムスタンプ記述子に記述される。またＭＰＵ拡張タイムスタンプ記述子には、１）ＭＰＵ内において、復号順序で最初のアクセスユニットの復号時刻と提示順序で最初のアクセスユニットの提示時刻との差分値、２）各アクセスユニットの復号時刻と提示時刻との差分値、３）同一ＭＰＵ内における提示順序で直前のアクセスユニットの提示時刻と現在のアクセスユニットの提示時刻の差分値、４）タイムスケール、の４つの情報が記述される。このＭＰＴを含むシグナリング情報ＳＩを乗せたＩＰパケットが伝送された後に、それらのタイムスタンプに対応する映像信号、音声信号を乗せたＩＰパケットが伝送される。また受信装置のデマルチプレクサでは、デマルチプレクス処理およびデパケット化処理が行われる。デマルチプレクサで取り出される符号化データは、バッファに一時的に蓄積される。デマルチプレクサでは、ＭＰＴに含まれる映像、音声のＭＰＵタイムスタンプ記述子及びＭＰＵ拡張タイムスタンプ記述子から、ＭＰＵの最初のアクセスユニット（提示単位）の提示時刻、及び各アクセスユニットの復号時刻が取り出される。デコーダは、復号時刻および提示時刻のタイミングで、デコードバッファに蓄積されている各アクセスユニットのデコード処理を行う。 For example, Patent Document 1 discloses a transmitter that transmits an MMT-system broadcast signal and a receiver that receives the broadcast signal. The transmission device disclosed in Patent Document 1 first transmits an IP packet including an MPT (Media Processing Unit), that is, an MPT (Group Of Picture) MPT (MMT Package Table). An MPU time stamp descriptor and an MPU extended time stamp descriptor are inserted into this MPT. When encoded by the encoder of the transmission device, the presentation time of the first picture of the GOP is calculated, and the presentation time is described in the MPU time stamp descriptor. In the MPU extended time stamp descriptor, 1) the difference between the decoding time of the first access unit in the decoding order and the presentation time of the first access unit in the presentation order in the MPU, 2) the decoding time of each access unit. And a presentation time, 3) four pieces of information are described: a difference value between the presentation time of the immediately preceding access unit and the presentation time of the current access unit in the presentation order within the same MPU, and 4) a time scale. After the IP packet carrying the signaling information SI including the MPT is transmitted, the IP packet carrying the video signal and the audio signal corresponding to those time stamps is transmitted. Further, the demultiplexer of the receiving device performs demultiplexing processing and depacketization processing. The encoded data extracted by the demultiplexer is temporarily stored in the buffer. The demultiplexer extracts the presentation time of the first access unit (presentation unit) of the MPU and the decoding time of each access unit from the MPU time stamp descriptor of the video and audio included in the MPT and the MPU extended time stamp descriptor. .. The decoder performs the decoding process of each access unit stored in the decoding buffer at the timing of the decoding time and the presentation time.

特許第５７０８８６６号Patent No. 5708866

受信装置は、特許文献１に開示されているように、ＭＰＴを解析してＭＰＵの各アクセスユニットの復号時刻、及び、提示時刻を求め、それらに基づいてデコードを行わなければならない。ＭＰＴを含むシグナリング情報ＳＩを乗せたＩＰパケットが伝送されてから、それらのタイムスタンプに対応する映像信号、音声信号を乗せたＩＰパケットが伝送されるまでの先出し時間が短い場合、所定の復号時刻および提示時刻にデコード及び出力を行うことが困難となる恐れがある。 As disclosed in Patent Document 1, the receiving device must analyze the MPT to obtain the decoding time and the presentation time of each access unit of the MPU, and perform the decoding based on them. If the advance time from the transmission of the IP packet carrying the signaling information SI including the MPT to the transmission of the IP packet carrying the video signal and audio signal corresponding to those time stamps is short, the predetermined decoding time Also, it may be difficult to decode and output at the presentation time.

本発明は、ＭＰＴの先出し時間を良好に確保しＭＰＴにより指定される復号時刻にデコードを行うことができる送信装置、受信装置、送信方法及び受信方法を提供することを主な目的としている。 The main object of the present invention is to provide a transmitting apparatus, a receiving apparatus, a transmitting method, and a receiving method capable of ensuring a good MPT advance time and performing decoding at a decoding time designated by the MPT.

本発明の１つの側面による送信装置は、ＭＰＵの符号化から第１の時間後に符号化されたＭＰＵを出力するＣＰＢバッファと、前記符号化されたＭＰＵを解析して復号時刻、及び、提示時刻を生成する解析部と、前記復号時刻、及び、提示時刻を指定するＭＰＴを含むＰＡメッセージを生成するＰＡ生成部と、前記符号化されたＭＰＵを一時蓄積し遅延させる遅延部と、遅延された前記符号化されたＭＰＵとその時点のＰＡメッセージとを多重化したＭＭＴパケットを前記符号化されたＭＰＵの出力から第２の時間後に出力する多重部と、を有し、前記第２の時間は、映像のＧＯＰ長の最大値と、前記第１の時間の最大値と、前記符号化されたＭＰＵの送信より前記ＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間である。 A transmission device according to one aspect of the present invention includes a CPB buffer that outputs a coded MPU after a first time from the coding of the MPU, a decoding time by analyzing the coded MPU, and a presentation time. A PA generation unit that generates a PA message including an MPT that specifies the decoding time and the presentation time; a delay unit that temporarily stores and delays the encoded MPU; And a multiplexer for outputting an MMT packet in which the encoded MPU and the PA message at that time are multiplexed, after a second time from the output of the encoded MPU, and the second time is , The maximum value of the GOP length of the video, the maximum value of the first time, and the specified value of the MPT advance time to advance the MPT from the transmission of the encoded MPU.

また本発明の他の側面による送信方法は、ＭＰＵの符号化から第１の時間後に符号化されたＭＰＵを出力し、前記符号化されたＭＰＵを解析して復号時刻と提示時刻を求め、前記復号時刻、及び、提示時刻を指定するＭＰＴを含むＰＡメッセージを生成し、前記符号化されたＭＰＵを一時蓄積し遅延させ、遅延された前記符号化されたＭＰＵとその時点のＰＡメッセージとを多重化したＭＭＴパケットを前記符号化されたＭＰＵの出力から第２の時間後に出力し、前記第２の時間は、映像のＧＯＰ長の最大値と、前記第１の時間の最大値と、及び前記符号化されたＭＰＵの送信より前記ＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間である。 A transmission method according to another aspect of the present invention outputs a coded MPU after a first time from the coding of the MPU, analyzes the coded MPU to obtain a decoding time and a presentation time, and A PA message including an MPT designating a decoding time and a presentation time is generated, the encoded MPU is temporarily accumulated and delayed, and the delayed encoded MPU and the PA message at that time are multiplexed. The encoded MMT packet is output a second time after the output of the encoded MPU, the second time being the maximum value of the GOP length of the video, the maximum value of the first time, and the It is the time obtained by summing the specified values of the MPT advance time to advance the MPT from the transmission of the encoded MPU.

また本発明のさらに他の側面による受信装置は、ＭＰＵの符号化から第１の時間後に出力された符号化されたＭＰＵが多重化され前記符号化されたＭＰＵの出力から第２の時間後に出力されたＭＭＴパケットと、前記符号化されたＭＰＵについての復号時刻と提示時刻を指定するＭＰＴを含むＰＡメッセージと、を受信し、前記ＭＭＴパケット及び前記ＰＡメッセージのデマルチプレクス処理を行うデマルチプレクサと、前記復号時刻と提示時刻を一時蓄積するＳＩバッファと、前記ＳＩバッファを参照して前記復号時刻に前記符号化されたＭＰＵをデコードし、提示時刻に出力するデコーダと、を有し、前記第２の時間は、映像のＧＯＰ長の最大値と、前記第１の時間の最大値と、前記符号化されたＭＰＵの送信より前記ＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間である。 In a receiving device according to still another aspect of the present invention, the coded MPU output after a first time from the MPU coding is multiplexed and output after a second time from the output of the coded MPU. A demultiplexer for receiving the MMT packet and the PA message including the MPT designating the decoding time and the presentation time for the encoded MPU, and performing the demultiplexing process for the MMT packet and the PA message; An SI buffer that temporarily stores the decoding time and the presentation time; and a decoder that refers to the SI buffer, decodes the MPU encoded at the decoding time, and outputs the MPU at the presentation time. The time of 2 is the time obtained by adding the maximum value of the GOP length of the video, the maximum value of the first time, and the specified value of the MPT advance time to advance the MPT from the transmission of the encoded MPU. ..

また本発明のさらに他の側面による受信方法は、ＭＰＵの符号化から第１の時間後に出力された符号化されたＭＰＵが多重化され前記符号化されたＭＰＵの出力から第２の時間後に出力された映像信号、音声信号と、前記符号化されたＭＰＵについての復号時刻を指定するＭＰＴを含むＰＡメッセージと、を受信し、前記映像信号、音声信号、及び、前記ＰＡメッセージのデマルチプレクス処理を行い、前記復号時刻と提示時刻を一時蓄積し、前記復号時刻に前記符号化されたＭＰＵをデコードし、提示時刻に出力し、前記第２の時間は、映像のＧＯＰ長の最大値と、前記第１の時間の最大値と、前記符号化されたＭＰＵの送信より前記ＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間である。 In a receiving method according to still another aspect of the present invention, an encoded MPU output after a first time from the encoding of the MPU is multiplexed and output after a second time from the output of the encoded MPU. And a PA message including an MPT designating a decoding time for the encoded MPU, and demultiplexing the video signal, the audio signal, and the PA message. The decoding time and the presentation time are temporarily stored, the encoded MPU is decoded at the decoding time, and the decoding time is output at the presentation time, and the second time is the maximum value of the GOP length of the video, It is the time obtained by adding the maximum value of the first time and the specified value of the MPT advance time to advance the MPT from the transmission of the encoded MPU.

本発明の上記側面によれば、ＭＰＴの先出し時間を良好に確保しＭＰＴにより指定される復号時刻にデコードを行うことができる。 According to the above aspects of the present invention, it is possible to secure a good advance time for MPT and perform decoding at the decoding time designated by MPT.

第１の実施形態の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of 1st Embodiment. 図１のＰＡメッセージ及びＭＰＵ送出の動作を示すタイミングチャートである。3 is a timing chart showing the operation of sending the PA message and MPU of FIG. 1. ＰＡメッセージの構成の一例を示す図である。It is a figure which shows an example of a structure of a PA message. 図１のエンコーダのＰＡメッセージ生成及びＭＰＵ遅延の動作の一例を示す図である。3 is a diagram showing an example of operations of PA message generation and MPU delay of the encoder of FIG. 1. FIG. 図１のＭＭＴマルチプレクサのＰＡメッセージ再構築の動作の一例を示す図である。FIG. 6 is a diagram showing an example of a PA message reconstruction operation of the MMT multiplexer of FIG. 1.

次に例示的な第１の実施形態について図面を参照して説明する。 Next, a first exemplary embodiment will be described with reference to the drawings.

図１は、第１の実施形態の構成の一例を示すブロック図である。図２は、図１のＰＡメッセージ及びＭＰＵ送出の動作を示すタイミングチャートである。図１に示すように放送システム１は、送信装置２と受信装置３とにより構成されている。 FIG. 1 is a block diagram showing an example of the configuration of the first embodiment. FIG. 2 is a timing chart showing the operation of sending the PA message and MPU of FIG. As shown in FIG. 1, the broadcasting system 1 is composed of a transmitter 2 and a receiver 3.

まず送信装置２の構成について説明する。送信装置２は、図１に示すように１つ以上のエンコーダ１１、１２・・１ｎと、ＭＭＴマルチプレクサ２１と、ＴＬＶマルチプレクサ２２を備えている。エンコーダ１１は、図１に示すように符号化部１１１と、ＣＰＢ（Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）バッファ１１２と、解析部１１３と、ＰＡ生成部１１４と、遅延部１１５と、多重部１１６を備えている。なお他のエンコーダ１２、・・１ｎもエンコーダ１１と同じ構成としてよい。 First, the configuration of the transmitter 2 will be described. As shown in FIG. 1, the transmission device 2 includes one or more encoders 11, 12... 1n, an MMT multiplexer 21, and a TLV multiplexer 22. As shown in FIG. 1, the encoder 11 includes an encoding unit 111, a CPB (coded picture buffer) buffer 112, an analysis unit 113, a PA generation unit 114, a delay unit 115, and a multiplexing unit 116. The other encoders 12... 1n may have the same configuration as the encoder 11.

符号化部１１１は、映像信号、音声信号、字幕等を符号化してＭＰＵをＣＰＢバッファ１１２に出力する。図２に示すように、符号化部１１１で符号化されたＭＰＵのＧＯＰ長Ｇ（ｓ）は、例えば０．５秒あるいは０．２５秒で出力される。 The encoding unit 111 encodes a video signal, an audio signal, a caption, etc., and outputs the MPU to the CPB buffer 112. As shown in FIG. 2, the GOP length G(s) of the MPU coded by the coding unit 111 is output in 0.5 seconds or 0.25 seconds, for example.

ＣＰＢバッファ１１２は、図２に示すように符号化されたＭＰＵを一旦蓄積し、第１の時間であるＸ（ｓ）遅延して符号化されたＭＰＵを出力する。なおＸ（ｓ）は、各ＭＰＵのデータ量により変化する。 The CPB buffer 112 temporarily stores the encoded MPU as shown in FIG. 2, delays X(s) which is the first time, and outputs the encoded MPU. Note that X(s) changes depending on the data amount of each MPU.

解析部１１３は、ＭＰＵを分割したＭＦＵ（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ）を生成する。ＭＦＵは、ＭＰＵよりも小さな単位であり、サンプルデータを分割したものがＭＦＵとなる。映像信号ではＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットをＭＦＵとし、音声信号ではアクセスユニットをＭＦＵとしてもよい。解析部１１３は、ＭＦＵを解析し、ＭＦＵについてＭＰＵ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒと、受信装置でデコードを開始する時刻を指定する復号時刻ＤＴＳ及び受信装置でデコード後に提示する時刻を指定する提示時刻ＰＴＳ等のタイムスタンプと映像のＧＯＰ周期をＰＡ生成部１１４に出力する。解析部１１３は、解析したＭＦＵを遅延部１１５に出力する。 The analysis unit 113 generates an MFU (Media Fragment Unit) obtained by dividing the MPU. The MFU is a unit smaller than the MPU, and the sample data is divided into the MFU. For video signals, a NAL (Network Abstraction Layer) unit may be an MFU, and for an audio signal, an access unit may be an MFU. The analysis unit 113 analyzes the MFU, and for the MFU, MPU_sequence_number, a decoding time DTS that specifies the time when decoding is started by the receiving device, and a time stamp and video such as a presentation time PTS that specifies the time to be presented after decoding by the receiving device. The GOP cycle of the above is output to the PA generation unit 114. The analysis unit 113 outputs the analyzed MFU to the delay unit 115.

ＰＡ生成部１１４は、映像基準（ＧＯＰ周期）で解析部１１３からの上記の３つの情報や、エンコーダの設定値（Ｐａｃｋｅｔ ＩＤや音声ＥＳ数等）の情報から、符号化されたＭＰＵについて、上記のタイムスタンプを指定するＭＰＴを含むＰＡメッセージを生成する。具体的には、ＰＡ生成部１１４は、音声のＭＰＵ周期割込み、及び映像のＭＰＵ周期割込みでタイムスタンプ記述子を生成する。映像のタイムスタンプ記述子生成後、ＰＡメッセージを生成し出力する。 The PA generation unit 114 uses the above-mentioned three pieces of information from the analysis unit 113 based on the video reference (GOP cycle) and the information of the encoder setting values (Packet ID, number of audio ESs, etc.) to obtain the above information about the encoded MPU. Generate a PA message that includes an MPT that specifies the time stamp of Specifically, the PA generation unit 114 generates a time stamp descriptor with an audio MPU cycle interrupt and a video MPU cycle interrupt. After the time stamp descriptor of the video is generated, a PA message is generated and output.

図３は、ＰＡメッセージの構成を示す図である。図３に示すように、ＰＡメッセージ４は１つ以上のＭＰＴ５を含んで構成される。またＭＰＴ５は、それぞれ１つ以上の映像や音声等のアセットについてのアセット情報を含んで構成されている。例えば図３に示すようにＭＰＴ５は、映像アセット情報６と音声アセット情報７を含む。 FIG. 3 is a diagram showing the structure of a PA message. As shown in FIG. 3, the PA message 4 is configured to include one or more MPTs 5. The MPT 5 is configured to include asset information about one or more assets such as video and audio. For example, as shown in FIG. 3, the MPT 5 includes video asset information 6 and audio asset information 7.

映像アセット情報６は、ＰＩＤ６１と、ＭＰＵタイムスタンプ記述子６２とＭＰＵ拡張タイムスタンプ記述子６３を含む。同様に映像アセット情報７は、ＰＩＤ７１と、ＭＰＵタイムスタンプ記述子７２とＭＰＵ拡張タイムスタンプ記述子７３を含む。ＭＰＵ拡張タイムスタンプ記述子６３、７３には、受信装置３において復号時刻、提示時刻を算出するための各種のタイムスタンプ情報が含まれる。例えばＭＰＵ拡張タイムスタンプ記述子６３、７３は、提示時刻を示す方法を規定するｐｔｓ＿ｏｆｆｓｅｔ＿ｔｙｐｅ、タイムスケールを示す方法を規定するｔｉｍｅｓｃａｌｅ＿ｆｌａｇ、タイムスケールを示すｔｉｍｅｓｃａｌｅ、提示時刻の間隔を示すｄｅｆａｕｌｔ＿ｐｔｓ＿ｏｆｆｓｅｔなどである。 The video asset information 6 includes a PID 61, an MPU time stamp descriptor 62 and an MPU extended time stamp descriptor 63. Similarly, the video asset information 7 includes a PID 71, an MPU time stamp descriptor 72 and an MPU extended time stamp descriptor 73. The MPU extended time stamp descriptors 63 and 73 include various time stamp information for calculating the decoding time and the presentation time in the receiving device 3. For example, the MPU extended time stamp descriptors 63 and 73 are pts_offset_type that specifies a method of indicating the presentation time, timescale_flag that specifies a method of indicating the time scale, timescale that indicates the time scale, and default_pts_offset that indicates the interval of the presentation time.

遅延部１１５は、ＭＦＵを遅延して多重部１１６に出力する。遅延部１１３での遅延時間は、ＰＡ生成部１１２に渡す情報を解析するために必要な時間を確保できるよう、またＰＡメッセージを実データより先出しできるように設定される。 The delay unit 115 delays the MFU and outputs it to the multiplexing unit 116. The delay time in the delay unit 113 is set so that the time required to analyze the information passed to the PA generation unit 112 can be secured and that the PA message can be put ahead of the actual data.

多重部１１６は、ＰＡ生成部１１４からのＰＡメッセージ及び遅延部１１５により遅延された映像、音声などのＭＦＵを時分割多重して出力する。図２に示すように、ＣＰＢバッファ１１２による符号化されたＭＰＵの出力から第２の時間Ｙ（ｓ）遅延して、ＰＡメッセージ及び符号化されたＭＰＵを多重化したＭＭＴパケットがＭＭＴマルチプレクサ２１に出力される。 The multiplexing unit 116 time-division-multiplexes the PA message from the PA generation unit 114 and the MFU such as video and audio delayed by the delay unit 115 and outputs the MFU. As shown in FIG. 2, the MMT packet in which the PA message and the encoded MPU are multiplexed is delayed by the second time Y(s) from the output of the encoded MPU by the CPB buffer 112 to the MMT multiplexer 21. Is output.

本実施形態の第２の時間Ｙ（ｓ）は、ＣＰＢバッファ１１２の出力においてＧＯＰの先頭から終了までの時間の最大値と、符号化されたＭＰＵの送信よりＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間とされる。すなわち本実施形態の第２の時間Ｙ（ｓ）は、符号化部１１１で符号化された時点での映像のＭＰＵであるＧＯＰのＧＯＰ長Ｇ（ｓ）の最大値と、ＣＰＢバッファ１１２による遅延である第１の時間Ｘ（ｓ）の最大値と、符号化されたＭＰＵの送信よりＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間とされる。 The second time Y(s) of the present embodiment is the maximum value of the time from the beginning of the GOP to the end of the output of the CPB buffer 112 and the MPT advance time for preempting the MPT from the transmission of the encoded MPU. The time is the sum of the values. That is, the second time Y(s) of this embodiment is the maximum value of the GOP length G(s) of the GOP which is the MPU of the video at the time of being encoded by the encoding unit 111, and the delay by the CPB buffer 112. Which is the maximum value of the first time X(s) and the specified value of the MPT advance time to advance the MPT from the transmission of the encoded MPU.

次にエンコーダの動作について説明する。図２に示すように、ＣＰＢバッファ１１２出力において符号化されたＭＰＵの出力終了のとき、そのＭＰＵについてのＭＰＵタイムスタンプ記述子等を含むＰＡメッセージ４が出力される。一方、エンコーダ出力（多重部１１６の出力）では、ＣＰＢバッファ１１２出力から第２の時間Ｙ（ｓ）遅延して符号化されたＭＰＵが出力される。 Next, the operation of the encoder will be described. As shown in FIG. 2, when the output of the MPU coded at the output of the CPB buffer 112 is completed, the PA message 4 including the MPU time stamp descriptor of the MPU is output. On the other hand, at the encoder output (the output of the multiplexing unit 116), the MPU coded with the second time Y(s) delayed from the CPB buffer 112 output is output.

図４は、図１のエンコーダのＰＡメッセージ生成及びＭＰＵ遅延の動作の一例を示すフローチャートである。 FIG. 4 is a flowchart showing an example of operations of PA message generation and MPU delay of the encoder of FIG.

解析部１１３が音声信号を符号化したＭＰＵを分割し、１つのＭＦＵであるＡ１を生成すると（ステップＳ１）、解析部１１３はＡ１を解析し、Ａ１についてＭＰＵ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒと、復号時刻ＤＴＳ及び提示時刻ＰＴＳ等のタイムスタンプをＰＡ生成部１１４に出力する（ステップＳ２）。ＰＡ生成部１１４は、Ａ１についてＭＰＵ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒと、復号時刻ＤＴＳ等を受信するとともに、ＧＯＰ終了か判断する（ステップＳ３）。音声のＭＦＵによるタイムスタンプ等の出力であり、ＧＯＰ終了ではないと判断すると、ＰＡ生成部１１４は、ＰＡメッセージは生成しない。 When the analysis unit 113 divides the MPU that encodes the audio signal and generates one MFU A1 (step S1), the analysis unit 113 analyzes A1 and analyzes M1_MPU_sequence_number, decoding time DTS, and presentation time PTS. The time stamps such as "1" are output to the PA generation unit 114 (step S2). The PA generation unit 114 receives the MPU_sequence_number, the decoding time DTS, and the like for A1, and determines whether the GOP ends (step S3). When it is determined that the time stamp or the like is output by the audio MFU and the GOP is not ended, the PA generation unit 114 does not generate the PA message.

次に解析部１１３が音声信号のＭＦＵであるＡ２を生成すると（ステップＳ４）、解析部１１３はステップＳ２と同様にＡ２を解析する。また解析部１１３はＡ２についてＭＰＵ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒと、復号時刻ＤＴＳ等のタイムスタンプをＰＡ生成部１１４に出力する（ステップＳ５）。ＰＡ生成部１１４はＡ２についてＭＰＵ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒと、復号時刻ＤＴＳ等を受信し、ＧＯＰ終了か判断する（ステップＳ６）。ＧＯＰ終了でないと判断するとＰＡ生成部１１４は、ＰＡメッセージを生成しない。 Next, when the analysis unit 113 generates A2 which is the MFU of the audio signal (step S4), the analysis unit 113 analyzes A2 as in step S2. Further, the analysis unit 113 outputs the MPU_sequence_number for A2 and the time stamp such as the decoding time DTS to the PA generation unit 114 (step S5). The PA generation unit 114 receives the MPU_sequence_number, the decoding time DTS, and the like for A2, and determines whether GOP has ended (step S6). If it is determined that the GOP has not ended, the PA generation unit 114 does not generate a PA message.

次に解析部１１３が映像信号のＭＰＵを分割して、ＭＦＵであるＶ１を生成すると（ステップＳ７）、解析部１１３はステップＳ２と同様にＶ１を解析する。Ｖ１についてＭＰＵ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒと、復号時刻ＤＴＳ等のタイムスタンプ及びＧＯＰ周期をＰＡ生成部１１４に出力する（ステップＳ８）。ＰＡ生成部１１４はＶ１についてＭＰＵ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒと、復号時刻ＤＴＳ等と映像のＧＯＰ周期を受信し、ＧＯＰ終了か判断する。例えば今回はＧＯＰ終了であるとすると、ＰＡ生成部１１４は、ＧＯＰ終了を検知する（ステップＳ９）。ＧＯＰ終了を検知すると、ＰＡ生成部１１４は、未出力のＭＦＵについて、解析部１１３から出力されたＭＰＵ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒ、復号時刻ＤＴＳ、提示時刻ＰＴＳ、映像のＧＯＰ周期に基づいてＰＡメッセージを生成する（ステップＳ１０）。映像のＭＦＵであるＶ１と音声のＭＦＵであるＡ１、Ａ２について未出力であるとするとＶ１、Ａ１、Ａ２について解析部１１３から出力された復号時刻ＤＴＳ等に基づいてＰＡメッセージを生成する。 Next, when the analysis unit 113 divides the MPU of the video signal to generate V1 which is an MFU (step S7), the analysis unit 113 analyzes V1 as in step S2. The MPU_sequence_number for V1, the time stamp such as the decoding time DTS, and the GOP cycle are output to the PA generation unit 114 (step S8). The PA generation unit 114 receives the MPU_sequence_number, the decoding time DTS, and the GOP cycle of the video for V1, and determines whether the GOP ends. For example, if it is the end of GOP this time, the PA generation unit 114 detects the end of GOP (step S9). When the GOP end is detected, the PA generation unit 114 generates a PA message for the MFU that has not been output, based on the MPU_sequence_number output from the analysis unit 113, the decoding time DTS, the presentation time PTS, and the GOP cycle of the video (step S10). ). If the video MFU V1 and the audio MFUs A1 and A2 have not been output, a PA message is generated for V1, A1, and A2 based on the decoding time DTS and the like output from the analysis unit 113.

多重部１１６は、ＰＡメッセージの出力タイミングに、遅延部１１５により遅延されたＭＦＵで未出力のものがなければ、ＰＡ生成部１１４から出力された上記Ｖ１、Ａ１、Ａ２についてのＰＡメッセージを、ＭＭＴパケットを構成するためのシグナリング情報ＳＩ（Ｓｉｇｎａｌｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ）等と多重化したＭＭＴパケットをＭＭＴマルチプレクサ２１に出力する（ステップＳ１１）。なおＰＡメッセージの出力タイミングに、遅延部１１５により遅延されたＭＦＵで未出力のものがあれば、未出力のＭＦＵを含めＰＡメッセージを多重化したＭＭＴパケットをＭＭＴマルチプレクサ２１に出力してもよい。 If there is no MFU delayed by the delay unit 115 that has not been output at the output timing of the PA message, the multiplexing unit 116 outputs the PA message for V1, A1, and A2 output from the PA generation unit 114 to the MMT. The MMT packet multiplexed with signaling information SI (Signaling Information) for forming the packet is output to the MMT multiplexer 21 (step S11). Note that if the output timing of the PA message includes any MFU delayed by the delay unit 115 that has not been output, the MMT packet in which the PA message including the unoutput MFU is multiplexed may be output to the MMT multiplexer 21.

また遅延部１１５は、解析部１１３がステップＳ１で生成した映像のＭＦＵであるＶ１、ステップＳ４、ステップＳ７で生成した音声のＭＦＵであるＡ１、Ａ２を遅延してそれぞれ多重部１１６に出力する（ステップＳ１２からＳ１４）。多重部１１６は、ＰＡメッセージの出力タイミングでなければＰＡ生成部１１４からのＰＡメッセージとは多重せず、符号化されたＭＰＵを、ＭＭＴパケットを構成するためのシグナリング情報ＳＩ等と多重化したＭＭＴパケットをＭＭＴマルチプレクサ２１に出力する（ステップＳ１５からＳ１７）。多重部１１６は、符号化部１１１による符号化されたＭＰＵの出力から第２の時間Ｙ（ｓ）遅延したタイミングで、符号化されたＭＰＵを多重化したＭＭＴパケットをＭＭＴマルチプレクサ２１に出力する。 Further, the delay unit 115 delays the video MFU V1 generated in step S1 by the analysis unit 113, the audio MFUs A1 and A2 generated in steps S4 and S7, and outputs them to the multiplexing unit 116 ( Steps S12 to S14). The multiplexing unit 116 does not multiplex the PA message from the PA generation unit 114 unless it is the output timing of the PA message, and multiplexes the encoded MPU with the signaling information SI or the like for forming the MMT packet. The packet is output to the MMT multiplexer 21 (steps S15 to S17). The multiplexing unit 116 outputs the MMT packet in which the encoded MPU is multiplexed to the MMT multiplexer 21 at the timing delayed by the second time Y(s) from the output of the encoded MPU by the encoding unit 111.

ＭＭＴマルチプレクサ２１は、エンコーダ１１、１２・・１ｎから送られてくるＭＭＴパケットの時分割多重化を行ってＭＭＴパケットを出力する。図２に示すように、エンコーダ１１、１２・・・１ｎからのＭＭＴパケット出力から固定の第３の時間Ｍ（ｓ）、例えば０．１８（ｓ）遅延してＭＭＴパケットが出力される。 The MMT multiplexer 21 performs time division multiplexing on the MMT packets sent from the encoders 11, 12,... 1n and outputs the MMT packets. As shown in FIG. 2, the MMT packet is output after a fixed third time M(s), for example, 0.18 (s), from the MMT packet output from the encoders 11, 12... 1n.

また本実施形態のＭＭＴマルチプレクサ２１は、映像のＧＯＰ終了を基準として予め設定された周期、例えば１００ｍｓ周期のタイミングで複数のエンコーダ１１、１２、・・・１ｎから出力されたＰＡメッセージを再構築して出力する。図５は、図１のＭＭＴマルチプレクサのＰＡメッセージ再構築の動作の一例を示すフローチャートである。 Further, the MMT multiplexer 21 of the present embodiment reconstructs the PA message output from the plurality of encoders 11, 12,... 1n at a timing of a preset cycle, for example, a 100 ms cycle with reference to the end of the video GOP. Output. FIG. 5 is a flowchart showing an example of the PA message reconstruction operation of the MMT multiplexer of FIG.

複数のエンコーダ１１、１２・・１ｎにおいてＣＰＢバッファ１１２から出力されるＭＦＵの終了時に、したがって異なるタイミングでＰＡメッセージが出力される。図５に示すように、例えばエンコーダ１２から音声のＭＦＵの終了により生成されたＰＡメッセージ２１ｐが出力される（ステップＳ２１）。ＭＭＴマルチプレクサ２１は、エンコーダ１２からＰＡメッセージ２１ｐを受信し、このＰＡメッセージ２１ｐはＧＯＰ終了によるものか判断する（ステップＳ２２）。このＰＡメッセージ２１ｐはＧＯＰ終了によるものではないと判断すると、再構築は行わずＰＡメッセージ２１ｐを一時蓄積する。 The PA message is output at the end of the MFU output from the CPB buffer 112 in the plurality of encoders 11, 12... 1n, and thus at different timings. As shown in FIG. 5, for example, the encoder 12 outputs the PA message 21p generated by the end of the voice MFU (step S21). The MMT multiplexer 21 receives the PA message 21p from the encoder 12, and determines whether this PA message 21p is due to the end of GOP (step S22). When it is determined that the PA message 21p is not due to the end of GOP, the PA message 21p is temporarily stored without being reconstructed.

次に例えばエンコーダ１ｎから音声のＭＦＵの終了により生成されたＰＡメッセージｎ１ｐが出力されると（ステップＳ２３）、ＭＭＴマルチプレクサ２１は、エンコーダ１ｎからＰＡメッセージｎ１ｐを受信し、ＧＯＰ終了によるものか判断する（ステップＳ２４）。ＰＡメッセージｎ１ｐはＧＯＰ終了によるものではないと判断すると、ＭＭＴマルチプレクサ２１は、再構築は行わずＰＡメッセージｎ１ｐを一時蓄積する。 Next, for example, when the PA message n1p generated by the end of the audio MFU is output from the encoder 1n (step S23), the MMT multiplexer 21 receives the PA message n1p from the encoder 1n and determines whether it is due to the GOP end. (Step S24). When determining that the PA message n1p is not due to the end of GOP, the MMT multiplexer 21 temporarily stores the PA message n1p without performing reconstruction.

ここで例えばエンコーダ１１から映像のＭＦＵすなわちＧＯＰの終了により生成されたＰＡメッセージ１１ｐが出力されると（ステップＳ２５）、ＭＭＴマルチプレクサ２１は、エンコーダ１１からＰＡメッセージ１１ｐを受信し、ＧＯＰ終了によるものか判断し、ＧＯＰ終了によるものであると判断すると（ステップＳ２６）、ＰＡメッセージを再構築する（ステップＳ２７）。すなわちＭＭＴマルチプレクサ２１は、各エンコーダの最新のＰＡメッセージ１１ｐ、ＰＡメッセージ２１ｐ、ＰＡメッセージｎ１ｐ及びシグナリング情報ＳＩ等に基づいて１つのＰＡメッセージを再構築して出力する。なお、ＭＭＴマルチプレクサ２１は、以前にＰＡメッセージを再構築して出力している場合、前回の出力後にエンコーダから出力されたＰＡメッセージと、前回の出力前に出力されたＰＡメッセージであるが、各エンコーダにとって現時点でも最新であるＰＡメッセージと、ＭＭＴパケットを構成するためのシグナリング情報ＳＩ等に基づいて再構築したＰＡメッセージを出力する。 Here, for example, when the encoder 11 outputs the MFU of the video, that is, the PA message 11p generated by the end of the GOP (step S25), the MMT multiplexer 21 receives the PA message 11p from the encoder 11 and determines whether it is due to the end of the GOP. If it is determined that it is due to the end of GOP (step S26), the PA message is reconstructed (step S27). That is, the MMT multiplexer 21 reconstructs and outputs one PA message based on the latest PA message 11p, PA message 21p, PA message n1p, signaling information SI and the like of each encoder. When the MMT multiplexer 21 has previously reconstructed and output the PA message, the MMT multiplexer 21 outputs the PA message output from the encoder after the previous output and the PA message output before the previous output. The encoder outputs the latest PA message at the present time and the PA message reconstructed based on the signaling information SI and the like for forming the MMT packet.

その後、図４に示すように、エンコーダ１２から音声のＭＦＵの終了により生成されたＰＡメッセージ２２ｐ、２３ｐが出力され（ステップＳ２８、Ｓ２９）、エンコーダ１ｎから音声のＭＦＵの終了により生成されたＰＡメッセージｎ２ｐが出力されたとする（ステップＳ３０）。ＭＭＴマルチプレクサ２１は、図示しない処理によりこれらのＰＡメッセージ２２ｐ、２３ｐ、ｎ２ｐはＧＯＰ終了によるものではないと判断すると、再構築は行わずＰＡメッセージ２２ｐ、２３ｐ、ｎ２ｐを一時蓄積する。ここでＭＭＴマルチプレクサ２１は、ステップＳ２７において再構築したＰＡメッセージを出力してから予め設定された周期、例えば１００ｍｓ周期が経過したことを検出すると（ステップＳ３１）、複数のエンコーダ１１、１２、・・・１ｎから出力されたＰＡメッセージを再構築して出力する。すなわちＭＭＴマルチプレクサ２１は、ステップＳ２７の後に出力されたＰＡメッセージ２２ｐ、２３ｐ、ｎ２ｐと、ステップＳ２７の前に出力されたＰＡメッセージであるが、エンコーダ１１にとって現時点でも最新であるＰＡメッセージ１１ｐと、ＭＭＴパケットを構成するためのシグナリング情報ＳＩ等に基づいて再構築したＰＡメッセージを出力する（ステップＳ３２）。 Then, as shown in FIG. 4, the encoder 12 outputs the PA messages 22p and 23p generated by the end of the voice MFU (steps S28 and S29), and the encoder 1n generates the PA message generated by the end of the voice MFU. It is assumed that n2p is output (step S30). If the MMT multiplexer 21 determines that these PA messages 22p, 23p, n2p are not due to the end of GOP by a process (not shown), the MMT multiplexer 21 does not reconstruct and temporarily stores the PA messages 22p, 23p, n2p. Here, when the MMT multiplexer 21 detects that a preset period, for example, 100 ms period has elapsed after outputting the PA message reconstructed in step S27 (step S31), the plurality of encoders 11, 12,... -Reconstructs and outputs the PA message output from 1n. That is, the MMT multiplexer 21 outputs the PA messages 22p, 23p, n2p output after step S27 and the PA message output before step S27, but the PA message 11p that is the latest for the encoder 11 and the MMT. The PA message reconstructed based on the signaling information SI or the like for forming the packet is output (step S32).

ＭＭＴマルチプレクサ２１が再構築したＰＡメッセージを出力してから予め設定された周期が経過する間にエンコーダからＧＯＰ終了によるＰＡメッセージが出力されなければ、ＭＭＴマルチプレクサ２１はステップＳ３１、Ｓ３２の処理を行う。またＭＭＴマルチプレクサ２１が再構築したＰＡメッセージを出力してから予め設定された周期が経過する前に、エンコーダからＧＯＰ終了によるＰＡメッセージが出力されると、ステップＳ２６、Ｓ２７の処理を行う。このような動作により、ＭＭＴマルチプレクサ２１は、図２に示すように、映像のＧＯＰ終了を基準として予め設定された周期、例えば１００ｍｓ周期のタイミングでＰＡメッセージを再構築して出力する。 If the encoder does not output the PA message by the end of GOP during a preset period after the MMT multiplexer 21 outputs the reconstructed PA message, the MMT multiplexer 21 performs the processes of steps S31 and S32. If the encoder outputs a PA message indicating the end of GOP before the preset period elapses after the MMT multiplexer 21 outputs the reconstructed PA message, the processes of steps S26 and S27 are performed. With this operation, as shown in FIG. 2, the MMT multiplexer 21 reconstructs and outputs the PA message at the timing of a preset cycle, for example, 100 ms cycle, with the GOP end of the video as a reference.

なお再構築されたＰＡメッセージ出力は、図２に示すようにエンコーダ１１、１２・・・１ｎからのＰＡメッセージ出力から第４の時間Ｐ（ｓ）遅延して出力される。第４の時間Ｐ（ｓ）は、ＭＭＴマルチプレクサ２１によるＩＰパケットの出力からＭＭＴパケットの出力までの第３の時間Ｍ（ｓ）より短い。Ｐ（ｓ）は、例えば最短でも０．０８秒よりは長い。 The reconstructed PA message output is delayed by a fourth time P(s) from the PA message output from the encoders 11, 12... 1n, as shown in FIG. The fourth time P(s) is shorter than the third time M(s) from the output of the IP packet by the MMT multiplexer 21 to the output of the MMT packet. P(s) is longer than 0.08 seconds at the shortest, for example.

ＴＬＶマルチプレクサ２２は、ＭＭＴマルチプレクサ２１および図示しないＴＬＶシグナリング生成部で生成されるＴＬＶパケットを多重化し、ＴＬＶ形式の放送ストリームを生成する。図２に示すようにＴＬＶマルチプレクサ２２は、ＭＭＴマルチプレクサ２１で生成される再構築されたＰＡメッセージ及びＭＭＴパケットの出力から、固定の第５の時間Ｔ（ｓ）、例えば０．１（ｓ）遅延して放送ストリームを出力する。 The TLV multiplexer 22 multiplexes the TLV packets generated by the MMT multiplexer 21 and a TLV signaling generation unit (not shown) to generate a TLV format broadcast stream. As shown in FIG. 2, the TLV multiplexer 22 delays a fixed fifth time T(s), for example, 0.1(s) from the output of the reconstructed PA message and the MMT packet generated by the MMT multiplexer 21. And output the broadcast stream.

ＴＬＶマルチプレクサ２２で生成されるＴＬＶ形式の放送ストリームに対して、図示しないＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）変調処理が行われて、ＲＦ伝送路８に送出される。 The TLV format broadcast stream generated by the TLV multiplexer 22 is subjected to RF (Radio Frequency) modulation processing (not shown), and is sent to the RF transmission line 8.

次に本実施形態の受信装置３について説明する。図１に示すように、受信装置３は、デマルチプレクサ３１と、デコーダバッファ３２と、ＳＩバッファ３３と、デコーダ３４と、を有している。 Next, the receiving device 3 of the present embodiment will be described. As shown in FIG. 1, the receiving device 3 includes a demultiplexer 31, a decoder buffer 32, an SI buffer 33, and a decoder 34.

デマルチプレクサ３１には、ＲＦ伝送路８を経由して受信されたＴＬＶ形式の放送ストリームに対し図示しないＲＦ変調信号の復調処理が行われてＴＬＶ形式の放送ストリームが入力される。デマルチプレクサ３１は、この放送ストリームに対して、デマルチプレクス処理およびデパケット化処理を行い、シグナリング情報ＳＩ、映像、音声の符号化データ、復号時刻及び提示時刻等のタイムスタンプ情報が取り出される。 In the demultiplexer 31, the TLV format broadcast stream received via the RF transmission line 8 is demodulated with an RF modulation signal (not shown) and the TLV format broadcast stream is input. The demultiplexer 31 performs demultiplexing processing and depacketizing processing on this broadcast stream, and extracts signaling information SI, encoded data of video and audio, and time stamp information such as decoding time and presentation time.

デコーダバッファ３２には、デマルチプレクサ３１で取り出される映像および音声の符号化データが一時的に蓄積される。デコーダバッファ３２は、デマルチプレクサ３１からの出力より遅延して出力する。図２に示すようにデコーダバッファ３２による遅延時間Ｚ（ｓ）と送信装置２のＣＰＢバッファ１１２における遅延時間Ｘ（ｓ）の合計は一定であり、例えば０．５秒とされる。 In the decoder buffer 32, encoded data of video and audio taken out by the demultiplexer 31 is temporarily stored. The decoder buffer 32 delays and outputs the output from the demultiplexer 31. As shown in FIG. 2, the total of the delay time Z(s) by the decoder buffer 32 and the delay time X(s) in the CPB buffer 112 of the transmitter 2 is constant, and is 0.5 seconds, for example.

ＳＩバッファ３３には、シグナリング情報ＳＩ及び映像、音声の復号時刻ＤＴＳ及び提示時刻ＰＴＳ等のタイムスタンプ情報が一時的に蓄積される。 The SI buffer 33 temporarily stores signaling information SI and time stamp information such as video and audio decoding time DTS and presentation time PTS.

デコーダ３４では、ＭＰＵの最初のＭＦＵの提示時刻と、各ＭＦＵのタイムスタンプ情報に基づいて、各ＭＦＵの復号時刻ＤＴＳおよび提示時刻ＰＴＳが求められる。デコーダ３４では、復号時刻ＤＴＳに基づいて、デコーダバッファ３２に蓄積されている各ＭＦＵのデコード処理が行われる。またデコーダ３４から、各ＭＦＵが提示時刻ＰＴＳのタイミングで順次出力される。 The decoder 34 obtains the decoding time DTS and the presentation time PTS of each MFU based on the presentation time of the first MFU of the MPU and the time stamp information of each MFU. The decoder 34 performs a decoding process for each MFU stored in the decoder buffer 32 based on the decoding time DTS. Further, each MFU is sequentially output from the decoder 34 at the timing of the presentation time PTS.

以上説明したようにＭＭＴマルチプレクサ２１によるＰＡメッセージの再構築にかかる第４の時間Ｐ（ｓ）がＭＰＵのＭＭＴパケットの多重化処理にかかる第３の時間Ｍ（ｓ）より短いことから、送信装置においてＰＡメッセージを送出してからＭＰＵを送出する時間の最小値は、ＭＭＴマルチプレクサ２１へのＭＰＵのＭＭＴパケットの出力に対するＰＡメッセージの先出し時間の最小値と等しい。この先出し時間が最小となるのは、ＣＰＢバッファ１１２の出力においてＭＰＵの先頭から終了までの時間が最大の場合である。本実施形態の送信装置によれば、ＣＰＢバッファ１１２による符号化されたＭＰＵの出力から、多重部１１６によるＭＭＴパケットのＭＭＴマルチプレクサ２１への出力までの第２の時間Ｙ（ｓ）は、ＣＰＢバッファ１１２の出力においてＭＰＵの先頭から終了までの時間の最大値（すなわち符号化された時点でのＧＯＰ長Ｇ（ｓ）の最大値とＣＰＢバッファ１１２での遅延による第１の時間Ｘ（ｓ）の最大値の合計）と、符号化されたＭＰＵの送信よりＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間とされている。この構成によりＭＰＴ先出し時間を規定値以上確保することができる。また本実施形態の受信装置によれば、ＭＰＴ先出し時間が良好に確保されたＭＰＴにより指定される復号時刻に確実にデコードを行うことができる。 As described above, the fourth time P(s) required to reconstruct the PA message by the MMT multiplexer 21 is shorter than the third time M(s) required to multiplex the MMT packets of the MPU. The minimum value of the time for sending the MPU packet to the MMT multiplexer 21 is equal to the minimum value of the time for sending the MPU packet to the MMT multiplexer 21 for the advance time of the PA message. The first-out time is the minimum when the time from the head of the MPU to the end of the output of the CPB buffer 112 is the maximum. According to the transmission device of the present embodiment, the second time Y(s) from the output of the encoded MPU by the CPB buffer 112 to the output of the MMT packet by the multiplexing unit 116 to the MMT multiplexer 21 is the CPB buffer. At the output of 112, the maximum value of the time from the beginning to the end of the MPU (that is, the maximum value of the GOP length G(s) at the time of encoding and the first time X(s) due to the delay in the CPB buffer 112 The sum of the maximum value) and the specified value of the MPT advance time to advance the MPT from the transmission of the encoded MPU. With this configuration, the MPT advance time can be secured at a specified value or more. Further, according to the receiving apparatus of the present embodiment, it is possible to surely perform the decoding at the decoding time designated by the MPT for which the MPT advance time is favorably secured.

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the present invention has been described with reference to the exemplary embodiments, the present invention is not limited to the above exemplary embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.

例えば、ＭＰＴ先出し時間の規定値は、符号化されたＭＰＵの送信を基準として説明したがこれに限らない。例えば受信装置のデコーダバッファ出力を基準として、規定されてもよい。この場合は、送信装置のＣＰＢバッファ１１２による符号化されたＭＰＵの出力から、多重部１１６によるＭＭＴパケットのＭＭＴマルチプレクサ２１への出力までの第２の時間Ｙ（ｓ）は、符号化された時点でのＧＯＰ長Ｇ（ｓ）の最大値と、受信装置でのＭＰＵのデコーダバッファ出力よりＭＰＴを先に受信するＭＰＴ先出し時間の規定値を合計した時間とすればよい。 For example, the stipulated value of the MPT advance time has been described based on the transmission of the encoded MPU, but is not limited to this. For example, it may be defined based on the decoder buffer output of the receiving device. In this case, the second time Y(s) from the output of the encoded MPU by the CPB buffer 112 of the transmission device to the output of the MMT packet by the multiplexing unit 116 to the MMT multiplexer 21 is the time when the encoding is performed. The maximum value of the GOP length G(s) in 1) and the specified value of the MPT advance time for receiving the MPT earlier than the decoder buffer output of the MPU in the receiving device may be summed.

１ 放送システム
２ 送信装置
３ 受信装置
１１、１２、１ｎ エンコーダ
１１１ 符号化部
１１２ ＣＰＢバッファ
１１３ 解析部
１１４ ＰＡ生成部
１１５ 遅延部
１１６ 多重部
２１ ＭＭＴマルチプレクサ
２２ ＴＬＶマルチプレクサ
３１ デマルチプレクサ
３２ デコーダバッファ
３３ ＳＩバッファ
３４ デコーダ
４ ＰＡメッセージ
５ ＭＰＴ
６ 映像アセット情報
７ 音声アセット情報
６１、７１ ＰＩＤ
６２、７２ ＭＰＵタイムスタンプ記述子
６３、７３ ＭＰＵ拡張タイムスタンプ記述子
８ ＲＦ伝送路 1 Broadcasting System 2 Transmitting Device 3 Receiving Device 11, 12, 1n Encoder 111 Encoding Unit 112 CPB Buffer 113 Analysis Unit 114 PA Generation Unit 115 Delay Unit 116 Multiplexing Unit 21 MMT Multiplexer 22 TLV Multiplexer 31 Demultiplexer 32 Decoder Buffer 33 SI Buffer 34 Decoder 4 PA Message 5 MPT
6 Video asset information 7 Audio asset information 61, 71 PID
62, 72 MPU time stamp descriptor 63, 73 MPU extended time stamp descriptor 8 RF transmission path

Claims (10)

ＭＰＵの符号化から第１の時間後に符号化されたＭＰＵを出力するＣＰＢバッファと、
前記符号化されたＭＰＵを解析して復号時刻、及び、提示時刻を生成する解析部と、
前記復号時刻、及び、提示時刻を指定するＭＰＴを含むＰＡメッセージを生成するＰＡ生成部と、
前記符号化されたＭＰＵを一時蓄積し遅延させる遅延部と、
遅延された前記符号化されたＭＰＵとその時点のＰＡメッセージとを多重化したＭＭＴパケットを前記符号化されたＭＰＵの出力から第２の時間後に出力する多重部と、を有し、
前記第２の時間は、映像のＧＯＰ長の最大値と、前記第１の時間の最大値と、前記符号化されたＭＰＵの送信より前記ＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間である送信装置。 A CPB buffer outputting a coded MPU after a first time from the coding of the MPU,
An analysis unit that analyzes the encoded MPU to generate a decoding time and a presentation time;
A PA generation unit that generates a PA message that includes the MPT that specifies the decoding time and the presentation time;
A delay unit for temporarily storing and delaying the encoded MPU,
A MUX packet that multiplexes the delayed encoded MPU and the PA message at that point in time, and outputs the MMT packet a second time after the output of the encoded MPU.
The second time is the sum of the maximum value of the GOP length of the video, the maximum value of the first time, and the specified value of the MPT advance time to advance the MPT from the transmission of the encoded MPU. Is a transmitter. 前記ＰＡ生成部は、前記符号化されたＭＰＵの出力終了のとき、前記ＭＰＵについて生成された復号時刻を含むＰＡメッセージを生成する、
請求項１に記載の送信装置。 The PA generation unit generates a PA message including a decoding time generated for the MPU when the output of the encoded MPU ends.
The transmission device according to claim 1. 前記解析部は、前記符号化されたＭＰＵを分割したＭＦＵを生成し、
前記ＭＦＵのそれぞれについて前記復号時刻を生成する、
請求項１又は２に記載の送信装置。 The analysis unit generates an MFU obtained by dividing the encoded MPU,
Generating the decoding time for each of the MFUs,
The transmitter according to claim 1 or 2. 前記ＣＰＢバッファと、前記ＰＡ生成部と、前記多重部を有するエンコーダを複数有し、
前記複数のエンコーダから出力される前記ＭＭＴパケット及び前記ＰＡメッセージを多重化するマルチプレクサを有し、
前記マルチプレクサは、前記複数のエンコーダから出力されたＰＡメッセージをＧＯＰの終了のとき再構築する、
請求項１から３のいずれかに記載の送信装置。 A plurality of encoders having the CPB buffer, the PA generator, and the multiplexer,
A multiplexer for multiplexing the MMT packet and the PA message output from the plurality of encoders,
The multiplexer reconstructs the PA message output from the encoders at the end of G OP,
The transmitter according to claim 1. 前記マルチプレクサは、前記ＧＯＰの終了のとき、前記複数のエンコーダから出力されたＰＡメッセージに基づいてＰＡメッセージを再構築する、
請求項４に記載の送信装置。 The multiplexer reconstructs a PA message based on the PA message output from the plurality of encoders at the end of the GOP,
The transmission device according to claim 4. 前記マルチプレクサは、前記ＧＯＰの終了からＧＯＰ周期より短い周期で前記複数のエンコーダから出力されたＰＡメッセージを再構築する、
請求項５に記載の送信装置。 The multiplexer reconstructs PA messages output from the plurality of encoders at a period shorter than a GOP period from the end of the GOP.
The transmission device according to claim 5. 前記第２の時間は、固定時間とする、
請求項１から６のいずれか１項に記載の送信装置。
The second time is a fixed time,
The transmitter according to any one of claims 1 to 6.
ＭＰＵの符号化から第１の時間後に符号化されたＭＰＵを出力し、
前記符号化されたＭＰＵを解析して復号時刻と提示時刻を求め、
前記復号時刻、及び、提示時刻を指定するＭＰＴを含むＰＡメッセージを生成し、
前記符号化されたＭＰＵを一時蓄積し遅延させ、
遅延された前記符号化されたＭＰＵとその時点のＰＡメッセージとを多重化したＭＭＴパケットを前記符号化されたＭＰＵの出力から第２の時間後に出力し、
前記第２の時間は、映像のＧＯＰ長の最大値と、前記第１の時間の最大値と、及び前記符号化されたＭＰＵの送信より前記ＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間である送信方法。 Output the encoded MPU a first time after encoding the MPU,
Analyzing the encoded MPU to obtain a decoding time and a presentation time,
Generating a PA message including the MPT specifying the decoding time and the presentation time,
Temporarily store and delay the encoded MPU,
Outputting the MMT packet in which the delayed encoded MPU and the PA message at that time are multiplexed, a second time after the output of the encoded MPU,
The second time is the sum of the maximum value of the GOP length of the video, the maximum value of the first time, and the specified value of the MPT advance time to advance the MPT from the transmission of the encoded MPU. How to send is time. ＭＰＵの符号化から第１の時間後に出力された符号化されたＭＰＵが多重化され前記符号化されたＭＰＵの出力から第２の時間後に出力されたＭＭＴパケットと、前記符号化されたＭＰＵについての復号時刻と提示時刻を指定するＭＰＴを含むＰＡメッセージと、を受信し、前記ＭＭＴパケット及び前記ＰＡメッセージのデマルチプレクス処理を行うデマルチプレクサと、
前記復号時刻と提示時刻を一時蓄積するＳＩバッファと、
前記ＳＩバッファを参照して前記復号時刻に前記符号化されたＭＰＵをデコードし、提示時刻に出力するデコーダと、を有し、
前記第２の時間は、映像のＧＯＰ長の最大値と、前記第１の時間の最大値と、前記符号化されたＭＰＵの送信より前記ＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間である受信装置。 Regarding the MMT packet that is multiplexed with the encoded MPU output after the first time from the encoding of the MPU and output after the second time from the output of the encoded MPU, and the encoded MPU A PA message including an MPT that specifies the decoding time and the presentation time of the MMT packet and the demultiplexing process of the MMT packet and the PA message;
An SI buffer for temporarily storing the decoding time and the presentation time,
A decoder for decoding the coded MPU at the decoding time by referring to the SI buffer and outputting the decoded MPU at the presentation time,
The second time is the sum of the maximum value of the GOP length of the video, the maximum value of the first time, and the specified value of the MPT advance time to advance the MPT from the transmission of the encoded MPU. Receiving device. ＭＰＵの符号化から第１の時間後に出力された符号化されたＭＰＵが多重化され前記符号化されたＭＰＵの出力から第２の時間後に出力された映像信号、音声信号と、前記符号化されたＭＰＵについての復号時刻を指定するＭＰＴを含むＰＡメッセージと、を受信し、
前記映像信号、音声信号、及び、前記ＰＡメッセージのデマルチプレクス処理を行い、
前記復号時刻と提示時刻を一時蓄積し、
前記復号時刻に前記符号化されたＭＰＵをデコードし、提示時刻に出力し、
前記第２の時間は、映像のＧＯＰ長の最大値と、前記第１の時間の最大値と、前記符号化されたＭＰＵの送信より前記ＭＰＴを先出しするＭＰＴ先出し時間の規定値を合計した時間である受信方法。 The encoded MPU output after the first time from the encoding of the MPU is multiplexed, and the video signal and the audio signal output after the second time from the output of the encoded MPU, and the encoded And a PA message containing an MPT that specifies the decoding time for the MPU,
Demultiplexing the video signal, the audio signal, and the PA message,
The decoding time and presentation time are temporarily stored,
Decode the encoded MPU at the decoding time and output at the presentation time,
The second time is the sum of the maximum value of the GOP length of the video, the maximum value of the first time, and the specified value of the MPT advance time to advance the MPT from the transmission of the encoded MPU. The receiving method that is.
JP2015251860A 2015-12-24 2015-12-24 Transmitting device, receiving device, transmitting method and receiving method Active JP6744092B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015251860A JP6744092B2 (en) 2015-12-24 2015-12-24 Transmitting device, receiving device, transmitting method and receiving method
PCT/JP2016/088063 WO2017110854A1 (en) 2015-12-24 2016-12-21 Transmission apparatus, reception apparatus, transmission method, and reception method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015251860A JP6744092B2 (en) 2015-12-24 2015-12-24 Transmitting device, receiving device, transmitting method and receiving method

Publications (2)

Publication Number Publication Date
JP2017118327A JP2017118327A (en) 2017-06-29
JP6744092B2 true JP6744092B2 (en) 2020-08-19

Family

ID=59090715

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015251860A Active JP6744092B2 (en) 2015-12-24 2015-12-24 Transmitting device, receiving device, transmitting method and receiving method

Country Status (2)

Country Link
JP (1) JP6744092B2 (en)
WO (1) WO2017110854A1 (en)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5708866B1 (en) * 2014-04-10 2015-04-30 ソニー株式会社 Transmitting apparatus, transmitting method, receiving apparatus, and receiving method

Also Published As

Publication number Publication date
WO2017110854A1 (en) 2017-06-29
JP2017118327A (en) 2017-06-29

Similar Documents

Publication Publication Date Title
JP7260687B2 (en) Transmission method and transmission device
CN109905725B (en) Transmission method, reception method, transmission device, and reception device
WO2002019584A1 (en) Multiplexer, receiver, and multiplex transmission method
JP6617809B2 (en) Decoding device, decoding method, and decoding program
US11128911B2 (en) Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein
JP6744092B2 (en) Transmitting device, receiving device, transmitting method and receiving method
JP2002353922A (en) Digital broadcast program repeating and transmitting system

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20170707

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200730

R150 Certificate of patent or registration of utility model

Ref document number: 6744092

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150