WO2020040085A1 - 映像送信装置及び映像送信方法 - Google Patents

映像送信装置及び映像送信方法 Download PDF

Info

Publication number
WO2020040085A1
WO2020040085A1 PCT/JP2019/032272 JP2019032272W WO2020040085A1 WO 2020040085 A1 WO2020040085 A1 WO 2020040085A1 JP 2019032272 W JP2019032272 W JP 2019032272W WO 2020040085 A1 WO2020040085 A1 WO 2020040085A1
Authority
WO
WIPO (PCT)
Prior art keywords
gop
unit
access unit
layer
access
Prior art date
Application number
PCT/JP2019/032272
Other languages
English (en)
French (fr)
Inventor
康弘 持田
山口　高弘
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to EP19852849.9A priority Critical patent/EP3843414B1/en
Priority to US17/268,901 priority patent/US11343520B2/en
Publication of WO2020040085A1 publication Critical patent/WO2020040085A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information

Definitions

  • the present disclosure relates to a method and an apparatus for transmitting a video.
  • the present invention relates to a method and apparatus for transmitting an encoded bit stream of a hierarchically encoded video signal for each layer.
  • H. Video coding methods such as H.265 support hierarchical coding that generates a hierarchically coded bit stream having a hierarchical structure in the time direction or the spatial direction.
  • the hierarchically coded bitstream is composed of a base layer that is essential for decoding and an extension layer that is not essential for decoding.By decoding using the enhancement layer, higher quality is obtained compared to decoding using only the base layer. A decoded video can be obtained. This makes it possible to support a plurality of receiving terminal performances and transmission network bands with a single encoded bit stream.
  • a hierarchically coded bitstream in the time direction of 120 progressive (P) and 60P is converted into a 60P video in decoding using only the 60P decoding sub-bitstream as the base layer, and up to a 120P decoding subset as the enhancement layer. If used, it can be decoded as a 120P video.
  • MPEG (Moving Picture Experts Group) -2 Transport Transport Stream (TS) is widely used as a technique for transmitting an encoded bit stream on a transmission path having an error.
  • a plurality of video and audio can be multiplexed in MPEG-2 @ TS.
  • each layer may be multiplexed with a different PID (identifier for identifying a payload including video, audio, etc.) in order to facilitate processing for each layer.
  • MPEG-2 TS packets can also be transmitted using Internet Protocol (IP).
  • IP Internet Protocol
  • Patent Document 1 discloses a transmitting / receiving apparatus and a transmitting / receiving method capable of stably transmitting an MPEG-2 @ TS packet even when there is fluctuation in transmission delay.
  • the packet length of MPEG-2 @ TS is fixed at a small size (mainly 188 bytes), there is a problem that overhead in IP packetization is large.
  • MPEG Media Transport (MMT: ISO / IEC 23008-1), which is standardized as a successor to MPEG-2 TS, employs variable-length packets and enables efficient IP transmission.
  • MMT ISO / IEC 23008-1
  • an IP data flow (a combination of a source IP address, a source port number, a destination IP address, a destination port number, and a protocol type) can be assigned to each asset (video, audio, subtitle, or the like), hierarchical encoding is performed. It is also possible to transmit the bit stream on different transmission paths for each layer (transmission for each layer).
  • the coded bit stream is stored in a data unit called a Media Processing Unit (MPU) and transmitted.
  • FIG. 1 shows the relationship between a coded bit stream and MPU without considering layer coding
  • FIG. 2 shows the relationship between a coded bit stream and MPU in hierarchical transmission.
  • the encoded bit stream includes one or more GOPs (Group @ Of @ Pictures), and each GOP includes one or more Access @ Unit. Access @ Unit is H.264. In the H.265 encoded bit stream, it is encoded video data corresponding to one frame.
  • the MPU of the video signal needs to be a GOP unit.
  • hierarchical coding is not considered, as shown in FIG. 1, an encoded bit stream is divided at GOP boundaries, and all Access @ Units included in the GOP are stored in one MPU and transmitted.
  • FIG. 1 shows a case where the packet_id (identifier of the MMT) is stored in an MPU having 0x1000.
  • the layer coded bit stream is divided at the GOP boundary by layer, and stored and transmitted in an MPU having different packet_ids (in FIG. 2, the base layer is 0x2000 and the enhancement layer is 0x2001). If the MPU is not constructed by dividing the coded bit stream at the correct GOP boundary, decoding cannot be performed correctly.
  • an identifier that facilitates association between the layers is assigned to the MPU.
  • an extended layer 120P It is defined that the MPU including the subset) be given the same MPU sequence number as the MPU including the base layer (60P sub-bitstream) belonging to the same GOP.
  • the first problem is to detect a GOP boundary in each layer.
  • ARIB @ STD-B32 standard of video coding, audio coding and multiplexing method in digital broadcasting
  • 60P subbits of 120P and 60P hierarchical coding in the time direction In the stream, a GOP boundary can be detected from the Network ⁇ Abstract ⁇ Layer (NAL) Unit type constituting the Access ⁇ Unit.
  • NAL @ Unit type can be easily determined from the nal_unit_type field of the NAL @ Unit header.
  • the GOP boundary cannot be detected from the NAL @ Unit type constituting Access @ Unit.
  • the second problem is to associate GOPs between layers. Generally, when each layer is multiplexed with a different PID in MPEG-2 @ TS, the temporal relationship between the layers is not guaranteed. That is, the extension layer corresponding to the base layer may be delayed, or the extension layer may be ahead of the base layer. The present disclosure has been made in view of this point.
  • the present disclosure provides a video transmitting apparatus that transmits a hierarchically coded bitstream, which provides a method for detecting a GOP boundary of a coded bitstream of each layer and associating GOPs between layers for transmission by layer. Aim.
  • An input processing unit that extracts an Access Unit from a GOP (Group Of Pictures) that constitutes the hierarchically encoded bit stream, and adds a decoding time stamp to each of the extracted Access Units;
  • a GOP start Access Unit of the base layer is detected from the extracted Access Units, a GOP number is assigned to the GOP start Access Unit of the base layer, and a decoding time stamp of the GOP start Access Unit of the base layer and an extension layer
  • the GOP head Access Unit of the enhancement layer is detected by using the decoding time stamp of the Access Unit of (i), and a GOP number is assigned to the GOP head Access Unit of the enhancement layer according to the decoding time stamp of the GOP head Access Unit of the enhancement layer.
  • Video transmission method An input processing procedure in which the video transmitting apparatus extracts an Access Unit from a GOP (Group Of Pictures) constituting the hierarchically coded bit stream, and adds a decoding time stamp to each extracted Access Unit;
  • the video transmission device detects a GOP head Access Unit of the base layer from the extracted Access Units, assigns a GOP number to the GOP head Access Unit of the base layer, and further includes a GOP number of the GOP head Access Unit of the base layer.
  • the GOP head Access Unit of the enhancement layer is detected using the decoding time stamp and the decoding time stamp of the Access Unit of the enhancement layer, and the GOP head Access of the enhancement layer is determined according to the decoding time stamp of the GOP head Access Unit of the enhancement layer.
  • a GOP number assignment procedure for assigning a GOP number to the Unit A transmission control procedure for each layer in which the video transmission apparatus transmits the Access Unit of the base layer and the Access Unit of the extension layer for each layer, using the GOP number assigned in the GOP number assignment procedure; Is provided.
  • a video transmission device that transmits a layer coded bit stream
  • FIG. 1 shows an example of a basic configuration of a video transmission device.
  • An example of the data structure of GOP Top Access @ Unit is shown.
  • 1 shows an example of the configuration of a video transmitting apparatus that transmits a layer-encoded bit stream in the temporal direction of 120P and 60P input by MPEG-2 @ TS in each layer by MMT.
  • 4 shows the relationship between an encoded bit stream and MPEG-2 @ TS.
  • 4 shows an example of a processing flow for giving a GOP number.
  • 1 shows a first example of a correspondence relationship between hierarchies.
  • 7 shows a second example of the correspondence between hierarchies.
  • FIG. 3 shows a basic configuration of the video transmitting apparatus.
  • the video transmission device 10 includes an input processing unit 11, a GOP number assignment unit 12, and a transmission control unit 13 for each layer.
  • the input processing unit 11 receives the input of the layer coded bit stream, extracts the Access Unit, adds a decoding time stamp to each Access Unit, and transfers it to the GOP number giving unit 12 for each layer.
  • the “hierarchical encoded bit stream” of the present disclosure includes an encoded bit stream of a video signal having an arbitrary hierarchical structure.
  • the hierarchical structure includes a hierarchical structure in a temporal direction or a spatial direction.
  • the GOP number assigning unit 12 detects a GOP head Access Unit in the base layer by determining the NAL Unit type forming the Access ⁇ Unit in the base layer, and assigns a GOP number to the detected Access Unit.
  • the GOP number is given the same value until the next GOP head Access @ Unit is detected, and is incremented by one each time the GOP head Access @ Unit is detected.
  • the GOP number may start from any value.
  • the GOP number assigning unit 12 uses the relationship between the decoding timestamp of the base layer and the decoding timestamp of the extension layer to extract the extended layer of the same GOP from the decoding timestamp of the detected GOP start Access @ Unit of the base layer. At the beginning, and assigns the same GOP number as the base layer. Even in the extended layer, the same GOP number is assigned until the next GOP head Access @ Unit is detected. The Access @ Unit assigned with the GOP number is passed to the transmission control unit 13 for each layer.
  • the transmission control unit 13 for each layer configures a transmission data unit for each layer from the Access @ Unit having the same GOP number, and performs IP transmission.
  • the hierarchical transmission control unit 13 stores the Access @ Unit of the base layer and the Access @ Unit of the extended layer in the MPU having different packet_id as shown in FIG.
  • the GOP structure and the frame rate it is possible to calculate in advance the temporal relationship between the decoding timestamps of the head Access @ Unit of the base layer belonging to the same GOP and the head Access @ Unit of the enhancement layer. First, it is determined “which and how far ahead”, and finally, based on the temporal relationship of the decoding time stamp, the GOP head of the extended layer that could not be detected from the NAL @ Unit type configuring Access @ Unit Is detected. This makes it possible to configure a transmission data unit for each layer.
  • FIG. 4 shows an example of the data structure of GOP Top Access @ Unit.
  • a reference picture set of a sequence parameter set (SPS) stored in GOP head Access @ Unit can be used.
  • SPS sequence parameter set
  • a fixed value may be set.
  • decoding time stamp for example, DTS (Decoding Time Stamp) stored in a PES (Packetized Elementary Stream) header can be used.
  • PES Packetized Elementary Stream
  • FIG. 5 shows an example of the configuration of a video transmitting apparatus that transmits a hierarchically encoded bit stream in the temporal direction of 120P and 60P input by MPEG-2 TS for each layer by MMT.
  • the video transmission device 100 includes a TS processing unit 111, a GOP number assignment unit 112, and an MMT transmission control unit 113.
  • the time direction hierarchical coded bit stream is supposed to conform to the provisions of ARIB STD-B32 for time direction hierarchical coding (for example, see Non-Patent Document 2).
  • FIG. 6 shows the relationship between the encoded bit stream and MPEG-2 @ TS.
  • the decoding order in each GOP is premised on a structure that alternates with 60P, 120P, 60P, and 120P.
  • the 60P sub-bitstream corresponds to the base layer
  • the 120P subset corresponds to the enhancement layer. Since the 60P sub-bitstream and the 120P subset are multiplexed with different PIDs (in FIG. 6, the 60P sub-bitstream is 0x0100 and the 120P subset is 0x0101), the temporal relationship between layers is undefined.
  • DTS is stored in the $ PES header, and Access @ Unit is stored in the payload.
  • the PES is transmitted after being divided into TS packets.
  • the TS processing unit 111 reconstructs the PES by combining the payloads of the input TS packets, and acquires the PES payload as Access Unit. Further, a DTS is obtained as a decoding time stamp from the DTS field of the header of the PES, added to the Access @ Unit, and passed to the GOP number assigning unit 112. As described above, the Access @ Unit extracted from the same PES is linked to the DTS and sent to the GOP number assigning unit 12. At this time, in order to link Access @ Unit and DTS, a new data structure including these may be defined.
  • the GOP number assigning unit 112 detects the head of the GOP according to the processing flow shown in FIG. 7, and assigns a common GOP number to the Access Unit belonging to the same GOP in the 60P sub-bit stream and the 120P subset.
  • the nal_Unit_type field of the NAL @ Unit header is read for each of the NAL @ Units forming the Access @ Unit of the 60P sub-bit stream, and the VPS (Video @ Parameter @ Set) @NAL Unit and the SPS (Sequence @ Set @ L @ N @@) are both set.
  • An Access @ Unit including the access @ Unit is detected (S101).
  • "VPS @ NAL @ Unit” and "SPS @ NAL @ Unit” are types of NAL @ Unit, and "VPS @ NAL @ Unit” and "SPS @ NAL @ Unit” store not encoding data itself but parameters relating to encoding. Since Access @ Unit including both VPS @ NAL and SPS @ NAL is only the head of the GOP, the detected Access @ Unit is regarded as the head of the GOP of the 60P sub-bit stream, and the GOP number "0" is assigned (S102).
  • the DTS assigned to the Access Unit regarded as the top of the GOP in the base layer is DTS B 1
  • the DTS assigned to the Access Unit of the 120P subset at this time is DTS E 1
  • DTS B 1 is compared with DTS E 1 . (S103). If DTS E 1 ⁇ DTS B 1, it is determined that the 60P sub-bitstream is ahead (Yes in S103). In this case, an Access Unit having a DTS of DTS B 1 + D is detected from the subsequent 120P subset, and a GOP number “0” is assigned as the head of the Access Unit (S104).
  • D is a DTS difference between Access Units in which decoding is continuous.
  • DTS is a counter value with a time resolution of 90 kHz, and when the frame rate of the input video signal is F, D is determined as 90000 / F.
  • FIG. 8 shows the correspondence between the hierarchies at this time. Each square represents Access Unit, and the number represents DTS.
  • the detection method of the present disclosure is not limited to such a case.
  • the head of the GOP of the 120P subset can be detected.
  • T is a DTS difference corresponding to one GOP.
  • D D * L
  • T 12000.
  • FIG. 9 shows the correspondence between the hierarchies at this time.
  • a DTS B 1 is "10000”
  • some subsequent 120P subset absent DTS E 2 10750
  • a GOP number “1” is assigned as the head of the 120P subset.
  • ⁇ Access ⁇ Unit to which the GOP number is assigned by the above-described method is passed to the MMT transmission control unit 113.
  • the number of Access @ Unit of each layer is also fixed. Therefore, once the head is found, the head of the GOP can be recognized only by counting the number of Access @ Unit. If the GOP structure is variable, the GOP number is incremented and the above method is repeated.
  • the $ MMT transmission control unit 113 receives the Access @ Unit, configures the MPU with the Access @ Unit having the same GOP number, and performs IP transmission for each layer according to the MMT protocol.
  • the GOP number may be used as it is as the MPU sequence number.
  • the position of the nal_unit_type field indicating the type of NAL @ Unit is fixed to the 2nd to 7th bytes at the start of NAL @ Unit. Because of this, it is easy to implement and suitable for hardware implementation.
  • This disclosure can be applied to the information and communication industry.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本開示は、階層符号化ビットストリームを送信する映像送信装置において、階層別伝送のために、各階層の符号化ビットストリームのＧＯＰ境界を検出し、階層間でＧＯＰを対応付ける方法を提供することを目的とする。 本開示は、階層符号化ビットストリームの基本階層を解析することによって基本階層におけるＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔを検出し、基本階層の復号タイムスタンプと拡張階層の復号タイムスタンプの関係性を利用して、前記Ａｃｃｅｓｓ　Ｕｎｉｔの復号タイムスタンプから前記Ａｃｃｅｓｓ　Ｕｎｉｔと同じＧＯＰの拡張階層における先頭Ａｃｃｅｓｓ　Ｕｎｉｔを検出することを特徴とする映像送信装置および映像送信方法である。

Description

映像送信装置及び映像送信方法
　本開示は、映像を送信する方法および装置に関する。特に、階層符号化された映像信号の符号化ビットストリームを階層別に送信する方法および装置に関する。
　Ｈ．２６５等の映像符号化方式では、時間方向または空間方向に階層構造を持った階層符号化ビットストリームを生成する階層符号化に対応している。階層符号化ビットストリームは、復号に必須となる基本階層と復号に必須ではない拡張階層から構成され、拡張階層まで使用して復号することによって、基本階層のみでの復号に比べてより高品質な復号映像を得ることができる。これにより単一の符号化ビットストリームで複数の受信端末性能や伝送ネットワーク帯域に対応することが可能である。例えば、１２０プログレッシブ（Ｐ）と６０Ｐの時間方向での階層符号化ビットストリームは、基本階層である６０Ｐ復号用サブビットストリームのみを用いた復号では６０Ｐ映像として、拡張階層である１２０Ｐ復号用サブセットまで用いれば１２０Ｐ映像として復号することができる。
　一方、エラーのある伝送路で符号化ビットストリームを伝送する技術として、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）－２　Ｔｒａｎｓｐｏｒｔ　Ｓｔｒｅａｍ（ＴＳ）が広く用いられている。ＭＰＥＧ－２　ＴＳには複数の映像・音声を多重化することができる。階層符号化ビットストリームを伝送する場合、階層別の処理を容易にするため、各階層を異なるＰＩＤ（映像や音声等の含まれているペイロードを識別するための識別子）で多重化することがある。ＭＰＥＧ－２　ＴＳパケットはＩｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ（ＩＰ）を使用して伝送することもできる。特許文献１には、伝送遅延に揺らぎがある場合でも安定的にＭＰＥＧ－２　ＴＳパケットを伝送することが可能な送受信装置および送受信方法が開示されている。しかし、ＭＰＥＧ－２　ＴＳのパケット長が小さいサイズ（主として１８８バイト）で固定であるために、ＩＰパケット化におけるオーバーヘッドが大きいという問題がある。
　そこで、ＭＰＥＧ－２　ＴＳの後継として標準化されたＭＰＥＧ　Ｍｅｄｉａ　Ｔｒａｎｓｐｏｒｔ（ＭＭＴ：ＩＳＯ／ＩＥＣ　２３００８－１）では、可変長パケットが採用され、効率的なＩＰ伝送が可能である。また、アセット（映像・音声・字幕等）ごとにＩＰデータフロー（送信元ＩＰアドレス、送信元ポート番号、宛先ＩＰアドレス、宛先ポート番号、プロトコル種別の組合せ）を割り当てることができるため、階層符号化ビットストリームを階層別に異なる伝送路で伝送すること（階層別伝送）も可能である。
　ＭＭＴでは、符号化ビットストリームをＭｅｄｉａ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ（ＭＰＵ）と呼ばれるデータユニットに格納して伝送する。図１に階層符号化を考慮しない符号化ビットストリームとＭＰＵの関係を、図２に階層別伝送における符号化ビットストリームとＭＰＵの関係を示す。符号化ビットストリームは、１つ以上のＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅｓ）を含み、各ＧＯＰは１つ以上のＡｃｃｅｓｓ　Ｕｎｉｔを含む。Ａｃｃｅｓｓ　Ｕｎｉｔは、Ｈ．２６５の符号化ビットストリームにおいて、１フレーム分に相当する符号化映像データである。
　ＭＰＵには単独で復号可能なデータを格納することが定められているため、映像信号のＭＰＵはＧＯＰの単位とする必要がある。階層符号化を考慮しない場合、図１に示すように、符号化ビットストリームをＧＯＰ境界で分割し、ＧＯＰに含まれる全てのＡｃｃｅｓｓ　Ｕｎｉｔを一つのＭＰＵに格納して伝送する。図１は、ｐａｃｋｅｔ＿ｉｄ（ＭＭＴの識別子）が０ｘ１０００であるＭＰＵに格納する場合を示している。階層別伝送の場合は、階層符号化ビットストリームを階層別にＧＯＰ境界で分割し、異なるｐａｃｋｅｔ＿ｉｄ（図２では基本階層が０ｘ２０００、拡張階層が０ｘ２００１）を有するＭＰＵに格納して伝送する。正しいＧＯＰ境界で符号化ビットストリームを分割してＭＰＵを構成しなければ、正しく復号することができなくなる。
　さらに、階層別伝送されたＭＰＵを受信し、基本階層と拡張階層の全体を用いて映像を復号するためには、階層間の対応付けを容易にする識別子がＭＰＵに付与されていることが望ましい。ＡＲＩＢ　ＳＴＤ－Ｂ６０（デジタル放送におけるＭＭＴによるメディアトランスポート方式の規格）（例えば、非特許文献１参照。）では、１２０Ｐと６０Ｐの時間方向での階層符号化ビットストリームの伝送において、拡張階層（１２０Ｐサブセット）を含むＭＰＵには、同じＧＯＰに属する基本階層（６０Ｐサブビットストリーム）を含むＭＰＵと同じＭＰＵシーケンス番号を付与することが定められている。
　しかし、階層符号化ビットストリームが階層別に多重化されたＭＰＥＧ－２　ＴＳをＭＭＴで階層別伝送するため、二つの課題を解決する必要がある。第一の課題は、各階層におけるＧＯＰ境界の検出である。ＡＲＩＢ　ＳＴＤ－Ｂ３２（デジタル放送における映像符号化、音声符号化及び多重化方式の規格）（例えば、非特許文献２参照。）に準拠した１２０Ｐと６０Ｐの時間方向での階層符号化の６０Ｐサブビットストリームでは、Ａｃｃｅｓｓ　Ｕｎｉｔを構成するＮｅｔｗｏｒｋ　Ａｂｓｔｒａｃｔｉｏｎ　Ｌａｙｅｒ（ＮＡＬ）Ｕｎｉｔ種別からＧＯＰ境界を検出することができる。ＮＡＬ　Ｕｎｉｔ種別は、ＮＡＬ　Ｕｎｉｔヘッダのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅフィールドから容易に判別可能である。一方、１２０ＰサブセットではＡｃｃｅｓｓ　Ｕｎｉｔを構成するＮＡＬ　Ｕｎｉｔ種別からＧＯＰ境界を検出することができない。第二の課題は、階層間でのＧＯＰの対応付けである。一般に、ＭＰＥＧ－２　ＴＳで各階層が異なるＰＩＤで多重化されている場合、階層間の時間的関係は保証されない。すなわち、基本階層に対して対応する拡張階層が遅れている場合もあれば、拡張階層が先行している場合もある。本開示はこの点に鑑みてなされたものである。
特許第４０９２７０５号公報
ＡＲＩＢ　ＳＴＤ－Ｂ６０「デジタル放送におけるＭＭＴによるメディアトランスポート方式」、電波産業界 ＡＲＩＢ　ＳＴＤ－Ｂ３２「デジタル放送における映像符号化、音声符号化及び多重化方式」、電波産業界
　本開示は、階層符号化ビットストリームを送信する映像送信装置において、階層別伝送のために、各階層の符号化ビットストリームのＧＯＰ境界を検出し、階層間でＧＯＰを対応付ける方法を提供することを目的とする。
　本開示に係る映像送信装置は、
　階層符号化ビットストリームを構成するＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅｓ）からＡｃｃｅｓｓ　Ｕｎｉｔを抽出し、抽出した各Ａｃｃｅｓｓ　Ｕｎｉｔに復号タイムスタンプを付与する入力処理部と、
　抽出したＡｃｃｅｓｓ　Ｕｎｉｔのなかから基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔを検出し、前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　ＵｎｉｔにＧＯＰ番号を付与し、さらに、前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔの復号タイムスタンプ及び拡張階層のＡｃｃｅｓｓ　Ｕｎｉｔの復号タイムスタンプを用いて拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔを検出し、前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔの復号タイムスタンプに応じて、前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ　ＵｎｉｔにＧＯＰ番号を付与するＧＯＰ番号付与部と、
　前記ＧＯＰ番号付与部の付与したＧＯＰ番号を用いて、基本階層のＡｃｃｅｓｓ　Ｕｎｉｔ及び拡張階層のＡｃｃｅｓｓ　Ｕｎｉｔを階層別に送信する階層別送信制御部と、
　を備える。
　本開示に係る映像送信方法は、
　映像送信装置が、階層符号化ビットストリームを構成するＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅｓ）からＡｃｃｅｓｓ　Ｕｎｉｔを抽出し、抽出した各Ａｃｃｅｓｓ　Ｕｎｉｔに復号タイムスタンプを付与する入力処理手順と、
　前記映像送信装置が、抽出したＡｃｃｅｓｓ　Ｕｎｉｔのなかから基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔを検出し、前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　ＵｎｉｔにＧＯＰ番号を付与し、さらに、前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔの復号タイムスタンプ及び拡張階層のＡｃｃｅｓｓ　Ｕｎｉｔの復号タイムスタンプを用いて拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔを検出し、前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔの復号タイムスタンプに応じて、前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ　ＵｎｉｔにＧＯＰ番号を付与するＧＯＰ番号付与手順と、
　前記映像送信装置が、前記ＧＯＰ番号付与手順で付与したＧＯＰ番号を用いて、基本階層のＡｃｃｅｓｓ　Ｕｎｉｔ及び拡張階層のＡｃｃｅｓｓ　Ｕｎｉｔを階層別に送信する階層別送信制御手順と、
　を備える。
　本開示は、階層符号化ビットストリームを送信する映像送信装置において、基本階層および拡張階層のＧＯＰの先頭位置を検出することができるようになり、もってＭＭＴで階層別の符号化ビットストリーム伝送を行うことができるようになる。
階層符号化を考慮しない符号化ビットストリームとＭＰＵの関係の一例を示す。 階層別伝送における符号化ビットストリームとＭＰＵの関係を示す。 映像送信装置の基本的な構成の一例を示す。 ＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔのデータ構造の一例を示す。 ＭＰＥＧ－２　ＴＳで入力された１２０Ｐと６０Ｐの時間方向での階層符号化ビットストリームをＭＭＴで階層別に伝送する映像送信装置の構成例を示す。 符号化ビットストリームとＭＰＥＧ－２　ＴＳの関係を示す。 ＧＯＰ番号を付与する処理フローの一例を示す。 階層間の対応関係の第１例を示す。 階層間の対応関係の第２例を示す。
　以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
（基本構成）
　映像送信装置の基本的な構成を図３に示す。映像送信装置１０は、入力処理部１１、ＧＯＰ番号付与部１２、階層別送信制御部１３を備える。
　入力処理部１１は、階層符号化ビットストリームの入力を受けて、Ａｃｃｅｓｓ　Ｕｎｉｔを抽出し、各Ａｃｃｅｓｓ　Ｕｎｉｔに復号タイムスタンプを付与して、階層別にＧＯＰ番号付与部１２に渡す。本開示の「階層符号化ビットストリーム」は、任意の階層構造を持った映像信号の符号化ビットストリームを含む。階層構造は、時間方向や空間方向の階層構造を含む。
　ＧＯＰ番号付与部１２は、基本階層のＡｃｃｅｓｓ　Ｕｎｉｔを構成するＮＡＬ　Ｕｎｉｔ種別を判別することによって、基本階層におけるＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔを検出し、検出したＡｃｃｅｓｓ　ＵｎｉｔにＧＯＰ番号を付与する。ＧＯＰ番号は、次のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔを検出するまで同じ値を付与するものとし、ＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔを検出するたびに１ずつインクリメントさせるものとする。ＧＯＰ番号は任意の値から開始してよい。
　続いて、ＧＯＰ番号付与部１２は、基本階層の復号タイムスタンプと拡張階層の復号タイムスタンプの関係性を利用して、検出した基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔの復号タイムスタンプから同じＧＯＰの拡張階層における先頭Ａｃｃｅｓｓ　Ｕｎｉｔを検出し、基本階層と同じＧＯＰ番号を付与する。拡張階層においても、次のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔを検出するまで同じＧＯＰ番号を付与する。ＧＯＰ番号を付与されたＡｃｃｅｓｓ　Ｕｎｉｔは、階層別に階層別送信制御部１３に渡される。
　階層別送信制御部１３は、同じＧＯＰ番号を有するＡｃｃｅｓｓ　Ｕｎｉｔから、階層別に送信用のデータユニットを構成し、ＩＰ送信する。このとき、階層別送信制御部１３は、基本階層のＡｃｃｅｓｓ　Ｕｎｉｔ及び拡張階層のＡｃｃｅｓｓ　Ｕｎｉｔを、図２に示すように異なるｐａｃｋｅｔ＿ｉｄを有するＭＰＵに格納する。
　ここで、ＧＯＰ構造とフレームレートから、同一のＧＯＰに属する基本階層の先頭Ａｃｃｅｓｓ　Ｕｎｉｔと拡張階層の先頭Ａｃｃｅｓｓ　Ｕｎｉｔの復号タイムスタンプの時間的関係を予め計算することができる。まず、「どちらがどれだけ先行しているかを判断」し、最終的には前記復号タイムスタンプの時間的関係に基づいて、Ａｃｃｅｓｓ　Ｕｎｉｔを構成するＮＡＬ　Ｕｎｉｔ種別からでは検出できかった拡張階層のＧＯＰ先頭を検出する。これにより、階層別での送信用のデータユニットを構成することができる。
　図４に、ＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔのデータ構造の一例を示す。符号化におけるＧＯＰ構造は、例えば、ＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔに格納されているシーケンス・パラメータ・セット（ＳＰＳ）の参照ピクチャセットを用いることができる。また、ＧＯＰ構造は固定した値を設定してもよい。
　復号タイムスタンプは、例えば、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ　Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ）ヘッダに格納されているＤＴＳ（Ｄｅｃｏｄｉｎｇ　Ｔｉｍｅ　Ｓｔａｍｐ）を用いることができる。
（時間方向での階層符号化ビットストリームのＭＭＴによる階層別伝送の具体例）
　図５に、ＭＰＥＧ－２　ＴＳで入力された１２０Ｐと６０Ｐの時間方向での階層符号化ビットストリームをＭＭＴで階層別に伝送する映像送信装置の構成例を示す。映像送信装置１００は、ＴＳ処理部１１１、ＧＯＰ番号付与部１１２、ＭＭＴ送信制御部１１３を備える。
　時間方向階層符号化ビットストリームは、ＡＲＩＢ　ＳＴＤ－Ｂ３２の時間方向階層符号化の規定に準拠しているものとする（例えば、非特許文献２参照。）。図６に符号化ビットストリームとＭＰＥＧ－２　ＴＳの関係を示す。ここでは、各ＧＯＰにおける復号順は、６０Ｐ、１２０Ｐ、６０Ｐ、１２０Ｐと交互に続く構造を前提とする。６０Ｐサブビットストリームが基本階層に相当し、１２０Ｐサブセットが拡張階層に相当する。６０Ｐサブビットストリームと１２０Ｐサブセットは、異なるＰＩＤ（図６では６０Ｐサブビットストリームが０ｘ０１００、１２０Ｐサブセットが０ｘ０１０１）で多重化されているため、階層間の時間的関係は不定である。
　ＰＥＳヘッダにＤＴＳが格納されており、ペイロードにＡｃｃｅｓｓ　Ｕｎｉｔが格納される。ＰＥＳは、ＴＳパケットに分割されて伝送される。ＭＰＥＧ－２　ＴＳは、エンコーダの２７ＭＨｚクロックによってカウントアップするＰＣＲ（Ｐｒｏｇｒａｍ　Ｃｌｏｃｋ　Ｒｅｆｅｒｅｎｃｅ）という値をデコーダにも共有し、ＰＣＲを時刻のように使用する。例えば、ＤＴＳ＝１００００のＰＥＳを受け取っても、ＰＣＲが１００００より小さい間はバッファにためておく。ＰＣＲが１００００になると、当該ＰＥＳの復号を開始する。
　ＴＳ処理部１１１は、入力されたＴＳパケットのペイロードを結合してＰＥＳを再構成し、ＰＥＳのペイロードをＡｃｃｅｓｓ　Ｕｎｉｔとして取得する。また、前記ＰＥＳのヘッダのＤＴＳフィールドからＤＴＳを復号タイムスタンプとして取得し、前記Ａｃｃｅｓｓ　Ｕｎｉｔに付与してＧＯＰ番号付与部１１２に渡す。このように、同じＰＥＳから抽出したＡｃｃｅｓｓ　ＵｎｉｔとＤＴＳを紐付けてＧＯＰ番号付与部１２に送る。このとき、Ａｃｃｅｓｓ　ＵｎｉｔとＤＴＳを紐付けるために、これらを含む新たなデータ構造を規定してもよい。
　ＧＯＰ番号付与部１１２は、図７に示す処理フローによってＧＯＰ先頭を検出し、６０Ｐサブビットストリームと１２０Ｐサブセットで同じＧＯＰに属するＡｃｃｅｓｓ　Ｕｎｉｔに共通のＧＯＰ番号を付与する。
　処理フローではまず、６０ＰサブビットストリームのＡｃｃｅｓｓ　Ｕｎｉｔを構成するＮＡＬ　ＵｎｉｔのそれぞれについてＮＡＬ　Ｕｎｉｔヘッダのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅフィールドを読み取って、ＶＰＳ（Ｖｉｄｅｏ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）　ＮＡＬ　ＵｎｉｔとＳＰＳ（Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）　ＮＡＬ　Ｕｎｉｔの両方を含むＡｃｃｅｓｓ　Ｕｎｉｔを検出する（Ｓ１０１）。「ＶＰＳ　ＮＡＬ　Ｕｎｉｔ」及び「ＳＰＳ　ＮＡＬ　Ｕｎｉｔ」はＮＡＬ　Ｕｎｉｔの種類であり、「ＶＰＳ　ＮＡＬ　Ｕｎｉｔ」及び「ＳＰＳ　ＮＡＬ　Ｕｎｉｔ」には、符号化データそのものではなく、符号化に関するパラメタが格納されている。ＶＰＳ　ＮＡＬとＳＰＳ　ＮＡＬの両方を含むＡｃｃｅｓｓ　ＵｎｉｔはＧＯＰ先頭のみであることから、検出されたＡｃｃｅｓｓ　Ｕｎｉｔを６０ＰサブビットストリームのＧＯＰ先頭とみなし、ＧＯＰ番号「０」を付与する（Ｓ１０２）。
　基本階層のＧＯＰ先頭とみなしたＡｃｃｅｓｓ　Ｕｎｉｔに付与されたＤＴＳをＤＴＳＢ １、このときの１２０ＰサブセットのＡｃｃｅｓｓ　Ｕｎｉｔに付与されているＤＴＳをＤＴＳＥ １とし、ＤＴＳＢ １とＤＴＳＥ １を比較する（Ｓ１０３）。ＤＴＳＥ １＜ＤＴＳＢ １である場合には６０Ｐサブビットストリームが先行していると判断する（Ｓ１０３においてＹｅｓ）。この場合、後続の１２０ＰサブセットからＤＴＳＢ １＋ＤとなるＤＴＳを持つＡｃｃｅｓｓ　Ｕｎｉｔを検出し、これを１２０Ｐサブセットの先頭としてＧＯＰ番号「０」を付与する（Ｓ１０４）。
　ただし、「Ｄ」は復号が連続するＡｃｃｅｓｓ　Ｕｎｉｔ間のＤＴＳ差分である。ＤＴＳは、９０ｋＨｚの時間解像度のカウンタ値であり、入力映像信号のフレームレートをＦとすると、Ｄ＝９００００／Ｆとして決定する。１２０Ｐと６０Ｐの時間方向階層符号化ではＤ＝９００００／１２０＝７５０、６０Ｐと３０Ｐの時間方向階層符号化ではＤ＝９００００／６０＝１５００である。「Ｄ」の値は、映像信号のフレームレートによって異なるため、条件に応じて適切な値を使用する。このときの階層間の対応関係を図８に示す。個々の四角がＡｃｃｅｓｓ　Ｕｎｉｔを表し、数字はＤＴＳを表す。図８では１つ後ろのＡｃｃｅｓｓ　Ｕｎｉｔが該当する場合を示したが、本開示の検出手法はこのような場合に限定されるものではない。後続の１２０Ｐサブセットを順次監視して、ＤＴＳＢ １＋ＤとなるＤＴＳを持つＡｃｃｅｓｓ　Ｕｎｉｔが現れるのを待つことで、１２０ＰサブセットのＧＯＰ先頭を検出することができる。
　ＤＴＳＢ １　＜　ＤＴＳＥ １の場合（Ｓ１０３においてＮｏ）、１２０Ｐサブセットが先行していると判断し、ＤＴＳＥ １がＤＴＳＢ １に対してＧＯＰ何個分相当先行しているかを表す指標ｋを計算する（Ｓ１０５）。
（数１）
　ｋ＝｛（ＤＴＳＥ １－ＤＴＳＢ １）　ｍｏｄ　Ｔ｝＋１　　（１）
　ただし、ＴはＧＯＰひとつ分に相当するＤＴＳ差分である。１２０Ｐサブセットで次に現れるＧＯＰ先頭のＤＴＳはｋを用いて、ＤＴＳＥ ２＝ＤＴＳＢ １＋ｋ＊Ｔ＋Ｄと計算できる。ＧＯＰに含まれるフレーム数をＬとすると、Ｔ＝Ｄ＊Ｌであり、Ｄ＝７５０かつＬ＝１６の場合には、Ｔ＝１２０００である。ここで、Ｌは基本階層と拡張階層の両方を含む。基本階層と拡張階層のフレームは必ず交互になることから、例えば、Ｌ＝１６の場合は、基本階層Ｌ／２＝８フレーム、拡張階層８フレームである。後続の１２０Ｐサブセットを監視して、ＤＴＳＥ ２を持つＡｃｃｅｓｓ　Ｕｎｉｔを検出し、ＧＯＰ番号「ｋ」を付与する。このときの階層間の対応関係を図９に示す。図９ではｋ＝１の場合を示したが、本開示の検出手法はこのような場合に限定されるものではない。後続の１２０Ｐサブセットを順次監視して、ＤＴＳＢ １＋ｋ＊Ｔ＋ＤとなるＤＴＳを持つＡｃｃｅｓｓ　Ｕｎｉｔが表れるのを待つことで、１２０ＰサブセットのＧＯＰ先頭を検出することができる。
　例えば、図８に示すように、ＤＴＳＢ １が「１００００」であり、後続する１２０ＰサブセットのなかにＤＴＳＥ ２＝１０７５０を有するＡｃｃｅｓｓ　Ｕｎｉｔが存在する場合、ＤＴＳＥ ２＝１０７５０のＡｃｃｅｓｓ　Ｕｎｉｔに、１２０Ｐサブセットの先頭としてＧＯＰ番号「０」を付与する。一方、図９に示すように、ＤＴＳＢ １が「１００００」であり、後続する１２０ＰサブセットのなかにＤＴＳＥ ２＝１０７５０が存在せず、ｋ＝１に相当するＤＴＳＥ ２＝２２７５０を有するＡｃｃｅｓｓ　Ｕｎｉｔが存在する。この場合、１２０Ｐサブセットの先頭としてＧＯＰ番号「１」を付与する。
　前述の方法でＧＯＰ番号が付与されたＡｃｃｅｓｓ　Ｕｎｉｔは、ＭＭＴ送信制御部１１３に渡される。ＧＯＰ構造が固定の場合は、各階層のＡｃｃｅｓｓ　Ｕｎｉｔ数も固定であるため、一度先頭を発見すれば、Ａｃｃｅｓｓ　Ｕｎｉｔ数を数えるだけでＧＯＰ先頭を認識することができる。ＧＯＰ構造が可変の場合は、ＧＯＰ番号をインクリメントして前述の方法を繰り返す。
　ＭＭＴ送信制御部１１３は、Ａｃｃｅｓｓ　Ｕｎｉｔを受け取り、同じＧＯＰ番号を持つＡｃｃｅｓｓ　ＵｎｉｔでＭＰＵを構成し、ＭＭＴプロトコルに従って、階層別にＩＰ送信を行う。ＧＯＰ番号はそのままＭＰＵシーケンス番号として用いてもよい。
（効果）
　本開示により、時間方向での階層符号化ビットストリームが階層別に異なるＰＩＤで多重化されたＭＰＥＧ－２　ＴＳからＡｃｃｅｓｓ　Ｕｎｉｔを抽出して階層別のＭＰＵを構成する場合に、正しく各階層のＧＯＰ境界を検出してＭＰＵを構成することが可能になる。また、ＧＯＰ番号を用いて、同じＧＯＰに属するＡｃｃｅｓｓ　Ｕｎｉｔを含むＭＰＵに共通のＭＰＵシーケンス番号を付与することが容易になる。
　さらに、実施形態に記載されたＡｃｃｅｓｓ　Ｕｎｉｔを構成するＮＡＬ　Ｕｎｉｔの種別によってＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔを検出する方法は、ＮＡＬ　Ｕｎｉｔ種別を示すｎａｌ＿ｕｎｉｔ＿ｔｙｐｅフィールドの位置がＮＡＬ　Ｕｎｉｔ先頭の２～７バイト目に固定であることから、実装が容易で、ハードウェア化にも適している。
　さらに、Ａｃｃｅｓｓ　Ｕｎｉｔを順次解析して先頭を検出することが可能であるため、Ａｃｃｅｓｓ　Ｕｎｉｔを蓄積するバッファを設ける必要が無い。そのため、基本階層と拡張階層の時間差が大きい場合でも、バッファ溢れを起こすことが無い。また、バッファを設けない分、実装コストを抑えることができる。さらに、バッファで蓄積することによる遅延時間の増加が無いという利点がある。
　本開示は情報通信産業に適用することができる。
１０、１００：映像送信装置
１１：入力処理部
１２、１１２：ＧＯＰ番号付与部
１３：階層別送信制御部
１１１：ＴＳ処理部
１１３：ＭＭＴ送信制御部

Claims (8)

  1. 　階層符号化ビットストリームを構成するＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅｓ）からＡｃｃｅｓｓ　Ｕｎｉｔを抽出し、抽出した各Ａｃｃｅｓｓ　Ｕｎｉｔに復号タイムスタンプを付与する入力処理部と、
    　抽出したＡｃｃｅｓｓ　Ｕｎｉｔのなかから基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔを検出し、前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　ＵｎｉｔにＧＯＰ番号を付与し、さらに、前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔの復号タイムスタンプ及び拡張階層のＡｃｃｅｓｓ　Ｕｎｉｔの復号タイムスタンプを用いて拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔを検出し、前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔの復号タイムスタンプに応じて、前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ　ＵｎｉｔにＧＯＰ番号を付与するＧＯＰ番号付与部と、
    　前記ＧＯＰ番号付与部の付与したＧＯＰ番号を用いて、基本階層のＡｃｃｅｓｓ　Ｕｎｉｔ及び拡張階層のＡｃｃｅｓｓ　Ｕｎｉｔを階層別に送信する階層別送信制御部と、
    　を備える映像送信装置。
  2. 　前記ＧＯＰ番号付与部は、基本階層のＡｃｃｅｓｓ　Ｕｎｉｔに含まれるＮＡＬ（Ｎｅｔｗｏｒｋ　Ａｂｓｔｒａｃｔｉｏｎ　Ｌａｙｅｒ）Ｕｎｉｔの種別を判別することで前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔを検出する、
    　請求項１に記載の映像送信装置。
  3. 　前記ＧＯＰ番号付与部は、Ｖｉｄｅｏ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ（ＶＰＳ）　ＮＡＬ　ＵｎｉｔとＳｅｑｕｅｎｃｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ（ＳＰＳ）　ＮＡＬ　Ｕｎｉｔの両方を含むＡｃｃｅｓｓ　Ｕｎｉｔを前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔとして検出する、
    　請求項２に記載の映像送信装置。
  4. 　前記階層符号化ビットストリームはＭＰＥＧ－２　ＴＳを用いて送信され、
    　前記入力処理部は、ＭＰＥＧ－２　ＴＳからＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ　Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ）を再構成し、前記ＰＥＳのヘッダに含まれるＤＴＳ（Ｄｅｃｏｄｉｎｇ　Ｔｉｍｅ　Ｓｔａｍｐ）を、前記ＰＥＳのペイロードから取得したＡｃｃｅｓｓ　Ｕｎｉｔに前記復号タイムスタンプとして付与するＴＳ処理部である、
    　請求項１から３のいずれかに記載の映像送信装置。
  5. 　前記ＧＯＰ番号付与部は、
    　検出した前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔに付与された前記復号タイムスタンプである第１のＤＴＳの値と連続するＡｃｃｅｓｓ　Ｕｎｉｔ間のＤＴＳ差分値との和に等しい値のＤＴＳを有する拡張階層のＡｃｃｅｓｓ　Ｕｎｉｔを前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔとして検出し、検出した前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔに前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔに付与したものと同じ前記ＧＯＰ番号を付与する、
    　請求項４に記載の映像送信装置。
  6. 　前記階層別送信制御部は、基本階層のＡｃｃｅｓｓ　Ｕｎｉｔ及び拡張階層のＡｃｃｅｓｓ　Ｕｎｉｔを異なるｐａｃｋｅｔ＿ｉｄを有するＭＰＵ（Ｍｅｄｉａ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）に格納し、ＭＭＴ（ＭＰＥＧ　Ｍｅｄｉａ　Ｔｒａｎｓｐｏｒｔ）プロトコルに従って送信するＭＭＴ送信制御部である、
    　請求項１から５のいずれかに記載の映像送信装置。
  7. 　映像送信装置が、階層符号化ビットストリームを構成するＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅｓ）からＡｃｃｅｓｓ　Ｕｎｉｔを抽出し、抽出した各Ａｃｃｅｓｓ　Ｕｎｉｔに復号タイムスタンプを付与する入力処理手順と、
    　前記映像送信装置が、抽出したＡｃｃｅｓｓ　Ｕｎｉｔのなかから基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔを検出し、前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　ＵｎｉｔにＧＯＰ番号を付与し、さらに、前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔの復号タイムスタンプ及び拡張階層のＡｃｃｅｓｓ　Ｕｎｉｔの復号タイムスタンプを用いて拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔを検出し、前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔの復号タイムスタンプに応じて、前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ　ＵｎｉｔにＧＯＰ番号を付与するＧＯＰ番号付与手順と、
    　前記映像送信装置が、前記ＧＯＰ番号付与手順で付与したＧＯＰ番号を用いて、基本階層のＡｃｃｅｓｓ　Ｕｎｉｔ及び拡張階層のＡｃｃｅｓｓ　Ｕｎｉｔを階層別に送信する階層別送信制御手順と、
    　を備える映像送信方法。
  8. 　前記階層符号化ビットストリームはＭＰＥＧ－２　ＴＳを用いて送信され、
    　前記入力処理手順は、ＭＰＥＧ－２　ＴＳからＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ　Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ）を再構成し、前記ＰＥＳのヘッダに含まれるＤＴＳ（Ｄｅｃｏｄｉｎｇ　Ｔｉｍｅ　Ｓｔａｍｐ）を、前記ＰＥＳのペイロードから取得したＡｃｃｅｓｓ　Ｕｎｉｔに前記復号タイムスタンプとして付与するＴＳ処理手順であり、
    　前記ＧＯＰ番号付与手順において、
    　検出した前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔに付与された前記復号タイムスタンプである第１のＤＴＳの値と連続するＡｃｃｅｓｓ　Ｕｎｉｔ間のＤＴＳ差分値との和に等しい値のＤＴＳを有する拡張階層のＡｃｃｅｓｓ　Ｕｎｉｔを前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔとして検出し、検出した前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔに前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ　Ｕｎｉｔに付与したものと同じ前記ＧＯＰ番号を付与する、
    　請求項７に記載の映像送信方法。
PCT/JP2019/032272 2018-08-24 2019-08-19 映像送信装置及び映像送信方法 WO2020040085A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19852849.9A EP3843414B1 (en) 2018-08-24 2019-08-19 Video transmission device and video transmission method
US17/268,901 US11343520B2 (en) 2018-08-24 2019-08-19 Video transmission device and video transmission method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018157389A JP7067367B2 (ja) 2018-08-24 2018-08-24 映像送信装置及び映像送信方法
JP2018-157389 2018-08-24

Publications (1)

Publication Number Publication Date
WO2020040085A1 true WO2020040085A1 (ja) 2020-02-27

Family

ID=69593099

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/032272 WO2020040085A1 (ja) 2018-08-24 2019-08-19 映像送信装置及び映像送信方法

Country Status (4)

Country Link
US (1) US11343520B2 (ja)
EP (1) EP3843414B1 (ja)
JP (1) JP7067367B2 (ja)
WO (1) WO2020040085A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4092705B2 (ja) 2005-09-02 2008-05-28 日本電信電話株式会社 ストリーム送信装置および受信装置、ならびに送受信方法
WO2014203516A1 (ja) * 2013-06-18 2014-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および受信方法
WO2015133250A1 (ja) * 2014-03-07 2015-09-11 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2017094482A1 (ja) * 2015-12-02 2017-06-08 日本電気株式会社 映像符号化方法、映像符号化装置、映像復号方法、映像復号装置、及びプログラム、並びに映像システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5789004B2 (ja) * 2013-08-09 2015-10-07 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
JP2015226305A (ja) 2014-05-30 2015-12-14 三菱電機株式会社 符号化装置
CN113660518A (zh) * 2016-03-10 2021-11-16 麦克赛尔株式会社 广播接收装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4092705B2 (ja) 2005-09-02 2008-05-28 日本電信電話株式会社 ストリーム送信装置および受信装置、ならびに送受信方法
WO2014203516A1 (ja) * 2013-06-18 2014-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および受信方法
WO2015133250A1 (ja) * 2014-03-07 2015-09-11 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2017094482A1 (ja) * 2015-12-02 2017-06-08 日本電気株式会社 映像符号化方法、映像符号化装置、映像復号方法、映像復号装置、及びプログラム、並びに映像システム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"ARIB STD-B32", ASSOCIATION OF RADIO INDUSTRIES AND BUSINESSES, article "Video Coding, Audio Coding, and Multiplexing Specifications for Digital Broadcasting"
"ARIB STD-B60", ASSOCIATION OF RADIO INDUSTRIES AND BUSINESSES, article "MMT-Based Media Transport Scheme in Digital Broadcasting Systems"
MOCHIDA, YASUHIRO ET AL.: "An MMT Module for 4K/120fps Temporally Scalable Video", 2019 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS, 1 May 2019 (2019-05-01), XP033574003 *
See also references of EP3843414A4
YASUHIRO MOCHIDA; TAKAHIRO YAMAGUCHI: "A-15-15 Development of an MMT Module for 4k/120p Temporal-scalable Video Transmission", PROCEEDINGS OF IEICE 2018 ENGINEERING SCIENCES SOCIETY/NOLTA SOCIETY CONFERENCE; SEPTEMBER 11-14, 2018, 28 August 2018 (2018-08-28), XP009525691 *

Also Published As

Publication number Publication date
EP3843414A1 (en) 2021-06-30
JP7067367B2 (ja) 2022-05-16
JP2020031391A (ja) 2020-02-27
US20210329278A1 (en) 2021-10-21
EP3843414A4 (en) 2022-06-01
EP3843414B1 (en) 2022-12-07
US11343520B2 (en) 2022-05-24

Similar Documents

Publication Publication Date Title
JP6961778B2 (ja) 送信方法、受信方法、送信装置及び受信装置
US10827208B2 (en) Transmitting method, receiving method, transmitting device and receiving device
TWI668982B (zh) 用於多媒體和檔案傳輸的傳輸介面的方法及伺服器設備、及用於記錄相關指令於其上的電腦可讀取儲存媒體
JP6302274B2 (ja) 送信装置及び受信装置
JP2016103745A (ja) 送信装置及び送信方法、並びに、受信装置並びに受信方法
JP7200329B2 (ja) 送信方法、受信方法、送信装置及び受信装置
JP2016036130A (ja) 送信方法、受信方法、送信装置及び受信装置
WO2016139909A1 (ja) 復号装置、受信機器、送信機器、送受信システム、復号方法、および復号用プログラムが記憶された記憶媒体
WO2020040085A1 (ja) 映像送信装置及び映像送信方法
JP2005530376A (ja) ディジタルストリームの動的多重化方法
JP6641344B2 (ja) 符号化装置
JP7238066B2 (ja) 送信方法、受信方法、送信装置及び受信装置
US12010395B2 (en) Transmission method, reception method, transmitting apparatus, and receiving apparatus
JP7257646B2 (ja) 送信方法、受信方法、送信装置及び受信装置
JP7306527B2 (ja) 復号装置
KR101964649B1 (ko) 미디어 전송 방법 및 그 장치
JP2015226305A (ja) 符号化装置
JP6257448B2 (ja) 符号化装置、復号装置、符号化方法及び復号方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19852849

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019852849

Country of ref document: EP

Effective date: 20210324