KR101943214B1 - Method for Generating 8K Broadcasting Stream based on MMT and Broadcasting System applying the same - Google Patents
Method for Generating 8K Broadcasting Stream based on MMT and Broadcasting System applying the same Download PDFInfo
- Publication number
- KR101943214B1 KR101943214B1 KR1020170100179A KR20170100179A KR101943214B1 KR 101943214 B1 KR101943214 B1 KR 101943214B1 KR 1020170100179 A KR1020170100179 A KR 1020170100179A KR 20170100179 A KR20170100179 A KR 20170100179A KR 101943214 B1 KR101943214 B1 KR 101943214B1
- Authority
- KR
- South Korea
- Prior art keywords
- mpu
- layers
- generating
- mmtp
- component
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000005540 biological transmission Effects 0.000 claims abstract description 19
- 239000000203 mixture Substances 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 12
- 230000011664 signaling Effects 0.000 description 6
- 238000005538 encapsulation Methods 0.000 description 4
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
- H04N21/4351—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reassembling additional data, e.g. rebuilding an executable program from recovered modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
본 발명은 방송 서비스 기술에 관한 것으로, 더욱 상세하게는 MMT(MPEG Media Transport) 기반으로 이종의 네트워크를 통해 전송할 8K 방송 스트림을 생성하는 방법에 관한 것이다.BACKGROUND OF THE
디지털 방송이 안정화되고 디스플레이의 성능이 향상됨에 따라, 사용자는 보다 나은 품질과 보다 큰 크기의 비디오 서비스를 요구하고 있다.As digital broadcasts stabilize and display performance improves, users are demanding better quality and larger size video services.
UHDTV는 사실적인 콘텐츠를 위해 고화질 비디오와 22.2 멀티채널 오디오를 제공하여, 시청자의 요구 사항을 충족시킬 수 있는 차세대 방송이다. 2016년 8월, 일본의 공영 방송사인 NHK가 위성을 통해 세계 최초로 정규 UHDTV를 시작함에 따라, 콘텐츠, 전송, 디스플레이 장치, 셋톱 등과 같은 UHDTV 기술의 선점을 놓고 국가 간 경쟁이 치열하다.UHDTV is a next-generation broadcast that can meet the needs of viewers by providing high-definition video and 22.2 multichannel audio for realistic content. In August 2016, NHK, the public broadcaster in Japan, launched the world's first regular UHDTV service through satellite, and competition among the countries is fierce to preempt UHDTV technology such as contents, transmission, display device, and set-top.
2K(1920x1080) 보다 16배 크고 4K(3840x2160) 보다 4배 큰 8K 비디오는 크기가 매우 크기 때문에, UHDTV 콘텐츠를 위한 고효율 비디오 코딩 및 전송 기술이 필요하다.8K video, which is 16 times larger than 2K (1920x1080) and 4 times larger than 4K (3840x2160), is very large and requires high-efficiency video coding and transmission technology for UHDTV content.
8K 콘텐츠는 세계에서 유일한 8K 테스트 방송을 시작한 일본에서 60fps의 프레임 레이트, 10비트의 컬러 뎁스 및 4:2:0의 샘플링 레이트에 따라 HEVC(High Efficiency Video Coding)로 압축된다.8K content is compressed in HEVC (High Efficiency Video Coding) according to a frame rate of 60 fps, a color depth of 10 bits, and a sampling rate of 4: 2: 0 in Japan which started the world's only 8K test broadcast.
도 1에 제시된 4K 규격에 따른 비트 레이트를 통해, 8K 서비스의 경우 더 높은 비트 레이트가 필요하다는 것을 알 수 있다. 일본의 8K UHDTV는 실제로는 80~90Mbps의 비트 레이트로 위성을 통해 전송된다.Through the bit rate according to the 4K standard shown in FIG. 1, it can be seen that a higher bit rate is required for the 8K service. Japan's 8K UHDTV is actually transmitted over satellites at a bit rate of 80-90Mbps.
현실적으로, 지상파 채널을 통해 80Mbps 이상으로 전송하는 것은 불가능하다. 지상파 디지털 방송 규격인 ATSC 3.0(Advanced Television Systems Committee)과 DVB-T2(Digital Video Broadcasting - Terrestrial)의 전송 기술을 사용하여 기술적으로 40Mbps 이상일 수 있지만, 실제로 30Mbps의 비트 레이트가 20km 내에서 안정적인 지상파 방송 서비스를 제공하기 위한 제한적인 상황에서의 최대 한도이다.In reality, it is impossible to transmit over 80 Mbps over terrestrial channels. Although it can be technically more than 40 Mbps using the transmission technology of ATSC 3.0 (Advanced Television Systems Committee) and DVB-T2 (Digital Video Broadcasting-Terrestrial), it is possible that a bit rate of 30 Mbps is actually a stable terrestrial broadcast service Lt; RTI ID = 0.0 > limited < / RTI >
따라서 현재의 지상파 방송 환경에서 8K 방송을 위한 새로운 시스템이 요구된다. 특히, 우리나라의 경우, 지상파 8K 시험 방송을 목표로 많은 연구가 진행되고 있지만, 현재 지상파 방송 환경은 진정한 8K(7680*4320, 4:2:0, @120fps, 10bit:color depth) 콘텐츠를 전송하기에 대역폭 부족 등 여러 가지 문제가 남아 있다.Therefore, a new system for 8K broadcasting is required in the current terrestrial broadcasting environment. Especially, in Korea, terrestrial 8K trial broadcasting is under way, but the current terrestrial broadcast environment transmits real 8K (7680 * 4320, 4: 2: 0, 120fps, 10bit: color depth) There are various problems such as a lack of bandwidth.
나아가, 현재 8K 영상을 위한 코덱(인코더, 디코더)은 상용화되지 않았다는 점, 상용화된다 하더라도 매우 고가일 것이라는 점은 8K 방송에 고려하여야 할 사항이다.Furthermore, the fact that codecs (encoders, decoders) for 8K video are not commercialized, and that they are very expensive even if they are commercialized, should be considered in 8K broadcasting.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 8K 방송 서비스 제공시에 발생할 수 있는 비트 레이트 부족을 해결하기 위한 방안으로, 8K 콘텐츠를 4개의 4K 영역들로 분할하여 이종 네트워크를 통해 MMT 기반으로 전달하기 위한 방법 및 시스템을 제공함에 있다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the above problems, and it is an object of the present invention to solve the shortage of bit rate that can occur when an 8K broadcast service is provided and divide 8K contents into 4K areas And to provide a method and system for delivering on an MMT basis through a heterogeneous network.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, MMT 기반 방송 송출 시스템은, 콘텐츠를 다수의 영역들로 분할하고, 분할된 영역들 각각을 다수의 계층들로 인코딩하는 콘텐츠 서버; 인코딩된 계층들 각각을 MPU(Media Processing Unit)로 캡슐화하고, 일부 계층에 대한 MPU를 제1 MMTP(MPEG Media Transport Protocol) 패킷으로 생성하는 제1 생성기; 및 제1 생성기에 의해 생성된 제1 MMTP 패킷으로부터 방송 신호를 생성하여 전송하는 제2 생성기;를 포함한다.According to an aspect of the present invention, there is provided an MMT-based broadcast transmission system including: a content server for dividing a content into a plurality of regions and encoding each of the divided regions into a plurality of layers; A first generator for encapsulating each of the encoded layers with an MPU (Media Processing Unit) and generating an MPU for some layers as a first MMTP (MPEG Media Transport Protocol) packet; And a second generator for generating and transmitting a broadcast signal from the first MMTP packet generated by the first generator.
그리고, 분할된 영역들은, 고유 식별자를 갖는 독립된 애셋들로 생성될 수 있다.And, the divided regions may be generated as independent assets having a unique identifier.
또한, 제1 생성기는, MPU를 생성하는 제1 컴포넌트; CI(Composition Information)를 생성하는 제2 컴포넌트; CI를 참조하여 시그널 메시지를 생성하는 제3 컴포넌트; 일부 계층에 대한 MPU와 시그널 메시지로 제1 MMTP 스트림을 생성하는 제4 컴포넌트;를 포함할 수 있다.The first generator further includes: a first component for generating an MPU; A second component for generating CI (Composition Information); A third component for generating a signal message with reference to the CI; And a fourth component for generating a first MMTP stream with an MPU and a signal message for some of the layers.
그리고, CI에는, 함께 표시되어야 하는 애셋들의 정보를 수록한 그룹 정보가 포함되어 있을 수 있다.The CI may include group information including information of assets to be displayed together.
또한, 그룹 정보에는, 동일 계층을 구성하는 에셋 세트들이 나열되어 있을 수 있다.Also, the group information may include the set of assets constituting the same layer.
그리고, 제3 컴포넌트는, 시그널 메시지 중 하나인 MPI(Media Presentation Information) 메시지의 MP 테이블에 그룹 정보를 수록할 수 있다.The third component may store the group information in the MP table of the MPI (Media Presentation Information) message, which is one of the signal messages.
또한, 제4 컴포넌트는, 제1 MMTP 패킷의 헤더에, 제1 MMTP 패킷의 페이로드의 데이터가 비디오 데이터인지 여부를 나타내는 정보, 비디오 데이터인 경우 계층에 대한 정보와 영역에 대한 정보를 포함하는 패킷 ID를 수록할 수 있다.In addition, the fourth component may include, in the header of the first MMTP packet, information indicating whether the data of the payload of the first MMTP packet is video data, information on the layer in the case of video data, ID can be recorded.
그리고, 제4 컴포넌트는, 영역 정보에 따라 제1 MMTP 패킷을 스케줄링하는 스케줄러;를 포함할 수 있다.And, the fourth component may include a scheduler for scheduling the first MMTP packet according to the area information.
또한, 스케줄러는, 동일 계층의 영역들을 포함하는 패킷들을 영역 번호 순서로 스케줄링할 수 있다.In addition, the scheduler can schedule the packets including the areas of the same layer in the order of the area numbers.
그리고, 제4 컴포넌트는, 나머지 계층에 대한 MPU로 제2 MMTP 패킷을 생성할 수 있다.The fourth component may generate the second MMTP packet to the MPU for the remaining layer.
또한, 본 발명의 실시예에 따른 MMT 기반 방송 송출 시스템은, 제4 컴포넌트에 의해 생성된 제2 MMTP 패킷을 HTTP로 제공하는데 필요한 MXD(MMT eXtension Document)를 생성하는 제3 생성기; 및 제2 MMTP 패킷과 MXD를 HTTP로 스트리밍하는 스트리밍 서버;를 더 포함할Also, the MMT-based broadcast transmission system according to the embodiment of the present invention may further include: a third generator for generating an MXD (Extension Document) to provide a second MMTP packet generated by the fourth component over HTTP; And a streaming server for streaming the second MMTP packet and the MXD to HTTP
그리고, 콘텐츠는 8K 비디오이고, 분할된 영역들은 4K 비디오 크기일The content is 8K video, and the divided areas are 4K video size
한편, 본 발명의 다른 실시예에 따른, MMT 기반 방송 송출 방법은, 콘텐츠를 다수의 영역들로 분할하고, 분할된 영역들 각각을 다수의 계층들로 인코딩하는 단계; 인코딩된 계층들 각각을 MPU(Media Processing Unit)로 캡슐화하고, 일부 계층에 대한 MPU를 제1 MMTP(MPEG Media Transport Protocol) 패킷으로 생성하는 단계; 및 제1 MMTP 패킷으로부터 방송 신호를 생성하여 전송하는 단계;를 포함한다.According to another aspect of the present invention, there is provided an MMT-based broadcast transmission method including: dividing a content into a plurality of regions and encoding each of the divided regions into a plurality of layers; Encapsulating each of the encoded layers with an MPU (Media Processing Unit), and generating an MPU for a certain layer as a first MMTP (MPEG Media Transport Protocol) packet; And generating and transmitting a broadcast signal from the first MMTP packet.
한편, 본 발명의 다른 실시예에 따른, 방송 수신 장치는, 방송 송출 시스템으로부터 방송 신호를 수신하고, 수신된 방송 신호를 디코딩하여 콘텐츠를 생성하는 수신기; 및 수신기에서 생성된 콘텐츠를 표시하는 디스플레이;를 포함하고, 방송 송출 시스템은, 콘텐츠를 다수의 영역들로 분할하고 분할된 영역들 각각을 다수의 계층들로 인코딩하며, 인코딩된 계층들 각각을 MPU(Media Processing Unit)로 캡슐화하고 일부 계층에 대한 MPU를 제1 MMTP(MPEG Media Transport Protocol) 패킷으로 생성하며, 생성된 제1 MMTP 패킷으로부터 방송 신호를 생성하여 전송한다.According to another aspect of the present invention, there is provided a broadcast receiving apparatus including: a receiver for receiving a broadcast signal from a broadcast transmission system and generating a content by decoding a received broadcast signal; And a display for displaying content generated by the receiver, wherein the broadcasting transmission system divides the content into a plurality of areas, encodes each of the divided areas into a plurality of layers, and transmits each of the encoded layers to the MPU (Media Processing Unit), generates MPUs for some layers as first MMTP (MPEG Media Transport Protocol) packets, and generates and transmits broadcast signals from the generated first MMTP packets.
한편, 본 발명의 다른 실시예에 따른, 방송 수신 방법은, 방송 송출 시스템으로부터 방송 신호를 수신하고, 수신된 방송 신호를 디코딩하여 콘텐츠를 생성하는 단계; 및 수신기에서 생성된 콘텐츠를 표시하는 단계;를 포함하고, 방송 송출 시스템은, 콘텐츠를 다수의 영역들로 분할하고 분할된 영역들 각각을 다수의 계층들로 인코딩하며, 인코딩된 계층들 각각을 MPU(Media Processing Unit)로 캡슐화하고 일부 계층에 대한 MPU를 제1 MMTP(MPEG Media Transport Protocol) 패킷으로 생성하며, 생성된 제1 MMTP 패킷으로부터 방송 신호를 생성하여 전송한다.According to another aspect of the present invention, there is provided a broadcast receiving method including: receiving a broadcast signal from a broadcast transmission system and decoding a received broadcast signal to generate a content; And displaying the content generated by the receiver, wherein the broadcasting transmission system divides the content into a plurality of areas, encodes each of the divided areas into a plurality of layers, and transmits each of the encoded layers to the MPU (Media Processing Unit), generates MPUs for some layers as first MMTP (MPEG Media Transport Protocol) packets, and generates and transmits broadcast signals from the generated first MMTP packets.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 8K 콘텐츠를 4개의 4K 영역들로 분할하여 이종 네트워크를 통해 MMT 기반으로 전달함으로써, 8K 방송 서비스 제공시에 발생할 수 있는 비트 레이트 부족을 해결할 수 있다.As described above, according to the embodiments of the present invention, since the 8K content is divided into four 4K areas and transmitted on the MMT basis via the heterogeneous network, it is possible to solve the shortage of the bit rate that can occur in providing 8K broadcast service have.
그리고, 본 발명의 실시예들에 따르면, 상용화되지 않은 또는 상용화된다 하더라도 매우 고가임이 확실한 8K 영상을 위한 코덱(인코더, 디코더)이 없어도, 8K 방송 서비스가 가능해진다.According to the embodiments of the present invention, it is possible to provide 8K broadcasting service even if there is no codec (encoder, decoder) for 8K video that is not commercialized or is very expensive even if it is commercialized.
또한, 본 발명의 실시예들에 따르면, 동일 계층을 구성하는 영역들의 정보를 그룹 정보로 제공하여, 수신단에서 영역 병합에 의한 원본 콘텐츠의 원활한 복원을 가능하게 한다.In addition, according to embodiments of the present invention, information of regions constituting the same layer is provided as group information, and the receiving end can smoothly restore original contents by merging regions.
나아가, 본 발명의 실시예들에 따르면, 각 영역 내의 동일 계층들의 데이터를 포함하는 패킷들을 영역-번호 순서로 스케줄링하여, 영역 분할에 의한 방송 서비스 지연을 줄일 수 있다.Furthermore, according to embodiments of the present invention, packets including data of the same layers in each area can be scheduled in order of area-number, thereby reducing delay in broadcasting service due to area division.
도 1은 한국과 일본의 UHSTV 규격을 비교한 표,
도 2는 SHVC 인코딩의 개념 설명에 제공되는 도면,
도 3은 SHVC-인코딩된 비디오의 캡슐화 방법,
도 4는 이종 네트워크를 통한 8K 방송 서비스 아키텍처를 도시한 도면,
도 5는 4개의 영역들로 분할된 8K 콘텐츠,
도 6은 네트워크 환경 변화에 따른 UHDTV 서비스 시나리오,
도 7은 MMT 시그널/MMTP 생성기의 상세 블럭도,
도 8은 CI와 HTML5 문서 간의 관계 및 CI 콤포넌트에 의해 생성된 CI 문서를 예시한 도면,
도 9는 MP 테이블을 예시한 도면,
도 10은 Group_descriptor()의 구문을 예시한 도면,
도 11은 packet_id의 구조를 나타낸 도면,
도 12는 packet_id를 구성하는 정보들의 상세 내용을 나타낸 도면,
도 13은 'packet_id'의 value과 이에 대한 description을 나타낸 표, 그리고,
도 14는 영역 정보에 따른 MMTP 패킷 스케줄링 방법을 나타낸 도면이다.1 is a table comparing UHSTV standards between Korea and Japan,
2 is a block diagram illustrating the concept of SHVC encoding,
Figure 3 shows a method of encapsulating SHVC-encoded video,
Figure 4 illustrates an 8K broadcast service architecture over a heterogeneous network;
5
FIG. 6 is a diagram illustrating a UHDTV service scenario,
7 is a detailed block diagram of an MMT signal / MMTP generator,
8 is a diagram illustrating a relationship between a CI and an HTML5 document and a CI document generated by a CI component,
9 is a diagram illustrating an MP table,
10 is a diagram illustrating the syntax of the Group_descriptor ()
11 is a diagram showing a structure of a packet_id,
12 is a view showing details of information constituting the packet_id,
13 is a table showing a value of 'packet_id' and a description thereof,
14 is a diagram illustrating a method of scheduling MMTP packets according to area information.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.
본 발명의 실시예에서는, 디지털 방송 네트워크와 패킷 교환 네트워크를 이용한 8K 방송 시스템을 제시한다. 제시하는 시스템은 8K 콘텐츠를 4개의 4K 영역들로 분할하여 이종 네트워크를 통해 전달한다.In an embodiment of the present invention, an 8K broadcasting system using a digital broadcasting network and a packet switching network is presented. The proposed system divides 8K contents into four 4K areas and delivers them through heterogeneous networks.
또한, 본 발명의 실시예에서는, 이종 네트워크를 통해 전송되는 분할된 4개의 4K 영역들이 수신단에서 1개의 8K 콘텐츠로 병합할 수 있도록 하기 위한 방안을 제시한다.In addition, the embodiment of the present invention proposes a scheme for allowing four 4K divided areas transmitted through a heterogeneous network to be merged into one 8K content at the receiving end.
MMT(MPEG Media Transport)는 디지털 방송 네트워크와 패킷 교환 네트워크를 통한 미디어 전달을 위한 차세대 기술로, MPU(Media Processing Unit) 포맷, 시그널 메시지(Signal Messages) 및 전달 프로토콜(Delivery Protocol)의 세 가지 기능 영역이 있다.MMT (MPEG Media Transport) is the next generation technology for media delivery through digital broadcasting network and packet exchange network. It has three functional areas: MPU (Media Processing Unit) format, Signal Messages and Delivery Protocol .
ISOBMFF(ISO based Media File Format)에 기초한 MPU 포맷은, 인코딩된 데이터를 캡슐화하기 위한 미디어 콘텐츠의 논리 구조와 데이터 유닛의 포맷을 정의한다. 시그널 메시지는 미디어 데이터의 전달 및 사용을 관리하기 위한 많은 시그널 메시지들을 정의한다. 전달 프로토콜은 응용 계층 전송 프로토콜(Application-Layer Transport Protocol)과 페이로드 포맷을 정의한다. MMT는 패킷화된 ISOBMFF 파일과 시그널 메시지를 전송하기 위해 최적화된 스트리밍 모드를 지원하여 방송 서비스를 가능하게 한다.The MPU format based on ISOBMFF (ISO based media file format) defines the logical structure of the media content and the format of the data unit for encapsulating the encoded data. A signal message defines a number of signaling messages for managing the delivery and use of media data. The delivery protocol defines the Application-Layer Transport Protocol and the payload format. The MMT supports streaming mode optimized for transmitting packetized ISOBMFF files and signaling messages to enable broadcast services.
본 발명의 실시예에 따른 방송 시스템은, 스마트폰, 태블릿 PC, 랩탑 PC, 노트북 컴퓨터 및 텔레비전과 같은 다양한 장치에 적용 가능하다.The broadcast system according to the embodiment of the present invention is applicable to various devices such as a smart phone, a tablet PC, a laptop PC, a notebook computer, and a television.
본 발명의 실시예에서, 8K로부터 분할된 각 4K 영역들은 도 2에 도시된 컨셉의 SHVC로 인코딩된다. SHVC는 최대 8K 해상도를 지원하는 비디오 압축 표준인 HEVC의 Scalability Extensions으로, AVC(Advanced Video Coding)에 비해 두 배에 가까운 데이터 압축률을 제공한다. 이는 공간적, 시간적 및 품질 확장성을 제공한다.In the embodiment of the present invention, each 4K region divided from 8K is encoded into SHVC of the concept shown in Fig. SHVC is the Scalability Extensions of HEVC, a video compression standard that supports resolutions up to 8K, which provides twice the data compression rate compared to AVC (Advanced Video Coding). This provides spatial, temporal and quality scalability.
SHVC 인코더는 여러 개의 계층, 구체적으로, 기본 계층(Base Layer)과 하나 이상의 향상 계층(Enhanced Layer)을 생성한다. 공간적 확장성(spatial scalability)을 갖는 SHVC에 의해 한 번만 인코딩된 비디오 스트림은 추가적인 프로세스 없이 다양한 해상도(예: HD, FHD 및 UHD)를 갖는 다양한 장치에서 사용할 수 있다.The SHVC encoder creates several layers, specifically a base layer and one or more enhancement layers. A single-encoded video stream by an SHVC with spatial scalability can be used in a variety of devices with various resolutions (e.g., HD, FHD and UHD) without additional processing.
미디어 스트리밍에 있어 안정적인 서비스를 위해서는, 다음에 설명할 몇 개의 솔루션이 필요하다.For reliable service in media streaming, several solutions are needed as described below.
첫 번째는 시그널 메시지의 스케줄링이다. 시그널 메시지는 서비스의 위치, 미디어 스트림들 간의 동기화 정보 및 디코딩 환경(decoding configuration)과 같은 중요한 정보를 포함하기 때문에, 방송 서비스에 반드시 필요하므로, MMT는 시그널 메시지가 일정 시간 간격(예: 0.5초 또는 1초) 마다 주기적으로 전송되도록 권고한다.The first is the scheduling of signaling messages. Since a signal message is necessary for a broadcast service because it contains important information such as location of a service, synchronization information between media streams, and decoding configuration, the MMT may require the signaling message to be transmitted at certain time intervals (e.g., 1 second) periodically.
하지만, 이는 낮은 레이턴시와 전송 오버 헤드에 대한 문제를 야기한다. 이는, 비디오 픽처 타입을 고려하여 주기적으로 시그널 메시지를 전송하는 것으로 문제를 해결할 수 있다. 비디오 픽처 타입에는, 자신만으로 디코딩이 가능하고 인터-픽쳐에 의해 참조되는 인트라-픽쳐(예: IDR, BLA 및 CRA)와 하나 이상의 인접한 픽처의 관점에서 표현되는 인터-픽처(예: P 및 B 픽처)가 있다. 시그널 메시지가 자주 전송되더라도 인트라-픽쳐의 MPU가 수신기에서 수신되지 않으면 방송 서비스를 제공할 수 없으므로, 시그널 메시지가 인터-픽쳐의 MPU 직전에 전송되는 것이 좋다.However, this causes problems with low latency and transmission overhead. This can solve the problem by periodically transmitting a signal message in consideration of the video picture type. The video picture type includes inter-pictures (e.g., P and B pictures) that can be decoded on their own and are represented in terms of one or more adjacent pictures and intra-pictures (e.g., IDR, BLA and CRA) ). Even if the signal message is frequently transmitted, the broadcast message can not be provided if the MPU of the intra-picture is not received at the receiver. Therefore, it is preferable that the signal message is transmitted immediately before the MPU of the inter-picture.
두 번째 솔루션은 랜덤 액세스를 위한 캡슐화 방법이다. 방송 사업자는 사용자가 서비스에 액세스하는 시점을 알지 못하므로, 사용자가 선택한 콘텐츠를 낮은 레이턴시로 시청할 수 있도록 하는 캡슐화 방법이 필요하다.The second solution is an encapsulation method for random access. Because the broadcasters do not know when the user will access the service, there is a need for an encapsulation method that allows the user to view the selected content at low latency.
SHVC로 인코딩된 비디오 스트리밍을 무작위로 연결하기 위한 캡슐화 방법으로, MPU는 인코딩된 로우 포맷의 스트림(encoded raw-formatted stream)과 파라미터 세트가 포함된 메타 데이터를 가지고 있다. 파라미터 세트에는, VPS(Video Parameter set), SPS(Sequence Parameter set) 및 PPS(Picture Parameter Set)이 포함된다.An encapsulation method for randomly concatenating SHVC encoded video streams, the MPU has metadata including an encoded raw-formatted stream and a set of parameters. The parameter set includes VPS (Video Parameter set), SPS (Sequence Parameter set) and PPS (Picture Parameter Set).
인코딩된 로우 포맷의 스트림은 mdat 박스에 로드되고, 메타데이터는 트랙 박스(trak) 내의 Configuration 박스 (예: hvc1, lhv1)에 로드된다. 이러한 파라미터 세트에는, 디코딩 정보가 들어 있다. 스케일러블 인코딩된 각각의 계층은 자신의 계층에 대한 파라미터 세트를 갖는다. 그러나, 이들은 로우 포맷된 스트림을 갖는 디코더에 파라미터 세트가 입력 될 때, 디코더가 요청하는 순서대로 재정렬 되어야 한다.The stream of the encoded low format is loaded into the mdat box and the metadata is loaded into the Configuration box (eg hvc1, lhv1) in the track box (trak). This parameter set contains decoding information. Each layer that is scalably encoded has a set of parameters for its layer. However, they must be rearranged in the order in which they are requested when a set of parameters is input to a decoder having a low formatted stream.
도 3은 3개의 계층을 갖는 SHVC-인코딩된 비디오의 각 계층이 재정렬된 파라미터 세트로 캡슐화되는 것을 나타낸 도면이다. 이 프로세스가 수신기에서 동작하면, 시간이 걸리므로 결과가 지연된다. 지연을 줄이기 위해, 재정렬된 파라미터들은, 도 3에 도시된 바와 같이, 송신단에서 캡슐화할 때 MPU에서 인코딩된 로우 포맷의 비디오 스트림 앞에 추가된다.Figure 3 is a diagram illustrating that each layer of SHVC-encoded video with three layers is encapsulated into a set of re-ordered parameters. When this process runs on the receiver, it takes time and results are delayed. To reduce the delay, the reordered parameters are added before the video stream in the low format encoded in the MPU when encapsulated in the transmitting end, as shown in FIG.
세 번째 솔루션은 이종 네트워크로 전송되는 스케일러블 비디오 스트림을 위한 동기화 방법이다. 도 3에 도시된 바와 같이, SHVC-인코딩된 비디오 스트림은 L0, L1 및 L2의 3개의 계층을 갖는다. 각 계층은 자신의 자체 정보와 함께 MPU에 캡슐화된다. L0 및 L1에 대한 MPU는 오디오 및 시그널 메시지와 함께 방송 네트워크를 통해 전송되고, L2에 대한 MPU는 HTTP 네트워크를 통해 전송된다. 서로 다른 이종 네트워크를 통해 전달되는 MPU들은 동기화 방법을 사용하여 하나의 콘텐츠로 병합되어야 한다.The third solution is a synchronization method for a scalable video stream transmitted over a heterogeneous network. As shown in FIG. 3, the SHVC-encoded video stream has three layers L0, L1 and L2. Each layer is encapsulated in the MPU along with its own information. The MPUs for L0 and L1 are transmitted over the broadcast network together with the audio and signal messages, and the MPU for L2 is transmitted over the HTTP network. MPUs delivered over different heterogeneous networks must be merged into a single piece of content using a synchronization method.
MMT에서 컴포지션 계층(Composition Layer)은 미디어 콘텐츠들 간의 시간 관계 및 미디어 데이터(예: 스케일러블 비디오 계층, 오디오 데이터 등) 간의 의존 관계에 관한 정보를 제공한다. 이 정보를 CI(Composition Information)라고 한다. MXD(MMT eXtension Document)는 향상 계층의 세그먼트 목록이 있는 XML 형식의 문서이다.In the MMT, a composition layer provides information on the time relationship between media contents and the dependency relation between media data (e.g., scalable video layer, audio data, etc.). This information is called CI (Composition Information). MXD (MMT eXtension Document) is an XML-formatted document with a list of segments in the enhancement layer.
CI 문서와 MXD는 시그널 메시지로 전달된다. 수신단은 시그널 메시지를 파싱하여, CI 문서와 MXD의 물리적 주소를 획득한다. 그 후, 그 주소를 가진 웹 서버에 요청하여 MXD를 획득할 수 있다. MXD에 나열된 세그먼트들 중 적정한 것은 미디어 동기화를 위한 선택 알고리즘을 통해 선택된다. 수신단은 선택한 세그먼트를 웹 서버에 요청하고, CI를 참조하여 미디어 세그먼트들을 병합할 수 있다.The CI document and MXD are delivered as signal messages. The receiving end parses the signaling message to obtain the physical address of the CI document and the MXD. You can then obtain the MXD by requesting it to the web server with that address. Appropriate segments among the segments listed in the MXD are selected through a selection algorithm for media synchronization. The receiving end may request the selected segment to the web server, and may refer to the CI to merge the media segments.
도 4는 이종 네트워크를 통한 8K 방송 서비스 아키텍처를 도시한 도면이다.4 is a diagram illustrating an 8K broadcast service architecture over a heterogeneous network.
8K 방송 서비스를 위해, 먼저 콘텐츠 서버(콘텐츠 공급자)(100)는 8K 콘텐츠를 획득하고 미디어 유형별(비디오와 오디오)로 추출한다.For the 8K broadcasting service, the content server (content provider) 100 first acquires the 8K content and extracts it by media type (video and audio).
추출된 8K 비디오 스트림은, 도 5에 도시된 바와 같이, 4개의 영역들(Area1, Area2, Area3, Area4)로 분할된다. 분할된 4K 비디오들은 고유 식별자가 있는 미디어 데이터인 독립된 애셋(assest)으로 처리된다. 그리고, 각 4K 스트림은 SHVC로 인코딩되어, 3개의 계층들(L0, L1 및 L2)을 생성한다. 이에, 원본 8K 비디오는 12(=4*3)개의 계층, 즉 12개의 애셋들로 구성된다. 오디오 스트림은 AAC에 의해 인코딩된다.The extracted 8K video stream is divided into four areas (Area1, Area2, Area3, Area4) as shown in Fig. The divided 4K videos are treated as independent assertions, which are media data with unique identifiers. Then, each 4K stream is encoded into SHVC to generate three layers L0, L1 and L2. Thus, the original 8K video is composed of 12 (= 4 * 3) layers, that is, 12 assets. The audio stream is encoded by AAC.
MMT 시그널/MMTP 생성기(210)는, 1) 오디오, L0 및 L1의 인코딩된 스트림을 수신하고, 2) 각 스트림을 MPU들로 캡슐화하며, 3) 서비스 및 각 미디어 정보를 포함하는 시그널 메시지를 생성하고, 4) 2개의 MMTP 스트림을 생성한다. 메인 스트림은 오디오, L0 및 시그널 메시지를 가지며, 두 번째 스트림은 L1에 대한 패킷을 갖는다.MMT signal /
시그널 생성기(220)는 MMT 시그널/MMTP 생성기(210)로부터 수신되는 MMTP 스트림으로부터, ATSC 3.0, DVB-T2 등과 같은 방송 표준에 따라, 방송 신호를 생성한다.The
HTTP 서비스 생성기(310)는 L2용 MXD를 생성하고, 이 문서와 L2 스트림을 HTTP 스트리밍 서버에 저장한다. HTTP 스트리밍 서버(320)는 수신단의 요청에 따라 광대역 네트워크를 통해 L2에 대한 스트리밍 서비스를 제공한다.The
도 4에 도시된 8K 방송 시스템은, 전술한 시그널 메시지 스케줄링 방법, 랜덤 액세스를 위한 캡슐화 방법 및 동기화 방법을 수행한다.The 8K broadcast system shown in FIG. 4 performs the above-described signal message scheduling method, the encapsulation method for random access, and the synchronization method.
사용자는 수신기(400)에서 수신된 방송 신호를 디코딩하여 콘텐츠를 생성하는 디코더와 생성된 콘텐츠를 표시하는 디스플레이(500)의 성능에 따라 콘텐츠를 시청할 수 있다. 예를 들어, 2K-해상도의 TV는 방송 네트워크를 통해 각 영역의 L0 데이터를 수신해야 한다.The user can watch the content according to the performance of the decoder that decodes the broadcast signal received from the
또한, 방송 네트워크와 광대역 네트워크에 연결된 8K-해상도 TV를 보유하고 있는 사용자는 8K 콘텐츠를 시청할 수 있다. 4개의 영역에 대한 L2 데이터는 광대역 네트워크를 통해 전달되고, 나머지 데이터는 방송 네트워크를 통해 전달된다.In addition, a user having an 8K-resolution TV connected to a broadcasting network and a broadband network can view 8K contents. The L2 data for the four areas are transmitted through the broadband network, and the remaining data is transmitted through the broadcast network.
도 6은 네트워크 환경 변화에 따른 UHDTV 서비스 시나리오를 제시한 도면이다. 도 6에 도시된 바와 같이, 8K 콘텐츠는 모든 계층들의 데이터가 이종 네트워크를 통해 수신될 때인 "t2"에서 시작된다. 한편, 임의의 영역의 L2 데이터가 tn에서의 변동하는 비트 레이트로 인해 수신되지 않거나 또는 깨진 경우, 콘텐츠는 더 낮은 해상도로 변경된다.6 is a diagram illustrating a UHDTV service scenario according to a change in network environment. As shown in FIG. 6, the 8K content starts at "t2" when data of all layers is received over the heterogeneous network. On the other hand, if the L2 data of an arbitrary area is not received or is broken due to the fluctuating bit rate at tn, the content is changed to a lower resolution.
8K 방송 시스템에서, 송신단은 분할된 각 영역들이 하나의 콘텐츠에 속한다는 것을 수신단에 알려야 한다. 하나의 콘텐츠를 여러 부분으로 전송하기 때문이다.In the 8K broadcasting system, the transmitting end must inform the receiving end that each divided area belongs to one piece of content. This is because one piece of content is transmitted in several parts.
또한, 다수의 분할된 영역들을 하나의 콘텐츠로 병합해야 하기 때문에, 서비스 지연이 발생할 수 있다. 따라서, 콘텐츠 동기화 방법이 지연을 줄이기 위해 필요하다.In addition, since a plurality of divided areas must be merged into one content, a service delay may occur. Therefore, a content synchronization method is needed to reduce the delay.
이하에서는, 도 4에 도시된 8K 방송 시스템의 송신단을 구성하는 MMT 시그널/MMTP 생성기(210)에 대해, 도 7을 참조하여 상세히 설명한다. 도 7은 MMT 시그널/MMTP 생성기(210)의 상세 블럭도이다.Hereinafter, the MMT signal /
MMT 시그널/MMTP 생성기(210)는, 도 7에 도시된 바와 같이, 영역적/계층적으로 분할된 비디오와 오디오를 캡슐화하여 MPU를 생성하는 MPU 컴포넌트(211), CI를 생성하는 CI 컴포넌트(212), 시그널 메시지를 생성하는 시그널 메시지 컴포넌트(213), MMTP 스트림을 생성하는 MMTP 스트림 컴포넌트(214)를 포함한다.As shown in FIG. 7, the MMT signal /
MMTP 스트림 컴포넌트(214)는 각 영역의 데이터를 병합하는데 걸리는 시간을 줄이기 위해, MMPT 패킷을 스케줄링하는 MMPT 스케줄러(215)를 포함한다.The
CI 컴포넌트(212)는 CI와 HTML5 문서를 생성한다. CI 문서는 XML 스키마로 정의되며, 도 8에 도시된 바와 같이 ID들로 HTML5 문서에 정의된 엘리먼트들을 참조하는 여러 엘리먼트들을 포함하고 있다.The
'view' 엘리먼트는 뷰와 그 영역들의 변화에 대한 시간 정보를 제공하며, 'MediaSync' 엘리먼트는 미디어 데이터의 표현에 대한 시간 정보를 제공한다. 또한, 함께 표시되어야 하는 애셋들의 정보를 제공하는 'group' 엘리먼트가 추가된다. 여기에는 각 'div'에 동일 계층(L0, L1 및 L2)에서 에셋 세트가 포함된다.The 'view' element provides time information about the changes in the view and its regions, and the 'MediaSync' element provides time information about the representation of the media data. In addition, a 'group' element is added that provides information about the assets that should be displayed together. Here, each 'div' contains a set of assets in the same layer (L0, L1 and L2).
시그널 메시지 컴포넌트(213)에 의해 생성되는 시그널 메시지는 MMTP 스트림에서 전달되는 멀티미디어 구조, MMTP 환경(Configuration) 정보 및 MMT 페이로드 포맷 정보를 전달한다.The signal message generated by the
PA(Packet Access) 메시지, MPI(Media Presentation Information) 메시지, MPT(MMT Package Table) 메시지, CRI(Clock Relation Information) 메시지 및 DCI(Device Capability Information) 메시지 등 5가지 유형의 시그널 메시지가 멀티미디어 데이터의 사용을 위해 MMT 표준에 정의되어 있다.Five types of signal messages, such as PA (Packet Access) message, MPI (Media Presentation Information) message, MPT (MMT Package Table) message, CRI (Clock Relation Information) message and DCI Is defined in the MMT standard.
각 시그널 메시지에는 하나 이상의 테이블이 있다. 그 중 하나인 MP 테이블에는 모든 애셋들의 목록을 포함하는 패키지에 대한 정보가 있다. 분할된 모든 계층화된 비디오 스트림을 애셋으로 간주하므로, 애셋들 간의 관계에 대한 정보가 있어야 한다.Each signal message has one or more tables. One of them, the MP table, contains information about the package that contains a list of all assets. Because all the layered video streams that are divided are considered as assets, there must be information about the relationship between the assets.
그룹에는 동일 계층을 구성하는 각 영역들의 애셋들이 포함되어 있다. 영역의 개수는 4개이므로 1개의 그룹에는 4개의 애셋들이 있고, 계층의 개수는 3개이므로 1개의 패키지에는 3개의 그룹들이 있다.The group includes the assets of the respective regions constituting the same layer. Since the number of regions is four, there are four assets in one group and three in the hierarchy, so there are three groups in one package.
본 발명의 실시예에서는, 도 9에 도시된 바와 같이 MPI 메시지의 MP 테이블에 'Group_descriptor()'를 추가하여 위의 정보를 제공한다. 'num_of_groups'의 값은 이 패키지에 포함된 그룹의 수를 의미한다.In the embodiment of the present invention, 'Group_descriptor ()' is added to the MP table of the MPI message as shown in FIG. 9 to provide the above information. The value of 'num_of_groups' means the number of groups included in this package.
각 그룹에 대한 정보는 'Group_descriptor()'에 의해 획득되며, 도 10에는 Group_descriptor()의 구문을 나타내었다.The information on each group is obtained by 'Group_descriptor ()', and the syntax of Group_descriptor () is shown in FIG.
MPU 컴포넌트(211)에 의해 생성된 MPU와 시그널 메시지 컴포넌트(213)에 의해 생성된 시그널 메시지는 이종 네트워크를 통해 전송하기 위해 MMT 패킷에 로드된다. MMTP 스트림 컴포넌트(214)는 미디어 유형에 따라 MMTP 헤더의 각 필드 값을 설정하고, 각 패킷이 전송되는 순서를 스케줄링한다.The MPU generated by the
수신단은 MMTP 헤더의 'type' 값에 따라 어떤 유형의 데이터가 MMTP 페이로드에 수록되어 있는지 알 수 있다. 이를 위해, 먼저 시그널 메시지 패킷의 패킷들을 찾아 각 시그널 테이블을 파싱하여, 각 애셋에 대한 'packet_id' 값을 획득할 수 있다.The receiving end can know what type of data is included in the MMTP payload according to the 'type' value of the MMTP header. To do this, it is possible to first find the packets of the signal message packet, parse each signal table, and obtain the 'packet_id' value for each asset.
'packet_id'을 통해 MPU를 획득할 수 있지만, 수신단은 MPU가 비디오 용인지 아니면 오디오 용인지를 알 수 없다. 또한, 비디오의 경우, 어떤 레이어와 영역에 대한 것인지 알 수 없다.Although the MPU can be obtained through 'packet_id', the receiving end can not know whether the MPU is for video or audio. Also, in the case of video, it is not known what layer and area it is.
수신단이 MMTP 헤더를 완전히 파싱하기 전에 이 정보를 얻을 수 있다면, 비디오 스트림이 디코딩될 때까지 걸리는 시간을 줄일 수 있다. 이에, 본 발명의 실시예에서는, 수신단에서 수신된 패킷을 빠르게 분류하기 위해, MMTP 헤더의 'packet_id' 필드 값의 생성 규칙을 제시한다.If the receiver can obtain this information before fully parsing the MMTP header, it can reduce the time it takes to decode the video stream. Accordingly, in the embodiment of the present invention, a rule for generating the 'packet_id' field value of the MMTP header is presented in order to quickly classify a packet received at the receiving end.
도 11에는 packet_id의 구조를 나타내었고, 도 12에는 packet_id를 구성하는 정보들의 상세 내용을 나타내었다. 도시된 바와 같이, packet_id의 길이는 2 바이트이다.FIG. 11 shows the structure of the packet_id, and FIG. 12 shows details of the information constituting the packet_id. As shown, the length of the packet_id is 2 bytes.
첫 번째 비트는 packet_id 필드가 수록된 패킷이 비디오인지 여부를 나타내는 video indicator(v_i)이다. v_i가 '0'으로 설정 되어 있으면, 패킷이 비디오 이외의 다른 데이터를 수록하고 있음을 의미하고, v_i가 '1'로 설정 되면 패킷이 비디오 데이터를 수록하고 있음을 의미한다.The first bit is a video indicator (v_i) indicating whether the packet containing the packet_id field is video. If v_i is set to '0', it indicates that the packet contains data other than video. If v_i is set to '1', it means that the packet contains video data.
packet_id의 나머지는, 계층 정보(layer_info), 영역 정보(area info.), id 정보(id info.), 세 부분으로 구분된다.The remainder of the packet_id is divided into three parts: layer information (layer_info), area information (area info.), and id information (id info.).
계층 정보는 비디오가 속한 계층에 대한 정보가 수록된다. 방송 네트워크를 통해 전송되는 비디오 데이터는 L0 또는 L1 이다. 도 12에 나타난 바와 같이, 계층 정보가 '0'으로 설정되어 있으면 비디오 패킷은 L0에 대한 비디오 패킷이고, 계층 정보가 '1'로 설정되어 있으면 비디오 패킷은 L1에 대한 비디오 패킷임을 나타낸다.The layer information includes information about the layer to which the video belongs. The video data transmitted through the broadcast network is L0 or L1. As shown in FIG. 12, if the layer information is set to '0', the video packet is a video packet for L0, and if the layer information is set to '1', the video packet is a video packet for L1.
'영역 정보'는 비디오 데이터의 영역, 즉, 화면(도 5 참조) 상의 위치를 의미한다. 도 12에 나타난 바와 같이, 영역 정보가 '00'으로 설정되어 있으면 비디오 패킷은 Area 1에 대한 비디오 패킷이고, 영역 정보가 '01'로 설정되어 있으면 비디오 패킷은 Area 2에 대한 비디오 패킷이고, 영역 정보가 '10'으로 설정되어 있으면 비디오 패킷은 Area 3에 대한 비디오 패킷이고, 영역 정보가 '11'로 설정되어 있으면 비디오 패킷은 Area 4에 대한 비디오 패킷임을 나타낸다.'Area information' means a region of video data, that is, a position on the screen (see FIG. 5). As shown in FIG. 12, when the area information is set to '00', the video packet is a video packet for
도 13에는 'packet_id'의 value과 이에 대한 description을 표로 나타내었다.In FIG. 13, the value of 'packet_id' and the description thereof are shown in the table.
방송 서비스 지연을 줄이기 위한 다른 방법은 스케줄링이다. 영역 데이터가 수신되지 않거나 영역 데이터들 간의 순서가 수신되지 않으면, 지연이 발생한다. 이에 따라, 본 발명의 실시예에서, 수신단은 영역-1의 데이터가 도착하지 않으면 영역-2의 데이터를 디코딩할 수 없고, 영역-2의 데이터가 도착하지 않으면 영역-3의 데이터를 디코딩할 수 없는 정책을 가지고 있다. 영역 데이터는 영역-번호 순서로 도착해야 한다.Another way to reduce broadcast service delay is scheduling. If the area data is not received or the order between the area data is not received, a delay occurs. Accordingly, in the embodiment of the present invention, the receiving end can not decode the data of the area-2 if the data of the area-1 does not arrive, and can decode the data of the area-3 if the data of the area- I have no policy. Area data must arrive in area-number order.
이를 위해, MMPT 스케줄러(215)는 도 14에 도시된 바와 같이 영역 정보에 따라 MMTP 패킷을 스케줄링한다. 구체적으로, 도 14의 좌측에 도시된 바와 같이 MPU가 MMTP 패킷으로 생성될 때, MMPT 스케줄러(215)는 도 14의 우측에 도시된 바와 같이 각 영역 내의 동일 계층들의 데이터를 포함하는 패킷들을 영역-번호 순서로 스케줄링한다.To this end, the
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.It goes without saying that the technical idea of the present invention can also be applied to a computer-readable recording medium having a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, the technical idea according to various embodiments of the present invention may be embodied in computer-readable code form recorded on a computer-readable recording medium. The computer-readable recording medium is any data storage device that can be read by a computer and can store data. For example, the computer-readable recording medium may be a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical disk, a hard disk drive, or the like. In addition, the computer readable code or program stored in the computer readable recording medium may be transmitted through a network connected between the computers.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.
100 : 콘텐츠 서버(콘텐츠 공급자)
210 : MMT 시그널/MMTP 생성기(210)
211 : MPU 컴포넌트
212 : CI 컴포넌트
213 : 시그널 메시지 컴포넌트
214 : MMTP 스트림 컴포넌트
215 : MMPT 스케줄러
220 : 시그널 생성기
310 : HTTP 서비스 생성기
320 : HTTP 스트리밍 서버
400 : 수신기
500 : 디스플레이100: Content server (content provider)
210: MMT signal /
211: MPU component
212: CI component
213: Signal message component
214: MMTP stream component
215: MMPT scheduler
220: Signal generator
310: HTTP Service Generator
320: HTTP streaming server
400: receiver
500: Display
Claims (15)
인코딩된 계층들 각각을 MPU(Media Processing Unit)로 캡슐화하고, 일부 계층에 대한 MPU를 제1 MMTP(MPEG Media Transport Protocol) 패킷으로 생성하는 제1 생성기; 및
제1 생성기에 의해 생성된 제1 MMTP 패킷으로부터 방송 신호를 생성하여 전송하는 제2 생성기;를 포함하고,
분할된 영역들은,
고유 식별자를 갖는 독립된 애셋들로 생성되며,
제1 생성기는,
MPU를 생성하는 제1 컴포넌트;
CI(Composition Information)를 생성하는 제2 컴포넌트;
CI를 참조하여 시그널 메시지를 생성하는 제3 컴포넌트;
일부 계층에 대한 MPU와 시그널 메시지로 제1 MMTP 스트림을 생성하는 제4 컴포넌트;를 포함하고,
CI에는,
함께 표시되어야 하는 애셋들의 정보를 수록한 그룹 정보가 포함되어 있으며,
그룹 정보에는,
동일 계층을 구성하는 에셋 세트들이 나열되어 있는 것을 특징으로 하는 MMT 기반 방송 송출 시스템.
A content server that divides the content into a plurality of regions and encodes each of the divided regions into a plurality of layers;
A first generator for encapsulating each of the encoded layers with an MPU (Media Processing Unit) and generating an MPU for some layers as a first MMTP (MPEG Media Transport Protocol) packet; And
And a second generator for generating and transmitting a broadcast signal from the first MMTP packet generated by the first generator,
The divided regions,
Are generated as independent assets with unique identifiers,
The first generator comprises:
A first component for generating an MPU;
A second component for generating CI (Composition Information);
A third component for generating a signal message with reference to the CI;
And a fourth component for generating a first MMTP stream with an MPU and a signal message for some of the layers,
In CI,
Group information including information of the assets to be displayed together is included,
In the group information,
Wherein the set of assets constituting the same layer is listed.
제3 컴포넌트는,
시그널 메시지 중 하나인 MPI(Media Presentation Information) 메시지의 MP 테이블에 그룹 정보를 수록하는 것을 특징으로 하는 MMT 기반 방송 송출 시스템.
The method according to claim 1,
The third component,
Wherein the group information is stored in an MP table of an MPI (Media Presentation Information) message, which is one of the signal messages.
인코딩된 계층들 각각을 MPU(Media Processing Unit)로 캡슐화하고, 일부 계층에 대한 MPU를 제1 MMTP(MPEG Media Transport Protocol) 패킷으로 생성하는 제1 생성기; 및
제1 생성기에 의해 생성된 제1 MMTP 패킷으로부터 방송 신호를 생성하여 전송하는 제2 생성기;를 포함하고,
분할된 영역들은,
고유 식별자를 갖는 독립된 애셋들로 생성되며,
제1 생성기는,
MPU를 생성하는 제1 컴포넌트;
CI(Composition Information)를 생성하는 제2 컴포넌트;
CI를 참조하여 시그널 메시지를 생성하는 제3 컴포넌트;
일부 계층에 대한 MPU와 시그널 메시지로 제1 MMTP 스트림을 생성하는 제4 컴포넌트;를 포함하고,
CI에는,
함께 표시되어야 하는 애셋들의 정보를 수록한 그룹 정보가 포함되어 있으며,
제4 컴포넌트는,
제1 MMTP 패킷의 헤더에, 제1 MMTP 패킷의 페이로드의 데이터가 비디오 데이터인지 여부를 나타내는 정보, 비디오 데이터인 경우 계층에 대한 정보와 영역에 대한 정보를 포함하는 패킷 ID를 수록하는 것을 특징으로 하는 MMT 기반 방송 송출 시스템.
A content server that divides the content into a plurality of regions and encodes each of the divided regions into a plurality of layers;
A first generator for encapsulating each of the encoded layers with an MPU (Media Processing Unit) and generating an MPU for some layers as a first MMTP (MPEG Media Transport Protocol) packet; And
And a second generator for generating and transmitting a broadcast signal from the first MMTP packet generated by the first generator,
The divided regions,
Are generated as independent assets with unique identifiers,
The first generator comprises:
A first component for generating an MPU;
A second component for generating CI (Composition Information);
A third component for generating a signal message with reference to the CI;
And a fourth component for generating a first MMTP stream with an MPU and a signal message for some of the layers,
In CI,
Group information including information of the assets to be displayed together is included,
The fourth component,
The header of the first MMTP packet includes information indicating whether the data of the payload of the first MMTP packet is video data, information on the layer in the case of video data, and a packet ID including information on the area. Based MMT based broadcasting system.
인코딩된 계층들 각각을 MPU(Media Processing Unit)로 캡슐화하고, 일부 계층에 대한 MPU를 제1 MMTP(MPEG Media Transport Protocol) 패킷으로 생성하는 제1 생성기; 및
제1 생성기에 의해 생성된 제1 MMTP 패킷으로부터 방송 신호를 생성하여 전송하는 제2 생성기;를 포함하고,
분할된 영역들은,
고유 식별자를 갖는 독립된 애셋들로 생성되며,
제1 생성기는,
MPU를 생성하는 제1 컴포넌트;
CI(Composition Information)를 생성하는 제2 컴포넌트;
CI를 참조하여 시그널 메시지를 생성하는 제3 컴포넌트;
일부 계층에 대한 MPU와 시그널 메시지로 제1 MMTP 스트림을 생성하는 제4 컴포넌트;를 포함하고,
CI에는,
함께 표시되어야 하는 애셋들의 정보를 수록한 그룹 정보가 포함되어 있으며,
제4 컴포넌트는,
영역 정보에 따라 제1 MMTP 패킷을 스케줄링하는 스케줄러;를 포함하는 것을 특징으로 하는 MMT 기반 방송 송출 시스템.
A content server that divides the content into a plurality of regions and encodes each of the divided regions into a plurality of layers;
A first generator for encapsulating each of the encoded layers with an MPU (Media Processing Unit) and generating an MPU for some layers as a first MMTP (MPEG Media Transport Protocol) packet; And
And a second generator for generating and transmitting a broadcast signal from the first MMTP packet generated by the first generator,
The divided regions,
Are generated as independent assets with unique identifiers,
The first generator comprises:
A first component for generating an MPU;
A second component for generating CI (Composition Information);
A third component for generating a signal message with reference to the CI;
And a fourth component for generating a first MMTP stream with an MPU and a signal message for some of the layers,
In CI,
Group information including information of the assets to be displayed together is included,
The fourth component,
And a scheduler for scheduling the first MMTP packet according to the area information.
스케줄러는,
동일 계층의 영역들을 포함하는 패킷들을 영역 번호 순서로 스케줄링하는 것을 특징으로 하는 MMT 기반 방송 송출 시스템.
The method of claim 8,
The scheduler,
And scheduling packets including areas of the same layer in order of area numbers.
인코딩된 계층들 각각을 MPU(Media Processing Unit)로 캡슐화하고, 일부 계층에 대한 MPU를 제1 MMTP(MPEG Media Transport Protocol) 패킷으로 생성하는 제1 생성기; 및
제1 생성기에 의해 생성된 제1 MMTP 패킷으로부터 방송 신호를 생성하여 전송하는 제2 생성기;를 포함하고,
분할된 영역들은,
고유 식별자를 갖는 독립된 애셋들로 생성되며,
제1 생성기는,
MPU를 생성하는 제1 컴포넌트;
CI(Composition Information)를 생성하는 제2 컴포넌트;
CI를 참조하여 시그널 메시지를 생성하는 제3 컴포넌트;
일부 계층에 대한 MPU와 시그널 메시지로 제1 MMTP 스트림을 생성하는 제4 컴포넌트;를 포함하고,
CI에는,
함께 표시되어야 하는 애셋들의 정보를 수록한 그룹 정보가 포함되어 있으며,
제4 컴포넌트는,
나머지 계층에 대한 MPU로 제2 MMTP 패킷을 생성하는 것을 특징으로 하는 MMT 기반 방송 송출 시스템.
A content server that divides the content into a plurality of regions and encodes each of the divided regions into a plurality of layers;
A first generator for encapsulating each of the encoded layers with an MPU (Media Processing Unit) and generating an MPU for some layers as a first MMTP (MPEG Media Transport Protocol) packet; And
And a second generator for generating and transmitting a broadcast signal from the first MMTP packet generated by the first generator,
The divided regions,
Are generated as independent assets with unique identifiers,
The first generator comprises:
A first component for generating an MPU;
A second component for generating CI (Composition Information);
A third component for generating a signal message with reference to the CI;
And a fourth component for generating a first MMTP stream with an MPU and a signal message for some of the layers,
In CI,
Group information including information of the assets to be displayed together is included,
The fourth component,
And the second MMTP packet is generated by the MPU for the remaining layers.
제4 컴포넌트에 의해 생성된 제2 MMTP 패킷을 HTTP로 제공하는데 필요한 MXD(MMT eXtension Document)를 생성하는 제3 생성기; 및
제2 MMTP 패킷과 MXD를 HTTP로 스트리밍하는 스트리밍 서버;를 더 포함하는 것을 특징으로 하는 MMT 기반 방송 송출 시스템.
The method according to claim 1,
A third generator for generating an MXD (MXT Extension Document) required to provide a second MMTP packet generated by the fourth component over HTTP; And
And a streaming server for streaming the second MMTP packet and the MXD in HTTP.
콘텐츠는 8K 비디오이고,
분할된 영역들은 4K 비디오 크기인 것을 특징으로 하는 MMT 기반 방송 송출 시스템.
The method according to claim 1,
The content is 8K video,
And the divided areas are 4K video sizes.
인코딩된 계층들 각각을 MPU(Media Processing Unit)로 캡슐화하고, 일부 계층에 대한 MPU를 제1 MMTP(MPEG Media Transport Protocol) 패킷으로 생성하는 단계; 및
제1 MMTP 패킷으로부터 방송 신호를 생성하여 전송하는 단계;를 포함하고,
분할된 영역들은,
고유 식별자를 갖는 독립된 애셋들로 생성되며,
생성 단계는,
MPU를 생성하고, CI(Composition Information)를 생성하며, CI를 참조하여 시그널 메시지를 생성하고, 일부 계층에 대한 MPU와 시그널 메시지로 제1 MMTP 스트림을 생성하며,
CI에는,
함께 표시되어야 하는 애셋들의 정보를 수록한 그룹 정보가 포함되어 있고,
그룹 정보에는,
동일 계층을 구성하는 에셋 세트들이 나열되어 있는 것을 특징으로 하는 MMT 기반 방송 송출 방법.
Dividing the content into a plurality of regions, and encoding each of the divided regions into a plurality of layers;
Encapsulating each of the encoded layers with an MPU (Media Processing Unit), and generating an MPU for a certain layer as a first MMTP (MPEG Media Transport Protocol) packet; And
And generating and transmitting a broadcast signal from the first MMTP packet,
The divided regions,
Are generated as independent assets with unique identifiers,
In the generating step,
Generates an MPU, generates CI (Composition Information), generates a signal message with reference to the CI, generates a first MMTP stream using an MPU and a signal message for some layers,
In CI,
The group information including the information of the assets to be displayed together is included,
In the group information,
Wherein the set of assets constituting the same layer is listed.
수신기에서 생성된 콘텐츠를 표시하는 디스플레이;를 포함하고,
방송 송출 시스템은,
콘텐츠를 다수의 영역들로 분할하고 분할된 영역들 각각을 다수의 계층들로 인코딩하며, 인코딩된 계층들 각각을 MPU(Media Processing Unit)로 캡슐화하고 일부 계층에 대한 MPU를 제1 MMTP(MPEG Media Transport Protocol) 패킷으로 생성하며, 생성된 제1 MMTP 패킷으로부터 방송 신호를 생성하여 전송하고,
분할된 영역들은,
고유 식별자를 갖는 독립된 애셋들로 생성되며,
방송 송출 시스템은,
MPU를 생성하고, CI(Composition Information)를 생성하며, CI를 참조하여 시그널 메시지를 생성하고, 일부 계층에 대한 MPU와 시그널 메시지로 제1 MMTP 스트림을 생성하며,
CI에는,
함께 표시되어야 하는 애셋들의 정보를 수록한 그룹 정보가 포함되어 있으며,
그룹 정보에는,
동일 계층을 구성하는 에셋 세트들이 나열되어 있는 것을 특징으로 하는 방송 수신 장치.
A receiver for receiving a broadcast signal from a broadcast transmission system and decoding the received broadcast signal to generate a content; And
And a display for displaying content generated at the receiver,
In the broadcast transmission system,
Encapsulates each of the encoded layers into a plurality of layers, encapsulates each of the encoded layers with an MPU (Media Processing Unit), and encapsulates the MPU for some layers into a first MMTP And generates a broadcast signal from the generated first MMTP packet,
The divided regions,
Are generated as independent assets with unique identifiers,
In the broadcast transmission system,
Generates an MPU, generates CI (Composition Information), generates a signal message with reference to the CI, generates a first MMTP stream using an MPU and a signal message for some layers,
In CI,
Group information including information of the assets to be displayed together is included,
In the group information,
And a plurality of asset sets constituting the same layer are listed.
수신기에서 생성된 콘텐츠를 표시하는 단계;를 포함하고,
방송 송출 시스템은,
콘텐츠를 다수의 영역들로 분할하고 분할된 영역들 각각을 다수의 계층들로 인코딩하며, 인코딩된 계층들 각각을 MPU(Media Processing Unit)로 캡슐화하고 일부 계층에 대한 MPU를 제1 MMTP(MPEG Media Transport Protocol) 패킷으로 생성하며, 생성된 제1 MMTP 패킷으로부터 방송 신호를 생성하여 전송하고,
분할된 영역들은,
고유 식별자를 갖는 독립된 애셋들로 생성되며,
방송 송출 시스템은,
MPU를 생성하고, CI(Composition Information)를 생성하며, CI를 참조하여 시그널 메시지를 생성하고, 일부 계층에 대한 MPU와 시그널 메시지로 제1 MMTP 스트림을 생성하며,
CI에는,
함께 표시되어야 하는 애셋들의 정보를 수록한 그룹 정보가 포함되어 있으며,
그룹 정보에는,
동일 계층을 구성하는 에셋 세트들이 나열되어 있는 것을 특징으로 하는 방송 수신 방법.
Receiving a broadcast signal from a broadcast transmission system, and decoding the received broadcast signal to generate a content; And
And displaying the generated content in the receiver,
In the broadcast transmission system,
Encapsulates each of the encoded layers into a plurality of layers, encapsulates each of the encoded layers with an MPU (Media Processing Unit), and encapsulates the MPU for some layers into a first MMTP And generates a broadcast signal from the generated first MMTP packet,
The divided regions,
Are generated as independent assets with unique identifiers,
In the broadcast transmission system,
Generates an MPU, generates CI (Composition Information), generates a signal message with reference to the CI, generates a first MMTP stream using an MPU and a signal message for some layers,
In CI,
Group information including information of the assets to be displayed together is included,
In the group information,
And a plurality of asset sets constituting the same layer are listed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170100179A KR101943214B1 (en) | 2017-08-08 | 2017-08-08 | Method for Generating 8K Broadcasting Stream based on MMT and Broadcasting System applying the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170100179A KR101943214B1 (en) | 2017-08-08 | 2017-08-08 | Method for Generating 8K Broadcasting Stream based on MMT and Broadcasting System applying the same |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101943214B1 true KR101943214B1 (en) | 2019-01-28 |
Family
ID=65269552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170100179A KR101943214B1 (en) | 2017-08-08 | 2017-08-08 | Method for Generating 8K Broadcasting Stream based on MMT and Broadcasting System applying the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101943214B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101656193B1 (en) * | 2015-08-11 | 2016-09-22 | 서울여자대학교 산학협력단 | MMT-based Broadcasting System and Method for UHD Video Streaming over Heterogeneous Networks |
-
2017
- 2017-08-08 KR KR1020170100179A patent/KR101943214B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101656193B1 (en) * | 2015-08-11 | 2016-09-22 | 서울여자대학교 산학협력단 | MMT-based Broadcasting System and Method for UHD Video Streaming over Heterogeneous Networks |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11653042B2 (en) | Apparatus and method for configuring a control message in a broadcast system | |
US9043849B2 (en) | Method for linking MMT media and DASH media | |
US10827208B2 (en) | Transmitting method, receiving method, transmitting device and receiving device | |
US9967582B2 (en) | Hybrid delivery method and reception method for MMT packaged SVC video contents | |
US20150113577A1 (en) | Hybrid transmission method through mmt packet format extension | |
US8826346B1 (en) | Methods of implementing trickplay | |
WO2015001947A1 (en) | Transmission device, transmission method, reception device, and reception method | |
Lim et al. | New MPEG transport standard for next generation hybrid broadcasting system with IP | |
US9930379B2 (en) | System and method for data stream fragmentation | |
Park et al. | Delivery of ATSC 3.0 services with MPEG media transport standard considering redistribution in MPEG-2 TS format | |
US11722714B2 (en) | Transmitting method, receiving method, transmitting device and receiving device | |
CN107787585B (en) | MMT apparatus and MMT method for processing stereoscopic video data | |
KR101941781B1 (en) | Method and Apparatus for Receiving 8K Broadcasting based on MMT | |
Sohn et al. | Design of 8k broadcasting system based on MMT over heterogeneous networks | |
KR101943214B1 (en) | Method for Generating 8K Broadcasting Stream based on MMT and Broadcasting System applying the same | |
KR101656193B1 (en) | MMT-based Broadcasting System and Method for UHD Video Streaming over Heterogeneous Networks | |
Song et al. | Design and implementation of 8k UHD encapsulation method for efficient transmission and reception based on MMT | |
Kordelas et al. | Transport Protocols for 3D Video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |