WO2016204481A1 - 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법 - Google Patents

미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법 Download PDF

Info

Publication number
WO2016204481A1
WO2016204481A1 PCT/KR2016/006289 KR2016006289W WO2016204481A1 WO 2016204481 A1 WO2016204481 A1 WO 2016204481A1 KR 2016006289 W KR2016006289 W KR 2016006289W WO 2016204481 A1 WO2016204481 A1 WO 2016204481A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
information
service
data
track
Prior art date
Application number
PCT/KR2016/006289
Other languages
English (en)
French (fr)
Inventor
황수진
서종열
오세진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US15/575,947 priority Critical patent/US20180213216A1/en
Publication of WO2016204481A1 publication Critical patent/WO2016204481A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Definitions

  • the present invention relates to a media data transmission device, a media data reception device, and a media data transmission and reception method.
  • UHD ultra high definition
  • a method of processing not only UHD but also HD video without problems has been studied. For example, if the aspect ratio of the video being transmitted and the display device of the receiver are different, each receiver should be able to process the video at an aspect ratio that matches the display device.
  • a 21: 9 aspect ratio receiver When 21: 9 video is transmitted, a 21: 9 aspect ratio receiver must process and display 21: 9 video as is, and a 16: 9 aspect ratio receiver receives a 21: 9 aspect ratio video stream and then letterboxes it.
  • the video signal must be output in the form of (letterbox) or by receiving cropped 16: 9 aspect ratio video.
  • a receiver with a 16: 9 aspect ratio should be able to process subtitle information when there is a subtitle in the stream.
  • a display having a wider aspect ratio for example, a TV receiver having a 21: 9 aspect ratio receives a video stream having a 16: 9 aspect ratio and outputs a letterbox, It must be possible to receive cropped 16: 9 aspect ratio video and output a video signal.
  • the aspect ratio of the existing HD receiver or a receiver capable of processing UHD video may be different, which may cause problems when the corresponding video is transmitted or received and processed.
  • the media file format must include information on which track or layer of the video data included in the media file format is used to provide the 2D or 3D service. do.
  • the digital broadcasting system may provide ultra high definition (UHD) images, multichannel audio, and various additional services.
  • UHD ultra high definition
  • data transmission efficiency for a large amount of data transmission, robustness of a transmission / reception network, and network flexibility in consideration of a mobile receiving device should be improved.
  • An object of the present invention is to provide a signal transmission and reception method and a signal transmission and reception apparatus capable of processing videos having different aspect ratios in a receiver having a display apparatus having a different aspect ratio.
  • Another object of the present invention is to provide a signal transmission / reception method and a signal transmission / reception apparatus capable of transmitting or receiving compatible video capable of processing HD video and UHD video having different aspect ratios, respectively.
  • Another object of the present invention is to provide a signal transmission / reception method and a signal transmission / reception apparatus capable of processing signaling information capable of processing HD video and UHD video having different aspect ratios according to specifications of a receiver, respectively.
  • Another object of the present invention is to provide metadata for displaying 3D video data included in a media file format in 2D or 3D.
  • a media data transmission method includes generating a media file including 3D video data and metadata and transmitting the media file, wherein the media file is three-dimensional (3D).
  • the left view image and the right view image data of the video data may be included as at least one track, and the metadata may include stereoscopic composition type information of the 3D video data.
  • the 3D video data may be Scalable High Efficiency Video Coding (SHVC) encoded data.
  • SHVC Scalable High Efficiency Video Coding
  • the metadata may further include information indicating whether two-dimensional (2D) service can be provided using the 3D video data.
  • the metadata may further include information indicating the number of tracks for the 2D service included in the media file.
  • the metadata may further include information indicating an identifier (ID) of a track for a 2D service among at least one track included in the media file.
  • ID an identifier
  • the metadata may include information about the number of layers included in the track, the number of layers for 2D service among the plurality of layers, and It may include identifier information of a layer for 2D service.
  • the track included in the media file includes a plurality of layers
  • information indicating the number of layers of each of at least one track corresponding to a left view or a right view for a 3D service among the plurality of layers may be included. Can be.
  • An apparatus for transmitting media data includes a file generator for generating a media file including 3D video data and metadata, and a transmitter for transmitting the media file, wherein the media file is three-dimensional ( 3D) left view image and right view image data of the video data as at least one track, the metadata may include stereoscopic composition type information for the 3D video data.
  • a file generator for generating a media file including 3D video data and metadata
  • a transmitter for transmitting the media file, wherein the media file is three-dimensional ( 3D) left view image and right view image data of the video data as at least one track
  • the metadata may include stereoscopic composition type information for the 3D video data.
  • the 3D video data may be Scalable High Efficiency Video Coding (SHVC) encoded data.
  • SHVC Scalable High Efficiency Video Coding
  • the metadata may further include information indicating whether two-dimensional (2D) service can be provided using the 3D video data.
  • the metadata may further include information indicating the number of tracks for the 2D service included in the media file.
  • the metadata may further include information indicating an identifier (ID) of a track for a 2D service among at least one track included in the media file.
  • ID an identifier
  • the metadata may include information about the number of layers included in the track, the number of layers for 2D service among the plurality of layers, and It may include identifier information of a layer for 2D service.
  • the track included in the media file includes a plurality of layers
  • information indicating the number of layers of each of at least one track corresponding to a left view or a right view for a 3D service among the plurality of layers may be included. Can be.
  • videos having different aspect ratios may be processed by a receiver having display apparatuses having different aspect ratios.
  • a compatible video capable of processing HD video and UHD video having different aspect ratios in a receiver may be transmitted or received.
  • HD video and UHD video having different aspect ratios may be processed differently according to specifications of a receiver.
  • 3D video received through a media file format may be displayed in 2D or 3D.
  • FIG. 1 is a diagram illustrating a protocol stack according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a service discovery process according to an embodiment of the present invention.
  • LLS low level signaling
  • SLT service list table
  • FIG. 4 illustrates a USBD and an S-TSID delivered to ROUTE according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a USBD delivered to MMT according to an embodiment of the present invention.
  • FIG. 6 illustrates a link layer operation according to an embodiment of the present invention.
  • FIG. 7 illustrates a link mapping table (LMT) according to an embodiment of the present invention.
  • FIG. 8 shows a structure of a broadcast signal transmission apparatus for a next generation broadcast service according to an embodiment of the present invention.
  • FIG 9 illustrates a writing operation of a time interleaver according to an embodiment of the present invention.
  • FIG. 10 is a block diagram of an interleaving address generator composed of a main-PRBS generator and a sub-PRBS generator according to each FFT mode included in a frequency interleaver according to an embodiment of the present invention.
  • FIG. 11 illustrates a hybrid broadcast reception device according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating the overall operation of the DASH-based adaptive streaming model according to an embodiment of the present invention.
  • FIG. 13 is a block diagram of a receiver according to an embodiment of the present invention.
  • FIG. 14 is a diagram showing the structure of a media file according to an embodiment of the present invention.
  • FIG. 15 illustrates a file structure for a hybrid 3D service based on SHVC according to an embodiment of the present invention.
  • FIG. 16 illustrates a file type box ftyp according to an embodiment of the present invention.
  • 17 illustrates a hybrid 3D overall information box h3oi in accordance with an embodiment of the present invention.
  • FIG. 19 illustrates a track reference box (tref) box according to an embodiment of the present invention.
  • FIG. 20 illustrates a track group box (trgr) according to an embodiment of the present invention.
  • 21 illustrates a hybrid 3D video media information box (h3vi) according to an embodiment of the present invention.
  • FIG. 22 illustrates a hybrid 3D video media information box (h3vi) according to another embodiment of the present invention.
  • FIG. 23 is a diagram illustrating an extension of a sample group box (sbgp) according to another embodiment of the present invention.
  • FIG. 24 is a diagram illustrating extension of a visual sample group entry according to an embodiment of the present invention.
  • FIG. 25 illustrates an extension of a sub track sample group box (stsg) according to another embodiment of the present invention.
  • 26 illustrates a method of transmitting a media file according to an embodiment of the present invention.
  • FIG. 27 is a diagram illustrating an apparatus for transmitting a media file according to an embodiment of the present invention.
  • FIG. 28 is a diagram illustrating an embodiment of a signal transmission method according to the present invention.
  • 29 is a diagram schematically illustrating an example of transmitting a high resolution image in accordance with an aspect ratio of receivers according to an embodiment of the present invention.
  • FIG. 30 is a diagram schematically illustrating an example of a stream structure for transmitting a high resolution image according to the aspect ratio of receivers according to the embodiment of the present invention according to FIG. 29.
  • 31 is a diagram schematically illustrating another example of transmitting a high resolution image in accordance with an aspect ratio of receivers according to an embodiment of the present invention.
  • 32 is a diagram schematically showing another embodiment of a method of transmitting and receiving a signal according to the present invention.
  • FIG. 33 is a diagram illustrating an area where a subtitle is output when transmitted as shown in FIG. 32.
  • FIG. 34 is a diagram illustrating an example of displaying a caption window for subtitles in a receiver capable of receiving UHD video when transmitted as shown in FIG. 32.
  • 35 is a diagram illustrating a method of encoding or decoding video data when transmitting video data according to the first embodiment according to the present invention.
  • 36 is a diagram illustrating a method of encoding or decoding video data when transmitting video data according to the second embodiment of the present invention.
  • FIG. 37 is a diagram illustrating an example of an encoder for encoding high resolution video data according to the first embodiment of the present invention.
  • 38 is a diagram illustrating a resolution and video configuration method of a separated original video and a separated video according to the first embodiment of the present invention.
  • 39 is a diagram illustrating an example of a decoder for decoding high resolution video data according to the first embodiment of the present invention.
  • FIG. 40 is a view illustrating an example of combining and filtering cropped videos in the first embodiment of the present invention.
  • 41 is a diagram illustrating a first example of a receiver according to the second embodiment of the present invention.
  • FIG. 42 is a diagram illustrating the operation of a receiver according to the third embodiment of the present invention.
  • 43 is a diagram illustrating signaling information capable of displaying video according to embodiments of the present invention.
  • 44 is a diagram illustrating specific syntax values of signaling information according to the first embodiment of the present invention.
  • 45 is a diagram illustrating an example of a stream level descriptor according to the first embodiment of the present invention.
  • 46 is a diagram illustrating values of information representing the resolution and frame rate of the video illustrated above.
  • FIG. 47 is a diagram illustrating information on an aspect ratio of an original video.
  • FIG. The original_UHD_video_aspect_ratio field of the described signaling information is a diagram illustrating information about an aspect ratio of the original UHD video.
  • 48 is a diagram illustrating direction information of a cropped video.
  • 49 is a diagram illustrating an example of a method of composing a video.
  • 50 is a diagram illustrating an example of an encoding scheme when encoding sub streams.
  • FIG. 51 is a diagram illustrating a stream level descriptor according to the first embodiment of the present invention.
  • FIG. 52 is a diagram illustrating signaling information when following the illustrated third embodiment.
  • 53 is a diagram illustrating field values of an example UHD_video_component_type field.
  • 55 is a diagram illustrating an example of an operation of a receiver when the format of the transmission video is different from the display aspect ratio of the receiver.
  • FIG. 56 is a diagram illustrating signaling information when following the illustrated fourth embodiment.
  • 57 is a diagram illustrating a case where the illustrated descriptors are included in other signaling information.
  • 58 is a diagram illustrating a case where the illustrated descriptors are included in other signaling information.
  • 59 is a diagram illustrating a case where the illustrated descriptors are included in other signaling information.
  • 60 is a diagram illustrating syntax of a payload of an SEI region of video data according to embodiments of the present invention.
  • 61 is a diagram illustrating an example of a receiving apparatus capable of decoding and displaying video data according to at least one embodiment when video data is transmitted according to embodiments of the present invention.
  • FIG. 62 is a diagram illustrating an embodiment of a signal receiving method according to the present invention.
  • FIG. 63 is a diagram illustrating an embodiment of a signal transmission apparatus according to the present invention.
  • 64 is a diagram illustrating an embodiment of a signal receiving apparatus according to the present invention.
  • the present invention provides an apparatus and method for transmitting and receiving broadcast signals for next generation broadcast services.
  • the next generation broadcast service includes a terrestrial broadcast service, a mobile broadcast service, a UHDTV service, and the like.
  • a broadcast signal for a next generation broadcast service may be processed through a non-multiple input multiple output (MIMO) or MIMO scheme.
  • the non-MIMO scheme according to an embodiment of the present invention may include a multiple input single output (MISO) scheme, a single input single output (SISO) scheme, and the like.
  • MISO multiple input single output
  • SISO single input single output
  • the present invention proposes a physical profile (or system) that is optimized to minimize receiver complexity while achieving the performance required for a particular application.
  • FIG. 1 is a diagram illustrating a protocol stack according to an embodiment of the present invention.
  • the service may be delivered to the receiver through a plurality of layers.
  • the transmitting side can generate service data.
  • the delivery layer on the transmitting side performs processing for transmission to the service data, and the physical layer encodes it as a broadcast signal and transmits it through a broadcasting network or broadband.
  • the service data may be generated in a format according to ISO BMFF (base media file format).
  • the ISO BMFF media file may be used in broadcast network / broadband delivery, media encapsulation and / or synchronization format.
  • the service data is all data related to the service, and may include a concept including service components constituting the linear service, signaling information thereof, non real time (NRT) data, and other files.
  • the delivery layer will be described.
  • the delivery layer may provide a transmission function for service data.
  • the service data may be delivered through a broadcast network and / or broadband.
  • the first method may be to process service data into Media Processing Units (MPUs) based on MPEG Media Transport (MMT) and transmit the data using MMM protocol (MMTP).
  • MPUs Media Processing Units
  • MMT MPEG Media Transport
  • MMTP MMM protocol
  • the service data delivered through the MMTP may include service components for linear service and / or service signaling information thereof.
  • the second method may be to process service data into DASH segments based on MPEG DASH and transmit it using Real Time Object Delivery over Unidirectional Transport (ROUTE).
  • the service data delivered through the ROUTE protocol may include service components for the linear service, service signaling information and / or NRT data thereof. That is, non-timed data such as NRT data and files may be delivered through ROUTE.
  • Data processed according to the MMTP or ROUTE protocol may be processed into IP packets via the UDP / IP layer.
  • a service list table (SLT) may also be transmitted through a broadcasting network through a UDP / IP layer.
  • the SLT may be included in the LLS (Low Level Signaling) table and transmitted. The SLT and the LLS table will be described later.
  • IP packets may be treated as link layer packets at the link layer.
  • the link layer may encapsulate data of various formats delivered from an upper layer into a link layer packet and then deliver the data to the physical layer. The link layer will be described later.
  • At least one or more service elements may be delivered via a broadband path.
  • the data transmitted through the broadband may include service components in a DASH format, service signaling information and / or NRT data thereof. This data can be processed via HTTP / TCP / IP, passed through the link layer for broadband transmission, and delivered to the physical layer for broadband transmission.
  • the physical layer may process data received from a delivery layer (upper layer and / or link layer) and transmit the data through a broadcast network or a broadband. Details of the physical layer will be described later.
  • a service can be a collection of service components that are shown to the user as a whole, a component can be of multiple media types, a service can be continuous or intermittent, a service can be real or non-real time, and a real time service can be a sequence of TV programs It can be configured as.
  • the service may be a linear audio / video or audio only service that may have app-based enhancements.
  • the service may be an app-based service whose reproduction / configuration is controlled by the downloaded application.
  • the service may be an ESG service that provides an electronic service guide (ESG).
  • ESG electronic service guide
  • EA Emergency Alert
  • the service component may be delivered by (1) one or more ROUTE sessions or (2) one or more MMTP sessions.
  • the service component When a linear service with app-based enhancement is delivered through a broadcast network, the service component may be delivered by (1) one or more ROUTE sessions and (2) zero or more MMTP sessions.
  • data used for app-based enhancement may be delivered through a ROUTE session in the form of NRT data or other files.
  • linear service components (streaming media components) of one service may not be allowed to be delivered using both protocols simultaneously.
  • the service component may be delivered by one or more ROUTE sessions.
  • the service data used for the app-based service may be delivered through a ROUTE session in the form of NRT data or other files.
  • some service components or some NRT data, files, etc. of these services may be delivered via broadband (hybrid service delivery).
  • the linear service components of one service may be delivered through the MMT protocol.
  • the linear service components of one service may be delivered via a ROUTE protocol.
  • the linear service component and NRT data (NRT service component) of one service may be delivered through the ROUTE protocol.
  • linear service components of one service may be delivered through the MMT protocol, and NRT data (NRT service components) may be delivered through the ROUTE protocol.
  • some service component or some NRT data of a service may be delivered over broadband.
  • the data related to the app-based service or the app-based enhancement may be transmitted through a broadcast network according to ROUTE or through broadband in the form of NRT data.
  • NRT data may also be referred to as locally cashed data.
  • Each ROUTE session includes one or more LCT sessions that deliver, in whole or in part, the content components that make up the service.
  • an LCT session may deliver an individual component of a user service, such as an audio, video, or closed caption stream.
  • Streaming media is formatted into a DASH segment.
  • Each MMTP session includes one or more MMTP packet flows carrying an MMT signaling message or all or some content components.
  • the MMTP packet flow may carry a component formatted with an MMT signaling message or an MPU.
  • an LCT session For delivery of NRT user service or system metadata, an LCT session carries a file based content item.
  • These content files may consist of continuous (timed) or discrete (non-timed) media components of an NRT service, or metadata such as service signaling or ESG fragments.
  • Delivery of system metadata, such as service signaling or ESG fragments, can also be accomplished through the signaling message mode of the MMTP.
  • the tuner can scan frequencies and detect broadcast signals at specific frequencies.
  • the receiver can extract the SLT and send it to the module that processes it.
  • the SLT parser can parse the SLT, obtain data, and store it in the channel map.
  • the receiver may acquire bootstrap information of the SLT and deliver it to the ROUTE or MMT client. This allows the receiver to obtain and store the SLS. USBD or the like can be obtained, which can be parsed by the signaling parser.
  • FIG. 2 is a diagram illustrating a service discovery process according to an embodiment of the present invention.
  • the broadcast stream delivered by the broadcast signal frame of the physical layer may carry LLS (Low Level Signaling).
  • LLS data may be carried through the payload of an IP packet delivered to a well known IP address / port. This LLS may contain an SLT depending on its type.
  • LLS data may be formatted in the form of an LLS table. The first byte of every UDP / IP packet carrying LLS data may be the beginning of the LLS table. Unlike the illustrated embodiment, the IP stream carrying LLS data may be delivered to the same PLP along with other service data.
  • the SLT enables the receiver to generate a service list through a fast channel scan and provides access information for locating the SLS.
  • the SLT includes bootstrap information, which enables the receiver to obtain Service Layer Signaling (SLS) for each service.
  • SLS Service Layer Signaling
  • the bootstrap information may include destination IP address and destination port information of the ROUTE session including the LCT channel carrying the SLS and the LCT channel.
  • the bootstrap information may include a destination IP address and destination port information of the MMTP session carrying the SLS.
  • the SLS of service # 1 described by the SLT is delivered via ROUTE, and the SLT includes bootstrap information (sIP1, dIP1, dPort1) for the ROUTE session including the LCT channel to which the SLS is delivered. can do.
  • SLS of service # 2 described by the SLT is delivered through MMT, and the SLT may include bootstrap information (sIP2, dIP2, and dPort2) for an MMTP session including an MMTP packet flow through which the SLS is delivered.
  • the SLS is signaling information describing characteristics of a corresponding service and may include information for acquiring a corresponding service and a service component of the corresponding service, or may include receiver capability information for reproducing the corresponding service significantly. Having separate service signaling for each service allows the receiver to obtain the appropriate SLS for the desired service without having to parse the entire SLS delivered in the broadcast stream.
  • the SLS When the SLS is delivered through the ROUTE protocol, the SLS may be delivered through a dedicated LCT channel of a ROUTE session indicated by the SLT.
  • the SLS may include a user service bundle description (USBD / USD), a service-based transport session instance description (S-TSID), and / or a media presentation description (MPD).
  • USBD / USD user service bundle description
  • S-TSID service-based transport session instance description
  • MPD media presentation description
  • USBD to USD is one of the SLS fragments and may serve as a signaling hub for describing specific technical information of a service.
  • the USBD may include service identification information, device capability information, and the like.
  • the USBD may include reference information (URI reference) to other SLS fragments (S-TSID, MPD, etc.). That is, USBD / USD can refer to S-TSID and MPD respectively.
  • the USBD may further include metadata information that enables the receiver to determine the transmission mode (broadcast network / broadband). Details of the USBD / USD will be described later.
  • the S-TSID is one of the SLS fragments, and may provide overall session description information for a transport session carrying a service component of a corresponding service.
  • the S-TSID may provide transport session description information for the ROUTE session to which the service component of the corresponding service is delivered and / or the LCT channel of the ROUTE sessions.
  • the S-TSID may provide component acquisition information of service components related to one service.
  • the S-TSID may provide a mapping between the DASH Representation of the MPD and the tsi of the corresponding service component.
  • the component acquisition information of the S-TSID may be provided in the form of tsi, an identifier of an associated DASH representation, and may or may not include a PLP ID according to an embodiment.
  • the component acquisition information enables the receiver to collect audio / video components of a service and to buffer, decode, and the like of DASH media segments.
  • the S-TSID may be referenced by the USBD as described above. Details of the S-TSID will be described later.
  • the MPD is one of the SLS fragments and may provide a description of the DASH media presentation of the service.
  • the MPD may provide a resource identifier for the media segments and may provide contextual information within the media presentation for the identified resources.
  • the MPD may describe the DASH representation (service component) delivered through the broadcast network, and may also describe additional DASH representations delivered through the broadband (hybrid delivery).
  • the MPD may be referenced by the USBD as described above.
  • the SLS When the SLS is delivered through the MMT protocol, the SLS may be delivered through a dedicated MMTP packet flow of an MMTP session indicated by the SLT.
  • packet_id of MMTP packets carrying SLS may have a value of 00.
  • the SLS may include a USBD / USD and / or MMT Package (MP) table.
  • USBD is one of the SLS fragments, and may describe specific technical information of a service like that in ROUTE.
  • the USBD here may also include reference information (URI reference) to other SLS fragments.
  • the USBD of the MMT may refer to the MP table of the MMT signaling.
  • the USBD of the MMT may also include reference information on the S-TSID and / or the MPD.
  • the S-TSID may be for NRT data transmitted through the ROUTE protocol. This is because NRT data can be delivered through the ROUTE protocol even when the linear service component is delivered through the MMT protocol.
  • MPD may be for a service component delivered over broadband in hybrid service delivery. Details of the USBD of the MMT will be described later.
  • the MP table is a signaling message of the MMT for MPU components and may provide overall session description information for an MMTP session carrying a service component of a corresponding service.
  • the MP table may also contain descriptions for assets delivered via this MMTP session.
  • the MP table is streaming signaling information for MPU components, and may provide a list of assets corresponding to one service and location information (component acquisition information) of these components. Specific contents of the MP table may be in a form defined in MMT or a form in which modifications are made.
  • Asset is a multimedia data entity, which may mean a data entity associated with one unique ID and used to generate one multimedia presentation. Asset may correspond to a service component constituting a service.
  • the MP table may be used to access a streaming service component (MPU) corresponding to a desired service.
  • the MP table may be referenced by the USBD as described above.
  • MMT signaling messages may be defined. Such MMT signaling messages may describe additional information related to the MMTP session or service.
  • ROUTE sessions are identified by source IP address, destination IP address, and destination port number.
  • the LCT session is identified by a transport session identifier (TSI) that is unique within the scope of the parent ROUTE session.
  • MMTP sessions are identified by destination IP address and destination port number.
  • the MMTP packet flow is identified by a unique packet_id within the scope of the parent MMTP session.
  • the S-TSID, the USBD / USD, the MPD, or the LCT session carrying them may be referred to as a service signaling channel.
  • the S-TSID, the USBD / USD, the MPD, or the LCT session carrying them may be referred to as a service signaling channel.
  • MMT signaling messages or packet flow carrying them may be called a service signaling channel.
  • one ROUTE or MMTP session may be delivered through a plurality of PLPs. That is, one service may be delivered through one or more PLPs. Unlike shown, components constituting one service may be delivered through different ROUTE sessions. In addition, according to an embodiment, components constituting one service may be delivered through different MMTP sessions. According to an embodiment, components constituting one service may be delivered divided into a ROUTE session and an MMTP session. Although not shown, a component constituting one service may be delivered through a broadband (hybrid delivery).
  • LLS low level signaling
  • SLT service list table
  • An embodiment t3010 of the illustrated LLS table may include information according to an LLS_table_id field, a provider_id field, an LLS_table_version field, and / or an LLS_table_id field.
  • the LLS_table_id field may identify a type of the corresponding LLS table, and the provider_id field may identify service providers related to services signaled by the corresponding LLS table.
  • the service provider is a broadcaster using all or part of the broadcast stream, and the provider_id field may identify one of a plurality of broadcasters using the broadcast stream.
  • the LLS_table_version field may provide version information of a corresponding LLS table.
  • the corresponding LLS table includes the above-described SLT, a rating region table (RRT) including information related to a content advisory rating, a SystemTime information providing information related to system time, and an emergency alert. It may include one of the CAP (Common Alert Protocol) message that provides information related to. According to an embodiment, other information other than these may be included in the LLS table.
  • RRT rating region table
  • CAP Common Alert Protocol
  • One embodiment t3020 of the illustrated SLT may include an @bsid attribute, an @sltCapabilities attribute, a sltInetUrl element, and / or a Service element.
  • Each field may be omitted or may exist in plurality, depending on the value of the illustrated Use column.
  • the @bsid attribute may be an identifier of a broadcast stream.
  • the @sltCapabilities attribute can provide the capability information required to decode and significantly reproduce all services described by the SLT.
  • the sltInetUrl element may provide base URL information used to obtain ESG or service signaling information for services of the corresponding SLT through broadband.
  • the sltInetUrl element may further include an @urlType attribute, which may indicate the type of data that can be obtained through the URL.
  • the service element may be an element including information on services described by the corresponding SLT, and a service element may exist for each service.
  • the Service element contains the @serviceId property, the @sltSvcSeqNum property, the @protected property, the @majorChannelNo property, the @minorChannelNo property, the @serviceCategory property, the @shortServiceName property, the @hidden property, the @broadbandAccessRequired property, the @svcCapabilities property, the BroadcastSvcSignaling element, and / or the svcInetUrl element. It may include.
  • the @serviceId attribute may be an identifier of a corresponding service, and the @sltSvcSeqNum attribute may indicate a sequence number of SLT information for the corresponding service.
  • the @protected attribute may indicate whether at least one service component necessary for meaningful playback of the corresponding service is protected.
  • the @majorChannelNo and @minorChannelNo attributes may indicate the major channel number and the minor channel number of the corresponding service, respectively.
  • the @serviceCategory attribute can indicate the category of the corresponding service.
  • the service category may include a linear A / V service, a linear audio service, an app-based service, an ESG service, and an EAS service.
  • the @shortServiceName attribute may provide a short name of the corresponding service.
  • the @hidden attribute can indicate whether the service is for testing or proprietary use.
  • the @broadbandAccessRequired attribute may indicate whether broadband access is required for meaningful playback of the corresponding service.
  • the @svcCapabilities attribute can provide the capability information necessary for decoding and meaningful reproduction of the corresponding service.
  • the BroadcastSvcSignaling element may provide information related to broadcast signaling of a corresponding service. This element may provide information such as a location, a protocol, and an address with respect to signaling through a broadcasting network of a corresponding service. Details will be described later.
  • the svcInetUrl element may provide URL information for accessing signaling information for a corresponding service through broadband.
  • the sltInetUrl element may further include an @urlType attribute, which may indicate the type of data that can be obtained through the URL.
  • the aforementioned BroadcastSvcSignaling element may include an @slsProtocol attribute, an @slsMajorProtocolVersion attribute, an @slsMinorProtocolVersion attribute, an @slsPlpId attribute, an @slsDestinationIpAddress attribute, an @slsDestinationUdpPort attribute, and / or an @slsSourceIpAddress attribute.
  • the @slsProtocol attribute can indicate the protocol used to deliver the SLS of the service (ROUTE, MMT, etc.).
  • the @slsMajorProtocolVersion attribute and @slsMinorProtocolVersion attribute may indicate the major version number and the minor version number of the protocol used to deliver the SLS of the corresponding service, respectively.
  • the @slsPlpId attribute may provide a PLP identifier for identifying a PLP that delivers the SLS of the corresponding service. According to an embodiment, this field may be omitted, and the PLP information to which the SLS is delivered may be identified by combining information in the LMT to be described later and bootstrap information of the SLT.
  • the @slsDestinationIpAddress attribute, @slsDestinationUdpPort attribute, and @slsSourceIpAddress attribute may indicate a destination IP address, a destination UDP port, and a source IP address of a transport packet carrying an SLS of a corresponding service, respectively. They can identify the transport session (ROUTE session or MMTP session) to which the SLS is delivered. These may be included in the bootstrap information.
  • FIG. 4 illustrates a USBD and an S-TSID delivered to ROUTE according to an embodiment of the present invention.
  • One embodiment t4010 of the illustrated USBD may have a bundleDescription root element.
  • the bundleDescription root element may have a userServiceDescription element.
  • the userServiceDescription element may be an instance of one service.
  • the userServiceDescription element may include an @globalServiceID attribute, an @serviceId attribute, an @serviceStatus attribute, an @fullMPDUri attribute, an @sTSIDUri attribute, a name element, a serviceLanguage element, a capabilityCode element, and / or a deliveryMethod element.
  • Each field may be omitted or may exist in plurality, depending on the value of the illustrated Use column.
  • the @globalServiceID attribute is a globally unique identifier of the service and can be used to link with ESG data (Service @ globalServiceID).
  • the @serviceId attribute is a reference corresponding to the corresponding service entry of the SLT and may be the same as service ID information of the SLT.
  • the @serviceStatus attribute may indicate the status of the corresponding service. This field may indicate whether the corresponding service is active or inactive.
  • the @fullMPDUri attribute can refer to the MPD fragment of the service. As described above, the MPD may provide a reproduction description for a service component delivered through a broadcast network or a broadband.
  • the @sTSIDUri attribute may refer to the S-TSID fragment of the service.
  • the S-TSID may provide parameters related to access to the transport session carrying the service as described above.
  • the name element may provide the name of the service.
  • This element may further include an @lang attribute, which may indicate the language of the name provided by the name element.
  • the serviceLanguage element may indicate the available languages of the service. That is, this element may list the languages in which the service can be provided.
  • the capabilityCode element may indicate capability or capability group information of the receiver side necessary for significantly playing a corresponding service. This information may be compatible with the capability information format provided by the service announcement.
  • the deliveryMethod element may provide delivery related information with respect to contents accessed through a broadcasting network or a broadband of a corresponding service.
  • the deliveryMethod element may include a broadcastAppService element and / or a unicastAppService element. Each of these elements may have a basePattern element as its child element.
  • the broadcastAppService element may include transmission related information on the DASH presentation delivered through the broadcast network.
  • These DASH representations may include media components across all periods of the service media presentation.
  • the basePattern element of this element may represent a character pattern used by the receiver to match the segment URL. This can be used by the DASH client to request segments of the representation. Matching may imply that the media segment is delivered over the broadcast network.
  • the unicastAppService element may include transmission related information on the DASH representation delivered through broadband. These DASH representations may include media components across all periods of the service media presentation.
  • the basePattern element of this element may represent a character pattern used by the receiver to match the segment URL. This can be used by the DASH client to request segments of the representation. Matching may imply that the media segment is delivered over broadband.
  • An embodiment t4020 of the illustrated S-TSID may have an S-TSID root element.
  • the S-TSID root element may include an @serviceId attribute and / or an RS element.
  • Each field may be omitted or may exist in plurality, depending on the value of the illustrated Use column.
  • the @serviceId attribute is an identifier of a corresponding service and may refer to a corresponding service of USBD / USD.
  • the RS element may describe information on ROUTE sessions through which service components of a corresponding service are delivered. Depending on the number of such ROUTE sessions, there may be a plurality of these elements.
  • the RS element may further include an @bsid attribute, an @sIpAddr attribute, an @dIpAddr attribute, an @dport attribute, an @PLPID attribute, and / or an LS element.
  • the @bsid attribute may be an identifier of a broadcast stream through which service components of a corresponding service are delivered. If this field is omitted, the default broadcast stream may be a broadcast stream that includes a PLP that carries the SLS of the service. The value of this field may be the same value as the @bsid attribute of SLT.
  • the @sIpAddr attribute, the @dIpAddr attribute, and the @dport attribute may indicate a source IP address, a destination IP address, and a destination UDP port of the corresponding ROUTE session, respectively. If these fields are omitted, the default values may be the source IP address, destination IP address, and destination UDP port values of the current, ROUTE session carrying that SLS, that is, carrying that S-TSID. For other ROUTE sessions that carry service components of the service but not the current ROUTE session, these fields may not be omitted.
  • the @PLPID attribute may indicate PLP ID information of a corresponding ROUTE session. If this field is omitted, the default value may be the PLP ID value of the current PLP to which the corresponding S-TSID is being delivered. According to an embodiment, this field is omitted, and the PLP ID information of the corresponding ROUTE session may be confirmed by combining information in the LMT to be described later and IP address / UDP port information of the RS element.
  • the LS element may describe information on LCT channels through which service components of a corresponding service are delivered. Depending on the number of such LCT channels, there may be a plurality of these elements.
  • the LS element may include an @tsi attribute, an @PLPID attribute, an @bw attribute, an @startTime attribute, an @endTime attribute, an SrcFlow element, and / or a RepairFlow element.
  • the @tsi attribute may represent tsi information of a corresponding LCT channel. Through this, LCT channels through which a service component of a corresponding service is delivered may be identified.
  • the @PLPID attribute may represent PLP ID information of a corresponding LCT channel. In some embodiments, this field may be omitted.
  • the @bw attribute may indicate the maximum bandwidth of the corresponding LCT channel.
  • the @startTime attribute may indicate the start time of the LCT session, and the @endTime attribute may indicate the end time of the LCT channel.
  • the SrcFlow element may describe the source flow of ROUTE.
  • the source protocol of ROUTE is used to transmit the delivery object, and can establish at least one source flow in one ROUTE session. These source flows can deliver related objects as an object flow.
  • the RepairFlow element may describe the repair flow of ROUTE. Delivery objects delivered according to the source protocol may be protected according to Forward Error Correction (FEC).
  • FEC Forward Error Correction
  • the repair protocol may define a FEC framework that enables such FEC protection.
  • FIG. 5 is a diagram illustrating a USBD delivered to MMT according to an embodiment of the present invention.
  • One embodiment of the illustrated USBD may have a bundleDescription root element.
  • the bundleDescription root element may have a userServiceDescription element.
  • the userServiceDescription element may be an instance of one service.
  • the userServiceDescription element may include an @globalServiceID attribute, an @serviceId attribute, a Name element, a serviceLanguage element, a content advisoryRating element, a Channel element, an mpuComponent element, a routeComponent element, a broadbandComponent element, and / or a ComponentInfo element.
  • Each field may be omitted or may exist in plurality, depending on the value of the illustrated Use column.
  • the @globalServiceID attribute, the @serviceId attribute, the Name element and / or the serviceLanguage element may be the same as the corresponding fields of the USBD delivered to the above-described ROUTE.
  • the contentAdvisoryRating element may indicate the content advisory rating of the corresponding service. This information may be compatible with the content advisory rating information format provided by the service announcement.
  • the channel element may include information related to the corresponding service. The detail of this element is mentioned later.
  • the mpuComponent element may provide a description for service components delivered as an MPU of a corresponding service.
  • This element may further include an @mmtPackageId attribute and / or an @nextMmtPackageId attribute.
  • the @mmtPackageId attribute may refer to an MMT package of service components delivered as an MPU of a corresponding service.
  • the @nextMmtPackageId attribute may refer to an MMT package to be used next to the MMT package referenced by the @mmtPackageId attribute in time.
  • the MP table can be referenced through the information of this element.
  • the routeComponent element may include a description of service components of the corresponding service delivered to ROUTE. Even if the linear service components are delivered in the MMT protocol, the NRT data may be delivered according to the ROUTE protocol as described above. This element may describe information about such NRT data. The detail of this element is mentioned later.
  • the broadbandComponent element may include a description of service components of the corresponding service delivered over broadband.
  • some service components or other files of a service may be delivered over broadband. This element may describe information about these data.
  • This element may further include the @fullMPDUri attribute. This attribute may refer to an MPD that describes service components delivered over broadband.
  • the element when the broadcast signal is weakened due to driving in a tunnel or the like, the element may be needed to support handoff between the broadcast network and the broadband band. When the broadcast signal is weakened, while acquiring the service component through broadband, and when the broadcast signal is stronger, the service continuity may be guaranteed by acquiring the service component through the broadcast network.
  • the ComponentInfo element may include information on service components of a corresponding service. Depending on the number of service components of the service, there may be a plurality of these elements. This element may describe information such as the type, role, name, identifier, and protection of each service component. Detailed information on this element will be described later.
  • the aforementioned channel element may further include an @serviceGenre attribute, an @serviceIcon attribute, and / or a ServiceDescription element.
  • the @serviceGenre attribute may indicate the genre of the corresponding service
  • the @serviceIcon attribute may include URL information of an icon representing the corresponding service.
  • the ServiceDescription element provides a service description of the service, which may further include an @serviceDescrText attribute and / or an @serviceDescrLang attribute. Each of these attributes may indicate the text of the service description and the language used for that text.
  • the aforementioned routeComponent element may further include an @sTSIDUri attribute, an @sTSIDDestinationIpAddress attribute, an @sTSIDDestinationUdpPort attribute, an @sTSIDSourceIpAddress attribute, an @sTSIDMajorProtocolVersion attribute, and / or an @sTSIDMinorProtocolVersion attribute.
  • the @sTSIDUri attribute may refer to an S-TSID fragment. This field may be the same as the corresponding field of USBD delivered to ROUTE described above. This S-TSID may provide access related information for service components delivered in ROUTE. This S-TSID may exist for NRT data delivered according to the ROUTE protocol in the situation where linear service components are delivered according to the MMT protocol.
  • the @sTSIDDestinationIpAddress attribute, the @sTSIDDestinationUdpPort attribute, and the @sTSIDSourceIpAddress attribute may indicate a destination IP address, a destination UDP port, and a source IP address of a transport packet carrying the aforementioned S-TSID, respectively. That is, these fields may identify a transport session (MMTP session or ROUTE session) carrying the aforementioned S-TSID.
  • the @sTSIDMajorProtocolVersion attribute and the @sTSIDMinorProtocolVersion attribute may indicate a major version number and a minor version number of the transport protocol used to deliver the aforementioned S-TSID.
  • ComponentInfo element may further include an @componentType attribute, an @componentRole attribute, an @componentProtectedFlag attribute, an @componentId attribute, and / or an @componentName attribute.
  • the @componentType attribute may indicate the type of the corresponding component. For example, this property may indicate whether the corresponding component is an audio, video, or closed caption component.
  • the @componentRole attribute can indicate the role (role) of the corresponding component. For example, this property can indicate whether the main audio, music, commentary, etc., if the corresponding component is an audio component. If the corresponding component is a video component, it may indicate whether it is primary video. If the corresponding component is a closed caption component, it may indicate whether it is a normal caption or an easy reader type.
  • the @componentProtectedFlag attribute may indicate whether a corresponding service component is protected, for example, encrypted.
  • the @componentId attribute may represent an identifier of a corresponding service component.
  • the value of this attribute may be a value such as asset_id (asset ID) of the MP table corresponding to this service component.
  • the @componentName attribute may represent the name of the corresponding service component.
  • FIG. 6 illustrates a link layer operation according to an embodiment of the present invention.
  • the link layer may be a layer between the physical layer and the network layer.
  • the transmitter may transmit data from the network layer to the physical layer
  • the receiver may transmit data from the physical layer to the network layer (t6010).
  • the purpose of the link layer may be to compress all input packet types into one format for processing by the physical layer, to ensure flexibility and future scalability for input packet types not yet defined. have.
  • the link layer may provide an option of compressing unnecessary information in the header of the input packet, so that the input data may be efficiently transmitted. Operations such as overhead reduction and encapsulation of the link layer may be referred to as a link layer protocol, and a packet generated using the corresponding protocol may be referred to as a link layer packet.
  • the link layer may perform functions such as packet encapsulation, overhead reduction, and / or signaling transmission.
  • the link layer ALP may perform an overhead reduction process on input packets and then encapsulate them into link layer packets.
  • the link layer may encapsulate the link layer packet without performing an overhead reduction process.
  • the use of the link layer protocol can greatly reduce the overhead for data transmission on the physical layer, and the link layer protocol according to the present invention can provide IP overhead reduction and / or MPEG-2 TS overhead reduction. have.
  • the link layer may sequentially perform IP header compression, adaptation, and / or encapsulation. In some embodiments, some processes may be omitted.
  • the RoHC module performs IP packet header compression to reduce unnecessary overhead, and context information may be extracted and transmitted out of band through an adaptation process.
  • the IP header compression and adaptation process may be collectively called IP header compression.
  • IP packets may be encapsulated into link layer packets through an encapsulation process.
  • the link layer may sequentially perform an overhead reduction and / or encapsulation process for the TS packet. In some embodiments, some processes may be omitted.
  • the link layer may provide sync byte removal, null packet deletion and / or common header removal (compression).
  • Sync byte elimination can provide overhead reduction of 1 byte per TS packet. Null packet deletion can be performed in a manner that can be reinserted at the receiving end. In addition, common information between successive headers can be deleted (compressed) in a manner that can be recovered at the receiving side. Some of each overhead reduction process may be omitted. Thereafter, TS packets may be encapsulated into link layer packets through an encapsulation process.
  • the link layer packet structure for encapsulation of TS packets may be different from other types of packets.
  • IP header compression will be described.
  • the IP packet has a fixed header format, but some information required in a communication environment may be unnecessary in a broadcast environment.
  • the link layer protocol may provide a mechanism to reduce broadcast overhead by compressing the header of the IP packet.
  • IP header compression may include a header compressor / decompressor and / or adaptation module.
  • the IP header compressor (RoHC compressor) may reduce the size of each IP packet header based on the RoHC scheme.
  • the adaptation module may then extract the context information and generate signaling information from each packet stream.
  • the receiver may parse signaling information related to the packet stream and attach context information to the packet stream.
  • the RoHC decompressor can reconstruct the original IP packet by recovering the packet header.
  • IP header compression may mean only IP header compression by a header compressor, or may mean a concept in which the IP header compression and the adaptation process by the adaptation module are combined. The same is true for decompressing.
  • the adaptation function may generate link layer signaling using context information and / or configuration parameters.
  • the adaptation function may periodically send link layer signaling over each physical frame using previous configuration parameters and / or context information.
  • the context information is extracted from the compressed IP packets, and various methods may be used according to the adaptation mode.
  • Mode # 1 is a mode in which no operation is performed on the compressed packet stream, and may be a mode in which the adaptation module operates as a buffer.
  • Mode # 2 may be a mode for extracting context information (static chain) by detecting IR packets in the compressed packet stream. After extraction, the IR packet is converted into an IR-DYN packet, and the IR-DYN packet can be transmitted in the same order in the packet stream by replacing the original IR packet.
  • context information static chain
  • Mode # 3 t6020 may be a mode for detecting IR and IR-DYN packets and extracting context information from the compressed packet stream.
  • Static chains and dynamic chains can be extracted from IR packets and dynamic chains can be extracted from IR-DYN packets.
  • the IR and IR-DYN packets can be converted into regular compressed packets.
  • the switched packets can be sent in the same order within the packet stream, replacing the original IR and IR-DYN packets.
  • the remaining packets after the context information is extracted may be encapsulated and transmitted according to the link layer packet structure for the compressed IP packet.
  • the context information may be transmitted by being encapsulated according to a link layer packet structure for signaling information as link layer signaling.
  • the extracted context information may be included in the RoHC-U Description Table (RTT) and transmitted separately from the RoHC packet flow.
  • the context information may be transmitted through a specific physical data path along with other signaling information.
  • a specific physical data path may mean one of general PLPs, a PLP to which LLS (Low Level Signaling) is delivered, a dedicated PLP, or an L1 signaling path. path).
  • the RDT may be signaling information including context information (static chain and / or dynamic chain) and / or information related to header compression.
  • the RDT may be transmitted whenever the context information changes.
  • the RDT may be transmitted in every physical frame. In order to transmit the RDT in every physical frame, a previous RDT may be re-use.
  • the receiver may first select PLP to acquire signaling information such as SLT, RDT, LMT, and the like. When the signaling information is obtained, the receiver may combine these to obtain a mapping between the service-IP information-context information-PLP. That is, the receiver can know which service is transmitted to which IP streams, which IP streams are delivered to which PLP, and can also obtain corresponding context information of the PLPs. The receiver can select and decode a PLP carrying a particular packet stream. The adaptation module can parse the context information and merge it with the compressed packets. This allows the packet stream to be recovered, which can be delivered to the RoHC decompressor. Decompression can then begin.
  • signaling information such as SLT, RDT, LMT, and the like.
  • the receiver may combine these to obtain a mapping between the service-IP information-context information-PLP. That is, the receiver can know which service is transmitted to which IP streams, which IP streams are delivered to which PLP, and can also obtain corresponding context information of the PLPs.
  • the receiver detects the IR packet and starts decompression from the first received IR packet according to the adaptation mode (mode 1), or detects the IR-DYN packet to perform decompression from the first received IR-DYN packet.
  • the link layer protocol may encapsulate all types of input packets, such as IP packets and TS packets, into link layer packets. This allows the physical layer to process only one packet format independently of the protocol type of the network layer (here, consider MPEG-2 TS packet as a kind of network layer packet). Each network layer packet or input packet is transformed into a payload of a generic link layer packet.
  • Segmentation may be utilized in the packet encapsulation process. If the network layer packet is too large to be processed by the physical layer, the network layer packet may be divided into two or more segments.
  • the link layer packet header may include fields for performing division at the transmitting side and recombination at the receiving side. Each segment may be encapsulated into a link layer packet in the same order as the original position.
  • Concatenation may also be utilized in the packet encapsulation process. If the network layer packet is small enough that the payload of the link layer packet includes several network layer packets, concatenation may be performed.
  • the link layer packet header may include fields for executing concatenation. In the case of concatenation, each input packet may be encapsulated into the payload of the link layer packet in the same order as the original input order.
  • the link layer packet may include a header and a payload, and the header may include a base header, an additional header, and / or an optional header.
  • the additional header may be added depending on the chaining or splitting, and the additional header may include necessary fields according to the situation.
  • an optional header may be further added to transmit additional information.
  • Each header structure may be predefined. As described above, when the input packet is a TS packet, a link layer header structure different from other packets may be used.
  • Link layer signaling may operate at a lower level than the IP layer.
  • the receiving side can acquire the link layer signaling faster than the IP level signaling such as LLS, SLT, SLS, and the like. Therefore, link layer signaling may be obtained before session establishment.
  • Link layer signaling may include internal link layer signaling and external link layer signaling.
  • Internal link layer signaling may be signaling information generated in the link layer.
  • the above-described RDT or LMT to be described later may correspond to this.
  • the external link layer signaling may be signaling information received from an external module, an external protocol, or an upper layer.
  • the link layer may encapsulate link layer signaling into a link layer packet and deliver it.
  • a link layer packet structure (header structure) for link layer signaling may be defined, and link layer signaling information may be encapsulated according to this structure.
  • FIG. 7 illustrates a link mapping table (LMT) according to an embodiment of the present invention.
  • the LMT may provide a list of higher layer sessions carried by the PLP.
  • the LMT may also provide additional information for processing link layer packets carrying higher layer sessions.
  • the higher layer session may be called multicast.
  • Information on which IP streams and which transport sessions are being transmitted through a specific PLP may be obtained through the LMT. Conversely, information on which PLP a specific transport session is delivered to may be obtained.
  • the LMT may be delivered to any PLP identified as carrying an LLS.
  • the PLP through which the LLS is delivered may be identified by the LLS flag of the L1 detail signaling information of the physical layer.
  • the LLS flag may be a flag field indicating whether LLS is delivered to the corresponding PLP for each PLP.
  • the L1 detail signaling information may correspond to PLS2 data to be described later.
  • the LMT may be delivered to the same PLP together with the LLS.
  • Each LMT may describe the mapping between PLPs and IP address / port as described above.
  • the LLS may include an SLT, where these IP addresses / ports described by the LMT are all IP addresses associated with any service described by the SLT forwarded to the same PLP as that LMT. It can be / ports.
  • the PLP identifier information in the above-described SLT, SLS, etc. may be utilized, so that information on which PLP the specific transmission session indicated by the SLT, SLS is transmitted may be confirmed.
  • the PLP identifier information in the above-described SLT, SLS, etc. may be omitted, and the PLP information for the specific transport session indicated by the SLT, SLS may be confirmed by referring to the information in the LMT.
  • the receiver may identify the PLP to know by combining LMT and other IP level signaling information.
  • PLP information in SLT, SLS, and the like is not omitted, and may remain in the SLT, SLS, and the like.
  • the LMT according to the illustrated embodiment may include a signaling_type field, a PLP_ID field, a num_session field, and / or information about respective sessions.
  • a PLP loop may be added to the LMT according to an embodiment, so that information on a plurality of PLPs may be described.
  • the LMT may describe PLPs for all IP addresses / ports related to all services described by the SLTs delivered together, in a PLP loop.
  • the signaling_type field may indicate the type of signaling information carried by the corresponding table.
  • the value of the signaling_type field for the LMT may be set to 0x01.
  • the signaling_type field may be omitted.
  • the PLP_ID field may identify a target PLP to be described. When a PLP loop is used, each PLP_ID field may identify each target PLP. From the PLP_ID field may be included in the PLP loop.
  • the PLP_ID field mentioned below is an identifier for one PLP in a PLP loop, and the fields described below may be fields for the corresponding PLP.
  • the num_session field may indicate the number of upper layer sessions delivered to the PLP identified by the corresponding PLP_ID field. According to the number indicated by the num_session field, information about each session may be included. This information may include an src_IP_add field, a dst_IP_add field, a src_UDP_port field, a dst_UDP_port field, a SID_flag field, a compressed_flag field, a SID field, and / or a context_id field.
  • the src_IP_add field, dst_IP_add field, src_UDP_port field, and dst_UDP_port field are the source IP address, destination IP address, source UDP port, destination UDP port for the transport session among the upper layer sessions forwarded to the PLP identified by the corresponding PLP_ID field. It can indicate a port.
  • the SID_flag field may indicate whether a link layer packet carrying a corresponding transport session has an SID field in its optional header.
  • a link layer packet carrying an upper layer session may have an SID field in its optional header, and the SID field value may be the same as an SID field in an LMT to be described later.
  • the compressed_flag field may indicate whether header compression has been applied to data of a link layer packet carrying a corresponding transport session.
  • the existence of the context_id field to be described later may be determined according to the value of this field.
  • the SID field may indicate a sub stream ID (SID) for link layer packets carrying a corresponding transport session.
  • SID sub stream ID
  • These link layer packets may include an SID having the same value as this SID field in the optional header.
  • the context_id field may provide a reference to a context id (CID) in the RDT.
  • the CID information of the RDT may indicate the context ID for the corresponding compressed IP packet stream.
  • the RDT may provide context information for the compressed IP packet stream. RDT and LMT may be associated with this field.
  • each field, element, or attribute may be omitted or replaced by another field, and additional fields, elements, or attributes may be added according to an embodiment. .
  • service components of one service may be delivered through a plurality of ROUTE sessions.
  • the SLS may be obtained through the bootstrap information of the SLT.
  • the SLS's USBD allows the S-TSID and MPD to be referenced.
  • the S-TSID may describe transport session description information for other ROUTE sessions to which service components are delivered, as well as a ROUTE session to which an SLS is being delivered.
  • all service components delivered through a plurality of ROUTE sessions may be collected. This may be similarly applied when service components of a service are delivered through a plurality of MMTP sessions.
  • one service component may be used simultaneously by a plurality of services.
  • bootstrapping for ESG services may be performed by a broadcast network or broadband.
  • URL information of the SLT may be utilized. ESG information and the like can be requested to this URL.
  • one service component of one service may be delivered to the broadcasting network and one to the broadband (hybrid).
  • the S-TSID may describe components delivered to a broadcasting network, so that a ROUTE client may acquire desired service components.
  • USBD also has base pattern information, which allows you to describe which segments (which components) are to be routed to which path. Therefore, the receiver can use this to know what segment to request to the broadband server and what segment to find in the broadcast stream.
  • scalable coding for a service may be performed.
  • the USBD may have all the capability information needed to render the service. For example, when a service is provided in HD or UHD, the capability information of the USBD may have a value of “HD or UHD”.
  • the receiver may know which component should be played in order to render the UHD or HD service using the MPD.
  • app components to be used for app-based enhancement / app-based service may be delivered through a broadcast network or through broadband as an NRT component.
  • app signaling for app-based enhancement may be performed by an application signaling table (AST) delivered with SLS.
  • an event which is a signaling of an operation to be performed by the app, may be delivered in the form of an event message table (EMT) with SLS, signaled in an MPD, or in-band signaled in a box in a DASH representation. . AST, EMT, etc. may be delivered via broadband.
  • App-based enhancement may be provided using the collected app components and such signaling information.
  • a CAP message may be included in the aforementioned LLS table for emergency alerting. Rich media content for emergency alerts may also be provided. Rich media may be signaled by the CAP message, and if rich media is present it may be provided as an EAS service signaled by the SLT.
  • the linear service components may be delivered through a broadcasting network according to the MMT protocol.
  • NRT data for example, an app component
  • data on the service may be delivered through a broadcasting network according to the ROUTE protocol.
  • data on the service may be delivered through broadband.
  • the receiver can access the MMTP session carrying the SLS using the bootstrap information of the SLT.
  • the USBD of the SLS according to the MMT may refer to the MP table so that the receiver may acquire linear service components formatted with the MPU delivered according to the MMT protocol.
  • the USBD may further refer to the S-TSID to allow the receiver to obtain NRT data delivered according to the ROUTE protocol.
  • the USBD may further reference the MPD to provide a playback description for the data delivered over the broadband.
  • the receiver may transmit location URL information for obtaining a streaming component and / or a file content item (such as a file) to the companion device through a method such as a web socket.
  • An application of a companion device may request the component, data, and the like by requesting the URL through an HTTP GET.
  • the receiver may transmit information such as system time information and emergency alert information to the companion device.
  • FIG. 8 shows a structure of a broadcast signal transmission apparatus for a next generation broadcast service according to an embodiment of the present invention.
  • a broadcast signal transmission apparatus for a next generation broadcast service includes an input format block 1000, a bit interleaved coding & modulation (BICM) block 1010, and a frame building block 1020, orthogonal frequency division multiplexing (OFDM) generation block (OFDM generation block) 1030, and signaling generation block 1040. The operation of each block of the broadcast signal transmission apparatus will be described.
  • BICM bit interleaved coding & modulation
  • OFDM generation block orthogonal frequency division multiplexing
  • signaling generation block 1040 The operation of each block of the broadcast signal transmission apparatus will be described.
  • IP streams / packets and MPEG2-TS may be main input formats, and other stream types are treated as general streams.
  • the input format block 1000 can demultiplex each input stream into one or multiple data pipes to which independent coding and modulation is applied.
  • the data pipe is the basic unit for controlling robustness, which affects the quality of service (QoS).
  • QoS quality of service
  • One or multiple services or service components may be delivered by one data pipe.
  • a data pipe is a logical channel at the physical layer that carries service data or related metadata that can carry one or multiple services or service components.
  • the BICM block 1010 may include a processing block applied to a profile (or system) to which MIMO is not applied and / or a processing block of a profile (or system) to which MIMO is applied, and for processing each data pipe. It may include a plurality of processing blocks.
  • the processing block of the BICM block to which MIMO is not applied may include a data FEC encoder, a bit interleaver, a constellation mapper, a signal space diversity (SSD) encoding block, and a time interleaver.
  • the processing block of the BICM block to which MIMO is applied is distinguished from the processing block of BICM to which MIMO is not applied in that it further includes a cell word demultiplexer and a MIMO encoding block.
  • the data FEC encoder performs FEC encoding on the input BBF to generate the FECBLOCK procedure using outer coding (BCH) and inner coding (LDPC).
  • Outer coding (BCH) is an optional coding method.
  • the bit interleaver interleaves the output of the data FEC encoder to achieve optimized performance with a combination of LDPC codes and modulation schemes.
  • Constellation Mapper uses QPSK, QAM-16, non-uniform QAM (NUQ-64, NUQ-256, NUQ-1024) or non-uniform constellation (NUC-16, NUC-64, NUC-256, NUC-1024)
  • the cell word from the bit interleaver or cell word demultiplexer can then be modulated to provide a power-normalized constellation point.
  • NUQ has any shape, while QAM-16 and NUQ have a square shape. Both NUQ and NUC are specifically defined for each code rate and are signaled by the parameter DP_MOD of PLS2 data.
  • the time interleaver may operate at the data pipe level. The parameters of time interleaving can be set differently for each data pipe.
  • the time interleaver of the present invention may be located between a BICM chain block and a frame builder.
  • the time interleaver according to the present invention may selectively use a convolution interleaver (CI) and a block interleaver (BI) according to a physical layer pipe (PLP) mode, or both.
  • PLP according to an embodiment of the present invention is a physical path used in the same concept as the above-described DP, the name can be changed according to the designer's intention.
  • the PLP mode according to an embodiment of the present invention may include a single PLP mode or a multiple PLP mode according to the number of PLPs processed by the broadcast signal transmitter or the broadcast signal transmitter.
  • time interleaving using different time interleaving methods according to the PLP mode may be referred to as hybrid time interleaving.
  • the hybrid time deinterleaver may perform an operation corresponding to the reverse operation of the aforementioned hybrid time interleaver.
  • the cell word demultiplexer is used to separate a single cell word stream into a dual cell word stream for MIMO processing.
  • the MIMO encoding block can process the output of the cell word demultiplexer using the MIMO encoding scheme.
  • the MIMO encoding scheme of the present invention may be defined as full-rate spatial multiplexing (FR-SM) to provide capacity increase with a relatively small complexity increase at the receiver side.
  • MIMO processing is applied at the data pipe level.
  • NUQ e1, i and e2, i
  • MIMO encoder output pairs g1, i and g2, i
  • the frame building block 1020 may map data cells of an input data pipe to OFDM symbols and perform frequency interleaving for frequency domain diversity within one frame.
  • a frame according to an embodiment of the present invention is divided into a preamble, one or more frame signaling symbols (FSS), and normal data symbols.
  • the preamble is a special symbol that provides a set of basic transmission parameters for efficient transmission and reception of a signal.
  • the preamble may signal a basic transmission parameter and a transmission type of the frame.
  • the preamble may indicate whether an emergency alert service (EAS) is provided in the current frame.
  • EAS emergency alert service
  • the main purpose of the FSS is to carry PLS data. For fast synchronization and channel estimation, and fast decoding of PLS data, the FSS has a higher density pilot pattern than normal data symbols.
  • the frame building block adjusts the timing between the data pipes and the corresponding PLS data so that a delay compensation block is provided at the transmitter to ensure co-time between the data pipes and the corresponding PLS data.
  • a cell mapper and a frequency interleaver for mapping a PLS, a data pipe, an auxiliary stream, and a dummy cell to an active carrier of an OFDM symbol in a frame.
  • the frequency interleaver may provide frequency diversity by randomly interleaving data cells received from the cell mapper.
  • the frequency interleaver uses a different interleaving seed order to obtain the maximum interleaving gain in a single frame.
  • the frequency interleaver uses a single symbol or data corresponding to an OFDM symbol pair consisting of two sequential OFDM symbols. Operate on corresponding data.
  • OFDM generation block 1030 modulates the OFDM carrier, inserts pilots, and generates time-domain signals for transmission by the cells generated by the frame building block. In addition, the block sequentially inserts a guard interval and applies a PAPR reduction process to generate a final RF signal.
  • the signaling generation block 1040 may generate physical layer signaling information used for the operation of each functional block.
  • Signaling information may include PLS data.
  • PLS provides a means by which a receiver can connect to a physical layer data pipe.
  • PLS data consists of PLS1 data and PLS2 data.
  • PLS1 data is the first set of PLS data delivered to the FSS in frames with fixed size, coding, and modulation that convey basic information about the system as well as the parameters needed to decode the PLS2 data.
  • PLS1 data provides basic transmission parameters including the parameters required to enable reception and decoding of PLS2 data.
  • PLS2 data carries more detailed PLS data about the data pipes and systems and is the second set of PLS data sent to the FSS.
  • PLS2 signaling further consists of two types of parameters: PLS2 static data (PLS2-STAT data) and PLS2 dynamic data (PLS2-DYN data).
  • PLS2 static data is PLS2 data that is static during the duration of a frame group
  • PLS2 dynamic data is PLS2 data that changes dynamically from frame to frame.
  • the PLS2 data may include FIC_FLAG information.
  • FIC Fast Information Channel
  • the FIC_FLAG information is a 1-bit field and indicates whether a fast information channel (FIC) is used in the current frame group.If the value of this field is set to 1, the FIC is provided in the current frame. If the value of the field is set to 0, the FIC is not transmitted in the current frame.
  • the BICM block 1010 may include a BICM block for protecting PLS data
  • the BICM block for protecting PLS data is a PLS FEC encoder. , Bit interleaver, and constellation mapper.
  • the PLS FEC encoder performs external encoding on scrambled PLS 1,2 data using a scrambler for scrambling PLS1 data and PLS2 data, shortened BCH code for PLS protection, and a BCH for inserting zero bits after BCH encoding.
  • An encoding / zero insertion block, an LDPC encoding block for performing encoding using an LDPC code, and an LDPC parity puncturing block may be included.
  • the output bits of zero insertion can be permutated before LDPC encoding.
  • the bit interleaver interleaves the respective shortened and punctured PLS1 data and PLS2 data, and the constellation mapper bit interleaves.
  • the PLS1 data and the PLS2 data can be mapped to the constellation.
  • the broadcast signal receiving apparatus for the next generation broadcast service may perform a reverse process of the broadcast signal transmitting apparatus for the next generation broadcast service described with reference to FIG. 8.
  • An apparatus for receiving broadcast signals for a next generation broadcast service includes a synchronization and demodulation module for performing demodulation corresponding to a reverse process of a procedure executed by a broadcast signal transmitting apparatus and an input signal.
  • a frame parsing module for parsing a frame, extracting data on which a service selected by a user is transmitted, converting an input signal into bit region data, and then deinterleaving the bit region data as necessary, and transmitting efficiency
  • a demapping and decoding module for performing demapping on the mapping applied for decoding, and correcting an error occurring in a transmission channel through decoding, of various compression / signal processing procedures applied by a broadcast signal transmission apparatus.
  • Demodulated by an output processor and a synchronization and demodulation module that executes the inverse process It may include a signaling decoding module for obtaining and processing the PLS information from the signal.
  • the frame parsing module, the demapping and decoding module, and the output processor may execute the function by using the PLS data output from the signaling decoding module.
  • a time interleaving group according to an embodiment of the present invention is directly mapped to one frame or spread over PI frames.
  • Each time interleaving group is also divided into one or more (NTI) time interleaving blocks.
  • NTI time interleaving time interleaving block
  • each time interleaving block corresponds to one use of the time interleaver memory.
  • the time interleaving block in the time interleaving group may include different numbers of XFECBLOCKs.
  • the time interleaver may also act as a buffer for data pipe data prior to the frame generation process.
  • the time interleaver according to an embodiment of the present invention is a twisted row-column block interleaver.
  • the twisted row-column block interleaver according to an embodiment of the present invention writes the first XFECBLOCK in the column direction to the first column of the time interleaving memory, the second XFECBLOCK to the next column and the remaining XFECBLOCKs in the time interleaving block in the same manner. You can fill in these. And in an interleaving array, cells can be read diagonally from the first row to the last row (starting from the leftmost column to the right along the row).
  • the interleaving array for the twisted row-column block interleaver may insert the virtual XFECBLOCK into the time interleaving memory to achieve a single memory deinterleaving at the receiver side regardless of the number of XFECBLOCKs in the time interleaving block.
  • the virtual XFECBLOCK must be inserted in front of the other XFECBLOCKs to achieve a single memory deinterleaving on the receiver side.
  • FIG 9 illustrates a writing operation of a time interleaver according to an embodiment of the present invention.
  • the block shown on the left side of the figure represents a TI memory address array, and the block shown on the right side of the figure shows that virtual FEC blocks are placed at the front of the TI group for two consecutive TI groups. It represents the writing operation when two and one are inserted respectively.
  • the frequency interleaver may include an interleaving address generator for generating an interleaving address for applying to data corresponding to a symbol pair.
  • FIG. 10 is a block diagram of an interleaving address generator composed of a main-PRBS generator and a sub-PRBS generator according to each FFT mode included in a frequency interleaver according to an embodiment of the present invention.
  • the interleaving process for an OFDM symbol pair uses one interleaving sequence and is described as follows.
  • xm, l, p the p-th cell of the l-th OFDM symbol in the m-th frame and Ndata is the number of data cells.
  • Ndata CFSS for the frame signaling symbol
  • Ndata Cdata for the normal data
  • Ndata CFES for the frame edge symbol.
  • vm, l, p xm, l, Hi (p)
  • p 0,... Is given by Ndata-1.
  • Hl (p) is an interleaving address generated based on the cyclic shift value (symbol offset) of the PRBS generator and the sub-PRBS generator.
  • FIG. 11 illustrates a hybrid broadcast reception device according to an embodiment of the present invention.
  • the hybrid broadcasting system may transmit a broadcast signal by interworking a terrestrial broadcasting network and an internet network.
  • the hybrid broadcast reception device may receive a broadcast signal through a terrestrial broadcast network (broadcast) and an internet network (broadband).
  • the hybrid broadcast receiver includes a physical layer module, a physical layer I / F module, a service / content acquisition controller, an internet access control module, a signaling decoder, a service signaling manager, a service guide manager, an application signaling manager, an alarm signal manager, an alarm signal parser, Targeting signal parser, streaming media engine, non-real time file processor, component synchronizer, targeting processor, application processor, A / V processor, device manager, data sharing and communication unit, redistribution module, companion device and / or external modules can do.
  • the physical layer module (s) may receive and process a broadcast-related signal through a terrestrial broadcast channel, convert it into an appropriate form, and deliver the signal to a physical layer I / F module.
  • the physical layer I / F module may obtain an IP datagram from information obtained from the physical layer module.
  • the physical layer I / F module may convert the obtained IP datagram into a specific frame (eg, RS Frame, GSE, etc.).
  • the service / content acquisition controller may perform a control operation for acquiring service, content, and signaling data related thereto through broadcast and / or broadband channels.
  • the Internet Access Control Module (s) may control a receiver operation for acquiring a service, content, or the like through a broadband channel.
  • the signaling decoder may decode signaling information obtained through a broadcast channel.
  • the service signaling manager may extract, parse, and manage signaling information related to service scan and service / content from an IP datagram.
  • the service guide manager may extract announcement information from an IP datagram, manage an SG database, and provide a service guide.
  • the App Signaling Manager may extract, parse and manage signaling information related to application acquisition from an IP datagram.
  • Alert Signaling Parser can extract, parse and manage signaling information related to alerting from IP datagram.
  • Targeting Signaling Parser can extract, parse and manage signaling information related to service / content personalization or targeting from IP datagram.
  • the targeting signal parser may deliver the parsed signaling information to the targeting processor.
  • the streaming media engine can extract and decode audio / video data for A / V streaming from IP datagrams.
  • the non-real time file processor can extract, decode and manage file type data such as NRT data and applications from IP datagrams.
  • the Component Synchronizer can synchronize content and services such as streaming audio / video data and NRT data.
  • the targeting processor may process an operation related to personalization of a service / content based on the targeting signaling data received from the targeting signal parser.
  • the App Processor may process application related information, downloaded application status, and display parameters.
  • the A / V Processor may perform audio / video rendering related operations based on decoded audio, video data, and application data.
  • the device manager may perform a connection and data exchange operation with an external device.
  • the device manager may perform management operations on external devices, such as adding, deleting, and updating external devices that can be interworked.
  • the data sharing & communication unit can process information related to data transmission and exchange between the hybrid broadcast receiver and an external device.
  • the data that can be transmitted and exchanged may be signaling, A / V data, or the like.
  • the redistribution module (s) may obtain relevant information about next-generation broadcast services and contents when the broadcast receiver does not directly receive the terrestrial broadcast signal.
  • the redistribution module may support the acquisition of broadcast services and content by the next generation broadcast system when the broadcast receiver does not directly receive the terrestrial broadcast signal.
  • Companion device (s) may be connected to the broadcast receiver of the present invention to share audio, video, or signaling inclusion data.
  • the companion device may refer to an external device connected to the broadcast receiver.
  • the external module may refer to a module for providing a broadcast service / content and may be, for example, a next generation broadcast service / content server.
  • the external module may refer to an external device connected to the broadcast receiver.
  • FIG. 12 is a diagram illustrating the overall operation of the DASH-based adaptive streaming model according to an embodiment of the present invention.
  • the present invention proposes a next-generation media service providing method for providing HFR content.
  • the present invention proposes metadata and related delivery methods thereof. Through this, content can be adaptively adjusted and content can be provided with improved picture quality.
  • the range of expression of the brightness of the content image is increased, and the difference in the scene-specific characteristics of the content may be larger than before.
  • metadata can be defined and delivered to the receiver to effectively present the HFR content on the display in conjunction with HDR.
  • the image of the content may be appropriately provided according to the intended service provider or the performance of the receiver based on the received metadata.
  • the present invention proposes a method for signaling frame rate parameters related to video tracks, video samples, etc. of content providing HFR content, based on a media file such as ISOBMFF.
  • the present invention proposes a method for storing and signaling frame rate parameters associated with a video track (stream).
  • the present invention proposes a method of storing and signaling frame rate parameters related to video samples, video sample groups or video sample entries.
  • the present invention proposes a method of storing and signaling an SEI NAL unit including frame rate related information of HFR content.
  • the storage / delivery method of the frame rate information of the HFR content may be utilized in generating the content supporting the HFR. That is, the method of the present invention may be utilized when generating a media file for content supporting HFR, generating a DASH segment operating on MPEG DASH, or generating an MPU operating on MPEG MMT.
  • the receiver including a DASH client, an MMT client, etc.
  • the frame rate configuration box or frame rate related flag information may exist simultaneously in several boxes within a media file, a DASH segment, or an MMT MPU.
  • the frame rate information defined in the upper box may be overridden by the frame rate information defined in the lower box.
  • the frame rate information of the tkhd box may be overridden by the frame rate information of the vmhd box.
  • the DASH-based adaptive streaming model describes the operation between the HTTP server and the DASH client.
  • DASH Dynamic Adaptive Streaming over HTTP
  • DASH is a protocol for supporting HTTP-based adaptive streaming, and can dynamically support streaming according to network conditions. Accordingly, the AV content can be provided without interruption.
  • the DASH client can obtain the MPD.
  • MPD may be delivered from a service provider such as an HTTP server.
  • the MPD may be delivered according to the delivery embodiment described above.
  • the DASH client can request the segments from the server using the access information to the segment described in the MPD. In this case, the request may be performed by reflecting the network state.
  • the DASH client may process it in the media engine and display the segment on the screen.
  • the DASH client may request and acquire a required segment by adaptively reflecting a playing time and / or a network condition (Adaptive Streaming). This allows the content to be played back seamlessly.
  • Adaptive Streaming a network condition
  • MPD Media Presentation Description
  • XML form a file containing detailed information for allowing a DASH client to dynamically acquire a segment. This MPD may be the same as the MPD described above according to an embodiment.
  • the DASH Client Controller may generate a command for requesting the MPD and / or the segment reflecting the network situation.
  • the controller can control the obtained information to be used in an internal block of the media engine or the like.
  • the MPD Parser may parse the acquired MPD in real time. This allows the DASH client controller to generate a command to obtain the required segment.
  • the segment parser may parse the acquired segment in real time. Internal blocks such as the media engine may perform a specific operation according to the information included in the segment.
  • the HTTP client may request the HTTP server for necessary MPDs and / or segments.
  • the HTTP client may also pass MPD and / or segments obtained from the server to the MPD parser or segment parser.
  • the media engine may display content on the screen using media data included in the segment. At this time, the information of the MPD may be utilized.
  • FIG. 13 is a block diagram of a receiver according to an embodiment of the present invention.
  • the receiver includes a tuner, a physical layer controller, a physical frame parser, a link layer frame processor, and an IP / UDP datagram filter.
  • UDP Datagram Filter DTV Control Engine, ROUTE Client, Segment Buffer Control, MMT Client, MPU Reconstruction, Media Processor (Media Processor), Signaling Parser (Dash Client), DASH Client (DASH Client), ISO BMFF Parser (ISO BMFF Parser), Media Decoder and / or HTTP Access Client.
  • Each detailed block of the receiver may be a processor that is hardware.
  • the tuner can receive and process broadcast signals through terrestrial broadcast channels and convert them into appropriate forms (Physical Frame, etc.).
  • the physical layer controller may control operations of a tuner, a physical frame parser, etc. using RF information of a broadcast channel to be received.
  • the physical frame parser may acquire the link layer frame through parsing the received physical frame and processing related thereto.
  • the link layer frame processor may acquire link layer signaling from a link layer frame, acquire an IP / UDP datagram, and perform related operations.
  • the IP / UDP Datagram Filter may filter a specific IP / UDP datagram from the received IP / UDP datagrams.
  • the DTV Control Engine is in charge of the interface between each component and can control the operation of each component by passing parameters.
  • the Route Client can generate one or more ISO Base Media File Format (ISOBMFF) objects by processing Real-Time Object Delivery over Unidirectional Transport (ROUTE) packets that support real-time object transport, and collecting and processing multiple packets.
  • ISOBMFF ISO Base Media File Format
  • ROUTE Real-Time Object Delivery over Unidirectional Transport
  • Segment Buffer Control can control the buffer related to segment transmission between Route Client and Dash Client.
  • the MMT Client can process MPEG Media Transport (MPT) transport protocol packets that support real-time object transport and collect and process multiple packets.
  • MPU reconstruction may reconstruct a Media Processing Unit (MPU) from an MMTP packet.
  • the Media Processor can collect and process the reconstructed MPU.
  • MPEG Media Transport MPEG Media Transport
  • the Signaling Parser may acquire and parse DTV broadcast service related signaling (Link Layer / Service Layer Signaling), and generate and / or manage a channel map based on this. This configuration can handle low level signaling and service level signaling.
  • the DASH Client can process real-time streaming or adaptive streaming-related operations and acquired DASH Segments.
  • the ISO BMFF Parser may extract audio / video data and related parameters from an ISO BMFF object.
  • the media decoder may decode and / or present the received audio and video data.
  • the HTTP Access Client can request specific information from an HTTP server and process the response to the request.
  • FIG. 14 is a diagram showing the structure of a media file according to an embodiment of the present invention.
  • the media file of the present invention may have a file format based on ISO BMFF (ISO base media file format).
  • the media file according to the present invention may include at least one box.
  • the box may be a data block or an object including media data or metadata related to the media data.
  • the boxes may form a hierarchical structure with each other, such that the data may be classified so that the media file may be in a form suitable for storage and / or transmission of a large amount of media data.
  • the media file may have an easy structure for accessing the media information, such as a user moving to a specific point of the media content.
  • the media file according to the present invention may include an ftyp box, a moov box and / or an mdat box.
  • An ftyp box can provide file type or compatibility related information for a corresponding media file.
  • the ftyp box may include configuration version information about media data of a corresponding media file.
  • the decoder can identify the media file by referring to the ftyp box.
  • the moov box may be a box including metadata about media data of a corresponding media file.
  • the moov box can act as a container for all metadata.
  • the moov box may be a box of the highest layer among metadata related boxes. According to an embodiment, only one moov box may exist in a media file.
  • the mdat box may be a box containing actual media data of the media file.
  • Media data may include audio samples and / or video samples, where the mdat box may serve as a container for storing these media samples.
  • the above-described moov box may further include a mvhd box, a trak box and / or an mvex box as a lower box.
  • the mvhd box may include media presentation related information of media data included in the media file. That is, the mvhd box may include information such as media generation time, change time, time specification, duration, etc. of the media presentation.
  • the trak box can provide information related to the track of the media data.
  • the trak box may include information such as stream related information, presentation related information, and access related information for an audio track or a video track. There may be a plurality of trak boxes according to the number of tracks.
  • the trak box may further include a tkhd box (track header box) as a lower box.
  • the tkhd box may include information about the track indicated by the trak box.
  • the tkhd box may include information such as a creation time, a change time, and a track identifier of the corresponding track.
  • the mvex box (movie extend box) may indicate that the media file may have a moof box to be described later. To know all the media samples of a particular track, moof boxes may have to be scanned.
  • the media file according to the present invention may be divided into a plurality of fragments according to an embodiment (t14010). Through this, the media file may be divided and stored or transmitted.
  • the media data (mdat box) of the media file may be divided into a plurality of fragments, and each fragment may include a mdat box and a moof box. According to an embodiment, information of the ftyp box and / or the moov box may be needed to utilize the fragments.
  • the moof box may provide metadata about media data of the fragment.
  • the moof box may be a box of the highest layer among metadata-related boxes of the fragment.
  • the mdat box may contain the actual media data as described above.
  • This mdat box may include media samples of media data corresponding to each corresponding fragment.
  • the above-described moof box may further include a mfhd box and / or a traf box as a lower box.
  • the mfhd box may include information related to an association between a plurality of fragmented fragments.
  • the mfhd box may include a sequence number to indicate how many times the media data of the corresponding fragment is divided. In addition, it may be confirmed whether there is no missing data divided using the mfhd box.
  • the traf box may include information about a corresponding track fragment.
  • the traf box may provide metadata about the divided track fragments included in the fragment.
  • the traf box may provide metadata so that media samples in the track fragment can be decoded / played back. There may be a plurality of traf boxes according to the number of track fragments.
  • the above-described traf box may further include a tfhd box and / or a trun box as a lower box.
  • the tfhd box may include header information of the corresponding track fragment.
  • the tfhd box may provide information such as a basic sample size, a duration, an offset, an identifier, and the like for media samples of the track fragment indicated by the traf box described above.
  • the trun box may include corresponding track fragment related information.
  • the trun box may include information such as duration, size, and playback time of each media sample.
  • the aforementioned media file or fragments of the media file may be processed into segments and transmitted.
  • the segment may have an initialization segment and / or a media segment.
  • the file of the illustrated embodiment t14020 may be a file including information related to initialization of the media decoder except for media data. This file may correspond to the initialization segment described above, for example.
  • the initialization segment may include the ftyp box and / or moov box described above.
  • the file of the illustrated embodiment t14030 may be a file including the aforementioned fragment. This file may correspond to the media segment described above, for example.
  • the media segment may include the moof box and / or mdat box described above.
  • the media segment may further include a styp box and / or a sidx box.
  • the styp box may provide information for identifying the media data of the fragmented fragment.
  • the styp box may play the same role as the above-described ftyp box for the divided fragment.
  • the styp box may have the same format as the ftyp box.
  • the sidx box may provide information indicating an index for the divided fragment. Through this, it is possible to indicate how many fragments are the corresponding fragments.
  • the ssix box may be further included.
  • the ssix box (sub-segment index box) may provide information indicating an index of the sub-segment when the segment is further divided into sub-segments.
  • the boxes in the media file may include more extended information based on a box-to-full box form as in the illustrated embodiment t14050.
  • the size field and the largesize field may indicate the length of the corresponding box in bytes.
  • the version field may indicate the version of the box format.
  • the type field may indicate the type or identifier of the corresponding box.
  • the flags field may indicate a flag related to the box.
  • 3D content based on scalable high efficiency video coding may mean a left / right image sequence type.
  • the file structure according to an embodiment of the present invention may include a ftyp box, a moov box, and an mdat box.
  • the moov box may include at least one trak box, and the trak box may include at least one of a tkhd box and an mdia box.
  • the mdia box may include a minf box, and the minf box may include a stbl box.
  • the stbl box may include an h3vi box to be described later.
  • the mdat box may include a left image and a right image sequence of stereoscopic images for writing 3D content, respectively.
  • the h3oi box may include the hybrid 3d overall information box to provide overall information for providing a SHVC based hybrid 3d service. Detailed description of the information included in each box will be described later.
  • the trak box may include temporal and spatial information about the media data.
  • the media data may include, for example, stereoscopic video sequences, stereo-monoscopic mixed video sequences, LASeR streams, and JPEG images.
  • the first trak box may include the right view image of the HD resolution of the stereoscopic video.
  • the track_ID included in the first trak box may be set to one.
  • the second trak box may include a left view image of UHD resolution of stereoscopic video.
  • the track_ID included in the second trak box may be set to 2.
  • each trak box may include at least one of an associated mdia box, tref box, and track level meta box.
  • the mdia box may include an svmi box for a stereoscopic visual type, and may include fragment information of stereoscopic content included in a track.
  • the tref box may provide a track identifier (track_ID) of the reference track.
  • track_ID track identifier
  • stereoscopic contents in a file structure according to an embodiment of the present invention may be stored for left / right view sequence types as shown.
  • the tref box can be used to indicate a pair consisting of a stereoscopic left view sequence and a right view sequence for the left / right view sequence type.
  • the track level meta box may include an scdi box and an iloc (item location) box.
  • the scdi box may provide information about at least one of a stereoscopic camera, a display, and visual safety.
  • the iloc box can describe the absolute offset of the stereoscopic fragments in bytes and can be expressed using extent_offset.
  • the iloc box may describe the size of stereoscopic fragments and may indicate this by using extent_length.
  • Item_ID may be assigned to each fragment of the stereoscopic sequence for resource referencing.
  • the ftyp box can be used as an extension of the Stereoscopic Video Media Information Box described in ISO / IEC 23000-11, a document on stereoscopic multimedia application formats.
  • the box type is ftyp, and the container can be a file.
  • One file can contain only one ftyp box.
  • the brand type of stereoscopic content may include ss01, ss02, and ss03 as shown.
  • the ss01 type may mean stereoscopic content
  • the ss02 type may represent stereo-monoscopic mixed content.
  • the stereo-monoscopic mixed content may refer to content included in a single content of stereoscopic and monoscopic images.
  • the ss03 type may represent 3DTV service content that is compatible with 2D (2 dimensional) service.
  • 3D content according to an embodiment of the present invention may correspond to the ss03 type. That is, since the HD right view image and the UHD left view image are separately included in one file, only one image is decoded to be compatible with the 2D service.
  • FIG. 17 illustrates a hybrid 3D overall information box h3oi in accordance with an embodiment of the present invention.
  • This embodiment shows an embodiment for the h3oi box when only one layer is included in one track.
  • An h3oi box can be included in a moov box or a meta box, and only one h3oi box can be included in a moov box or meta box.
  • the hybrid 3d overall information (h3oi) box may include overall information for providing a hybrid 3D service based on SHVC.
  • the h3oi box may include information about tracks and layers included for each view for a 3D service. In addition, it may include information about a combination of track and layer required to be serviced in 2D.
  • the stereoscopic composition type information (stereoscopic_composition_type) is separated from the left and right images in addition to the stereoscopic_composition_type value of the stereoscopic video media information box of ISO / IEC 23000-11.
  • Stereoscopic_composition_type may be defined for a service composed of a stream.
  • the stereoscopic composition type information may define a SHVC based 3D service type.
  • the stereoscopic_composition_type is 0x00, the side-by-side type, the 0x01 is the vertical line interleaved type, the 0x02 is the frame sequential type, and the left is 0x03. It may indicate a right / right view sequence type.
  • the left and right view images according to an embodiment of the present invention may define 0x04 for a service composed of separate streams, and may represent a SHVC-based 3D service type.
  • the SHVC-based 3D service type may indicate a type in which left and right streams are composed of tracks or layers.
  • the single-view viewable information (single_view_allowed) may indicate whether content included in the file may provide a 2D service.
  • Stereoscopic viewpoint viewable information may indicate whether content included in a corresponding file can provide a stereoscopic service.
  • the 2D track number information (number_of_tracks_for_2d) may indicate the number of tracks or layers constituting the 2D service.
  • the number_of_tracks_for_2d field may be set to 2 when the track including the base layer is HD and the track including the enhancement layer includes residual data for 4K.
  • the 2D track ID information track_id_for_2d may indicate an identifier for a track including an image constituting a 2D service. In case of 2D service using SHVC, it can indicate dependency ID (DependencyId) for track constituting 2D.
  • DependencyId dependency ID
  • the number of tracks (number_of_tracks_per_view) for each view refers to the number of tracks that constitute one view, that is, a left or right view. If the left view consists of one track including a base layer and one track including an enhancement layer, the value of the number_of_track_per_view field may be set to 2.
  • the right view flag information is_right_flag may indicate whether the current view is a right view.
  • the track ID (track_id_for_per_view) information for each view is an identifier of a track included for each view forming a 3D service.
  • a dependency ID (DependencyId) for a track constituting each viewpoint may be indicated.
  • Tracks included in each view may be clearly identified through the track_id_for_per_view field.
  • each view, track id for [i], and [j] are included in the two-dimensional array of [i] [j].
  • it may be expressed in the form of a one-dimensional array.
  • FIG. 18 illustrates a hybrid 3D overall information box h3oi in accordance with another embodiment of the present invention.
  • This embodiment shows an embodiment of the h3oi box when a plurality of layers are included in one track.
  • An h3oi box can be included in a moov box or a meta box, and only one h3oi box can be included in a moov box or meta box.
  • the h3oi (hybrid 3d overall information) box may include overall information for providing a hybrid 3D service.
  • the h3oi box may include information about tracks and layers included for each view for a 3D service. In addition, it may include information about a combination of track and layer required to be serviced in 2D.
  • the 2D layer number information means the number of layers for 2d services included in each track.
  • 2D layer ID information (layer_id_for_2d) is an identifier for a layer included in each track. This may indicate a DependencyId for the layer included in each track included in the 2D service.
  • the layer number information (number_of_layers_for_per_view) for each view may indicate the number of layers included in a specific track included in each view for 3D service.
  • View layer ID information (layer_id_for_per_view) is an identifier of a layer included in a specific track included in each view for a 3D service. This may indicate a DependencyId for a layer included in a specific track included in each view to compose a 3D service.
  • the remaining information of the h3oi box is the same as the Hybird3DOverallInformationBox when only one layer is included in one track.
  • FIG. 19 illustrates a track reference box (tref) box according to an embodiment of the present invention.
  • the tref box may indicate which track or layer includes a base layer included in a track or a layer correlated with a layer included in the current track.
  • the box type is tref and may be included in a track box.
  • a trak box may include one tref box or may not be included in some embodiments.
  • the tref box can provide a reference that indicates which tracks the containing trak box is associated with in the presentation. These references can be typed.
  • the tref box may include a track identifier (track_ID).
  • the track_ID is an integer value and may provide a reference indicating which track the track included in the trak box is associated with in the presentation.
  • track_IDs can not be reused or the value can be equal to zero.
  • Reference type information (reference_type) may have the following type values.
  • the hint type may indicate that the referenced track includes original media for the hint track.
  • the cdsc type may indicate that the track describes the track to which it is referenced.
  • the font type may indicate that the track uses fonts defined or carried in the referenced track.
  • the hind type can indicate dependence on the referenced hint track. That is, it can only be used if the referenced hint track is used.
  • the vdep type may indicate that the track includes auxiliary depth video information for the referenced video track.
  • the vplx type may indicate that the track includes auxiliary parallax video information for the referenced video track.
  • the subt type may indicate that the track includes subtitles, timed text or overlay graphical information for the track to which it is referenced or for any track in the replacement group to which the track belongs.
  • Reference types that may be included according to an embodiment of the present invention may be as follows. For example, for the ISO base media file format [ISO / IEC 14496-12], the 'hint' reference can link the hint track it contains with the media data it points to (A 'hint' reference links). from the containing hint track to the media data that it hints). The 'hind' dependency indicates that the referenced track (s) may contain media data required for decoding of the track containing the track reference).
  • svdp indicates that the track describes a reference track, the reference track has a dependency on the referenced track, and contains stereoscopic related meta information. Can be represented.
  • These types can identify the track of the primary view and the secondary view for the left / right sequence type.
  • reference_type may be newly defined as 'svtr' to include each track id for 2D and 3D in one Track reference box and tref.
  • the svtr may include short-term viewable information (single_view_allowed), stereoscopic viewable information (stereoscopic_view_allowed), and track ID information (track_id).
  • short-term viewable information single_view_allowed
  • stereoscopic_view_allowed stereoscopic viewable information
  • track_id track ID information
  • trgr may indicate whether tracks included in the group are for 2D service or 3D service.
  • the box type is trgr and can be included in the track box.
  • one trgr box may be included in the trak box or may not be included in some embodiments.
  • the trgr box can indicate a group of tracks, with each group sharing a specific characteristic.
  • tracks within a group defined by a trgr box may have a specific relationship.
  • the fields included in the trgr box have the following meanings:
  • the track group type information track_group_type indicates the grouping type used and may have one of the following values, registered values, or values derived from a specific document.
  • the stereoscopic track group information (sctg) is a stereoscopic track group type for applying to a hybrid 3D service.
  • the stereoscopic track group information (sctg) is a track group type information (track_group_type) when the track is used for the 3D service.
  • the scalable video track group (svtg) is a scalable video track group type that can be applied to a scalable 2D service and may mean that the corresponding track is one track for 2D scalable.
  • track_group_type for the SHVC-based 2D / 3D service may be newly defined as an SHVC track group (shtg), and a TrackGroupTypeBox may be defined as shown in the lower part of the figure.
  • the shtg may include short-term viewable information (single_view_allowed), stereoscopic viewable information (stereoscopic_view_allowed), and track group ID information (track_group_id).
  • the short-term enabled information (single_view_allowed) is set to 1
  • the track group ID information track_group_id may indicate information for 2D service.
  • track group ID information track_group_id may indicate information for 3D service. This means that one track can be composed of several combinations. That is, since the track can be included in the 2D and 3D services, respectively, it can be informed that the track_group_id can be bundled.
  • a pair of track group ID information track_group_id and track group type information track_group_type may identify a track group in the file. Tracks including a specific track group type box having the same track group ID information (track_group_id) may belong to the same track group.
  • the h3vi box can be used when only one layer is included in one track.
  • the box type is h3vi and may be included in the track box.
  • the trak box can also contain only one h3vi box.
  • h3vi may provide stereoscopic video media information about the stereoscopic visual type.
  • the h3vi box contains stereoscopic composition type information (stereoscopic_composition_type), short-term viewable information (single_view_allowed), stereoscopic viewable information (stereoscopic_view_allowed), right image first information (is_right_first), base track ID information (base_track_id), track ID information ( track_id), stereo mono change count information (stereo_mono_change_count), sample count information (sample_count), and / or stereo flag information (stereo_flag).
  • stereoscopic composition type information (stereoscopic_composition_type), short-term viewable information (single_view_allowed), stereoscopic viewable information (stereoscopic_view_allowed), right image first information (is_right_first), base track ID information (base_track_id), track ID information ( track_id), stereo mono change count information (stereo_mono_change_count), sample count information (sample_count), and / or stereo flag information (stereo_
  • the stereoscopic composition type information (stereoscopic_composition_type) is added to the stereoscopic_composition_type value of the stereoscopic video media information box of ISO / IEC 23000-11, and the left and right images are separated streams, respectively.
  • Stereoscopic_composition_type for a configured service may be defined. For example, 3D service based on SHVC may correspond to this.
  • Single viewable information (single_view_allowed) may indicate whether a video of a corresponding track can provide a 2D service. That is, when the 2D service is provided, it may represent information on whether the video of the corresponding track is used or displayed.
  • Stereoscopic viewable information may indicate whether video of a corresponding track is included in a stereoscopic service. That is, in providing a stereoscopic service, it may indicate whether video of a corresponding track is used.
  • the right image first information is a modified example of is_left_first described in ISO / IEC 23000-11.
  • the stereoscopic composition type information (Stereoscopic_composition_type) is 0x03 left / right view sequence type, the meaning of is_right_first is as follows. When the value of this field is 0, it may represent that the track is a track used only for 2D service.
  • the base track ID information may inform the track (layer) that is the base of the current track (layer).
  • base_track_id may be less than or equal to track_id because it indicates dependencyID.
  • the track ID information track_id indicates an identifier id of the current track (layer).
  • the DependencyId for the layer may be represented as an identifier for the layer.
  • the remaining information contained in the h3vi is the same as the description of the field of the Stereoscopic Video Media Information Box of ISO / IEC 23000-11.
  • the h3vi box can be used when a plurality of layers are included in one track.
  • the box type is h3vi and may be included in the track box.
  • the trak box can also contain only one h3vi box.
  • h3vi may provide stereoscopic video media information about the stereoscopic visual type.
  • h3vi may include at least one of the illustrated information.
  • the h3vi box contains stereoscopic composition type information (stereoscopic_composition_type), short-term viewable information (single_view_allowed), stereoscopic viewable information (stereoscopic_view_allowed), right image first information (is_right_first), base track ID information (base_track_id), track ID information ( track_id), base layer ID information (base_layer_id), layer count information (number_of_layers), layer ID information (layer_id), stereo mono change count information (stereo_mono_change_count), sample count information (sample_count), and / or stereo flag information (stereo_flag) It can contain at least one.
  • the layer number information may mean the number of layers included in the current track.
  • the base layer ID information (base_layer_id) may inform the identifier (id) of the base layer included in the base track ID.
  • the layer ID information layer_id may indicate an identifier (id) of a layer included in the current track. This may indicate a DependencyId for a layer as an identifier for the layer.
  • the remaining information included in the h3vi Box may have the same meaning as that of the Hybird3DVideoMediaInformationBox of FIG. 21 described above.
  • FIG. 23 is a diagram illustrating an extension of a sample group box (sbgp) according to another embodiment of the present invention.
  • a sample group box (sbgp)
  • one layer may be composed of one sample group, and an sbgp box may be used for this.
  • the box type is sbgp and may be included in the sample table box (stbl) or the track fragment box (traf).
  • the sample table box (stbl) or the track fragment box (traf) may include one or more sbgp boxes, depending on the embodiment may not include sbgp.
  • sbgp can be used to find the group to which the sample belongs, and can also be used to find the relevant description of that sample group.
  • the sbgp box may include at least one of the illustrated information. That is, the sbgp box includes stereoscopic composition type information (stereoscopic_composition_type), grouping type information (grouping_type), base grouping type information (base_grouping_type), short-term viewable information (single_view_allowed), stereoscopic viewable information (stereoscopic_view_allowed), right image first information ( is_right_first), base track ID information (base_track_id), track ID information (track_id), base layer ID information (base_layer_id), layer ID information (layer_id), grouping type parameter information (grouping_type_parameter), entry count information (entry_count), sample count It may include at least one of information (sample_count) and / or group description index information (group_description_index).
  • stereoscopic composition type information stereoscopic_composition_type
  • grouping type information grouping_type
  • base_grouping_type base grouping type information
  • the base grouping type information may mean a grouping type (grouing_type) that is a base of the current grouping type (grouping_type). If the grouping type (grouping_type) is composed of one or more layers, it can be said that the base grouping type information (base_grouping_type) indicates the grouping type (grouping_type) including the base layer (base_layer).
  • the remaining information included in the sbgp box may be the same as the information included in Hybird3DVideoMediaInformationBox when one layer is included in one track.
  • FIG. 24 is a diagram illustrating extension of a visual sample group entry according to an embodiment of the present invention.
  • one layer may be configured as one sample group.
  • information as shown may be added to a visual sample group entry or the like.
  • Visual sample group entries include short-term viewable information (single_view_allowed), stereoscopic viewable information (stereoscopic_view_allowed), right image first information (is_right_first), base track ID information (base_track_id), track ID information (track_id) It may include at least one of base layer ID information (base_layer_id) and / or layer ID information (layer_id).
  • the base grouping type information may mean grouing_type which is the base of the current grouping_type. If the grouping_type consists of one or more layers, the base_grouping_type may indicate a grouping_type including the base_layer. The remaining information may have the same meaning as the description of the field of Hybird3DVideoMediaInformationBox when one layer is included in one track described above.
  • FIG. 25 illustrates an extension of a sub track sample group box (stsg) according to another embodiment of the present invention.
  • the sub track may represent one or more sample groups. When a plurality of layers is included in one track, one layer may be configured as one sample group.
  • a sub track in which one or several sample groups are collected may be configured to include a sample of one track or a part of one track.
  • the stsg box can be used for this.
  • the box type is stsg and may be included in a sub track definition box (strd).
  • strd may include one or more stsg boxes, and in some embodiments, stsg may not be included.
  • the stsg box may define a sub track as one or more sample groups, for which reference may be made to a sample group description describing the samples of each group.
  • the stsg box may include at least one of the illustrated information. That is, the stsg box includes stereoscopic composition type information (stereoscopic_composition_type), grouping type information (grouping_type), base grouping type information (base_grouping_type), short-term viewable information (single_view_allowed), stereoscopic viewable information (stereoscopic_view_allowed), and right image first information ( is_right_first), base track ID information (base_track_id), track ID information (track_id), base layer ID information (base_layer_id), item count information (item_count), layer ID information (layer_id), and / or group description index information (group_description_index).
  • stereoscopic composition type information stereoscopic_composition_type
  • grouping type information grouping type information
  • the layer ID information layer_id may be included as many as the item count information item_count using a loop.
  • the grouping type information (grouping_type) may be an integer value for identifying sample grouping.
  • the value may have the same value as the corresponding sample group box (SampletoGroup) and sample group description box (SampleGroupDescription boxes).
  • the item count information (item_count) may mean the number of sample groups listed in the stsg box.
  • the remaining information included in the stsg box may have the same meaning as the fields of Hybird3DVideoMediaInformationBox including one layer in the previous track.
  • the method for transmitting a media file according to an embodiment of the present invention may generate media files (DS26010).
  • the media files generated here may be based on the ISO base media file format.
  • the media files may include a plurality of boxes.
  • the boxes included in the media file may include left video and right video data based on SHVC, respectively.
  • 3D media files based on SHVC may include 2D compatible 3D video data.
  • the boxes included in the media file may further include information describing 3D content based on SHVC. That is, the media file may include 3D media content data and metadata thereof.
  • the metadata may include information for reproducing 3D content based on SHVC in 2D or 3D.
  • the metadata includes stereoscopic composition type information (stereoscopic_composition_type), short-term viewable information (single_view_allowed), stereoscopic viewable information (stereoscopic_view_allowed), right image first information (is_right_first), base track ID information (base_track_id), and tracks. At least one of ID information (track_id), stereo mono change count information (stereo_mono_change_count), sample count information (sample_count), and / or stereo flag information (stereo_flag) may be included.
  • the media files may be processed into segments (DS26020).
  • Media files may be segmented in a separate segment format for transmission, for example a DASH segment. Processing the media files into segments may be omitted in some embodiments.
  • the generated segments may be transmitted (DS26030).
  • the generated segments may be transmitted over the air by broadcasting, or may be transmitted to the wired network via broadband.
  • the 3D contents based on the transmitted SHVC may be displayed in 2D or 3D according to receiver performance. The receiver may restore the received segments into a media file and play the received content in 2D or 3D using metadata included in the boxes in the media file.
  • An apparatus for transmitting a media file according to an embodiment of the present invention may include a file generator D27010, a segment processor D27020, a signaling generator D27030, and a transmitter D27040. Each configuration may be implemented with one processor or a plurality of processors.
  • the file generator D27010 and the signaling generator D27030 may be implemented by one processor.
  • the file generator D27010 may generate media files.
  • the media files generated here may be based on the ISO base media file format. As described above with reference to FIGS. 15 to 25, the media files may include a plurality of boxes.
  • the boxes included in the media file may include left video and right video data based on SHVC, respectively.
  • 3D media files based on SHVC may include 2D compatible 3D video data.
  • the boxes included in the media file may further include information describing 3D content based on SHVC. That is, the media file may include 3D media content data and metadata thereof.
  • metadata may be generated by the file generator D27010 or the signaling generator D27030 according to an embodiment.
  • the metadata may include information for reproducing 3D content based on SHVC in 2D or 3D.
  • the metadata includes stereoscopic composition type information (stereoscopic_composition_type), short-term viewable information (single_view_allowed), stereoscopic viewable information (stereoscopic_view_allowed), right image first information (is_right_first), base track ID information (base_track_id), and tracks.
  • At least one of ID information (track_id), stereo mono change count information (stereo_mono_change_count), sample count information (sample_count), and / or stereo flag information (stereo_flag) may be included. Description of each information is as described above, and some of the information may not be included in the metadata according to an embodiment according to the number of layers included in one track included in the media file.
  • the segment processor D27020 may process the media files into segments. Media files may be segmented in a separate segment format for transmission, for example a DASH segment. The segment processor D27020 may be omitted in some embodiments. If the media files are processed into segments, the transmitter D27040 may transmit the generated segments.
  • the generated segments may be transmitted over the air by broadcasting, or may be transmitted to the wired network via broadband.
  • the 3D contents based on the transmitted SHVC may be displayed in 2D or 3D according to receiver performance.
  • the receiver may restore the received segments into a media file and play the received content in 2D or 3D using metadata included in the boxes in the media file.
  • the media file transmission apparatus or the broadcast signal transmission apparatus may generate a media file including 3D content data based on SHVC, and the media file is generated when the receiver plays back the 3D content data in 2D or 3D. May contain metadata for reference.
  • the receiver receiving the present media file can decode the received media file and play it in 3D or 2D according to its decoding capability.
  • FIG. 28 is a diagram illustrating an embodiment of a signal transmission method according to the present invention.
  • Video data is encoded (S110).
  • encoding information of the video data may be included in the encoded video data according to the embodiments described below.
  • Encoding information of the encoded video data is described in detail with reference to FIG. 59.
  • the encoded video data may have a different structure according to the embodiment disclosed below, which is illustrated in FIGS. 29, 30 (first embodiment), 31 (second embodiment), and FIGS. May vary according to the third embodiment).
  • the encoded video data may have a structure in which high resolution video is divided to fit an existing aspect ratio, and the divided video data may include information for merging it back into high resolution video.
  • the encoded video data may include information for dividing the high resolution video data according to the aspect ratio of the receiver, or may include location information of a letterbox (eg, AFD bar) for disposing subtitle information.
  • signaling information capable of displaying the video data according to the aspect ratio of the receiver is generated separately from the encoded video data (S120).
  • the signaling information may include the information illustrated in FIGS. 43 to 54 and 56 to 58 according to each embodiment, and the information illustrated in the above drawings may be generated according to an embodiment.
  • the signaling information may include signaling information capable of expressing high resolution video data of the first aspect ratio regardless of the aspect ratio to the receiver.
  • the signaling information that can be expressed regardless of the aspect ratio of the receiver may include aspect ratio control information of the high resolution video data. Examples of signaling information separate from the video data are illustrated in FIGS. 43-54 and 56-59.
  • the encoded video data and the signaling information are multiplexed and the multiplexed video data and the signaling information are transmitted (S130).
  • the step of generating signaling information multiplexed with the video data is omitted, and video data including aspect ratio control information and other data (for example, audio data) are multiplexed in the video data region described in S110. To print.
  • the transmitter transmits video data according to each embodiment, even if the aspect ratio of the receiver display device is different, or the performance is different, the high-definition video is expressed according to the aspect ratio of the corresponding display according to the aspect ratio control information, or Captions can be displayed.
  • a conventional receiver can display high resolution video data according to aspect ratio of the receiver according to aspect ratio control information. That is, the receiver may display the high resolution video data of the first aspect ratio according to the aspect ratio of the receiver by using the screen control information.
  • the aspect ratio control information may indicate that the encoded video data is divided and transmitted, and may include merging information for merging the divided video data.
  • the aspect ratio control information may include segmentation information for dividing the encoded video data according to the aspect ratio.
  • the aspect ratio control information may include location information for caption arrangement to change the caption position of the video according to the resolution of the video according to the encoded video data.
  • 29 is a diagram schematically illustrating an example of transmitting a high resolution image in accordance with an aspect ratio of receivers according to an embodiment of the present invention. This example illustrates an embodiment that can serve 16: 9 aspect ratio using UHD video of 21: 9 aspect ratio.
  • the video 1 is separated into a video 2, a video 3, and a video 4 and transmitted.
  • a receiver capable of displaying UHD video receives and displays video (2), video (3), and video (4).
  • the receiver capable of displaying HD video receives the video (2) and converts the 16: 9 UHD video (video (2)) to 16: 9 HD video (video (5)) through scaling and the like. Can be expressed.
  • FIG. 30 is a diagram schematically illustrating an example of a stream structure for transmitting a high resolution image according to the aspect ratio of receivers according to the embodiment of the present invention according to FIG. 29.
  • the illustrated stream includes 16: 9 UHD video, data cropped on left and right, and additional data (UHD composition metadata).
  • the 16: 9 UHD video may include 16: 9 aspect ratio HD video that can provide a conventional HD service, and enhancement data that is a difference between a 16: 9 UHD video and a 16: 9 aspect ratio HD video.
  • a conventional HD receiver receives and processes 16: 9 aspect ratio HD video
  • a 16: 9 UHD receiver receives and processes enhancement data for 16: 9 aspect ratio HD video and 16: 9 aspect ratio UHD video.
  • the 21: 9 receiver may compose a 21: 9 UHD video using UHD video having a 16: 9 aspect ratio, cropped left and right data, and UHD composition metadata that is additional data.
  • the additional data (UHD composition metadata) may include crop coordinate information of left and right. Accordingly, the receiver may generate the 21: 9 aspect ratio UHD video using the 16: 9 aspect ratio UHD video and the cropped left and right data using the additional data.
  • 31 is a diagram schematically showing another example of transmitting a high resolution image in accordance with an aspect ratio of receivers according to an embodiment of the present invention.
  • the 21: 9 aspect ratio UHD video is transmitted as a separate stream from the 16: 9 aspect ratio HD video.
  • the transmitter prepares a UHD video stream separately from the HD video stream.
  • crop coordinate information for generating an aspect ratio of a 16: 9 video may be included in additional information data (16: 9 extraction info metadata) and transmitted.
  • the UHD video receiver receives a 21: 9 aspect ratio UHD video stream. If the UHD video receiver has a 21: 9 aspect ratio display device, UHD video may be extracted from a stream providing a 21: 9 UHD service. In this case, additional information data (16: 9 extraction info metadata) can be ignored.
  • a service having a 16: 9 aspect ratio may be extracted from a UHD video stream using additional information data.
  • Conventional HD receivers can receive HD video streams with a 16: 9 aspect ratio to provide HD video.
  • 32 is a diagram schematically showing another embodiment of a method of transmitting and receiving a signal according to the present invention.
  • send a 21: 9 aspect ratio video For example, send a 21: 9 aspect ratio video, scale this video format to a 16: 9 aspect ratio video, and include a letterbox area above and below the 16: 9 aspect ratio video. Can be sent.
  • FIG. 33 exemplifies output of a subtitle area when transmitted as shown in FIG.
  • the caption window for the subtitle area is displayed in the screen area instead of the letterbox area.
  • FIG. 34 illustrates an example of displaying a caption window for subtitles in a receiver capable of receiving UHD video when transmitted as shown in FIG. 32.
  • the existing video is output from the upper left (0,0) and the subtitles are displayed in the letterbox area (lower area of the screen, surplus area) outside the actual video area.
  • the subtitle is output to a blank portion of the screen so that the screen can be efficiently used while minimizing interference with the actual video area.
  • 35 is a diagram illustrating a method of encoding or decoding video data when transmitting video data according to the first embodiment according to the present invention.
  • the transmitter encodes 16: 9 HD video into base layer data and encodes residual data constituting 16: 9 UHD into enhancement layer 1 data based on data encoded in base layer data.
  • the remaining UHD video corresponding to 2.5: 9 video, which is the left and right cropped data, is encoded as enhancement layer2 data.
  • Video data encoded with enhancement layer2 may be encoded using correlation in all UHD videos of 21: 9, or may be encoded as independent video. As described in the first embodiment, information on left and right positions of cropped data on the left and right sides can be transmitted.
  • Information about the left and right positions of video data encoded in enhancement layer 2 may be transmitted using an embodiment such as a descriptor form of header or system level section data in the video stream corresponding to enhancement layer 2. This will be described later.
  • the receiver may display 16: 9 HD video (1920 x 1080) when only the base layer data is received and decoded.
  • the receiver When the receiver decodes the base layer data and the enhancement layer 1 data, it can display 16: 9 UHD video (3840 x 2160).
  • the receiver decodes all of the base layer data, enhancement layer 1 data, and enhancement layer 2 data, it can display 21: 9 UHD video (5040 x 2160).
  • information about left / right positions of video data encoded by the enhancement layer2 described above may be used.
  • video of various resolutions having various aspect ratios can be expressed according to the performance of the receiver or the function.
  • This example exemplifies the 4K video divided into several video and transmits it, and the video with more resolution can be transmitted in the same way.
  • 36 is a diagram illustrating a method of encoding or decoding video data when transmitting video data according to the second embodiment of the present invention.
  • the transmitter may transmit separation start information and separation end information of the 16: 9 video together.
  • the transmitter transmits crop_cordinate_x1 corresponding to the start coordinates on the screen and crop_cordinate_x2 information of the end coordinates together.
  • the crop_cordinate_x1 information indicates the start coordinate of the 16: 9 UHD video
  • the crop_cordinate_x2 information indicates the end coordinate of the 16: 9 UHD video.
  • the receiver may receive 4K (5040x2160) UHD video, and may ignore 4K (5040x2160) UHD video as it is, ignoring separation start information and separation end information.
  • the receiver may receive 4K (5040x2160) UHD video and may cut and display 16: 9 UHD video among 21: 9 UHD video using separation start information and separation end information.
  • the receiver may receive and display the 16: 9 HD video stream separately from the 4K (5040x2160) UHD video stream.
  • video of various resolutions having various aspect ratios can be expressed according to the performance of the receiver or the function.
  • this example exemplifies the 4K video divided into several video and transmits, and the video with a higher resolution can be encoded or decoded in the same manner.
  • FIG. 37 is a diagram illustrating an example of an encoder for encoding high resolution video data according to the first embodiment of the present invention.
  • high resolution video data is illustrated as 4K 21: 9 UHD video data.
  • data related to video is represented by A, B, C, D1 and D2.
  • An example of an encoder for encoding high resolution video data may include a base layer encoder 110, a first enhancement layer data encoder 120, and a second enhancement layer data encoder 130.
  • an encoder encoding a 21: 9 aspect ratio UHD video may process and encode base layer data, enhancement layer 1 data, and enhancement layer 2 data, respectively.
  • the crop and scale unit 111 of the base layer encoder 110 crops the 21: 9 UHD video data A to 16: 9, scales it, and reduces the size to output the 16: 9 HD video data B.
  • the first encoder 119 may encode and output 16: 9 HD video data by encoding base layer data.
  • the cropping unit 121 of the first enhancement layer data encoder 120 crops the 21: 9 UHD video data A to 16: 9.
  • the upscaling unit 123 upscales and outputs down-scaled data output by the crop and scale unit 111 of the base layer encoder 110, and the cropping unit 121 crops the first calculator 127.
  • the residual data C of the 16: 9 UHD video may be output using the one data and the upscaled data of the upscaling unit 123.
  • the second encoder 129 may encode and output a 16: 9 UHD video into Enhancement layer 1 data.
  • the second calculator 137 of the second enhancement layer data processor 130 may use 16: 9 video data and 21: 9 video by using 21: 9 UHD video data A and data cropped by the crop unit 121.
  • the left video data D1 and the right video data D2, which are crop data of the data, may be respectively output.
  • the left video data D1 and the right video data D2 may be identified by information on the left side or the right side of the corresponding video, respectively. An example of signaling this information is described later.
  • the identification information (enhancement_video_direction) of the left video data is illustrated as 0, and the identification information (enhancement_video_direction) of the right video data is illustrated as 1, respectively.
  • the receiver may decode the signaling information.
  • the left video data D1 and the right video data D2 may be coded, or may be coded as one video data.
  • the left video data D1 and the right video data D2 may be signaled to be separated using identification information.
  • the third encoder 139 may encode the cropped left video data D1 and right video data D2 into Enhancement layer 2 data.
  • the base layer data, the enhancement layer 1 data, and the enhancement layer 2 data are received according to the performance of the receiver, the UHD video or the HD video data may be restored.
  • the receiver When the receiver restores Enhancement layer 2 data, it may be decoded by a decoding method associated with base layer data and Enhancement layer 1 data, or may be independently decoded. Such a decoding method may be determined according to an encoding method.
  • 38 is a diagram illustrating resolution of a separated original video and a separated video according to the first embodiment of the present invention.
  • Example (a) on the upper left shows the resolution of a UHD video with a 5040x2160 resolution with a 21: 9 aspect ratio.
  • 4K UHD video with a 21: 9 aspect ratio has a resolution of 5040x2160.
  • the 16: 9 video may refer to a video having a resolution of 3840 x 2160, which is called 4K UHD of 16: 9 in the existing broadcast.
  • Example (b) at the top right shows a UHD video of 3840 x 2160 resolution on a 5040 x 2160 resolution UHD video with a 21: 9 aspect ratio.
  • video with 3840 x 2160 resolution is enhanced layer 1 data, and left and right 600 x 2160 video are combined into a single video.
  • signaling is required for the resolution of the surplus video at the video level, and signaling for left / right information of which direction the video is needed.
  • the identification information (enhancement_video_direction) of the left video data is represented by 0, and the identification information (enhancement_video_direction) of the right video data is represented by 1, respectively.
  • the remaining video to be included in enhancement layer 2 is not limited to the left / right edge region.
  • the position can be arbitrarily assigned to the remaining region except for any 16: 9 video among 21: 9 video.
  • a 16: 9 video to be extracted among 21: 9 videos is set as a left region and an enhancement layer 2 is configured as the remaining 5: 9 video is also possible.
  • video can be separated and transmitted not only for 4K but also for 8K UHD video.
  • FIG. 39 is a diagram illustrating an example of a decoder for decoding high resolution video data according to the first embodiment of the present invention.
  • high resolution video data is illustrated here as 4K 21: 9 UHD video data.
  • data related to video is represented by A, B, D1, D2 and E, respectively.
  • An example of a decoder for decoding high resolution video data may include a decoder of at least one of the base layer decoder 210, the first enhancement layer data decoder 220, and the second enhancement layer data decoder 230. Can be. According to the function of the signal receiving apparatus, all three functions may include a decoding unit, and the decoder of the signal receiving apparatus outputting the existing HD video may include only the base layer decoder 210. In this example, demultiplexing 201 may be shared by each decoder, and each decoder may include a separate demultiplexer 201.
  • a decoder for decoding a 21: 9 aspect ratio UHD video may process and decode base layer data, enhancement layer 1 data, and enhancement layer 2 data, respectively.
  • the first decoder 213 of the base layer decoder 210 may decode and output the demultiplexed HD video B having a 16: 9 aspect ratio.
  • the upscaling unit 221 of the first enhancement layer data decoder 220 upscales and outputs the base layer data decoded by the base layer decoder 210.
  • the second decoder 223 may perform scalable decoding using the base layer data and the residual data.
  • the second decoder 223 decodes the demultiplexed 16: 9 residual data and decodes the 16: 9 aspect ratio UHD video (E) using the upscaled base layer data and the decoded 16: 9 residual data. can do.
  • the third decoder 233 of the second enhancement layer data decoder 230 decodes the left / right video and outputs the received enhancement layer 1 data decoded by the first enhancement layer data decoder 220.
  • the 21: 9 UHD video A can be reconstructed by merging the 16: 9 UHD video E and the decoded left / right video D1 / D2.
  • the second enhancement layer data decoder 230 may use identification information for identifying the left / right video, and the 21: 9 UHD video A is continuous at the portion where the left / right video is joined. Boundary filtering can be performed to allow for natural expression. In this case, the cropped video corresponding to the cropped left / right video undergoes a filtering process to be combined with a 16: 9 video.
  • the filtering process may be similar to the deblocking filter used in the existing codec, but is not applied to each boundary of the macroblock but to the periphery of the cropped video.
  • filtering can be performed according to a threshold to distinguish the boundary generated by joining the actual edge and the cropped portion. This will be described later.
  • FIG. 40 illustrates an example of combining and filtering cropped videos in the first embodiment of the present invention. An example of removing the blocking phenomenon at the boundary of the video of the base layer, the video of enhancement layer 1, and the video of enhancement layer 2 will be described.
  • the pixels of one field in the junction of the first video and the second video are represented by Pi and qi, respectively, and i has an integer value from 0 according to the x coordinate.
  • the increasing direction of I is different at the junction of the first video and the second video. Assume that the address of the pixel on the x-axis of the junction is 596, 597, 598, 599 (pixels on the first video), 600, 601, 602, 603 (pixels on the second video).
  • Equation 1 In order to obtain a condition for satisfying Condition 1 illustrated in Equation 1 below, P0, P1, and P2 satisfying Equation 2 to Equation 4 are calculated using a 4-tap filter and a 5-tap filter. P0, 'P1', P2 ',... Updated with a value.
  • Equation 1 shows condition 1.
  • condition 1 and the condition 2 of Equation 6 associated with Equations 2 to 4 may be used to distinguish between actual edges and blocking artifacts.
  • Equation 5 When the condition 1 of Equation 1 is not satisfied above, the values of P0 and q0 are updated to p0 'and q0' values by applying a 3-tap filter as shown in Equation 5.
  • Condition 2 of Equation 6 is a condition for filtering the q block.
  • q0, q1, and q2 denote 4-tap filter and 5-tap filter as illustrated in Equations 7 to 9. To update the values q'0, q'1, and q'2.
  • Equation 6 shows condition 2.
  • the q0 value is updated to the q′0 value by using Equation 10 below.
  • ⁇ (offset_alpha_value) and ⁇ (offset_beta_value) can adjust the strength of the filter by offset according to QP (quantization parameter). You can adjust the detail of the video by adjusting the filter strength to an offset based on the QP (quantization parameter) value and assigning the offset of the smoothing filter accordingly.
  • 41 is a diagram illustrating a first example of a receiver according to the second embodiment of the present invention.
  • the stream of HD video and the stream of UHD video may be transmitted as separate streams.
  • the receiver (a) capable of displaying only HD video includes a demultiplexer and decoder for demultiplexing a stream of HD video, the demultiplexer demultiplexes the HD video stream, and the decoder decodes the corresponding video data.
  • the receiver b capable of displaying UHD video may also include a demultiplexer and a decoder.
  • the demultiplexer may demultiplex the UHD video stream
  • the decoder may decode the video data to display the UHD video.
  • the UHD video may be a 16: 9 UHD video in which part of the video is cropped according to the performance of the receiver, or may be an uncropped 21: 9 UHD video.
  • the receiver may display decoded UHD video according to its performance, and in the case of 16: 9 aspect ratio UHD video, position information cropped among the original 21: 9 UHD video (16: 9 rectangle coordinates) to crop the video and then display the cropped video.
  • 4K UHD video has been described as an example, the same method can be applied even when the resolution of the video is higher.
  • a UHD video having a 21: 9 aspect ratio is transmitted in the form of a video having a scaled 16: 9 aspect ratio and letterboxes positioned above and below the video.
  • the caption information may be displayed on the 16: 9 video or the letterbox depending on the performance of the receiver.
  • Video A in this figure illustrates a 16: 9 video transmitted and a letterbox displayed on the video according to the third embodiment described. Depending on the receiver's performance, the way this video is processed can vary.
  • the receiver may display 16: 9 video and letterbox as it is. Conversely, if subtitle information is included for the video being transmitted, this receiver deletes or separates the top AFD bar, doubles the bottom AFD (active format description) bar, or You can paste the letterbox of to the letterbox below and convert the video format to 2x letterbox (AFD_size_2N).
  • the receiver is to send a letterbox (AFD bar) of size 3840 x N x 2 (where N is the height of the letterbox) for the received video at the bottom of the video.
  • the caption can be inserted and the caption is displayed at the position so that the screen can be efficiently arranged.
  • 2 ⁇ N may be 135.
  • the height (AFD_size_2N) of letterbox inserted in the lower part of the video for displaying subtitle information becomes 515.
  • the AFD bar of 3840xN respectively, can be inserted above and below the video as in the conventional method. This can be applied in a similar manner to video with higher resolution.
  • a receiver having a display of 21: 9 aspect ratio may display subtitles on the video when there is subtitle, and otherwise receive and display the video as it is.
  • signaling information of a broadcast signal that can process the video when it is transmitted and received according to an embodiment of the present invention.
  • FIG. 43 is a diagram illustrating signaling information capable of displaying video according to a first embodiment of the present invention.
  • This figure illustrates a PMT as signaling information at a system level, and may include a descriptor of a program level immediately after program_info_length of the PMT, and a descriptor of a stream level immediately after the ES_info_length field.
  • descriptor_tag represents an identifier of this descriptor.
  • the UHD_program_format_type may include information for identifying each embodiment as described above.
  • the 21: 9 UHD video transmitted is 16: 9 HD video, 16: 9 UHD video, and 21: 9 UHD video.
  • An area that is a difference between 16: 9 UHD video is a video format that can be expressed using separate layer data, or indicates a service type according to the video format.
  • the 21: 9 UHD video transmitted is a video format that can be expressed using crop information for 21: 9 video or 16: 9 video. Or service type according to the video format.
  • UHD_program_format_type is 0x03
  • this is a third embodiment of the present invention, wherein a 21: 9 UHD video transmitted is expressed using letterbox (AFDbar) information for 16: 9 video and 21: 9 video. Format or a service type according to the video format.
  • AFDbar letterbox
  • UHD_program_format_type When UHD_program_format_type is 0x04, this shows a fourth embodiment of the present invention, wherein the transmitted 16: 9 UHD video is a video format that can be expressed using crop information for 21: 9 video or 16: 9 video. Or service type according to the video format.
  • UHD composition descriptor As an example of the stream level descriptor, a UHD composition descriptor is illustrated. This descriptor may include information on the streams constituting the service or program for the first, second, third and fourth embodiments according to the present invention.
  • information for identifying a stream for transmitting base layer data, enhancement layer 1 data, and enhancement layer 2 data may be included. This will be described later in detail.
  • 44 is a diagram illustrating specific syntax values of signaling information according to the first embodiment of the present invention.
  • the illustrated field value may indicate the following information.
  • the first embodiment transmits a stream for transmitting base layer data, first enhancement layer data, and second enhancement layer data, respectively, and this embodiment can signal all of these data.
  • the program_number field may be program number information on a 21: 9 UHD program.
  • the PMT may include the following information in the stream for transmitting the base layer data.
  • Stream_type may be a value such as 0x02 indicating a video stream according to the MPEG-2 video codec.
  • Elementary_PID represents a PID value of an elementary stream included in each program, and this example illustrates a value of 0x109A.
  • the stream level descriptor may include signaling information related to MPEG-2 video.
  • Stream_type represents the type of the stream according to the HEVC scalable layer video codec. Here, this value is illustrated as a value of 0xA1.
  • Elementary_PID represents a PID value of an elementary stream included in each program, and this example illustrates a value of 0x109B.
  • UHDTV_sub_stream_descriptor (), which is a stream level descriptor, may include signaling information related to first enhancement layer data required for composing 16: 9 video using a base layer.
  • Stream_type represents the type of the stream according to the HEVC scalable layer video codec. Here, this value is illustrated as a value of 0xA2.
  • Elementary_PID represents the PID value of the elementary stream included in each program. This example illustrates the value 0x109C.
  • UHDTV_composition_descriptor which is a stream level descriptor, may include signaling information related to reconstructing the second enhancement layer data and the 21: 9 UHD video.
  • the UHD_program_format_type included in the descriptor of the program level may have a value of 0x01 for the first embodiment.
  • the stream level descriptor may include a descriptor_tag value for identifying this descriptor, descriptor_length and UHD_composition_metadata () indicating the length of the descriptor.
  • the EL2_video_codec_type field represents codec information of a video element included in the UHD service. For example, this value may have the same value as the stream_type of the PMT.
  • the EL2_video_profile field may indicate profile information on the video stream, that is, information on basic specifications required for decoding the stream. Requirements information about the color depth (4: 2: 0, 4: 2: 2, etc.), bit depth (8-bit, 10-bit), coding tool, etc. of the video stream may be included. have.
  • the EL2_video_level field is level information on a corresponding video stream and may include information on a technology element support range defined in a profile.
  • the EL2_video_component_type field indicates what data is included when a corresponding video stream configures a UHD service.
  • the stream indicates identification information as to whether the base layer data corresponds to 16: 9 HD, the first enhancement layer data of 16: 9, or the second enhancement layer data for 21: 9 UHD.
  • the original_UHD_video_type field signals information about the UHD video format and may represent basic information such as a video resolution and a frame rate.
  • the original_UHD_video_aspect_ratio field represents information about aspect ratio of the original UHD video.
  • the EL2_video_width_div16 field and the EL2_enhancement_video_height_div16 field indicate resolution information of sub_video corresponding to the second enhancement layer data.
  • the horizontal and vertical sizes of the video expressed as the second enhancement layer data may be expressed in multiples of 16.
  • the EL2_video_direction field may indicate the direction information of the cropped video.
  • the EL2_video_composition_type field represents a method of configuring sub_videos when sub_videos of UHD videos are combined into one video and transmitted in one stream.
  • the EL2_dependency_idc field represents information about whether the left and right sub-videos of the UHD video are independently encoded or a coding scheme correlated with the 16: 9 UHD video is used.
  • the enhancement_video_filter_num field may apply filtering when decoding left and right cropped video, since there is an artifact in the video, indicating whether filtering is applied and the number of filters.
  • the enhancement_video_filtering_cordinate_x_div4 field and the enhancement_video_filtering_cordinate_y_div4 field indicate coordinates of the first pixel in the X direction and the Y direction of the video portion to which filtering is applied.
  • the actual coordinates can be multiplied by 4 in this field.
  • the coordinate may be based on the UHD video, that is, the UHD video reconstructed using the base layer, the first enhancement layer, and the second enhancement layer.
  • the enhancement_video_filtering_width_div4 field and the enhancement_video_filtering_width_div4 field may indicate the size of the video region to which filtering is applied in the number of pixels. For example, the size of the area to be filtered may be 4 times the actual size.
  • the original_UHD_video_type field of the signaling information may indicate the resolution and frame rate of the video. This figure illustrates that various resolutions and frame rates may be provided according to the value. For example, when the original_UHD_video_type field is 0101, the original video may have a resolution of 5040 x 2160 at 60 frames per second.
  • FIG. 47 is a diagram illustrating information on an aspect ratio of an original video.
  • the original_UHD_video_aspect_ratio field of the described signaling information indicates information about an aspect ratio of the original UHD video. This figure illustrates, for example, that when this value is 10, it represents a 21: 9 aspect ratio.
  • the cropped left and right video may have direction information. If the information value for this direction is 00, it has a left direction, 01 is right, 10 is up, and 11 is down. Illustrate that.
  • the EL2_video_composition_type field described above illustrates signaling information for combining base layer data, first enhancement layer data, and second enhancement layer data when they are combined.
  • the second enhancement layer data is coupled to the top / bottom, and if 10, the second enhancement layer data is combined side-by-side; It illustrates that the base layer data and the first enhancement layer data are transmitted in a separate stream other than the substream.
  • the EL2_dependency_idc field described when following the first embodiment may indicate whether the base layer data, the first enhancement layer data, and the second enhancement layer data included in the UHD video are encoded in association with each other or independently encoded. For example, data used for temporal prediction or viewpoint prediction in encoding specific data may be related and encoded.
  • a value of this field of 01 indicates that the second enhancement layer data is encoded independently of other data, and a value of 10 indicates that the second enhancement layer data is encoded in association with other data.
  • FIG. 1 it is a diagram illustrating signaling information capable of displaying a video.
  • FIG. 51 is a diagram illustrating a stream level descriptor that may be included in the PMT of FIG. 43.
  • the HD video stream and the UHD video stream may be transmitted as separate streams.
  • the UHD video stream may include metadata that can be switched to another aspect ratio in consideration of the aspect ratio of the receiver.
  • descriptor_tag and descriptor_length indicate an identifier and a length of this descriptor, respectively.
  • 16_9_extension_info_metadata includes signaling information about a stream constituting the UHD video in the second embodiment.
  • the EL2_video_codec_type field represents codec information of a video element included in the UHD service.
  • this value may have the same value as the stream_type of the PMT.
  • the EL2_video_profile field may indicate profile information on the video stream, that is, information on basic specifications required for decoding the stream. Requirements information about the color depth (4: 2: 0, 4: 2: 2, etc.), bit depth (8-bit, 10-bit), coding tool, etc. of the video stream may be included. have.
  • the EL2_video_level field is level information on a corresponding video stream and may include information on a technology element support range defined in a profile.
  • the original_UHD_video_type field is information signaling information about a UHD video format and may indicate information related to a video such as a resolution and a frame rate of the video.
  • the original_UHD_video_aspect_ratio field may indicate information about aspect ratio of UHD video.
  • the 16_9_rectangle_start_x, 16_9_rectangle_start_y, 16_9_rectangle_end_x, and 16_9_rectangle_end_y fields indicate the positional information that can designate a valid 16: 9 screen area when the resolution of the UHD video is 21: 9 format such as 5040x2160. Pixel positions of the upper left of the region may be designated by 16_9_rectangle_start_x and 16_9_rectangle_start_y, and pixel positions of the lower right of the region may be designated by 16_9_rectangle_end_x and 16_9_rectangle_end_y. Using these fields, a receiver with a 16: 9 display format can only output the area specified by this field, and the rest of the field can be cropped and not displayed.
  • FIG. 52 is a diagram illustrating signaling information when following the illustrated third embodiment.
  • a 21: 9 aspect ratio video is transmitted as a 16: 9 aspect ratio video.
  • a receiver having a 16: 9 display according to the screen of the receiver may display subtitles on a video as in the related art, and a receiver having a display of 21: 9 may display subtitles in a blank portion of the screen.
  • the descriptor of the stream level of the PMT may include the information illustrated in this figure.
  • descriptor_tag and descriptor_length indicate an identifier and a length of this descriptor, respectively.
  • UHD_subtitle_position_info () may include information in which a subtitle is located.
  • the UHD_video_codec_type field represents codec information of a video element included in a UHD service. For example, this value may have the same value as the stream_type of the PMT.
  • the UHD_video_profile field may indicate profile information on a corresponding video stream, that is, information on basic specifications required for decoding the corresponding stream. Requirements information about the color depth (4: 2: 0, 4: 2: 2, etc.), bit depth (8-bit, 10-bit), coding tool, etc. of the video stream may be included. have.
  • the UHD_video_level field is level information on a corresponding video stream and may include information on a technology element support range defined in a profile.
  • the UHD_video_component_type field indicates information on whether the converted 16: 9 video is scaled or cropped video.
  • the UHD_video_include_subtitle field represents whether or not a stream is provided with subtitle information in a video according to the corresponding stream.
  • the original_UHD_video_type field is information signaling information about a UHD video format and may indicate information related to a video such as a resolution and a frame rate of the video.
  • the original_UHD_video_aspect_ratio field may indicate information about aspect ratio of UHD video.
  • the AFD_size_2N field adds up and down AFD bars of (horizontal resolution x AFD_size_2N / 2) if the video according to the stream in UHD_video_include_subtitle contains no subtitles, and is the stream for the video containing the subtitles. In this case, it may indicate that AFD_bar can be added as much as (horizontal resolution x AFD_size_2N). If the caption can be displayed on the video, the caption can be displayed on the letterbox area AFD_bar. In the process of outputting the remaining 21: 9 video region except for the upper and lower letterbox regions using the field, the receiver may perform a function of adjusting the caption position by displaying the caption on the remaining video over the video.
  • UHD_video_component_type field illustrates field values of an example UHD_video_component_type field.
  • this field can be used to identify whether a received 16: 9 video is a cropped video or a video with a letterbox (AFD bar) inserted after scaling.
  • AFD bar letterbox
  • UHD_video_include_subtitle field exemplifies a field value of the illustrated UHD_video_include_subtitle field. For example, depending on whether the value is 0 or 1, this may indicate that the subtitle information is included or not included in the stream or the video according to the stream.
  • 55 is a diagram illustrating an example of an operation of a receiver when the format of the transmission video and the display aspect ratio of the receiver are different.
  • the format of the video transmitted in this figure is illustrated in the rightmost columns (A-1, B-1, C-1), with the middle column the operation of the receiver (A-2, B-2, C-2), the last The column illustrates screens A-3, A-4, B-3, B-4, C-3, C-4 that may be displayed according to receiver operation.
  • the transmission video format is 21: 9 and the receiver display is 16: 9.
  • the receiver inserts a letterbox area (AFD bar) into the video, depending on the display device or its capabilities, and scales for that video. (A-2).
  • A-3 the receiver inserts and displays the letterbox area above and below the video
  • subtitle information A-4
  • the receiver displays the letterbox area. Can be added to the bottom of the video and the subtitle information displayed in the letterbox area.
  • the receiver crops the video according to the display device or its capabilities (B-2).
  • the base layer data, the first enhancement layer data, and the second enhancer data which are associated with each other or independently encoded, are decoded to display a 16: 9 aspect ratio. Can be expressed.
  • the second enhancer data may not be decoded or may not use the decoded data.
  • the crop coordinate information included in the signaling information may be displayed on a 16: 9 display.
  • the transmission video has a format of 21: 9 but has a 16: 9 video format with a 16: 9 video coding format and an AFD bar image added to the 16: 9 video coding format (C-1).
  • the receiver may express the received video as it is (C-2).
  • the receiver may identify the form in which the AFD is added to the video format 16: 9 as the active format using the 16: 9 video coding format of the transmission video and express the letterbox region up and down as it is (C-3). If there is a subtitle inside, it is possible to cut the existing bar area and add it to the bottom to express the subtitle information in the area (C-4).
  • FIG. 56 is a diagram illustrating a stream level descriptor, which may be included in the PMT of FIG. 43.
  • the HD video stream and the UHD video stream may be transmitted as separate streams.
  • the UHD video stream may include metadata that can be switched to another aspect ratio in consideration of the aspect ratio of the receiver.
  • descriptor_tag and descriptor_length indicate an identifier and a length of this descriptor, respectively.
  • the wider_extraction_info_metadata () includes signaling information of a stream constituting the UHD video.
  • the EL2_video_codec_type field represents codec information of a video element included in the UHD service.
  • this value may have the same value as the stream_type of the PMT.
  • the EL2_video_profile field may indicate profile information on the video stream, that is, information on basic specifications required for decoding the stream. Requirements information about the color depth (4: 2: 0, 4: 2: 2, etc.), bit depth (8-bit, 10-bit), coding tool, etc. of the video stream may be included. have.
  • the EL2_video_level field is level information on a corresponding video stream and may include information on a technology element support range defined in a profile.
  • the original_UHD_video_type field is information signaling information about a UHD video format and may indicate information related to a video such as a video resolution and a frame rate. This may have the same meaning as original_UHD_video_type of the first embodiment.
  • the original_UHD_video_aspect_ratio field may indicate information about aspect ratio of UHD video. This may have the same meaning as original_UHD_video_type of the first embodiment.
  • the wider_rectangle_start_x field, the wider _rectangle_start_y field, the wider _rectangle_end_x field, and the wider _rectangle_end_y field indicate location information that can designate a valid 21: 9 screen area among them when the resolution of the UHD video is 16: 9 format.
  • Pixel positions of the upper left of the region may be designated by wider_rectangle_start_x and wider_rectangle_start_y, and pixel positions of the lower right of the region may be designated by wider_rectangle_end_x and wider_rectangle_end_y.
  • these fields may be designated based on the number of lines of the coded video stream or may be designated relative to the horizontal and vertical direction of the coded video stream.
  • wider_rectangle_start_x may be represented by the number of pixels having a value of 1920, or may be represented by a relative value of 192 corresponding to 10% d based on the horizontal size.
  • a receiver with a wider aspect ratio display format, such as 21: 9 can use this field to selectively output the area specified by this field from the 16: 9 area, while cropping the remaining area. have.
  • inactive_top_size, inactive_bottom_size, inactive_left_size, inactive_right_size may be used instead of the above-described wider_rectangle_start_x, wider_rectangle_start_y, wider_rectangle_end_x, wider_rectangle_end_y fields. These fields can specify the number of horizontal lines at the top of the image, the number of horizontal lines at the bottom of the image, the number of vertical lines on the left side of the image, and the number of vertical lines on the right side of the image.
  • the table_id field represents an identifier of a table.
  • section_syntax_indicator field is a 1-bit field set to 1 for an SDT table section (section_syntax_indicator: The section_syntax_indicator is a 1-bit field which shall be set to "1").
  • section_length This is a 12-bit field, the first two bits of which shall be "00" .It specifies the number of bytes of the section, starting immediately following the section_length field and including the CRC. The section_length shall not exceed 1 021 so that the entire section has a maximum length of 1 024 bytes.
  • transport_stream_id This is a 16-bit field which serves as a label for identification of the TS, about which the SDT informs, from any other multiplex within the delivery system.
  • the version_number field indicates the version number of this subtable.
  • version_number This 5-bit field is the version number of the sub_table.
  • the version_number shall be incremented by 1 when a change in the information carried within the sub_table occurs.When it reaches value "31", it wraps around to "0" .
  • the version_number shall be that of the currently applicable sub_table.
  • the version_number shall be that of the next applicable sub_table.
  • section_number This 8-bit field gives the number of the section.
  • the section_number of the first section in the sub_table shall be "0x00" .
  • the section_number shall be incremented by 1 with each additional section with the same table_id, transport_stream_id, and original_network_id.
  • last_section_number This 8-bit field specifies the number of the last section (that is, the section with the highest section_number) of the sub_table of which this section is part.
  • service_id This is a 16-bit field which serves as a label to identify this service from any other service within the TS.
  • the service_id is the same as the program_number in the corresponding program_map_section.
  • EIT_schedule_flag This is a 1-bit field which when set to "1" indicates that EIT schedule information for the service is present in the current TS , see TR 101 211 [i.2] for information on maximum time interval between occurrences of an EIT schedule sub_table). If the flag is set to 0 then the EIT schedule information for the service should not be present in the TS.
  • EIT_present_following_flag This is a 1-bit field which when set to "1" indicates that EIT_present_following information for the service is present in the current TS, see TR 101 211 [i.2] for information on maximum time interval between occurrences of an EIT present / following sub_table.If the flag is set to 0 then the EIT present / following information for the service should not be present in the TS.
  • the running_status field may refer to the state of the service defined in Table 6 of the DVB-SI document.
  • running_status This is a 3-bit field indicating the status of the service as defined in table 6.For an NVOD reference service the value of the running_status shall be set to "0".
  • free_CA_mode This 1-bit field, when set to “0" indicates that all the component streams of the service are not scrambled.When set to "1" it indicates that access to one or more streams may be controlled by a CA system.
  • descriptors_loop_length field indicates the length of the following descriptor (descriptors_loop_length: This 12-bit field gives the total length in bytes of the following descriptors).
  • CRC_32 This is a 32-bit field that contains the CRC value that gives a zero output of the registers in the decoder
  • the descriptors_loop_length field may include the UHD_program_type_descriptor illustrated in FIG. 43 and the UHD_composition_descriptor illustrated in FIGS. 45, 51, or 52 according to an embodiment of the present invention in the following descriptor position.
  • the UHD_component_descriptor may further include a component_tag field.
  • the component_tag field may indicate a PID value for a corresponding stream signaled by PMT, which is a PSI level.
  • the receiver may find the PID value of the corresponding stream together with the PMT using the component_tag field.
  • EIT may be in accordance with ETSI EN 300 468. Using this to describe each field is as follows.
  • table_id Represents a table identifier.
  • section_syntax_indicator field is a 1-bit field set to 1 for an EIT table section (section_syntax_indicator: The section_syntax_indicator is a 1-bit field which shall be set to "1").
  • section_length This is a 12-bit field.It specifies the number of bytes of the section, starting immediately following the section_length field and including the CRC.The section_length shall not exceed 4 093 so that the entire section has a maximum length of 4 096 bytes.
  • service_id This is a 16-bit field which serves as a label to identify this service from any other service within a TS.
  • the service_id is the same as the program_number in the corresponding program_map_section.
  • the version_number field indicates the version number of this subtable.
  • version_number This 5-bit field is the version number of the sub_table.
  • the version_number shall be incremented by 1 when a change in the information carried within the sub_table occurs.When it reaches value 31, it wraps around to 0.When the current_next_indicator is set to "1”, then the version_number shall be that of the currently applicable sub_table.When the current_next_indicator is set to "0”, then the version_number shall be that of the next applicable sub_table.
  • section_number This 8-bit field gives the number of the section.
  • the section_number of the first section in the sub_table shall be "0x00" .
  • the section_number shall be incremented by 1 with each additional section with the same table_id, service_id, transport_stream_id, and original_network_id.
  • the sub_table may be structured as a number of segments.With each segment the section_number shall increment by 1 with each additional section, but a gap in numbering is permitted between the last section of a segment and the first section of the adjacent segment.
  • last_section_number This 8-bit field specifies the number of the last section (that is, the section with the highest section_number) of the sub_table of which this section is part.
  • transport_stream_id This is a 16-bit field which serves as a label for identification of the TS, about which the EIT informs, from any other multiplex within the delivery system.
  • segment_last_section_number This 8-bit field specifies the number of the last section of this segment of the sub_table.For sub_tables which are not segmented, this field shall be set to the same value as the last_section_number field.
  • the last_table_id field is (last_table_id: This 8-bit field identifies the last table_id used (see table 2).)
  • event_id This 16-bit field contains the identification number of the described event (uniquely allocated within a service definition).
  • the start_time field contains the start time of the event (start_time: This 40-bit field contains the start time of the event in Universal Time, Co-ordinated (UTC) and Modified Julian Date (MJD) (see annex C). is coded as 16 bits giving the 16 LSBs of MJD followed by 24 bits coded as 6 digits in 4-bit Binary Coded Decimal (BCD) . If the start time is undefined (eg for an event in a NVOD reference service) all bits of the field are set to "1".)
  • running_status This is a 3-bit field indicating the status of the event as defined in table 6. For an NVOD reference event the value of the running_status shall be set to "0".
  • free_CA_mode This 1-bit field, when set to “0" indicates that all the component streams of the event are not scrambled.When set to “1” it indicates that access to one or more streams is controlled by a CA system.
  • descriptors_loop_length field indicates the length of the following descriptor. (descriptors_loop_length: This 12-bit field gives the total length in bytes of the following descriptors.)
  • CRC_32 This is a 32-bit field that contains the CRC value that gives a zero output of the registers in the decoder
  • the descriptors_loop_length field may include the UHD_program_type_descriptor illustrated in FIG. 43 and the UHD_composition_descriptor illustrated in FIGS. 45, 51, or 52 according to an embodiment of the present invention in the following descriptor position.
  • the UHD_component_descriptor may further include a component_tag field.
  • the component_tag field may indicate a PID value for a corresponding stream signaled by PMT, which is a PSI level.
  • the receiver may find the PID value of the corresponding stream together with the PMT using the component_tag field.
  • the VCT may comply with the ATSC PSIP specification. According to ATSC PSIP, each field is described as follows. Each bit description starts as follows.
  • the table_id field indicates an 8-bit unsigned integer that indicates the type of the table section (table_id-An 8-bit unsigned integer number that indicates the type of table section being defined here.For the terrestrial_virtual_channel_table_section (), the table_id shall be 0xC8)
  • the section_syntax_indicator field is a 1-bit field set to 1 for a VCT table section (section_syntax_indicator-The section_syntax_indicator is a one-bit field which shall be set to '1' for the terrestrial_virtual_channel_table_section ()).
  • section_length field represents the length of the section in bytes. (section_length-This is a twelve bit field, the first two bits of which shall be '00'.It specifies the number of bytes of the section, starting immediately following the section_length field, and including the CRC.)
  • the transport_stream_id field indicates an MPEG-TS ID as in a PAT that can identify TVCT (transport_stream_id-The 16-bit MPEG-2 Transport Stream ID, as it appears in the Program Association Table (PAT) identified by a PID value of zero for this multiplex.
  • the transport_stream_id distinguishes this Terrestrial Virtual Channel Table from others that may be broadcast in different PTCs.
  • the version_number field indicates the version number of the VCT (version_number-This 5 bit field is the version number of the Virtual Channel Table.
  • version number shall be incremented by 1 whenever the definition of the current VCT changes. Upon reaching the value 31, it wraps around to 0.
  • version number shall be one unit more than that of the current VCT (also in modulo 32 arithmetic) In any case, the value of the version_number shall be identical to that of the corresponding entries in the MGT)
  • current_next_indicator-A one-bit indicator, which when set to '1' indicates that the Virtual Channel Table sent is currently applicable.When the bit is set to ' 0 ', it indicates that the table sent is not yet applicable and shall be the next table to become valid. This standard imposes no requirement that “next” tables (those with current_next_indicator set to' 0 ') must be sent.An update to the currently applicable table shall be signaled by incrementing the version_number field)
  • section_number-This 8 bit field gives the number of this section.
  • the section_number of the first section in the Terrestrial Virtual Channel Table shall be 0x00. It shall be incremented by one with each additional section in the Terrestrial Virtual Channel Table)
  • last_section_number-This 8 bit field specifies the number of the last section (that is, the section with the highest section_number) of the complete Terrestrial Virtual Channel Table.)
  • protocol_version field indicates the protocol version for a parameter to be defined differently from the current protocol (protocol_version-An 8-bit unsigned integer field whose function is to allow, in the future, this table type to carry parameters that may be structured differently than those defined in the current protocol.At present, the only valid value for protocol_version is zero.Non-zero values of protocol_version may be used by a future version of this standard to indicate structurally different tables)
  • the num_channels_in_section-This 8 bit field specifies the number of virtual channels in this VCT section. The number is limited by the section length)
  • the major_channel_number field indicates the number of major channels associated with a virtual channel (major_channel_number-A 10-bit number that represents the “major” channel number associated with the virtual channel being defined in this iteration of the “for” loop.Each virtual channel shall be associated with a major and a minor channel number. The major channel number, along with the minor channel number, act as the user's reference number for the virtual channel. The major_channel_number shall be between 1 and 99. The value of major_channel_number shall be set such that in no case is a major_channel_number / minor_channel_number pair duplicated within the TVCT.For major_channel_number assignments in the US, refer to Annex B.)
  • the minor_channel_number field indicates the number of minor channels associated with the virtual channel (minor_channel_number-A 10-bit number in the range 0 to 999 that represents the "minor" or "sub"-channel number.This field, together with major_channel_number, performs as a two-part channel number, where minor_channel_number represents the second or right-hand part of the number.When the service_type is analog television, minor_channel_number shall be set to 0.
  • Minor_channel_number shall be set such that in no case is a major_channel_number / minor_channel_number pair duplicated within the TVCT.For other types of services, such as data broadcasting, valid minor virtual channel numbers are between 1 and 999.
  • modulation_mode mode indicates the modulation mode of the carrier associated with the virtual channel (modulation_mode-An 8-bit unsigned integer number that indicates the modulation mode for the transmitted carrier associated with this virtual channel.Values of modulation_mode shall be as defined in Table 6.5. digital signals, the standard values for modulation mode (values below 0x80) indicate transport framing structure, channel coding, interleaving, channel modulation, forward error correction, symbol rate, and other transmission-related parameters, by means of a reference to an appropriate standard The modulation_mode field shall be disregarded for inactive channels)
  • carrier_frequency-The recommended value for these 32 bits is zero.Use of this field to identify carrier frequency is allowed, but is deprecated.
  • channel_TSID field indicates the MPEG-2 TS ID associated with the TS carrying the MPEG-2 program referenced by this virtual channel (channel_TSID-A 16-bit unsigned integer field in the range 0x0000 to 0xFFFF that represents the MPEG-2 Transport Stream ID associated with the Transport Stream carrying the MPEG-2 program referenced by this virtual channel8.
  • channel_TSID shall represent the ID of the Transport Stream that will carry the service when it becomes active. The receiver is expected to use the channel_TSID to verify that any received Transport Stream is actually the desired multiplex.
  • channel_TSID shall indicate the value of the analog TSID included in the VBI of the NTSC signal.Refer to Annex D Section 9 for a discussion on use of the analog TSID)
  • the program_number field indicates an integer value defined in association with this virtual channel and PMT (program_number-A 16-bit unsigned integer number that associates the virtual channel being defined here with the MPEG-2 PROGRAM ASSOCIATION and TS PROGRAM MAP tables.
  • PMT program_number-A 16-bit unsigned integer number that associates the virtual channel being defined here with the MPEG-2 PROGRAM ASSOCIATION and TS PROGRAM MAP tables.
  • channels representing analog services a value of 0xFFFF shall be specified for program_number.
  • program_number shall be set to zero.This number shall not be interpreted as pointing to a Program Map Table entry .
  • the access_controlled field may refer to an event associated with an access controlled virtual channel (access_controlled-A 1-bit Boolean flag that indicates, when set, that the events associated with this virtual channel may be access controlled.When the flag is set to '0', event access is not restricted)
  • the hidden field may indicate that the virtual channel is not accessed by the user's direct channel input (hidden-A 1-bit Boolean flag that indicates, when set, that the virtual channel is not accessed by the user by direct entry of the virtual channel number.Hidden virtual channels are skipped when the user is channel surfing, and appear as if undefined, if accessed by direct channel entry.Typical applications for hidden channels are test signals and NVOD services. Whether a hidden channel and its events may appear in EPG displays depends on the state of the hide_guide bit.)
  • the hide_guide field may indicate whether a virtual channel and its events may be displayed in the EPG (hide_guide-A Boolean flag that indicates, when set to '0' for a hidden channel, that the virtual channel and its events may appear in EPG displays.This bit shall be ignored for channels which do not have the hidden bit set, so that non-hidden channels and their events may always be included in EPG displays regardless of the state of the hide_guide bit.
  • Typical applications for hidden channels with the hide_guide bit set to '1' are test signals and services accessible through application-level pointers.
  • service_type-This 6-bit field shall carry the Service Type identifier.Service Type and the associated service_type field are defined in A / 53 Part 1 [1] to identify the type of service carried in this virtual channel.Value 0x00 shall be reserved.Value 0x01 shall represent analog television programming.Other values are defined in A / 53 Part 3 [3], and other ATSC Standards may define other Service Types9)
  • the source_id field is an identification number identifying a program source associated with a virtual channel (source_id-A 16-bit unsigned integer number that identifies the programming source associated with the virtual channel.
  • a source is one specific source of video, text Source ID values zero is reserved.Source ID values in the range 0x0001 to 0x0FFF shall be unique within the Transport Stream that carries the VCT, while values 0x1000 to 0xFFFF shall be unique at the regional level.Values for source_ids 0x1000 and above shall be issued and administered by a Registration Authority designated by the ATSC.)
  • the descriptors_length field indicates the length of the descriptor following (descriptors_length-Total length (in bytes) of the descriptors for this virtual channel that follows)
  • descriptor ()-Zero or more descriptors, as appropriate, may be included.
  • the service_type field may have a field value indicating parameterized service (0x07) or extended parameterized service (0x09) or scalable UHDTV service.
  • the UHD_program_type_descriptor illustrated in FIG. 43 and the UHD_composition_descriptor illustrated in FIGS. 45, 51, and 52 may be located at the descriptor position.
  • 60 illustrates syntax for a payload of an SEI region of video data according to embodiments of the present invention.
  • payloadType When payloadType is set to a specific value (51 in this example) in the SEI payload, it may include information (UHD_composition_info (payloadSize)) signaling the format of the video data as illustrated.
  • UHD_composition_info payloadSize
  • UHD_program_format_type is as illustrated in FIG. 43.
  • UHD_program_format_type is 0x01
  • the UHD_program_format_type represents a first embodiment of the present invention.
  • a region that is a difference between a UHD video and a 21: 9 UHD video and a 16: 9 UHD video is a video format that can be expressed using separate layer data.
  • the video data may include a UHD_composition_metadata value. This value is as illustrated in FIG.
  • UHD_program_format_type is 0x02, this indicates a second embodiment of the present invention, and indicates that a 21: 9 UHD video transmitted is a video format that can be expressed using crop information for 21: 9 video or 16: 9 video. Indicates.
  • the video data may include a value of 16_9_Extraction_Info_Metadata. This value is as illustrated in FIG. 51.
  • UHD_program_format_type is 0x03
  • AFDbar letterbox
  • the video data may include a UHD_subtitle_position_info value. This value is as illustrated in FIG. 52.
  • the video decoder of the receiver may parse the UHDTV_composition_info SEI message illustrated above, respectively.
  • UHDTV_composition_info () is received through SEI raw byte sequence payload (RBSP) which is an encoded video data source.
  • RBSP SEI raw byte sequence payload
  • the video decoder parses an AVC or HEVC NAL unit and reads a UHDTV_composition_info SEI message having a payloadType of 51 when the nal_unit_type value corresponds to SEI data.
  • UHDTV_composition_info () illustrated in this figure may be decoded to obtain UHD_composition information, 16: 9 extraction information, or UHD_subtitle_position information about current video data.
  • the receiver can determine the configuration information of 16: 9 HD and UHD and 21: 9 UHD streams, and finally output the UHD video.
  • the receiver may determine the video data according to the embodiment disclosed in the present invention from the signaling information region and the video data region, convert the video format accordingly, and express the video data according to the receiver.
  • FIG. 61 is a diagram illustrating an example of a receiving apparatus capable of decoding and displaying video data according to at least one embodiment when video data is transmitted according to embodiments of the present invention.
  • data related to video is represented by A, B, D1, D2 and E, respectively.
  • An example of a signal receiving apparatus may include a demultiplexer 400, a signaling information processor 500, and a video decoder 600.
  • the demultiplexer 400 may demultiplex video streams and signaling information according to an embodiment of the present invention.
  • the video streams may include streams for transmitting the video illustrated in FIGS. 29 to 32.
  • the signaling information processing unit 500 may decode a part of the signaling information processing unit 500 according to the signaling information illustrated in FIGS. 43 to 54 and 56 to 59 or the performance of the receiver. For example, the signaling information processing unit 500 may decode signaling information of at least one descriptor of FIGS. 45, 51, and 52.
  • the video decoder 600 may decode the video data demultiplexed by the demultiplexer 400 according to the signaling information processed by the signaling information processor 500.
  • the video data may be decoded using coding information or signaling information of the video data according to the syntax of the video data illustrated in FIG. 60.
  • the video decoder 600 may include at least one video decoder of the first decoder 610, the second decoder 620, and the third decoder 630.
  • the video decoder 600 may include a first decoder 610, a second decoder 620, and
  • the third decoder 630 may be included.
  • the first decoder 610 may decode and output the demultiplexed 16: 9 HD video.
  • the first decoder 610 may decode the coding information UHDTV_composition_info illustrated in FIG. 60.
  • Video data decoded by the first decoder 610 may be output as 16: 9 HD video data A which is base layer data.
  • the upscaler 615 upscales 16: 9 HD video data, which is base layer data, and outputs 21: 9 video data.
  • the second decoder 620 may perform scalable decoding using upscaled base layer data and residual data.
  • the second decoder 620 may decode the coding information (UHDTV_composition_info) illustrated in FIG. 60.
  • Video data decoded by the second decoder 620 may output 16: 9 UHD video data B which is second enhancement layer data.
  • the third decoder 630 may output video data C obtained by decoding data cropped from 21: 9 video data.
  • the third decoder 630 may perform decoding according to a coding scheme in association with 16: 9 UHD video data B.
  • FIG. Likewise, in this case, the first decoder 630 may decode the coding information (UHDTV_composition_info) illustrated in FIG. 60.
  • the merger 640 may merge and output 16: 9 UHD video data B output from the second decoder 620 and cropped data output from the third decoder 630.
  • the filter unit 640 may perform filtering on the merged portion of the video.
  • the filtering scheme is illustrated in FIGS. 40 and 1 to 10.
  • FIG. 62 is a diagram illustrating an embodiment of a signal receiving method according to the present invention.
  • a signal reception method demultiplexes video streams and signaling information (S210).
  • Video data included in the video stream may have a different structure according to the embodiment, which is illustrated in FIGS. 29, 30 (first embodiment), 31 (second embodiment), and FIGS. 32 to 34 (second). 3) and the fourth embodiment.
  • the received video data may include data that may be transmitted by dividing the high resolution video according to the existing aspect ratio and merging it into the high resolution video.
  • the received video data may include information for dividing the high resolution video data according to the aspect ratio of the receiver, or may include location information of a letterbox (eg, AFD bar) for disposing caption information.
  • a letterbox eg, AFD bar
  • the signaling information illustrated in FIGS. 43 to 54 and 56 to 59 may be demultiplexed separately from the video data.
  • the demultiplexed signaling information is decoded (S220). If the received signal is not a broadcast signal, step S220 is omitted and the signaling information in the video data is decoded in the following video data decoding step.
  • the de-multiplexed signaling information included in the broadcast signal may include the information illustrated in FIGS. 43 to 54 and 56 to 59 according to each embodiment. The information illustrated in the above drawings may be decoded according to an embodiment. Can be.
  • the signaling information may include signaling information capable of expressing high resolution video data of the first aspect ratio regardless of the aspect ratio to the receiver. For example, the signaling information that can be displayed regardless of the aspect ratio to the receiver may include aspect ratio control information of the high resolution video data.
  • the video data is decoded according to the signaling information according to the embodiment (S230).
  • the video data may include video data information including coding information according to the video data syntax illustrated in FIG. 60.
  • the video data may be output as it is decoded, merged, or arranged with subtitles.
  • the signaling information may include data capable of merging the high resolution video back to the high resolution video when the high resolution video is divided and transmitted according to the existing aspect ratio.
  • the signaling information may include information for dividing the high resolution video data according to the aspect ratio of the receiver, or may include location information of a letterbox (eg, AFD bar) for disposing caption information.
  • a letterbox eg, AFD bar
  • the receiver may display the high resolution video data of the first aspect ratio according to the aspect ratio of the receiver by using the screen control information.
  • the aspect ratio control information may indicate that the encoded video data is divided and transmitted, and may include merging information for merging the divided video data.
  • the aspect ratio control information may include segmentation information for dividing the encoded video data according to the aspect ratio.
  • the aspect ratio control information may include location information for caption arrangement to change the caption position of the video according to the resolution of the video according to the encoded video data.
  • each of the high resolution video or subtitles may be displayed according to the aspect ratio of the corresponding display.
  • even a conventional receiver can display high resolution video data according to the aspect ratio of the receiver.
  • FIG. 63 is a diagram illustrating an embodiment of a signal transmission apparatus according to the present invention.
  • An embodiment of the apparatus for transmitting a signal may include an encoder 510, a signaling information generator 520, and a multiplexer 530.
  • Encoder 510 encodes video data.
  • encoding information of the video data may be included in the encoded video data according to an embodiment of the present invention. Encoding information that may be included in the encoded video data has been described in detail with reference to FIG. 60.
  • the encoded video data may have a different structure according to the disclosed embodiment, which is illustrated in FIGS. 29, 30 (first embodiment), 31 (second embodiment), and FIGS. 32 to 34 (third embodiment). Embodiment) and the fourth embodiment.
  • the encoded video data may have a structure in which high resolution video is divided to fit an existing aspect ratio, and the divided video data may include information for merging it back into high resolution video.
  • the encoded video data may include information for dividing the high resolution video data according to the aspect ratio of the receiver, or may include location information of a letterbox (eg, AFD bar) for disposing subtitle information.
  • an embodiment of the apparatus for transmitting a signal includes a signaling information generator 520 separately from the encoder 510.
  • the signaling information generator 520 generates signaling information capable of displaying the encoded video data according to the aspect ratio of the receiver. Examples of the signaling information may include the information illustrated in FIGS. 43 to 54 and 56 to 59 according to each embodiment, and the information illustrated in the drawings may be generated according to an embodiment.
  • the signaling information may include signaling information capable of expressing high resolution video data of the first aspect ratio regardless of the aspect ratio to the receiver.
  • the signaling information that can be displayed regardless of the aspect ratio to the receiver may include aspect ratio control information of the high resolution video data.
  • the multiplexer 530 multiplexes the encoded video data and the signaling information and transmits the multiplexed video data and the signaling information.
  • the transmitter transmits video data according to each embodiment, even if the aspect ratio of the receiver display device is different or the performance is different, the transmitter may display high-definition video or subtitles according to the aspect ratio of the display. have. In addition, even a conventional receiver can display high resolution video data according to the aspect ratio of the receiver.
  • the signaling information generation unit 520 for generating signaling information multiplexed with the video data is omitted, and the multiplexing unit 530 only provides signaling information in the video data region encoded by the encoder 510.
  • the video data included and other data are multiplexed and output.
  • 64 is a diagram illustrating an embodiment of a signal receiving apparatus according to the present invention.
  • An embodiment of the apparatus for receiving a signal may include a demultiplexer 610, a signaling information decoder 620, and a video decoder 630.
  • the demultiplexer 610 demultiplexes the video streams and the signaling information.
  • Video data included in the video stream may have a different structure according to the embodiment, which is illustrated in FIGS. 29, 30 (first embodiment), 31 (second embodiment), and FIGS. 32 to 34 (second). 3) and the fourth embodiment.
  • the received video data may include data that may be transmitted by dividing the high resolution video according to the existing aspect ratio and merging it into the high resolution video.
  • the received video data may include information for dividing the high resolution video data according to the aspect ratio of the receiver, or may include location information of a letterbox (eg, AFD bar) for disposing caption information.
  • a letterbox eg, AFD bar
  • the signaling information decoder 620 decodes the demultiplexed signaling information.
  • the demultiplexed signaling information may include the information illustrated in FIGS. 43 to 54 and 56 to 59 according to each embodiment, and the information illustrated in the above drawings may be decoded according to an embodiment.
  • the signaling information may include signaling information capable of expressing high resolution video data of the first aspect ratio regardless of the aspect ratio to the receiver.
  • the signaling information that can be displayed regardless of the aspect ratio to the receiver may include aspect ratio control information of the high resolution video data.
  • the video decoder 630 decodes the video data according to the signaling information according to the embodiment.
  • the video data may include video data information including coding information according to the video data syntax illustrated in FIG. 60.
  • the video data may be output as it is decoded, merged, or arranged with subtitles.
  • the aspect ratio control information may include data capable of merging the received high resolution video back to the high resolution video when the received high resolution video is divided and transmitted according to the existing aspect ratio.
  • the signaling information may include information for dividing the high resolution video data according to the aspect ratio of the receiver, or may include location information of a letterbox (eg, AFD bar) for disposing caption information.
  • each of the high resolution video or subtitles may be displayed according to the aspect ratio of the corresponding display.
  • even a conventional receiver can display high resolution video data according to aspect ratio of the receiver according to aspect ratio control information.
  • a module, unit, or block according to embodiments of the present invention may be a processor / hardware that executes successive procedures stored in a memory (or storage unit). Each step or method described in the above embodiments may be performed by hardware / processors.
  • the methods proposed by the present invention can be executed as code. This code can be written to a processor readable storage medium and thus read by a processor provided by an apparatus according to embodiments of the present invention.
  • Apparatus and method according to the present invention is not limited to the configuration and method of the embodiments described as described above, the above-described embodiments may be selectively all or part of each embodiment so that various modifications can be made It may be configured in combination.
  • the image processing method of the present invention can be implemented as a processor-readable code on a processor-readable recording medium provided in the network device.
  • the processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet. .
  • the processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.
  • the present invention is used in the field of providing a series of broadcast signals.

Abstract

본 발명의 일 실시예에 따른 미디어 데이터 전송 방법은 3D 비디오 데이터 및 메타데이터를 포함하는 미디어 파일을 생성하는 단계 및 상기 미디어 파일을 전송하는 단계를 포함하고, 여기서 상기 미디어 파일은 3차원 (3D) 비디오 데이터의 좌 시점 영상 및 우 시점 영상 데이터를 적어도 하나의 트랙으로써 포함하고, 상기 메타데이터는 상기 3D 비디오 데이터에 대한 스테레오스코픽 컴포지션 타입 정보를 포함할 수 있다.

Description

미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
본 발명은 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 및 미디어 데이터 송수신 방법에 관한 것이다.
비디오 신호 처리 속도가 빨라지면서 초고해상도(ultra high definition; UHD) 비디오를 인코딩/디코딩하는 방안이 연구되고 있다. 기존의 HD수신기를 이용하여 UHD비디오를 수신했을 때도 UHD 뿐만 아니라, HD 비디오를 문제 없이 처리되는 방안이 연구되고 있다. 예를 들어 송신되는 비디오와 수신기의 디스플레이 장치의 화면비가 다를 경우, 각 수신기는 디스플레이 장치에 맞는 화면비율로 그 비디오를 처리할 수 있어야 한다.
그러나, 종래의 device의 경우 UHD 비디오의 화면비(aspect ratio)인 21:9 format의 압축비디오에 대한 디코딩이 지원되지 않는다. 21:9의 비디오가 송신되는 경우, 21:9 화면비의 수신기는 21:9의 비디오를 그대로 처리하여 디스플레이해야 하고, 16:9 화면비의 수신기는 21:9 화면비의 비디오 스트림을 수신한 후 레터박스(letterbox) 형태로 출력을 하거나, 크롭(crop)된 16:9 화면비의 비디오를 수신하여 비디오 신호를 출력해야 한다. 추가적으로 16:9 화면비의 수신기는 stream 내에 자막이 있는 경우, 자막정보를 처리할 수 있어야 한다. 16:9의 비디오가 송신되는 경우 와이더 화면비 (Wider aspect ratio)를 가지는 디스플레이, 예를 들어 21:9 화면비의 TV 수신기는 16:9 화면비의 비디오 스트림을 수신한 후 letterbox 형태로 출력을 하거나, crop된 16:9 화면비의 비디오를 수신하여 비디오 신호를 출력할 수 있어야 한다.
이와 같이, 기존 HD 수신기 또는 UHD 비디오를 처리할 수 있는 수신기의 화면비는 다를 수 있어 해당 비디오를 송신하거나 수신하여 처리할 경우 문제점이 발생할 수 있다.
또한 미디어 파일 포맷에 3 dimensional (3D) 비디오 데이터가 포함되는 경우, 이를 수신기에서 디스플레이하기 위한 메타데이터가 함께 전송되어야 한다. 특히, 해당 3D 비디오 데이터가 2D 서비스를 함께 지원할 수 있는 경우, 미디어 파일 포맷에 포함된 비디오 데이터 중 어떠한 트랙 또는 레이어를 이용하여 2D 또는 3D 서비스를 제공할 것인지에 대한 정보가 미디어 파일 포맷에 함께 포함되어야 한다.
디지털 방송 시스템은 UHD(Ultra High Definition) 이미지, 멀티채널(multi channel, 다채널) 오디오, 및 다양한 부가 서비스를 제공할 수 있다. 그러나, 디지털 방송을 위해서는, 많은 양의 데이터 전송에 대한 데이터 전송 효율, 송수신 네트워크의 견고성(robustness), 및 모바일 수신 장치를 고려한 네트워크 유연성(flexibility)이 향상되어야 한다.
본 발명의 목적은 다른 화면비가 다른 비디오들을 화면비가 다른 디스플레이 장치를 가진 수신기에서 처리할 수 있는 신호 송수신 방법 및 신호 송수신 장치를 제공하는 것이다.
본 발명의 다른 목적은, 화면비가 다른 HD 비디오와 UHD 비디오를 각각 수신기에서 처리할 수 있는 호환가능한 비디오를 전송 또는 수신할 수 있는 신호 송수신 방법 및 신호 송수신 장치를 제공하는 것이다.
본 발명의 다른 목적은 다른 화면비가 다른 HD 비디오와 UHD 비디오를 각각 수신기의 사양에 따라 다르게 처리할 수 있는 시그널링 정보를 처리할 수 있는 신호 송수신 방법 및 신호 송수신 장치를 제공하는 것이다.
본 발명의 다른 목적은 미디어 파일 포맷에 포함된 3D 비디오 데이터를 2D 또는 3D로 디스플레이하기 위한 메타데이터를 제공하는 것이다.
본 발명의 일 실시예에 따른 미디어 데이터 전송 방법은 3D 비디오 데이터 및 메타데이터를 포함하는 미디어 파일을 생성하는 단계 및 상기 미디어 파일을 전송하는 단계를 포함하고, 여기서 상기 미디어 파일은 3차원 (3D) 비디오 데이터의 좌 시점 영상 및 우 시점 영상 데이터를 적어도 하나의 트랙으로써 포함하고, 상기 메타데이터는 상기 3D 비디오 데이터에 대한 스테레오스코픽 컴포지션 타입 정보를 포함할 수 있다.
바람직하게는 상기 3D 비디오 데이터는 Scalable High Efficiency Video Coding (SHVC) 인코딩된 데이터일 수 있다.
바람직하게는 상기 메타데이터는 상기 3D 비디오 데이터를 이용하여 2차원 (2D) 서비스를 제공할 수 있는지 여부를 나타내는 정보를 더 포함할 수 있다.
바람직하게는 상기 메타데이터는 상기 미디어 파일 내에 포함된, 상기 2D 서비스를 위한 트랙들의 개수를 나타내는 정보를 더 포함할 수 있다.
바람직하게는 상기 메타데이터는 상기 미디어 파일에 포함된 적어도 하나의 트랙 중 2D 서비스를 위한 트랙의 식별자 (Identifier, ID)를 나타내는 정보를 더 포함할 수 있다.
바람직하게는 상기 미디어 파일에 포함된 트랙이 복수개의 레이어를 포함할 때, 상기 메타데이터는 상기 트랙에 포함된 상기 레이어의 개수에 대한 정보 및 상기 복수개의 레이어 중 2D 서비스를 위한 레이어의 개수 및 상기 2D 서비스를 위한 레이어의 식별자 정보를 포함할 수 있다.
바람직하게는 상기 미디어 파일에 포함된 트랙이 복수개의 레이어를 포함할 때, 상기 복수개의 레이어 중 3D 서비스를 위한 좌 시점 또는 우 시점에 해당하는 적어도 하나의 트랙 각각의 레이어 개수를 나타내는 정보를 포함할 수 있다.
본 발명의 일 실시예에 따른 미디어 데이터 전송 장치는 3D 비디오 데이터 및 메타데이터를 포함하는 미디어 파일을 생성하는 파일 생성부 및 상기 미디어 파일을 전송하는 전송부를 포함하고, 여기서 상기 미디어 파일은 3차원 (3D) 비디오 데이터의 좌 시점 영상 및 우 시점 영상 데이터를 적어도 하나의 트랙으로써 포함하고, 상기 메타데이터는 상기 3D 비디오 데이터에 대한 스테레오스코픽 컴포지션 타입 정보를 포함할 수 있다.
바람직하게는 상기 3D 비디오 데이터는 Scalable High Efficiency Video Coding (SHVC) 인코딩된 데이터일 수 있다.
바람직하게는 상기 메타데이터는 상기 3D 비디오 데이터를 이용하여 2차원 (2D) 서비스를 제공할 수 있는지 여부를 나타내는 정보를 더 포함할 수 있다.
바람직하게는 상기 메타데이터는 상기 미디어 파일 내에 포함된, 상기 2D 서비스를 위한 트랙들의 개수를 나타내는 정보를 더 포함할 수 있다.
바람직하게는 상기 메타데이터는 상기 미디어 파일에 포함된 적어도 하나의 트랙 중 2D 서비스를 위한 트랙의 식별자 (Identifier, ID)를 나타내는 정보를 더 포함할 수 있다.
바람직하게는 상기 미디어 파일에 포함된 트랙이 복수개의 레이어를 포함할 때, 상기 메타데이터는 상기 트랙에 포함된 상기 레이어의 개수에 대한 정보 및 상기 복수개의 레이어 중 2D 서비스를 위한 레이어의 개수 및 상기 2D 서비스를 위한 레이어의 식별자 정보를 포함할 수 있다.
바람직하게는 상기 미디어 파일에 포함된 트랙이 복수개의 레이어를 포함할 때, 상기 복수개의 레이어 중 3D 서비스를 위한 좌 시점 또는 우 시점에 해당하는 적어도 하나의 트랙 각각의 레이어 개수를 나타내는 정보를 포함할 수 있다.
본 발명의 실시예에 따르면, 화면비가 다른 비디오들을 화면비가 다른 디스플레이 장치를 가진 수신기에서 처리할 수 있다.
본 발명의 실시예에 따르면, 화면비가 다른 HD 비디오와 UHD 비디오를 각각 수신기에서 처리할 수 있는 호환가능한 비디오를 전송 또는 수신할 수 있다.
본 발명의 실시예에 따르면, 화면비가 다른 HD 비디오와 UHD 비디오를 각각 수신기의 사양에 따라 다르게 처리할 수 있다.
본 발명의 실시예에 따르면, 미디어 파일 포맷을 통해 수신된 3D 비디오를 2D 또는 3D로 디스플레이할 수 있다.
본 발명에 대해 더욱 이해하기 위해 포함되며 본 출원에 포함되고 그 일부를 구성하는 첨부된 도면은 본 발명의 원리를 설명하는 상세한 설명과 함께 본 발명의 실시예를 나타낸다.
도 1 은 본 발명의 일 실시예에 따른 프로토콜 스택을 도시한 도면이다.
도 2 는 본 발명의 일 실시예에 따른 서비스 디스커버리 과정을 도시한 도면이다.
도 3 은 본 발명의 일 실시예에 따른 LLS (Low Level Signaling) 테이블 및 SLT (Service List Table)를 도시한 도면이다.
도 4 는 본 발명의 일 실시예에 따른, ROUTE 로 전달되는 USBD 및 S-TSID 를 도시한 도면이다.
도 5 는 본 발명의 일 실시예에 따른, MMT 로 전달되는 USBD 를 도시한 도면이다.
도 6 은 본 발명의 일 실시예에 따른 링크 레이어(Link Layer) 동작을 도시한 도면이다.
도 7 은 본 발명의 일 실시예에 따른 LMT (Link Mapping Table) 를 도시한 도면이다.
도 8 은 본 발명의 일 실시예에 따른 차세대 방송 서비스에 대한 방송 신호 송신 장치의 구조를 나타낸다.
도 9 는 본 발명의 일 실시예에 따른 타임 인터리버의 라이팅 (writing) 오퍼레이션을 나타낸다.
도 10 은 본 발명의 일 실시예에 따른 프리퀀시 인터리버에 포함된 각 FFT 모드에 따른 메인-PRBS 제너레이터와 서브-PRBS 제너레이터로 구성된 인터리빙 어드레스 제너레이터의 블록 다이아그램을 나타낸 도면이다.
도 11 은 본 발명의 일 실시예에 따른 하이브리드 방송 수신 장치를 나타낸 도면이다.
도 12 는 본 발명의 일 실시예에 따른 DASH 기반 적응형(Adaptive) 스트리밍 모델의 전반적인 동작을 도시한 도면이다.
도 13 은 본 발명의 일 실시예에 따른 수신기의 블락 다이어그램을 도시한 도면이다.
도 14 는 본 발명의 일 실시예에 따른 미디어 파일의 구조를 도시한 도면이다.
도 15는 본 발명의 일 실시예에 따른 SHVC에 기초한 하이브리드 3D 서비스를 위한 파일 구조를 나타낸다.
도 16은 본 발명의 일 실시예에 따른 파일 타입 박스 ftyp를 나타낸 도면이다.
도 17은 본 발명의 일 실시예에 따른 하이브리드 3D 오버롤 인포메이션 (overall information) 박스 (h3oi)를 나타낸다.
도 18은 본 발명의 다른 실시예에 따른 하이브리드 3D 오버롤 인포메이션 (overall information) 박스 (h3oi)를 나타낸다.
도 19는 본 발명의 일 실시예에 따른 트랙 레퍼런스 (Track Reference Box, tref) 박스를 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른 트랙 그룹 박스 (Track Group Box, trgr)를 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 하이브리드 3D 비디오 미디어 인포메이션 박스 (Hybird 3D Video Media Information, h3vi)를 나타낸다.
도 22은 본 발명의 다른 실시예에 따른 하이브리드 3D 비디오 미디어 인포메이션 박스 (Hybird 3D Video Media Information, h3vi)를 나타낸다.
도 23은 본 발명의 다른 실시예에 따른 샘플 그룹 박스 (sample group box, sbgp)의 확장을 나타낸 도면이다.
도 24는 본 발명의 일 실시예에 따른 비주얼 샘플 그룹 엔트리 (visual sample group entry)의 확장을 나타낸 도면이다.
도 25는 본 발명의 다른 실시예에 따른 서브 트랙 샘플 그룹 박스 (sub track sample group box, stsg)의 확장을 나타낸 도면이다.
도 26은 본 발명의 일 실시예에 따른 미디어 파일을 전송하는 방법을 나타낸 도면이다.
도 27은 본 발명의 일 실시예에 따른 미디어 파일 전송 장치를 나타낸 도면이다.
도 28은 본 발명에 따른 신호 송신 방법의 일 실시예를 예시한 도면이다.
도 29는 본 발명의 실시예에 따라 고해상도 이미지를 수신기들의 화면비에 맞게 전송하는 예를 개략적으로 도시한 도면이다.
도 30은, 도 29에 따른 본 발명의 실시예에 따라 고해상도 이미지를 수신기들의 화면비에 맞게 전송하는 스트림 구조의 예를 개략적으로 도시한 도면이다.
도 31은, 본 발명의 실시예에 따라 고해상도 이미지를 수신기들의 화면비에 맞게 전송하는 다른 예를 개략적으로 도시한 도면이다.
도 32는 본 발명에 따른 신호 송수신 방법의 다른 실시예를 개략적으로 나타낸 도면이다.
도 33은 도 32와 같이 전송될 경우 자막이 출력되는 영역을 예시한 도면이다.
도 34는 도 32와 같이 전송될 경우, UHD 비디오를 수신할 수 있는 수신기에서 자막을 위한 캡션 윈도우를 표시하는 예를 개시한 도면이다.
도 35는 본 발명에 따른 제 1 실시예에 따라 비디오 데이터를 전송할 경우 비디오 데이터를 인코딩 또는 디코딩하는 방법을 예시한 도면이다.
도 36은 본 발명에 따른 제 2 실시예에 따라 비디오 데이터를 전송할 경우 비디오 데이터를 인코딩 또는 디코딩하는 방법을 예시한 도면이다.
도 37은 본 발명의 제 1 실시예에 따라 고해상도 비디오 데이터를 부호화하는 인코더일 예를 예시한 도면이다.
도 38은 본 발명의 제 1 실시예에 따라 분리한 원본 비디오와 분리된 비디오의 resolution 및 비디오 구성방법을 예시한 도면이다.
도 39는 본 발명의 제 1 실시예에 따른 고해상도 비디오 데이터를 복호화하는 디코더의 일 예를 예시한 도면이다.
도 40은 본 발명의 제 1 실시예에에서 크롭된 비디오들을 접합하여 필터링하는 예를 개시한 도면이다.
도 41은 본 발명의 제 2 실시예에 따른 수신기의 제 1 예를 예시한 도면이다.
도 42는 본 발명의 제 3 실시예에 따른 수신기의 동작을 예시한 도면이다.
도 43은 본 발명의 실시예들에 따라 비디오를 표출하도록 할 수 있는 시그널링 정보를 예시한 도면이다.
도 44는 본 발명의 제 1 실시예에 따른 시그널링 정보의 구체적인 신택스 값을 예시한 도면이다.
도 45는 본 발명의 제 1 실시예를 따를 경우, 스트림 레벨 디스크립터의 일 예를 예시한 도면이다.
도 46은 위에서 예시한 비디오의 해상도 및 프레임 레잇을 나타내는 정보의 값을 예시한 도면이다.
도 47은 원래 비디오의 화면비(aspect ratio)에 대한 정보를 예시한 도면이다. 설명한 시그널링 정보 중 original_UHD_video_aspect_ratio필드 본래 UHD 비디오의 aspect ratio에 관한 정보를 나타낸 도면이다.
도 48은 크롭된 비디오의 방향 정보를 예시한 도면이다.
도 49는 비디오를 구성하는 방법의 예를 예시한 도면이다.
도 50은 서브 스트림들을 인코딩할 경우 인코딩 방식에 대한 예를 예시한 도면이다.
도 51은 본 발명의 제 1 실시예를 따를 경우, 스트림 레벨 디스크립터를 예시한 도면이다.
도 52는 예시한 제 3 실시예를 따를 경우, 시그널링 정보를 예시한 도면이다.
도 53은 예시한 UHD_video_component_type필드의 필드 값을 예시한 도면이다.
도 54는 예시한 UHD_video_include_subtitle필드의 필드 값을 예시한 도면이다.
도 55는 전송 비디오의 포맷과 수신기의 디스플레이 화면비가 다른 경우, 수신기의 동작의 예를 예시한 도면이다.
도 56은 예시한 제 4 실시예를 따를 경우, 시그널링 정보를 예시한 도면이다.
도 57은 예시한 디스크립터들이 다른 시그널링 정보에 포함되는 경우를 예시한 도면이다.
도 58은 예시한 디스크립터들이 다른 시그널링 정보에 포함되는 경우를 예시한 도면이다.
도 59는 예시한 디스크립터들이 다른 시그널링 정보에 포함되는 경우를 예시한 도면이다.
도 60은 본 발명의 실시예들에 따른 비디오 데이터의 SEI 영역의 패이로드에 대한 신택스를 예시한 도면이다.
도 61은 본 발명의 실시예들에 따라 비디오 데이터가 전송될 경우, 적어도 1개 이상의 실시예에 따른 비디오 데이터를 디코딩하여 표출할 수 있는 수신장치의 일 예를 예시한 도면이다.
도 62는 본 발명에 따른 신호 수신 방법의 일 실시예를 예시한 도면이다.
도 63은 본 발명에 따른 신호 송신 장치의 일 실시예를 예시한 도면이다.
도 64는 본 발명에 따른 신호 수신 장치의 일 실시예를 예시한 도면이다.
본 발명의 바람직한 실시예에 대해 구체적으로 설명하며, 그 예는 첨부된 도면에 나타낸다. 첨부된 도면을 참조한 아래의 상세한 설명은 본 발명의 실시예에 따라 구현될 수 있는 실시예만을 나타내기보다는 본 발명의 바람직한 실시예를 설명하기 위한 것이다. 다음의 상세한 설명은 본 발명에 대한 철저한 이해를 제공하기 위해 세부 사항을 포함한다. 그러나 본 발명이 이러한 세부 사항 없이 실행될 수 있다는 것은 당업자에게 자명하다.
본 발명에서 사용되는 대부분의 용어는 해당 분야에서 널리 사용되는 일반적인 것들에서 선택되지만, 일부 용어는 출원인에 의해 임의로 선택되며 그 의미는 필요에 따라 다음 설명에서 자세히 서술한다. 따라서 본 발명은 용어의 단순한 명칭이나 의미가 아닌 용어의 의도된 의미에 근거하여 이해되어야 한다.
본 발명은 차세대 방송 서비스에 대한 방송 신호 송신 및 수신 장치 및 방법을 제공한다. 본 발명의 일 실시예에 따른 차세대 방송 서비스는 지상파 방송 서비스, 모바일 방송 서비스, UHDTV 서비스 등을 포함한다. 본 발명은 일 실시예에 따라 비-MIMO (non-Multiple Input Multiple Output) 또는 MIMO 방식을 통해 차세대 방송 서비스에 대한 방송 신호를 처리할 수 있다. 본 발명의 일 실시예에 따른 비-MIMO 방식은 MISO (Multiple Input Single Output) 방식, SISO (Single Input Single Output) 방식 등을 포함할 수 있다. 본 발명은 특정 용도에 요구되는 성능을 달성하면서 수신기 복잡도를 최소화하기 위해 최적화된 피지컬 프로파일 (또는 시스템)을 제안한다.
도 1 은 본 발명의 일 실시예에 따른 프로토콜 스택을 도시한 도면이다.
서비스는 복수개의 레이어를 거쳐 수신기로 전달될 수 있다. 먼저 송신측에서는 서비스 데이터를 생성할 수 있다. 송신측의 딜리버리 레이어에서는 서비스 데이터에 전송을 위한 처리를 수행하고, 피지컬 레이어에서는 이를 방송 신호로 인코딩하여 방송망 또는 브로드밴드를 통해 전송할 수 있다.
여기서 서비스 데이터들은 ISO BMFF (base media file format) 에 따른 포맷으로 생성될 수 있다. ISO BMFF 미디어 파일은 방송망/브로드밴드 딜리버리, 미디어 인캡슐레이션(media encapsulation) 및/또는 동기화 포맷(synchronization format) 으로 사용될 수 있다. 여기서 서비스 데이터는 서비스와 관련된 모든 데이터로서, 리니어 서비스를 이루는 서비스 컴포넌트들, 그에 대한 시그널링 정보, NRT (Non Real Time) 데이터, 기타 파일들 등을 포함하는 개념일 수 있다.
딜리버리 레이어에 대해 설명한다. 딜리버리 레이어는 서비스 데이터에 대한 전송 기능을 제공할 수 있다. 서비스 데이터는 방송망및/또는 브로드밴드를 통해 전달될 수 있다.
방송망을 통한 서비스 딜리버리(broadcast service delivery)에 있어 두가지 방법이 있을 수 있다.
첫번째 방법은 MMT (MPEG Media Transport) 에 근거하여, 서비스 데이터들을 MPU (Media Processing Units) 들로 처리하고, 이를 MMTP (MMT protocol) 를 이용하여 전송하는 것일 수 있다. 이 경우, MMTP 를 통해 전달되는 서비스 데이터에는, 리니어 서비스를 위한 서비스 컴포넌트들 및/또는 그에 대한 서비스 시그널링 정보 등이 있을 수 있다.
두번째 방법은 MPEG DASH 에 근거하여, 서비스 데이터들을 DASH 세그먼트들로 처리하고, 이를 ROUTE (Real time Object delivery over Unidirectional Transport) 를 이용하여 전송하는 것일 수 있다. 이 경우, ROUTE 프로토콜을 통해 전달되는 서비스 데이터에는, 리니어 서비스를 위한 서비스 컴포넌트들, 그에 대한 서비스 시그널링 정보 및/또는 NRT 데이터 등이 있을 수 있다. 즉, NRT 데이터 및 파일 등의 논 타임드(non timed) 데이터는 ROUTE 를 통해서 전달될 수 있다.
MMTP 또는 ROUTE 프로토콜에 따라 처리된 데이터는 UDP / IP 레이어를 거쳐 IP 패킷들로 처리될 수 있다. 방송망을 통한 서비스 데이터 전달에 있어서, SLT (Service List Table) 역시 UDP / IP 레이어를 거쳐 방송망을 통해 전달될 수 있다. SLT 는 LLS (Low Level Signaling) 테이블에 포함되어 전달될 수 있는데, SLT, LLS 테이블에 대해서는 후술한다.
IP 패킷들은 링크 레이어에서 링크 레이어 패킷들로 처리될 수 있다. 링크 레이어는 상위 레이어에서 전달되는 다양한 포맷의 데이터를, 링크 레이어 패킷으로 인캡슐레이션한 후, 피지컬 레이어에 전달할 수 있다. 링크 레이어에 대해서는 후술한다.
하이브리드 서비스 딜리버리(hybrid service delivery) 에 있어서는, 적어도 하나 이상의 서비스 엘레멘트가 브로드밴드 패쓰(path) 를 통해 전달될 수 있다. 하이브리드 서비스 딜리버리의 경우, 브로드밴드로 전달되는 데이터에는, DASH 포맷의 서비스 컴포넌트들, 그에 대한 서비스 시그널링 정보 및/또는 NRT 데이터 등이 있을 수 있다. 이 데이터들은 HTTP/TCP/IP 를 거쳐 처리되고, 브로드밴드 전송을 위한 링크 레이어를 거쳐, 브로드밴드 전송을 위한 피지컬 레이어로 전달될 수 있다.
피지컬 레이어는 딜리버리 레이어(상위 레이어 및/또는 링크 레이어)로부터 전달받은 데이터를 처리하여, 방송망 또는 브로드밴드를 통하여 전송할 수 있다. 피지컬 레이어에 대한 자세한 사항은 후술한다.
서비스에 대해 설명한다. 서비스는 전체적으로 사용자에게 보여주는 서비스 컴포넌트의 컬렉션일 수 있고, 컴포넌트는 여러 미디어 타입의 것일 수 있고, 서비스는 연속적이거나 간헐적일 수 있으며, 서비스는 실시간이거나 비실시간일 수 있고, 실시간 서비스는 TV 프로그램의 시퀀스로 구성될 수 있다.
서비스는 여러 타입을 가질 수 있다. 첫 번째로 서비스는 앱 기반 인헨스먼트를 가질 수 있는 리니어 오디오/비디오 또는 오디오만의 서비스일 수 있다. 두 번째로 서비스는 다운로드된 어플리케이션에 의해 그 재생/구성 등이 제어되는 앱 기반 서비스일 수 있다. 세 번째로 서비스는 ESG (Electronic Service Guide) 를 제공하는 ESG 서비스일 수 있다. 네 번째로 긴급 경보 정보를 제공하는 EA (Emergency Alert) 서비스일 수 있다.
앱 기반 인헨스먼트가 없는 리니어 서비스가 방송망을 통해 전달되는 경우, 서비스 컴포넌트는 (1) 하나 이상의 ROUTE 세션 또는 (2) 하나 이상의 MMTP 세션에 의해 전달될 수 있다.
앱 기반 인헨스먼트가 있는 리니어 서비스가 방송망을 통해 전달되는 경우, 서비스 컴포넌트는 (1) 하나 이상의 ROUTE 세션 및 (2) 0개 이상의 MMTP 세션에 의해 전달될 수 있다. 이 경우 앱 기반 인핸스먼트에 사용되는 데이터는 NRT 데이터 또는 기타 파일 등의 형태로 ROUTE 세션을 통해 전달될 수 있다. 본 발명의 일 실시예에서, 하나의 서비스의 리니어 서비스 컴포넌트(스트리밍 미디어 컴포넌트)들이 두 프로토콜을 동시에 사용해 전달되는 것이 허용되지 않을 수 있다.
앱 기반 서비스가 방송망을 통해 전달되는 경우, 서비스 컴포넌트는 하나 이상의 ROUTE 세션에 의해 전달될 수 있다. 이 경우, 앱 기반 서비스에 사용되는 서비스 데이터는 NRT 데이터 또는 기타 파일 등의 형태로 ROUTE 세션을 통해 전달될 수 있다.
또한, 이러한 서비스의 일부 서비스 컴포넌트 또는 일부 NRT 데이터, 파일 등은 브로드밴드를 통해 전달될 수 있다(하이브리드 서비스 딜리버리).
즉, 본 발명의 일 실시예에서, 하나의 서비스의 리니어 서비스 컴포넌트들은 MMT 프로토콜을 통해 전달될 수 있다. 본 발명의 다른 실시예에서, 하나의 서비스의 리니어 서비스 컴포넌트들은 ROUTE 프로토콜을 통해 전달될 수 있다. 본 발명의 또 다른 실시예에서, 하나의 서비스의 리니어 서비스 컴포넌트 및 NRT 데이터(NRT 서비스 컴포넌트)들은 ROUTE 프로토콜을 통해 전달될 수 있다. 본 발명의 또 다른 실시예에서, 하나의 서비스의 리니어 서비스 컴포넌트들은 MMT 프로토콜을 통해 전달되고, NRT 데이터(NRT 서비스 컴포넌트)들은 ROUTE 프로토콜을 통해 전달될 수 있다. 전술한 실시예들에서, 서비스의 일부 서비스 컴포넌트 또는 일부 NRT 데이터들은 브로드밴드를 통해 전달될 수 있다. 여기서 앱 기반 서비스 내지 앱 기반 인핸스먼트에 관한 데이터들은 NRT 데이터 형태로, ROUTE 에 따른 방송망을 통해 전달되거나 브로드밴드를 통해 전달될 수 있다. NRT 데이터는 로컬리 캐쉬드 데이터(Locally cashed data) 등으로 불릴 수도 있다.
각각의 ROUTE 세션은 서비스를 구성하는 컨텐츠 컴포넌트를 전체적으로 또는 부분적으로 전달하는 하나 이상의 LCT 세션을 포함한다. 스트리밍 서비스 딜리버리에서, LCT 세션은 오디오, 비디오, 또는 클로즈드 캡션 스트림과 같은 사용자 서비스의 개별 컴포넌트를 전달할 수 있다. 스트리밍 미디어는 DASH 세그먼트로 포맷된다.
각각의 MMTP 세션은 MMT 시그널링 메시지 또는 전체 또는 일부 컨텐츠 컴포넌트를 전달하는 하나 이상의 MMTP 패킷 플로우를 포함한다. MMTP 패킷 플로우는 MMT 시그널링 메시지 또는 MPU 로 포맷된 컴포넌트를 전달할 수 있다.
NRT 사용자 서비스 또는 시스템 메타데이터의 딜리버리를 위해, LCT 세션은 파일 기반의 컨텐츠 아이템을 전달한다. 이들 컨텐츠 파일은 NRT 서비스의 연속적 (타임드) 또는 이산적 (논 타임드) 미디어 컴포넌트, 또는 서비스 시그널링이나 ESG 프레그먼트와 같은 메타데이터로 구성될 수 있다. 서비스 시그널링이나 ESG 프레그먼트와 같은 시스템 메타데이터의 딜리버리 또한 MMTP의 시그널링 메시지 모드를 통해 이루어질 수 있다.
수신기에서는 튜너가 주파수들을 스캐닝하다가, 특정 주파수에서 방송 시그널을 감지할 수 있다. 수신기는 SLT 를 추출해 이를 처리하는 모듈로 보낼 수 있다. SLT 파서는 SLT 를 파싱하고 데이터를 획득해 채널 맵에 저장할 수 있다. 수신기는 SLT 의 부트스트랩 정보를 획득하고 ROUTE 또는 MMT 클라이언트에 전달해줄 수 있다. 수신기는 이를 통해 SLS 를 획득할 수 있고, 저장할 수 있다. USBD 등이 획득될 수 있고, 이는 시그널링 파서에 의해 파싱될 수 있다.
도 2 는 본 발명의 일 실시예에 따른 서비스 디스커버리 과정을 도시한 도면이다.
피지컬 레이어의 방송 신호 프레임이 전달하는 브로드캐스트 스트림은 LLS (Low Level Signaling) 을 운반할 수 있다. LLS 데이터는 웰 노운(well known) IP 어드레스/포트로 전달되는 IP 패킷의 페이로드를 통해서 운반될 수 있다. 이 LLS 는 그 타입에 따라 SLT 를 포함할 수 있다. LLS 데이터는 LLS 테이블의 형태로 포맷될 수 있다. LLS 데이터를 운반하는 매 UDP/IP 패킷의 첫번째 바이트는 LLS 테이블의 시작일 수 있다. 도시된 실시예와 달리 LLS 데이터를 전달하는 IP 스트림은, 다른 서비스 데이터들과 함께 같은 PLP 로 전달될 수도 있다.
SLT 는 빠른 채널 스캔을 통하여 수신기가 서비스 리스트를 생성할 수 있게 하고, SLS 를 로케이팅(locating) 하기 위한 액세스 정보를 제공한다. SLT 는 부트스트랩 정보를 포함하는데, 이 부트스트랩 정보는 수신기가 각각의 서비스에 대한 SLS (Service Layer Signaling) 을 획득할 수 있도록 한다. SLS, 즉 서비스 시그널링 정보가 ROUTE 를 통해 전달되는 경우, 부트스트랩 정보는 SLS 를 운반하는 LCT 채널 내지 그 LCT 채널을 포함하는 ROUTE 세션의 데스티네이션 IP 어드레스 및 데스티네이션 포트 정보를 포함할 수 있다. SLS 가 MMT 를 통해 전달되는 경우, 부트스트랩 정보는 SLS 를 운반하는 MMTP 세션의 데스티네이션 IP 어드레스 및 데스티네이션 포트 정보를 포함할 수 있다.
도시된 실시예에서, SLT 가 기술하는 서비스 #1 의 SLS 는 ROUTE 를 통해 전달되고, SLT 는 해당 SLS 가 전달되는 LCT 채널을 포함하는 ROUTE 세션에 대한 부트스트랩 정보(sIP1, dIP1, dPort1) 를 포함할 수 있다. SLT 가 기술하는 서비스 #2 의 SLS 는 MMT 를 통해 전달되고, SLT 는 해당 SLS 가 전달되는 MMTP 패킷 플로우를 포함하는 MMTP 세션에 대한 부트스트랩 정보(sIP2, dIP2, dPort2) 를 포함할 수 있다.
SLS 는 해당 서비스에 대한 특성을 기술하는 시그널링 정보로서, 해당 서비스 및 해당 서비스의 서비스 컴포넌트를 획득하기 위한 정보를 제공하거나, 해당 서비스를 유의미하게 재생하기 위한 수신기 캐패빌리티 정보 등을 포함할 수 있다. 각 서비스에 대해 별개의 서비스 시그널링을 가지면 수신기는 브로드캐스트 스트림 내에서 전달되는 전체 SLS을 파싱할 필요 없이 원하는 서비스에 대한 적절한 SLS를 획득하면 된다.
SLS 가 ROUTE 프로토콜을 통해 전달되는 경우, SLS 는 SLT 가 지시하는 ROUTE 세션의 특정(dedicated) LCT 채널을 통해 전달될 수 있다. 실시예에 따라 이 LCT 채널은 tsi = 0 로 식별되는 LCT 채널일 수 있다. 이 경우 SLS 는 USBD/USD (User Service Bundle Description / User Service Description), S-TSID (Service-based Transport Session Instance Description) 및/또는 MPD (Media Presentation Description) 를 포함할 수 있다.
여기서 USBD 내지 USD 는 SLS 프래그먼트 중 하나로서, 서비스의 구체적 기술적 정보들을 기술하는 시그널링 허브로서 역할할 수 있다. USBD 는 서비스 식별 정보, 디바이스 캐패빌리티 정보 등을 포함할 수 있다. USBD 는 다른 SLS 프래그먼트(S-TSID, MPD 등) 에의 레퍼런스 정보(URI 레퍼런스)를 포함할 수 있다. 즉, USBD/USD 는 S-TSID 와 MPD 를 각각 레퍼런싱할 수 있다. 또한 USBD 는 수신기가 전송 모드(방송망/브로드밴드)를 결정할 수 있게 해주는 메타데이터 정보를 더 포함할 수 있다. USBD/USD 의 구체적 내용들에 대해서는 후술한다.
S-TSID 는 SLS 프래그먼트 중 하나로서, 해당 서비스의 서비스 컴포넌트를 운반하는 전송 세션에 대한 전체적인 세션 디스크립션 정보를 제공할 수 있다. S-TSID 는 해당 서비스의 서비스 컴포넌트가 전달되는 ROUTE 세션 및/또는 그 ROUTE 세션들의 LCT 채널에 대한 전송 세션 디스크립션 정보를 제공할 수 있다. S-TSID 는 하나의 서비스와 관련된 서비스 컴포넌트들의 컴포넌트 획득(acquisition) 정보를 제공할 수 있다. S-TSID 는, MPD 의 DASH 레프리젠테이션(Representation) 과 해당 서비스 컴포넌트의 tsi 간의 매핑을 제공할 수 있다. S-TSID 의 컴포넌트 획득 정보는 tsi, 관련 DASH 레프리젠테이션의 식별자의 형태로 제공될 수 있으며, 실시예에 따라 PLP ID 를 포함하거나 포함하지 않을 수 있다. 컴포넌트 획득 정보를 통해 수신기는 한 서비스의 오디오/비디오 컴포넌트들을 수집하고 DASH 미디어 세그먼트들의 버퍼링, 디코딩 등을 수행할 수 있다. S-TSID 는 전술한 바와 같이 USBD 에 의해 레퍼런싱될 수 있다. S-TSID 의 구체적 내용들에 대해서는 후술한다.
MPD 는 SLS 프래그먼트 중 하나로서, 해당 서비스의 DASH 미디어 프리젠테이션에 관한 디스크립션을 제공할 수 있다. MPD 는 미디어 세그먼트들에 대한 리소스 식별자(resource identifier) 를 제공하고, 식별된 리소스들에 대한 미디어 프리젠테이션 내에서의 컨텍스트 정보를 제공할 수 있다. MPD 는 방송망을 통해 전달되는 DASH 레프리젠테이션(서비스 컴포넌트)를 기술하고, 또한 브로드밴드를 통해 전달되는 추가적인 DASH 레프리젠테이션을 기술할 수 있다(하이브리드 딜리버리). MPD 는 전술한 바와 같이 USBD 에 의해 레퍼런싱될 수 있다.
SLS 가 MMT 프로토콜을 통해 전달되는 경우, SLS 는 SLT 가 지시하는 MMTP 세션의 특정(dedicated) MMTP 패킷 플로우을 통해 전달될 수 있다. 실시예에 따라 SLS 를 전달하는 MMTP 패킷들의 packet_id 는 00 의 값을 가질 수 있다. 이 경우 SLS 는 USBD/USD 및/또는 MMT Package (MP) 테이블을 포함할 수 있다.
여기서 USBD 는 SLS 프래그먼트의 하나로서, ROUTE 에서의 그것과 같이 서비스의 구체적 기술적 정보들을 기술할 수 있다. 여기서의 USBD 역시 다른 SLS 프래그먼트에의 레퍼런스 정보(URI 레퍼런스)를 포함할 수 있다. MMT 의 USBD 는 MMT 시그널링의 MP 테이블을 레퍼런싱할 수 있다. 실시예에 따라 MMT 의 USBD 는 S-TSID 및/또는 MPD 에의 레퍼런스 정보 또한 포함할 수 있다. 여기서의 S-TSID 는 ROUTE 프로토콜을 통해 전달되는 NRT 데이터를 위함일 수 있다. MMT 프로토콜을 통해 리니어 서비스 컴포넌트가 전달되는 경우에도 NRT 데이터는 ROUTE 프로토콜을 통해 전달될 수 있기 때문이다. MPD 는 하이브리드 서비스 딜리버리에 있어서, 브로드밴드로 전달되는 서비스 컴포넌트를 위함일 수 있다. MMT 의 USBD 의 구체적 내용들에 대해서는 후술한다.
MP 테이블은 MPU 컴포넌트들을 위한 MMT 의 시그널링 메시지로서, 해당 서비스의 서비스 컴포넌트를 운반하는 MMTP 세션에 대한 전체적인 세션 디스크립션 정보를 제공할 수 있다. 또한 MP 테이블은 이 MMTP 세션을 통해 전달되는 에셋(Asset) 에 대한 디스크립션을 포함할 수 있다. MP 테이블은 MPU 컴포넌트들을 위한 스트리밍 시그널링 정보로서, 하나의 서비스에 해당하는 에셋들의 리스트와 이 컴포넌트들의 로케이션 정보(컴포넌트 획득 정보)를 제공할 수 있다. MP 테이블의 구체적인 내용은 MMT 에서 정의된 형태이거나, 변형이 이루어진 형태일 수 있다. 여기서 Asset 이란, 멀티미디어 데이터 엔티티로서, 하나의 유니크 ID 로 연합되고 하나의 멀티미디어 프리젠테이션을 생성하는데 사용되는 데이터 엔티티를 의미할 수 있다. Asset 은 하나의 서비스를 구성하는 서비스 컴포넌트에 해당할 수 있다. MP 테이블을 이용하여 원하는 서비스에 해당하는 스트리밍 서비스 컴포넌트(MPU) 에 접근할 수 있다. MP 테이블은 전술한 바와 같이 USBD 에 의해 레퍼런싱될 수 있다.
기타 다른 MMT 시그널링 메시지가 정의될 수 있다. 이러한 MMT 시그널링 메시지들에 의해 MMTP 세션 내지 서비스에 관련된 추가적인 정보들이 기술될 수 있다.
ROUTE 세션은 소스 IP 어드레스, 데스티네이션 IP 어드레스, 데스티네이션 포트 넘버에 의해 식별된다. LCT 세션은 페어런트 ROUTE 세션의 범위 내에서 유일한 TSI (transport session identifier)에 의해 식별된다. MMTP 세션은 데스티네이션 IP 어드레스 및 데스티네이션 포트 넘버에 의해 식별된다. MMTP 패킷 플로우는 페어런트 MMTP 세션의 범위 내에서 유일한 packet_id에 의해 식별된다.
ROUTE 의 경우 S-TSID, USBD/USD, MPD 또는 이 들을 전달하는 LCT 세션을 서비스 시그널링 채널이라 부를 수도 있다. MMTP 의 경우, USBD/UD, MMT 시그널링 메시지들 또는 이들을 전달하는 패킷 플로우를 서비스 시그널링 채널이라 부를 수도 있다.
도시된 실시예와는 달리, 하나의 ROUTE 또는 MMTP 세션은 복수개의 PLP 를 통해 전달될 수 있다. 즉, 하나의 서비스는 하나 이상의 PLP 를 통해 전달될 수도 있다. 도시된 것과 달리 실시예에 따라 하나의 서비스를 구성하는 컴포넌트들이 서로 다른 ROUTE 세션들을 통해 전달될 수도 있다. 또한, 실시예에 따라 하나의 서비스를 구성하는 컴포넌트들이 서로 다른 MMTP 세션들을 통해 전달될 수도 있다. 실시예에 따라 하나의 서비스를 구성하는 컴포넌트들이 ROUTE 세션과 MMTP 세션에 나뉘어 전달될 수도 있다. 도시되지 않았으나, 하나의 서비스를 구성하는 컴포넌트가 브로드밴드를 통해 전달(하이브리드 딜리버리)되는 경우도 있을 수 있다.
도 3 은 본 발명의 일 실시예에 따른 LLS (Low Level Signaling) 테이블 및 SLT (Service List Table)를 도시한 도면이다.
도시된 LLS 테이블의 일 실시예(t3010) 은, LLS_table_id 필드, provider_id 필드, LLS_table_version 필드 및/또는 LLS_table_id 필드에 따른 정보들을 포함할 수 있다.
LLS_table_id 필드는 해당 LLS 테이블의 타입을 식별하고, provider_id 필드는 해당 LLS 테이블에 의해 시그널링되는 서비스들과 관련된 서비스 프로바이더를 식별할 수 있다. 여기서 서비스 프로바이더는 해당 브로드캐스트 스트림의 전부 또는 일부를 사용하는 브로드캐스터로서, provider_id 필드는 해당 브로드캐스트 스트림을 사용중인 복수의 브로드캐스터들 중 하나를 식별할 수 있다. LLS_table_version 필드는 해당 LLS 테이블의 버전 정보를 제공할 수 있다.
LLS_table_id 필드의 값에 따라, 해당 LLS 테이블은 전술한 SLT, 컨텐트 어드바이저리 레이팅(Content advisory rating) 에 관련된 정보를 포함하는 RRT(Rating Region Table), 시스템 타임과 관련된 정보를 제공하는 SystemTime 정보, 긴급 경보와 관련된 정보를 제공하는 CAP (Common Alert Protocol) 메시지 중 하나를 포함할 수 있다. 실시예에 따라 이들 외에 다른 정보가 LLS 테이블에 포함될 수도 있다.
도시된 SLT 의 일 실시예(t3020) 는, @bsid 속성, @sltCapabilities 속성, sltInetUrl 엘레멘트 및/또는 Service 엘레멘트를 포함할 수 있다. 각 필드들은 도시된 Use 컬럼의 값에 따라 생략되거나, 복수개 존재할 수 있다.
@bsid 속성은 브로드캐스트 스트림의 식별자일 수 있다. @sltCapabilities 속성은 해당 SLT 가 기술하는 모든 서비스들을 디코딩하고 유의미하게 재생하는데 요구되는 캐패빌리티 정보를 제공할 수 있다. sltInetUrl 엘레멘트는 해당 SLT 의 서비스들을 위한 ESG 내지 서비스 시그널링 정보를 브로드밴드를 통해 얻기 위해 사용되는 베이스 URL 정보를 제공할 수 있다. sltInetUrl 엘레멘트는 @urlType 속성을 더 포함할 수 있는데, 이는 해당 URL 을 통해 얻을 수 있는 데이터의 타입을 지시할 수 있다.
Service 엘레멘트는 해당 SLT 가 기술하는 서비스들에 대한 정보를 포함하는 엘레멘트일 수 있으며, 각각의 서비스들에 대해 Service 엘레멘트가 존재할 수 있다. Service 엘레멘트는 @serviceId 속성, @sltSvcSeqNum 속성, @protected 속성, @majorChannelNo 속성, @minorChannelNo 속성, @serviceCategory 속성, @shortServiceName 속성, @hidden 속성, @broadbandAccessRequired 속성, @svcCapabilities 속성, BroadcastSvcSignaling 엘레멘트 및/또는 svcInetUrl 엘레멘트를 포함할 수 있다.
@serviceId 속성은 해당 서비스의 식별자이고, @sltSvcSeqNum 속성은 해당 서비스에 대한 SLT 정보의 시퀀스 넘버를 나타낼 수 있다. @protected 속성은 해당 서비스의 유의미한 재생을 위해 필요한 적어도 하나의 서비스 컴포넌트가 보호(protected)되고 있는지 여부를 지시할 수 있다. @majorChannelNo 속성과 @minorChannelNo 속성은 각각 해당 서비스의 메이저 채널 넘버와 마이너 채널 넘버를 지시할 수 있다.
@serviceCategory 속성은 해당 서비스의 카테고리를 지시할 수 있다. 서비스의 카테고리로는 리니어 A/V 서비스, 리니어 오디오 서비스, 앱 기반 서비스, ESG 서비스, EAS 서비스 등이 있을 수 있다. @shortServiceName 속성은 해당 서비스의 짧은 이름(Short name)을 제공할 수 있다. @hidden 속성은 해당 서비스가 테스팅 또는 독점적(proprietary) 사용을 위한 서비스인지 여부를 지시할 수 있다. @broadbandAccessRequired 속성은 해당 서비스의 유의미한 재생을 위하여 브로드밴드 억세스가 필요한지 여부를 지시할 수 있다. @svcCapabilities 속성은 해당 서비스의 디코딩과 유의미한 재생을 위하여 필요한 캐패빌리티 정보를 제공할 수 있다.
BroadcastSvcSignaling 엘레멘트는 해당 서비스의 브로드캐스트 시그널링에 관련된 정보들을 제공할 수 있다. 이 엘레멘트는 해당 서비스의 방송망을 통한 시그널링에 대하여, 로케이션, 프로토콜, 어드레스 등의 정보를 제공할 수 있다. 자세한 사항은 후술한다.
svcInetUrl 엘레멘트는 해당 서비스를 위한 시그널링 정보를 브로드밴드를 통해 액세스하기 위한 URL 정보를 제공할 수 있다. sltInetUrl 엘레멘트는 @urlType 속성을 더 포함할 수 있는데, 이는 해당 URL 을 통해 얻을 수 있는 데이터의 타입을 지시할 수 있다.
전술한 BroadcastSvcSignaling 엘레멘트는 @slsProtocol 속성, @slsMajorProtocolVersion 속성, @slsMinorProtocolVersion 속성, @slsPlpId 속성, @slsDestinationIpAddress 속성, @slsDestinationUdpPort 속성 및/또는 @slsSourceIpAddress 속성을 포함할 수 있다.
@slsProtocol 속성은 해당 서비스의 SLS 를 전달하는데 사용되는 프로토콜을 지시할 수 있다(ROUTE, MMT 등). @slsMajorProtocolVersion 속성 및 @slsMinorProtocolVersion 속성은 각각 해당 서비스의 SLS 를 전달하는데 사용되는 프로토콜의 메이저 버전 넘버 및 마이너 버전 넘버를 지시할 수 있다.
@slsPlpId 속성은 해당 서비스의 SLS 를 전달하는 PLP 를 식별하는 PLP 식별자를 제공할 수 있다. 실시예에 따라 이 필드는 생략될 수 있으며, SLS 가 전달되는 PLP 정보는 후술할 LMT 내의 정보와, SLT 의 부트스트랩 정보를 조합하여 확인될 수도 있다.
@slsDestinationIpAddress 속성, @slsDestinationUdpPort 속성 및 @slsSourceIpAddress 속성은 각각 해당 서비스의 SLS 를 전달하는 전송 패킷의 데스티네이션 IP 어드레스, 데스티네이션 UDP 포트 및 소스 IP 어드레스 를 지시할 수 있다. 이들은 SLS 가 전달되는 전송세션(ROUTE 세션 또는 MMTP 세션)을 식별할 수 있다. 이들은 부트스트랩 정보에 포함될 수 있다.
도 4 는 본 발명의 일 실시예에 따른, ROUTE 로 전달되는 USBD 및 S-TSID 를 도시한 도면이다.
도시된 USBD 의 일 실시예(t4010) 은, bundleDescription 루트 엘레멘트를 가질 수 있다. bundleDescription 루트 엘레멘트는 userServiceDescription 엘레멘트를 가질 수 있다. userServiceDescription 엘레멘트는 하나의 서비스에 대한 인스턴스일 수 있다.
userServiceDescription 엘레멘트는 @globalServiceID 속성, @serviceId 속성, @serviceStatus 속성, @fullMPDUri 속성, @sTSIDUri 속성, name 엘레멘트, serviceLanguage 엘레멘트, capabilityCode 엘레멘트 및/또는 deliveryMethod 엘레멘트를 포함할 수 있다. 각 필드들은 도시된 Use 컬럼의 값에 따라 생략되거나, 복수개 존재할 수 있다.
@globalServiceID 속성은 해당 서비스의 글로벌하게 유니크한(globally unique) 식별자로서, ESG 데이터와 링크되는데 사용될 수 있다(Service@globalServiceID). @serviceId 속성은 SLT 의 해당 서비스 엔트리와 대응되는 레퍼런스로서, SLT 의 서비스 ID 정보와 동일할 수 있다. @serviceStatus 속성은 해당 서비스의 상태를 지시할 수 있다. 이 필드는 해당 서비스가 액티브인지 인액티브(inactive) 상태인지 여부를 지시할 수 있다.
@fullMPDUri 속성은 해당 서비스의 MPD 프래그먼트를 레퍼런싱할 수 있다. MPD 는 전술한 바와 같이 방송망 또는 브로드밴드를 통해 전달되는 서비스 컴포넌트에 대한 재생 디스크립션을 제공할 수 있다. @sTSIDUri 속성은 해당 서비스의 S-TSID 프래그먼트를 레퍼런싱할 수 있다. S-TSID 는 전술한 바와 같이 해당 서비스를 운반하는 전송 세션에의 액세스와 관련된 파라미터들을 제공할 수 있다.
name 엘레멘트는 해당 서비스의 이름을 제공할 수 있다. 이 엘레멘트는 @lang 속성을 더 포함할 수 있는데, 이 필드는 name 엘레멘트가 제공하는 이름의 언어를 지시할 수 있다. serviceLanguage 엘레멘트는 해당 서비스의 이용 가능한(available) 언어들을 지시할 수 있다. 즉, 이 엘레멘트는 해당 서비스가 제공될 수 있는 언어들을 나열할 수 있다.
capabilityCode 엘레멘트는 해당 서비스를 유의미하게 재생하기 위해 필요한 수신기 측의 캐패빌리티 또는 캐패빌리티 그룹 정보를 지시할 수 있다. 이 정보들은 서비스 아나운스먼트(announccement) 에서 제공되는 캐패빌리티 정보 포맷과 호환될 수 있다.
deliveryMethod 엘레멘트는 해당 서비스의 방송망 또는 브로드밴드를 통해 액세스되는 컨텐츠들에 대하여, 전송 관련 정보들을 제공할 수 있다. deliveryMethod 엘레멘트는 broadcastAppService 엘레멘트 및/또는 unicastAppService 엘레멘트를 포함할 수 있다. 이 엘레멘트들은 각각 basePattern 엘레멘트를 하위 엘레멘트로 가질 수 있다.
broadcastAppService 엘레멘트는 방송망을 통해 전달되는 DASH 레프리젠테이션에 대한 전송 관련 정보를 포함할 수 있다. 이 DASH 레프리젠테이션들은 해당 서비스 미디어 프리젠테이션의 모든 피리오드(Period)에 걸친 미디어 컴포넌트들을 포함할 수 있다.
이 엘레멘트의 basePattern 엘레멘트는 수신기가 세그먼트 URL 과 매칭하는데 사용되는 캐릭터 패턴을 나타낼 수 있다. 이는 DASH 클라이언트가 해당 레프리젠테이션의 세그먼트들을 요청하는데 사용될 수 있다. 매칭된다는 것은 해당 미디어 세그먼트가 방송망을 통해 전달된다는 것을 암시할 수 있다.
unicastAppService 엘레멘트는 브로드밴드를 통해 전달되는 DASH 레프리젠테이션에 대한 전송 관련 정보를 포함할 수 있다. 이 DASH 레프리젠테이션들은 해당 서비스 미디어 프리젠테이션의 모든 피리오드(Period)에 걸친 미디어 컴포넌트들을 포함할 수 있다.
이 엘레멘트의 basePattern 엘레멘트는 수신기가 세그먼트 URL 과 매칭하는데 사용되는 캐릭터 패턴을 나타낼 수 있다. 이는 DASH 클라이언트가 해당 레프리젠테이션의 세그먼트들을 요청하는데 사용될 수 있다. 매칭된다는 것은 해당 미디어 세그먼트가 브로드밴드를 통해 전달된다는 것을 암시할 수 있다.
도시된 S-TSID 의 일 실시예(t4020) 은, S-TSID 루트 엘레멘트를 가질 수 있다. S-TSID 루트 엘레멘트는 @serviceId 속성 및/또는 RS 엘레멘트를 포함할 수 있다. 각 필드들은 도시된 Use 컬럼의 값에 따라 생략되거나, 복수개 존재할 수 있다.
@serviceId 속성은 해당 서비스의 식별자로서, USBD/USD 의 해당 서비스를 레퍼런싱할 수 있다. RS 엘레멘트는 해당 서비스의 서비스 컴포넌트들이 전달되는 ROUTE 세션들에 대한 정보를 기술할 수 있다. 이러한 ROUTE 세션의 개수에 따라, 이 엘레멘트는 복수개 존재할 수 있다. RS 엘레멘트는 @bsid 속성, @sIpAddr 속성, @dIpAddr 속성, @dport 속성, @PLPID 속성 및/또는 LS 엘레멘트를 더 포함할 수 있다.
@bsid 속성은 해당 서비스의 서비스 컴포넌트들이 전달되는 브로드캐스트 스트림의 식별자일 수 있다. 이 필드가 생략된 경우, 디폴트 브로드캐스트 스트림은 해당 서비스의 SLS 를 전달하는 PLP 를 포함하는 브로드캐스트 스트림일 수 있다. 이 필드의 값은 SLT 의 @bsid 속성과 같은 값일 수 있다.
@sIpAddr 속성, @dIpAddr 속성 및 @dport 속성은 각각 해당 ROUTE 세션의 소스 IP 어드레스, 데스티네이션 IP 어드레스 및 데스티네이션 UDP 포트를 나타낼 수 있다. 이 필드들이 생략되는 경우, 디폴트 값들은 해당 SLS 를 전달하는, 즉 해당 S-TSID 를 전달하고 있는 현재의, ROUTE 세션의 소스 IP 어드레스, 데스티네이션 IP 어드레스 및 데스티네이션 UDP 포트값들일 수 있다. 현재 ROUTE 세션이 아닌, 해당 서비스의 서비스 컴포넌트들을 전달하는 다른 ROUTE 세션에 대해서는, 본 필드들이 생략되지 않을 수 있다.
@PLPID 속성은 해당 ROUTE 세션의 PLP ID 정보를 나타낼 수 있다. 이 필드가 생략되는 경우, 디폴트 값은 해당 S-TSID 가 전달되고 있는 현재 PLP 의 PLP ID 값일 수 있다. 실시예에 따라 이 필드는 생략되고, 해당 ROUTE 세션의 PLP ID 정보는 후술할 LMT 내의 정보와, RS 엘레멘트의 IP 어드레스 / UDP 포트 정보들을 조합하여 확인될 수도 있다.
LS 엘레멘트는 해당 서비스의 서비스 컴포넌트들이 전달되는 LCT 채널들에 대한 정보를 기술할 수 있다. 이러한 LCT 채널의 개수에 따라, 이 엘레멘트는 복수개 존재할 수 있다. LS 엘레멘트는 @tsi 속성, @PLPID 속성, @bw 속성, @startTime 속성, @endTime 속성, SrcFlow 엘레멘트 및/또는 RepairFlow 엘레멘트를 포함할 수 있다.
@tsi 속성은 해당 LCT 채널의 tsi 정보를 나타낼 수 있다. 이를 통해 해당 서비스의 서비스 컴포넌트가 전달되는 LCT 채널들이 식별될 수 있다. @PLPID 속성은 해당 LCT 채널의 PLP ID 정보를 나타낼 수 있다. 실시예에 따라 이 필드는 생략될 수 있다. @bw 속성은 해당 LCT 채널의 최대 대역폭를 나타낼 수 있다. @startTime 속성은 해당 LCT 세션의 스타트 타임을 지시하고, @endTime 속성은 해당 LCT 채널의 엔드 타임을 지시할 수 있다.
SrcFlow 엘레멘트는 ROUTE 의 소스 플로우에 대해 기술할 수 있다. ROUTE 의 소스 프로토콜은 딜리버리 오브젝트를 전송하기 위해 사용되며, 한 ROUTE 세션 내에서 적어도 하나 이상의 소스 플로우를 설정(establish)할 수 있다. 이 소스 플로우들은 관련된 오브젝트들을 오브젝트 플로우로서 전달할 수 있다.
RepairFlow 엘레멘트는 ROUTE 의 리페어 플로우에 대해 기술할 수 있다. 소스 프로토콜에 따라 전달되는 딜리버리 오브젝트들은 FEC (Forward Error Correction) 에 따라 보호될 수 있는데, 리페어 프로토콜은 이러한 FEC 프로텍션을 가능케 하는 FEC 프레임워크(framework)를 정의할 수 있다.
도 5 는 본 발명의 일 실시예에 따른, MMT 로 전달되는 USBD 를 도시한 도면이다.
도시된 USBD 의 일 실시예는, bundleDescription 루트 엘레멘트를 가질 수 있다. bundleDescription 루트 엘레멘트는 userServiceDescription 엘레멘트를 가질 수 있다. userServiceDescription 엘레멘트는 하나의 서비스에 대한 인스턴스일 수 있다.
userServiceDescription 엘레멘트는 @globalServiceID 속성, @serviceId 속성, Name 엘레멘트, serviceLanguage 엘레멘트, contentAdvisoryRating 엘레멘트, Channel 엘레멘트, mpuComponent 엘레멘트, routeComponent 엘레멘트, broadbandComponent 엘레멘트 및/또는 ComponentInfo 엘레멘트를 포함할 수 있다. 각 필드들은 도시된 Use 컬럼의 값에 따라 생략되거나, 복수개 존재할 수 있다.
@globalServiceID 속성, @serviceId 속성, Name 엘레멘트 및/또는 serviceLanguage 엘레멘트는 전술한 ROUTE 로 전달되는 USBD 의 해당 필드들과 같을 수 있다. contentAdvisoryRating 엘레멘트는 해당 서비스의 컨텐트 어드바이저리(advisory) 레이팅을 나타낼 수 있다. 이 정보들은 서비스 아나운스먼트(announccement) 에서 제공되는 컨텐트 어드바이저리 레이팅 정보 포맷과 호환될 수 있다. Channel 엘레멘트는 해당 서비스와 관련된 정보들을 포함할 수 있다. 이 엘레멘트의 자세한 내용에 대해서는 후술한다.
mpuComponent 엘레멘트는 해당 서비스의 MPU 로서 전달되는 서비스 컴포넌트들에 대한 디스크립션을 제공할 수 있다. 이 엘레멘트는 @mmtPackageId 속성 및/또는 @nextMmtPackageId 속성을 더 포함할 수 있다. @mmtPackageId 속성은 해당 서비스의 MPU 로서 전달되는 서비스 컴포넌트들의 MMT 패키지(Package) 를 레퍼런싱할 수 있다. @nextMmtPackageId 속성은 시간상 @mmtPackageId 속성이 레퍼런싱하는 MMT 패키지 다음으로 사용될 MMT 패키지를 레퍼런싱할 수 있다. 이 엘레멘트의 정보들을 통해 MP 테이블이 레퍼런싱될 수 있다.
routeComponent 엘레멘트는 ROUTE 로 전달되는 해당 서비스의 서비스 컴포넌트들에 대한 디스크립션을 포함할 수 있다. 리니어 서비스 컴포넌트들이 MMT 프로토콜로 전달되는 경우라 하더라도, NRT 데이터들은 전술한 바와 같이 ROUTE 프로토콜에 따라 전달될 수 있다. 이 엘레멘트는 이러한 NRT 데이터들에 대한 정보들을 기술할 수 있다. 이 엘레멘트의 자세한 내용에 대해서는 후술한다.
broadbandComponent 엘레멘트는 브로드밴드로 전달되는 해당 서비스의 서비스 컴포넌트들에 대한 디스크립션을 포함할 수 있다. 하이브리드 서비스 딜리버리에 있어서, 한 서비스의 일부 서비스 컴포넌트 또는 기타 파일들은 브로드밴드를 통해 전달될 수 있다. 이 엘레멘트는 이러한 데이터들에 대한 정보들을 기술할 수 있다. 이 엘레멘트는 @fullMPDUri 속성을 더 포함할 수 있다. 이 속성은 브로드밴드로 전달되는 서비스 컴포넌트들에 대해 기술하는 MPD 를 레퍼런싱할 수 있다. 하이브리드 서비스 딜리버리 이외에도, 터널 내의 주행 등으로 인해 방송 신호가 약화되는 경우에 있어, 방송망-브로드밴드 간의 핸드오프(handoff) 를 지원하기 위해 본 엘레멘트가 필요할 수 있다. 방송 신호가 약해지는 경우, 브로드밴드를 통해 서비스 컴포넌트를 획득하다가, 다시 방송 신호가 강해지면 방송망을 통해 서비스 컴포넌트를 획득하여 서비스의 연속성이 보장될 수 있다.
ComponentInfo 엘레멘트는 해당 서비스의 서비스 컴포넌트들에 대한 정보를 포함할 수 있다. 서비스의 서비스 컴포넌트들의 개수에 따라, 이 엘레멘트는 복수개 존재할 수 있다. 이 엘레멘트는 각 서비스 컴포넌트의 타입, 롤(role), 이름, 식별자, 프로텍션 여부 등의 정보들을 기술할 수 있다. 이 엘레멘트의 자세한 정보에 대해서는 후술한다.
전술한 Channel 엘레멘트는 @serviceGenre 속성, @serviceIcon 속성 및/또는 ServiceDescription 엘레멘트를 더 포함할 수 있다. @serviceGenre 속성은 해당 서비스의 장르를 지시하고, @serviceIcon 속성은 해당 서비스를 대표하는 아이콘(icon) 의 URL 정보를 포함할 수 있다. ServiceDescription 엘레멘트는 해당 서비스의 서비스 디스크립션을 제공하는데, 이 엘레멘트는 @serviceDescrText 속성 및/또는 @serviceDescrLang 속성을 더 포함할 수 있다. 이 속성들은 각각 해당 서비스 디스크립션의 텍스트 및 그 텍스트에 사용되는 언어를 지시할 수 있다.
전술한 routeComponent 엘레멘트는 @sTSIDUri 속성, @sTSIDDestinationIpAddress 속성, @sTSIDDestinationUdpPort 속성, @sTSIDSourceIpAddress 속성, @sTSIDMajorProtocolVersion 속성 및/또는 @sTSIDMinorProtocolVersion 속성을 더 포함할 수 있다.
@sTSIDUri 속성은 S-TSID 프래그먼트를 레퍼런싱할 수 있다. 이 필드는 전술한 ROUTE 로 전달되는USBD 의 해당 필드와 같을 수 있다. 이 S-TSID 는 ROUTE 로 전달되는 서비스 컴포넌트들에 대한 액세스 관련 정보를 제공할 수 있다. 이 S-TSID 는 MMT 프로토콜에 따라 리니어 서비스 컴포넌트들이 전달되는 상황에서, ROUTE 프로토콜에 따라 전달되는 NRT 데이터들을 위해 존재할 수 있다.
@sTSIDDestinationIpAddress 속성, @sTSIDDestinationUdpPort 속성 및 @sTSIDSourceIpAddress 속성은 각각 전술한 S-TSID 를 운반하는 전송 패킷의 데스티네이션 IP 어드레스, 데스티네이션 UDP 포트, 소스 IP 어드레스를 나타낼 수 있다. 즉, 이 필드들은 전술한 S-TSID 를 운반하는 전송 세션(MMTP 세션 또는 ROUTE 세션)을 식별할 수 있다.
@sTSIDMajorProtocolVersion 속성 및 @sTSIDMinorProtocolVersion 속성은 전술한 S-TSID 를 전달하는데 사용되는 전송 프로토콜의 메이저 버전 넘버 및 마이너 버전 넘버를 지시할 수 있다.
전술한 ComponentInfo 엘레멘트는 @componentType 속성, @componentRole 속성, @componentProtectedFlag 속성, @componentId 속성 및/또는 @componentName 속성을 더 포함할 수 있다.
@componentType 속성은 해당 컴포넌트의 타입을 지시할 수 있다. 예를 들어 이 속성은 해당 컴포넌트가 오디오, 비디오, 클로즈드캡션 컴포넌트인지를 지시할 수 있다. @componentRole 속성은 해당 컴포넌트의 롤(역할)을 지시할 수 있다. 예를 들어 이 속성은 해당 컴포넌트가 오디오 컴포넌트인 경우 메인 오디오, 뮤직, 코멘터리 등인지를 지시할 수 있다. 해당 컴포넌트가 비디오 컴포넌트인 경우 프라이머리 비디오인지 등을 지시할 수 있다. 해당 컴포넌트가 클로즈드 캡션 컴포넌트인 경우 노말 캡션인지 이지리더(easy reader) 타입인지 등을 지시할 수 있다.
@componentProtectedFlag 속성은 해당 서비스 컴포넌트가 프로텍티드되었는지, 예를 들어 암호화되었는지를 지시할 수 있다. @componentId 속성은 해당 서비스 컴포넌트의 식별자를 나타낼 수 있다. 이 속성의 값은 이 서비스 컴포넌트에 해당하는 MP 테이블의 asset_id (에셋 ID) 와 같은 값일 수 있다. @componentName 속성은 해당 서비스 컴포넌트의 이름을 나타낼 수 있다.
도 6 은 본 발명의 일 실시예에 따른 링크 레이어(Link Layer) 동작을 도시한 도면이다.
링크 레이어는 피지컬 레이어와 네트워크 레이어 사이의 레이어일 수 있다. 송신 측에서는 네트워크 레이어에서 피지컬 레이어로 데이터를 전송하고, 수신 측에서는 피지컬 레이어에서 네트워크 레이어로 데이터를 전송할 수 있다(t6010). 링크 레이어의 목적은 피지컬 레이어에 의한 처리를 위해 모든 입력 패킷 타입을 하나의 포맷으로 압축(abstracting)하는 것, 아직 정의되지 않은 입력 패킷 타입에 대한 유연성(flexibility) 및 추후 확장 가능성을 보장하는 것일 수 있다. 또한 링크 레이어는 입력 패킷의 헤더의 불필요한 정보를 압축하는 옵션을 제공함으로써, 입력 데이터가 효율적으로 전송될 수 있도록 할 수 있다. 링크 레이어의 오버헤드 리덕션, 인캡슐레이션 등의 동작은 링크 레이어 프로토콜이라 불리고, 해당 프로토콜을 이용하여 생성된 패킷은 링크 레이어 패킷이라 불릴 수 있다. 링크 레이어는 패킷 인캡슐레이션(packet encapsulation), 오버헤드 리덕션(Overhead Reduction) 및/또는 시그널링 전송(Signaling Transmission) 등의 기능을 수행할 수 있다.
송신측 기준으로, 링크 레이어(ALP)는 입력 패킷에 대하여 오버헤드 리덕션 과정을 수행한 후 이들을 링크 레이어 패킷으로 인캡슐레이션할 수 있다. 또한 실시예에 따라 링크 레이어는 오버헤드 리덕션 과정을 수행하지 아니하고, 링크 레이어 패킷으로 인캡슐레이션할 수도 있다. 링크 레이어 프로토콜의 사용으로 인해 피지컬 레이어 상에서 데이터의 전송에 대한 오버헤드가 크게 감소할 수 있으며, 본 발명에 따른 링크 레이어 프로토콜은 IP 오버헤드 리덕션 및/또는 MPEG-2 TS 오버헤드 리덕션을 제공할 수 있다.
도시된, IP 패킷이 입력패킷으로 입력되는 경우에 있어서(t6010), 링크 레이어는 IP 헤더 압축, 어댑테이션 및/또는 인캡슐레이션 과정을 차례로 수행할 수 있다. 실시예에 따라 일부 과정은 생략될 수 있다. 먼저, RoHC 모듈이 IP 패킷 헤더 압축을 수행하여 불필요한 오버헤드를 줄이고, 어댑테이션 과정을 통해 컨텍스트 정보가 추출되고 대역 외로 전송될 수 있다. IP 헤더 압축과 어댑테이션 과정을 통칭하여 IP 헤더 압축이라 부를 수도 있다. 이 후 인캡슐레이션 과정을 통해 IP 패킷들이 링크 레이어 패킷들로 인캡슐레이션될 수 있다.
MPEG 2 TS 패킷이 입력패킷으로 입력되는 경우에 있어서, 링크 레이어는 TS 패킷에 대한 오버헤드 리덕션 및/또는 인캡슐레이션 과정을 차례로 수행할 수 있다. 실시예에 따라 일부 과정은 생략될 수 있다. 오버헤드 리덕션에 있어, 링크 레이어는 싱크 바이트 제거, 널 패킷 삭제 및/또는 공통(common) 헤더 제거 (압축)을 제공할 수 있다. 싱크 바이트 제거를 통해 TS 패킷당 1 바이트의 오버헤드 리덕션이 제공될 수 있다. 수신측에서 재삽입될 수 있는 방식으로 널 패킷 삭제가 수행될 수 있다. 또한 연속된 헤더들 간의 공통되는 정보들이 수신측에서 복구될 수 있는 방식으로 삭제(압축)될 수 있다. 각 오버헤드 리덕션 과정 중 일부는 생략될 수 있다. 이 후 인캡슐레이션 과정을 통해 TS 패킷들이 링크 레이어 패킷들로 인캡슐레이션될 수 있다. TS 패킷의 인캡슐레이션에 대한 링크 레이어 패킷 구조는 다른 타입의 패킷들과는 다를 수 있다.
먼저 IP 헤더 압축(IP Header Compression) 에 대해서 설명한다.
IP 패킷은 고정된 헤더 포맷을 가지고 있으나, 통신 환경에서 필요한 일부 정보는 브로드캐스트 환경에서 불필요할 수 있다. 링크 레이어 프로토콜은 IP 패킷의 헤더를 압축함으로써 브로드캐스트 오버헤드를 줄이는 메커니즘을 제공할 수 있다.
IP 헤더 압축은 헤더 컴프레서/디컴프레서 및/또는 어댑테이션 모듈을 포함할 수 있다. IP 헤더 컴프레서(RoHC 컴프레서)는 RoHC 방식에 기초하여 각 IP 패킷 헤더의 크기를 감소시킬 수 있다. 이 후 어댑테이션 모듈은 컨텍스트 정보를 추출하고 각 패킷 스트림으로부터 시그널링 정보를 생성할 수 있다. 수신기는 해당 패킷 스트림에 관련된 시그널링 정보를 파싱하고 컨텍스트 정보를 그 패킷 스트림에 붙일(attach) 수 있다. RoHC 디컴프레서는 패킷 헤더를 복구하여 원래의 IP 패킷을 재구성할 수 있다. 이하, IP 헤더 압축이란, 헤더 컴프레서에 의한 IP 헤더 압축만을 의미할 수도 있고, IP 헤더 압축과 어댑테이션 모듈에 의한 어댑테이션 과정을 합한 개념을 의미할 수도 있다. 디컴프레싱(decompressing) 에 대해서도 마찬가지이다.
이하, 어댑테이션(Adaptation) 에 대해서 설명한다.
단방향 링크를 통한 전송의 경우, 수신기가 컨텍스트의 정보를 갖고 있지 않으면, 디컴프레서는 완전한 컨텍스트를 수신할 때까지 수신된 패킷 헤더를 복구할 수 없다. 이는 채널 변경 지연 및 턴 온 딜레이 (turn-on delay)를 초래할 수 있다. 따라서 어댑테이션 기능을 통해, 컴프레서/디컴프레서 간의 컨피규레이션 파라미터와 컨텍스트 정보가 대역 외로 전송될 수 있다. 어댑테이션 펑션(function)은 컨텍스트 정보 및/또는 컨피규레이션 파라미터들을 이용하여 링크 레이어 시그널링을 생성(construction) 할 수 있다. 어댑테이션 펑션은 예전(previous) 컨피규레이션 파라미터 및/또는 컨텍스트 정보를 이용하여 각각의 피지컬 프레임을 통해 주기적으로 링크 레이어 시그널링을 전송할 수 있다.
압축된 IP 패킷들로부터 컨텍스트 정보가 추출되는데, 어댑테이션 모드에 따라 다양한 방법이 사용될 수 있다.
모드 #1 은 압축된 패킷 스트림에 대해 어떠한 동작도 수행하지 않는 모드로서, 어댑테이션 모듈이 버퍼로서 동작하는 모드일 수 있다.
모드 #2 는 압축된 패킷 스트림 중, IR 패킷을 검출하여 컨텍스트 정보(스태틱 체인)을 추출하는 모드일 수 있다. 추출후 IR 패킷은 IR-DYN 패킷으로 전환되고, IR-DYN 패킷은 원래의 IR 패킷을 대체하여 패킷 스트림 내에서 같은 순서로 전송될 수 있다.
모드 #3 (t6020) 는 압축된 패킷 스트림 중, IR 및 IR-DYN 패킷을 검출하고 컨텍스트 정보를 추출하는 모드일 수 있다. IR 패킷으로부터 스태틱 체인 및 다이나믹 체인이, IR-DYN 패킷으로부터 다이나믹 체인이 추출될 수 있다. 추출후 IR 및 IR-DYN 패킷은 일반 압축 패킷으로 전환될 수 있다. 전환된 패킷은 원래의 IR 및 IR-DYN 패킷을 대체하여 패킷 스트림 내에서 같은 순서로 전송될 수 있다.
각 모드에서, 컨텍스트 정보가 추출되고 남은 패킷들은, 압축된 IP 패킷을 위한 링크 레이어 패킷 구조에 따라 인캡슐레이션 되어 전송될 수 있다. 컨텍스트 정보들은, 링크 레이어 시그널링으로서, 시그널링 정보를 위한 링크 레이어 패킷 구조에 따라 인캡슐레이션 되어 전송될 수 있다.
추출된 컨텍스트 정보는 RDT (RoHC-U Description Table) 에 포함되어 RoHC 패킷 플로우와 별도로 전송될 수 있다. 컨텍스트 정보는 다른 시그널링 정보와 함께 특정(specific) 피지컬 데이터 경로를 통해 전송될 수 있다. 특정 피지컬 데이터 경로란, 실시예에 따라, 일반적인 PLP 중 하나를 의미할 수도 있고, LLS (Low Level Signaling) 이 전달되는 PLP 를 의미할 수도 있고, 지정된(dedicated) PLP 일 수도 있고, L1 시그널링 패쓰(path)를 의미할 수도 있다. 여기서 RDT 는 컨텍스트 정보(스태틱 체인 및/또는 다이나믹 체인) 및/또는 헤더 컴프레션과 관련된 정보를 포함하는 시그널링 정보일 수 있다. 실시예에 따라 RDT 는 컨텍스트 정보가 바뀔 때마다 전송될 수 있다. 또한 실시예에 따라 RDT 는 매 피지컬 프레임에서 전송될 수 있다. 매 피지컬 프레임에서 RDT 를 전송하기 위해서, 예전(previous) RDT 가 재사용(re-use)될 수 있다.
수신기는 패킷 스트림을 획득하기 앞서, 최초 PLP 를 선택해 SLT, RDT, LMT 등의 시그널링 정보를 먼저 획득할 수 있다. 수신기는 이 시그널링 정보들이 획득되면, 이 들을 조합하여 서비스 - IP 정보 - 컨텍스트 정보 - PLP 간의 매핑을 획득할 수 있다. 즉, 수신기는 어떤 서비스가 어느 IP 스트림들로 전송되는지, 어떤 PLP 로 어떤 IP 스트림들이 전달되는지 등을 알 수 있고, 또한 PLP 들의 해당 컨텍스트 정보들을 획득할 수 있다. 수신기는 특정 패킷 스트림을 운반하는 PLP 를 선택하여 디코딩 할 수 있다. 어댑테이션 모듈은 컨텍스트 정보를 파싱하고 이를 압축된 패킷들과 합칠 수 있다. 이를 통해 패킷 스트림이 복구될 수 있고, 이는 RoHC 디컴프레서로 전달될 수 있다. 이후 디컴프레션이 시작될 수 있다. 이 때 수신기는 어댑테이션 모드에 따라, IR 패킷을 디텍팅하여 최초 수신된 IR 패킷으로부터 디컴프레션을 시작하거나(모드 1), IR-DYN 패킷을 디텍팅하여 최초 수신된 IR-DYN 패킷으로부터 디컴프레션을 시작하거나(모드 2), 아무 일반 압축 패킷(compressed packet)으로부터 디컴프레션을 시작할 수 있다(모드 3).
이하, 패킷 인캡슐레이션에 대해서 설명한다.
링크 레이어 프로토콜은 IP 패킷, TS 패킷 등의 모든 타입의 인풋 패킷들을 링크 레이어 패킷으로인캡슐레이션할 수 있다. 이를 통해 피지컬 레이어는 네트워크 레이어의 프로토콜 타입과는 독립적으로 하나의 패킷 포맷만 처리하면 된다(여기서 네트워크 레이어 패킷의 일종으로 MPEG-2 TS 패킷을 고려). 각 네트워크 레이어 패킷 또는 입력 패킷은 제네릭 링크 레이어 패킷의 페이로드로 변형된다.
패킷 인캡슐레이션 과정에서 분할(segmentation) 이 활용될 수 있다. 네트워크 레이어 패킷이 지나치게 커서 피지컬 레이어에서 처리하지 못하는 경우, 네트워크 레이어 패킷은 두 개 이상의 세그먼트들로 나누어질 수 있다. 링크 레이어 패킷 헤더는 송신 측에서 분할을 실행하고 수신 측에서 재결합을 실행하기 위한 필드들을 포함할 수 있다. 각 세그먼트들은 원래 위치와 같은 순서로 링크 레이어 패킷으로 인캡슐레이션될 수 있다.
패킷 인캡슐레이션 과정에서 연쇄(concatenation) 또한 활용될 수 있다. 링크 레이어 패킷의 페이로드가 여러 네트워크 레이어 패킷을 포함할 정도로 네트워크 레이어 패킷이 충분히 작은 경우, 연쇄가 수행될 수 있다. 링크 레이어 패킷 헤더는 연쇄를 실행하기 위한 필드들을 포함할 수 있다. 연쇄의 경우 각 입력 패킷들은 원래의 입력 순서와 같은 순서로 링크 레이어 패킷의 페이로드로 인캡슐레이션될 수 있다.
링크 레이어 패킷은 헤더와 페이로드를 포함할 수 있고, 헤더는 베이스 헤더, 추가(additional) 헤더 및/또는 옵셔널 헤더가 포함될 수 있다. 추가 헤더는 연쇄나 분할 등의 상황에 따라 더 추가될 수 있는데, 추가헤더에는 상황에 맞춘 필요한 필드들이 포함될 수 있다. 또한 추가적인 정보의 전달을 위해 옵셔널 헤더가 더 추가될 수도 있다. 각각의 헤더 구조는 기 정의되어 있을 수 있다. 전술한 바와 같이 입력 패킷이 TS 패킷인 경우에는, 다른 패킷들과는 다른 링크 레이어 헤더 구조가 사용될 수 있다.
이하, 링크 레이어 시그널링에 대해서 설명한다.
링크 레이어 시그널링은 IP 레이어보다 하위 레벨에서 동작할 수 있다. 수신측에서는 LLS, SLT, SLS 등의 IP 레벨 시그널링보다, 링크 레이어 시그널링을 더 빠르게 획득할 수 있다. 따라서 링크 레이어 시그널링은 세션 설정(establishment) 이전에 획득될 수 있다.
링크 레이어 시그널링에는 인터널 링크 레이어 시그널링과 익스터널 링크 레이어 시그널링이 있을 수 있다. 인터널 링크 레이어 시그널링은 링크 레이어에서 생성된 시그널링 정보일 수 있다. 전술한 RDT 나 후술할 LMT 등이 여기에 해당할 수 있다. 익스터널 링크 레이어 시그널링은 외부 모듈 또는 외부 프로토콜, 상위 레이어로부터 전달받은 시그널링 정보일 수 있다. 링크 레이어는 링크 레이어 시그널링을 링크 레이어 패킷으로 인캡슐레이션하여 전달할 수 있다. 링크 레이어 시그널링을 위한 링크 레이어 패킷 구조(헤더 구조)가 정의될 수 있는데, 이 구조에 따라 링크 레이어 시그널링 정보가 인캡슐레이션될 수 있다.
도 7 은 본 발명의 일 실시예에 따른 LMT (Link Mapping Table) 를 도시한 도면이다.
LMT 는 PLP 로 운반되는 상위 레이어 세션들의 리스트를 제공할 수 있다. 또한 LMT 는 상위 레이어 세션들을 전달하는 링크 레이어 패킷들을 프로세싱하기 위한 추가적인 정보들을 제공할 수 있다. 여기서 상위 레이어 세션은 멀티캐스트(multicast) 라고 불릴 수도 있다. LMT 를 통해 특정 PLP 를 통해 어떠한 IP 스트림들, 어떠한 전송 세션들이 전송되고 있는지에 대한정보가 획득될 수 있다. 반대로 특정 전송 세션이 어느 PLP 로 전달되는지에 대한 정보를 획득할 수 있다.
LMT 는 LLS 를 운반하는 것으로 식별된 어떤 PLP 로도 전달될 수 있다. 여기서 LLS 가 전달되는 PLP 는 피지컬 레이어의 L1 디테일 시그널링 정보의 LLS 플래그에 의해 식별될 수 있다. LLS 플래그는 각각의 PLP 에 대하여, 해당 PLP 로 LLS 가 전달되는지 여부를 지시하는 플래그 필드일 수 있다. 여기서 L1 디테일 시그널링 정보는 후술할 PLS2 데이터에 해당할 수 있다.
즉, LMT 는 LLS 와 함께, 같은 PLP 로 전달될 수 있다. 각각의 LMT 들은 전술한 바와 같이 PLP 들과 IP 어드레스/포트간의 매핑을 기술할 수 있다. 전술한 바와 같이 LLS 는 SLT 를 포함할 수 있는데, LMT 가 기술하는 이 IP 어드레스/포트들은, 해당 LMT 와 같은 PLP 로 전달되는 SLT 가 기술하는, 모든(any) 서비스와 관련된 모든(any) IP 어드레스/포트들일 수 있다.
실시예에 따라 전술한 SLT, SLS 등에서의 PLP 식별자 정보가 활용되어, SLT, SLS 가 지시하는 특정전송 세션이 어느 PLP 로 전송되고 있는지에 대한 정보가 확인될 수 있다.
다른 실시예에 따라 전술한 SLT, SLS 등에서의 PLP 식별자 정보는 생략되고, SLT, SLS 가 지시하는 특정 전송 세션에 대한 PLP 정보는 LMT 내의 정보를 참조함으로써 확인될 수 있다. 이 경우 수신기는 LMT 와 다른 IP 레벨 시그널링 정보들을 조합하여, 알고자 하는 PLP 를 식별할 수 있다. 이 실시예에 있어서도 SLT, SLS 등에서의 PLP 정보는 생략되지 않고, SLT, SLS 등에 남아있을 수 있다.
도시된 실시예에 따른 LMT 는, signaling_type 필드, PLP_ID 필드, num_session 필드 및/또는 각각의 세션들에 대한 정보들을 포함할 수 있다. 도시된 실시예의 LMT 는 하나의 PLP 에 대해서, 그 PLP 로 전송되는 IP 스트림들을 기술하고 있지만, 실시예에 따라 LMT 에 PLP 루프가 추가되어, 복수개의 PLP 에 대한 정보가 기술될 수도 있다. 이 경우 LMT 는, 전술한 바와 같이, 함께 전달되는 SLT 가 기술하는 모든 서비스와 관련된 모든 IP 어드레스/포트들에 대한 PLP 들을, PLP 루프로 기술할 수 있다.
signaling_type 필드는 해당 테이블에 의해 전달되는 시그널링 정보의 타입을 지시할 수 있다. LMT 에 대한 signaling_type 필드의 값은 0x01로 설정될 수 있다. signaling_type 필드는 생략될 수 있다. PLP_ID 필드는 기술하고자 하는 대상 PLP 를 식별할 수 있다. PLP 루프가 사용되는 경우, 각각의 PLP_ID 필드는 각각의 대상 PLP 를 식별할 수 있다. PLP_ID 필드부터는 PLP 루프 내에 포함될 수 있다. 이하 언급되는 PLP_ID 필드는 PLP 루프 중의 PLP 하나에 대한 식별자이며, 이하 설명되는 필드들은 그 해당 PLP 에 대한 필드들일 수 있다.
num_session 필드는 해당 PLP_ID 필드에 의해 식별되는 PLP 로 전달되는 상위 레이어 세션들의 개수를 나타낼 수 있다. num_session 필드가 나타내는 개수에 따라, 각각의 세션들에 대한 정보들이 포함될 수 있다. 이정보에는 src_IP_add 필드, dst_IP_add 필드, src_UDP_port 필드, dst_UDP_port 필드, SID_flag 필드, compressed_flag 필드, SID 필드 및/또는 context_id 필드가 있을 수 있다.
src_IP_add 필드, dst_IP_add 필드, src_UDP_port 필드 및 dst_UDP_port 필드는 해당 PLP_ID 필드에 의해 식별되는 PLP 로 전달되는 상위 레이어 세션들 중, 해당 전송 세션에 대한 소스 IP 어드레스, 데스티네이션 IP 어드레스, 소스 UDP 포트, 데스티네이션 UDP 포트를 나타낼 수 있다.
SID_flag 필드는 해당 전송 세션을 전달하는 링크 레이어 패킷이 그 옵셔널 헤더에 SID 필드를 갖는지 여부를 지시할 수 있다. 상위 레이어 세션을 전달하는 링크 레이어 패킷은 그 옵셔널 헤더에 SID 필드를 가질 수 있고, 그 SID 필드 값은 후술할 LMT 내의 SID 필드와 동일할 수 있다.
compressed_flag 필드는 해당 전송 세션을 전달하는 링크 레이어 패킷의 데이터들에 헤더 컴프레션이 적용되었는지 여부를 지시할 수 있다. 또한 본 필드의 값에 따라 후술할 context_id 필드의 존부가 결정될 수 있다. 헤더 컴프레션이 적용된 경우(compressed_flag = 1), RDT 가 존재할 수 있고, 그 RDT 의 PLP ID 필드는 본 compressed_flag 필드와 관련된 해당 PLP_ID 필드와 같은 값을 가질 수 있다.
SID 필드는 해당 전송 세션을 전달하는 링크 레이어 패킷들에 대한 SID (sub stream ID) 를 지시할 수 있다. 이 링크 레이어 패킷들은, 그 옵셔널 헤더에 본 SID 필드와 같은 값을 가지는 SID 를 포함하고 있을 수 있다. 이를 통해 수신기는 링크 레이어 패킷을 전부 파싱할 필요 없이, LMT 의 정보와 링크 레이어 패킷 헤더의 SID 정보를 이용하여, 링크 레이어 패킷들을 필터링할 수 있다.
context_id 필드는 RDT 내의 CID(context id) 에 대한 레퍼런스를 제공할 수 있다. RDT 의 CID 정보는 해당되는 압축 IP 패킷 스트림에 대한 컨텍스트 ID 를 나타낼 수 있다. RDT 는 해당 압축 IP 패킷 스트림에 대한 컨텍스트 정보들을 제공할 수 있다. 본 필드를 통해 RDT 와 LMT 가 연관될 수 있다.
전술한, 본 발명의 시그널링 정보/테이블의 실시예들에 있어서, 각각의 필드, 엘레멘트, 속성들은 생략되거나 다른 필드로 대체될 수 있으며, 실시예에 따라 추가적인 필드, 엘레멘트, 속성들이 추가될 수도 있다.
본 발명의 일 실시예에서, 한 서비스의 서비스 컴포넌트들이 복수개의 ROUTE 세션을 통해 전달될 수 있다. 이 경우, SLT 의 부트스트랩 정보를 통하여 SLS 가 획득될 수 있다. 이 SLS 의 USBD 를 통해 S-TSID 와 MPD 가 레퍼런싱될 수 있다. S-TSID 는 SLS 가 전달되고 있는 ROUTE 세션 뿐 아니라, 서비스 컴포넌트들이 전달되고 있는 다른 ROUTE 세션에 대한 전송 세션 디스크립션 정보 또한 기술할 수 있다. 이를 통해 복수개의 ROUTE 세션을 통해 전달되는 서비스 컴포넌트들이 모두 수집될 수 있다. 이러한 사항은 한 서비스의 서비스 컴포넌트들이 복수개의 MMTP 세션을 통해 전달되는 경우에도 유사하게 적용될 수 있다. 참고로, 하나의 서비스 컴포넌트는 복수개의 서비스에 의해 동시에 사용될 수도 있다.
본 발명의 또 다른 실시예에서, ESG 서비스에 대한 부트스트래핑은 방송망 또는 브로드밴드에 의해 수행될 수 있다. 브로드밴드를 통한 ESG 획득을 통해, SLT 의 URL 정보가 활용될 수 있다. 이 URL 로 ESG 정보 등이 요청될 수 있다.
본 발명의 또 다른 실시예에서, 한 서비스의 서비스 컴포넌트가 하나는 방송망으로 하나는 브로드밴드로 전달될 수 있다(하이브리드). S-TSID 는 방송망으로 전달되는 컴포넌트들에 대해 기술해, ROUTE 클라이언트가 원하는 서비스 컴포넌트들을 획득케 할 수 있다. 또한 USBD 는 베이스 패턴 정보를 가지고 있어, 어느 세그먼트들이(어느 컴포넌트들이) 어느 경로로 전달되는지 기술할 수 있다. 따라서 수신기는 이를 이용해, 브로드밴드 서버로 요청해야될 세그먼트는 무엇인지, 방송 스트림에서 찾아야될 세그먼트는 무엇인지 알 수 있다.
본 발명의 또 다른 실시예에서, 서비스에 대한 스케일러블(scalable) 코딩이 수행될 수 있다. USBD 는 해당 서비스를 렌더링하기 위해 필요한 모든 캐패빌리티 정보를 가질 수 있다. 예를 들어 한 서비스가 HD 또는 UHD 로 제공되는 경우, USBD 의 캐패빌리티 정보는 “HD 또는 UHD” 값을 가질 수 있다. 수신기는 MPD 를 이용하여 UHD 또는 HD 서비스를 렌더링하기 위하여 어느 컴포넌트가 재생되어야 하는지 알 수 있다.
본 발명의 또 다른 실시예에서, SLS 를 전달하는 LCT 채널로 전달되는 LCT 패킷들의 TOI 필드를 통해, 해당 LCT 패킷들이 어느 SLS 프래그먼트를 전달하고 있는지(USBD, S-TSID, MPD 등..) 가 식별될 수 있다.
본 발명의 또 다른 실시예에서, 앱 기반 인핸스먼트/ 앱 기반 서비스에 사용될 앱 컴포넌트들은 NRT 컴포넌트로서 방송망을 통해 전달되거나 브로드밴드를 통해 전달될 수 있다. 또한 앱 기반 인핸스먼트에 대한 앱 시그널링은 SLS 와 함께 전달되는 AST (Application Signaling Table) 에 의해 수행될 수 있다. 또한 앱이 수행할 동작에 대한 시그널링인 이벤트는 SLS 와 함께 EMT (Event Message Table) 형태로 전달되거나, MPD 내에 시그널링되거나, DASH 레프리젠테이션 내에 box 형태로 인밴드(in-band) 시그널링될 수 있다. AST, EMT 등은 브로드밴드를 통해 전달될 수도 있다. 수집된 앱 컴포넌트들과 이러한 시그널링 정보들을 이용해 앱 기반 인핸스먼트 등이 제공될 수 있다.
본 발명의 또 다른 실시예에서, 긴급 경보를 위해 CAP 메시지가 전술한 LLS 테이블에 포함되어 제공될 수 있다. 긴급 경보를 위한 리치 미디어(Rich Media) 컨텐츠 역시 제공될 수 있다. 리치 미디어는 CAP 메시지에 의해 시그널링될 수 있으며, 리치 미디어가 존재하는 경우 이는 SLT 에 의해 시그널링되는 EAS 서비스로서 제공될 수 있다.
본 발명의 또 다른 실시예에서, MMT 프로토콜에 따라 리니어 서비스 컴포넌트들이 방송망을 통해 전달될 수 있다. 이 경우 해당 서비스에 대한 NRT 데이터(예를 들어 앱 컴포넌트)들은 ROUTE 프로토콜에 따라 방송망을 통해 전달될 수 있다. 또한 해당 서비스에 대한 데이터가 브로드밴드를 통해 전달될 수도 있다. 수신기는 SLT 의 부트스트랩 정보를 이용해 SLS 를 전달하는 MMTP 세션에 접근할 수 있다. MMT 에 따른 SLS 의 USBD 는 MP 테이블을 레퍼런싱하여, 수신기가 MMT 프로토콜에 따라 전달되는 MPU 로 포맷된 리니어 서비스 컴포넌트들을 획득케 할 수 있다. 또한, USBD 는 S-TSID 를 더 레퍼런싱하여, 수신기가 ROUTE 프로토콜에 따라 전달되는 NRT 데이터를 획득케 할 수 있다. 또한, USBD 는 MPD 를 더 레퍼런싱하여, 브로드밴드를 통해 전달되는 데이터에 대한 재생 디스크립션을 제공할 수 있다.
본 발명의 또 다른 실시예에서, 수신기는 그 컴패니언 디바이스에 스트리밍 컴포넌트 및/또는 파일 컨텐트 아이템(파일 등)을 획득할 수 있는 로케이션 URL 정보를, 웹소켓 등의 방법을 통해 전달할 수 있다. 컴패니언 디바이스의 어플리케이션은 이 URL 로 HTTP GET 등을 통해 요청하여 해당 컴포넌트, 데이터 등을 획득할 수 있다. 그 밖에 수신기는 시스템 타임 정보, 긴급 경보 정보 등의 정보를 컴패니언 디바이스 측에 전달할 수 있다.
도 8은 본 발명의 일 실시예에 따른 차세대 방송 서비스에 대한 방송 신호 송신 장치의 구조를 나타낸다.
본 발명의 일 실시예에 따른 차세대 방송 서비스에 대한 방송 신호 송신 장치는 인풋 포맷 블록 (Input Format block) (1000), BICM (bit interleaved coding & modulation) 블록(1010), 프레임 빌딩 블록 (Frame building block) (1020), OFDM (orthogonal frequency division multiplexing) 제너레이션 블록 (OFDM generation block)(1030), 및 시그널링 생성 블록(1040)을 포함할 수 있다. 방송 신호 송신 장치의 각 블록의 동작에 대해 설명한다.
본 발명의 일 실시예에 따른 입력 데이터는 IP 스트림/패킷 및 MPEG2-TS이 주요 입력 포맷이 될 수 있으며, 다른 스트림 타입은 일반 스트림으로 다루어진다.
인풋 포맷 블록(1000)은 각각의 입력 스트림을 독립적인 코딩 및 변조가 적용되는 하나 또는 다수의 데이터 파이프로 디멀티플렉싱 할 수 있다. 데이터 파이프는 견고성(robustness) 제어를 위한 기본 단위이며, 이는 QoS (Quality of Service)에 영향을 미친다. 하나 또는 다수의 서비스 또는 서비스 컴포넌트가 하나의 데이터 파이프에 의해 전달될 수 있다. 데이터 파이프는 하나 또는 다수의 서비스 또는 서비스 컴포넌트를 전달할 수 있는 서비스 데이터 또는 관련 메타데이터를 전달하는 물리 계층(physical layer)에서의 로지컬 채널이다.
QoS가 본 발명의 일 실시예에 따른 차세대 방송 서비스에 대한 방송 신호 송신 장치에 의해 제공되는 서비스의 특성에 의존하므로, 각각의 서비스에 해당하는 데이터는 서로 다른 방식을 통해 처리되어야 한다.
BICM 블록(1010)은 MIMO가 적용되지 않는 프로파일 (또는 시스템)에 적용되는 처리 블록 및/또는 MIMO가 적용되는 프로파일(또는 시스템)의 처리 블록을 포함할 수 있으며, 각각의 데이터 파이프를 처리하기 위한 복수의 처리 블록을 포함할 수 있다.
MIMO가 적용되지 않는 BICM 블록의 처리 블록은 데이터 FEC 인코더, 비트 인터리버, 컨스텔레이션 매퍼(mapper), SSD (signal space diversity) 인코딩 블록, 타임 인터리버를 포함할 수 있다. MIMO가 적용되는 BICM 블록의 처리 블록은 셀 워드 디멀티플렉서 및 MIMO 인코딩 블록을 더 포함한다는 점에서 MIMO가 적용되지 않는 BICM의 처리 블록과 구별된다.
데이터 FEC 인코더는 외부 코딩(BCH) 및 내부 코딩(LDPC)을 이용하여 FECBLOCK 절차를 생성하기 위해 입력 BBF에 FEC 인코딩을 실행한다. 외부 코딩(BCH)은 선택적인 코딩 방법이다. 비트 인터리버는 데이터 FEC 인코더의 출력을 인터리빙하여 LDPC 코드 및 변조 방식의 조합으로 최적화된 성능을 달성할 수 있다. 컨스텔레이션 매퍼는 QPSK, QAM-16, 불균일 QAM (NUQ-64, NUQ-256, NUQ-1024) 또는 불균일 컨스텔레이션 (NUC-16, NUC-64, NUC-256, NUC-1024)을 이용해서 비트 인터리버 또는 셀 워드 디멀티플렉서로부터의 셀 워드를 변조하여 파워가 정규화된 컨스텔레이션 포인트를 제공할 수 있다. NUQ가 임의의 형태를 갖는 반면, QAM-16 및 NUQ는 정사각형 모양을 갖는 것이 관찰된다. NUQ 및 NUC는 모두 각 코드 레이트(code rate)에 대해 특별히 정의되고, PLS2 데이터의 파라미터 DP_MOD에 의해 시그널링 된다. 타임 인터리버는 데이터 파이프 레벨에서 동작할 수 있다. 타임 인터리빙의 파라미터는 각각의 데이터 파이프에 대해 다르게 설정될 수 있다.
본 발명의 타임 인터리버는 BICM 체인(BICM chain) 블록과 프레임 빌더(Frame Builder) 사이에 위치할 수 있다. 이 경우, 본 발명의 타임 인터리버는 PLP (Physical Layer Pipe) 모드에 따라 컨볼루션 인터리버(Convolution Interleaver, CI)와 블록 인터리버(Block Interleaver, BI)를 선택적으로 사용하거나, 모두 사용할 수 있다. 본 발명의 일 실시예에 따른 PLP는 상술한 DP와 동일한 개념으로 사용되는 피지컬 패스(physical path)로서, 호칭은 설계자의 의도에 따라 변경 가능하다. 본 발명의 일 실시예에 따른 PLP 모드는 방송 신호 송신기 또는 방송 신호 송신 장치에서 처리하는 PLP 개수에 따라 싱글 PLP(single PLP) 모드 또는 멀티플 PLP(multiple PLP)모드를 포함할 수 있다. 본 발명에서는 PLP 모드에 따라 서로 다른 타임 인터리빙 방법을 적용하는 타임 인터리빙을 하이브리드 타임 인터리빙(Hybrid Time Interleaving)이라 호칭할 수 있다.
하이브리드 타임 인터리버는 블록 인터리버(BI)와 컨볼루션 인터리버(CI)를 포함할 수 있다. PLP_NUM=1인 경우, 블록 인터리버는 적용되지 않고(블록인터리버 오프(off)), 컨볼루션 인터리버만 적용된다. PLP_NUM>1인 경우, 블록 인터리버와 컨볼루션 인터리버가 모두 적용(블록 인터리버 온(on))될 수 있다. PLP_NUM>1인 경우 적용되는 컨볼루션 인터리버의 구조 및 동작은 PLP_NUM=1인 경우 적용되는 컨볼루션 인터리버의 구조 및 동작과 다를 수 있다. 하이브리드 타임 디인터리버는 상술한 하이브리드 타임 인터리버의 역동작에 상응하는 동작을 수행할 수 있다.
셀 워드 디멀티플렉서는 MIMO 처리를 위해 단일 셀 워드 스트림을 이중 셀 워드 스트림으로 분리하는 데 사용된다. MIMO 인코딩 블록은 MIMO 인코딩 방식을 이용해서 셀 워드 디멀티플렉서의 출력을 처리할 수 있다. 본 발명의 MIMO 인코딩 방식은 수신기 측에서의 비교적 작은 복잡도 증가로 용량 증가를 제공하기 위한 FR-SM (full-rate spatial multiplexing)으로 정의 될 수 있다. MIMO 처리는 데이터 파이프 레벨에서 적용된다. 컨스텔레이션 매퍼 출력의 페어(pair, 쌍)인 NUQ (e1,i 및 e2,i)는 MIMO 인코더의 입력으로 공급되면 MIMO 인코더 출력 페어(pair, 쌍)(g1,i 및 g2,i)은 각각의 송신 안테나의 동일한 캐리어 k 및 OFDM 심볼 l에 의해 전송된다.
프레임 빌딩 블록(1020)은 하나의 프레임 내에서 입력 데이터 파이프의 데이터 셀을 OFDM 심볼로 매핑하고 주파수 영역 다이버시티를 위해 주파수 인터리빙을 수행할 수 있다.
본 발명의 일 실시예에 따른 프레임은 프리앰블, 하나 이상의 FSS (frame signaling symbol), 노멀 데이터 심볼로 분리된다. 프리앰블은 신호의 효율적인 송신 및 수신을 위한 기본 전송 파라미터의 집합을 제공하는 특별한 심볼이다. 프리앰블은 프레임의 기본 전송 파라미터 및 전송 타입을 시그널링 할 수 있다. 특히 프리앰블은 EAS (emergency alert service)이 현재 프레임에 제공되는지 여부를 지시할 수 있다. FSS의 주된 목적은 PLS 데이터를 전달하는 것이다. 고속 동기화 및 채널 추정, PLS 데이터의 고속 디코딩을 위해, FSS는 노멀 데이터 심볼보다 고밀도의 파일럿 패턴을 갖는다.
프레임 빌딩 블록은 데이터 파이프와 해당하는 PLS 데이터 사이의 타이밍을 조절하여 송신기 측에서 데이터 파이프와 해당하는 PLS 데이터 간의 동시성(co-time)을 보장하기 위한 딜레이 컴펜세이션(delay compensation, 지연보상) 블록, PLS, 데이터 파이프, 보조 스트림, 및 더미 셀 등을 프레임 내에서 OFDM 심볼의 액티브(active) 캐리어에 매핑하기 위한 셀 매퍼 (cell mapper) 및 프리퀀시 인터리버 (frequency interleaver)를 포함할 수 있다.
프리퀀시 인터리버는 셀 매퍼로부터 의해 수신된 데이터 셀을 랜덤하게 인터리빙하여 주파수 다이버시티를 제공할 수 있다. 또한, 프리퀀시 인터리버는 단일 프레임에서 최대의 인터리빙 이득을 얻기 위해 다른 인터리빙 시드(seed) 순서를 이용하여 두 개의 순차적인 OFDM 심볼로 구성된 OFDM 심볼 페어(pair, 쌍)에 대응하는 데이터 또는 OFDM 심볼 하나에 대응하는 데이터에 대해 동작할 수 있다.
OFDM 제너레이션 블록(1030)은 프레임 빌딩 블록에 의해 생성된 셀에 의해 OFDM 캐리어를 변조하고, 파일럿을 삽입하고, 전송을 위한 시간 영역 신호를 생성한다. 또한, 해당 블록은 순차적으로 가드 인터벌을 삽입하고, PAPR 감소 처리를 적용하여 최종 RF 신호를 생성한다.
시그널링 생성 블록(1040)은 각 기능 블록의 동작에 사용되는 물리 계층(physical layer) 시그널링 정보를 생성할 수 있다. 본 발명의 일 실시예에 따른 시그널링 정보는 PLS 데이터를 포함할 수 있다. PLS는 수신기에서 피지컬 레이어(physical layer) 데이터 파이프에 접속할 수 있는 수단을 제공한다. PLS 데이터는 PLS1 데이터 및 PLS2 데이터로 구성된다.
PLS1 데이터는 PLS2 데이터를 디코딩하는 데 필요한 파라미터뿐만 아니라 시스템에 관한 기본 정보를 전달하는 고정된 사이즈, 코딩, 변조를 갖는 프레임에서 FSS로 전달되는 PLS 데이터의 첫 번째 집합이다. PLS1 데이터는 PLS2 데이터의 수신 및 디코딩을 가능하게 하는 데 요구되는 파라미터를 포함하는 기본 송신 파라미터를 제공한다. PLS2 데이터는 데이터 파이프 및 시스템에 관한 더욱 상세한 PLS 데이터를 전달하며 FSS로 전송되는 PLS 데이터의 두 번째 집합이다. PLS2 시그널링은 PLS2 스태틱(static, 정적) 데이터(PLS2-STAT 데이터) 및 PLS2 다이나믹(dynamic, 동적) 데이터(PLS2-DYN 데이터)의 두 종류의 파라미터로 더 구성된다. PLS2 스태틱(static, 정적) 데이터는 프레임 그룹의 듀레이션 동안 스태틱(static, 정적)인 PLS2 데이터이고, PLS2 다이나믹(dynamic, 동적) 데이터는 프레임마다 다이나믹(dynamic, 동적)으로 변화하는 PLS2 데이터이다.
PLS2 데이터는 FIC_FLAG 정보를 포함할 수 있다. FIC (Fast Information Channel)은 빠른 서비스 획득 및 채널 스캔(fast service acquisition and channel scanning)을 가능하게 하는 크로스-레이어 (cross-layer) 정보를 전송하기 위한 데디케이티드 채널(dedicated channel)이다. FIC_FLAG 정보는 1비트의 필드로서, FIC((fast information channel, 고속 정보 채널)가 현 프레임 그룹에서 사용되는지 여부를 나타낸다. 해당 필드의 값이 1로 설정되면, FIC는 현 프레임에서 제공된다. 해당 필드의 값이 0으로 설정되면, FIC는 현 프레임에서 전달되지 않는다.BICM 블록(1010)은 PLS 데이터의 보호를 위한 BICM 블록을 포함할 수 있다. PLS 데이터의 보호를 위한 BICM 블록은 PLS FEC 인코더, 비트 인터리버, 및 컨스텔레이션 매퍼를 포함할 수 있다.
PLS FEC 인코더는 PLS1 데이터 및 PLS2 데이터를 스크램블링하기 위한 스크램블러, PLS 보호를 위한 쇼트닝된 BCH 코드를 이용하여 스크램블링된 PLS 1,2 데이터에 외부 인코딩을 수행하고, BCH 인코딩 후에 제로 비트를 삽입하기 위한 BCH 인코딩/제로 삽입 블록, LDPC 코드를 이용하여 인코딩을 수행하기 위한 LDPC 인코딩 블록, 및 LDPC 패리티 펑처링(puncturing) 블록을 포함할 수 있다. PLS1 데이터에 대해서만, 제로 삽입의 출력 비트가 LDPC 인코딩 전에 퍼뮤테이션(permutation) 될 수 있다.. 비트 인터리버는 각각의 쇼트닝 및 펑처링된 PLS1 데이터 및 PLS2 데이터를 인터리빙하고, 컨스텔레이션 매퍼는 비트 인터리빙된 PLS1 데이터 및 PLS2 데이터를 컨스텔레이션에 매핑할 수 있다.
본 발명의 일 실시예에 따른 차세대 방송 서비스에 대한 방송 신호 수신 장치는 도 8을 참조하여 설명한 차세대 방송 서비스에 대한 방송 신호 송신 장치의 역과정을 수행할 수 있다.
본 발명의 일 실시예에 따른 차세대 방송 서비스에 대한 방송 신호 수신 장치는 방송 신호 송신 장치에 의해 실행되는 절차의 역과정에 해당하는 복조를 실행하는 동기 및 복조 모듈 (synchronization & demodulation module), 입력 신호 프레임을 파싱하고, 사용자에 의해 선택된 서비스가 전송되는 데이터를 추출하는 프레임 파싱 모듈 (frame parsing module), 입력 신호를 비트 영역 데이터로 변환한 후, 필요에 따라 비트 영역 데이터들을 디인터리빙하고, 전송 효율을 위해 적용된 매핑에 대한 디매핑을 실행하고, 디코딩을 통해 전송 채널에서 발생한 에러를 정정하는 디매핑 및 디코딩 모듈 (demapping & decoding module), 방송 신호 송신 장치에 의해 적용되는 다양한 압축/신호 처리 절차의 역과정을 실행하는 출력 프로세서 (output processor) 및 동기 및 복조 모듈에 의해 복조된 신호로부터 PLS 정보를 획득, 처리하는 시그널링 디코딩 모듈 (signaling decoding module)을 포함할 수 있다. 프레임 파싱 모듈, 디매핑 및 디코딩 모듈, 출력 프로세서는 시그널링 디코딩 모듈로부터 출력된 PLS 데이터를 이용하여 그 기능을 실행할 수 있다.
이하 타임 인터리버를 설명한다. 본 발명의 일 실시예에 따른 타임 인터리빙 그룹은 하나의 프레임에 직접 매핑되거나 PI개의 프레임에 걸쳐 확산된다. 또한 각각의 타임 인터리빙 그룹은 하나 이상(NTI개)의 타임 인터리빙 블록으로 분리된다. 여기서 각각의 타임 인터리빙 블록은 타임 인터리버 메모리의 하나의 사용에 해당한다. 타임 인터리빙 그룹 내의 타임 인터리빙 블록은 서로 다른 개수의 XFECBLOCK을 포함할 수 있다. 일반적으로, 타임 인터리버는 프레임 생성 과정 이전에 데이터 파이프 데이터에 대한 버퍼로도 작용될 수 있다.
본 발명의 일 실시예에 따른 타임 인터리버는 트위스트된 행-열 블록 인터리버이다. 본 발명의 일 실시예에 따른 트위스트된 행-열 블록 인터리버는 첫 번째 XFECBLOCK을 타임 인터리빙 메모리의 첫 번째 열에 열 방향으로 기입하고, 두 번째 XFECBLOCK은 다음 열에 기입하고 동일한 방식으로 타임 인터리빙 블록 내의 나머지 XFECBLOCK들을 기입할 수 있다. 그리고 인터리빙 어레이에서, 셀은 첫 번째 행으로부터 (가장 왼쪽 열을 시작으로 행을 따라 오른쪽으로) 마지막 행까지 대각선 방향 판독될 수 있다. 이 경우, 타임 인터리빙 블록 내의 XFECBLOCK 개수에 상관없이 수신기 측에서 단일 메모리 디인터리빙을 달성하기 위해, 트위스트된 행-열 블록 인터리버용 인터리빙 어레이는 버츄얼 XFECBLOCK을 타임 인터리빙 메모리에 삽입할 수 있다. 이 경우, 수신기 측에서 단일 메모리 디인터리빙을 달성하기 위해 버츄얼 XFECBLOCK은 다른 XFECBLOCK 가장 앞에 삽입되어야 한다.
도 9는 본 발명의 일 실시예에 따른 타임 인터리버의 라이팅 (writing) 오퍼레이션을 나타낸다.
도면의 왼쪽에 도시된 블록은 TI 메모리 어드레스 어레이(memory address array)를 나타내며, 도면의 오른쪽에 도시된 블록은 연속한 두 개의 TI 그룹들에 대해 각각 버츄얼(virtual) FEC 블록들이 TI 그룹의 가장 앞에 각각 2개 및 1개가 삽입된 경우의 라이팅 (writing) 오퍼레이션을 나타낸다.
본 발명의 일 실시예에 따른 프리퀀시 인터리버는 심볼 페어에 대응하는 데이터들에 적용하기 위한 인터리빙 어드레스를 생성하기 위한 인터리빙 어드레스 제너레이터를 포함할 수 있다.
도 10은 본 발명의 일 실시예에 따른 프리퀀시 인터리버에 포함된 각 FFT 모드에 따른 메인-PRBS 제너레이터와 서브-PRBS 제너레이터로 구성된 인터리빙 어드레스 제너레이터의 블록 다이아그램을 나타낸 도면이다.
(a)는 8K FFT 모드에 대한 인터리빙 어드레스 제너레이터의 블록 다이아그램을 나타내고, (b)는 16K FFT 모드에 대한 인터리빙 어드레스 제너레이터의 블록 다이아그램을 나타내고, (c)는 32K FFT 모드에 대한 인터리빙 어드레스 제너레이터의 블록 다이아그램을 나타낸다.
OFDM 심볼 페어에 대한 인터리빙 과정은 하나의 인터리빙 시퀀스를 이용하며 다음과 같이 설명된다. 우선, 하나의 OFDM 심볼 Om,l 에서 인터리빙 될 사용 가능한 데이터 셀(셀 매퍼로부터의 출력 셀)은 l = 0, …, Nsym-1 에 대해 Om,l =[xm,l,0,…,xm,l,p,…,xm,l,Ndata-1] 로 정의된다. 이때 xm,l,p 는 m번째 프레임에서 l 번째 OFDM 심볼의 p 번째 셀이고, Ndata 는 데이터 셀의 개수이다. 프레임 시그널링 심볼에 대해 Ndata = CFSS 이고, 노멀 데이터에 대해 Ndata = Cdata 이며, 프레임 엣지 심볼에 대해 Ndata = CFES 이다. 또한, 인터리빙된 데이터 셀은 l = 0, …, Nsym-1 에 대해 Pm,l =[vm,l,0,…,vm,l,Ndata-1] 로 정의된다.
OFDM 심볼 페어에 대해, 인터리빙 된 OFDM 심볼 페어는 각 페어의 첫 번째 OFDM 심볼에 대해 vm,l,Hi(p) = xm,l,p, p=0,…,Ndata-1 로 주어지고, 각 페어의 두 번째 OFDM 심볼에 대해 vm,l,p = xm,l,Hi(p), p=0,…,Ndata-1 로 주어진다. 이때 Hl(p) 는 PRBS 제너레이터 및 서브-PRBS 제너레이터의 사이클릭 시프트 값(심볼 오프셋)을 기반으로 생성된 인터리빙 어드레스이다.
도 11 은 본 발명의 일 실시예에 따른 하이브리드 방송 수신 장치를 나타낸 도면이다.
하이브리드 방송 시스템은 지상파 방송망 및 인터넷 망을 연동하여 방송 신호를 송신할 수 있다. 하이브리드 방송 수신 장치는 지상파 방송망 (브로드캐스트) 및 인터넷 망 (브로드밴드)을 통해 방송 신호를 수신할 수 있다. 하이브리드 방송 수신 장치는 피지컬 레이어 모듈, 피지컬 레이어 I/F 모듈, 서비스/컨텐트 획득 컨트롤러, 인터넷 억세스 제어 모듈, 시그널링 디코더, 서비스 시그널링 매니저, 서비스 가이드 매니저, 어플리케이션 시그널링 매니저, 경보 신호 매니저, 경보 신호 파서, 타겟팅 신호 파서, 스트리밍 미디어 엔진, 비실시간 파일 프로세서, 컴포넌트 싱크로나이저, 타겟팅 프로세서, 어플리케이션 프로세서, A/V 프로세서, 디바이스 매니저, 데이터 셰어링 및 커뮤니케이션 유닛, 재분배 모듈, 컴패니언 디바이스 및/또는 외부 모듈들을 포함할 수 있다.
피지컬 레이어 모듈 (Physical Layer Module(s))은 지상파 방송 채널을 통하여 방송 관련 신호를 수신 및 처리하고 이를 적절한 형태로 변환하여 피지컬 레이어 I/F 모듈로 전달할 수 있다.
피지컬 레이어 I/F 모듈 (Physical Layer I/F Module(s))은 Physical layer Module로 부터 획득된 정보로부터 IP 데이터 그램을 획득할 수 있다. 또한, 피지컬 레이어 I/F 모듈은 획득된 IP 데이터그램 등을 특정 프레임(예를 들어 RS Frame, GSE 등) 으로 변환할 수 있다.
서비스/컨텐트 획득 컨트롤러 (Service/Content Acquisition Controller)는 broadcast 및/또는 broadband 채널을 통한 서비스, 콘텐츠 및 이와 관련된 시그널링 데이터 획득을 위한 제어 동작을 수행할 수 있다.
인터넷 억세스 제어 모듈(Internet Access Control Module(s))은 Broadband 채널을 통하여 서비스, 콘텐츠 등을 획득하기 위한 수신기 동작을 제어할 수 있다.
시그널링 디코더 (Signaling Decoder)는 broadcast 채널 등을 통하여 획득한 시그널링 정보를 디코딩할 수 있다.
서비스 시그널링 매니저 (Service Signaling Manager)는 IP 데이터 그램 등으로부터 서비스 스캔 및 서비스/콘텐츠 등과 관련된 시그널링 정보 추출, 파싱 및 관리할 수 있다.
서비스 가이드 매니저 (Service Guide Manager)는 IP 데이터 그램 등으로 부터 announcement 정보를 추출하고 SG(Service Guide) database 관리하며, service guide를 제공할 수 있다.
어플리케이션 시그널링 매니저 (App Signaling Manager)는 IP 데이터 그램 등으로 부터 애플리케이션 획득 등과 관련된 시그널링 정보 추출, 파싱 및 관리할 수 있다.
경보 신호 파서 (Alert Signaling Parser)는 IP 데이터 그램 등으로 부터 alerting 관련된 시그널링 정보 추출 및 파싱, 관리할 수 있다.
타겟팅 신호 파서 (Targeting Signaling Parser)는 IP 데이터 그램 등으로 부터 서비스/콘텐츠 개인화 혹은 타겟팅 관련된 시그널링 정보 추출 및 파싱, 관리할 수 있다. 또한 타겟팅 신호 파서는 파싱된 시그널링 정보를 타겟팅 프로세서로 전달할 수 있다.
스트리밍 미디어 엔진 (Streaming Media Engine)은 IP 데이터그램 등으로 부터 A/V 스트리밍을 위한 오디오/비디오 데이터 추출 및 디코딩할 수 있다.
비실시간 파일 프로세서 (Non-real time File Processor)는 IP 데이터그램 등으로 부터 NRT 데이터 및 application 등 파일 형태 데이터 추출 및 디코딩, 관리할 수 있다.
컴포넌트 싱크로나이저 (Component Synchronizer)는 스트리밍 오디오/비디오 데이터 및 NRT 데이터 등의 콘텐츠 및 서비스를 동기화할 수 있다.
타겟팅 프로세서 (Targeting Processor)는 타겟팅 신호 파서로부터 수신한 타겟팅 시그널링 데이터에 기초하여 서비스/콘텐츠의 개인화 관련 연산을 처리할 수 있다.
어플리케이션 프로세서 (App Processor)는 application 관련 정보 및 다운로드 된 application 상태 및 디스플레이 파라미터 처리할 수 있다.
A/V 프로세서 (A/V Processor)는 디코딩된 audio 및 video data, application 데이터 등을 기반으로 오디오/비디오 랜더링 관련 동작을 수행할 수 있다.
디바이스 매니저 (Device Manager)는 외부 장치와의 연결 및 데이터 교환 동작을 수행할 수 있다. 또한 디바이스 매니저는 연동 가능한 외부 장치의 추가/삭제/갱신 등 외부 장치에 대한 관리 동작을 수행할 수 있다.
데이터 셰어링 및 커뮤니케이션 유닛 (Data Sharing & Comm.)은 하이브리드 방송 수신기와 외부 장치 간의 데이터 전송 및 교환에 관련된 정보를 처리할 수 있다. 여기서, 전송 및 교환 가능한 데이터는 시그널링, A/V 데이터 등이 될 수 있다.
재분배 모듈 (Redistribution Module(s))은 방송 수신기가 지상파 방송 신호를 직접 수신 하지 못하는 경우 차세대 방송 서비스 및 콘텐츠에 대한 관련 정보를 획득할 수 있다. 또한 재분배 모듈은 방송 수신기가 지상파 방송 신호를 직접 수신 하지 못하는 경우 차세대 방송 시스템에 의한 방송 서비스 및 콘텐츠 획득을 지원할 수 있다.
컴패니언 디바이스 (Companion device(s))는 본 발명의 방송 수신기에 연결되어 오디오, 비디오, 또는 시그널링 포함데이터를 공유할 수 있다. 컴패니언 디바이스는 방송 수신기와 연결된 외부 장치를 지칭할 수 있다.
외부 모듈 (External Management)는 방송 서비스/콘텐츠 제공을 위한 모듈을 지칭할 수 있으며 예를들어 차세대 방송 서비스/컨텐츠 서버가 될 수 있다. 외부 모듈은 방송 수신기와 연결된 외부 장치를 지칭할 수 있다.
도 12 는 본 발명의 일 실시예에 따른 DASH 기반 적응형(Adaptive) 스트리밍 모델의 전반적인 동작을 도시한 도면이다.
본 발명은 HFR 컨텐트를 제공하는 차세대 미디어 서비스 제공 방안을 제안한다. 피사체의 자연스러운 움직임을 제공하는 HFR 컨텐츠의 프레임 레이트 정보가 제공되는 경우에 있어, 본 발명은 이와 관련한 메타데이터 및 그 전달방안을 제안한다. 이를 통해 적응적으로 컨텐트가 조정될 수 있고, 컨텐트가 개선된 화질로 제공될 수 있다.
UHD 방송 등의 경우, 기존의 컨텐트들이 표현하지 못했던 밝기가 표현될 수 있어, 고도의 현장감이 제공될 수 있다. HDR 의 도입으로 컨텐트 영상의 밝기의 표현 범위가 증가되어, 컨텐트의 장면별 특성의 차이가 이전보다 커질 수 있다. 또한 HDR과 함께 HFR 컨텐트를 효과적으로 디스플레이에 나타내기 위하여, 메타데이터가 정의되고 이 것들이 수신기로 전달될 수 있다. 수신기에서는 전달받은 메타데이터들을 기반으로, 서비스 프로바이더가 의도한 바에 따라 또는 수신기의 성능에 따라 적절하게 컨텐트의 영상이 제공될 수 있다.
본 발명은 ISOBMFF 등의 미디어 파일을 기반으로, HFR 컨텐츠를 제공하는 컨텐트의 비디오 트랙, 비디오 샘플 등과 관련된 프레임 레이트 파라미터를 시그널링하는 방안을 제안한다. 본 발명은 비디오 트랙(스트림)과 관련된 프레임 레이트 파라미터를 저장하고 시그널링하는 방안을 제안한다. 본 발명은 비디오 샘플, 비디오 샘플 그룹 또는 비디오 샘플 엔트리에 관련된 프레임 레이트 파라미터를 저장하고 시그널링하는 방안을 제안한다. 본 발명은 HFR 컨텐츠의 프레임 레이트 관련 정보를 포함하는 SEI NAL 유닛을 저장하고 시그널링하는 방안을 제안한다.
본 발명에 따른 HFR 컨텐츠의 프레임 레이트 정보의 저장/전달 방안은, HFR를 지원하는 컨텐트의 생성에 있어 활용될 수 있다. 즉, HFR를 지원하는 컨텐트에 대한 미디어 파일의 생성, MPEG DASH 상에서 동작하는 DASH 세그먼트의 생성 또는 MPEG MMT 상에서 동작하는 MPU 생성시에, 본 발명의 방안이 활용될 수 있다. 수신기(DASH 클라이언트, MMT 클라이언트 등을 포함)는, 디코더 등에서 프레임 레이트 정보(플래그, 파라미터, 박스 등등)를 획득하여, 이를 기반으로 해당 컨텐트를 효과적으로 제공할 수 있다.
후술할 프레임 레이트 컨피규레이션 박스 또는 프레임 레이트 관련 플래그 정보들은, 미디어 파일, DASH 세그먼트 또는 MMT MPU 내의 여러 박스들에 동시에 존재할 수도 있다. 이 경우, 상위 박스에서 정의된 프레임 레이트 정보들은 하위 박스에서 정의된 프레임 레이트 정보들에 의해 오버라이드(override) 될 수 있다. 예를 들어 tkhd 박스와 vmhd 박스에 프레임 레이트 정보가 동시에 포함되는 경우, tkhd 박스의 프레임 레이트 정보는 vmhd 박스의 프레임 레이트 정보로 오버라이드될 수 있다.
도시된 실시예에 따른 DASH 기반 적응형 스트리밍 모델은, HTTP 서버와 DASH 클라이언트 간의 동작을 기술하고 있다. 여기서 DASH (Dynamic Adaptive Streaming over HTTP) 는, HTTP 기반 적응형 스트리밍을 지원하기 위한 프로토콜로서, 네트워크 상황에 따라 동적으로 스트리밍을 지원할 수 있다. 이에 따라 AV 컨텐트 재생이 끊김없이 제공될 수 있다.
먼저 DASH 클라이언트는 MPD 를 획득할 수 있다. MPD 는 HTTP 서버 등의 서비스 프로바이더로부터 전달될 수 있다. MPD 는 전술한 딜리버리 실시예에 따라 전달될 수도 있다. DASH 클라이언트는 MPD 에 기술된 세그먼트에의 접근 정보를 이용하여 서버로 해당 세그먼트들을 요청할 수 있다. 여기서 이 요청은 네트워크 상태를 반영하여 수행될 수 있다.
DASH 클라이언트는 해당 세그먼트를 획득한 후, 이를 미디어 엔진에서 처리하여 화면에 디스플레이할 수 있다. DASH 클라이언트는 재생 시간 및/또는 네트워크 상황 등을 실시간으로 반영하여, 필요한 세그먼트를 요청, 획득할 수 있다(Adaptive Streaming). 이를 통해 컨텐트가 끊김없이 재생될 수 있다.
MPD (Media Presentation Description) 는 DASH 클라이언트로 하여금 세그먼트를 동적으로 획득할 수 있도록 하기 위한 상세 정보를 포함하는 파일로서 XML 형태로 표현될 수 있다. 이 MPD 는 실시예에 따라 전술한 MPD 와 같을 수 있다.
DASH 클라이언트 컨트롤러(DASH Client Controller) 는 네트워크 상황을 반영하여 MPD 및/또는 세그먼트를 요청하는 커맨드를 생성할 수 있다. 또한, 이 컨트롤러는 획득된 정보를 미디어 엔진 등등의 내부 블락에서 사용할 수 있도록 제어할 수 있다.
MPD 파서(Parser) 는 획득한 MPD 를 실시간으로 파싱할 수 있다. 이를 통해, DASH 클라이언트 컨트롤러는 필요한 세그먼트를 획득할 수 있는 커맨드를 생성할 수 있게 될 수 있다.
세그먼트 파서(Parser) 는 획득한 세그먼트를 실시간으로 파싱할 수 있다. 세그먼트에 포함된 정보들에 따라 미디어 엔진 등의 내부 블락들은 특정 동작을 수행할 수 있다.
HTTP 클라이언트는 필요한 MPD 및/또는 세그먼트 등을 HTTP 서버에 요청할 수 있다. 또한 HTTP 클라이언트는 서버로부터 획득한 MPD 및/또는 세그먼트들을 MPD 파서 또는 세그먼트 파서로 전달할 수 있다.
미디어 엔진(Media Engine) 은 세그먼트에 포함된 미디어 데이터를 이용하여 컨텐트를 화면상에 표시할 수 있다. 이 때, MPD 의 정보들이 활용될 수 있다.
도 13 은 본 발명의 일 실시예에 따른 수신기의 블락 다이어그램을 도시한 도면이다.
도시된 실시예에 따른 수신기는 튜너 (Tuner), 피지컬 레이어 컨트롤러 (Physical Layer Controller), 피지컬 프레임 파서 (Physical Frame Parser), 링크 레이어 프레임 프로세서 (Link Layer Frame Processor), IP/UDP 데이터그램 필터 (IP/UDP Datagram Filter), DTV 컨트롤 엔진 (DTV Control Engine), ROUTE 클라이언트 (Route Client), 세그먼트 버퍼 컨트롤 (Segment Buffer Control), MMT 클라이언트 (MMT Client), MPU 리컨트스럭션 (MPU reconstruction), 미디어 프로세서 (Media Processor), 시그널링 파서 (Signaling Parser), DASH 클라이언트 (DASH Client), ISO BMFF 파서 (ISO BMFF Parser), 미디어 디코더 (Media Decoder) 및/또는 HTTP 억세스 클라이언트 (HTTP Access Client) 를 포함할 수 있다. 수신기의 각 세부 블락(block)들은 하드웨어인 프로세서일 수 있다.
Tuner는 지상파 방송 채널을 통하여 방송 신호를 수신 및 처리하고 이를 적절한 형태 (Physical Frame 등)로 변환할 수 있다. Physical Layer Controller는 수신하고자 하는 방송 채널의 RF 정보 등을 이용하여 Tuner, Physical Frame Parser 등의 동작을 제어할 수 있다. Physical Frame Parser는 수신된 Physical Frame을 파싱하고 이와 관련된 프로세싱을 통하여 Link Layer Frame 등을 획득할 수 있다.
Link Layer Frame Processor는 Link Layer Frame으로 부터 Link Layer signaling 등을 획득하거나 IP/UDP 데이터그램 획득하고 관련된 연산을 수행할 수 있다. IP/UDP Datagram Filter는 수신된 IP/UDP 데이터 그램들로부터 특정 IP/UDP 데이터 그램을 필터링할 수 있다. DTV Control Engine은 각 구성 간의 인터페이스를 담당하며 파라미터 등의 전달을 통해 각 구성의 동작을 제어할 수 있다.
Route Client는 실시간 오브젝트 전송을 지원하는 ROUTE (Real-Time Object Delivery over Unidirectional Transport) 패킷을 처리하고 여러 패킷들을 수집 및 처리하여 하나 이상의 ISOBMFF (ISO Base Media File Format) 오브젝트를 생성할 수 있다. Segment Buffer Control는 Route Client와 Dash Client 간의 세그먼트 (segment) 전송 관련한 버퍼를 제어할 수 있다.
MMT Client는 실시간 오브젝트 전송을 지원하는 MMT (MPEG Media Transport) 전송 프로토콜 패킷을 처리하고 여러 패킷을 수집 및 처리할 수 있다. MPU reconstruction는 MMTP 패킷으로부터 MPU (Media Processing Unit)을 재구성할 수 있다. Media Processor는 재구성된 MPU를 수집하고 처리할 수 있다.
Signaling Parser는 DTV 방송 서비스 관련 시그널링 (Link Layer/ Service Layer Signaling) 획득 및 파싱하고 이를 기반으로 채널 맵 등을 생성 및/또는 관리할 수 있다. 이 구성은 로우 레벨 시그널링, 서비스 레벨 시그널링을 처리할 수 있다.
DASH Client는 실시간 스트리밍 혹은 적응적 스트리밍 관련 연산 및 획득된 DASH Segment 등을 처리할 수 있다. ISO BMFF Parser는 ISO BMFF 오브젝트로부터 오디오/비디오의 데이터 및 관련 파라미터 등을 추출할 수 있다. Media Decoder는 수신된 audio 및 video data를 decoding 및/또는 presentation 처리할 수 있다. HTTP Access Client는 HTTP 서버로부터 특정 정보를 요청하고 요청에 대한 응답을 처리할 수 있다.
도 14 는 본 발명의 일 실시예에 따른 미디어 파일의 구조를 도시한 도면이다.
오디오 또는 비디오 등의 미디어 데이터를 저장하고 전송하기 위하여, 정형화된 미디어 파일 포맷이 정의될 수 있다. 실시예에 따라 본 발명의 미디어 파일은 ISO BMFF (ISO base media file format) 를 기반으로한 파일 포맷을 가질 수 있다.
본 발명에 따른 미디어 파일은 적어도 하나 이상의 박스를 포함할 수 있다. 여기서 박스(box)는 미디어 데이터 또는 미디어 데이터에 관련된 메타데이터 등을 포함하는 데이터 블락 내지 오브젝트일 수 있다. 박스들은 서로 계층적 구조를 이룰 수 있으며, 이에 따라 데이터들이 분류되어 미디어 파일이 대용량 미디어 데이터의 저장 및/또는 전송에 적합한 형태를 띄게 될 수 있다. 또한 미디어 파일은, 사용자가 미디어 컨텐츠의 특정지점으로 이동하는 등, 미디어 정보에 접근하는데 있어 용이한 구조를 가질 수 있다.
본 발명에 따른 미디어 파일은 ftyp 박스, moov 박스 및/또는 mdat 박스를 포함할 수 있다.
ftyp 박스(파일 타입 박스)는 해당 미디어 파일에 대한 파일 타입 또는 호환성 관련 정보를 제공할 수 있다. ftyp 박스는 해당 미디어 파일의 미디어 데이터에 대한 구성 버전 정보를 포함할 수 있다. 복호기는 ftyp 박스를 참조하여 해당 미디어 파일을 구분할 수 있다.
moov 박스(무비 박스)는 해당 미디어 파일의 미디어 데이터에 대한 메타 데이터를 포함하는 박스일 수 있다. moov 박스는 모든 메타 데이터들을 위한 컨테이너 역할을 할 수 있다. moov 박스는 메타 데이터 관련 박스들 중 최상위 계층의 박스일 수 있다. 실시예에 따라 moov 박스는 미디어 파일 내에 하나만 존재할 수 있다.
mdat 박스(미디어 데이터 박스) 는 해당 미디어 파일의 실제 미디어 데이터들을 담는 박스일 수 있다. 미디어 데이터들은 오디오 샘플 및/또는 비디오 샘플들을 포함할 수 있는데, mdat 박스는 이러한 미디어 샘플들을 담는 컨테이너 역할을 할 수 있다.
실시예에 따라 전술한 moov 박스는 mvhd 박스, trak 박스 및/또는 mvex 박스 등을 하위 박스로서 더 포함할 수 있다.
mvhd 박스(무비 헤더 박스)는 해당 미디어 파일에 포함되는 미디어 데이터의 미디어 프리젠테이션 관련 정보를 포함할 수 있다. 즉, mvhd 박스는 해당 미디어 프리젠테이션의 미디어 생성시간, 변경시간, 시간규격, 기간 등의 정보를 포함할 수 있다.
trak 박스(트랙 박스)는 해당 미디어 데이터의 트랙에 관련된 정보를 제공할 수 있다. trak 박스는 오디오 트랙 또는 비디오 트랙에 대한 스트림 관련 정보, 프리젠테이션 관련 정보, 액세스 관련 정보 등의 정보를 포함할 수 있다. trak 박스는 트랙의 개수에 따라 복수개 존재할 수 있다.
trak 박스는 실시예에 따라 tkhd 박스(트랙 헤더 박스)를 하위 박스로서 더 포함할 수 있다. tkhd 박스는 trak 박스가 나타내는 해당 트랙에 대한 정보를 포함할 수 있다. tkhd 박스는 해당 트랙의 생성시간, 변경시간, 트랙 식별자 등의 정보를 포함할 수 있다.
mvex 박스(무비 익스텐드 박스)는 해당 미디어 파일에 후술할 moof 박스가 있을 수 있음을 지시할 수 있다. 특정 트랙의 모든 미디어 샘플들을 알기 위해서, moof 박스들이 스캔되어야할 수 있다.
본 발명에 따른 미디어 파일은, 실시예에 따라, 복수개의 프래그먼트로 나뉘어질 수 있다(t14010). 이를 통해 미디어 파일이 분할되어 저장되거나 전송될 수 있다. 미디어 파일의 미디어 데이터들(mdat 박스)은 복수개의 프래그먼트로 나뉘어지고, 각각의 프래그먼트는 moof 박스와 나뉘어진 mdat 박스를 포함할 수 있다. 실시예에 따라 프래그먼트들을 활용하기 위해서는 ftyp 박스 및/또는 moov 박스의 정보가 필요할 수 있다.
moof 박스(무비 프래그먼트 박스)는 해당 프래그먼트의 미디어 데이터에 대한 메타 데이터를 제공할 수 있다. moof 박스는 해당 프래그먼트의 메타데이터 관련 박스들 중 최상위 계층의 박스일 수 있다.
mdat 박스(미디어 데이터 박스)는 전술한 바와 같이 실제 미디어 데이터를 포함할 수 있다. 이 mdat 박스는 각각의 해당 프래그먼트에 해당하는 미디어 데이터들의 미디어 샘플들을 포함할 수 있다.
실시예에 따라 전술한 moof 박스는 mfhd 박스 및/또는 traf 박스 등을 하위 박스로서 더 포함할 수 있다.
mfhd 박스(무비 프래그먼트 헤더 박스)는 분할된 복수개의 프래그먼트들 간의 연관성과 관련한 정보들을 포함할 수 있다. mfhd 박스는 시퀀스 넘버(sequence number) 를 포함하여, 해당 프래그먼트의 미디어 데이터가 분할된 몇 번째 데이터인지를 나타낼 수 있다. 또한, mfhd 박스를 이용하여 분할된 데이터 중 누락된 것은 없는지 여부가 확인될 수 있다.
traf 박스(트랙 프래그먼트 박스)는 해당 트랙 프래그먼트에 대한 정보를 포함할 수 있다. traf 박스는 해당 프래그먼트에 포함되는 분할된 트랙 프래그먼트에 대한 메타데이터를 제공할 수 있다. traf 박스는 해당 트랙 프래그먼트 내의 미디어 샘플들이 복호화/재생될 수 있도록 메타데이터를 제공할 수 있다. traf 박스는 트랙 프래그먼트의 개수에 따라 복수개 존재할 수 있다.
실시예에 따라 전술한 traf 박스는 tfhd 박스 및/또는 trun 박스 등을 하위 박스로서 더 포함할 수 있다.
tfhd 박스(트랙 프래그먼트 헤더 박스)는 해당 트랙 프래그먼트의 헤더 정보를 포함할 수 있다. tfhd 박스는 전술한 traf 박스가 나타내는 트랙 프래그먼트의 미디어 샘플들에 대하여, 기본적인 샘플크기, 기간, 오프셋, 식별자 등의 정보를 제공할 수 있다.
trun 박스(트랙 프래그먼트 런 박스)는 해당 트랙 프래그먼트 관련 정보를 포함할 수 있다. trun 박스는 미디어 샘플별 기간, 크기, 재생시점 등과 같은 정보를 포함할 수 있다.
전술한 미디어 파일 내지 미디어 파일의 프래그먼트들은 세그먼트들로 처리되어 전송될 수 있다. 세그먼트에는 초기화 세그먼트(initialization segment) 및/또는 미디어 세그먼트(media segment) 가 있을 수 있다.
도시된 실시예(t14020)의 파일은, 미디어 데이터는 제외하고 미디어 디코더의 초기화와 관련된 정보 등을 포함하는 파일일 수 있다. 이 파일은 예를 들어 전술한 초기화 세그먼트에 해당할 수 있다. 초기화 세그먼트는 전술한 ftyp 박스 및/또는 moov 박스를 포함할 수 있다.
도시된 실시예(t14030)의 파일은, 전술한 프래그먼트를 포함하는 파일일 수 있다. 이 파일은 예를 들어 전술한 미디어 세그먼트에 해당할 수 있다. 미디어 세그먼트는 전술한 moof 박스 및/또는 mdat 박스를 포함할 수 있다. 또한, 미디어 세그먼트는 styp 박스 및/또는 sidx 박스를 더 포함할 수 있다.
styp 박스(세그먼트 타입 박스) 는 분할된 프래그먼트의 미디어 데이터를 식별하기 위한 정보를 제공할 수 있다. styp 박스는 분할된 프래그먼트에 대해, 전술한 ftyp 박스와 같은 역할을 수행할 수 있다. 실시예에 따라 styp 박스는 ftyp 박스와 동일한 포맷을 가질 수 있다.
sidx 박스(세그먼트 인덱스 박스) 는 분할된 프래그먼트에 대한 인덱스를 나타내는 정보를 제공할 수 있다. 이를 통해 해당 분할된 프래그먼트가 몇번째 프래그먼트인지가 지시될 수 있다.
실시예에 따라(t14040) ssix 박스가 더 포함될 수 있는데, ssix 박스(서브 세그먼트 인덱스 박스)는 세그먼트가 서브 세그먼트로 더 나뉘어지는 경우에 있어, 그 서브 세그먼트의 인덱스를 나타내는 정보를 제공할 수 있다.
미디어 파일 내의 박스들은, 도시된 실시예(t14050)와 같은 박스 내지 풀 박스(FullBox) 형태를 기반으로, 더 확장된 정보들을 포함할 수 있다. 이 실시예에서 size 필드, largesize 필드는 해당 박스의 길이를 바이트 단위 등으로 나타낼 수 있다. version 필드는 해당 박스 포맷의 버전을 나타낼 수 있다. type 필드는 해당 박스의 타입 내지 식별자를 나타낼 수 있다. flags 필드는 해당 박스와 관련된 플래그 등을 나타낼 수 있다.
도 15는 본 발명의 일 실시예에 따른 SHVC에 기초한 하이브리드 3D 서비스를 위한 파일 구조를 나타낸다. SHVC (Scalable High Efficiency Video Coding)에 기초한 3D 컨텐트는 좌/우 영상 시퀀스 타입을 의미할 수 있다. 본 발명의 일 실시예에 따른 파일 구조는 ftyp 박스, moov 박스 및 mdat 박스를 포함할 수 있다. moov 박스는 적어도 하나의 trak 박스를 포함할 수 있으며, trak 박스는 tkhd 박스 및 mdia 박스 중 적어도 하나를 포함할 수 있다. mdia 박스는 minf 박스를 포함할 수 있으며, minf 박스는 stbl 박스를 포함할 수 있다. stbl 박스는 후술할 h3vi 박스를 포함할 수 있다. mdat 박스는 3D 컨텐트를 구서하는 스테레오스코픽 영상의 좌영상 및 우영상 시퀀스를 각각 포함할 수 있다. 본 발명의 일 실시예에서 moov 박스 h3oi 박스를 더 포함할 수 있다. h3oi 박스는 hybrid 3d overall information box는 SHVC 기반의 hybrid 3d service를 제공하기 위한 전반적인 정보를 포함할 수 있다. 각 박스가 포함하는 정보에 대한 자세한 설명은 후술하기로 한다.
trak 박스는 미디어 데이터에 대한 시간적, 공간적 정보 (temporal and spatial information)를 포함할 수 있다. 여기서 미디어 데이터는 예를 들어 스테레오스코픽 비디오 시퀀스 (stereoscopic video sequences), 스테레오-모노스코픽 믹스드 비디오 시퀀스 (stereo-monoscopic mixed video sequences), LASeR 스트림 (streams), JPEG 이미지 (images)를 포함할 수 있다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 제1 trak 박스는 스테레오스코픽 비디오의 HD 해상도의 우 시점 영상을 포함할 수 있다. 이 경우 제1 trak 박스에 포함된 track_ID는 1로 설정될 수 있다. 또한 제2 trak 박스는 스테레오스코픽 비디오의 UHD 해상도의 좌 시점 영상을 포함할 수 있다. 이 경우 제2 trak 박스에 포함된 track_ID는 2로 설정될 수 있다. 스테레오스코픽 비디오 어플리케이션 포맷 (Stereoscopic Video Application Format, Stereoscopic Video AF)을 위해서, 각 trak 박스는 이와 관련된 mdia 박스, tref 박스 및 트랙 레벨 meta 박스 중 적어도 하나를 포함할 수 있다.
mdia 박스는 스테레오스코픽 비주얼 타입 (stereoscopic visual type)을 위한 svmi 박스를 포함할 수 있으며, 트랙에 포함된 스테레오스코픽 컨텐트의 프래그먼트 정보 (fragment information)를 포함할 수 있다. tref 박스는 레퍼런스 트랙의 트랙 식별자 (track_ID)를 제공할 수 있다. 스테레오스코픽 비디오 어플리케이션 포맷인 경우, 발명의 일 실시예에 따른 파일 구조에서 스테레오스코픽 컨텐트들은 도시된 바와 같이 좌/우 시점 시퀀스 타입(Left/Right view sequence type)을 위해 각각 저장될 수 있다. 따라서 tref 박스는 좌/우 시점 시퀀스 타입을 위한 스테레오스코픽 좌 시점 시퀀스 및 우시점 시퀀스로 구성된 페어를 인디케이팅하기 위해 사용될 수 있다. (the 'tref' box is used for indicating a pair of stereoscopic left and right view sequences for the Left/Right view sequence type.) 전술한 실시예에서 tref 박스는 레퍼런스 타입을 svdp로 정의하고 track_ID=1인 trak을 레퍼런스 트랙으로 설정할 수 있다. 스테레오스코픽 비디오 AF를 위한 tref 박스에 대한 자세한 설명은 후술하기로 한다. 만약 스테레오스코픽 컨텐트들이 하나의 싱글 트랙에 포함된 경우, tref 박스는 생략될 수 있다.
트랙 레벨의 meta 박스는 scdi 박스 및 iloc (item location) 박스를 포함할 수 있다. scdi 박스는 스테레오스코픽 카메라, 디스플레이 및 비쥬얼 세이프티 (visual safety) 중 적어도 하나에 대한 정보를 제공할 수 있다. iloc 박스는 스테레오스코픽 프래그먼트들의 오프셋 절대값 (absolute offset)을 바이트 단위로 기술할 수 있으며, 이를 extent_offset를 이용하여 나타낼 수 있다. 또한 iloc 박스는 스테레오스코픽 프래그먼트들의 사이즈를 기술할 수 있으며, 이를 extent_length를 이용하여 나타낼 수 있다. 리소스 러퍼런싱을 위해 스테레오스코픽 시퀀스의 각 프래그먼트에 대해서는 item_ID가 부여 (assign)될 수 있다.
도 16은 본 발명의 일 실시예에 따른 파일 타입 박스 ftyp를 나타낸 도면이다. ftyp 박스는 스테레오스코픽 멀티미디어 어플리케이션 포맷에 대한 문서인 ISO/IEC 23000-11 에서 기술하는 Stereoscopic Video Media Information Box 를 확장하여 사용할 수 있다. 박스 타입은 ftyp 이며, 컨테이너는 파일이 될 수 있다. 하나의 파일에는 단 하나의 ftyp 박스가 포함될 수 있다. 스테레오스코픽 컨텐트의 브랜드 타입은 도시된 바와 같이 ss01, ss02 및 ss03을 포함할 수 있다. ss01 타입은 스테레오스코픽 컨텐트를 의미할 수 있으며, ss02 타입은 스테레오-모노스코픽 믹스드 컨텐트를 나타낼 수 있다. 스테레오-모노스코픽 믹스드 컨텐트란 스테레오스코픽과 모노스코픽 영상의 하나의 컨텐트에 섞여서 포함되어 있는 컨텐트를 의미할 수 있다. ss03 타입은 2D (2 dimensional) 서비스와 호환되는 3DTV 서비스 컨텐트를 나타낼 수 있다. 본 발명의 일 실시예에 따른 3D 컨텐트는 ss03 타입에 해당할 수 있다. 즉 하나의 파일에 HD 우시점 영상과 UHD 좌시점 영상이 분리되어 포함되어 있으므로, 어느 하나의 영상만을 디코딩함으로써 2D 서비스와 호환될 수 있는 효과가 있다.
도 17은 본 발명의 일 실시예에 따른 하이브리드 3D 오버롤 인포메이션 (overall information) 박스 (h3oi)를 나타낸다. 본 실시예는 하나의 트랙에 하나의 레이어만이 포함되는 경우의 h3oi 박스에 대한 실시예를 나타낸다. h3oi 박스는 moov 박스 또는 meta 박스에 포함될 수 있으며, 하나의 h3oi 박스만이 moov 박스 또는 meta 박스에 포함될 수 있다. h3oi (hybrid 3d overall information) 박스는 SHVC 기반의 하이브리드 3D 서비스를 제공하기 위한 전반적인 정보를 포함할 수 있다. h3oi 박스는 3D로 서비스되는 경우를 위해 시점 (view) 별로 포함된 트랙 (track) 및 레이어 (layer)에 대한 정보를 포함할 수 있다. 또한, 2D로 서비스되기 위해서 필요한 track 및 layer의 조합 등에 대한 정보를 포함할 수 있다. 여기서는 하나의 track에 하나의 layer만이 포함되므로 track과 layer의 의미가 동일하게 사용될 수 있다. h3oi에 포함된 필드들에 대한 설명은 다음과 같다. 스테레오 스코픽 컴포지션 타입 정보 (stereoscopic_composition_type)는 ISO/IEC 23000-11의 스테레오스코픽 비디오 미디어 인포메이션 박스 (Stereoscopic Video Media Information Box)의 stereoscopic_composition_type 값에 추가로 좌 시점 (left), 우 시점 (right) 영상이 각각 분리된 스트림 (stream)으로 구성되는 서비스를 위한 stereoscopic_composition_type을 정의할 수 있다. 예를 들어, 스테레오 스코픽 컴포지션 타입 정보는 SHVC 기반의 3D 서비스 타입을 정의할 수 있다. 도면 하단에 도시된 바와 같이 stereoscopic_composition_type이 0x00 인 경우 사이드-바이-사이드 타입, 0x01 인 경우 버티컬 라인 인터리브드 타입 (Vertical line interleaved type), 0x02 인 경우 프레임 시퀀셜 타입 (Frame sequential type), 0x03 인 경우 좌/우 시점 시퀀스 타입(Left/Right view sequence type)을 나타낼 수 있다. 또한 본 발명의 일 실시예에 따른 좌 시점 (left), 우 시점 (right) 영상이 각각 분리된 스트림 (stream)으로 구성되는 서비스를 위해 0x04를 정의하고 SHVC 기반의 3D 서비스 타입임을 나타낼 수 있다. 여기서 SHVC 기반의 3D 서비스 타입은 좌 시점 (left), 우 시점 (right) 스트림이 각각의 트랙 또는 레이어로 구성된 타입을 나타낼 수 있다. 단일 시점 시청 가능 정보 (single_view_allowed)는 해당 파일에 포함된 컨텐트가 2D service를 제공할 수 있는지 여부를 나타낼 수 있다. 스테레오스코픽 시점 시청 가능 정보(stereoscopic_view_allowed)는 해당 파일에 포함된 컨텐트가 스테레오스코픽 서비스를 제공할 수 있는지 여부를 나타낼 수 있다. 2D 트랙 개수 정보 (number_of_tracks_for_2d)는 2D service를 구성하는 track 또는 layer의 개수를 나타낼 수 있다. 베이스 레이어 (Base layer)를 포함한 트랙이 HD이고 인핸스먼트 레이어 (enhancement layer)를 포함하는 트랙이 4K를 위한 레지듀얼 데이터 (residual data)를 포함할 때 number_of_tracks_for_2d 필드는 2로 설정될 수 있다. 2D 트랙 아이디 정보 (track_id_for_2d)는 2D service를 구성하는 영상이 포함된 track에 대한 식별자 (identifier)를 나타낼 수 있다. SHVC로 2D 서비스를 하는 경우 2D를 구성하는 track에 대한 디펜던시 아이디 (DependencyId)를 나타낼 수 있다. 특히 여러 개의 스케일러블 레이어 (scalable layer)로 구성된 SHVC 스트림의 경우, 모든 레이어가 2D에 포함되는 것이 아니므로, track_id_for_2d 필드를 이용하여 2D 서비스에 포함되는 track을 명확하게 시그널링 할 수 있다.
시점 별 트랙의 개수 정보 (number_of_tracks_per_view)는 하나의 시점 (view), 즉 좌 또는 우 (left or right) 시점을 구성하는 track의 개수를 의미한다. 만약 좌 시점 (left view)이 베이스 레이어 (base layer)를 포함하는 트랙 1개와 인핸스먼트 레이어 (enhancement layer)를 포함하는 트랙 1개로 구성되는 경우에는 number_of_track_per_view 필드의 값은 2로 설정될 수 있다. 우시점 플래그 정보 (is_right_flag)는 현재 시점 (view)이 우시점 (right view)인지를 나타낼 수 있다. 시점별 트랙 아이디 (track_id_for_per_view) 정보는 3D 서비스를 구성하는 시점별로 포함되는 트랙 (track)에 대한 식별자 (identifier)이다. 각 시점을 구성하는 트랙에 대한 디펜던시 아이디 (DependencyId)를 나타낼 수 있다. track_id_for_per_view 필드를 통해 각 view에 포함되는 track들을 명확하게 식별할 수 있다. 도시된 실시예에서는 [i][j]의 2차원 배열로 각각의 view, [i]에 대한 track id, [j]를 포함하였으나, 실시예에 따라서는 1차원 배열의 형태로 표현할 수도 있다.
도 18은 본 발명의 다른 실시예에 따른 하이브리드 3D 오버롤 인포메이션 (overall information) 박스 (h3oi)를 나타낸다. 본 실시예는 하나의 트랙에 복수의 레이어가 포함되는 경우의 h3oi 박스에 대한 실시예를 나타낸다. h3oi 박스는 moov 박스 또는 meta 박스에 포함될 수 있으며, 하나의 h3oi 박스만이 moov 박스 또는 meta 박스에 포함될 수 있다. h3oi (hybrid 3d overall information) 박스는 하이브리드 3D 서비스를 제공하기 위한 전반적인 정보를 포함할 수 있다. h3oi 박스는 3D로 서비스되는 경우를 위해 시점 (view) 별로 포함된 트랙 (track) 및 레이어 (layer)에 대한 정보를 포함할 수 있다. 또한, 2D로 서비스되기 위해서 필요한 track 및 layer의 조합 등에 대한 정보를 포함할 수 있다. h3oi에 포함된 필드들은 이전 도면에서 설명한 동일한 명칭의 필드와 동일한 의미를 가질 수 있다. 이에 더하여 본 실시예에서 추가된 필드들은 다음과 같다. 2D 레이어 개수 정보 (number_of_layers_for_2d)는 각 track에 포함된 2d 서비스를 위한 레이어들의 개수를 의미한다. 2D 레이어 아이디 정보 (layer_id_for_2d)는 각 track에 포함된 layer에 대한 식별자 (identifier)이다. 이는 2D 서비스에 포함되는 각 track이 포함하는 layer에 대한 DependencyId를 나타낼 수 있다. 시점 별 레이어 개수 정보 (number_of_layers_for_per_view)는 3D 서비스를 위해 각 시점 (view)에 포함되는 특정 track에 포함된 layer의 개수를 나타낼 수 있다. 시점 별 레이어 아이디 정보 (layer_id_for_per_view)는 3D 서비스를 위해 각 시점 (view)에 포함되는 특정 track에 포함된 layer에 대한 식별자 (identifier)이다. 이는 3D 서비스를 구성하기 위해 각 시점 (view)에 포함되는 특정 track이 포함하는 layer에 대한 DependencyId를 나타낼 수 있다. h3oi 박스의 나머지 정보는 앞서 설명한 하나의 track에 하나의 layer만 포함할 때의 Hybird3DOverallInformationBox 것과 동일하다.
도 19는 본 발명의 일 실시예에 따른 트랙 레퍼런스 (Track Reference Box, tref) 박스를 나타낸 도면이다. tref 박스는 어떤 track에 베이스 레이어가 포함되어 있는지 또는 현재 track에서 포함하는 layer와 상관관계가 있는 layer가 어떤 track 또는 layer인지를 나타낼 수 있다. 박스 타입은 tref 이며, 트랙 박스 (trak)에 포함될 수 있다. 또한 trak 박스에는 하나의 tref 박스가 포함되거나 실시예에 따라 포함되지 않을 수도 있다. tref 박스는 포함하는 trak 박스가 포함하는 트랙이 프리젠테이션 내에서 다른 어떤 트랙과 연관되어 있는지를 나타내는 레퍼런스를 제공할 수 있다. 이러한 레퍼런스는 타입이 지정될 수 있다. 도시된 바와 같이, tref 박스는 트랙 식별자 (track_ID)를 포함할 수 있다. track_ID는 정수 값으로써, trak 박스가 포함하는 트랙이 프리젠테이션 내에서 다른 어떤 트랙과 연관되어 있는지를 나타내는 레퍼런스를 제공할 수 있다. 여기서 track_ID들은 재사용되거나 그 값이 zero와 동일할 수 없다. 레퍼런스 타입 정보 (reference_type)는 다음과 같은 타입 값들을 가질 수 있다. hint 타입은 레퍼런스된 트랙이 해당 hint 트랙을 위한 오리지널 미디어를 포함하고 있음을 나타낼 수 있다. cdsc 타입은 해당 트랙이 레퍼런스된 트랙을 기술함을 나타낼 수 있다. font 타입은 해당 트랙이 레퍼런스된 트랙에서 정의되거나 운반되는 fonts를 사용함을 나타낼 수 있다. hind 타입은 러퍼런스된 힌트 트랙에 디펜던트함을 나타낼 수 있다. 즉, 이는 레퍼런스된 hint 트랙이 사용된 경우에만 사용될 수 있다. vdep 타입은 해당 트랙이 레퍼런스된 비디오 트랙을 위한 보조적인 뎁스 비디오 정보 (auxiliary depth video information) 를 포함하는 것을 나타낼 수 있다. vplx 타입은 해당 트랙이 레퍼런스된 비디오 트랙을 위한 보조적인 시차 비디오 정보 (auxiliary parallax video information) 를 포함하는 것을 나타낼 수 있다. subt 타입은 해당 트랙이 레퍼런스된 트랙 또는 해당 트랙이 속하는 대체 그룹 내의 임의의 트랙을 위한 자막, 타임드 텍스트 (timed text) 또는 오버레이 그래픽 정보 (overlay graphical information) 를 포함하는 것을 나타낼 수 있다. 본 발명의 일 실시예에 따라 포함될 수 있는 레퍼런스 타입은 다음과 같을 수 있다. 예를 들어, ISO 베이스 미디어 파일 포맷 [ISO/IEC 14496-12]의 경우, 'hint' reference 는 포함하는 힌트 트랙 (hint track)과 그것이 가리키는 미디어 데이터를 링크시킬 수 있다(A 'hint' reference links from the containing hint track to the media data that it hints). 'hind' dependency 는 해당 트랙 레퍼런스를 포함하는 트랙의 디코딩을 위해 요구되는 미디어 데이터를 포함하는 레퍼런스된 트랙을 가리킬 수 있다(The ‘hind’ dependency indicates that the referenced track(s) may contain media data required for decoding of the track containing the track reference). 이들 타입들은 low/high 퀄리티 2D 시퀀스 타입을 위한 베이스 레이어 및 인핸스먼트 레이트의 트랙을 식별하기 위해 사용될 수 있다. 스테레오스코픽 멀티미디어 어플리케이션 포맷 [ISO/IEC 23000-11]의 경우, svdp 는 해당 트랙이 레퍼런스 트랙을 기술하고, 레퍼런스 트랙은 레퍼런스된 트랙에 대한 디펜던시를 가지고, meta 정보와 관련된 스테레오스코픽 을 포함함을 나타낼 수 있다. 이들 타입은 left/right 시퀀스 타입을 위한 프라이머리 시점 (primary view) 및 세컨더리 시점 (secondary view)의 트랙을 식별할 수 있다. 또한 실시예에 따라서는 도면 하단에 도시된 바와 같이 reference_type을 'svtr'로 새롭게 정의하여, 하나의 Track reference box, tref 내에 2D와 3D를 위한 각각의 track id를 포함하게 할 수도 있다. svtr은 단시점 가능 정보 (single_view_allowed), 스테레오스코픽 시점 가능 정보 (stereoscopic_view_allowed), 트랙 아이디 정보 (track_id)를 포함할 수 있다. 단시점 가능 정보 (single_view_allowed)가 1로 설정된 경우, 트랙 아이디 정보 (track_group_id)는 2D 서비스를 위한 정보를 나타낼 수 있다. 또한 스테레오스코픽 시점 가능 정보 (stereoscopic_view_allowed)가 1로 설정된 경우, 트랙 아이디 정보 (track_id)는 3D 서비스를 위한 정보를 나타낼 수 있다.
도 20은 본 발명의 일 실시예에 따른 트랙 그룹 박스 (Track Group Box, trgr)를 나타낸 도면이다. trgr는 해당 그룹에 포함된 트랙들이 2D 서비스를 위한 것인지 3D 서비스를 위한 것인지를 나타낼 수 있다. 박스 타입은 trgr 이며, 트랙 박스 (trak)에 포함될 수 있다. 또한 trak 박스에는 하나의 trgr 박스가 포함되거나 실시예에 따라 포함되지 않을 수도 있다. trgr 박스는 트랙들의 그룹을 인디케이트할 수 있으며, 각 그룹들은 특정 characteristic을 공유할 수 있다. 또한 trgr 박스에 의해 정의된 하나의 그룹 내의 트랙들은 특정 관계성 (relationship)을 가질 수 있다. trgr 박스에 포함된 필드들은 다음과 같은 의미를 가진다. 트랙 그룹 타입 정보 (track_group_type)는 사용된 그룹핑 타입을 인디케이트하고, 다음 값들, 등록된 값들 또는 특정 문서 등으로부터 도출된 값들 중 하나의 값을 가질 수 있다. 스테레오스코픽 트랙 그룹 정보(sctg)는 하이브리드 3D 서비스에 적용하기 위한 스테레오스코픽 트랙 그룹 타입 (stereoscopic track group type)으로써, 해당 트랙(track)이 3D 서비스에 이용될 때의 트랙 그룹 타입 정보 (track_group_type)을 의미할 수 있다. 스케일러블 비디오 트랙 그룹 (svtg)은 scalable한 2D 서비스에 적용될 수 있는 스케일러블 비디오 트랙 그룹 타입 (scalable video track group type)으로써, 해당 트랙이 2D scalable을 위한 하나의 트랙임을 의미할 수 있다. 경우에 따라서는 SHVC기반의 2D/3D service를 위한 track_group_type을 SHVC 트랙 그룹 (shtg)으로 새롭게 정의하고, 도면 하단에 도시된 바와 같이 TrackGroupTypeBox를 정의할 수도 있다. shtg 은 단시점 가능 정보 (single_view_allowed), 스테레오스코픽 시점 가능 정보 (stereoscopic_view_allowed), 트랙 그룹 아이디 정보 (track_group_id)를 포함할 수 있다. 단시점 가능 정보 (single_view_allowed)가 1로 설정된 경우, 트랙 그룹 아이디 정보 (track_group_id)는 2D 서비스를 위한 정보를 나타낼 수 있다. 또한 스테레오스코픽 시점 가능 정보 (stereoscopic_view_allowed)가 1로 설정된 경우, 트랙 그룹 아이디 정보 (track_group_id)는 3D 서비스를 위한 정보를 나타낼 수 있다. 이는 하나의 track이 여러 개의 조합으로 구성될 수 있음을 의미한다. 즉, 해당 track이 2D와 3D 서비스에 각각 포함될 수 있으므로, 각각의 track_group_id로 묶일 수 있음을 알려줄 수 있다. 트랙 그룹 아이디 정보 (track_group_id) 및 트랙 그룹 타입 정보 (track_group_type) 의 페어(pair)는 파일 내에서의 트랙 그룹을 식별할 수 있다. 동일한 트랙 그룹 아이디 정보 (track_group_id)를 갖는 특정 트랙 그룹 타입 박스를 포함하는 트랙들은 동일한 트랙 그룹에 속할 수 있다.
도 21은 본 발명의 일 실시예에 따른 하이브리드 3D 비디오 미디어 인포메이션 박스 (Hybird 3D Video Media Information, h3vi)를 나타낸다. h3vi 박스는 하나의 트랙 내에 하나의 레이어만이 포함될 때 사용될 수 있다. 박스 타입은 h3vi 이며, 트랙 박스 (trak)에 포함될 수 있다. 또한 trak 박스에는 단 하나의 h3vi 박스가 포함될 수 있다. h3vi는 스테레오스코픽 비주얼 타입에 관한 스테레오스코픽 비디오 미디어 정보를 제공할 수 있다. 즉 h3vi 박스는 스테레오스코픽 컴포지션 타입 정보 (stereoscopic_composition_type), 단시점 가능 정보 (single_view_allowed), 스테레오스코픽 시점 가능 정보 (stereoscopic_view_allowed), 우영상 퍼스트 정보 (is_right_first), 베이스 트랙 아이디 정보 (base_track_id), 트랙 아이디 정보 (track_id), 스테레오 모노 체인지 카운트 정보 (stereo_mono_change_count), 샘플 카운트 정보 (sample_count) 및/또는 스테레오 플래그 정보 (stereo_flag) 중 적어도 하나를 포함할수 있다. 스테레오스코픽 컴포지션 타입 정보 (stereoscopic_composition_type)는 ISO/IEC 23000-11의 스테레오스코픽 비디오 미디어 인포메이션 박스 (Stereoscopic Video Media Information Box)의 stereoscopic_composition_type 값에 추가하여, 좌 영상 및 우 영상이 각각 분리된 스트림 (stream)으로 구성되는 서비스를 위한 stereoscopic_composition_type을 정의할 수 있다. 예를 들어 SHVC 기반의 3D 서비스가 이에 해당할 수 있다. 단일 시점 가능 정보 (single_view_allowed)는 해당 track의 비디오가 2D 서비스를 제공할 수 있는지 여부를 나타낼 수 있다. 즉, 2D 서비스가 제공될 때 해당 트랙의 비디오가 사용되거나 디스플레이되는지에 대한 정보를 나타낼 수 있다. 스테레오스코픽 시점 가능 정보 (stereoscopic_view_allowed)는 해당 track의 비디오가 스테레오스코픽 서비스에 포함되는지의 여부를 알려줄 수 있다. 즉, 스테레오스코픽 서비스를 제공함에 있어 해당 트랙의 비디오가 사용되는지 여부를 나타낼 수 있다. 우영상 퍼스트 정보 (is_right_first)는 ISO/IEC 23000-11에 기재된 is_left_first의 변형된 예이다. 스테레오스코픽 컴포지션 타입 정보 (Stereoscopic_composition_type)가 0x03인 좌/우 시점 시퀀스 타입 (left/right view sequence type)일 때, is_right_first의 의미는 다음과 같다. 이 필드의 값이 0인 경우는 해당 트랙이 2D 서비스에만 사용되는 track임을 나타낼 수 있다. 이 필드의 값이 1인 경우, 프라이머리 시점 시퀀스 및 세컨더리 시점 시퀀스는 각각 좌시점 및 우시점 영상을 나타낼 수 있다. 이 필드의 값이 2인 경우, 프라이머리 시점 시퀀스 및 세컨더리 시점 시퀀스는 각각 우시점 및 좌시점 영상을 나타낼 수 있다. 베이스 트랙 아이디 정보 (base_track_id)는 현재 track(layer)의 베이스 (base)가 되는 track(layer)을 알려줄 수 있다. 여기서 base_track_id는 dependencyID를 나타내기 때문에 track_id보다 작거나 같을 수 있다. 트랙 아이디 정보 (track_id)는 현재 track(layer)의 식별자 (id)를 알려준다. 또한 레이어 (layer)에 대한 식별자 (identifier)로써 레이어에 대한 DependencyId를 나타낼 수 있다. h3vi에 포함된 나머지 정보는 ISO/IEC 23000-11의 스테레오스코픽 비디오 미디어 인포메이션 박스 (Stereoscopic Video Media Information Box)의 필드에 대한 설명과 동일하다.
도 22은 본 발명의 다른 실시예에 따른 하이브리드 3D 비디오 미디어 인포메이션 박스 (Hybird 3D Video Media Information, h3vi)를 나타낸다. h3vi 박스는 하나의 트랙 내에 복수 개의 레이어들이 포함될 때 사용될 수 있다. 박스 타입은 h3vi 이며, 트랙 박스 (trak)에 포함될 수 있다. 또한 trak 박스에는 단 하나의 h3vi 박스가 포함될 수 있다. h3vi는 스테레오스코픽 비주얼 타입에 관한 스테레오스코픽 비디오 미디어 정보를 제공할 수 있다. h3vi는 도시된 정보들 중 적어도 하나를 포함할 수 있다. 즉 h3vi 박스는 스테레오스코픽 컴포지션 타입 정보 (stereoscopic_composition_type), 단시점 가능 정보 (single_view_allowed), 스테레오스코픽 시점 가능 정보 (stereoscopic_view_allowed), 우영상 퍼스트 정보 (is_right_first), 베이스 트랙 아이디 정보 (base_track_id), 트랙 아이디 정보 (track_id), 베이스 레이어 아이디 정보 (base_layer_id), 레이어 개수 정보 (number_of_layers), 레이어 아이디 정보 (layer_id), 스테레오 모노 체인지 카운트 정보 (stereo_mono_change_count), 샘플 카운트 정보 (sample_count) 및/또는 스테레오 플래그 정보 (stereo_flag) 중 적어도 하나를 포함할수 있다.
레이어 개수 정보 (number_of_layers)는 현재 track이 포함하는 layer의 개수를 의미할 수 있다. 베이스 레이어 아이디 정보 (base_layer_id)는 베이스 트랙 식별자 (base track id)에 포함된, 베이스가 되는 레이어의 식별자 (id)를 알려줄 수 있다. 레이어 아이디 정보 (layer_id)는 현재 track이 포함하는 레이어의 식별자 (id)를 나타낼 수 있다. 이는 레이어에 대한 식별자 (identifier)로써 layer에 대한 DependencyId를 나타낼 수 있다. h3vi Box에 포함된 나머지 정보는 앞서 설명한 도 21의 Hybird3DVideoMediaInformationBox의 것과 동일한 의미를 가질 수 있다.
도 23은 본 발명의 다른 실시예에 따른 샘플 그룹 박스 (sample group box, sbgp)의 확장을 나타낸 도면이다. 하나의 트랙 내에 복수 개의 레이어들이 포함되는 경우, 하나의 레이어는 하나의 샘플 그룹으로 구성될수 있으며, 이를 위해 sbgp 박스가 사용될 수 있다. 박스 타입은 sbgp 이며, 샘플 테이블 박스 (stbl) 또는 트랙 프래그먼트 박스 (traf)에 포함될 수 있다. 또한 샘플 테이블 박스 (stbl) 또는 트랙 프래그먼트 박스 (traf)에는 하나 이상의 sbgp 박스가 포함될 수 있으며, 실시예에 따라 sbgp 가 포함되지 않을 수도 있다. sbgp 는 해당 샘플이 속하는 그룹을 찾기 위해 사용될 수 있으며, 그 샘플 그룹의 관련 디스크립션을 찾기 위해서도 사용될 수 있다. sbgp 박스는 도시된 정보들 중 적어도 하나를 포함할 수 있다. 즉 sbgp 박스는 스테레오스코픽 컴포지션 타입 정보 (stereoscopic_composition_type), 그룹핑 타입 정보 (grouping_type), 베이스 그룹핑 타입 정보 (base_grouping_type), 단시점 가능 정보 (single_view_allowed), 스테레오스코픽 시점 가능 정보 (stereoscopic_view_allowed), 우영상 퍼스트 정보 (is_right_first), 베이스 트랙 아이디 정보 (base_track_id), 트랙 아이디 정보 (track_id), 베이스 레이어 아이디 정보 (base_layer_id), 레이어 아이디 정보 (layer_id), 그룹핑 타입 파라미터 정보(grouping_type_parameter), 엔트리 카운트 정보 (entry_count), 샘플 카운트 정보 (sample_count) 및/또는 그룹 디스크립션 인덱스 정보 (group_description_index) 중 적어도 하나를 포함할수 있다. 베이스 그룹핑 타입 정보 (base_grouping_type)는 현재 그룹핑 타입 (grouping_type)의 베이스가 되는 그룹핑 타입 (grouing_type)을 의미할 수 있다. 만약 그룹핑 타입 (grouping_type)이 하나 또는 그 이상의 레이어로 구성이 되어 있다면, 베이스 그룹핑 타입 정보 (base_grouping_type)은 베이스 레이어 (base_layer)를 포함하고 있는 그룹핑 타입 (grouping_type)을 나타낸다고 할 수 있다. sbgp 박스에 포함된 나머지 정보는 앞서 설명한 1개의 track에 1개의 layer가 포함될때의 Hybird3DVideoMediaInformationBox에 포함된 정보와 동일할 수 있다.
도 24는 본 발명의 일 실시예에 따른 비주얼 샘플 그룹 엔트리 (visual sample group entry)의 확장을 나타낸 도면이다. 하나의 트랙 내에 복수 개의 레이어들이 포함되는 경우, 하나의 레이어는 하나의 샘플 그룹으로 구성될수 있다. 또한, 하나의 트랙 혹은 무비 프래그먼트 (movie fragment) 내에 존재하는 하나 이상의 샘플들에 동일한 3D 관련 파라미터가 적용되는 경우 도시된 바와 같은 정보가 비주얼 샘플 그룹 엔트리 (visual sample group entry) 등에 추가될 수 있다. 비주얼 샘플 그룹 엔트리 (visual sample group entry)는 단시점 가능 정보 (single_view_allowed), 스테레오스코픽 시점 가능 정보 (stereoscopic_view_allowed), 우영상 퍼스트 정보 (is_right_first), 베이스 트랙 아이디 정보 (base_track_id), 트랙 아이디 정보 (track_id), 베이스 레이어 아이디 정보 (base_layer_id) 및/또는 레이어 아이디 정보 (layer_id) 중 적어도 하나를 포함할 수 있다. 베이스 그룹핑 타입 정보 (base_grouping_type)는 현재 grouping_type의 base가 되는 grouing_type을 의미할 수 있다. 만약 grouping_type이 하나 또는 그 이상의 layer로 구성이 되어 있다면, base_grouping_type은 base_layer를 포함하고 있는 grouping_type을 나타낼 수 있다. 나머지 정보는 앞서 설명한 1개의 track에 1개의 layer가 포함될때의 Hybird3DVideoMediaInformationBox의 필드에 대한 설명과 동일한 의미를 가질 수 있다.
도 25는 본 발명의 다른 실시예에 따른 서브 트랙 샘플 그룹 박스 (sub track sample group box, stsg)의 확장을 나타낸 도면이다. 서브 트랙이란 하나 또는 그 이상의 샘플 그룹을 나타낼 수 있다. 하나의 트랙 내에 복수 개의 레이어들이 포함되는 경우, 하나의 레이어는 하나의 샘플 그룹으로 구성될수 있다. 한 개 또는 여러 개의 샘플 그룹들이 모인 서브 트랙은 하나의 트랙 또는 하나의 트랙 중 일부의 샘플을 포함할 수 있도록 구성할 수 있다. 이를 위해 stsg 박스가 사용될 수 있다. 박스 타입은 stsg 이며, 서브 트랙 데피니션 박스 (Sub Track Definition box, strd)에 포함될 수 있다. 또한 strd 에는 하나 이상의 stsg 박스가 포함될 수 있으며, 실시예에 따라 stsg 가 포함되지 않을 수도 있다. stsg 는 서브 트랙을 하나 또는 그 이상의 샘플 그룹들로 정의할 수 있으며, 이를 위해 각 그룹의 샘플들을 기술하는 샘플 그룹 디스크립션을 참조할 수 있다. stsg 박스는 도시된 정보들 중 적어도 하나를 포함할 수 있다. 즉 stsg 박스는 스테레오스코픽 컴포지션 타입 정보 (stereoscopic_composition_type), 그룹핑 타입 정보 (grouping_type), 베이스 그룹핑 타입 정보 (base_grouping_type), 단시점 가능 정보 (single_view_allowed), 스테레오스코픽 시점 가능 정보 (stereoscopic_view_allowed), 우영상 퍼스트 정보 (is_right_first), 베이스 트랙 아이디 정보 (base_track_id), 트랙 아이디 정보 (track_id), 베이스 레이어 아이디 정보 (base_layer_id), 아이템 카운트 정보 (item_count), 레이어 아이디 정보 (layer_id) 및/또는 그룹 디스크립션 인덱스 정보 (group_description_index) 중 적어도 하나를 포함할수 있다. 레이어 아이디 정보 (layer_id) 는 루프를 이용하여 아이템 카운트 정보 (item_count)의 개수만큼 포함될 수 있다. 그룹핑 타입 정보 (grouping_type)는 샘플 그룹핑을 식별하는 정수 값일 수 있다. 해당 밸류 (값)는 상응하는 샘플 그룹 박스 (SampletoGroup) 및 샘플 그룹 디스크립션 박스 (SampleGroupDescription boxes)와 동일한 값을 가질 수 있다. 아이템 카운트 정보 (item_count)는 stsg 박스 내에서 리스팅된 샘플 그룹들의 개수를 의미할 수 있다. stsg 박스에 포함된 나머지 정보는 앞선 1개의 track에 1개의 layer가 포함되는 Hybird3DVideoMediaInformationBox의 필드들과 동일한 의미를 가질 수 있다.
도 26은 본 발명의 일 실시예에 따른 미디어 파일을 전송하는 방법을 나타낸 도면이다. 본 발명의 일 실시예에 따른 미디어 파일을 전송하는 방법은 미디어 파일들을 생성할 수 있다(DS26010). 여기서 생성되는 미디어 파일들은 ISO 베이스 미디어 파일 포맷에 기초할 수 있다. 도 15 내지 도 25에서 전술한 바와 같이 미디어 파일들은 복수 개의 박스들을 포함할 수 있다. 미디어 파일에 포함된 박스들은 각각 SHVC에 기초한 좌영상 및 우영상 데이터를 포함할 수 있다. SHVC에 기초한 3D 미디어 파일은 2D 컴패터블한 3D 비디오 데이터를 포함할 수 있다. 또한 미디어 파일에 포함된 박스들은 SHVC에 기초한 3D 컨텐트를 기술하는 정보를 더 포함할 수 있다. 즉, 미디어 파일은 3D 미디어 컨텐트 데이터 및 이에 대한 메타 데이터를 포함할 수 있다. 메타데이터는 SHVC에 기초한 3D 컨텐트를 2D 또는 3D로 재생하기 위한 정보를 포함할 수 있다. 메타데이터는 전술한 바와 같이 스테레오스코픽 컴포지션 타입 정보 (stereoscopic_composition_type), 단시점 가능 정보 (single_view_allowed), 스테레오스코픽 시점 가능 정보 (stereoscopic_view_allowed), 우영상 퍼스트 정보 (is_right_first), 베이스 트랙 아이디 정보 (base_track_id), 트랙 아이디 정보 (track_id), 스테레오 모노 체인지 카운트 정보 (stereo_mono_change_count), 샘플 카운트 정보 (sample_count) 및/또는 스테레오 플래그 정보 (stereo_flag) 중 적어도 하나를 포함할수 있다. 각 정보에 대한 설명은 전술한 바와 같으며, 미디어 파일 내에 포함된 하나의 트랙에 포함되는 레이어의 개수에 따른 실시예에 따라서 해당 정보들 중 일부 정보들은 메타데이터에 포함되지 않을 수 있다. 미디어 파일들이 생성되면 미디어 파일들을 세그먼트들로 프로세싱할 수 있다(DS26020). 미디어 파일들은 전송을 위해 별도의 세그먼트 포맷으로 세그먼팅될 수 있으며, 예를 들어 DASH 세그먼트가 이에 해당될 수 있다. 미디어 파일들을 세그먼트들로 프로세싱하는 단계는 실시예에 따라 생략될 수 있다. 미디어 파일들이 세그먼트들로 프로세싱되면, 생성된 세그먼트들을 전송할 수 있다(DS26030). 생성된 세그먼트들은 브로드캐스팅으로 공중파를 통해 전송되거나, 브로드밴드를 통해 유선 네트워크로 전송될 수 있다. 이렇게 전송된 SHVC에 기초한 3D 컨텐트들은 수신기 성능에 따라 2D로 디스플레이되거나, 3D로 디스플레이될 수 있다. 수신기는 수신된 세그먼트들을 미디어 파일로 복원하고, 미디어 파일 내의 박스들에 포함된 메타데이터를 이용하여 수신된 컨텐트를 2D 또는 3D로 재생할 수 있다.
도 27은 본 발명의 일 실시예에 따른 미디어 파일 전송 장치를 나타낸 도면이다. 본 발명의 일 실시예에 따른 미디어 파일을 전송하는 장치는 파일 생성부(D27010), 세그먼트 처리부(D27020), 시그널링 생성부(D27030), 전송부(D27040)를 포함할 수 있다. 각 구성은 하나의 프로세서 또는 복수의 프로세서로 구현될 수 있다. 여기서 파일 생성부(D27010)와 시그널링 생성부(D27030)는 하나의 프로세서에 의해 구현될 수 있다. 파일 생성부(D27010)는 미디어 파일들을 생성할 수 있다. 여기서 생성되는 미디어 파일들은 ISO 베이스 미디어 파일 포맷에 기초할 수 있다. 도 15 내지 도 25에서 전술한 바와 같이 미디어 파일들은 복수 개의 박스들을 포함할 수 있다. 미디어 파일에 포함된 박스들은 각각 SHVC에 기초한 좌영상 및 우영상 데이터를 포함할 수 있다. SHVC에 기초한 3D 미디어 파일은 2D 컴패터블한 3D 비디오 데이터를 포함할 수 있다. 또한 미디어 파일에 포함된 박스들은 SHVC에 기초한 3D 컨텐트를 기술하는 정보를 더 포함할 수 있다. 즉, 미디어 파일은 3D 미디어 컨텐트 데이터 및 이에 대한 메타 데이터를 포함할 수 있다. 이러한 메타 데이터는 실시예에 따라 파일 생성부(D27010) 또는 시그널링 생성부(D27030)에 의해 생성될 수 있다. 메타데이터는 SHVC에 기초한 3D 컨텐트를 2D 또는 3D로 재생하기 위한 정보를 포함할 수 있다. 메타데이터는 전술한 바와 같이 스테레오스코픽 컴포지션 타입 정보 (stereoscopic_composition_type), 단시점 가능 정보 (single_view_allowed), 스테레오스코픽 시점 가능 정보 (stereoscopic_view_allowed), 우영상 퍼스트 정보 (is_right_first), 베이스 트랙 아이디 정보 (base_track_id), 트랙 아이디 정보 (track_id), 스테레오 모노 체인지 카운트 정보 (stereo_mono_change_count), 샘플 카운트 정보 (sample_count) 및/또는 스테레오 플래그 정보 (stereo_flag) 중 적어도 하나를 포함할수 있다. 각 정보에 대한 설명은 전술한 바와 같으며, 미디어 파일 내에 포함된 하나의 트랙에 포함되는 레이어의 개수에 따른 실시예에 따라서 해당 정보들 중 일부 정보들은 메타데이터에 포함되지 않을 수 있다. 미디어 파일들이 생성되면 세그먼트 처리부 (D27020)는 미디어 파일들을 세그먼트들로 프로세싱할 수 있다. 미디어 파일들은 전송을 위해 별도의 세그먼트 포맷으로 세그먼팅될 수 있으며, 예를 들어 DASH 세그먼트가 이에 해당될 수 있다. 세그먼트 처리부 (D27020)는 실시예에 따라 생략될 수 있다. 미디어 파일들이 세그먼트들로 프로세싱되면, 전송부 (D27040)는 생성된 세그먼트들을 전송할 수 있다. 생성된 세그먼트들은 브로드캐스팅으로 공중파를 통해 전송되거나, 브로드밴드를 통해 유선 네트워크로 전송될 수 있다. 이렇게 전송된 SHVC에 기초한 3D 컨텐트들은 수신기 성능에 따라 2D로 디스플레이되거나, 3D로 디스플레이될 수 있다. 수신기는 수신된 세그먼트들을 미디어 파일로 복원하고, 미디어 파일 내의 박스들에 포함된 메타데이터를 이용하여 수신된 컨텐트를 2D 또는 3D로 재생할 수 있다.
이상과 같이 본 발명에 의한 미디어 파일 전송 장치 또는 방송 신호 전송 장치는 SHVC에 기초한 3D 컨텐트 데이터를 포함하는 미디어 파일을 생성할 수 있으며, 해당 미디어 파일은 수신기가 3D 컨텐트 데이터를 2D 또는 3D로 재생할 때 레퍼런스할 수 있는 메타데이터를 포함할 수 있다. 따라서 본 미디어 파일을 수신한 수신기는 그 디코딩 캐퍼빌러티에 따라 수신된 미디어 파일을 디코딩하고 3D 또는 2D로 재생할 수 있다.
도 28은 본 발명에 따른 신호 송신 방법의 일 실시예를 예시한 도면이다.
비디오 데이터를 인코딩한다(S110). 비디오 데이터를 인코딩하는 경우, 이하에서 개시하는 실시예에 따라 비디오 데이터의 인코딩 정보를 인코딩된 비디오 데이터에 포함시킬 수 있다.
인코딩된 비디오 데이터의 인코딩 정보는 도 59에서 상세히 기술한다. 인코딩된 비디오 데이터는 이하에서 개시하는 실시예에 따라 다른 구조를 가질 수 있는데, 이 실시예는 도 29, 30 (제 1 실시예), 도 31(제 2 실시예), 도 32 내지 도 33 (제 3 실시예)에 따라 다를 수 있다.
예를 들어 인코딩된 비디오 데이터는 고해상도 비디오가 기존 화면비에 맞게 분할된 구조이고 분할된 비디오 데이터가 이를 다시 고해상도 비디오로 머징할 수 있는 정보를 포함할 수 있다. 또는 인코딩된 비디오 데이터는 고해상도 비디오 데이터를 수신기의 화면비에 맞게 분할할 수 있는 정보를 포함하거나, 자막 정보를 배치하기 위한 레터박스 (예를 들어 AFD bar)의 위치정보를 포함할 수도 있다.
전송 신호가 방송 신호인 경우 인코딩된 비디오 데이터와 별개로 비디오 데이터를 수신기의 화면비에 맞게 디스플레이할 수 있는 시그널링 정보를 생성한다(S120). 시그널링 정보의 예는 각 실시예에 따라 도 43 내지 도 54, 도 56 내지 도 58에 예시한 정보들이 포함될 수 있는데 실시예에 따라 위 도면들에서 예시한 정보들이 생성될 수 있다. 시그널링 정보는 제 1 화면비의 고해상도 비디오 데이터를 수신기에 화면비에 상관없이 표출할 수 있는 시그널링 정보를 포함할 수 있다. 예를 들어 수신기의 화면비에 상관없이 표출할 수 있는 시그널링 정보는 고해상도 비디오 데이터의 화면비 제어 정보를 포함할 수 있다. 비디오 데이터와 별개의 시그널링 정보의 예는 도 43 내지 도 54, 및 도 56 내지 도 59에서 예시한다.
인코딩된 비디오 데이터와 시그널링 정보를 다중하고 다중화된 비디오 데이터와 시그널링 정보를 전송한다(S130).
전송 데이터가 방송 신호가 아닌 경우에는 비디오 데이터와 다중화되는 시그널링 정보의 생성 단계는 생략되고, S110에서 기술한 비디오 데이터 영역 내에 화면비 제어 정보를 포함한 비디오 데이터와 다른 데이터(예를 들어 오디오 데이터)를 다중화하여 출력한다.
송신기가 각 실시예에 따라 비디오 데이터를 전송하는 경우, 수신기 디스플레이 장치의 화면비가 여러 종류이거나, 성능이 여러 가지인 경우라도 화면비 제어 정보에 따라 각각 해당 디스플레이의 화면비에 맞게 고해상도 비디오를 표출하거나, 또는 자막을 표출할 수 있다. 또한 기존의 수신기라도 화면비 제어 정보에 따라 고해상도 비디오 데이터를 그 수신기의 화면비에 따라 표출할 수 있다. 즉, 수신기는 화면 제어 정보를 이용하여 제 1 화면비의 고해상도 비디오 데이터를 수신기의 화면비에 따라 변경하여 표출하도록 할 수 있다.
제 1 실시예에 따르면 화면비 제어 정보는, 상기 인코딩된 비디오 데이터가 분할되어 전송됨을 나타내고 상기 분할된 비디오 데이터를 머징하는 머징 정보를 포함할 수 있다. 제 2 실시예 및 제 4 실시예에 따르면 화면비 제어 정보는, 상기 인코딩된 비디오 데이터를 화면비에 맞게 분할할 수 있는 분할 정보를 포함할 수 있다. 그리고 제 3 실시예에 따르면 상기 화면비 제어 정보는, 상기 인코딩된 비디오 데이터에 따른 비디오의 해상도에 따라 상기 비디오의 자막 위치를 변경하도록 하는 자막 배치를 위한 위치정보를 포함할 수 있다.
도 29는 본 발명의 실시예에 따라 고해상도 이미지를 수신기들의 화면비에 맞게 전송하는 예를 개략적으로 도시한 도면이다. 이 예는 21:9 화면비의 UHD 비디오를 이용해 16:9 화면비를 서비스할 수 있는 실시예를 예시한다.
21:9 UHD source 비디오 (비디오 (1))에서 16:9 UHD source 비디오(비디오 (2))와 좌/우 크롭(crop)된 비디오(비디오 (3) 및 비디오 (4))들로 분리한다. 비디오의 크롭 과정 등을 통해 비디오를 3개의 비디오로 분리할 수 있다.
즉, 비디오 (1)은 비디오 (2), 비디오 (3), 비디오 (4)로 분리하여 전송한다.
UHD 비디오를 디스플레이할 수 있는 수신장치는 비디오 (2), 비디오 (3), 비디오 (4)를 수신하여 표출한다.
그리고, HD 비디오를 디스플레이할 수 있는 수신장치는, 비디오 (2)를 수신하여 스케일링 등을 통해 16:9의 UHD 비디오(비디오 (2))을 16:9 HD 비디오(비디오 (5))로 변환하여 표출할 수 있다.
도 30은, 도 29에 따른 본 발명의 실시예에 따라 고해상도 이미지를 수신기들의 화면비에 맞게 전송하는 스트림 구조의 예를 개략적으로 도시한 도면이다.
예시한 스트림은 16:9 UHD 비디오, 좌우에 각각 crop된 데이터 및 부가 데이터(UHD composition metadata)를 포함한다. 16:9 UHD 비디오는, 종래 HD 서비스를 제공할 수 있는 16:9 화면비의 HD 비디오와, 16:9 UHD 비디오와 16:9 화면비의 HD 비디오의 차인 enhancement data를 포함할 수 있다.
기존 HD 수신기는 16:9 화면비의 HD 비디오를 수신하여 처리하고, 16:9 UHD 수신기는 16:9 화면비의 HD 비디오와 16:9 화면비의 UHD 비디오를 위한 enhancement data를 수신하여 처리한다. 그리고, 21:9 수신기는, 16:9 화면비의 UHD 비디오, crop된 좌, 우의 data 및 부가 데이터인 UHD composition metadata를 이용하여 21: 9 UHD 비디오를 구성할 수 있다. 부가 데이터(UHD composition metadata)는 좌, 우의 crop 좌표정보를 포함할 수 있다. 따라서, 수신기는 부가 데이터를 이용하여 , 16:9 화면비의 UHD 비디오, crop된 좌, 우의 data를 이용하여 21:9 화면비의 UHD 비디오를 생성할 수 있다.
따라서, 이 도면의 실시예에 따르면 3개의 scalable 서비스를 제공할 수 있다.
도 31는, 본 발명의 실시예에 따라 고해상도 이미지를 수신기들의 화면비에 맞게 전송하는 다른 예를 개략적으로 도시한 도면이다. 이 예에서 21:9 화면비의 UHD 비디오는 16:9 화면비의 HD 비디오와 별개의 스트림으로 전송된다.
16:9의 HD 비디오는 21:9 화면비의 UHD 비디오와 호환되지 않으므로, 송신기는 HD 비디오 스트림과 별도로 UHD 비디오 스트림을 준비한다. UHD 비디오 스트림에는 16:9 비디오의 화면비를 생성할 수 있는 crop 좌표정보가 부가 정보데이터(16:9 extraction info metadata)에 포함되어 전송될 수 있다.
따라서, UHD 비디오 수신기는 21:9 화면비의 UHD 비디오 스트림을 수신한다. 그리고, UHD 비디오 수신기가 21:9 화면비의 디스플레이 장치를 가지고 있다면, 21:9 UHD 서비스를 제공하는 스트림으로부터 UHD 비디오를 추출할 수 있다. 이 경우 부가 정보데이터(16:9 extraction info metadata)는 무시할 수 있다.
그리고, UHD 비디오 수신기가 16:9 화면비의 디스플레이 장치를 가지고 있다면 부가 정보데이터를 이용하여 UHD 비디오 스트림으로부터 16:9 화면비의 비디오를 추출하여 서비스를 제공할 수 있다.
종래의 HD 수신기는 16:9 화면비의 HD 비디오 스트림을 수신하여 HD 비디오를 제공할 수 있다.
도 32는 본 발명에 따른 신호 송수신 방법의 다른 실시예를 개략적으로 나타낸 도면이다.
예를 들어 21:9의 화면비의 비디오를 전송하되, 이 비디오 포맷을 스케일링하여 16:9의 화면비의 비디오로 전송하되, 16:9의 화면비의 비디오 내에 위와 아래에 레터박스(letterbox) 영역을 포함시켜 전송할 수 있다.
도 33은 도 32와 같이 전송될 경우 자막 영역의 출력을 예시한다. 기존 HD 비디오 수신기는 자막영역을 위한 캡션 윈도우는 레터박스 영역이 아닌 화면 영역에 나타난다.
도 34은 도 32와 같이 전송될 경우, UHD 비디오를 수신할 수 있는 수신기에서 자막을 위한 캡션 윈도우를 표시하는 예를 개시한다. UHD 비디오를 전송하는 스트림 내에 자막이 포함되었을 경우에 기존의 비디오를 좌측 상단(0,0)에서부터 출력하고 실제 비디오 영역의 바깥 부분의 레터박스 영역 (화면의 하단 영역, 잉여 영역)에 자막을 표출하여, 화면의 빈 부분에 자막이 출력됨으로써 실제 비디오 영역과의 간섭을 최소화 하면서 화면을 효율적으로 사용할 수 있다.
도 35은 본 발명에 따른 제 1 실시예에 따라 비디오 데이터를 전송할 경우 비디오 데이터를 인코딩 또는 디코딩하는 방법을 예시한 도면이다.
송신기는 16:9 HD 비디오를 base layer 데이터로 부호화하고, base layer 데이터에서 부호화된 데이터를 기반으로 해서 16:9 UHD를 구성하는 residual data를 enhancement layer 1 데이터로 부호화한다. 그리고, 나머지 좌측과 우측의 crop 된 데이터인 2.5: 9 비디오에 해당하는 나머지 UHD 비디오를 enhancement layer2 데이터로 부호화한다.
enhancement layer2 로 부호화되는 비디오 데이터는 21: 9의 전체 UHD 비디오에서 correlation을 이용해 부호화할 수도 있고, 독립된 비디오로 부호화될 수 있다. 그리고, 제 1 실시예에서 설명한 바와 같이 좌측과 우측의 crop 된 데이터의 좌/우 위치에 관한 정보를 전송해 줄 수 있다.
enhancement layer2로 부호화되는 비디오 데이터의 좌/우 위치에 대한 정보는 enhancement layer2에 해당하는 비디오 스트림 내의 header 또는 system level의 section data의 descriptor 형태와 같은 실시 예 등을 사용해서 전송할 수 있다. 이에 대해서는 후술하도록 한다.
수신기는, base layer 데이터만을 수신하여 복호하면 16: 9 HD 비디오(1920 x 1080)을 표출할 수 있다.
수신기가 base layer 데이터와 enhancement layer 1 데이터를 복호하면 16: 9 UHD 비디오(3840 x 2160)을 표출할 수 있다.
그리고, 수신기가 base layer 데이터, enhancement layer 1 데이터, 및 enhancement layer 2 데이터를 모두 복호한다면 21: 9 UHD 비디오(5040 x2160)을 표출할 수 있다. 이 경우, 위에서 설명한 enhancement layer2로 부호화되는 비디오 데이터의 좌/우 위치에 대한 정보가 사용될 수 있다.
따라서, 수신기의 성능에 따라 또는 기능에 따라 여러 가지 화면비의 여러 해상도의 비디오를 표출할 수 있다. 이 예는 4K 비디오를 여러 개의 비디오로 분리하여 전송하는 예를 예시한 것이고, 그 이상의 resolution에 따른 비디오도 위와 같은 방식으로 전송이 가능하다.
도 36는 본 발명에 따른 제 2 실시예에 따라 비디오 데이터를 전송할 경우 비디오 데이터를 인코딩 또는 디코딩하는 방법을 예시한 도면이다.
송신기에서 예를 들어 4K (5040x2160) UHD 비디오로부터 16:9 UHD 비디오로 분리한다면, 송신기는 16:9 비디오의 분리 시작 정보 및 분리 끝 정보를 함께 전송할 수 있다. 예를 들어 송신기는, 화면 상 시작 좌표에 해당하는 crop_cordinate_x1과 끝 좌표의 crop_cordinate_x2 정보를 함께 전송한다. 여기서, crop_cordinate_x1 정보는 16:9 UHD 비디오의 시작 좌표, crop_cordinate_x2 정보는 16:9 UHD 비디오의 끝 좌표를 나타낸다.
수신기는, 4K (5040x2160) UHD 비디오를 수신하고, 분리 시작 정보 및 분리 끝 정보를 무시하고 그대로 4K (5040x2160) UHD 비디오를 표출할 수 있다
수신기는 4K (5040x2160) UHD 비디오를 수신하고, 분리 시작 정보 및 분리 끝 정보를 이용하여 21:9 UHD 비디오 중 16: 9 UHD 비디오를 잘라내어 표출할 수 있다.
제 2 실시예에 따르면 16:9 HD 비디오는 별도의 스트림으로 전송되기 때문에, 수신기는 16:9 HD 비디오 스트림을 4K (5040x2160) UHD 비디오 스트림과 별도로 수신하여 표출할 수 있다.
따라서, 수신기의 성능에 따라 또는 기능에 따라 여러 가지 화면비의 여러 해상도의 비디오를 표출할 수 있다. 마찬가지로 이 예는 4K 비디오를 여러 개의 비디오로 분리하여 전송하는 예를 예시한 것이고, 그 이상의 resolution에 따른 비디오도 위와 같은 방식으로 인코딩 또는 디코딩이 가능하다.
도 37은 본 발명의 제 1 실시예에 따라 고해상도 비디오 데이터를 부호화하는 인코더일 예를 예시한 도면이다. 여기서는 고해상도 비디오 데이터를 4K의 21: 9 UHD 비디오 데이터로 예시한다. 이 도면에서 비디오와 관련된 데이터는 A, B, C, D1 및 D2로 나타낸다.
고해상도 비디오 데이터를 부호화하는 인코더의 일 예는 베이스 레이어 인코더(110), 제 1 Enhancement layer 데이터 인코더 (120), 및 제 2 Enhancement layer 데이터 인코더 (130)를 포함할 수 있다.
예를 들어 인코더의 일 예는, 21: 9 화면비의 UHD 비디오를 인코딩하는 인코더는, 각각 베이스 레이어 데이터, Enhancement layer 1 데이터, Enhancement layer 2 데이터를 각각 처리하여 인코딩할 수 있다.
베이스 레이어 인코더(110)의 크롭 및 스케일부(111)는 21:9 UHD 비디오 데이터(A)를 16:9로 크롭하고, 스케일링하여 사이즈를 줄여 16: 9 HD 비디오 데이터(B)로 출력한다. 제 1 인코딩부(119)는 16:9 HD 비디오 데이터를 베이스 레이어 데이터를 인코딩하여 출력할 수 있다.
제 1 Enhancement layer 데이터 인코더(120)의 크롭부(121)는 21:9 UHD 비디오 데이터(A)를 16:9로 크롭한다. 업스케일링부(123)는 베이스 레이어 인코더(110)의 크롭 및 스케일부(111)가 출력하는 다운 스케일링된 데이터를 다시 업 스케일링하여 출력하고, 제 1 연산부(127)는 크롭부(121)가 크롭한 데이터와 업스케일링부(123)가 업스케일링한 데이터를 이용하여 16: 9 UHD 비디오의 residual data(C)를 출력할 수 있다. 제 2 인코딩부(129)는 16:9 UHD 비디오를 Enhancement layer 1 데이터로 인코딩하여 출력할 수 있다.
제 2 Enhancement layer 데이터 처리부(130)의 제 2 연산부(137)는 21:9 UHD 비디오 데이터(A)와 크롭부(121)가 크롭한 데이터를 이용하여, 16:9 비디오 데이터와 21:9 비디오 데이터의 크롭 데이터인 좌측 비디오 데이터 (D1)및 우측 비디오 데이터(D2)를 각각 출력할 수 있다.
좌측 비디오 데이터 (D1)및 우측 비디오 데이터(D2)는 각각 해당 비디오의 좌측 또는 우측에 대한 정보로 식별될 수 있다. 이 정보를 시그널링하는 예는 뒤에서 기술한다. 여기서 좌측 비디오 데이터의 식별정보(enhancement_video_direction)는 0, 우측 비디오 데이터의 식별정보(enhancement_video_direction)는 1로 각각 예시했다.
좌측 비디오 데이터 (D1)및 우측 비디오 데이터(D2)를 하나의 비디오 스트림으로 전송하면 수신기는 시그널링 정보를 이용하여 복호할 수 있다. 이 경우 좌측 비디오 데이터 (D1)및 우측 비디오 데이터(D2)는 각각 코딩할 수 있고, 하나의 비디오 데이터로 코딩할 수도 있다.
따라서, 좌측 비디오 데이터 (D1)및 우측 비디오 데이터(D2)를 두 개의 비디오 스트림들로 전송하거나 하나의 스트림으로 전송하는 경우, 각각 식별정보를 이용하여 이를 분리하도록 시그널링할 수 있다.
제 3 인코딩부(139)는 크롭된 좌측 비디오 데이터 (D1)및 우측 비디오 데이터(D2)를 Enhancement layer 2 데이터로 인코딩할 수 있다.
따라서, 수신기의 성능에 따라 각각 베이스 레이어 데이터, Enhancement layer 1 데이터, Enhancement layer 2 데이터를 수신하면 UHD 비디오 또는 HD 비디오 데이터를 복원할 수 있다.
수신기가 Enhancement layer 2 데이터를 복원하는 경우, 각각 베이스 레이어 데이터, Enhancement layer 1 데이터와 연관된 복호화 방식으로 복호할 수도 있고, 이와 독립적으로 복호할 수도 있다. 이러한 복호화 방식은 부호화 방식에 따라 결정될 수 있다.
도 38은 본 발명의 제 1 실시예에 따라 분리한 원본 비디오와 분리된 비디오의 resolution을 예시한 도면이다.
좌측 상단의 예(a)는, 21:9 화면비의 5040 x 2160 해상도의 UHD 비디오의 해상도를 나타낸다.
21:9 화면비를 갖는 4K UHD 비디오는 5040x2160의 해상도를 갖는다. 그 중 16:9에 해당하는 비디오는 기존 방송에서 16:9의 4K UHD라고 불리는 3840 x 2160의 해상도의 비디오를 의미할 수 있다.
우측 상단의 예(b)는 21:9 화면비의 5040 x 2160 해상도의 UHD 비디오 상에서 3840 x 2160 해상도의 UHD 비디오를 예시한 도면이다.
중앙 하단의 예(c)에서, 3840 x 2160의 해상도의 비디오는 enhancement layer 1 데이터로, 좌우의 600 x 2160 해상도의 비디오는 하나의 비디오로 합친 경우에는 합친 비디오는 1200x2160 해상도의 비디오는 enhancement layer 1 데이터를 갖는다. 이때 비디오 level에서 잉여 비디오의 해상도에 대해 signaling이 필요하고, 어떤 방향의 비디오인지 좌/우 정보에 대한 signaling이 필요할 수 있다.
이 예는, 좌측 비디오 데이터의 식별정보(enhancement_video_direction)는 0, 우측 비디오 데이터의 식별정보(enhancement_video_direction)는 1로 각각 나타내었다.
또한 enhancement layer 2에 포함될 나머지 비디오는 좌/우의 edge 영역에만 국한되지 않는데, 21:9 비디오 중 임의의 16:9 비디오를 제외한 나머지 영역으로 위치는 임의로 지정이 가능하다. 예를 들어, 21:9 비디오 중 추출할 16:9 비디오를 좌측 영역으로 설정하고 나머지 우측의 5:9 비디오로 enhancement layer 2를 구성하는 실시 예도 가능하다. 또한, 해상도가 다른 경우도 가능하다. 예를 들어 4K 뿐만 아니라 8K UHD 비디오에 대해서도 이와 같이 비디오를 분리하여 전송할 수 있다.
도 39는 본 발명의 제 1 실시예에 따른 고해상도 비디오 데이터를 복호화하는 디코더의 일 예를 예시한 도면이다. 여기서는 설명의 편의상 고해상도 비디오 데이터를 4K의 21: 9 UHD 비디오 데이터로 예시한다. 이 도면에서 비디오와 관련된 데이터는 A, B, D1, D2 및 E로 각각 나타낸다.
고해상도 비디오 데이터를 복호화하는 디코더의 일 예는, 베이스 레이어 복호부(210), 제 1 Enhancement layer 데이터 복호부 (220), 및 제 2 Enhancement layer 데이터 복호부 (230) 중 적어도 하나의 복호부를 포함할 수 있다. 신호 수신 장치의 기능에 따라 3가지 기능의 복호부를 모두 포함할 수도 있고, 기존 HD 비디오를 출력하는 신호 수신 장치의 디코더는 베이스 레이어 복호부(210)만을 포함할 수도 있다. 이 예에서 역다중화(201)는 각 복호부들이 공유할 수도 있고, 각각의 복호부가 별개의 역다중화부(201)를 포함할 수도 있다.
예를 들어 21: 9 화면비의 UHD 비디오를 디코딩하는 디코더는, 각각 베이스 레이어 데이터, Enhancement layer 1 데이터, Enhancement layer 2 데이터를 각각 처리하여 디코딩할 수 있다.
베이스 레이어 복호부(210)의, 제 1 디코더(213)는 역다중화된 16: 9 화면비의 HD 비디오(B)를 복호하여 출력할 수 있다.
제 1 Enhancement layer 데이터 복호부 (220)의 업 스케일링부(221)는, 베이스 레이어 복호부(210)가 복호한 베이스 레이어 데이터를 업스케일링하여 출력한다.
제 2 디코더(223)는 베이스 레이어 데이터와 residual data를 이용하여 scalable decoding을 수행할 수 있다.
제 2 디코더(223)는 역다중화된 16:9의 residual data를 복호하고, 업스케일링된 베이스 레이어 데이터와 복호한 16:9의 residual data를 이용하여 16:9 화면비의 UHD 비디오(E)로 복호할 수 있다.
한편, 제 2 Enhancement layer 데이터 복호부 (230)의 제 3 디코더(233)는, 좌측/우측 비디오를 복호하고, 제 1 Enhancement layer 데이터 복호부 (220)가 디코딩한 Enhancement layer 1 데이터를 이용하여 출력한 16: 9의 UHD 비디오(E)와 복호한 좌측/우측 비디오(D1/D2)를 접합(merge)하여 21:9 UHD 비디오(A)를 복원할 수 있다.
이 경우, 제 2 Enhancement layer 데이터 복호부 (230)는, 좌측/우측 비디오를 식별하기 위한 식별정보를 이용할 수 있고, 21: 9 UHD 비디오(A)가 좌측/우측 비디오가 접합되는 부분에서 연속적이고 자연스럽게 표출될 수 있도록 boundary filtering을 수행할 수 있다. 이 경우 crop된 좌측/우측 비디오에 해당하는 crop된 비디오는 16:9 비디오와 접합하기 위해 filtering 과정을 거친다.
여기서, 필터링 과정은 기존의 코덱에서 사용하는 디블록킹 필터(deblocking filter)와 유사할 수도 있지만, 매크로블록의 경계마다 적용하는 것이 아니고 크롭(crop)된 비디오의 주변에 적용한다. 기존의 deblocking filter와 마찬가지로 실제 edge와 crop된 부분을 이어 붙임으로써 발생하는 boundary를 구분하기 위해 기준값(threshold)에 따라 필터링을 수행할 수 있다. 이에 대해서는 후술한다.
도 40은 본 발명의 제 1 실시예에에서 크롭된 비디오들을 접합하여 필터링하는 예를 개시한다. 베이스 레이어의 비디오, enhancement layer 1의 비디오, 및 enhancement layer 2의 비디오의 경계에서 블록화 현상을 제거하는 예를 설명한다.
이 도면에서 예를 들어 접합되는 면을 중심으로 크롭된 비디오들 중 좌측 비디오와 우측 비디오를 분리해서 부호화하면, 스티치(stitch)된 부분에 블록화 현상(blocking artifact)이 발생하기 때문에 그 경계부분에서 블러링(blurring)을 수행한다. 실제 비디오의 에지(edge)와 크롭(crop)으로 인해 발생하는 경계(boundary)를 구분하기 위해 필터링(filtering)을 수행할 수 있다. 필터링하는 방법은 좌우 각각 600x2160 크기의 비디오를 디코딩 한 후 16:9 UHD 비디오와 머징을 수행하여21:9의 비디오로 재구성한 후에 비디오 상에서 스티치(stitch)된 경계에서부터 좌우 수평 방향의 임의 개수의 픽셀(pixel)을 이용해서 필터링을 수행한다. 이 도면은 좌우 수평방향의 8개 픽셀들에 대한 필터링(filtering)을 적용하는 예로서, 스티치(stitch)된 부분의 좌표 정보를 사용할 수 있다.
이 도면에서 제 1 비디오와 제 2 비디오의 접합부분에서 한 필드의 픽셀들을 주소를 각각 Pi와 qi로 표시하고, i는 x좌표에 따라 0부터 정수값을 갖는다. I의 증가방향은 제 1 비디오와 제 2 비디오의 접합부분에서 달라진다. 만약 접합 부분의 x축으로 픽셀의 주소가 596, 597, 598, 599 (제 1 비디오 상의 픽셀들), 600, 601, 602, 603 (제 2 비디오 상의 픽셀들)라고 가정한다.
다음의 수학식 1에서 예시한 조건 1을 만족하기 위한 조건을 구하기 위해, 수학식 2 내지 수학식 4을 만족시키는 P0, P1, P2..값은 4-tap 필터 및 5-tap 필터를 사용해서 P0,' P1', P2',… 값으로 갱신된다.
수학식 1은 조건 1을 나타낸다.
수학식 1
(Abs( p2 - p0 ) < b) & (Abs( p0 - q0 ) < ( ( a >> 2 ) + 2 ))
수학식 2
p'0 = ( p2 + 2*p1 + 2*p0 + 2*q0 + q1 + 4 ) >> 3
수학식 3
p'1 = ( p2 + p1 + p0 + q0 + 2 ) >> 2
수학식 4
p'2 = ( 2*p3 + 3*p2 + p1 + p0 + q0 + 4 ) >> 3
여기서 수학식 2 내지 4와 관련된 조건 1과 수학식 6의 조건 2를 이용하면 각각 실제 에지(edge)와 블로킹 현상(artifact)를 구분할 수 있다.
위에서 수학식 1의 조건 1을 만족하지 않는 경우, 수학식 5와 같이 3-tap 필터를 적용하여 P0과 q0의 값은 p0' 및 q0' 값으로 갱신한다.
수학식 5
p'0 = ( 2*p1 + p0 + q1 + 2 ) >> 2
수학식 6의 조건 2는 q block을 필터링(filtering)하기 위한 조건으로 이를 만족할 경우, 수학식 7 내지 수학식 9에 예시한 바와 같이 q0, q1, q2 은 4-tap filter 및 5-tap filter를 사용해서 q′0, q′1, q′2 값으로 갱신한다.
수학식 6은 조건 2를 나타낸다.
수학식 6
(Abs( q2 - q0 ) < b) & (Abs( p0 - q0 ) < ( ( a >> 2 ) + 2 ))
수학식 7
q'0 = ( q2 + 2*q1 + 2*q0 + 2*q0 + p1 + 4 ) >> 3
수학식 8
q'1 = ( q2 + q1 + q0 + p0 + 2 ) >> 2
수학식 9
q'2 = ( 2*q3 + 3*q2 + q1 + q0 + p0 + 4 ) >> 3
만약 조건 2를 만족하지 않는 경우, 다음의 수학식 10을 이용하여 q0 값은 q′0 값으로 갱신된다.
수학식 10
q'0 = ( 2*q1 + q0 + p1 + 2 ) >> 2
조건 1과 2에서의 α(offset_alpha_value)와 β(offset_beta_value)는 QP(quantization parameter)에 따른 offset으로써 필터의 강도를 조절할 수 있다. QP(quantization parameter)값에 따라 offset으로 필터 강도를 조절하고 그에 따라 smoothing filter의 offset도 그에 따라 적절히 할당하면 비디오의 디테일을 조절할 수 있다.
도 41는 본 발명의 제 2 실시예에 따른 수신기의 제 1 예를 예시한 도면이다.
본 발명의 제 2 실시예에 따르면, HD 비디오의 스트림과 UHD 비디오의 스트림은 별개의 스트림으로 전송될 수 있다.
따라서, HD 비디오만을 표출할 수 있는 수신기(a)는 HD 비디오의 스트림을 역다중화하는 역다중화기 및 디코더를 포함하고, 역다중화기는 HD 비디오 스트림을 역다중화하고, 디코더는 해당 비디오 데이터를 디코딩하여 16:9 HD 비디오를 표출하도록 한다.
한편, UHD 비디오를 표출할 수 있는 수신기(b)도 역다중화기 및 디코더를 포함할 수 있다. 이 경우, 역다중화기는 UHD 비디오 스트림을 역다중화하고, 디코더는 해당 비디오 데이터를 디코딩하여 UHD 비디오를 표출하도록 할 수 있다.
이 때, UHD 비디오는 수신기의 성능에 따라 비디오의 일부가 크롭(crop)된 비디오인 16:9 UHD 비디오일 수도 있고, 크롭되지 않은 21:9 UHD 비디오일 수 있다. 수신기는 제 2 실시예에서 설명한 바와 같이, 그 성능에 따라 복호한 UHD 비디오를 표출할 수 있고, 16:9 화면비의 UHD 비디오인 경우, 원본의 21:9 UHD 비디오 중 크롭되는 위치정보(16:9 rectangle 좌표로 표시)를 이용하여 비디오를 크롭한 후 크롭된 비디오를 표출할 수 있다. 여기서는 4K UHD 비디오를 예로 하여 설명했지만, 비디오의 해상도가 더 높아져도 이와 같은 방식을 적용할 수 있다.
도 42는 본 발명의 제 3 실시예에 따른 수신기의 동작을 예시한 도면이다. 본 발명의 제 3 실시예에 따르면, 21:9 화면비의 UHD 비디오는, 스케일링된 16:9 화면비의 비디오와 그 비디오의 상, 하에 위치하는 레터박스가 삽입된 형태로 전송된다. 자막정보가 디스플레이되는 비디오인 경우, 수신기의 성능에 따라 자막정보가 16:9 비디오 상에 표출되던가 또는 레터박스 상에 표출되도록 할 수 있다.
이 도면에 비디오 (A)는 설명한 제 3실시예에 따라 전송되는 16: 9비디오 및 그 비디오 상에 표출되는 레터박스를 예시한다. 수신기의 성능에 따라 이 비디오를 처리하는 방식이 달라질 수 있다.
먼저 16: 9 화면비의 디스플레이를 가진 수신기에서 비디오를 위한 자막정보(subtitle)가 존재하지 않는 경우라면, 수신기는 16:9 비디오와 레터박스를 그대로 표출할 수 있다. 반대로 전송되는 비디오를 위한 자막정보가 포함될 경우 이 수신기는 위쪽의 레터박스(Top AFD bar)를 삭제 또는 분리하고, 아래의 레터박스(bottom AFD(Active Format Description) bar)를 2배로 확장하거나 또는 위쪽의 레터박스를 아래의 레터박스에 붙여, 2배 크기의 레터박스(AFD_size_2N)로 비디오 포맷을 변환하여 표출할 수 있다.
즉, 5040 x 2160의 UHD 비디오를 예로 들면, 수신기는 수신된 비디오에 대해 사이즈가 각각 3840 x N x 2 (여기서 N은 레터박스의 높이) 크기의 레터박스(AFD bar)를 비디오의 아랫부분에 삽입하고, 그 위치에 자막을 표시하여 화면을 효율적으로 배치하도록 할 수 있다. 여기서 2 x N은 135이 될 수 있다. 즉, 예시한 5040 x 2160의 UHD 비디오 포맷을 16: 9의 (UHD 또는 HD) 비디오 포맷으로 변경하는 경우, 비디오 아랫 부분에 자막정보 표출을 위해 삽입되는 레터박스의 높이(AFD_size_2N)는 515가 된다 (5040: 3840 = 2160: (2160 - X) -> X = 515 = AFD_size_2N). 만약 비디오를 위한 자막정보가 존재하지 않는 경우에는 기존 방법과 마찬가지로 비디오의 상하에 각각 3840xN인 AFD bar를 삽입할 수 있다. 이는 해상도가 높아지는 비디오에 대해서도 동일하게 유사한 방식으로 적용될 수 있다.
반면에 21:9 비디오를 전송하는 경우, 21:9 화면비의 디스플레이를 가진 수신기는 자막이 있는 경우 그 비디오 상에 자막을 표출하고, 그렇지 않는 경우 그 비디오를 그대로 수신하여 표출할 수 있다.
이하에서는 본 발명의 실시예에 따라 비디오가 송수신될 경우 이를 처리하도록 할 수 있는 방송신호의 시그널링 정보를 예시한다.
도 43은 본 발명의 제 1 실시예에 따라 비디오를 표출하도록 할 수 있는 시그널링 정보를 예시한 도면이다. 이 도면은 시스템 레벨에서 시그널링 정보로서 PMT를 예시하는데, PMT의 program_info_length의 바로 뒤의 프로그램 레벨의 디스크립터와, ES_info_length 필드의 바로 뒤에 스트림 레벨의 디스크립터를 포함할 수 있다.
이 도면은 프로그램 레벨의 디스크립터의 예로서 UHD_program_type_descriptor를 예시한다.
descriptor_tag는 이 디스크립터의 식별자를 나타낸다.
그리고 UHD_program_format_type은 위에서 설명한 바와 같이 각각의 실시예를 식별하는 정보가 포함될 수 있다.
예를 들어, UHD_program_format_type가 0x01인 경우, 본 발명의 제 1 실시예를 나타내는 것으로서, 전송되는 21:9의 UHD 비디오가, 16:9 HD 비디오, 16:9 UHD 비디오, 및 21: 9 UHD 비디오와 16:9 UHD 비디오의 차이인 영역을 별도의 레이어 데이터를 이용하여 표출될 수 있는 비디오 포맷이거나, 또는 그 비디오 포맷에 따른 서비스 타입을 나타낸다.
UHD_program_format_type가 0x02인 경우, 본 발명의 제 2 실시예를 나타내는 것으로서, 전송되는 21:9의 UHD 비디오가, 21:9 비디오 또는 16:9 비디오를 위한 크롭정보를 이용하여 표출될 수 있는 비디오 포맷이거나 또는 그 비디오 포맷에 따른 서비스 타입을 나타낸다.
UHD_program_format_type가 0x03인 경우, 본 발명의 제 3 실시예를 나타내는 것으로서, 전송되는 21:9의 UHD 비디오가, 16:9 비디오와 21:9 비디오를 위한 레터박스(AFDbar) 정보를 이용하여 표출되는 비디오 포맷이거나 또는 그 비디오 포맷에 따른 서비스 타입을 나타낸다.
UHD_program_format_type가 0x04인 경우, 본 발명의 제 4 실시예를 나타내는 것으로서, 전송되는 16:9의 UHD 비디오가, 21:9 비디오 또는 16:9 비디오를 위한 크롭정보를 이용하여 표출될 수 있는 비디오 포맷이거나 또는 그 비디오 포맷에 따른 서비스 타입을 나타낸다.
그리고, 스트림 레벨의 디스크립터의 예로서, UHD composition descriptor를 예시한다. 이 디스크립터는 본 발명에 따른 제 1, 2, 3, 4의 실시예에 대해 서비스 또는 프로그램을 구성하는 스트림에 대한 정보를 포함할 수 있다.
예를 들어 제 1 실시예에 따르는 경우, 베이스 레이어 데이터, enhancement layer 1 데이터, enhancement layer 2 데이터를 각각 전송하는 스트림을 식별하는 정보가 포함될 수 있다. 이에 대해서는 다음에서 상술한다.
도 44은 본 발명의 제 1 실시예에 따른 시그널링 정보의 구체적인 신택스 값을 예시한 도면이다.
본 발명의 실시예들에 따른 정보를 방송 신호의 시그널링 정보로 시그널링하고, 그 시그널링 정보가 PMT인 경우는 예시된 필드 값은 다음의 정보를 나타낼 수 있다.
제 1 실시예는 베이스 레이어 데이터, 제 1 enhancement layer 데이터, 제 2 enhancement layer 데이터를 전송하는 스트림을 각각 전송하는데, 이 실시예는 이 데이터들을 모두 시그널링할 수 있다.
먼저 제 1 실시예에서 program_number 필드는 21:9 UHD 프로그램에 대한 프로그램 번호정보가 될 수 있다.
그리고, 베이스 레이어 데이터를 전송하는 스트림에 대해서는 PMT에 다음과 같은 정보가 포함될 수 있다. Stream_type은 MPEG-2 비디오 코덱에 따른 비디오 스트림을 나타내는 0x02 등의 값이 될 수 있다. Elementary_PID는 각 프로그램에 포함되는 엘레먼터리 스트림의 PID값을 나타내는데 이 예는 0x109A라는 값을 나타냄을 예시한다. 스트림 레벨의 디스크립터는 MPEG-2 비디오에 관련된 시그널링 정보가 포함될 수 있다.
제 1 enhancement layer 데이터를 전송하는 스트림에 대해서는 PMT에 다음과 같은 정보가 포함될 수 있다. Stream_type은 HEVC scalable layer 비디오 코덱에 따른 스트림의 타입을 나타내는데 여기서는 이 값을 0xA1의 값으로 예시하였다. Elementary_PID는 각 프로그램에 포함되는 엘레먼터리 스트림의 PID값을 나타내는데 이 예는 0x109B라는 값을 나타냄을 예시한다. 스트림 레벨의 디스크립터인 UHDTV_sub_stream_descriptor()는 베이스 레이어를 이용해 16:9 비디오를 구성하는데 필요한 제 1 enhancement layer 데이터에 관련된 시그널링 정보가 포함될 수 있다.
제 2 enhancement layer 데이터를 전송하는 스트림에 대해서는 PMT에 다음과 같은 정보가 포함될 수 있다. Stream_type은 HEVC scalable layer 비디오 코덱에 따른 스트림의 타입을 나타내는 여기서는 이 값을 0xA2의 값으로 예시하였다. Elementary_PID는 각 프로그램에 포함되는 엘레먼터리 스트림의 PID값을 나타내는데 이 예는 0x109C라는 값을 나타냄을 예시한다. 스트림 레벨의 디스크립터인 UHDTV_composition_descriptor()는 제 2 enhancement layer 데이터 및 21:9 UHD 비디오를 복원하기 위해 관련된 시그널링 정보가 포함될 수 있다.
도 45은 본 발명의 제 1 실시예를 따를 경우, 스트림 레벨 디스크립터의 일 예를 예시한다.
도 43의 예에 따르면, 프로그램 레벨의 디스크립터에 포함되는 UHD_program_format_type은 제 1 실시예에 대해 0x01의 값을 가질 수 있다.
스트림 레벨 디스크립터는 이 디스크립터를 식별할 수 있는 descriptor_tag값과, 이 디스크립터의 길이를 나타내는 descriptor_length와 UHD_composition_metadata()가 포함될 수 있다.
이 예에서 UHD_composition_metadata()에 포함되는 정보들을 예시하면 다음과 같다.
EL2_video_codec_type필드는 UHD 서비스에 포함되는 video element의 코덱정보를 나타낸다. 예를 들어 이 값은 PMT의 stream_type과 동일한 값을 갖을 수 있다.
EL2_video_profile필드는 해당 video stream에 대한 profile 정보, 즉 해당 stream을 디코딩하기 위해 필요한 기본 사양에 대한 정보를 나타낼 수 있다. 해당 비디오 스트림의 컬러 뎁스 (color depth) (4:2:0, 4:2:2 등), bit depth (8-bit, 10-bit), coding tool 등에 대한 요구사항(requirement) 정보가 포함될 수 있다.
EL2_video_level필드는 해당 video stream에 대한 레벨정보로서, 프로파일(profile)에서 정의한 기술 요소 지원 범위에 대한 정보가 포함될 수 있다.
EL2_video_component_type 필드는 해당 video stream가 UHD 서비스 구성하는 경우, 어떤 데이터를 포함하는지를 나타낸다. 예를 들어 스트림은 16:9 HD에 해당하는 base layer 데이터인지, 16:9의 제 1 enhancement layer 데이터인지, 21:9 UHD를 위한 제 2 enhancement layer 데이터인지에 대한 식별정보를 나타낸다.
original_UHD_video_type필드는 UHD 비디오 포맷에 대한 정보를 시그널링하는 것으로써, 비디오의 resolution 및 frame rate등과 같은 기본적인 정보를 나타낼 수 있다.
original_UHD_video_aspect_ratio필드는 본래 UHD 비디오의 aspect ratio에 관한 정보를 나타낸다.
EL2_video_width_div16필드와 EL2_enhancement_video_height_div16필드는 제 2 enhancement layer 데이터에 해당하는 sub_video의 resolution 정보를 나타낸다. 예를 들어 제 2 enhancement layer 데이터로 표출되는 비디오의 가로 및 세로의 크기를 16의 배수 단위로 표현할 수 있다.
EL2_video_direction필드는 크롭(crop)된 비디오의 방향 정보를 나타낼 수 있다.
EL2_video_composition_type필드는 UHD 비디오 중 sub_video들이 하나의 비디오로 합쳐져 구성되어 하나의 스트림(stream)으로 전송될 때, sub_video들을 구성하는 방법을 나타낸다.
EL2_dependency_idc필드는 UHD 비디오 중 좌우의 sub-video를 압축할 때, 독립적으로 부호화했는지 혹은 16:9 UHD 비디오와의 상관된 부호화 방식을 사용했는지에 대한 정보를 나타낸다.
enhancement_video_filter_num필드는 좌우의 크롭(crop)된 비디오를 복호화할 경우, 비디오에 블록화영역(artifact)이 존재하기 때문에 필터링(filtering)을 적용할 수 있는데 필터링의 적용 여부 및 필터의 개수를 나타낸다.
enhancement_video_filtering_cordinate_x_div4필드와 enhancement_video_filtering_cordinate_y_div4필드는 필터링(Filtering)을 적용해야 할 비디오의 부분의 X방향, Y방향의 첫 픽셀의 좌표를 각각 나타낸다. 실제 좌표는 이 필드에 4를 곱한 값이 될 수 있다. 예를 들어 이 경우 좌표는 UHD 비디오를 기준으로 할 수 있는데, 즉, 베이스 레이어, 제 1 enhancement 레이어, 제 2 enhancement 레이어를 이용해 복원한 UHD 비디오를 기준으로 할 수 있다.
enhancement_video_filtering_width_div4필드와 enhancement_video_filtering_width_div4필드는 필터링을 적용해야 할 비디오 영역의 크기를 픽셀의 개수로 나타낼 수 있다. 예를 들어 필터링을 적용해야 할 영역의 크기는 실제 크기에서 4를 곱한 값이 될 수 있다.
도 46는 위에서 예시한 비디오의 해상도 및 프레임 레잇을 나타내는 정보의 값을 예시한 도면이다. 시그널링 정보 중 original_UHD_video_type필드는 비디오의 해상도 및 프레임 레잇을 나타낼 수 있는데, 이 도면에서는 그 값에 따라 여러 가지 해상도와 프레임 레잇을 가질 수 있음을 예시한다. 예를 들어 original_UHD_video_type필드가 0101값일 경우, 본래 비디오는 초당 60 프레임, 5040 x 2160 해상도를 가질 수 있다.
도 47은 원래 비디오의 화면비(aspect ratio)에 대한 정보를 예시한 도면이다. 설명한 시그널링 정보 중 original_UHD_video_aspect_ratio필드 본래 UHD 비디오의 aspect ratio에 관한 정보를 나타낸다. 이 도면은, 예를 들어 이 값이 10인 경우, 21:9 화면비를 나타냄을 예시한다.
도 48은 크롭된 비디오의 방향 정보를 예시한 도면이다. 설명한 시그널링 정보 중 EL2_video_direction필드 크롭된 비디오(제 2 enhancement layer 데이터)의 방향 정보를 예시한다. 예를 들어 본 발명의 제 1 실시예에서 크롭된 좌우 비디오는 방향 정보를 가질 수 있는데, 이 방향에 대한 정보 값이 00이면 왼쪽, 01이면 오른쪽, 10이면 위쪽, 11이면 아래쪽의 방향을 갖는다는 것을 예시한다.
도 49는 비디오를 구성하는 방법의 예를 예시한 도면이다. 위에서 설명한 EL2_video_composition_type필드는 베이스 레이어 데이터, 제 1 enhancement layer 데이터 및 제 2 enhancement layer 데이터가 결합하는 경우, 이들을 결합하도록 하는 시그널링 정보를 예시한다.
제 1 실시예에서 예를 들어 이 필드 값이 01이면 제 2 enhancement layer 데이터 top/bottom에 결합되고, 10이면 제 2 enhancement layer 데이터가 side-by-side로 결합됨을 예시하고, 11이면 서브 스트림이 베이스 레이어 데이터와 제 1 enhancement layer 데이터와 서브스트림 아닌 별도의 스트림으로 전송됨을 예시한다.
도 50은 서브 스트림들을 인코딩할 경우 인코딩 방식에 대한 예를 예시한 도면이다. 제 1 실시예를 따를 때 설명한 EL2_dependency_idc필드는 UHD 비디오에 포함되는 베이스 레이어 데이터, 제 1 enhancement layer 데이터 및 제 2 enhancement layer 데이터가 서로 관련되어 인코딩되는지 또는 독립적으로 인코딩되는지를 나타낼 수 있다. 예를 들어, 특정 데이터를 인코딩하는데 시간 예측이나 시점 예측에 사용되는 데이터는 관련되어 인코딩된다고 할 수 있다.
예를 들어 이 필드의 값이 01이면, 제 2 enhancement layer 데이터가 다른 데이터와 관련없이 독립적으로 인코딩되었음을 나타내고, 10이면 제 2 enhancement layer 데이터가 다른 데이터와 관련되어 인코딩되었음을 나타낸다.
다음으로 본 발명의 제 2 실시예에 따른 경우, 비디오를 표출하도록 할 수 있는 시그널링 정보를 예시한 도면이다.
도 51는 도 43의 PMT에 포함될 수 있는, 스트림 레벨 디스크립터를 예시한 도면이다.
본 발명의 제 2 실시예에 따를 경우, HD 비디오 스트림과 UHD 비디오 스트림은 별개의 스트림으로 전송될 수 있다. 그리고 UHD 비디오 스트림은 수신기의 화면비를 고려하여 다른 화면비로 전환할 수 있는 메타데이터를 포함할 수 있다.
마찬가지로 descriptor_tag와 descriptor_length는 이 디스크립터의 식별자와 길이를 각각 나타낸다.
여기서 16_9_extension_info_metadata()는 제 2 실시예의 경우 UHD 비디오를 구성하는 스트림에 대한 시그널링 정보가 포함되어 있다.
예를 들어, EL2_video_codec_type필드는 UHD 서비스에 포함되는 video element의 코덱정보를 나타낸다. 예를 들어 이 값은 PMT의 stream_type과 동일한 값을 갖을 수 있다.
EL2_video_profile필드는 해당 video stream에 대한 profile 정보, 즉 해당 stream을 디코딩하기 위해 필요한 기본 사양에 대한 정보를 나타낼 수 있다. 해당 비디오 스트림의 컬러 뎁스 (color depth) (4:2:0, 4:2:2 등), bit depth (8-bit, 10-bit), coding tool 등에 대한 요구사항(requirement) 정보가 포함될 수 있다.
EL2_video_level필드는 해당 video stream에 대한 레벨정보로서, 프로파일(profile)에서 정의한 기술 요소 지원 범위에 대한 정보가 포함될 수 있다.
original_UHD_video_type필드는 UHD 비디오 포맷에 대한 정보를 시그널링하는 정보로, 비디오의 resolution 및 frame rate등 과 같은 비디오와 관련된 정보를 나타낼 수 있다.
original_UHD_video_aspect_ratio필드는 UHD 비디오의 aspect ratio에 관한 정보를 나타낼 수 있다.
16_9_rectangle_start_x,필드, 16_9_rectangle_start_y필드, 16_9_rectangle_end_x필드 및 16_9_rectangle_end_y 필드는 UHD 비디오의 해상도가 5040x2160와 같은 21:9 format인 경우, 이 중에서 유효한 16:9 화면 영역을 지정할 수 있는 위치 정보를 나타낸다. 해당 영역의 좌측 상단의 화소 위치는 16_9_rectangle_start_x, 16_9_rectangle_start_y에 의해 지정되며, 해당 영역의 우측 하단의 화소 위치는 16_9_rectangle_end_x, 16_9_rectangle_end_y에 의해 지정될 수 있다. 이 필드들을 이용해 16:9 display format을 갖는 수신기는 이 필드에 의해 지정된 영역만을 출력할 수 있으며 나머지 영역은 크롭(crop)하여 표출하지 않을 수 있다.
도 52는 예시한 제 3 실시예를 따를 경우, 시그널링 정보를 예시한 도면이다.
본 발명의 제 3 실시예에 따를 경우, 21:9 화면비의 비디오는 16:9 화면비의 비디오로 전송된다. 이 때 수신기의 화면에 따라 16:9 의 디스플레이를 가진 수신기는 종래와 같이 자막을 비디오 상에 표출하고, 21:9 의 디스플레이를 가진 수신기는 화면의 빈 부분에 자막을 표출하도록 할 수 있다.
이 경우 PMT의 스트림 레벨의 디스크립터는 이 도면에서 예시한 정보를 포함할 수 있다.
마찬가지로 descriptor_tag와 descriptor_length는 이 디스크립터의 식별자와 길이를 각각 나타낸다. UHD_subtitle_position_info()는 자막이 위치하는 정보를 포함할 수 있다.
UHD_video_codec_type필드는 UHD 서비스에 포함되는 video element의 코덱정보를 나타낸다. 예를 들어 이 값은 PMT의 stream_type과 동일한 값을 갖을 수 있다.
UHD_video_profile필드는 해당 video stream에 대한 profile 정보, 즉 해당 stream을 디코딩하기 위해 필요한 기본 사양에 대한 정보를 나타낼 수 있다. 해당 비디오 스트림의 컬러 뎁스 (color depth) (4:2:0, 4:2:2 등), bit depth (8-bit, 10-bit), coding tool 등에 대한 요구사항(requirement) 정보가 포함될 수 있다.
UHD_video_level필드는 해당 video stream에 대한 레벨정보로서, 프로파일(profile)에서 정의한 기술 요소 지원 범위에 대한 정보가 포함될 수 있다.
21:9 비디오를 16:9 디스플레이에 맞는 비디오 포맷으로 변환할 때, 비디오를 단순히 크롭(crop)하는 경우와 비디오를 스케일링(scaling)해서 레터박스 영역(AFD bar)을 삽입하는 경우가 있다.
UHD_video_component_type필드는 변환된 16:9 비디오가 스케일링(scaling)한 비디오인지 혹은 crop한 비디오인지의 정보를 알려준다.
UHD_video_include_subtitle필드는 해당 스트림에 따른 비디오 내에 자막정보가 제공되는 스트림인지 여부에 대해 나타낸다.
original_UHD_video_type필드는 UHD 비디오 포맷에 대한 정보를 시그널링하는 정보로, 비디오의 resolution 및 frame rate등 과 같은 비디오와 관련된 정보를 나타낼 수 있다.
original_UHD_video_aspect_ratio필드는 UHD 비디오의 aspect ratio에 관한 정보를 나타낼 수 있다.
AFD_size_2N 필드는, UHD_video_include_subtitle에서 스트림(stream)에 따른 비디오에 자막이 포함되어 있지 않은 경우에는 (가로해상도 x AFD_size_2N/2)의 AFD bar를 상하로 각각 추가해주고, 자막이 포함되어 있는 비디오에 대한 stream일 경우, (가로해상도 x AFD_size_2N) 만큼의 AFD_bar를 하단에 추가해 줄 수 있음을 나타낼 수 있다. 자막을 비디오 상에 표출할 수 경우, 자막은 레터박스 영역(AFD_bar) 위에 표출할 수 있다. 수신기는 이 필드를 이용해 상하의 레터박스 영역을 제외한 나머지 21:9 비디오 영역을 출력하는 과정에서, 비디오 위로 올리고 나머지 남는 영역에 자막을 표출하도록 하여 자막 위치를 조절하는 기능을 수행할 수 있다.
도 53은 예시한 UHD_video_component_type필드의 필드 값을 예시한다. 예를 들어 이 필드를 이용하면 수신되는 16:9 비디오는 크롭한 비디오인지 또는 스케일링 후 레터박스 (AFD bar)를 삽입한 비디오인지 식별할 수 있다.
도 54은 예시한 UHD_video_include_subtitle필드의 필드 값을 예시한다. 예를 들어 이 값이 0 또는 1인지에 따라 스트림 또는 스트림에 따른 비디오에 자막정보가 포함되어 있거나 포함되지 않음을 나타낼 수 있다.
도 55은 전송 비디오의 포맷과 수신기의 디스플레이 화면비가 다른 경우, 수신기의 동작의 예를 예시한 도면이다.
이 도면에서 전송되는 비디오의 포맷은 가장 오른쪽 열(A-1, B-1, C-1)에 예시하였고, 중간 열은 수신기의 동작(A-2, B-2, C-2), 마지막 열은 수신기 동작에 따라 표출될 수 있는 화면들(A-3, A-4, B-3, B-4, C-3, C-4)을 예시한다. 설명의 용이함을 위해 전송 비디오 포맷은 21:9, 수신기의 디스플레이는 16:9라고 예시한다.
예를 들어 전송 비디오가 21:9 의 비디오 포맷을 가진 경우(A-1), 수신기는 디스플레이 장치 또는 그 성능에 따라 해당 비디오에 레터박스 영역(AFD bar)를 삽입하고, 해당 비디오에 대해 스케일링을 수행한다(A-2). 이 때 예시한 시그널링 정보에 따라 자막정보가 없는 경우(A-3), 수신기는 레터박스 영역을 비디오의 상하에 삽입하여 표출하고, 자막정보가 있는 경우(A-4), 수신기는 레터박스 영역을 비디오의 하단에 추가하고 레터박스 영역에 자막정보를 표출할 수 있다.
다른 예로서, 전송 비디오가 21:9 의 비디오 포맷을 가진 경우(A-2), 수신기는 디스플레이 장치 또는 그 성능에 따라 해당 비디오를 크롭한다(B-2). 만약 예시한 제 1 실시예의 경우라면(B-3), 서로 연관되거나 또는 독립적으로 인코딩한 베이스 레이어 데이터, 제 1 인핸스먼트 레이어 데이터, 제 2 인핸스먼트 레이터 데이터를 복호하여 16:9 화면비의 디스플레이에 표출할 수 있다. 이 경우 제 2 인핸스먼트 레이터 데이터는 복호하지 않거나 복호된 데이터를 사용하지 않을 수 있다.
제 2 실시예의 경우라면(B-4), 시그널링 정보에 포함된 크롭 좌표 정보를 이용하여 16:9 화면의 디스플레이에 표출할 수 있다.
또 다른 예로서, 전송 비디오가 21:9의 포맷을 가졌으나 16:9의 비디오 코딩 포맷에 21:9의 비디오 포맷과 AFD bar 이미지가 추가된 16:9의 비디오 포맷을 가진 경우(C-1), 수신기는 수신된 비디오를 그대로 표출할 수 있다(C-2).
이 때, 수신기는 전송 비디오의 16:9 비디오 코딩 포맷을 액티브 포맷으로서 비디오 포맷 16:9에 AFD가 추가된 형태를 식별하여 레터박스 영역을 상하로 그대로 표출할 수도 있고(C-3), 스트림 내부에 자막이 있다면 기존에 삽입된 bar 영역을 잘라내 하단에 추가하여 그 영역에 자막정보를 표출할 수도 있다(C-4).
도 56은 도 43의 PMT에 포함될 수 있는, 스트림 레벨 디스크립터를 예시한 도면이다.
본 발명의 제 4 실시예에 따를 경우, HD 비디오 스트림과 UHD 비디오 스트림은 별개의 스트림으로 전송될 수 있다. 그리고 UHD 비디오 스트림은 수신기의 화면비를 고려하여 다른 화면비로 전환할 수 있는 메타데이터를 포함할 수 있다.
마찬가지로 descriptor_tag와 descriptor_length는 이 디스크립터의 식별자와 길이를 각각 나타낸다.
여기서 wider_extraction_info_metadata()는 제 4 실시예의 경우 UHD 비디오를 구성하는 스트림에 대한 시그널링 정보가 포함되어 있다.
예를 들어, EL2_video_codec_type필드는 UHD 서비스에 포함되는 video element의 코덱정보를 나타낸다. 예를 들어 이 값은 PMT의 stream_type과 동일한 값을 갖을 수 있다.
EL2_video_profile필드는 해당 video stream에 대한 profile 정보, 즉 해당 stream을 디코딩하기 위해 필요한 기본 사양에 대한 정보를 나타낼 수 있다. 해당 비디오 스트림의 컬러 뎁스 (color depth) (4:2:0, 4:2:2 등), bit depth (8-bit, 10-bit), coding tool 등에 대한 요구사항(requirement) 정보가 포함될 수 있다.
EL2_video_level필드는 해당 video stream에 대한 레벨정보로서, 프로파일(profile)에서 정의한 기술 요소 지원 범위에 대한 정보가 포함될 수 있다.
original_UHD_video_type필드는 UHD 비디오 포맷에 대한 정보를 시그널링하는 정보로써, 비디오의 resolution 및 frame rate등 과 같은 비디오와 관련된 정보를 나타낼 수 있다. 이는 제 1 실시예의 original_UHD_video_type과 동일한 의미를 가질 수 있다.
original_UHD_video_aspect_ratio필드는 UHD 비디오의 aspect ratio에 관한 정보를 나타낼 수 있다. 이는 제 1 실시예의 original_UHD_video_type과 동일한 의미를 가질 수 있다.
wider_rectangle_start_x 필드, wider _rectangle_start_y필드, wider _rectangle_end_x필드 및 wider _rectangle_end_y 필드는 UHD 비디오의 해상도가 16:9 format인 경우, 이 중에서 유효한 21:9 화면 영역을 지정할 수 있는 위치 정보를 나타낸다. 해당 영역의 좌측 상단의 화소 위치는 wider_rectangle_start_x, wider_rectangle_start_y에 의해 지정되며, 해당 영역의 우측 하단의 화소 위치는 wider_rectangle_end_x, wider_rectangle_end_y에 의해 지정될 수 있다. 이때, 이 fields 값들은 코딩된 비디오 스트림의 라인 (line)수를 기준으로 지정하거나, 코딩된 비디오의 가로 세로 방향으로 상대적인 위치를 지정할 수 있다. 예를 들어, wider_rectangle_start_x가 1920의 값을 갖는 픽셀 수로 표현될 수 있고 또는 가로 크기 기준으로 10%d에 해당하는 192의 상대적인 값으로 표현 될 수 있다. 결과적으로 이 필드를 이용해 21:9와 같이 넓은 화면비의 display format을 갖는 수신기는 16:9 영역 중 이 필드에 의해 지정된 영역을 선택적으로 출력할 수 있으며 나머지 영역은 크롭(crop)하여 표출하지 않을 수 있다.
다른 실시예로써, 전술한 wider_rectangle_start_x, wider_rectangle_start_y, wider_rectangle_end_x, wider_rectangle_end_y 필드들 대신 inactive_top_size, inactive_bottom_size, inactive_left_size, inactive_right_size 라는 필드를 사용할 수 있다. 이들 필드들은 각각 출력하지 않아도 되는 영상 상단의 가로라인수, 영상 하단의 가로라인수, 영상 좌측의 세로 라인수, 영상 우측의 세로 라인 수를 지정할 수 있다.
도 57는 예시한 디스크립터들이 다른 시그널링 정보에 포함되는 경우를 예시한다. 이 도면은 예시한 디스크립터들이 SDT에 포함되는 경우를 예시한다.
table_id 필드는 테이블의 식별자를 나타낸다.
section_syntax_indicator 필드는, SDT테이블 셕션에 대해 1로 셋팅되는 1비트 필드이다 (section_syntax_indicator: The section_syntax_indicator is a 1-bit field which shall be set to "1")
section_length 필드는, 섹션의 길이를 바이트 수로 나타낸다 (section_length: This is a 12-bit field, the first two bits of which shall be "00". It specifies the number of bytes of the section, starting immediately following the section_length field and including the CRC. The section_length shall not exceed 1 021 so that the entire section has a maximum length of 1 024 bytes.)
transport_stream_id 필드는 전송 시스템 내 다른 멀티플렉스와 구별하여, 이 SDT가 제공하는 TS 식별자를 나타낸다(transport_stream_id: This is a 16-bit field which serves as a label for identification of the TS, about which the SDT informs, from any other multiplex within the delivery system.)
version_number 필드는 이 서브 테이블의 버전 번호를 나타낸다(version_number: This 5-bit field is the version number of the sub_table. The version_number shall be incremented by 1 when a change in the information carried within the sub_table occurs. When it reaches value "31", it wraps around to "0". When the current_next_indicator is set to "1", then the version_number shall be that of the currently applicable sub_table. When the current_next_indicator is set to "0", then the version_number shall be that of the next applicable sub_table.)
current_next_indicator 필드는 이 서브 테이블이 현재 적용가능한지 또는 다음에 적용 가능한지를 나타낸다 (current_next_indicator: This 1-bit indicator, when set to "1" indicates that the sub_table is the currently applicable sub_table. When the bit is set to "0", it indicates that the sub_table sent is not yet applicable and shall be the next sub_table to be valid.)
section_number 필드는 섹션의 번호를 나타낸다(section_number: This 8-bit field gives the number of the section. The section_number of the first section in the sub_table shall be "0x00". The section_number shall be incremented by 1 with each additional section with the same table_id, transport_stream_id, and original_network_id.)
last_section_number 필드는 마지막 섹션의 번호를 나타낸다 (last_section_number: This 8-bit field specifies the number of the last section (that is, the section with the highest section_number) of the sub_table of which this section is part.)
original_network_id 필드는 전송 시스템이 네트워크 아이디를 식별자를 나타낸다(original_network_id: This 16-bit field gives the label identifying the network_id of the originating delivery system.)
service_id 필드는 TS내 서비스 식별자를 나타낸다(service_id: This is a 16-bit field which serves as a label to identify this service from any other service within the TS. The service_id is the same as the program_number in the corresponding program_map_section.)
EIT_schedule_flag 필드는, 서비스에 대한 EIT schedule 정보가 현재 TS에 있는지를 나타낼 수 있다(EIT_schedule_flag: This is a 1-bit field which when set to "1" indicates that EIT schedule information for the service is present in the current TS, see TR 101 211 [i.2] for information on maximum time interval between occurrences of an EIT schedule sub_table). If the flag is set to 0 then the EIT schedule information for the service should not be present in the TS.)
EIT_present_following_flag 필드는, 현재 TS에 서비스에 대한 EIT_present_following information 정보가 있는지 나타낼 수 있다(EIT_present_following_flag: This is a 1-bit field which when set to "1" indicates that EIT_present_following information for the service is present in the current TS, see TR 101 211 [i.2] for information on maximum time interval between occurrences of an EIT present/following sub_table. If the flag is set to 0 then the EIT present/following information for the service should not be present in the TS.)
running_status 필드는, DVB-SI 문서의 테이블 6에 정의된 서비스의 상태를 지칭할 수 있다(running_status: This is a 3-bit field indicating the status of the service as defined in table 6. For an NVOD reference service the value of the running_status shall be set to "0".)
free_CA_mode 필드는 서비스의 모든 컴포넌트 스트림이 스크래블되어 있는지 지칭한다(free_CA_mode: This 1-bit field, when set to "0" indicates that all the component streams of the service are not scrambled. When set to "1" it indicates that access to one or more streams may be controlled by a CA system.)
descriptors_loop_length 필드는 뒤따르는 디스크립터의 길이를 나타낸다(descriptors_loop_length: This 12-bit field gives the total length in bytes of the following descriptors).
CRC_32 는 CRC값을 포함하는 32비트 필드이다(CRC_32: This is a 32-bit field that contains the CRC value that gives a zero output of the registers in the decoder)
descriptors_loop_length 필드는 다음의 디스크립터 위치에 도 43에서 예시한 UHD_program_type_descriptor, 와 본 발명의 실시예에 따라 도 45, 도 51, 또는 도 52에 예시한 UHD_composition_descriptor가 포함될 수 있다.
DVB의 SDT에 UHD_composition_descriptor가 포함되는 경우, UHD_component_descriptor는 component_tag 필드가 더 포함할 수 있다. component_tag 필드는 PSI 레벨인 PMT에서 시그널링하는 해당 스트림에 대한 PID 값을 나타낼 수 있다. 수신기는 component_tag 필드를 이용해 PMT와 함께 해당 스트림의 PID 값을 찾을 수 있다
도 58은 예시한 디스크립터들이 다른 시그널링 정보에 포함되는 경우를 예시한다. 이 도면은 예시한 디스크립터들이 EIT에 포함되는 경우를 예시한다.
EIT는 ETSI EN 300 468에 따를 수 있다. 이를 이용하여 각 필드를 기술하면 다음과 같다.
table_id: 테이블 식별자를 나타낸다.
section_syntax_indicator 필드는, EIT테이블 셕션에 대해 1로 셋팅되는 1비트 필드이다 (section_syntax_indicator: The section_syntax_indicator is a 1-bit field which shall be set to "1".)
section_length 필드는, 섹션의 길이를 바이트 수로 나타낸다(section_length: This is a 12-bit field. It specifies the number of bytes of the section, starting immediately following the section_length field and including the CRC. The section_length shall not exceed 4 093 so that the entire section has a maximum length of 4 096 bytes.)
service_id 필드는 TS내 서비스 식별자를 나타낸다(service_id: This is a 16-bit field which serves as a label to identify this service from any other service within a TS. The service_id is the same as the program_number in the corresponding program_map_section.)
version_number 필드는 이 서브 테이블의 버전 번호를 나타낸다(version_number: This 5-bit field is the version number of the sub_table. The version_number shall be incremented by 1 when a change in the information carried within the sub_table occurs. When it reaches value 31, it wraps around to 0. When the current_next_indicator is set to "1", then the version_number shall be that of the currently applicable sub_table. When the current_next_indicator is set to "0", then the version_number shall be that of the next applicable sub_table.)
current_next_indicator 필드는 이 서브 테이블이 현재 적용가능한지 또는 다음에 적용 가능한지를 나타낸다(current_next_indicator: This 1-bit indicator, when set to "1" indicates that the sub_table is the currently applicable sub_table. When the bit is set to "0", it indicates that the sub_table sent is not yet applicable and shall be the next sub_table to be valid.)
section_number 필드는 섹션의 번호를 나타낸다(section_number: This 8-bit field gives the number of the section. The section_number of the first section in the sub_table shall be "0x00". The section_number shall be incremented by 1 with each additional section with the same table_id, service_id, transport_stream_id, and original_network_id. In this case, the sub_table may be structured as a number of segments. Within each segment the section_number shall increment by 1 with each additional section, but a gap in numbering is permitted between the last section of a segment and the first section of the adjacent segment.)
last_section_number 필드는 마지막 섹션의 번호를 나타낸다 (last_section_number: This 8-bit field specifies the number of the last section (that is, the section with the highest section_number) of the sub_table of which this section is part.)
transport_stream_id 필드는 전송 시스템 내 다른 멀티플렉스와 구별하여, 이 SDT가 제공하는 TS 식별자를 나타낸다(transport_stream_id: This is a 16-bit field which serves as a label for identification of the TS, about which the EIT informs, from any other multiplex within the delivery system.)
original_network_id 필드는 전송 시스템이 네트워크 아이디를 식별자를 나타낸다(original_network_id: This 16-bit field gives the label identifying the network_id of the originating delivery system.)
segment_last_section_number 필드는 이 서브 테이블의 이 세그먼트의 마지막 섹션 번호를 나타낸다 (segment_last_section_number: This 8-bit field specifies the number of the last section of this segment of the sub_table. For sub_tables which are not segmented, this field shall be set to the same value as the last_section_number field.)
last_table_id 필드는 (last_table_id: This 8-bit field identifies the last table_id used (see table 2).)
event_id 필드는 이벤트의 식별번호를 나타낸다.(event_id: This 16-bit field contains the identification number of the described event (uniquely allocated within a service definition)
start_time 필드는 이벤트의 시작시간을 포함한다(start_time: This 40-bit field contains the start time of the event in Universal Time, Co-ordinated (UTC) and Modified Julian Date (MJD) (see annex C). This field is coded as 16 bits giving the 16 LSBs of MJD followed by 24 bits coded as 6 digits in 4-bit Binary Coded Decimal (BCD). If the start time is undefined (e.g. for an event in a NVOD reference service) all bits of the field are set to "1".)
running_status 필드는, DVB SI 문서의 table 6에 정의된 이벤트의 상태를 나타낸다( (running_status: This is a 3-bit field indicating the status of the event as defined in table 6. For an NVOD reference event the value of the running_status shall be set to "0".)
free_CA_mode 필드는 서비스의 모든 컴포넌트 스트림이 스크래블되어 있는지 지칭한다 (free_CA_mode: This 1-bit field, when set to "0" indicates that all the component streams of the event are not scrambled. When set to "1" it indicates that access to one or more streams is controlled by a CA system.)
descriptors_loop_length 필드는 뒤따르는 디스크립터의 길이를 나타낸다 (descriptors_loop_length: This 12-bit field gives the total length in bytes of the following descriptors.)
CRC_32 는 CRC값을 포함하는 32비트 필드이다(CRC_32: This is a 32-bit field that contains the CRC value that gives a zero output of the registers in the decoder)
descriptors_loop_length 필드는 다음의 디스크립터 위치에 도 43에서 예시한 UHD_program_type_descriptor, 와 본 발명의 실시예에 따라 도 45, 도 51, 또는 도 52에 예시한 UHD_composition_descriptor가 포함될 수 있다.
DVB의 EIT에 UHD_composition_descriptor가 포함되는 경우, UHD_component_descriptor는 component_tag 필드가 더 포함할 수 있다. component_tag 필드는 PSI 레벨인 PMT에서 시그널링하는 해당 스트림에 대한 PID 값을 나타낼 수 있다. 수신기는 component_tag 필드를 이용해 PMT와 함께 해당 스트림의 PID 값을 찾을 수 있다
도 59은 예시한 디스크립터들이 다른 시그널링 정보에 포함되는 경우를 예시한다. 이 도면은 예시한 디스크립터들이 VCT에 포함되는 경우를 예시한다.
VCT는 ATSC PSIP 규격에 따를 수 있다. ATSC PSIP에 따르면 각 필드의 설명은 다음과 같다. 각 비트 설명을 아래와 같이 개시한다.
table_id 필드는 테이블섹션의 타입을 지칭하는 8-bit unsigned 정수를 나타낸다 (table_id - An 8-bit unsigned integer number that indicates the type of table section being defined here. For the terrestrial_virtual_channel_table_section(), the table_id shall be 0xC8)
section_syntax_indicator 필드는, VCT테이블 셕션에 대해 1로 셋팅되는 1비트 필드이다(section_syntax_indicator - The section_syntax_indicator is a one-bit field which shall be set to '1' for the terrestrial_virtual_channel_table_section()).
private_indicator 필드는 1로 셋팅된다(private_indicator - This 1-bit field shall be set to '1')
section_length필드는 섹션의 길이를 바이트 수로 나타낸다. (section_length - This is a twelve bit field, the first two bits of which shall be '00'. It specifies the number of bytes of the section, starting immediately following the section_length field, and including the CRC.)
transport_stream_id 필드는 TVCT를 식별할 수 있는 PAT에서 처럼 MPEG -TS ID를 나타낸다 (transport_stream_id - The 16-bit MPEG-2 Transport Stream ID, as it appears in the Program Association Table (PAT) identified by a PID value of zero for this multiplex. The transport_stream_id distinguishes this Terrestrial Virtual Channel Table from others that may be broadcast in different PTCs.)
version_number 필드는 VCT의 버전 번호를 나타낸다(version_number - This 5 bit field is the version number of the Virtual Channel Table. For the current VCT (current_next_indicator = '1'), the version number shall be incremented by 1 whenever the definition of the current VCT changes. Upon reaching the value 31, it wraps around to 0. For the next VCT (current_next_indicator = '0'), the version number shall be one unit more than that of the current VCT (also in modulo 32 arithmetic). In any case, the value of the version_number shall be identical to that of the corresponding entries in the MGT)
current_next_indicator 필드는 이 VCT 테이블 현재 적용가능한지 또는 다음에 적용 가능한지를 나타낸다(current_next_indicator - A one-bit indicator, which when set to '1' indicates that the Virtual Channel Table sent is currently applicable. When the bit is set to '0', it indicates that the table sent is not yet applicable and shall be the next table to become valid. This standard imposes no requirement that “next” tables (those with current_next_indicator set to '0') must be sent. An update to the currently applicable table shall be signaled by incrementing the version_number field)
section_number 필드는 섹션의 번호를 나타낸다(section_number - This 8 bit field gives the number of this section. The section_number of the first section in the Terrestrial Virtual Channel Table shall be 0x00. It shall be incremented by one with each additional section in the Terrestrial Virtual Channel Table)
last_section_number 필드는 마지막 섹션의 번호를 나타낸다 (last_section_number - This 8 bit field specifies the number of the last section (that is, the section with the highest section_number) of the complete Terrestrial Virtual Channel Table.)
protocol_version 필드는 추후 현재 프로토콜과 다르게 정의될 파라미터를 위한 프로토콜 버전을 나타낸다 (protocol_version - An 8-bit unsigned integer field whose function is to allow, in the future, this table type to carry parameters that may be structured differently than those defined in the current protocol. At present, the only valid value for protocol_version is zero. Non-zero values of protocol_version may be used by a future version of this standard to indicate structurally different tables)
num_channels_in_section 필드는 이 VCT의 가상 채널의 수를 나타낸다 (num_channels_in_section - This 8 bit field specifies the number of virtual channels in this VCT section. The number is limited by the section length)
short_name 필드는 가상 채널의 이름을 나타낸다(short_name - The name of the virtual channel, represented as a sequence of one to seven 16-bit code values interpreted in accordance with the UTF-16 representation of Unicode character data. If the length of the name requires fewer than seven 16-bit code values, this field shall be padded out to seven 16-bit code values using the Unicode NUL character (0x0000). Unicode character data shall conform to The Unicode Standard, Version 3.0 [13]. )
major_channel_number 필드는, 가상채널과 관련된 메이저 채널의 수를 나타낸다(major_channel_number - A 10-bit number that represents the “major” channel number associated with the virtual channel being defined in this iteration of the “for” loop. Each virtual channel shall be associated with a major and a minor channel number. The major channel number, along with the minor channel number, act as the user's reference number for the virtual channel. The major_channel_number shall be between 1 and 99. The value of major_channel_number shall be set such that in no case is a major_channel_number/ minor_channel_number pair duplicated within the TVCT. For major_channel_number assignments in the U.S., refer to Annex B.)
minor_channel_number 필드는, 가상채널과 관련된 마이너 채널의 수를 나타낸다(minor_channel_number - A 10-bit number in the range 0 to 999 that represents the “minor” or “sub”- channel number. This field, together with major_channel_number, performs as a two-part channel number, where minor_channel_number represents the second or right-hand part of the number. When the service_type is analog television, minor_channel_number shall be set to 0. Services whose service_type is ATSC_digital_television, ATSC_audio_only, or unassociated/ small_screen_service shall use minor numbers between 1 and 99. The value of minor_channel_number shall be set such that in no case is a major_channel_number/ minor_channel_number pair duplicated within the TVCT. For other types of services, such as data broadcasting, valid minor virtual channel numbers are between 1 and 999.)
modulation_mode 모드는 가상채널과 관련된 캐리어의 변조 모드를 나타낸다(modulation_mode - An 8-bit unsigned integer number that indicates the modulation mode for the transmitted carrier associated with this virtual channel. Values of modulation_mode shall be as defined in Table 6.5. For digital signals, the standard values for modulation mode (values below 0x80) indicate transport framing structure, channel coding, interleaving, channel modulation, forward error correction, symbol rate, and other transmission-related parameters, by means of a reference to an appropriate standard. The modulation_mode field shall be disregarded for inactive channels)
carrier_frequency 필드는 캐리어 주파수를 식별할 수 있는 필드이다(carrier_frequency - The recommended value for these 32 bits is zero. Use of this field to identify carrier frequency is allowed, but is deprecated.)
channel_TSID 필드는 이 가상채널에 의해 레퍼런스된 MPEG-2 프로그램을 전송하는 TS와 관련된 MPEG-2 TS ID를 나타낸다 (channel_TSID - A 16-bit unsigned integer field in the range 0x0000 to 0xFFFF that represents the MPEG-2 Transport Stream ID associated with the Transport Stream carrying the MPEG-2 program referenced by this virtual channel8. For inactive channels, channel_TSID shall represent the ID of the Transport Stream that will carry the service when it becomes active. The receiver is expected to use the channel_TSID to verify that any received Transport Stream is actually the desired multiplex. For analog channels (service_type 0x01), channel_TSID shall indicate the value of the analog TSID included in the VBI of the NTSC signal. Refer to Annex D Section 9 for a discussion on use of the analog TSID)
program_number 필드는 이 가상채널과 PMT와 관련되어 정의되는 정수값을 나타낸다(program_number - A 16-bit unsigned integer number that associates the virtual channel being defined here with the MPEG-2 PROGRAM ASSOCIATION and TS PROGRAM MAP tables. For virtual channels representing analog services, a value of 0xFFFF shall be specified for program_number. For inactive channels (those not currently present in the Transport Stream), program_number shall be set to zero. This number shall not be interpreted as pointing to a Program Map Table entry.)
ETM_location 필드는 ETM의 존재와 위치를 나타낸다 (ETM_location - This 2-bit field specifies the existence and the location of an Extended Text Message (ETM) and shall be as defined in Table 6.6.)
access_controlled 필드는 access control된 가상채널과 관련된 이벤트를 지칭할 수 있다(access_controlled - A 1-bit Boolean flag that indicates, when set, that the events associated with this virtual channel may be access controlled. When the flag is set to '0', event access is not restricted)
hidden 필드는 가상채널이 사용자의 직접 채널 입력에 의해 access되지 않는 경우를 나타낼 수 있다(hidden - A 1-bit Boolean flag that indicates, when set, that the virtual channel is not accessed by the user by direct entry of the virtual channel number. Hidden virtual channels are skipped when the user is channel surfing, and appear as if undefined, if accessed by direct channel entry. Typical applications for hidden channels are test signals and NVOD services. Whether a hidden channel and its events may appear in EPG displays depends on the state of the hide_guide bit.)
hide_guide 필드는 가상채널과 그 이벤트가 EPG에 표시될 수 있는지를 나타낼 수 있다(hide_guide - A Boolean flag that indicates, when set to '0' for a hidden channel, that the virtual channel and its events may appear in EPG displays. This bit shall be ignored for channels which do not have the hidden bit set, so that non-hidden channels and their events may always be included in EPG displays regardless of the state of the hide_guide bit. Typical applications for hidden channels with the hide_guide bit set to '1' are test signals and services accessible through application-level pointers.)
service_type 필드는 서비스 타입 식별자를 나타낸다(service_type - This 6-bit field shall carry the Service Type identifier. Service Type and the associated service_type field are defined in A/53 Part 1 [1] to identify the type of service carried in this virtual channel. Value 0x00 shall be reserved. Value 0x01 shall represent analog television programming. Other values are defined in A/53 Part 3 [3], and other ATSC Standards may define other Service Types9)
source_id 필드는 가상채널과 관련된 프로그램 소스를 식별하는 식별번호이다(source_id - A 16-bit unsigned integer number that identifies the programming source associated with the virtual channel. In this context, a source is one specific source of video, text, data, or audio programming. Source ID value zero is reserved. Source ID values in the range 0x0001 to 0x0FFF shall be unique within the Transport Stream that carries the VCT, while values 0x1000 to 0xFFFF shall be unique at the regional level. Values for source_ids 0x1000 and above shall be issued and administered by a Registration Authority designated by the ATSC.)
descriptors_length 필드는 뒤 따르는 디스크립터의 길이를 나타낸다(descriptors_length - Total length (in bytes) of the descriptors for this virtual channel that follows)
descriptor() 에 디스크립터가 포함될 수 있다.(descriptor() - Zero or more descriptors, as appropriate, may be included.)
본 발명의 실시예들에 따라 비디오 서비스가 전송되는 경우, service_type 필드는 parameterized service(0x07) 또는 extended parameterized service(0x09) 또는 scalable UHDTV 서비스를 나타내는 필드값을 가질 수 있다.
그리고, 디스크립터 위치에 도 43에서 예시한 UHD_program_type_descriptor, 도 45, 도 51, 도 52에서 예시한 UHD_composition_descriptor가 위치할 수 있다.
다음으로 본 발명의 실시예들에 따라 비디오 데이터가 전송될 경우, 비디오 데이터의 신택스를 개시한다.
도 60는 본 발명의 실시예들에 따른 비디오 데이터의 SEI 영역의 패이로드에 대한 신택스를 예시한다.
SEI 패이로드에서 payloadType이 특정 값(이 예에서는 51)으로 셋팅되는 경우, 예시한 바와 같이 비디오 데이터의 포맷을 시그널링하는 정보(UHD_composition_info(payloadSize))를 포함할 수 있다.
UHD_program_format_type은 도 43에서 예시한 바와 같은데, 예를 들어, UHD_program_format_type가 0x01인 경우, 본 발명의 제 1 실시예를 나타내는 것으로서, 전송되는 21:9의 UHD 비디오가, 16:9 HD 비디오, 16:9 UHD 비디오, 및 21: 9 UHD 비디오와 16:9 UHD 비디오의 차이인 영역을 별도의 레이어 데이터를 이용하여 표출될 수 있는 비디오 포맷임을 나타낸다.
이 때 비디오 데이터는 UHD_composition_metadata값을 포함할 수 있다. 이 값은 도 45에서 예시한 바와 같다.
UHD_program_format_type가 0x02인 경우, 본 발명의 제 2 실시예를 나타내는 것으로서, 전송되는 21:9의 UHD 비디오가, 21:9 비디오 또는 16:9 비디오를 위한 크롭정보를 이용하여 표출될 수 있는 비디오 포맷임을 나타낸다.
이 때 비디오 데이터는 16_9_Extraction_Info_Metadata값을 포함할 수 있다. 이 값은 도 51에서 예시한 바와 같다.
UHD_program_format_type가 0x03인 경우, 본 발명의 제 3 실시예를 나타내는 것으로서, 전송되는 21:9의 UHD 비디오가, 16:9 비디오와 21:9 비디오를 위한 레터박스(AFDbar) 정보를 이용하여 표출되는 비디오 포맷임을 나타낸다.
이 때 비디오 데이터는 UHD_subtitle_position_info 값을 포함할 수 있다. 이 값은 도 52에서 예시한 바와 같다.
수신기의 비디오 디코더는 각각 위에서 예시한 UHDTV_composition_info SEI message의 파싱할 수 있다. UHDTV_composition_info ( )는 인코딩된 비디오 데이터 소스인 SEI RBSP (raw byte sequence payload)를 통해 수신된다.
비디오 디코더는 AVC 또는 HEVC NAL unit을 parsing 하여 nal_unit_type 값이 SEI 데이터에 해당하는 값인 경우 payloadType이 51인 UHDTV_composition_info SEI message를 읽는다.
그리고 이 도면에서 예시한 UHDTV_composition_info( )를 디코딩하여 현재 비디오 데이터에 대한 UHD_composition 정보, 16:9 extraction 정보, 또는 UHD_subtitle_position 정보를 얻을 수 있다. 비디오 데이터 영역의 정보를 이용해 수신기는 16:9 HD 및 UHD, 21:9 UHD 스트림의 구성 정보 등을 파악해 최종적으로 UHD 비디오를 출력할 수 있다.
따라서, 수신기는 시그널링 정보 영역과 비디오 데이터 영역으로부터 본 발명에서 개시하는 실시예에 따른 비디오 데이터들을 판단하고 그에 따라 비디오 포맷을 변환하여 수신기에 맞게 표출할 수 있다.
도 61은 본 발명의 실시예들에 따라 비디오 데이터가 전송될 경우, 적어도 1개 이상의 실시예에 따른 비디오 데이터를 디코딩하여 표출할 수 있는 수신장치의 일 예를 예시한 도면이다. 이 도면에서 비디오와 관련된 데이터는 A, B, D1, D2 및 E로 각각 나타낸다.
본 발명에 따른 신호 수신 장치의 일 예는 역다중화부(400), 시그널링정보처리부(500), 및 비디오디코더(600)를 포함할 수 있다.
역다중화부(400)는 본 발명의 실시예에 따른 비디오 스트림들과 시그널링 정보를 각각 역다중화할 수 있다. 예를 들어 비디오 스트림들은 도 29 내지 도 32에서 예시한 비디오를 전송하는 스트림들을 포함할 수 있다
시그널링정보처리부(500)는 도 43 내지 도 54, 도 56 내지 도 59에서 예시한 시그널링 정보 또는 수신기의 성능에 따라 그 일부를 디코딩할 수 있다. 예를 들어 시그널링정보처리부(500)는 도 45, 도 51, 및 도 52 중 적어도 하나의의 디스크립터의 시그널링 정보를 디코딩할 수 있다.
비디오디코더(600)는 시그널링정보처리부(500)가 처리한 시그널링 정보에 따라 역다중화부(400)가 역다중호한 비디오데이터를 복호할 수 있다. 이 경우 도 60에서 예시한 비디오데이터의 신택스에 따른 비디오데이터의 코딩 정보 또는 시그널링 정보를 이용하여 비디오데이터를 복호할 수 있다.
비디오디코더(600)는 제 1 디코더(610), 제 2 디코더(620), 및 제 3 디코더(630) 중 적어도 하나의 비디오디코더를 포함할 수 있다.
예를 들어 제 1 실시예에 따른다면 비디오디코더(600)는 제 1 디코더(610), 제 2 디코더(620), 및
제 3 디코더(630)를 포함할 수 있다.
제 1 디코더(610)는 역다중화된 16:9 HD 비디오를 복호하여 출력할 수 있다. 이 경우 제 1 디코더(610)는 도 60에서 예시한 코딩 정보(UHDTV_composition_info)를 디코딩할 수 있다. 제 1 디코더(610)가 디코딩한 비디오 데이터는 베이스 레이어 데이터인 16:9 HD 비디오 데이터(A)로 출력될 수 있다.
업스케일러(615)는 베이스 레이어 데이터인 16:9 HD 비디오 데이터를 업스케일링하여 21:9 비디오 데이터 출력한다.
제 2 디코더(620)는, 업스케일링된 베이스 레이어 데이터와 residual data를 이용하여 scalable decoding을 수행할 수 있다. 이 경우 제 2 디코더(620)는 도 60에서 예시한 코딩 정보(UHDTV_composition_info)를 디코딩할 수 있다. 제 2 디코더(620)가 디코딩한 비디오 데이터는, 제 2 enhancement layer 데이터인 16:9 UHD 비디오 데이터(B)를 출력될 수 있다.
제 3 디코더(630)는, 21:9 비디오 데이터에서 크롭된 데이터를 복호한 비디오 데이터(C)를 출력할 수 있다. 제 3 디코더(630)는, 16:9 UHD 비디오 데이터(B)와 연관되어 코딩 방식에 따라 디코딩을 수행할 수도 있다. 마찬가지로 이 경우 제 1 디코더(630)는 도 60에서 예시한 코딩 정보(UHDTV_composition_info)를 디코딩할 수 있다.
그리고, 머징부(640)는 제 2 디코더(620)가 출력하는 16:9 UHD 비디오 데이터(B)와 제 3 디코더(630)가 출력하는 크롭된 데이터를 머징(merge)하여 출력할 수 있다.
그리고, 필터부(640)는 비디오 중 머징된 부분에 대해 필터링을 수행할 수 있다. 필터링 방식은 도 40 및 수학식 1 내지 수학식 10에서 예시하였다.
도 62는 본 발명에 따른 신호 수신 방법의 일 실시예를 예시한 도면이다.
본 발명에 따른 신호 수신 방법의 일 실시예는, 비디오 스트림들과 시그널링 정보를 역다중화한다(S210).
비디오 스트림에 포함된 비디오 데이터는 실시예에 따라 다른 구조를 가질 수 있는데, 이 실시예는 도 29, 30 (제 1 실시예), 도 31(제 2 실시예), 도 32 내지 도 34 (제 3 실시예) 및 제 4 실시예에 따라 다를 수 있다. 예를 들어 수신된 비디오 데이터는 고해상도 비디오가 기존 화면비에 맞게 분할되어 전송되고 이를 다시 고해상도 비디오로 머징할 수 있는 데이터를 포함할 수 있다. 또는 수신된 비디오 데이터는 고해상도 비디오 데이터를 수신기의 화면비에 맞게 분할할 수 있는 정보를 포함할 수 있거나, 자막 정보를 배치하기 위한 레터박스 (예를 들어 AFD bar)의 위치정보를 포함할 수도 있다.
수신하는 신호가 방송 신호인 경우 도 43 내지 도 54, 도 56 내지 도 59에 예시한 시그널링 정보는 비디오 데이터와 별도로 역다중화될 수 있다.
수신하는 신호가 방송 신호인 경우 역다중화한 시그널링 정보를 디코딩한다(S220). 수신신호가 방송 신호가 아닌 경우 S220 단계는 생략되고 아래 비디오 데이터 디코딩 단계에서 비디오 데이터 내의 시그널링 정보를 디코딩한다. 방송 신호에 포함되어 역다중화된 시그널링 정보는, 각 실시예에 따라 도 43 내지 도 54, 도 56 내지 도 59에 예시한 정보들이 포함될 수 있는데 실시예에 따라 위 도면들에서 예시한 정보들이 디코딩될 수 있다. 시그널링 정보는 제 1 화면비의 고해상도 비디오 데이터를 수신기에 화면비에 상관없이 표출할 수 있는 시그널링 정보를 포함할 수 있다. 예를 들어 수신기에 화면비에 상관없이 표출할 수 있는 시그널링 정보는 고해상도 비디오 데이터의 화면비 제어 정보를 포함할 수 있다.
실시예에 따른 시그널링 정보에 따라 비디오 데이터를 디코딩한다(S230). 비디오 데이터에는 도 60에서 예시한 비디오데이터 신택스에 따른 코딩 정보를 포함하는 비디오 데이터 정보가 포함될 수 있다. 비디오 데이터를 복호하는 경우 실시예에 따라 해당 비디오 데이터를 복호한 대로 출력하거나, 머징하거나 또는 자막을 배치하여 출력할 수 있다. 시그널링 정보는, 수신된 비디오 데이터는 고해상도 비디오가 기존 화면비에 맞게 분할되어 전송된 경우 이를 다시 고해상도 비디오로 머징할 수 있는 데이터를 포함할 수 있다. 또는 시그널링정보는, 고해상도 비디오 데이터를 수신기의 화면비에 맞게 분할할 수 있는 정보를 포함할 수 있거나, 자막 정보를 배치하기 위한 레터박스 (예를 들어 AFD bar)의 위치정보를 포함할 수도 있다.
즉, 수신기는 화면 제어 정보를 이용하여 제 1 화면비의 고해상도 비디오 데이터를 수신기의 화면비에 따라 변경하여 표출하도록 할 수 있다.
제 1 실시예에 따르면 화면비 제어 정보는, 상기 인코딩된 비디오 데이터가 분할되어 전송됨을 나타내고 상기 분할된 비디오 데이터를 머징하는 머징 정보를 포함할 수 있다. 제 2 실시예 및 제 4 실시예에 따르면 화면비 제어 정보는, 상기 인코딩된 비디오 데이터를 화면비에 맞게 분할할 수 있는 분할 정보를 포함할 수 있다. 그리고 제 3 실시예에 따르면 상기 화면비 제어 정보는, 상기 인코딩된 비디오 데이터에 따른 비디오의 해상도에 따라 상기 비디오의 자막 위치를 변경하도록 하는 자막 배치를 위한 위치정보를 포함할 수 있다.
따라서 송신기에서 각 실시예에 따라 비디오 데이터를 전송하는 경우, 수신기 디스플레이 장치의 화면비가 여러 종류이거나, 성능이 여러 가지인 경우라도 각각 해당 디스플레이의 화면비에 따라 고해상도 비디오를 표출하거나, 또는 자막을 표출할 수 있다. 또한 기존의 수신기라도 고해상도 비디오 데이터를 그 수신기의 화면비에 따라 표출할 수 있다.
도 63은 본 발명에 따른 신호 송신 장치의 일 실시예를 예시한 도면이다.
신호 송신 장치의 일 실시예는, 인코더(510), 시그널링정보생성부(520), 및 다중화부(530)를 포함할 수 있다.
인코더(510)는 비디오 데이터를 인코딩한다. 비디오 데이터를 인코딩하는 경우, 본 발명의 실시예에 따라 비디오 데이터의 인코딩 정보를 인코딩된 비디오 데이터에 포함시킬 수 있다. 인코딩된 비디오 데이터에 포함될 수 있는 인코딩 정보는 도 60에서 상세히 기술하였다.
인코딩된 비디오 데이터는 개시한 실시예에 따라 다른 구조를 가질 수 있는데, 이 실시예는 도 29, 30 (제 1 실시예), 도 31(제 2 실시예), 도 32 내지 도 34 (제 3 실시예) 및 제 4 실시예에 따라 다를 수 있다.
예를 들어 인코딩된 비디오 데이터는 고해상도 비디오가 기존 화면비에 맞게 분할된 구조이고 분할된 비디오 데이터가 이를 다시 고해상도 비디오로 머징할 수 있는 정보를 포함할 수 있다. 또는 인코딩된 비디오 데이터는 고해상도 비디오 데이터를 수신기의 화면비에 맞게 분할할 수 있는 정보를 포함하거나, 자막 정보를 배치하기 위한 레터박스 (예를 들어 AFD bar)의 위치정보를 포함할 수도 있다.
전송 신호가 방송 신호인 경우 신호 송신 장치의 일 실시예는 인코더(510)와 별개로 시그널링정보생성부(520)를 포함한다. 시그널링정보생성부(520)는 인코딩된 비디오 데이터를 수신기의 화면비에 맞게 디스플레이할 수 있는 시그널링 정보를 생성한다. 시그널링 정보의 예는 각 실시예에 따라 도 43 내지 도 54, 도 56 내지 도 59에 예시한 정보들이 포함될 수 있는데 실시예에 따라서 도면들에서 예시한 정보들이 생성될 수 있다. 시그널링 정보는 제 1 화면비의 고해상도 비디오 데이터를 수신기에 화면비에 상관없이 표출할 수 있는 시그널링 정보를 포함할 수 있다. 예를 들어 수신기에 화면비에 상관없이 표출할 수 있는 시그널링 정보는 고해상도 비디오 데이터의 화면비 제어 정보를 포함할 수 있다.
다중화부(530)는 인코딩된 비디오 데이터와 시그널링 정보를 다중하고 다중화된 비디오 데이터와 시그널링 정보를 전송한다.
송신기가 각 실시예에 따라 비디오 데이터를 전송하는 경우, 수신기 디스플레이 장치의 화면비가 여러 종류이거나, 성능이 여러 가지인 경우라도 각각 해당 디스플레이의 화면비에 따라 고해상도 비디오를 표출하거나, 또는 자막을 표출할 수 있다. 또한 기존의 수신기라도 고해상도 비디오 데이터를 그 수신기의 화면비에 따라 표출할 수 있다.
전송 데이터가 방송 신호가 아닌 경우에는 비디오 데이터와 다중화되는 시그널링 정보의 생성하는 시그널링정보생성부(520)는 생략되고, 다중화부(530)는 인코더(510)가 인코딩한 비디오 데이터 영역 내에 시그널링 정보만 포함한 비디오 데이터와 다른 데이터(예를 들어 오디오 데이터)를 다중화하여 출력한다.
도 64은 본 발명에 따른 신호 수신 장치의 일 실시예를 예시한 도면이다.
신호 수신 장치의 일 실시예는 역다중화부(610), 시그널링정보복호부(620), 및 비디오디코더(630)를 포함할 수 있다.
역다중화부(610)는 비디오 스트림들과 시그널링 정보를 역다중화한다.
비디오 스트림에 포함된 비디오 데이터는 실시예에 따라 다른 구조를 가질 수 있는데, 이 실시예는 도 29, 30 (제 1 실시예), 도 31(제 2 실시예), 도 32 내지 도 34 (제 3 실시예) 및 제 4 실시예에 따라 다를 수 있다. 예를 들어 수신된 비디오 데이터는 고해상도 비디오가 기존 화면비에 맞게 분할되어 전송되고 이를 다시 고해상도 비디오로 머징할 수 있는 데이터를 포함할 수 있다. 또는 수신된 비디오 데이터는 고해상도 비디오 데이터를 수신기의 화면비에 맞게 분할할 수 있는 정보를 포함할 수 있거나, 자막 정보를 배치하기 위한 레터박스 (예를 들어 AFD bar)의 위치정보를 포함할 수도 있다.
시그널링정보복호부(620)는 역다중화한 시그널링 정보를 디코딩한다. 역다중화된 시그널링 정보는, 각 실시예에 따라 도 43 내지 도 54, 도 56 내지 도 59에 예시한 정보들이 포함될 수 있는데 실시예에 따라 위 도면들에서 예시한 정보들이 디코딩될 수 있다. 시그널링 정보는 제 1 화면비의 고해상도 비디오 데이터를 수신기에 화면비에 상관없이 표출할 수 있는 시그널링 정보를 포함할 수 있다. 예를 들어 수신기에 화면비에 상관없이 표출할 수 있는 시그널링 정보는 고해상도 비디오 데이터의 화면비 제어 정보를 포함할 수 있다.
비디오디코더(630)는 실시예에 따른 시그널링 정보에 따라 비디오 데이터를 디코딩한다. 비디오 데이터에는 도 60에서 예시한 비디오데이터 신택스에 따른 코딩 정보를 포함하는 비디오 데이터 정보가 포함될 수 있다. 비디오 데이터를 복호하는 경우 실시예에 따라 해당 비디오 데이터를 복호한 대로 출력하거나, 머징하거나 또는 자막을 배치하여 출력할 수 있다.
화면비 제어 정보는, 수신된 고해상도 비디오가 기존 화면비에 맞게 분할되어 전송된 경우 이를 다시 고해상도 비디오로 머징할 수 있는 데이터를 포함할 수 있다. 또는 시그널링정보는, 고해상도 비디오 데이터를 수신기의 화면비에 맞게 분할할 수 있는 정보를 포함할 수 있거나, 자막 정보를 배치하기 위한 레터박스 (예를 들어 AFD bar)의 위치정보를 포함할 수도 있다.
따라서 송신기에서 각 실시예에 따라 비디오 데이터를 전송하는 경우, 수신기 디스플레이 장치의 화면비가 여러 종류이거나, 성능이 여러 가지인 경우라도 각각 해당 디스플레이의 화면비에 따라 고해상도 비디오를 표출하거나, 또는 자막을 표출할 수 있다. 또한 기존의 수신기라도 고해상도 비디오 데이터를 화면비 제어 정보에 따라 그 수신기의 화면비에 따라 표출할 수 있다.
본 발명의 실시예들에 따른 모듈, 유닛 또는 블락은 메모리(또는 저장 유닛)에 저장된 연속된 수행과정들을 실행하는 프로세서/하드웨어일 수 있다. 전술한 실시예에 기술된 각 단계 또는 방법들은 하드웨어/프로세서들에 의해 수행될 수 있다. 또한, 본 발명이 제시하는 방법들은 코드로서 실행될 수 있다. 이 코드는 프로세서가 읽을 수 있는 저장매체에 쓰여질 수 있고, 따라서 본 발명의 실시예들에 따른 장치(apparatus)가 제공하는 프로세서에 의해 읽혀질 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.
본 발명에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 영상 처리 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
다양한 실시예가 본 발명을 실시하기 위한 최선의 형태에서 설명되었다.
본 발명은 일련의 방송 신호 제공 분야에서 이용된다.
본 발명의 사상이나 범위를 벗어나지 않고 본 발명에서 다양한 변경 및 변형이 가능함은 당업자에게 자명하다. 따라서, 본 발명은 첨부된 청구항 및 그 동등 범위 내에서 제공되는 본 발명의 변경 및 변형을 포함하는 것으로 의도된다.

Claims (14)

  1. 3D 비디오 데이터 및 메타데이터를 포함하는 미디어 파일을 생성하는 단계; 및
    상기 미디어 파일을 전송하는 단계를 포함하는 미디어 데이터 전송 방법으로써,
    여기서 상기 미디어 파일은 3차원 (3D) 비디오 데이터의 좌 시점 영상 및 우 시점 영상 데이터를 적어도 하나 이상의 트랙으로써 포함하고,
    상기 메타데이터는 상기 3D 비디오 데이터에 대한 스테레오스코픽 컴포지션 타입 정보를 포함하는 미디어 데이터 전송 방법.
  2. 제 1 항에 있어서,
    상기 3D 비디오 데이터는 Scalable High Efficiency Video Coding (SHVC) 인코딩된 데이터인 미디어 데이터 전송 방법.
  3. 제 1 항에 있어서,
    상기 메타데이터는 상기 3D 비디오 데이터를 이용하여 2차원 (2D) 서비스를 제공할 수 있는지 여부를 나타내는 정보를 더 포함하는 미디어 데이터 전송 방법.
  4. 제 3 항에 있어서,
    상기 메타데이터는 상기 미디어 파일 내에 포함된, 상기 2D 서비스를 위한 트랙들의 개수를 나타내는 정보를 더 포함하는 미디어 데이터 전송 방법.
  5. 제 1 항에 있어서,
    상기 메타데이터는 상기 미디어 파일에 포함된 적어도 하나의 트랙 중 2D 서비스를 위한 트랙의 식별자 (Identifier, ID)를 나타내는 정보를 더 포함하는 미디어 데이터 전송 방법.
  6. 제 1 항에 있어서,
    상기 미디어 파일에 포함된 트랙이 복수개의 레이어를 포함할 때, 상기 메타데이터는 상기 트랙에 포함된 상기 레이어의 개수에 대한 정보 및 상기 복수개의 레이어 중 2D 서비스를 위한 레이어의 개수 및 상기 2D 서비스를 위한 레이어의 식별자 정보를 포함하는 미디어 데이터 전송 방법.
  7. 제 1 항에 있어서,
    상기 미디어 파일에 포함된 트랙이 복수개의 레이어를 포함할 때, 상기 복수개의 레이어 중 3D 서비스를 위한 좌 시점 또는 우 시점에 해당하는 적어도 하나의 트랙 각각의 레이어 개수를 나타내는 정보를 포함하는 미디어 데이터 전송 방법.
  8. 3D 비디오 데이터 및 메타데이터를 포함하는 미디어 파일을 생성하는 파일 생성부; 및
    상기 미디어 파일을 전송하는 전송부를 포함하는 미디어 데이터 전송 장치로써,
    여기서 상기 미디어 파일은 3차원 (3D) 비디오 데이터의 좌 시점 영상 및 우 시점 영상 데이터를 적어도 하나의 트랙으로써 포함하고,
    상기 메타데이터는 상기 3D 비디오 데이터에 대한 스테레오스코픽 컴포지션 타입 정보를 포함하는 미디어 데이터 전송 장치.
  9. 제 8 항에 있어서,
    상기 3D 비디오 데이터는 Scalable High Efficiency Video Coding (SHVC) 인코딩된 데이터인 미디어 데이터 전송 장치.
  10. 제 8 항에 있어서,
    상기 메타데이터는 상기 3D 비디오 데이터를 이용하여 2차원 (2D) 서비스를 제공할 수 있는지 여부를 나타내는 정보를 더 포함하는 미디어 데이터 전송 장치.
  11. 제 10 항에 있어서,
    상기 메타데이터는 상기 미디어 파일 내에 포함된, 상기 2D 서비스를 위한 트랙들의 개수를 나타내는 정보를 더 포함하는 미디어 데이터 전송 장치.
  12. 제 8 항에 있어서,
    상기 메타데이터는 상기 미디어 파일에 포함된 적어도 하나의 트랙 중 2D 서비스를 위한 트랙의 식별자 (Identifier, ID)를 나타내는 정보를 더 포함하는 미디어 데이터 전송 장치.
  13. 제 8 항에 있어서,
    상기 미디어 파일에 포함된 트랙이 복수개의 레이어를 포함할 때, 상기 메타데이터는 상기 트랙에 포함된 상기 레이어의 개수에 대한 정보 및 상기 복수개의 레이어 중 2D 서비스를 위한 레이어의 개수 및 상기 2D 서비스를 위한 레이어의 식별자 정보를 포함하는 미디어 데이터 전송 장치.
  14. 제 8 항에 있어서,
    상기 미디어 파일에 포함된 트랙이 복수개의 레이어를 포함할 때, 상기 복수개의 레이어 중 3D 서비스를 위한 좌 시점 또는 우 시점에 해당하는 적어도 하나의 트랙 각각의 레이어 개수를 나타내는 정보를 포함하는 미디어 데이터 전송 장치.
PCT/KR2016/006289 2015-06-16 2016-06-14 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법 WO2016204481A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/575,947 US20180213216A1 (en) 2015-06-16 2016-06-14 Media data transmission device, media data reception device, media data transmission method, and media data rececption method

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201562180057P 2015-06-16 2015-06-16
US62/180,057 2015-06-16
US201562184208P 2015-06-24 2015-06-24
US62/184,208 2015-06-24
US201562190269P 2015-07-09 2015-07-09
US62/190,269 2015-07-09

Publications (1)

Publication Number Publication Date
WO2016204481A1 true WO2016204481A1 (ko) 2016-12-22

Family

ID=57545873

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/006289 WO2016204481A1 (ko) 2015-06-16 2016-06-14 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법

Country Status (2)

Country Link
US (1) US20180213216A1 (ko)
WO (1) WO2016204481A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694695A (zh) * 2017-04-10 2018-10-23 英特尔公司 对360度视频内容进行编码的技术
WO2019139014A1 (en) * 2018-01-12 2019-07-18 Sharp Kabushiki Kaisha Systems and methods for signaling sub-picture composition information for virtual reality applications
WO2019194241A1 (en) * 2018-04-04 2019-10-10 Sharp Kabushiki Kaisha Systems and methods for signaling sub-picture composition information for virtual reality applications
CN110351563A (zh) * 2018-04-03 2019-10-18 联发科技（新加坡）私人有限公司 用于编解码视频数据的方法及装置
JP2020537376A (ja) * 2017-10-12 2020-12-17 キヤノン株式会社 時限メディアデータを生成する方法、装置、およびコンピュータプログラム
TWI756534B (zh) * 2018-04-12 2022-03-01 新加坡商聯發科技（新加坡）私人有限公司 編碼和解碼虛擬實境內容的方法和裝置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2554877B (en) * 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
US10939086B2 (en) 2018-01-17 2021-03-02 Mediatek Singapore Pte. Ltd. Methods and apparatus for encoding and decoding virtual reality content
GB201817783D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media for processing configuration data
GB201817781D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Mehods, apparatuses, computer programs and computer-readable media
EP3700205A1 (en) * 2019-02-19 2020-08-26 Nokia Technologies Oy Quantization parameter derivation for cross-channel residual encoding and decoding
US11589032B2 (en) * 2020-01-07 2023-02-21 Mediatek Singapore Pte. Ltd. Methods and apparatus for using track derivations to generate new tracks for network based media processing applications
CN111405182B (zh) * 2020-03-26 2021-07-23 杭州小影创新科技股份有限公司 一种调节镜头比例的视频编辑方法
WO2024071590A1 (ko) * 2022-09-29 2024-04-04 삼성전자 주식회사 디스플레이 장치 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090080498A (ko) * 2009-07-13 2009-07-24 삼성전자주식회사 영상 송신 및 수신 방법과 장치 및 이의 전송 스트림 구조
KR20110062987A (ko) * 2009-12-04 2011-06-10 삼성전자주식회사 3차원 영상 제공방법, 3차원 영상 표시방법 및 이를 적용한 3차원 영상 제공장치 및 3차원 영상 디스플레이 장치
JP2012004645A (ja) * 2010-06-14 2012-01-05 Nec Corp ３ｄコンテンツ配信システム、３ｄコンテンツ配信方法および３ｄコンテンツ配信プログラム
KR20130046404A (ko) * 2010-06-10 2013-05-07 한국전자통신연구원 디지털 단말에서의 ２ｄ 모드 재생을 위한 송신 장치, 디지털 단말에서의 ２ｄ 모드 재생 장치 및 그 방법들
KR20130050302A (ko) * 2010-04-12 2013-05-15 시스벨 테크놀로지 에스.알.엘. 입체영상-호환 비디오 스트림을 생성하고 재구성하기 위한 방법, 및 관련 코딩 및 디코딩 디바이스들

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002095018A (ja) * 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
US7643704B2 (en) * 2005-02-04 2010-01-05 Eastman Kodak Company Cropping a digital image and preserving reserves
TW200810814A (en) * 2006-08-17 2008-03-01 Pixart Imaging Inc Object-based 3-dimensional stereo information generation apparatus and method, and an interactive system using the same
EP3182708B1 (en) * 2007-01-04 2019-03-06 InterDigital Madison Patent Holdings Methods and apparatus for multi-view information conveyed in high level syntax
PL3758381T3 (pl) * 2007-04-12 2021-07-05 Dolby International Ab Dzielenie na kafelki w kodowaniu i dekodowaniu wideo
US20080303832A1 (en) * 2007-06-11 2008-12-11 Samsung Electronics Co., Ltd. Method of generating two-dimensional/three-dimensional convertible stereoscopic image bitstream and method and apparatus for displaying the same
KR101591085B1 (ko) * 2008-05-19 2016-02-02 삼성전자주식회사 영상 파일 생성 및 재생 장치 및 방법
US20100150245A1 (en) * 2008-12-15 2010-06-17 Sony Ericsson Mobile Communications Ab Multimedia Stream Selection
EP2439954B1 (en) * 2008-12-30 2017-06-14 LG Electronics Inc. Digital broadcast receiving method providing two-dimensional image and 3D image integration service, and digital broadcast receiving device using the same
KR101626486B1 (ko) * 2009-01-28 2016-06-01 엘지전자 주식회사 방송 수신기 및 비디오 데이터 처리 방법
US8289998B2 (en) * 2009-02-13 2012-10-16 Samsung Electronics Co., Ltd. Method and apparatus for generating three (3)-dimensional image data stream, and method and apparatus for receiving three (3)-dimensional image data stream
WO2010126613A2 (en) * 2009-05-01 2010-11-04 Thomson Licensing Inter-layer dependency information for 3dv
US8437603B2 (en) * 2009-05-25 2013-05-07 Panasonic Corporation Recording medium, reproduction device, integrated circuit, reproduction method, and program
KR20110011000A (ko) * 2009-07-27 2011-02-08 삼성전자주식회사 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 생성 방법 및 그 장치, 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 수신 방법 및 그 장치
JP5482254B2 (ja) * 2009-11-05 2014-05-07 ソニー株式会社 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
KR20110088334A (ko) * 2010-01-28 2011-08-03 삼성전자주식회사 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치
US20110211634A1 (en) * 2010-02-22 2011-09-01 Richard Edwin Goedeken Method and apparatus for offset metadata insertion in multi-view coded view
US9681113B2 (en) * 2010-04-01 2017-06-13 Thomson Licensing Method and system of using floating window in three-dimensional (3D) presentation
US20110273437A1 (en) * 2010-05-04 2011-11-10 Dynamic Digital Depth Research Pty Ltd Data Dependent Method of Configuring Stereoscopic Rendering Parameters
US8655854B2 (en) * 2010-07-27 2014-02-18 Avid Technology, Inc. Hierarchical multimedia program composition
WO2012017643A1 (ja) * 2010-08-06 2012-02-09 パナソニック株式会社 符号化方法、表示装置、及び復号方法
CN103069815B (zh) * 2010-08-17 2016-04-13 Lg电子株式会社 用于接收数字广播信号的设备和方法
US8810565B2 (en) * 2010-08-27 2014-08-19 Broadcom Corporation Method and system for utilizing depth information as an enhancement layer
US8947506B2 (en) * 2010-08-27 2015-02-03 Broadcom Corporation Method and system for utilizing depth information for generating 3D maps
US20120050478A1 (en) * 2010-08-27 2012-03-01 Jeyhan Karaoguz Method and System for Utilizing Multiple 3D Source Views for Generating 3D Image
US20120054575A1 (en) * 2010-08-27 2012-03-01 Jeyhan Karaoguz Method and system for error protection of 3d video
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
KR20120031790A (ko) * 2010-09-27 2012-04-04 삼성전자주식회사 영상처리장치, 컨텐츠 제공서버 및 그들의 제어방법
US8693687B2 (en) * 2010-10-03 2014-04-08 Himax Media Solutions, Inc. Method and apparatus of processing three-dimensional video content
EP2625853A1 (en) * 2010-10-05 2013-08-14 Telefonaktiebolaget L M Ericsson (PUBL) Multi-view encoding and decoding technique based on single-view video codecs
KR101915130B1 (ko) * 2010-12-08 2018-11-05 엘지전자 주식회사 디지털 방송 신호 수신 장치 및 방법
JP2012134893A (ja) * 2010-12-24 2012-07-12 Hitachi Consumer Electronics Co Ltd 受信装置
CN105554551A (zh) * 2011-03-02 2016-05-04 华为技术有限公司 3d格式描述信息的获取方法和装置
WO2012132417A1 (ja) * 2011-03-28 2012-10-04 パナソニック株式会社 再生装置、再生方法およびコンピュータプログラム
JP5092033B2 (ja) * 2011-03-28 2012-12-05 株式会社東芝 電子機器、表示制御方法及び表示制御プログラム
BR112013027226A2 (pt) * 2011-04-28 2016-12-27 Panasonic Corp dispositivo de processamento de vídeo e método de processamento de vídeo
KR20140045349A (ko) * 2011-05-19 2014-04-16 삼성전자주식회사 3d컨텐츠제공장치 및 3d컨텐츠제공방법
US8559793B2 (en) * 2011-05-26 2013-10-15 Avid Technology, Inc. Synchronous data tracks in a media editing system
EP2530642A1 (en) * 2011-05-31 2012-12-05 Thomson Licensing Method of cropping a 3D content
KR101249901B1 (ko) * 2011-06-22 2013-04-09 엘지전자 주식회사 이동통신 단말기 및 그 동작방법
KR101813035B1 (ko) * 2011-10-10 2017-12-28 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
EP2597876A1 (en) * 2011-11-24 2013-05-29 Koninklijke Philips Electronics N.V. Interlaced 3D video
TWI630815B (zh) * 2012-06-14 2018-07-21 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
JP2015523030A (ja) * 2012-07-13 2015-08-06 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． ３次元ビデオを表すビットストリームを符号化する装置
US9942545B2 (en) * 2013-01-03 2018-04-10 Texas Instruments Incorporated Methods and apparatus for indicating picture buffer size for coded scalable video
US10219006B2 (en) * 2013-01-04 2019-02-26 Sony Corporation JCTVC-L0226: VPS and VPS_extension updates
WO2014122553A1 (en) * 2013-02-06 2014-08-14 Koninklijke Philips N.V. Method of encoding a video data signal for use with a multi-view stereoscopic display device
KR102219419B1 (ko) * 2013-03-12 2021-02-24 한국전자통신연구원 비대칭 종횡비 영상을 이용한 ３ｄ 방송 서비스 제공 방법 및 장치, 그리고, ３ｄ 방송 서비스 재생 방법 및 장치
TWI558166B (zh) * 2013-04-04 2016-11-11 杜比國際公司 用於多視點裸視立體顯示器的深度地圖遞送格式
EP2995082B1 (en) * 2013-05-10 2016-11-30 Koninklijke Philips N.V. Method of encoding a video data signal for use with a multi-view rendering device
WO2015006281A2 (en) * 2013-07-09 2015-01-15 Sony Corporation High level syntax improvement on inter-layer prediction for shvc/mv-hevc
EP3021589A4 (en) * 2013-07-10 2017-02-15 Sharp Kabushiki Kaisha Image decoding device and image encoding device
US10595031B2 (en) * 2013-07-12 2020-03-17 Qualcomm Incorporated Selection of target output layers in high efficiency video coding extensions
GB2516826B (en) * 2013-07-23 2016-06-22 Canon Kk Method, device and computer program for encapsulating partitioned timed media data by creating tracks to be independently encapsulated in at least one media f
KR101595397B1 (ko) * 2013-07-26 2016-02-29 경희대학교 산학협력단 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치
US10257527B2 (en) * 2013-09-26 2019-04-09 Telefonaktiebolaget Lm Ericsson (Publ) Hybrid codec scalable video
US20160249056A1 (en) * 2013-10-10 2016-08-25 Sharp Kabushiki Kaisha Image decoding device, image coding device, and coded data
US9712843B2 (en) * 2013-10-23 2017-07-18 Qualcomm Incorporated Multi-layer video file format designs
US20150195549A1 (en) * 2014-01-08 2015-07-09 Qualcomm Incorporated Support of non-hevc base layer in hevc multi-layer extensions
EP3146724A1 (en) * 2014-05-21 2017-03-29 ARRIS Enterprises LLC Signaling and selection for the enhancement of layers in scalable video
CN104093028B (zh) * 2014-06-25 2019-02-01 中兴通讯股份有限公司 一种设备能力协商的方法和装置
JP6301816B2 (ja) * 2014-11-17 2018-03-28 株式会社東芝 送信装置及び送受信システム
US9928297B2 (en) * 2015-02-11 2018-03-27 Qualcomm Incorporated Sample grouping signaling in file formats
KR102517570B1 (ko) * 2015-02-11 2023-04-05 한국전자통신연구원 3dtv 방송 송수신 장치
US10148969B2 (en) * 2015-02-11 2018-12-04 Qualcomm Incorporated Of sample entry and operation point signalling in a layered video file format

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090080498A (ko) * 2009-07-13 2009-07-24 삼성전자주식회사 영상 송신 및 수신 방법과 장치 및 이의 전송 스트림 구조
KR20110062987A (ko) * 2009-12-04 2011-06-10 삼성전자주식회사 3차원 영상 제공방법, 3차원 영상 표시방법 및 이를 적용한 3차원 영상 제공장치 및 3차원 영상 디스플레이 장치
KR20130050302A (ko) * 2010-04-12 2013-05-15 시스벨 테크놀로지 에스.알.엘. 입체영상-호환 비디오 스트림을 생성하고 재구성하기 위한 방법, 및 관련 코딩 및 디코딩 디바이스들
KR20130046404A (ko) * 2010-06-10 2013-05-07 한국전자통신연구원 디지털 단말에서의 ２ｄ 모드 재생을 위한 송신 장치, 디지털 단말에서의 ２ｄ 모드 재생 장치 및 그 방법들
JP2012004645A (ja) * 2010-06-14 2012-01-05 Nec Corp ３ｄコンテンツ配信システム、３ｄコンテンツ配信方法および３ｄコンテンツ配信プログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694695A (zh) * 2017-04-10 2018-10-23 英特尔公司 对360度视频内容进行编码的技术
JP2020537376A (ja) * 2017-10-12 2020-12-17 キヤノン株式会社 時限メディアデータを生成する方法、装置、およびコンピュータプログラム
JP7072645B2 (ja) 2017-10-12 2022-05-20 キヤノン株式会社 メディアファイルを生成する方法、メディアファイルを処理する方法、装置、プログラム、およびコンピュータ可読記憶媒体
US11477542B2 (en) 2017-10-12 2022-10-18 Canon Kabushiki Kaisha Method, device, and computer program for generating timed media data
WO2019139014A1 (en) * 2018-01-12 2019-07-18 Sharp Kabushiki Kaisha Systems and methods for signaling sub-picture composition information for virtual reality applications
CN111587577A (zh) * 2018-01-12 2020-08-25 夏普株式会社 用于针对虚拟现实应用程序发送信号通知子图片组合信息的系统和方法
CN110351563A (zh) * 2018-04-03 2019-10-18 联发科技（新加坡）私人有限公司 用于编解码视频数据的方法及装置
CN110351563B (zh) * 2018-04-03 2022-01-04 联发科技（新加坡）私人有限公司 用于编解码视频数据的方法及装置
WO2019194241A1 (en) * 2018-04-04 2019-10-10 Sharp Kabushiki Kaisha Systems and methods for signaling sub-picture composition information for virtual reality applications
TWI756534B (zh) * 2018-04-12 2022-03-01 新加坡商聯發科技（新加坡）私人有限公司 編碼和解碼虛擬實境內容的方法和裝置

Also Published As

Publication number Publication date
US20180213216A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
WO2016204481A1 (ko) 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
WO2017030425A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2018004291A1 (ko) 방송 신호 송신 방법, 방송 신호 수신 방법, 방송 신호 송신 장치 및 방송 신호 수신 장치
WO2017043863A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2017007192A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016182371A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2015126144A1 (ko) 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
WO2016153326A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016076569A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016126116A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016060422A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016093537A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016111526A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016076654A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016093576A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2017007224A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016064151A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016171518A2 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016060416A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016153241A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016122269A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016108606A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2017209514A1 (ko) 방송 신호 송수신 장치 및 방법
WO2016129904A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2017061792A1 (ko) 방송 신호 송수신 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16811894

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15575947

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16811894

Country of ref document: EP

Kind code of ref document: A1