WO2016204502A1 - 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법 - Google Patents

스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법 Download PDF

Info

Publication number
WO2016204502A1
WO2016204502A1 PCT/KR2016/006333 KR2016006333W WO2016204502A1 WO 2016204502 A1 WO2016204502 A1 WO 2016204502A1 KR 2016006333 W KR2016006333 W KR 2016006333W WO 2016204502 A1 WO2016204502 A1 WO 2016204502A1
Authority
WO
WIPO (PCT)
Prior art keywords
stereoscopic video
image
information
asset file
signaling message
Prior art date
Application number
PCT/KR2016/006333
Other languages
English (en)
French (fr)
Inventor
이진영
윤국진
정원식
이광순
허남호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160072720A external-priority patent/KR102519209B1/ko
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US15/574,026 priority Critical patent/US10412364B2/en
Priority to JP2017557980A priority patent/JP6730320B2/ja
Priority to CN202110879531.2A priority patent/CN113490016B/zh
Priority to CN201680035274.1A priority patent/CN107787585B/zh
Publication of WO2016204502A1 publication Critical patent/WO2016204502A1/ko
Priority to US16/565,148 priority patent/US10911736B2/en
Priority to US17/164,141 priority patent/US11405599B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/18—Arrangements for synchronising broadcast or distribution via plural systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]

Definitions

  • the present invention relates to an MPEG Multimedia Transport (MMT) technology, and more particularly, to an MMT apparatus and method for processing stereoscopic video data.
  • MMT MPEG Multimedia Transport
  • MPEG Media Transport is a new standard technology developed for the storage and transmission of multimedia contents in MPEG systems sub-working group.
  • the existing standard technology by the MPEG system division defines functions such as packetization, synchronization, and multiplexing required for transmitting multimedia contents in a broadcasting network, and is standardized as MPEG-2 TS (Transport Stream) technology and is now widely used.
  • MPEG-2 TS technology was developed under the premise of the existing broadcasting network.
  • the MPEG-2 TS technology is unsuitable for transmitting multimedia contents for IPTV or mobile broadcasting based on IP (Internet Protocol) based network environment. Inefficient Therefore, the MPEG System Division recognized the necessity of a new media transmission standard in consideration of the media transmission environment as well as the new media transmission environment, and developed the MMT standard as a result.
  • the currently developed MMT standard 'ISO / IEC 23008-1' is a standard related to the storage and transmission of media data, and it can be stored as individual files through the encapsulation process for assets, which are media data using the MMT system. It is about the transmission.
  • the currently established MMT standard supports the processing and consumption of multimedia content including 2D video, but does not support the processing and consumption of multimedia content including stereoscopic video.
  • ultra high definition television (UHDTV) services are emerging
  • digital broadcasting services using stereoscopic video that is, 3D video
  • UHDTV ultra high definition television
  • 3DTV digital broadcasting services using stereoscopic video
  • 4K or higher quality 3DTV services that can enjoy 3D images in each home are expected to be provided in the near future.
  • ATSC Advanced Television Systems Committee
  • ATSC 3.0 Advanced Television Systems Committee
  • HEVC high efficiency video coding
  • SHVC SHVC
  • ATSC 3.0 does not specifically propose how to transmit stereoscopic video data for 3DTV broadcasting service.
  • a method of providing 3D content through an MPEG system may be considered as a method.
  • the MPEG-2 TS technology is not suitable for the current broadcasting network, and the MMT technology Does not yet support the delivery of 3D content.
  • One object of the present invention is to provide an MMT apparatus and method for processing stereoscopic video data to store and / or transmit stereoscopic video content in an MMT system.
  • Another object of the present invention is to provide an MMT apparatus and method for processing stereoscopic video data capable of providing high quality 3DTV broadcasting services while maintaining compatibility with 2DTV broadcasting services.
  • An MMT apparatus for processing stereoscopic video data for solving the above problems is an asset file generation unit for generating a single asset file including all or part of the stereoscopic video data; And a signaling message generator for generating a signaling message for delivering or consuming the stereoscopic video data. And at least one of the single asset file and the signaling message includes stereoscopic video information related to the stereoscopic video data.
  • the stereoscopic video information is combination type information indicating a combination method of the left image and the right image constituting the stereoscopic video, the order between the left image and the right image in the stereoscopic video
  • the combination type information may indicate any one of a left-right method, a vertical line crossing method, a frame sequence method, a left / right view sequence method, and a vertical method.
  • the image type indication information may be included in the stereoscopic video information only when the combination type information indicates a left / right view sequence scheme.
  • Such stereoscopic video information is described in the syntax format of the stereoscopic video media information (svmi) box as defined in the ISO / IEC 23008-11 standard and included in the single asset file or as specified in the ISO / IEC 23008-1 standard. It may be described in a syntax format of a stereoscopic video information descriptor, and may be included in an MMT Package (MP) table of the signaling message.
  • svmi stereoscopic video media information box
  • MP MMT Package
  • the stereoscopic video information is service compatibility information indicating whether the stereoscopic video can be compatible with the 2D video service, whether the image of the specific view constituting the stereoscopic video is left or right Image type indication information indicating whether the image is an image, basic image indication information indicating whether an image of a specific view constituting the stereoscopic video can be used for a 2D video service, and left and right images constituting the stereoscopic video.
  • Combination type information indicating a combination scheme of the video signal; and image order indication information indicating a sequence between the left image and the right image in the stereoscopic video, wherein the image type indication information and the basic image indication information include the service; Compatibility information is compatible It is included only when the instruction, the combination of the type information and the default image instruction information may be included only to indicate that the service compatibility information is not compatible.
  • Such stereoscopic video information is described in the syntax format of the stereoscopic video information (svin) box as defined in the ISO / IEC 23008-1 standard and included in the single asset file or as specified in the ISO / IEC 23008-1 standard. It may be described in a syntax format of a stereoscopic video information descriptor, and may be included in an MMT Package (MP) table of the signaling message.
  • MP MMT Package
  • a method of processing stereoscopic video data in an MMT apparatus including generating a single asset file including all or a portion of the stereoscopic video data and the stereo. Generating a signaling message for the delivery or consumption of the scopic video data.
  • the single asset file or the signaling message may be generated by including stereoscopic video information related to the stereoscopic video data in at least one of generating the single asset file and generating the signaling message.
  • the stereoscopic video information is combination type information indicating a combination method of the left image and the right image constituting the stereoscopic video, the order between the left image and the right image in the stereoscopic video
  • image type indication information indicating a picture type and image type indicating information indicating whether an image of a specific view constituting the stereoscopic video is a left image or a right image
  • the combination type information includes a left-right method and a vertical line crossing method.
  • Frame sequence method, left / right view sequence method, and up / down method and the image type indication information is included in the stereoscopic video information only when the combination type information indicates the left / right view sequence method.
  • stereoscopic video information is described in the syntax format of the stereoscopic video media information (svmi) box specified in the ISO / IEC 23008-11 standard and included in the single asset file or in the ISO / IEC 23008-1 standard. It may be described in a syntax format of a prescribed stereoscopic video information descriptor and included in an MMT Package (MP) table of the signaling message.
  • svmi stereoscopic video media information box specified in the ISO / IEC 23008-11 standard and included in the single asset file or in the ISO / IEC 23008-1 standard.
  • MP MMT Package
  • stereoscopic video information is included in an asset file and / or a signaling message, it is possible to store and / or transmit stereoscopic video content in an MMT system.
  • the stereoscopic information includes combination type information, image order indication information, and image type indication information, it is possible to provide a high quality 3DTV broadcast service while maintaining compatibility with the DTV broadcast service.
  • FIG. 1 is a diagram illustrating a hierarchical structure including respective functional areas of an MMT system.
  • FIG. 2 illustrates a logical structure of an MMT package.
  • FIG. 3 is a block diagram schematically illustrating a configuration of an MMT apparatus for processing stereoscopic video data according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of a schematic configuration of an asset file generated by the asset file generator of FIG. 3.
  • FIG. 5 is a diagram illustrating an example of file syntax for expressing an asset file header of FIG. 4.
  • FIG. 6 is a diagram illustrating another example of a schematic configuration of an asset file generated by the asset file generator of FIG. 3.
  • FIG. 7 is a diagram illustrating an example of file syntax for expressing an asset file header of FIG. 6.
  • FIG. 8 is a diagram illustrating an example of a stereoscopic video information descriptor that may be included in an MP table.
  • FIG. 9 illustrates another example of a stereoscopic video information descriptor that may be included in an MP table.
  • FIG. 10 is a diagram schematically illustrating a service scenario for providing a 3DTV broadcasting service using two independent HEVC codecs.
  • 11 is a diagram schematically illustrating a service scenario for providing a 3DTV broadcasting service using one SHVC codec.
  • HEVC_stereoscopic_video_info_descriptor an HEVC stereoscopic video information descriptor
  • FIG. 13 is a diagram illustrating an example of a 2D / 3D indicator (Multi_view_position_SEI) message.
  • FIG. 14 is a diagram schematically showing an example of a method of distinguishing a 2DTV program and a 3DTV program at a video level according to the service scenario shown in FIG. 10.
  • FIG. 15 is a diagram schematically showing an example of a method of distinguishing a 2DTV program from a 3DTV program at a video level according to the service scenario shown in FIG. 11.
  • the MMT system 100 includes an encapsulation function layer (Encapsulation Function Layer, Layer E) 110, a delivery function layer (D D) 120, and a signaling function layer. , Layer S) 130.
  • Encapsulation Function Layer Layer E
  • D D delivery function layer
  • Layer S Layer S 130.
  • the multimedia data compressed by the media coding layer 12 is packaged and output in a form similar to a file format via the encapsulation function layer 110.
  • the encapsulation function layer 110 takes coded media data provided from the media encoding layer as input and generates a data fragment or segment, which is a small unit for the MMT service, and uses the data fragment to generate the MMT service. Create Access Units (AUs) for use.
  • the encapsulation functional layer 110 combines and / or divides access units (AUs) to generate data in a predetermined format for generation and storage and / or transmission of composite content.
  • the delivery function layer 120 may perform network flow multiplexing, network packetization, QoS control, and the like, of media transmitted through a network. More specifically, the delivery function layer 120 converts one or more data units (DUs) output from the encapsulation function layer 110 into an MMT payload format, and then MMT transport packet header. In addition, it may be configured as an MMT packet or an RTP packet using a real-time protocol (RTP), which is an existing transport protocol. Packets configured at the transport function layer 120 are finally transported as IP packets at the Internet protocol (IP) layer 16 via a transport protocol layer 14 such as User Datagram Protocol (UDP) or Transport Control Protocol (TCP). do.
  • IP Internet protocol
  • TCP Transport Control Protocol
  • the signaling function layer 130 generates control information or signaling information necessary for the transmission and consumption of the package in a message of a predetermined format.
  • the generated signaling message may be transmitted in an MMT packetized form along with the media data, or may be transmitted in an MMT packetized form as a separate signaling message and transmitted to a receiver.
  • FIG. 2 is a diagram illustrating a logical structure of an MMT package, and illustrates a relationship between the components constituting the MMT package and the components.
  • the MMT package is a collection of media content data and related meta data, and includes presentation information (PI), one or more assets, and transport characteristics (TCs). It is.
  • PI is information that describes the spatiotemporal relationship between assets.
  • Assets are encoded media data such as audio, video or web pages, and each asset has an Asset ID as an identifier.
  • Each asset may include one or more media processing units (MPUs), which may be independently consumed as files in the form of ISO-BMFF (International Standard Organization-Base Media File Format). Two consecutive MPUs within one asset may not contain the same media sample.
  • the TC provides QoS information necessary for the transmission of an asset.
  • An asset may have only one TC, but one TC may be used for a plurality of assets.
  • the left image and the right image each have separate asset IDs.
  • content transmission and playback, data processing or service quality management for the content are regarded as separate files in asset units and processed independently. Therefore, in order to restore and play the left and right images, the left and right assets and the right image are processed. It is necessary to synchronize video assets in time and play them back in 3D video.
  • the stereoscopic video may be composed of separate frames of the left image and the right image, but may be configured by combining the left image and the right image in one frame in various ways.
  • the stereoscopic video may be combined into a side-by-side type, a top-bottom type, or a vertical line interleaved type to configure one frame.
  • the stereoscopic video in which the left and right images are combined may be regarded as one asset as a whole, but is not limited thereto, and the left and right images may be regarded as separate assets, respectively.
  • stereoscopic video may be combined in various ways.
  • the stereoscopic video combined in one frame may be composed of one asset itself, but the left image and the right image may be composed of separate assets.
  • the stereoscopic video data may be reproduced using a 3D display as well as a 2D display. Therefore, in order to store stereoscopic video data through the MMT system or to be transmitted from the MMT sending entity to the MMT receiving entity, the characteristics unique to the above-described stereoscopic video are fully considered. There is a need to process stereoscopic video data.
  • the MMT device 200 includes an asset file generator 210 and a signaling message generator 220.
  • the MMT device 200 may further include a transmitter 230.
  • the MMT apparatus shown in FIG. 3 may be implemented as a component (or function) of an MMT transmitting entity in which some or all of its components (or function) are defined in the MMT standard.
  • the asset file generator 210 generates an asset file for each asset based on an access unit (AU).
  • the "assets file” does not necessarily mean a single file, but may be a collection of a plurality of files. That is, an "assets file” is a set of one or more files including encoded stereoscopic video data constituting a single asset as well as stereoscopic video information related thereto.
  • the left and right images each constitute one asset file, or the stereoscopic video image, which is combined in one frame in a predetermined manner, constitutes one asset file itself. You may. In the former case part of the stereoscopic video data is contained in a single asset file, while in the latter case all of the stereoscopic video data is included in a single asset file.
  • the asset file generated by the asset file generator 210 of FIG. 3 may be stored in a storage medium.
  • the generated asset file necessarily includes stereoscopic video information.
  • the asset file generated by the asset file generator 210 may be input to the transmitter 230 and transmitted to the MMT receiving device.
  • the generated asset file includes or includes stereoscopic video information. It may not be. This is because the stereoscopic video information may be included in the signaling message generated by the signaling message generator 220 as described below.
  • the stereoscopic video information is included in the asset file generated by the asset file generator 210 will be described.
  • the asset file 300 includes an asset file header 300a and an asset file body 300b.
  • the configuration of the asset file 300 is logical according to the characteristics of data included in each unit, and may be physically implemented in various forms.
  • the asset file header 300a and the asset file body 300b do not necessarily need to be one file, each of which may be composed of one file, or each of the plurality of files.
  • the asset file body 300b is a unit that includes at least stereoscopic video data, and may include, for example, a plurality of MPUs.
  • the asset file body 300b is a part including stereoscopic data and may correspond to a payload of an asset file.
  • the MPU may be an ISOBMFF-type file encapsulated in a predetermined format, and the encapsulated MPU has a unique sequence number along with the asset ID. MPUs constituting the same asset all have the same asset ID.
  • the MPU contains encoded stereoscopic video data, each MPU containing at most one media track.
  • the asset file header 300a includes various information related to the asset, that is, asset file information.
  • asset file information when the asset is a left image asset or a right image asset constituting stereoscopic video data, the asset file header 300a may include stereoscopic video information 310 as one of the asset file information.
  • the asset file header 300a may further include information about the asset ID, such as the structure, length, and value of the asset ID (see FIGS. 5 and 7).
  • the stereoscopic information 310 may include combination type information 311, image order indication information 312, and image type indication information 313.
  • the combination type information 311 indicates a manner in which the left image and the right image constituting the stereoscopic video are combined.
  • the combination type information 311 indicates any one of a left and right method, a vertical line crossing method, a frame sequential type, a left / right view sequence type, and a top and bottom method. can do.
  • Table 1 shows an example of such combination type information 311. Referring to Table 1, it can be seen that there are two types of combination type information 311, a full image and a half image, in the case of the left-right method and the up-down method. And it is apparent to those skilled in the art that the value of the left column in Table 1 is exemplary.
  • the image order indication information 312 is information indicating an order between a left image and a right image in the combined stereoscopic video.
  • the image order indication information 312 may be displayed in a manner indicating whether the left image is first (is_left_first) or the right image is first (is_right_first).
  • Table 2 shows an example of such image order indication information 312. Referring to Table 2, according to the image order indication information (the value of is_left_first in the case of Table 2) for each combination type, the position of each of the left view and the right view is the frame or It may be known whether the frame is an odd numbered frame or an even numbered frame sequence.
  • the image type indication information 313 is information indicating whether the image is the left image or the right image of the corresponding view.
  • the image type indication information 313 may be displayed in a manner indicating whether the corresponding view is a left image (is_left) or a right image (is_right). Therefore, the image type indication information 313 is included only when the combination method of the left image and the right image indicated by the combination type information 311 is the left / right view sequence method (when the value is '0x03' in Table 1). May be information.
  • FIG. 5 is a diagram illustrating an example of file syntax for expressing the asset file header 300a of FIG. 4.
  • the file syntax of FIG. 5 is written based on the file format of the Stereoscopic Video Media Information (svmi) box of ISO / IEC 23008-11, which is merely exemplary.
  • the asset file header 300a of FIG. 4 may be created based on another standard or another file format.
  • the combination type information 311 of FIG. 4 is represented by an element called “stereoscopic_composition_type”.
  • the element may indicate the content shown in Table 1 described above.
  • the image order indication information 312 of FIG. 4 is represented by an element called "is_left_first”.
  • the element may indicate the content shown in Table 2 above.
  • the image type indication information 313 of FIG. 4 is represented by an element called "is_left”, and it can be seen that the element is included only when the value of "stereoscopic_composition_type" is 0x03 and thus is a left / right view sequence type.
  • the file syntax may include elements for indicating the structure, length, value, and the like of the asset ID.
  • FIG. 6 is a diagram illustrating another example of a schematic configuration of an asset file generated by the asset file generator 210 of FIG. 3.
  • the configuration of the asset file 400 of FIG. 6 is also logical according to the characteristics of data included in each unit, and may be physically implemented in various forms.
  • the asset file header 400a and the asset file body 400b may each be composed of one or a plurality of files.
  • the configuration of the asset file 400 is identical to that of the asset file 300 of FIG. 4 in that the asset file 400 includes an asset file header 400a and an asset file body 400b.
  • the asset file body 400b is a unit including at least stereoscopic video data, and is the same as the asset file body 300b of FIG. 4 in that it may be configured to include a plurality of MPUs. Description is omitted.
  • the asset file header 400a includes various pieces of information related to the asset, that is, asset file information.
  • the asset file header 400a may include an asset file header (i.e., a left image asset or a right image asset that constitutes stereoscopic video data).
  • 400a is the same as the asset file header 300a of FIG. 4 in that it may include stereoscopic video information 410 as asset file information.
  • the asset file header 400a is different from the asset file header 300a in its specific configuration. More specifically, the stereoscopic information 410 includes service compatibility information 411, image type indication information 412, and the like. Basic image indication information 413, combination type information 414, and image order indication information 415 may be included.
  • the service compatibility information 411 is information indicating whether stereoscopic video can be used for a service providing 2D video (is_service_compatible). For example, if the stereoscopic video can be used for 2D video service without applying a special image processing technology, the stereoscopic video can be regarded as compatible with the 2D video service.
  • the stereoscopic video can be used for 2D video service without applying a special image processing technology
  • the stereoscopic video can be regarded as compatible with the 2D video service.
  • additional image processing is required for the image of each frame in order to provide 2D video service.
  • the image type indication information 412 and the basic picture indication information 413 are stereoscopic only when the stereoscopic video has a value indicating that the service compatibility information 411 is compatible with the 2D video service. It may be information included in the information 410.
  • the image type indication information 412 is information indicating whether the image of the corresponding view is a left image or a right image. For example, the image type indication information 412 may be displayed in a manner indicating whether the corresponding view is a left image (is_left) or a right image (is_right).
  • the basic video indication information 413 is information indicating whether the video of the corresponding view can be used for 2D video service, that is, the basic video (is_base). Therefore, only the image of the view specified as the basic image by the basic image indication information 413 may be used for the 2D video service.
  • the combination type information 414 indicates a manner in which the left image and the right image constituting the stereoscopic video are combined.
  • the combination type information 411 may indicate any one of a left and right method, a vertical line crossing method, a frame sequence method, and an up and down method.
  • the combination type information 414 is different from the combination type information 311 of Table 1 in that there is no left / right view sequence scheme.
  • Table 3 shows an example of such combination type information 414. Referring to Table 3, it can be seen that there are two types of combination type information 414, a full image and a half image, in the case of the left-right and up-down schemes. And it is apparent to those skilled in the art that the value of the left column in Table 3 is exemplary.
  • the image order indication information 415 is information indicating an order between a left image and a right image in the combined stereoscopic video.
  • the image order indication information 415 may be displayed in a manner indicating whether the left image is first (is_left_first) or the right image is first (is_right_first). Since the example of the image order indication information 415 has been described above with reference to Table 2, a detailed description thereof will be omitted.
  • FIG. 7 is a diagram illustrating an example of file syntax for expressing the asset file header 400a of FIG. 6.
  • the file syntax of FIG. 7 is written based on the file format of the Stereoscopic Video Information (svin) box of ISO / IEC 23008-1, which is merely exemplary. That is, the asset file header 400a of FIG. 6 may be created based on another standard or another file format.
  • the service compatibility information 411 of FIG. 6 is represented by an element called "is_service_compatible". For example, if the value is '0', the service compatibility information 411 is not compatible with the 2D video service but the value is '1'. May indicate that it is compatible with the 2D video service.
  • the image type indication information 412 and the basic image indication information 413 of FIG. 6 are represented by elements "is_left” and “is_base”, respectively, when the corresponding elements are "is_service_compatible” compatible with the 2D video service. It can be seen that it is included when indicating.
  • the combination type information 414 and the image order indication information 415 may be included, and elements “stereoscopic_composition_type” and “is_left_first", respectively. It is expressed as For example, the element “stereoscopic_composition_type” may indicate the content shown in Table 3 above.
  • the file syntax may include elements for indicating the structure, length, value, and the like of the asset ID.
  • the signaling message generator 220 generates a signaling message for delivery and / or consumption of stereoscopic video data.
  • the signaling message is a message of a format defined in the ISO / IEC 23008-1 standard, and may include information in a format such as signaling tables or descriptors.
  • the signaling message generator 220 may generate a signaling message based on the presentation information, transmission characteristics of the corresponding asset, as well as various information received from the stereoscopic video data and the MMT receiving entity.
  • the signaling message generated by the signaling message generator 220 may include stereoscopic video information necessary for consumption of the MMT package including stereoscopic video data.
  • the signaling message generator 220 may generate a signaling message including stereoscopic video information included in the asset file header 310 of the asset file 300 illustrated in FIG. 4. That is, the signaling message generator 220 may generate a signaling message including combination type information, image order indication information, and image type indication information.
  • the signaling message generator 220 may generate a signaling message including stereoscopic video information included in the asset file header 410 of the asset file 400 illustrated in FIG. 6.
  • a signaling message including service compatibility information, video type indication information, basic video indication information, combination type information, and video sequence indication information may be generated.
  • the signaling message generated by the signaling message generator 220 may not include the stereoscopic video information described above with reference to FIG. 4 or 6.
  • other kinds of information defined in the ISO / IEC 23008-1 standard may be included in the signaling message.
  • this embodiment is limited only when stereoscopic video information is included in the asset file header of the asset file as shown in FIG. 4 or 6.
  • the signaling message generated by the signaling message generator 220 may include all or part of the stereoscopic video information. .
  • all of the stereoscopic video information is included in the signaling message generated by the signaling message generator 220 will be described.
  • the signaling message generator 220 may include stereoscopic video information in the MMT package (MP) table defined in the ISO / IEC 23008-1 standard.
  • the stereoscopic video information may be one of the descriptors included in the MP table.
  • the stereoscopic video information descriptor (stereoscopic_video_info_descriptor) may be included in an asset descriptor loop (asset_descriptor loop) of the MP table.
  • the stereoscopic video information descriptor includes combination type information, image order indication information, and image type indication information. More specifically, the combination type information is represented by an element called "stereoscopic_composition_type", the image order indication information is represented by an element called “is_left_first”, and the image type indication information is represented by an element called "is_left”. Has become. In addition, it can be seen that the image type indication information is included only when the value of the "stereoscopic_composition_type" is 0x03 and thus the left / right view sequence type (see Table 1).
  • the stereoscopic video information descriptor includes service compatibility information, image type indication information, basic image indication information, combination type information, and image order indication information. More specifically, the service compatibility information is represented by an element called "is_service_compatible", and the video type indication information and the basic video indication information are represented by elements "is_left” and “is_base”, respectively, and the corresponding elements are "is_service_compatible”. It can be seen that it is included when indicating that the case is compatible with the 2D video service.
  • the combination type information and the image order indication information may be included, and are represented by elements “stereoscopic_composition_type” and “is_left_first”, respectively.
  • the transmitter 230 receives the asset file generated by the asset file generator 210 and / or the signaling message generated by the signaling message generator 220 and transmits the signal to the MMT receiving entity.
  • the transmitter 230 may convert the received asset file and / or signaling message into an MMT packet according to an MMT protocol (MMTP Protocol, MMTP) according to the ISO / IEC 23008-1 standard, and transmit the same to an MMT receiving apparatus.
  • MMT protocol MMTP Protocol, MMTP
  • the present embodiment is not limited thereto, and the transmitter 230 may transmit the received asset file and / or signaling message to the MMT receiving apparatus according to another Internet transmission protocol, real time transmission protocol, or 3D broadcast protocol.
  • the method described below is based on the HEVC or SHVC codec adopted for encoding high-definition video in ATSC 3.0, 3D stereoscopic video data transmitted in multiple channels to provide high-quality 3DTV broadcasting service while maintaining compatibility with 2DTV broadcasting service.
  • signaling method of stereoscopic video information is related to information, that is, signaling method of stereoscopic video information.
  • FIG. 10 is a diagram schematically illustrating a service scenario for providing a 3DTV broadcasting service using two independent HEVC codecs.
  • 2D means a 2DTV broadcast program provided independently on two channels, namely, a first channel Ch1 and a second channel Ch2
  • 3D refers to a 3DTV broadcast program provided by interworking two channels. it means.
  • two independent HEVC streams are synchronized and provided, and a service may be provided through two base layer streams.
  • FIG. 11 is a diagram schematically illustrating a service scenario for providing a 3DTV broadcasting service using one SHVC codec.
  • 2D means a 2DTV broadcast program provided independently on two channels, namely, a first channel Ch1 and a second channel Ch2, and 3D refers to a 3DTV broadcast program provided by interworking two channels. it means.
  • 3D refers to a 3DTV broadcast program provided by interworking two channels. it means.
  • the base layer stream and the enhanced layer stream generated by encoding stereoscopic video data with a scalable HEVC codec, that is, an SHVC codec are provided in synchronization.
  • a 2DTV broadcast program is broadcasted in the time range t1
  • a 3DTV broadcast program is broadcasted in the time range t2
  • the 2DTV broadcast program is broadcasted again in the time range t3 as the 3DTV broadcast service.
  • the 3DTV broadcasting service is considered as a 2DTV / 3DTV mixed broadcasting service that mixes and broadcasts 2D content and 3D content, rather than continuously using 3D content for 24 hours.
  • this does not preclude broadcasting 3D programs continuously for 24 hours as a 3DTV broadcasting service.
  • a program broadcast at that time is a 2DTV broadcasting program or a 3DTV broadcasting program.
  • a switch between a 2DTV broadcast program and a 3DTV broadcast program there is a method of transmitting information indicating that there is a switch of the broadcast program.
  • a reception device having a 2D display may also transmit information necessary for reproducing the 3DTV broadcast program.
  • the corresponding broadcast program indicates the 3DTV broadcast program
  • information required to reproduce the 3DTV broadcast program may also be transmitted together with the program type indication information even in a receiving device having a 2D display.
  • 'stereoscopic video information' information required for reproducing a 3DTV broadcast program in a receiving apparatus having program type indication information and a 2D display.
  • stereoscopic video information may be sent at the video level or at the system level.
  • Transmission at the video level indicates that the information is included in the video stream and transmitted.
  • the stereoscopic video information included in the asset file header shown in FIG. 4 or 6 may be stereoscopic video information transmitted at the video level.
  • transmission at the system level indicates that the information is transmitted in a stream other than the video stream.
  • the stereoscopic video information descriptor (stereoscopic_video_info_descriptor) included in the MP table of the signaling message described with reference to FIG. 8 or 9 may be stereoscopic video information transmitted at the system level.
  • the HEVC stereoscopic video information descriptor includes descriptor tag (Descriptor_tag) information, descriptor length (Descriptor_length) information, service identifier (Service_id) information, view_position information, and 2D / 3D indicator (Multi_view_position_SEI_present) information. Include.
  • the descriptor tag information is for identifying the descriptor.
  • Descriptor length information indicates the length of the descriptor.
  • the service identifier information indicates a channel identifier (ID) or a service identifier (ID) for transmitting a left image or a right image. For example, as shown in FIG. 10, a service of an HEVC stereoscopic video information descriptor transmitted through a first channel when a left image is provided through a first channel and a right image is provided through a second channel.
  • the identifier information may include a service identifier or channel identifier of the second channel.
  • the view position information is for identifying whether the currently transmitted image is a left image or a right image.
  • the 2D / 3D indicator presence information indicates whether 2D / 3D indicator (Multi_view_position_SEI) information is included in the HEVC or SHVC coding stream. This is used to more clearly distinguish whether the video stream is a 2DTV program or a 3DTV program. Because the actual system level information transmission is transmitted with a certain period (for example, 500ms) rather than each frame or AU (Access Unit) unit, it is clearly recognized whether the content is 2D or 3D content on a frame-by-frame basis. It's hard.
  • the receiver may recognize whether the 2D / 3D program or the 3DTV program is clearer at the encoding stream level based on the information.
  • the HEVC coding standard (ISO / IEC 23008-2) defines a 2D / 3D indicator (Multi_view_position_SEI) message, which is used to provide the position of each view during encoding for a multiview video including multiple views.
  • An example of such a 2D / 3D indicator (Multi_view_position_SEI) message is illustrated in FIG. 13, and the message is described in detail in the HEVC coding standard (ISO / IEC 23008-2).
  • FIG. 14 is a diagram schematically showing an example of a method of distinguishing a 2DTV program and a 3DTV program at a video level according to the service scenario shown in FIG. 10.
  • the 2D / 3D indicator (multi_view_position_SEI) message shown in FIG. 13 is transmitted only in the 3D program period. Accordingly, it may be determined whether the message is a 2DTV program or a 3DTV program based on the video level, ie, whether the corresponding message is included in the transmitted program content.
  • a 2D / 3D indicator is provided through both the first channel Ch1 and the second channel Ch2.
  • the message is included in the video stream.
  • the separation of the left and right images may use stereoscopic video information transmitted at the system level, for example, the HEVC stereoscopic video information descriptor proposed in FIG. 12.
  • the 2D / 3D indicator (multi_view_position_SEI) message may be allocated to the AU of the encoded stream. According to this, as shown in FIG. 14, the 2D / 3D indicator (multi_view_position_SEI) message is included for each AU during the 3DTV program period, thereby distinguishing whether the 3DTV program or the 2DTV program is at the frame level.
  • FIG. 15 is a diagram schematically showing an example of a method of distinguishing a 2DTV program from a 3DTV program at a video level according to the service scenario shown in FIG. 11.
  • the 2D / 3D indicator (multi_view_position_SEI) message shown in FIG. 13 is included in only the video stream of the base layer and transmitted. Therefore, it may be determined whether the 2DTV program or the 3DTV program is based on whether the corresponding message is included in the video stream of the base layer.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments may be, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
  • the present invention can be usefully used in a procedure, apparatus, broadcast industry, and the like related to storage or transmission of media data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

스테레오스코픽 비디오 데이터를 처리하기 위한 MMT 장치 및 방법이 개시된다. 일 실시예에 따른 MMT 장치는 스테레오스코픽 비디오 데이터의 전부 또는 일부를 포함하는 단일의 에셋 파일을 생성하는 에셋 파일 생성부 및 스테레오스코픽 비디오 데이터의 전달 또는 소비를 위한 시그널링 메시지를 생성하는 시그널링 메시지 생성부를 포함한다. 그리고 생성된 단일의 에셋 파일과 생성된 시그널링 메시지 중에서 적어도 하나가 스테레오스코픽 비디오 데이터와 관련된 스테레오스코픽 비디오 정보를 포함한다.

Description

스테레오스코픽 비디오 데이터를 처리하기 위한 MMT 장치 및 방법
본 발명은 엠펙 멀티미디어 전송(Mpeg Multimedia Transport, MMT) 기술에 관한 것으로, 보다 구체적으로 스테레오스코픽 비디오 데이터를 처리하기 위한 MMT 장치와 방법에 관한 것이다.
MMT(MPEG Media Transport)는 MPEG 시스템 분과(systems sub-working group)에서 멀티미디어 콘텐츠의 저장 및 전송을 위하여 개발한 새로운 표준 기술이다. MPEG 시스템 분과에 의한 기존의 표준 기술은 방송망에서 멀티미디어 콘텐츠를 전송하기 위해 필요한 패킷화, 동기화, 멀티플렉싱 등의 기능을 규정한 것으로서, MPEG-2 TS(Transport Stream) 기술로서 표준화되어 현재 널리 쓰여지고 있다. 그런데 MPEG-2 TS 기술은 기존의 방송망을 전제로 하여 개발된 기술로서, 아이피(Internet Protocol, IP) 기반의 네트워크 환경에 기초한 IPTV 방송이나 모바일 방송을 위한 멀티미디어 콘텐츠의 전송에는 부적법한 요소가 존재하여 비효율적이다. 따라서, MPEG 시스템 분과에서는 새로운 미디어 전송 환경은 물론 앞으로 예상되는 미디어 전송 환경을 고려하여 새로운 미디어 전송 표준의 필요성을 인식하게 되었고, 그 결과물로서 MMT 표준을 개발하게 되었다.
현재 개발되어 있는 MMT 표준인 'ISO/IEC 23008-1'은 미디어 데이터의 저장 및 전송에 관련된 표준으로서, MMT 시스템을 이용하여 미디어 데이터인 에셋(Asset)에 대한 캡슐화 처리를 통하여 개별 파일로서 저장하거나 전송하는 것에 관하여 규정하고 있다. 그런데 현재 제정 완료된 MMT 표준은 2D 영상을 포함하는 멀티미디어 콘텐츠의 처리 및 소비 기능을 지원하지만, 스테레오스코픽 비디오를 포함하는 멀티미디어 콘텐츠에 대한 처리 및 소비 기능을 지원하지는 않는다.
한편, 최근 디지털 방송, 인터넷을 통한 스트리밍을 통한 고해상도 비디오 서비스가 보편화됨에 따라 초고선명 텔레비전(Ultra High Definition Television, UHDTV) 서비스가 부각되고 있으며, 이와 함께 스테레오스코픽 비디오, 즉 3D 영상을 이용한 디지털 방송 서비스도 차세대 방송 서비스로 주목 받고 있다. 특히, 4K 이상의 고화질의 상용 스테레오스코픽 디스플레이의 출시 등과 같은 관련 기술의 발달을 바탕으로 각 가정에서 3D 영상을 즐길 수 있는 3DTV 서비스가 가까운 미래에 제공될 수 있을 것으로 예상되고 있다.
이러한 추세에 따라서, 일례로 ATSC(Advanced Television Systems Committee)는 4K UHD 방송 서비스를 목적으로 표준화(ATSC 3.0)를 진행하고 있다. 이러한 상황에서 3DTV 서비스를 제공하기 위해서는 우선적으로 2D 콘텐츠에 대한 4K UHD 방송 서비스와 호환성을 유지하면서 3D 콘텐츠도 전송하는 방식을 채택할 수 밖에 없는데, 문제는 3D 콘텐츠를 전송하기 위해서는 2D 콘텐츠를 전송하는 것보다는 많은 대역폭이 필요하다는 것이다. ATSC에서는 이를 해결하기 위하여 기존 채널에 별도의 채널을 결합하여 3DTV 방송 서비스를 제공하는 방식으로 기술을 개발하고 있다. 즉, ATSC 3.0에서는 2개의 UHD 채널이나 HD 채널, 즉 멀티 채널 기반의 3DTV 방송 서비스에 대한 표준화가 진행되고 있으며, 이를 서비스하기 위한 부호화 방법으로는 고효율 비디오 코딩(High Efficiency Video Coding, HEVC)이나 SHVC(Scalable HEVC)를 채택하고 있다.
하지만, ATSC 3.0에서도 아직까지 3DTV 방송 서비스를 위하여 스테레오스코픽 비디오 데이터를 어떻게 전송할 것인지에 대하여 구체적으로 제안하고 있지 않다. 3DTV 방송 서비스를 제공하기 위하여, MPEG 시스템을 통하여 3D 콘텐츠를 제공하는 방법도 하나의 방안으로 고려해볼 수 있지만, 전술한 바와 같이 MPEG-2 TS 기술은 현재의 방송망에 적합하지 않은 측면이 있으며 MMT 기술은 아직까지 3D 콘텐츠의 전송을 지원하지는 않는다.
본 발명이 해결하고자 하는 하나의 과제는 MMT 시스템에서 스테레오스코픽 비디오 콘텐츠를 저장 및/또는 전송할 수 있도록 스테레오스코픽 비디오 데이터를 처리하기 위한 MMT 장치와 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 하나의 과제는 2DTV 방송 서비스와 호환성을 유지하면서 고화질의 3DTV 방송 서비스를 제공할 수 있는 스테레오스코픽 비디오 데이터의 처리하기 위한 MMT 장치와 방법을 제공하는 것이다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 스테레오스코픽 비디오 데이터를 처리하기 위한 MMT 장치는 상기 스테레오스코픽 비디오 데이터의 전부 또는 일부를 포함하는 단일의 에셋 파일을 생성하는 에셋 파일 생성부 및 상기 스테레오스코픽 비디오 데이터의 전달 또는 소비를 위한 시그널링 메시지를 생성하는 시그널링 메시지 생성부를 포함한다. 그리고 상기 단일의 에셋 파일과 상기 시그널링 메시지 중에서 적어도 하나가 상기 스테레오스코픽 비디오 데이터와 관련된 스테레오스코픽 비디오 정보를 포함한다.
상기 실시예의 일 측면에 의하면, 상기 스테레오스코픽 비디오 정보는 스테레오스코픽 비디오를 구성하는 좌영상과 우영상의 조합 방식을 지시하는 조합 유형 정보, 상기 스테레오스코픽 비디오에서 상기 좌영상과 상기 우영상 사이의 순서를 지시하는 영상 순서 지시 정보 및 상기 스테레오스코픽 비디오를 구성하는 특정 뷰의 영상이 좌영상인지 또는 우영상인지를 지시하는 영상 종류 지시 정보를 포함할 수 있다. 이 때, 상기 조합 유형 정보는 좌우 방식, 수직 라인 교차 방식, 프레임 시퀀스 방식, 좌/우 뷰 시퀀스 방식 및 상하 방식 중에서 어느 하나를 지시할 수 있다. 그리고 상기 영상 종류 지시 정보는 상기 조합 유형 정보가 좌/우 뷰 시퀀스 방식을 지시할 경우에만 상기 스테레오스코픽 비디오 정보에 포함될 수 있다. 이러한 스테레오스코픽 비디오 정보는 ISO/IEC 23008-11 표준에 규정되어 있는 스테레오스코픽 비디오 미디어 정보(svmi) 박스의 신택스 포맷으로 기술되어서 상기 단일의 에셋 파일에 포함되거나 또는 ISO/IEC 23008-1 표준에 규정되어 있는 스테레오스코픽 비디오 정보 디스크립터의 신택스 포맷으로 기술되어서 상기 시그널링 메시지의 엠엠티 패키지(MMT Package, MP) 테이블에 포함될 수 있다.
상기 실시예의 다른 측면에 의하면, 상기 스테레오스코픽 비디오 정보는 스테레오스코픽 비디오가 2D 비디오 서비스에 호환될 수 있는지를 지시하는 서비스 호환성 정보, 상기 스테레오스코픽 비디오를 구성하는 특정 뷰의 영상이 좌영상인지 또는 우영상인지를 지시하는 영상 종류 지시 정보, 상기 스테레오스코픽 비디오를 구성하는 특정 뷰의 영상이 2D 비디오 서비스에 이용될 수 있는지를 지시하는 기본 영상 지시 정보, 상기 스테레오스코픽 비디오를 구성하는 좌영상과 우영상의 조합 방식을 지시하는 조합 유형 정보 및 상기 스테레오스코픽 비디오에서 상기 좌영상과 상기 우영상 사이의 순서를 지시하는 영상 순서 지시 정보를 포함하고, 상기 영상 종류 지시 정보와 상기 기본 영상 지시 정보는 상기 서비스 호환성 정보가 호환 가능하다는 것을 지시할 경우에만 포함되고, 상기 조합 유형 정보와 상기 기본 영상 지시 정보는 상기 서비스 호환성 정보가 호환 가능하지 않다는 것을 지시할 경우에만 포함될 수 있다. 이러한 스테레오스코픽 비디오 정보는 ISO/IEC 23008-1 표준에 규정되어 있는 스테레오스코픽 비디오 정보(svin) 박스의 신택스 포맷으로 기술되어서 상기 단일의 에셋 파일에 포함되거나 또는 ISO/IEC 23008-1 표준에 규정되어 있는 스테레오스코픽 비디오 정보 디스크립터의 신택스 포맷으로 기술되어서 상기 시그널링 메시지의 엠엠티 패키지(MMT Package, MP) 테이블에 포함될 수 있다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 MMT 장치에서 스테레오스코픽 비디오 데이터를 처리하는 방법은 상기 스테레오스코픽 비디오 데이터의 전부 또는 일부를 포함하는 단일의 에셋 파일을 생성하는 단계 및 상기 스테레오스코픽 비디오 데이터의 전달 또는 소비를 위한 시그널링 메시지를 생성하는 단계를 포함한다. 그리고 상기 단일의 에셋 파일의 생성 단계와 상기 시그널링 메시지의 생성 단계 중에서 적어도 하나의 단계에서 상기 스테레오스코픽 비디오 데이터와 관련된 스테레오스코픽 비디오 정보를 포함시켜서 상기 단일의 에셋 파일 또는 상기 시그널링 메시지를 생성할 수 있다.
상기 실시예의 일 측면에 의하면, 상기 스테레오스코픽 비디오 정보는 스테레오스코픽 비디오를 구성하는 좌영상과 우영상의 조합 방식을 지시하는 조합 유형 정보, 상기 스테레오스코픽 비디오에서 상기 좌영상과 상기 우영상 사이의 순서를 지시하는 영상 순서 지시 정보 및 상기 스테레오스코픽 비디오를 구성하는 특정 뷰의 영상이 좌영상인지 또는 우영상인지를 지시하는 영상 종류 지시 정보를 포함하고, 상기 조합 유형 정보는 좌우 방식, 수직 라인 교차 방식, 프레임 시퀀스 방식, 좌/우 뷰 시퀀스 방식 및 상하 방식 중에서 어느 하나를 지시하며, 상기 영상 종류 지시 정보는 상기 조합 유형 정보가 좌/우 뷰 시퀀스 방식을 지시할 경우에만 상기 스테레오스코픽 비디오 정보에 포함될 수 있다. 그리고 이러한 스테레오스코픽 비디오 정보는 ISO/IEC 23008-11 표준에 규정되어 있는 스테레오스코픽 비디오 미디어 정보(svmi) 박스의 신택스 포맷으로 기술되어서 상기 단일의 에셋 파일에 포함되거나 또는 ISO/IEC 23008-1 표준에 규정되어 있는 스테레오스코픽 비디오 정보 디스크립터의 신택스 포맷으로 기술되어서 상기 시그널링 메시지의 엠엠티 패키지(MMT Package, MP) 테이블에 포함될 수 있다.
전술한 본 발명의 실시예에 의하면, 에셋 파일 및/또는 시그널링 메시지에 스테레오스코픽 비디오 정보를 포함시키기 때문에 MMT 시스템에서 스테레오스코픽 비디오 콘텐츠를 저장 및/또는 전송하는 것이 가능하다. 아울러, 스테레오스코픽 정보는 조합 유형 정보, 영상 순서 지시 정보 및 영상 종류 지시 정보 등을 포함하므로, DTV 방송 서비스와 호환성을 유지하면서 고화질의 3DTV 방송 서비스를 제공할 수 있다.
도 1은 MMT 시스템의 각 기능 영역이 포함된 계층 구조를 도시한 도면이다.
도 2는 MMT 패키지의 논리적 구조를 보여 주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 스테레오스코픽 비디오 데이터를 처리하기 위한 MMT 장치의 구성을 개략적으로 나타낸 블록도이다.
도 4는 도 3의 에셋 파일 생성부가 생성한 에셋 파일의 개략적인 구성의 일례를 보여 주는 도면이다.
도 5는 도 4의 에셋 파일 헤더를 표현하기 위한 파일 신택스의 일례를 보여 주는 도면이다.
도 6은 도 3의 에셋 파일 생성부가 생성한 에셋 파일의 개략적인 구성의 다른 예를 보여 주는 도면이다.
도 7은 도 6의 에셋 파일 헤더를 표현하기 위한 파일 신택스의 일례를 보여 주는 도면이다.
도 8은 MP 테이블에 포함될 수 있는 스테레오스코픽 비디오 정보 디스크립터의 일례를 보여 주는 도면이다.
도 9는 MP 테이블에 포함될 수 있는 스테레오스코픽 비디오 정보 디스크립터의 다른 예를 보여 주는 도면이다.
도 10은 2개의 독립 HEVC 코덱을 이용하여 3DTV 방송 서비스를 제공하기 위한 서비스 시나리오를 도식적으로 나타낸 도면이다.
도 11은 1개의 SHVC 코덱을 이용하여 3DTV 방송 서비스를 제공하기 위한 서비스 시나리오를 도식적으로 나타낸 도면이다.
도 12는 시스템 레벨에서 전송되는 스테레오스코픽 비디오 정보의 다른 예로서 HEVC 스테레오스코픽 비디오 정보 디스크립터(HEVC_stereoscopic_video_info_descriptor)를 보여 주는 도면이다.
도 13은 2D/3D 지시자(Multi_view_position_SEI) 메시지의 일례를 보여 주는 도면이다.
도 14는 도 10에 도시된 서비스 시나리오에 따라서 비디오 레벨에서 2DTV 프로그램과 3DTV 프로그램을 구분하는 방법의 일례를 도식적으로 보여 주는 도면이다.
도 15는 도 11에 도시된 서비스 시나리오에 따라서 비디오 레벨에서 2DTV 프로그램과 3DTV 프로그램을 구분하는 방법의 일례를 도식적으로 보여 주는 도면이다.
이하 첨부된 도면을 참조하여 실시예들을 보다 상세히 설명한다. 그러나 이러한 도면은 기술적 사상의 내용과 범위를 쉽게 설명하기 위한 예시일 뿐, 이에 의해 기술적 범위가 한정되거나 변경되는 것은 아니다. 그리고 이러한 예시에 기초하여 기술적 사상의 범위 안에서 다양한 변형과 변경이 가능함은 통상의 기술자에게는 당연할 것이다. 또한, 본 명세서에서 사용되는 용어 및 단어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예들에서 사용된 용어는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 통상의 기술자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
도 1은 MMT 시스템의 각 기능 영역이 포함된 계층 구조를 도시한 도면이다. 도 1을 참조하면, MMT 시스템(100)은 캡슐화 기능 계층(Encapsulation Function Layer, Layer E)(110), 전달 기능 계층(Delivery Function Layer, Layer D)(120), 및 시그널링 기능 계층(Signaling Function Layer, Layer S)(130)으로 구성된다.
미디어 부호화 계층(Media Coding Layer, 12)에서 압축된 멀티미디어 데이터는 캡슐화 기능 계층(110)을 거쳐 파일 포맷과 유사한 형태로 패키지화되어 출력된다. 캡슐화 기능 계층(110)은 미디어 부호화 계층으로부터 제공되는 코딩된 미디어 데이터를 입력으로 하여 MMT 서비스를 위한 작은 단위인 데이터 프래그먼트(fragment) 또는 세그먼트(segment)를 생성하며, 데이터 프래그먼트를 사용하여 MMT 서비스를 위한 액세스 유닛(Access Unit, AU)들을 생성한다. 또한 캡슐화 기능 계층(110)은 액세스 유닛(AU)들을 결합 및/또는 분할함으로써 복합 컨텐츠의 생성 및 이의 저장 및/또는 전송을 위한 소정 포맷의 데이터를 생성한다.
전달 기능 계층(120)은 네트워크를 통해 전송되는 미디어의 네트워크 플로우 멀티플렉싱(network flow multiplexing), 네트워크 패킷화(network packetization), QoS 제어 등을 수행할 수 있다. 보다 구체적으로, 전달 기능 계층(120)은 캡슐화 기능 계층(110)에서 출력되는 하나 이상의 데이터 유닛(Data Unit, DU)을 MMT 페이로드 포맷으로 변환한 후, MMT 전송 패킷 헤더(MMT transport packet header)를 부가하여 MMT 패킷으로 구성하거나 또는 기존 전송 프로토콜인 RTP(Real-time Protocol)를 사용하여 RTP 패킷으로 구성할 수 있다. 전달 기능 계층(120)에서 구성된 패킷들은 UDP(User Datagram Protocol) 또는 TCP(Transport Control Protocol)와 같은 전송 프로토콜 계층(14)을 거쳐 최종적으로 인터넷 프로토콜(IP) 계층(16)에서 IP 패킷화되어 전송된다.
그리고 시그널링 기능 계층(130)은 패키지의 전송 및 소비에 필요한 제어 정보 혹은 시그널링 정보를 소정의 포맷의 메시지로 생성한다. 생성된 시그널링 메시지는 미디어 데이터와 함께 MMT 패킷화되어 전송되거나 또는 별도의 시그널링 메시지로서 MMT 패킷화되어 수신측으로 전송될 수 있다.
그리고 도 2는 MMT 패키지(MMT package)의 논리적 구조(logical structure)를 보여 주는 도면으로서, MMT 패키지를 구성하는 구성 요소들과 각 구성 요소들 사이의 관계를 보여 준다.
도 2를 참조하면, MMT 패키지는 미디어 콘텐츠 데이터 및 이와 관련된 메타 데이터의 집합으로서, 표현 정보(Presentation Information, PI), 하나 이상의 에셋들(Assets), 그리고 전송 특성들(Transport Characteristics, TCs)로 구성되어 있다. PI는 에셋들의 시공간적 관계를 설명해주는 정보이다. 에셋은 오디오, 비디오 또는 웹페이지 등과 같은 인코딩된 미디어 데이터로서, 각 에셋은 에셋 아이디(Asset ID)를 식별자로서 가진다. 에셋은 각각 하나 이상의 미디어 프로세싱 유닛(Media Processing Unit, MPU)을 포함할 수 있는데, MPU는 ISO-BMFF(International Standard Organization - Base Media File Format) 형태의 파일로서 독립적으로 소비될 수 있다. 하나의 에셋 내에서 연속하는 2개의 MPU가 동일한 미디어 샘플을 포함할 수는 없다. 그리고 TC는 에셋의 전송을 위해서 필요한 QoS 정보를 제공해주는데, 하나의 에셋은 하나의 TC만을 가질 수 있으나 하나의 TC는 복수의 에셋(Multiple Assets)에 사용될 수 있다.
MMT 기술에 의하면, 좌영상과 우영상이 별개의 프레임으로 구성된 스테레오스코픽 비디오의 경우에, 좌영상과 우영상은 각각 별개의 에셋 아이디를 갖는다. 그리고 MMT 기술에서는 콘텐츠의 전송이나 재생 및 이를 위한 데이터 처리나 서비스 품질 관리 등은 에셋 단위로 별개의 파일로 간주되어 독립적으로 처리되므로, 좌영상과 우영상을 복원하여 재생하기 위해서는 좌영상 에셋과 우영상 에셋을 시간적으로 동기화하여 3D 영상으로 재생하는 것이 필요하다. 또한, 좌영상 에셋과 우영상 에셋으로 구성된 스테레오스코픽 비디오의 경우에는 2D 디스플레이에도 재생될 수 있도록 하는 것이 바람직하다.
아울러, 스테레오스코픽 비디오는 좌영상과 우영상이 별개의 프레임으로 구성될 수도 있지만, 좌영상과 우영상이 하나의 프레임에 다양한 방식으로 조합되어 구성될 수도 있다. 예컨대, 스테레오스코픽 비디오는 좌우 방식(side-by-side type), 상하 방식(top-bottom type) 또는 수직 라인 교차 방식(vertical line interleaved type)으로 조합되어 하나의 프레임을 구성할 수도 있다. 이 경우에, 좌우 영상이 조합된 스테레오스코픽 비디오는 전체가 하나의 에셋으로 간주될 수 있지만, 여기에만 한정되는 것은 아니며 좌영상과 우영상이 각각 별개의 에셋으로 간주될 수도 있다.
이와 같이, 스테레오스코픽 비디오는 다양한 방식으로 조합되어 구성될 수 있다. 그리고 하나의 프레임에 조합된 스테레오스코픽 비디오는 그 자체가 하나의 에셋으로 구성될 수 있지만, 좌영상과 우영상이 각각 별개의 에셋으로 구성될 수도 있다. 아울러, 스테레오스코픽 비디오 데이터는 3D 디스플레이를 이용하여 재생되는 것은 물론 2D 디스플레이를 이용하여 재생될 수 있는 것이 바람직하다. 따라서 MMT 시스템을 통해 스테레오스코픽 비디오 데이터를 저장하거나 또는 MMT 송신 엔티티(MMT sending entity)로부터 MMT 수신 엔티티(MMT receiving entity)로 전송될 수 있도록 하기 위해서는, 전술한 스테레오스코픽 비디오에 고유한 특성들을 충분히 고려하여 스테레오스코픽 비디오 데이터를 처리할 필요가 있다.
도 3은 본 발명의 일 실시예에 따른 스테레오스코픽 비디오 데이터를 처리하기 위한 MMT 장치의 구성을 개략적으로 나타낸 블록도이다. 도 3을 참조하면, MMT 장치(200)는 에셋 파일 생성부(210) 및 시그널링 메시지 생성부(220)를 포함한다. 그리고 MMT 장치(200)는 전송부(230)를 더 포함할 수도 있다. 도 3에 도시된 MMT 장치는 그 구성요소(또는 기능)의 일부 또는 전부가 MMT 표준에 규정되어 있는 MMT 송신 엔티티의 구성 요소(또는 기능)로서 구현될 수 있다.
에셋 파일 생성부(210)는 각 에셋에 대하여 엑세스 유닛(Access Unit, AU)을 기반으로 에셋 파일을 생성한다. 여기서, '에셋 파일'이란 반드시 물리적으로 하나의 파일을 의미하는 것은 아니며, 복수의 파일들의 집합일 수 있다. 즉, '에셋 파일'이란 단일 에셋을 구성하는 인코딩된 스테레오스코픽 비디오 데이터는 물론 이와 관련된 스테레오스코픽 비디오 정보를 포함하는 하나 이상의 파일들의 집합이다. 전술한 바와 같이, 스테레오스코픽 비디오의 경우에는 좌영상과 우영상이 각각 하나의 에셋 파일을 구성하거나 또는 소정의 방식으로 하나의 프레임에 조합된 스테레오스코픽 비디오 영상은 그 자체가 하나의 에셋 파일을 구성할 수도 있다. 전자의 경우에 스테레오스코픽 비디오 데이터의 일부가 단일의 에셋 파일에 포함되지만, 후자의 경우에는 스테레오스코픽 비디오 데이터의 전부가 단일의 에셋 파일에 포함된다.
도 3의 에셋 파일 생성부(210)가 생성한 에셋 파일은 저장 매체에 저장될 수 있는데, 이 경우에 생성되는 에셋 파일에는 스테레오스코픽 비디오 정보가 반드시 포함된다. 이와는 달리, 에셋 파일 생성부(210)가 생성한 에셋 파일은 전송부(230)로 입력되어 MMT 수신 장치로 전송될 수도 있는데, 이 경우에는 생성되는 에셋 파일에는 스테레오스코픽 비디오 정보가 포함되거나 또는 포함되지 않을 수도 있다. 왜냐하면, 후술하는 바와 같이 시그널링 메시지 생성부(220)가 생성하는 시그널링 메시지에 스테레오스코픽 비디오 정보가 포함될 수 있기 때문이다. 이하, 에셋 파일 생성부(210)가 생성하는 에셋 파일에 스테레오스코픽 비디오 정보가 포함되는 경우에 대하여 설명한다.
도 4는 도 3의 에셋 파일 생성부(210)가 생성한 에셋 파일의 개략적인 구성의 일례를 보여 주는 도면이다. 도 4를 참조하면, 에셋 파일(300)은 에셋 파일 헤더(asset file header, 300a) 및 에셋 파일 몸체(asset file body, 300b)를 포함한다. 이러한 에셋 파일(300)의 구성은 각 유닛에 포함되는 데이터의 특성에 따른 논리적인 것으로서, 물리적으로는 다양한 형태로 구현될 수 있다. 예를 들어, 에셋 파일 헤더(300a)와 에셋 파일 몸체(300b)는 반드시 하나의 파일일 필요가 없으며, 각각이 하나의 파일로 구성되거나 또는 각각이 복수의 파일로 구성될 수도 있다.
에셋 파일 몸체(300b)는 적어도 스테레오스코픽 비디오 데이터를 포함하는 유닛으로서, 예컨대 다수의 MPU를 포함하여 구성될 수 있다. 에셋 파일 몸체(300b)는 스테레오스코픽 데이터가 포함되는 부분으로서, 에셋 파일의 페이로드(payload)에 해당된다고 볼 수 있다. 전술한 바와 같이, MPU는 소정의 포맷으로 인캡슐레이션된 ISOBMFF 형태의 파일일 수 있으며, 인캡슐레이션된 MPU는 에셋 아이디와 함께 고유의 일련 번호(sequence number)를 가지고 있다. 동일한 에셋을 구성하는 MPU들은 모두 동일한 에셋 아이디를 갖는다. MPU는 인코딩된 스테레오스코픽 비디오 데이터를 포함하는데, 각 MPU는 많아야 하나의 미디어 트랙을 포함한다.
에셋 파일 헤더(300a)는 해당 에셋과 관련된 여러 가지 정보들, 즉 에셋 파일 정보(asset file information)를 포함한다. 특히, 에셋이 스테레오스코픽 비디오 데이터를 구성하는 좌영상 에셋이거나 또는 우영상 에셋인 경우에, 에셋 파일 헤더(300a)는 에셋 파일 정보의 하나로서 스테레오스코픽 비디오 정보(310)를 포함할 수 있다. 이외에도, 에셋 파일 헤더(300a)는 에셋 아이디의 구조(scheme), 길이(length), 값(value) 등과 같은 에셋 아이디에 관한 정보를 더 포함할 수도 있다(도 5 및 도 7 참조).
본 실시예의 일 측면에 의하면, 스테레오스코픽 정보(310)는 조합 유형 정보(311), 영상 순서 지시 정보(312) 및 영상 종류 지시 정보(313)를 포함할 수 있다. 조합 유형 정보(311)는 스테레오스코픽 비디오를 구성하는 좌영상과 우영상이 조합된 방식을 지시한다. 예를 들어, 조합 유형 정보(311)는 좌우 방식, 수직 라인 교차 방식, 프레임 시퀀스 방식(frame sequential type), 좌/우 뷰 시퀀스 방식(Left/Right view sequence type), 상하 방식 중에서 어느 하나를 지시할 수 있다.
표 1은 이러한 조합 유형 정보(311)의 일례를 보여 주는 것이다. 표 1을 참조하면, 조합 유형 정보(311)로서 좌우 방식과 상하 방식의 경우에 전체(full) 영상과 하프(half) 영상의 2가지 종류가 존재한다는 것을 알 수 있다. 그리고 표 1에서 좌측 칼럼의 값(value)이 예시적인 것이라는 것은 당업자에게 자명하다.
Figure PCTKR2016006333-appb-T000001
영상 순서 지시 정보(312)는 조합된 스테레오스코픽 비디오에서 좌영상과 우영상 사이의 순서를 지시하는 정보이다. 예를 들어, 영상 순서 지시 정보(312)는 좌영상이 먼저인지(is_left_first) 또는 우영상이 먼저인지(is_right_first)를 나타내는 방식으로 표시될 수 있다. 표 2는 이러한 영상 순서 지시 정보(312)의 일례를 보여 주는 것이다. 표 2를 참조하면, 각 조합 유형의 경우에 대하여 영상 순서 지시 정보(표 2의 경우에는 is_left_first의 값)에 따라서 좌측 영상(left view)과 우측 영상(right view) 각각이 프레임의 어떤 위치인지 또는 일련의 프레임 시퀀스 중에서 홀수 번째 프레임 또는 짝수 번째 프레임인지를 알 수 있다.
Figure PCTKR2016006333-appb-T000002
영상 종류 지시 정보(313)는 해당 뷰의 영상의 좌영상인지 또는 우영상인지를 지시하는 정보이다. 예컨대, 영상 종류 지시 정보(313)는 해당 뷰가 좌영상인지(is_left) 또는 우영상인지(is_right)를 나타내는 방식으로 표시될 수 있다. 따라서 영상 종류 지시 정보(313)는 조합 유형 정보(311)가 지시하는 좌영상과 우영상의 조합 방식이 좌/우 뷰 시퀀스 방식(표 1에서 그 값이 '0x03'인 경우)인 경우에만 포함되는 정보일 수 있다.
도 5는 도 4의 에셋 파일 헤더(300a)를 표현하기 위한 파일 신택스(syntax)의 일례를 보여 주는 도면이다. 도 5의 파일 신택스는 ISO/IEC 23008-11의 스테레오스코픽 비디오 미디어 정보(Stereoscopic Video Media Information, svmi) 박스의 파일 포맷에 기초하여 작성된 것으로서, 이것은 단지 예시적인 것이다. 도 4의 에셋 파일 헤더(300a)는 다른 표준이나 다른 형식의 파일 포맷에 기초하여 작성될 수도 있다.
도 5를 참조하면, 도 4의 조합 유형 정보(311)는 "stereoscopic_composition_type"라는 엘리먼트(element)로 표현되어 있는데, 일례로 이 엘리먼트는 전술한 표 1에 도시된 내용을 지시할 수 있다. 그리고 도 4의 영상 순서 지시 정보(312)는 "is_left_first"라는 엘리먼트로 표현이 되어 있으며, 일례로 이 엘리먼트는 전술한 표 2에 도시된 내용을 지시할 수 있다. 또한 도 4의 영상 종류 지시 정보(313)는 "is_left"라는 엘리먼트로 표현이 되어 있는데, 해당 엘리먼트는 "stereoscopic_composition_type"의 값이 0x03이어서 좌/우 뷰 시퀀스 유형일 경우에만 포함된다는 것을 알 수 있다. 이외에도, 파일 신택스는 에셋 아이디의 구조, 길이, 값 등을 지시하기 위한 엘리먼트들을 포함할 수 있다.
도 6은 도 3의 에셋 파일 생성부(210)가 생성한 에셋 파일의 개략적인 구성의 다른 예를 보여 주는 도면이다. 도 6의 에셋 파일(400)의 구성도 각 유닛에 포함되는 데이터의 특성에 따른 논리적인 것으로서, 물리적으로는 다양한 형태로 구현될 수 있다. 예를 들어, 에셋 파일 헤더(400a)와 에셋 파일 몸체(400b)는 각각 하나 또는 복수의 파일로 구성될 수 있다. 도 6를 참조하면, 에셋 파일(400)은 에셋 파일 헤더(400a) 및 에셋 파일 몸체(400b)를 포함한다는 점에서 도 4의 에셋 파일(300)과 그 구성이 동일하다. 그리고 에셋 파일 몸체(400b)는 적어도 스테레오스코픽 비디오 데이터를 포함하는 유닛으로서, 예컨대 다수의 MPU를 포함하여 구성될 수 있다는 점에서도 도 4의 에셋 파일 몸체(300b)와 동일하므로, 여기에서는 이에 대한 구체적인 설명은 생략한다.
에셋 파일 헤더(400a)는 해당 에셋과 관련된 여러 가지 정보들, 즉 에셋 파일 정보를 포함하고, 특히 에셋이 스테레오스코픽 비디오 데이터를 구성하는 좌영상 에셋이거나 또는 우영상 에셋인 경우에, 에셋 파일 헤더(400a)는 에셋 파일 정보로서 스테레오스코픽 비디오 정보(410)를 포함할 수 있다는 점에서, 도 4의 에셋 파일 헤더(300a)와 동일하다. 다만, 에셋 파일 헤더(400a)는 그 구체적인 구성에 있어서 에셋 파일 헤더(300a)와 차이가 있는데, 보다 구체적으로 스테레오스코픽 정보(410)는 서비스 호환성 정보(411), 영상 종류 지시 정보(412), 기본 영상 지시 정보(413), 조합 유형 정보(414) 및 영상 순서 지시 정보(415)를 포함할 수 있다.
서비스 호환성 정보(411)는 스테레오스코픽 비디오가 2D 비디오를 제공하는 서비스에도 이용될 수 있는지(is_service_compatible)를 지시하는 정보이다. 예컨대, 스테레오스코픽 비디오에 대하여 특별한 영상 처리 기술을 적용하지 않고 2D 비디오 서비스에 활용될 수 있는 경우라면, 해당 스테레오스코픽 비디오는 2D 비디오 서비스와 호환성이 있다고 볼 수 있다. 통상적으로 좌/우 뷰 시퀀스 방식으로 조합된 스테레오스코픽 비디오의 경우에, 해당 스테레오스코픽 비디오로부터 좌영상 뷰 또는 우영상 뷰만을 추출하여 2D 비디오 서비스를 제공하는 것이 가능하다. 반면, 그 이외의 방식으로 조합된 스테레오스코픽 비디오의 경우에는 2D 비디오 서비스를 제공하기 위해서는 각 프레임의 영상에 대하여 추가적인 영상 처리가 필요하다.
영상 종류 지시 정보(412)와 기본 영상 지시 정보(413)는 스테레오스코픽 비디오가 2D 비디오 서비스와 호환성이 있는 경우, 즉 서비스 호환성 정보(411)가 호환 가능하다는 것을 지시하는 값을 가질 경우에만 스테레오스코픽 정보(410)에 포함되는 정보일 수 있다. 여기서, 영상 종류 지시 정보(412)는 해당 뷰의 영상이 좌영상인지 또는 우영상인지를 지시하는 정보이다. 예컨대, 영상 종류 지시 정보(412)는 해당 뷰가 좌영상인지(is_left) 또는 우영상인지(is_right)를 나타내는 방식으로 표시될 수 있다. 그리고 기본 영상 지시 정보(413)는 해당 뷰의 영상이 2D 비디오 서비스에도 이용될 수 있는지, 즉 기본 영상(is_base)인지를 지시하는 정보이다. 따라서 기본 영상 지시 정보(413)에 의하여 기본 영상으로 특정된 뷰의 영상만이 2D 비디오 서비스에 이용될 수 있다.
조합 유형 정보(414)는 스테레오스코픽 비디오를 구성하는 좌영상과 우영상이 조합된 방식을 지시한다. 예를 들어, 조합 유형 정보(411)는 좌우 방식, 수직 라인 교차 방식, 프레임 시퀀스 방식 및 상하 방식 중에서 어느 하나를 지시할 수 있다. 이러한 조합 유형 정보(414)는 좌/우 뷰 시퀀스 방식이 없다는 점에서 표 1의 조합 유형 정보(311)와 차이가 있다.
표 3은 이러한 조합 유형 정보(414)의 일례를 보여 주는 것이다. 표 3을 참조하면, 조합 유형 정보(414)로서 좌우 방식과 상하 방식의 경우에 전체(full) 영상과 하프(half) 영상의 2가지 종류가 존재한다는 것을 알 수 있다. 그리고 표 3에서 좌측 칼럼의 값(value)이 예시적인 것이라는 것은 당업자에게 자명하다.
Figure PCTKR2016006333-appb-T000003
영상 순서 지시 정보(415)는 조합된 스테레오스코픽 비디오에서 좌영상과 우영상 사이의 순서를 지시하는 정보이다. 예를 들어, 영상 순서 지시 정보(415)는 좌영상이 먼저인지(is_left_first) 또는 우영상이 먼저인지(is_right_first)를 나타내는 방식으로 표시될 수 있다. 이러한 영상 순서 지시 정보(415)의 일례는 표 2를 참조하여 전술하였으므로, 이에 대한 구체적인 설명은 생략한다.
도 7은 도 6의 에셋 파일 헤더(400a)를 표현하기 위한 파일 신택스(syntax)의 일례를 보여 주는 도면이다. 도 7의 파일 신택스는 ISO/IEC 23008-1의 스테레오스코픽 비디오 정보(Stereoscopic Video Information, svin) 박스의 파일 포맷에 기초하여 작성된 것으로서, 이것은 단지 예시적인 것이다. 즉, 도 6의 에셋 파일 헤더(400a)는 다른 표준이나 다른 형식의 파일 포맷에 기초하여 작성될 수도 있다.
도 7을 참조하면, 도 6의 서비스 호환성 정보(411)는 "is_service_compatible"라는 엘리먼트로 표현되어 있는데, 일례로 그 값이 '0'이면 2D 비디오 서비스와 호환되지 않지만 그 값이 '1'인 경우에는 2D 비디오 서비스와 호환이 된다는 것을 지시할 수 있다. 그리고 도 6의 영상 종류 지시 정보(412)와 기본 영상 지시 정보(413)는 각각 "is_left" 및 "is_base"라는 엘리먼트로 표현되어 있는데, 해당 엘리먼트들은 "is_service_compatible"이 2D 비디오 서비스와 호환이 되는 경우를 지시할 경우에 포함된다는 것을 알 수 있다. 반면, "is_service_compatible"이 2D 비디오 서비스와 호환이 되지 않는 경우를 지시할 경우에는, 조합 유형 정보(414) 및 영상 순서 지시 정보(415)가 포함될 수 있는데, 각각 "stereoscopic_composition_type" 및 "is_left_first"라는 엘리먼트로 표현되어 있다. 일례로 엘리먼트 "stereoscopic_composition_type"는 전술한 표 3에 도시된 내용을 지시할 수 있다. 이외에도, 파일 신택스는 에셋 아이디의 구조, 길이, 값 등을 지시하기 위한 엘리먼트들을 포함할 수 있다.
계속해서 도 3을 참조하면, 시그널링 메시지 생성부(220)는 스테레오스코픽 비디오 데이터의 전달(delivery) 및/또는 소비(consumption)를 위한 시그널링 메시지를 생성한다. 여기서, 시그널링 메시지는 ISO/IEC 23008-1 표준에 규정되어 있는 포맷의 메시지로서, 이에는 시그널링 테이블(signaling tables)이나 디스크립터(descriptors) 등의 형식으로 정보가 포함될 수 있다. 시그널링 메시지 생성부(220)는 해당 에셋의 표현 정보, 전송 특성은 물론 스테레오스코픽 비디오 데이터와 MMT 수신 엔티티로부터 수신한 다양한 정보에 기초하여 시그널링 메시지를 생성할 수 있다.
본 실시예의 일 측면에 의하면, 시그널링 메시지 생성부(220)가 생성하는 시그널링 메시지에는 스테레오스코픽 비디오 데이터를 포함하는 MMT 패키지의 소비를 위하여 필요한 스테레오스코픽 비디오 정보가 포함될 수 있다. 예를 들어, 시그널링 메시지 생성부(220)는 도 4에 도시되어 있는 에셋 파일(300)의 에셋 파일 헤더(310)에 포함되어 있는 스테레오스코픽 비디오 정보를 포함하는 시그널링 메시지를 생성할 수 있다. 즉, 시그널링 메시지 생성부(220)는 조합 유형 정보, 영상 순서 지시 정보 및 영상 종류 지시 정보를 포함하는 시그널링 메시지를 생성할 수 있다. 다른 예로, 시그널링 메시지 생성부(220)는 도 6에 도시되어 있는 에셋 파일(400)의 에셋 파일 헤더(410)에 포함되어 있는 스테레오스코픽 비디오 정보를 포함하는 시그널링 메시지를 생성할 수 있는데, 이 경우에 서비스 호환성 정보, 영상 종류 지시 정보, 기본 영상 지시 정보, 조합 유형 정보 및 영상 순서 지시 정보를 포함하는 시그널링 메시지를 생성할 수 있다.
본 실시예의 다른 측면에 의하면, 시그널링 메시지 생성부(220)가 생성하는 시그널링 메시지에는 도 4 또는 도 6을 참조하여 전술한 스테레오스코픽 비디오 정보는 포함되지 않을 수 있다. 이 경우에, ISO/IEC 23008-1 표준에서 규정하고 있는 다른 종류의 정보들이 시그널링 메시지에 포함될 수 있다. 다만, 이러한 실시예는 도 4 또는 도 6에 도시된 바와 같이 에셋 파일의 에셋 파일 헤더에 스테레오스코픽 비디오 정보가 포함되는 경우에만 한정된다. 하지만, 에셋 파일의 에셋 파일 헤더에 스테레오스코픽 비디오 정보가 포함되는 경우라고 하더라도, 시그널링 메시지 생성부(220)가 생성하는 시그널링 메시지에도 스테레오스코픽 비디오 정보의 전부 또는 일부가 포함될 수 있다는 것은 당업자에게 자명하다. 이하, 시그널링 메시지 생성부(220)가 생성하는 시그널링 메시지에 스테레오스코픽 비디오 정보의 전부가 포함되는 경우에 대해서 설명한다.
일례로, 시그널링 메시지 생성부(220)는 ISO/IEC 23008-1 표준에 규정되어 있는 MMT 패키지(MP) 테이블에 스테레오스코픽 비디오 정보를 포함시킬 수 있다. 이 경우에, 스테레오스코픽 비디오 정보는 MP 테이블에 포함되는 디스크립터들 중의 하나일 수 있다. 그리고 이러한 스테레오스코픽 비디오 정보 디스크립터(stereoscopic_video_info_descriptor)는 MP 테이블의 에셋 디스크립터 루프(asset_descriptor loop)에 포함될 수 있다.
도 8은 MP 테이블에 포함될 수 있는 스테레오스코픽 비디오 정보 디스크립터의 일례를 보여 주는 도면이다. 도 8을 참조하면, 스테레오스코픽 비디오 정보 디스크립터는 조합 유형 정보, 영상 순서 지시 정보 및 영상 종류 지시 정보를 포함한다. 보다 구체적으로, 조합 유형 정보는 "stereoscopic_composition_type"라는 엘리먼트(element)로 표현되어 있으며, 영상 순서 지시 정보는 "is_left_first"라는 엘리먼트로 표현이 되어 있으며, 또한 영상 종류 지시 정보는 "is_left"라는 엘리먼트로 표현이 되어 있다. 또한, 영상 종류 지시 정보는 "stereoscopic_composition_type"의 값이 0x03이어서 좌/우 뷰 시퀀스 유형일 경우에만 포함된다는 것을 알 수 있다(표 1 참조).
도 9는 MP 테이블에 포함될 수 있는 스테레오스코픽 비디오 정보 디스크립터의 다른 예를 보여 주는 도면이다. 도 9를 참조하면, 스테레오스코픽 비디오 정보 디스크립터(stereoscopic_video_info_descriptor)는 서비스 호환성 정보, 영상 종류 지시 정보, 기본 영상 지시 정보, 조합 유형 정보 및 영상 순서 지시 정보를 포함한다. 보다 구체적으로, 서비스 호환성 정보는 "is_service_compatible"이라는 엘리먼트로 표현되어 있으며, 영상 종류 지시 정보와 기본 영상 지시 정보는 각각 "is_left" 및 "is_base"라는 엘리먼트로 표현되어 있는데, 해당 엘리먼트들은 "is_service_compatible"이 2D 비디오 서비스와 호환이 되는 경우를 지시할 경우에 포함된다는 것을 알 수 있다. 반면, "is_service_compatible"이 2D 비디오 서비스와 호환이 되지 않는 경우를 지시할 경우에는, 조합 유형 정보 및 영상 순서 지시 정보가 포함될 수 있는데, 각각 "stereoscopic_composition_type" 및 "is_left_first"라는 엘리먼트로 표현되어 있다.
계속해서 도 3을 참조하면, 전송부(230)는 에셋 파일 생성부(210)가 생성한 에셋 파일 및/또는 시그널링 메시지 생성부(220)가 생성한 시그널링 메시지를 전달 받아서 MMT 수신 엔티티로 전송한다. 여기서, 전송부(230)는 전달받은 에셋 파일 및/또는 시그널링 메시지를 ISO/IEC 23008-1 표준에 따른 MMT 프로토콜(MMT Protocol, MMTP)에 따라서 MMT 패킷으로 변환하여 MMT 수신 장치로 전송할 수 있다. 하지만, 본 실시예가 여기에 한정되는 것은 아니며, 전송부(230)는 전달받은 에셋 파일 및/또는 시그널링 메시지를 다른 인터넷 전송 프로토콜이나 실시간 전송 프로토콜 또는 3D 방송 프로토콜에 따라서 MMT 수신 장치로 전송할 수도 있다.
다음으로 전술한 MMT 장치를 이용하여 3DTV 방송 서비스를 제공하는 방법에 대하여 설명한다. 후술하는 방법은 ATSC 3.0에서 고화질 비디오를 부호화하기 위하여 채택된 HEVC 또는 SHVC 코덱을 기반으로 2DTV 방송 서비스와 호환성을 유지하면서 고화질의 3DTV 방송 서비스를 제공할 수 있도록 멀티 채널로 전송되는 3D 스테레오스코픽 비디오 데이터와 관련된 정보, 즉 스테레오스코픽 비디오 정보의 시그널링 방법과 관련된다.
도 10은 2개의 독립 HEVC 코덱을 이용하여 3DTV 방송 서비스를 제공하기 위한 서비스 시나리오를 도식적으로 나타낸 도면이다. 도 10에서 2D는 두 개의 채널, 즉 제1 채널(Ch1)과 제2 채널(Ch2)에서 각기 독립적으로 제공되는 2DTV 방송 프로그램을 의미하며, 3D는 두 개의 채널을 연동하여 제공되는 3DTV 방송 프로그램을 의미한다. 그리고 3DTV 방송 프로그램의 경우에 독립된 2개의 HEVC 스트림을 동기화하여 제공하는 것으로서, 2개의 기본 계층 스트림을 통하여 서비스가 제공되는 것으로 볼 수 있다.
도 11은 1개의 SHVC 코덱을 이용하여 3DTV 방송 서비스를 제공하기 위한 서비스 시나리오를 도식적으로 나타낸 도면이다. 도 11에서도 2D는 두 개의 채널, 즉 제1 채널(Ch1)과 제2 채널(Ch2)에서 각기 독립적으로 제공되는 2DTV 방송 프로그램을 의미하며, 3D는 두 개의 채널을 연동하여 제공되는 3DTV 방송 프로그램을 의미한다. 그리고 3DTV 방송 프로그램의 경우에 스테레오스코픽 비디오 데이터를 스케일러블 HEVC 코덱, 즉 SHVC 코덱으로 부호화하여 생성된 기본 계층(base layer) 스트림과 향상 계층(enhanced layer) 스트림을 동기화하여 제공되는 것으로 볼 수 있다.
도 10 및 도 11을 참조하면, 3DTV 방송 서비스로서 시간 범위 t1에서는 2DTV 방송 프로그램이 방송되고, 시간 범위 t2에서는 3DTV 방송 프로그램이 방송되고, 시간 범위 t3에서는 다시 2DTV 방송 프로그램이 방송되는 것을 알 수 있다. 이것은 3DTV 방송 서비스가 24시간 동안 계속해서 3D 콘텐츠를 이용하여 방송하기 보다는 2D 콘텐츠와 3D 콘텐츠를 섞어서 방송하는 2DTV/3DTV 혼용 방송 서비스로서 고려되고 있기 때문이다. 하지만 이것이 3DTV 방송 서비스로서 24시간 동안 계속하여 3D 프로그램을 방송하는 것을 배제하는 것은 아니라는 것은 당업자에게 자명하다.
도 10 또는 도 11에 도시되어 있는 서비스 시나리오에 따라서 3DTV 방송 서비스를 제공하기 위해서는, 해당 시간에 방송되는 프로그램이 2DTV 방송 프로그램인지 또는 3DTV 방송 프로그램인지를 명확히 표시하는 것이 필요하다. 예를 들어, 2DTV 방송 프로그램과 3DTV 방송 프로그램 사이의 전환이 있는 경우에, 방송 프로그램의 전환이 있다는 사실을 알려 주는 정보를 전송하는 방법이 있다. 아울러, 3DTV 방송 프로그램과 관련해서는 2D 디스플레이를 구비한 수신 장치에서도 3DTV 방송 프로그램을 재생하는데 필요한 정보도 함께 전송할 수 있다.
다른 예로, 해당 시간에 방송되는 방송 프로그램이 2DTV 방송 프로그램인지인지 또는 3DTV 방송 프로그램인지를 지시하는 프로그램 종류 지시 정보를 전송하는 방법이 있을 수 있다. 여기서, 해당 방송 프로그램이 3DTV 방송 프로그램을 지시하는 경우에는, 2D 디스플레이를 구비한 수신 장치에서도 3DTV 방송 프로그램을 재생하는데 필요한 정보도 프로그램 종류 지시 정보와 함께 전송될 수 있다. 이하에서는 프로그램 종류 지시 정보와 2D 디스플레이를 구비한 수신 장치에서도 3DTV 방송 프로그램을 재생하는데 필요한 정보를 '스테레오스코픽 비디오 정보'라고 한다.
이 경우에, 스테레오스코픽 비디오 정보는 비디오 레벨에서 전송되거나 또는 시스템 레벨에서 전송될 수가 있다. 비디오 레벨에서의 전송은 해당 정보가 비디오 스트림에 포함되어서 전송되는 것을 가리킨다. 예를 들어, 도 4 또는 도 6에 도시된 에셋 파일 헤더에 포함되는 스테레오스코픽 비디오 정보가 비디오 레벨에서 전송되는 스테레오스코픽 비디오 정보가 될 수 있다. 반면, 시스템 레벨에서의 전송은 해당 정보가 비디오 스트림이 아닌 다른 스트림에 포함되어 전송되는 것을 가리킨다. 예를 들어, 도 8 또는 도 9를 참조하여 설명한 시그널링 메시지의 MP 테이블에 포함되는 스테레오스코픽 비디오 정보 디스크립터(stereoscopic_video_info_descriptor)가 시스템 레벨에서 전송되는 스테레오스코픽 비디오 정보가 될 수 있다.
도 12는 시스템 레벨에서 전송되는 스테레오스코픽 비디오 정보의 다른 예로서 HEVC 스테레오스코픽 비디오 정보 디스크립터(HEVC_stereoscopic_video_info_descriptor)를 보여 주는 도면이다. 도 12을 참조하면, HEVC 스테레오스코픽 비디오 정보 디스크립터는 디스크립터 태그(Descriptor_tag) 정보, 디스크립터 길이(Descriptor_length) 정보, 서비스 식별자(Service_id) 정보, 뷰 위치(View_position) 정보 및 2D/3D 지시자(Multi_view_position_SEI_present) 정보를 포함한다.
디스크립터 태그 정보는 디스크립터를 식별하기 위한 것이다. 디스크립터 길이 정보는 해당 디스크립터의 길이를 지시한다. 서비스 식별자 정보는 좌영상 또는 우영상을 전송하는 채널 식별자(ID) 또는 서비스 식별자(ID)를 나타내는 것이다. 예를 들어, 도 10에 도시된 바와 같이, 제1 채널을 통하여 좌영상이 제공되고 또한 제2 채널을 통하여 우영상이 제공되는 경우에 제1 채널을 통하여 전송되는 HEVC 스테레오스코픽 비디오 정보 디스크립터의 서비스 식별자 정보는 제2 채널의 서비스 식별자 또는 채널 식별자를 포함할 수 있다. 뷰 위치 정보는 현재 전송되는 영상이 좌영상인지 또는 우영상인지를 식별하기 위한 것이다.
그리고 2D/3D 지시자 존부 정보는 HEVC 또는 SHVC 부호화 스트림에 2D/3D 지시자(Multi_view_position_SEI) 정보가 포함되어 있는지 여부를 지시한다. 이것은 해당 비디오 스트림이 2DTV 프로그램인지 또는 3DTV 프로그램인지를 보다 명확하게 구분하기 위하여 사용되는 것이다. 왜냐하면, 실제 시스템 레벨의 정보 전송은 각 프레임 또는 AU(Access Unit) 단위로 전송되기 보다는 일정한 주기(예컨대, 500ms)를 가지고 전송되므로, 프레임 단위로 해당 콘텐츠가 2D인지 또는 3D 콘텐츠인지 명확하게 인식하기 힘들기 때문이다. 따라서 2D/3D 지시자 존부(Multi_view_position_SEI_present) 정보가 '1'로 설정될 경우에, 수신기는 본 정보를 토대로 부호화 스트림 레벨에서 보다 명확한 2DTV 프로그램인지 또는 3DTV 프로그램인지를 인식할 수 있다. 또한, 해당 기술자의 존재 유무를 토대로 시스템 레벨에서 2DTV 프로그램인지 3DTV 프로그램인지를 인식할 수가 있다. 즉, 해당 기술자는 3D 프로그램에만 존재하게 된다.
HEVC 부호화 표준(ISO/IEC 23008-2)에서는 2D/3D 지시자(Multi_view_position_SEI) 메시지를 정의하고 있는데, 이것은 여러 개의 뷰를 포함하는 다시점 비디오에 대하여 부호화시에 각 뷰의 위치를 제공하기 위한 것이다. 이러한 2D/3D 지시자(Multi_view_position_SEI) 메시지의 일례는 도 13에 도시되어 있으며, 해당 메시지는 HEVC 부호화 표준(ISO/IEC 23008-2)에 구체적으로 설명되어 있으므로, 여기에서 이에 대한 설명은 생략한다.
도 14는 도 10에 도시된 서비스 시나리오에 따라서 비디오 레벨에서 2DTV 프로그램과 3DTV 프로그램을 구분하는 방법의 일례를 도식적으로 보여 주는 도면이다. 도 14를 참조하면, 도 13에 도시된 2D/3D 지시자(multi_view_position_SEI) 메시지는 3D 프로그램 구간에만 전송된다는 것을 알 수 있다. 따라서 비디오 레벨, 즉 전송되는 프로그램 콘텐츠에 해당 메시지가 포함되어 있는지 여부에 기초하여 2DTV 프로그램인지 또는 3DTV 프로그램인지를 판별할 수 있다.
그리고 각 채널을 통하여 독립된 2개의 HEVC 코덱을 이용하여 부호화된 비디오 스트림이 전송되는 경우에는, 도 14에 도시된 바와 같이 제1 채널(Ch1)과 제2 채널(Ch2) 모두를 통하여 2D/3D 지시자 메시지가 비디오 스트림에 포함된다. 이 때, 제1 채널(Ch1)과 제2 채널(Ch2)의 부호화 스트림 내에 전송되는 정보는 단지 독립된 비디오 스트림이 하나만 전송되므로 num_view_minus1=0 및 view_position[0]==으로 할당된다. 그리고 이 경우에는 비디오 레벨에서 좌우 영상을 구분할 수 없기 때문에, 좌우 영상의 구분은 시스템 레벨에서 전송되는 스테레오스코픽 비디오 정보, 예컨대 도 12에서 제안된 HEVC 스테레오스코픽 비디오 정보 디스크립터를 활용할 수 있다.
또한, 2D/3D 지시자(multi_view_position_SEI) 메시지는 부호화 스트림의 AU에 할당될 수 있다. 이에 의하면, 도 14에 도시된 바와 같이, 2D/3D 지시자(multi_view_position_SEI) 메시지는 3DTV 프로그램 구간 동안 각 AU마다 포함됨으로써, 프레임 레벨에서 3DTV 프로그램인지 또는 2DTV 프로그램인지를 구분하는 것이 가능하다.
도 15는 도 11에 도시된 서비스 시나리오에 따라서 비디오 레벨에서 2DTV 프로그램과 3DTV 프로그램을 구분하는 방법의 일례를 도식적으로 보여 주는 도면이다. 도 15를 참조하면, 도 13에 도시된 2D/3D 지시자(multi_view_position_SEI) 메시지는 기본 계층의 비디오 스트림에만 포함되어 전송된다는 것을 알 수 있다. 따라서 기본 계층의 비디오 스트림에 해당 메시지가 포함되어 있는지 여부에 기초하여 2DTV 프로그램인지 또는 3DTV 프로그램인지를 판별할 수 있다. 이 때, 도 15의 서비스 시나리오에서는 2개의 뷰의 영상이 SHVC로 부호화되므로, 기본 계층의 비디오 스트림에는 num_view_minus1=1, view_position[0]=0 및 view_position[1]=1로 할당된다. 이 때, view_position[0]=0는 좌(우)영상을 의미하며, view_position[1]=1은 우(좌)영상을 의미할 수 있다. 따라서 이 경우에는 비디오 레벨에서 좌우 영상을 구분하는 것이 가능하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상의 설명은 실시예에 불과할 뿐, 이에 의하여 한정되는 것으로 해석되어서는 안된다. 본 발명의 기술 사상은 특허청구범위에 기재된 발명에 의해서만 특정되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다. 따라서 전술한 실시예가 다양한 형태로 변형되어 구현될 수 있다는 것은 통상의 기술자에게 자명하다.
본 발명은 미디어 데이터의 저장이나 전송과 관련된 절차나 장치, 방송 산업 등에 유용하게 활용될 수 있다.

Claims (13)

  1. 스테레오스코픽 비디오 데이터를 처리하기 위한 MMT 장치에 있어서,
    상기 스테레오스코픽 비디오 데이터의 전부 또는 일부를 포함하는 단일의 에셋 파일을 생성하는 에셋 파일 생성부; 및
    상기 스테레오스코픽 비디오 데이터의 전달 또는 소비를 위한 시그널링 메시지를 생성하는 시그널링 메시지 생성부를 포함하고,
    상기 단일의 에셋 파일과 상기 시그널링 메시지 중에서 적어도 하나가 상기 스테레오스코픽 비디오 데이터와 관련된 스테레오스코픽 비디오 정보를 포함하는 것을 특징으로 하는 MMT 장치.
  2. 제1항에 있어서, 상기 스테레오스코픽 비디오 정보는
    스테레오스코픽 비디오를 구성하는 좌영상과 우영상의 조합 방식을 지시하는 조합 유형 정보;
    상기 스테레오스코픽 비디오에서 상기 좌영상과 상기 우영상 사이의 순서를 지시하는 영상 순서 지시 정보; 및
    상기 스테레오스코픽 비디오를 구성하는 특정 뷰의 영상이 좌영상인지 또는 우영상인지를 지시하는 영상 종류 지시 정보를 포함하는 것을 특징으로 하는 MMT 장치.
  3. 제2항에 있어서,
    상기 조합 유형 정보는 좌우 방식, 수직 라인 교차 방식, 프레임 시퀀스 방식, 좌/우 뷰 시퀀스 방식 및 상하 방식 중에서 어느 하나를 지시하는 것을 특징으로 하는 MMT 장치.
  4. 제3항에 있어서,
    상기 영상 종류 지시 정보는 상기 조합 유형 정보가 좌/우 뷰 시퀀스 방식을 지시할 경우에만 상기 스테레오스코픽 비디오 정보에 포함되는 것을 특징으로 하는 MMT 장치.
  5. 제4항에 있어서,
    상기 스테레오스코픽 비디오 정보는 ISO/IEC 23008-11 표준에 규정되어 있는 스테레오스코픽 비디오 미디어 정보(svmi) 박스의 신택스 포맷으로 기술되어서 상기 단일의 에셋 파일에 포함되는 것을 특징으로 하는 MMT 장치.
  6. 제4항에 있어서,
    상기 스테레오스코픽 비디오 정보는 ISO/IEC 23008-1 표준에 규정되어 있는 스테레오스코픽 비디오 정보 디스크립터의 신택스 포맷으로 기술되어서 상기 시그널링 메시지의 엠엠티 패키지(MMT Package, MP) 테이블에 포함되는 것을 특징으로 하는 MMT 장치.
  7. 제1항에 있어서, 상기 스테레오스코픽 비디오 정보는
    스테레오스코픽 비디오가 2D 비디오 서비스에 호환될 수 있는지를 지시하는 서비스 호환성 정보;
    상기 스테레오스코픽 비디오를 구성하는 특정 뷰의 영상이 좌영상인지 또는 우영상인지를 지시하는 영상 종류 지시 정보;
    상기 스테레오스코픽 비디오를 구성하는 특정 뷰의 영상이 2D 비디오 서비스에 이용될 수 있는지를 지시하는 기본 영상 지시 정보;
    상기 스테레오스코픽 비디오를 구성하는 좌영상과 우영상의 조합 방식을 지시하는 조합 유형 정보; 및
    상기 스테레오스코픽 비디오에서 상기 좌영상과 상기 우영상 사이의 순서를 지시하는 영상 순서 지시 정보를 포함하고,
    상기 영상 종류 지시 정보와 상기 기본 영상 지시 정보는 상기 서비스 호환성 정보가 호환 가능하다는 것을 지시할 경우에만 포함되고,
    상기 조합 유형 정보와 상기 기본 영상 지시 정보는 상기 서비스 호환성 정보가 호환 가능하지 않다는 것을 지시할 경우에만 포함되는 것을 특징으로 하는 MMT 장치.
  8. 제7항에 있어서,
    상기 스테레오스코픽 비디오 정보는 ISO/IEC 23008-1 표준에 규정되어 있는 스테레오스코픽 비디오 정보(svin) 박스의 신택스 포맷으로 기술되어서 상기 단일의 에셋 파일에 포함되는 것을 특징으로 하는 MMT 장치.
  9. 제7항에 있어서,
    상기 스테레오스코픽 비디오 정보는 ISO/IEC 23008-1 표준에 규정되어 있는 스테레오스코픽 비디오 정보 디스크립터의 신택스 포맷으로 기술되어서 상기 시그널링 메시지의 엠엠티 패키지(MMT Package, MP) 테이블에 포함되는 것을 특징으로 하는 MMT 장치.
  10. MMT 장치에서 스테레오스코픽 비디오 데이터를 처리하는 방법에 있어서,
    상기 스테레오스코픽 비디오 데이터의 전부 또는 일부를 포함하는 단일의 에셋 파일을 생성하는 단계; 및
    상기 스테레오스코픽 비디오 데이터의 전달 또는 소비를 위한 시그널링 메시지를 생성하는 단계를 포함하고,
    상기 단일의 에셋 파일의 생성 단계와 상기 시그널링 메시지의 생성 단계 중에서 적어도 하나의 단계에서 상기 스테레오스코픽 비디오 데이터와 관련된 스테레오스코픽 비디오 정보를 포함시켜서 상기 단일의 에셋 파일 또는 상기 시그널링 메시지를 생성하는 것을 특징으로 하는 방법.
  11. 제10항에 있어서,
    상기 스테레오스코픽 비디오 정보는 스테레오스코픽 비디오를 구성하는 좌영상과 우영상의 조합 방식을 지시하는 조합 유형 정보, 상기 스테레오스코픽 비디오에서 상기 좌영상과 상기 우영상 사이의 순서를 지시하는 영상 순서 지시 정보 및 상기 스테레오스코픽 비디오를 구성하는 특정 뷰의 영상이 좌영상인지 또는 우영상인지를 지시하는 영상 종류 지시 정보를 포함하고,
    상기 조합 유형 정보는 좌우 방식, 수직 라인 교차 방식, 프레임 시퀀스 방식, 좌/우 뷰 시퀀스 방식 및 상하 방식 중에서 어느 하나를 지시하며,
    상기 영상 종류 지시 정보는 상기 조합 유형 정보가 좌/우 뷰 시퀀스 방식을 지시할 경우에만 상기 스테레오스코픽 비디오 정보에 포함되는 것을 특징으로 하는 방법.
  12. 제11항에 있어서,
    상기 스테레오스코픽 비디오 정보는 ISO/IEC 23008-11 표준에 규정되어 있는 스테레오스코픽 비디오 미디어 정보(svmi) 박스의 신택스 포맷으로 기술되어서 상기 단일의 에셋 파일에 포함되는 것을 특징으로 하는 방법.
  13. 제11항에 있어서,
    상기 스테레오스코픽 비디오 정보는 ISO/IEC 23008-1 표준에 규정되어 있는 스테레오스코픽 비디오 정보 디스크립터의 신택스 포맷으로 기술되어서 상기 시그널링 메시지의 엠엠티 패키지(MMT Package, MP) 테이블에 포함되는 것을 특징으로 하는 방법.
PCT/KR2016/006333 2015-06-17 2016-06-15 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법 WO2016204502A1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US15/574,026 US10412364B2 (en) 2015-06-17 2016-06-15 MMT apparatus and MMT method for processing stereoscopic video data
JP2017557980A JP6730320B2 (ja) 2015-06-17 2016-06-15 ステレオスコピックビデオデータを処理するためのｍｍｔ装置および方法
CN202110879531.2A CN113490016B (zh) 2015-06-17 2016-06-15 Mmt方法
CN201680035274.1A CN107787585B (zh) 2015-06-17 2016-06-15 用于处理立体视频数据的mmt装置和mmt方法
US16/565,148 US10911736B2 (en) 2015-06-17 2019-09-09 MMT apparatus and MMT method for processing stereoscopic video data
US17/164,141 US11405599B2 (en) 2015-06-17 2021-02-01 MMT apparatus and MMT method for processing stereoscopic video data

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR20150086168 2015-06-17
KR10-2015-0086168 2015-06-17
KR20150088689 2015-06-22
KR10-2015-0088689 2015-06-22
KR10-2015-0153397 2015-11-02
KR20150153397 2015-11-02
KR1020160072720A KR102519209B1 (ko) 2015-06-17 2016-06-10 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
KR10-2016-0072720 2016-06-10

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/574,026 A-371-Of-International US10412364B2 (en) 2015-06-17 2016-06-15 MMT apparatus and MMT method for processing stereoscopic video data
US16/565,148 Continuation US10911736B2 (en) 2015-06-17 2019-09-09 MMT apparatus and MMT method for processing stereoscopic video data

Publications (1)

Publication Number Publication Date
WO2016204502A1 true WO2016204502A1 (ko) 2016-12-22

Family

ID=57545847

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/006333 WO2016204502A1 (ko) 2015-06-17 2016-06-15 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2016204502A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989826A (zh) * 2017-06-05 2018-12-11 上海交通大学 视频资源的处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090026012A (ko) * 2007-09-07 2009-03-11 삼성전자주식회사 스테레오스코픽 파일을 생성하기 위한 장치 및 방법
KR20120065943A (ko) * 2010-12-13 2012-06-21 한국전자통신연구원 스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치
KR20130031767A (ko) * 2011-09-21 2013-03-29 서울시립대학교 산학협력단 멀티미디어 방송 서비스의 미디어 데이터 동기화 방법 및 장치
KR20140090202A (ko) * 2011-10-13 2014-07-16 삼성전자주식회사 멀티미디어 서비스 송수신 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090026012A (ko) * 2007-09-07 2009-03-11 삼성전자주식회사 스테레오스코픽 파일을 생성하기 위한 장치 및 방법
KR20120065943A (ko) * 2010-12-13 2012-06-21 한국전자통신연구원 스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치
KR20130031767A (ko) * 2011-09-21 2013-03-29 서울시립대학교 산학협력단 멀티미디어 방송 서비스의 미디어 데이터 동기화 방법 및 장치
KR20140090202A (ko) * 2011-10-13 2014-07-16 삼성전자주식회사 멀티미디어 서비스 송수신 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEE, JANG WON ET AL.: "The File Format Standard Specification for 3D Video Service: Stereoscopic Video Application Format.", THE 6TH JOURNAL OF TELECOMMUNICATIONS TECHNOLOGY ASSOCIATION FOR INFORMATION COMMUNICATION STANDARDIZATION, December 2010 (2010-12-01), pages 46 - 58, Retrieved from the Internet <URL:http:/twww.tta.or.kr/data/reportlist.jsp?kind_num=76> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989826A (zh) * 2017-06-05 2018-12-11 上海交通大学 视频资源的处理方法及装置
CN108989826B (zh) * 2017-06-05 2023-07-14 上海交通大学 视频资源的处理方法及装置

Similar Documents

Publication Publication Date Title
US11445228B2 (en) Apparatus for transmitting broadcast signal, apparatus for receiving broadcast signal, method for transmitting broadcast signal and method for receiving broadcast signal
WO2011108903A2 (ko) 복수 전송 계층 연동형 3ｄｔｖ 방송 서비스 제공을 위한 송신 및 수신 방법, 송신 및 수신 장치
WO2012173389A2 (en) Method and apparatus for transmitting/receiving media contents in multimedia system
US11405599B2 (en) MMT apparatus and MMT method for processing stereoscopic video data
KR20090109284A (ko) 3차원 디지털 컨텐츠의 제공 방법, 수신 방법 및 그 장치
KR20130014428A (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
KR102181994B1 (ko) 송신 장치, 송신 방법, 수신 장치, 수신 방법 및 수신 표시 방법
WO2012070715A1 (ko) 디지털 방송의 전송 모드 제공 및 인지 방법
WO2012121571A2 (ko) 비실시간 스테레오스코픽 방송 서비스 송신 및 수신 장치, 그리고 송신 및 수신 방법
WO2018186646A1 (ko) 고화질 360도 vr 영상 처리 장치 및 방법
JP2013545361A (ja) ステレオスコピックビデオサービスのためのシグナリング方法及びその方法を使用する装置
WO2017171391A1 (ko) 방송 신호 송수신 방법 및 장치
CN106303673B (zh) 码流对齐、同步处理方法及发送、接收终端和通信系统
WO2012124994A2 (en) Method and apparatus for constructing and playing sensory effect media integration data files
WO2016204502A1 (ko) 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
KR101941781B1 (ko) Mmt 기반 8k 방송 수신 방법 및 장치
WO2014014305A1 (ko) 동일 포트에 멀티플렉싱 된 다중 패킷 스트림의 패킷오류 구분을 선택적으로 수행하는 방법 및 그 장치
US10630745B2 (en) MMT apparatus and MMT method for processing media data
US20120269256A1 (en) Apparatus and method for producing/regenerating contents including mpeg-2 transport streams using screen description
KR20180000320A (ko) 하이브리드 방송 서비스를 위한 타임드 메타데이터 송신 방법 및 장치
US20130120526A1 (en) Association of mvc stereoscopic views to left or right eye display for 3dtv
WO2016204442A1 (ko) 미디어 데이터의 처리를 위한 mmt 장치 및 방법
KR20120060771A (ko) 스테레오스코픽 영상 정보의 전송 방법 및 장치
KR20140004045A (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
KR20120058373A (ko) Ｓｖｃ 서버를 이용한 ｈｔｔｐ 스트리밍 수신 비디오 전송 및 단말 재생 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16811915

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017557980

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15574026

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 16811915

Country of ref document: EP

Kind code of ref document: A1