WO2015119477A1 - 3d (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치 - Google Patents

3d (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치 Download PDF

Info

Publication number
WO2015119477A1
WO2015119477A1 PCT/KR2015/001323 KR2015001323W WO2015119477A1 WO 2015119477 A1 WO2015119477 A1 WO 2015119477A1 KR 2015001323 W KR2015001323 W KR 2015001323W WO 2015119477 A1 WO2015119477 A1 WO 2015119477A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
depth
image
packing
information
Prior art date
Application number
PCT/KR2015/001323
Other languages
English (en)
French (fr)
Inventor
서종열
황수진
이교윤
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020167016821A priority Critical patent/KR101844236B1/ko
Priority to US15/111,761 priority patent/US9930382B2/en
Priority to JP2016568775A priority patent/JP6456980B2/ja
Priority to EP15746748.1A priority patent/EP3107288B1/en
Publication of WO2015119477A1 publication Critical patent/WO2015119477A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2356—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages by altering the spatial resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Definitions

  • the present invention relates to the transmission and reception of broadcast signals. More specifically, the present invention relates to a method and / or apparatus for transmitting and receiving broadcast signals for 3D broadcasting services.
  • a 3D image provides a stereoscopic effect using the stereo vision principle of two eyes. Humans feel perspective through the parallax of two eyes, that is, binocular parallax by the distance between two eyes about 65mm apart, so the 3D image provides an image so that each of the left and right eyes can see the associated plane image. It can provide three-dimensional and perspective.
  • Such 3D image display methods include a stereoscopic method, a volumetric method, a holographic method, and the like.
  • a left view (left view) image for viewing in the left eye and a right view (light view) image for viewing in the right eye are provided, and the left eye through polarizing glasses or the display device itself is provided.
  • the right eye and the right eye respectively recognize the 3D image effect by viewing the left view image and the right image.
  • the stereoscopic effect intended by the 3D content producer can be reproduced as it is in the broadcast receiver, it may be an optimal image, but the 3D content composed of the stereoscopic image actually shows a different stereoscopic effect in the broadcast receiver according to the viewing conditions.
  • 3DTV receivers provide only limited stereoscopic stereo, which is fixed for specific viewing conditions. Therefore, the current viewer does not properly enjoy the stereoscopic effect intended by the 3D content producer, the reality is that the viewer's satisfaction with the 3D content is significantly off.
  • the technical problem to be solved by the present invention is to solve the above-mentioned problems, and to provide a stereoscopic effect intended by a 3D content producer in producing a corresponding content in a broadcast receiver regardless of changes in viewing conditions of each viewer. .
  • the present invention has been made in an effort to provide a method for efficiently transmitting and receiving 3D content in a UHD broadcast transmission / reception system.
  • the broadcast signal transmission method downsamples a left image frame, a right image frame, a depth image frame for a left image, and a depth image frame for a right image, respectively, and includes at least one of the downsampled frames.
  • the packing frame maps depth information included in the depth image frame for the left image and depth information included in the depth image frame for the right image to components of a color space representing the packing frame, in units of bits. Can be generated.
  • the signaling information may include frame packing arrangement information indicating that a frame included in the broadcast signal is a packing frame.
  • the signaling information includes depth bit depth information indicating a bit depth of depth information included in a depth image frame for the left image and depth information included in a depth image frame for the right image. can do.
  • the signaling information may include frame flipping flag information indicating whether the left image frame and the right image frame are flipped horizontally.
  • the signaling information includes a Supplemental Enhancement Information (SEI) message, and at least one of the frame packing arrangement information, the depth bit depth information, and the frame flipping flag information includes the packing frame. It may be included in the SEI message.
  • SEI Supplemental Enhancement Information
  • the signaling information includes a program map table (PMT), and the PMT may include frame packing flag information indicating whether the frame packing arrangement information is included in the SEI message.
  • PMT program map table
  • At least one of the frame packing arrangement information, the depth bit depth information, and the frame flipping flag information may be signaled at a system level.
  • a packing in which at least one frame among a left image frame, a right image frame, a depth image frame for a left image, and a depth image frame for a right image is packed into one frame
  • Receiving a broadcast signal including a frame and signaling information for the image related to the packing frame, Depth of the left image frame, right image frame, left image frame and depth of the right image in the received packing frame And extracting at least one frame of the image frame and rendering a 3D image using the extracted at least one frame.
  • the packing frame maps depth information included in the depth image frame for the left image and depth information included in the depth image frame for the right image to components of a color space representing the packing frame, in units of bits. Can be generated.
  • the signaling information may include frame packing arrangement information indicating that a frame included in the broadcast signal is the packing frame.
  • the signaling information includes depth bit depth information indicating a bit depth of depth information included in a depth image frame for the left image and depth information included in a depth image frame for the right image. can do.
  • the signaling information may include frame flipping flag information indicating whether the left image frame and the right image frame are flipped horizontally.
  • the signaling information includes a Supplemental Enhancement Information (SEI) message, and at least one of the frame packing arrangement information, the depth bit depth information, and the frame flipping flag information includes the packing frame. It may be included in the SEI message.
  • SEI Supplemental Enhancement Information
  • the signaling information includes a program map table (PMT), and the PMT may include frame packing flag information indicating whether the frame packing arrangement information is included in the SEI message.
  • PMT program map table
  • At least one of the frame packing arrangement information, the depth bit depth information, and the frame flipping flag information may be signaled at a system level.
  • the broadcast signal transmission apparatus downsamples the left image frame, the right image frame, the depth image frame for the left image, and the depth image frame for the right image, respectively, and the downsampled frames
  • An encoder for encoding a packing frame in which at least one frame is packed into one frame, a broadcast signal generator for generating a broadcast signal including signaling information about the encoded packing frame and the image related to the packing frame, and the generation It may include a transmission unit for transmitting the broadcast signal.
  • a receiver for receiving a broadcast signal including a packing frame and signaling information about an image related to the packing frame, a depth image frame for the left image frame, a right image frame, a left image, and a right image for the received packing frame It may include an extraction unit for extracting at least one frame of the depth image frame and a rendering unit for rendering a 3D image by using the extracted at least one frame.
  • the 3D content producer can provide the viewer with the intended stereoscopic effect when producing the content.
  • the 3D content producer can provide the viewer with the intended stereoscopic effect when producing the content.
  • the receiver can provide the viewer with a stereoscopic effect intended when the 3D content producer produces the content through minimal data processing.
  • FIG. 1 is a view showing a broadcast signal transmission method according to an embodiment of the present invention.
  • FIG. 2 is a view showing the configuration of a view synthesis module according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a process of generating a stereo view adaptive to a viewing condition according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an operation of a receiver for providing viewing condition adaptive stereo view according to an embodiment of the present invention.
  • FIG. 5 is a view showing a difference in stereoscopic perceived according to the screen size according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating the number of pixels corresponding to an IOD for each screen size according to an embodiment of the present invention.
  • FIG. 7 is a view showing a difference in stereoscopic perceived according to the length of the IOD according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a compensation method of maintaining a stereoscopic sense of a stereo image while maintaining the same vergence angle in a situation in which a viewing distance is changed according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a parallax angle used in a compensation method for maintaining a stereoscopic sense of a stereo image while maintaining the same parallax angle according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a distance range used in a compensation method for maintaining a stereoscopic sense of a stereo image while maintaining the same distance range according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a relationship between a viewing environment of a stereo image and a parallax range according to an embodiment of the present invention.
  • FIG. 12 illustrates a method of performing depth adjustment when a received reference viewing condition and / or a target viewing condition are inconsistent with viewing condtion at a receiver according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a configuration of stereo_3D_rendering_info_descriptor () including stereo 3D rendering info () according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a configuration of compensation_type according to an embodiment of the present invention.
  • FIG. 15 is a diagram illustrating the configuration of view_pair_descriptor () according to an embodiment of the present invention.
  • FIG. 16 is a diagram illustrating a configuration of a program map table (PMT) according to an embodiment of the present invention.
  • TVCT terrestrial virtual channel table
  • SDT service description table
  • 19 is a diagram showing the configuration of user_data_registered_itu_t_t35 () according to an embodiment of the present invention.
  • FIG. 20 is a diagram illustrating a user_identifier value used in DVB and a corresponding user_structure () according to an embodiment of the present invention.
  • 21 is a diagram showing the configuration of DVB1_data () according to an embodiment of the present invention.
  • FIG. 22 is a diagram illustrating a configuration of an SEI message including stereo 3D rendering info according to an embodiment of the present invention.
  • FIG. 23 is a diagram illustrating a configuration of stereo_3D_rendering_info_SEI_descriptor () according to an embodiment of the present invention.
  • FIG. 23 is a diagram illustrating a configuration of stereo_3D_rendering_info_SEI_descriptor () according to an embodiment of the present invention.
  • 24 is a diagram illustrating a broadcast service structure for providing a stereo view adaptive to a screen size according to an embodiment of the present invention.
  • 25 is a diagram illustrating a signaling method and signaling content of a broadcast service according to an embodiment of the present invention according to the type of a transport channel.
  • FIG. 26 is a diagram illustrating a configuration of stereo_3D_viewing_condition_info_descriptor () according to an embodiment of the present invention.
  • FIG. 26 is a diagram illustrating a configuration of stereo_3D_viewing_condition_info_descriptor () according to an embodiment of the present invention.
  • FIG. 27 is a diagram showing the configuration of a receiver according to an embodiment of the present invention.
  • FIG. 29 is a diagram illustrating a method of mapping a depth map to an 8-bit 4K frame according to an embodiment of the present invention.
  • FIG. 30 is a view showing a broadcast signal receiving method according to an embodiment of the present invention.
  • 31 is a diagram showing the configuration of a broadcast signal transmission apparatus according to an embodiment of the present invention.
  • 32 is a diagram illustrating a configuration of a broadcast signal receiving apparatus according to an embodiment of the present invention.
  • FIG. 1 is a view showing a broadcast signal transmission method according to an embodiment of the present invention.
  • the broadcast signal transmission method downsamples a left image frame, a right image frame, a depth image frame for a left image, and a depth image frame for a right image, respectively, and includes at least one of the downsampled frames.
  • the method may include transmitting the generated broadcast signal (S1030).
  • An encoder downsamples a left image frame, a right image frame, a depth image frame for a left image, and a depth image frame for a right image, respectively, and at least one frame among the downsampled frames.
  • the packing frame can be encoded by packing them into one frame.
  • the encoder may generate a left image, a right image, a depth image of the left image, and / or a depth image of the right image, and perform frame packing for inserting the images into one frame.
  • the left image frame, the right image frame, the depth image frame for the left image, and / or the depth image frame for the right image may be packed into one frame without downsampling. have. Detailed description thereof will be described later in the description of FIG. 28.
  • the broadcast signal generator may generate a broadcast signal including an encoded packing frame and signaling information about an image related to the packing frame.
  • the broadcast signal generator may correspond to hardware and may include a modulator. Detailed description thereof will be described later in the description of FIG. 28.
  • the transmitter may transmit the generated broadcast signal.
  • the transmitter may transmit a broadcast signal through a terrestrial broadcast network, a cable network, and / or broadband. Details thereof will be described later in the description of FIGS. 25 and 28.
  • the packing frame includes depth information included in the depth image frame for the left image and depth information included in the depth image frame for the right image of the color space representing the packing frame. It can be generated by mapping the components bitwise. Details thereof will be described later in the description of FIG. 29.
  • the signaling information may include frame packing arrangement information indicating that a frame included in the broadcast signal is a packing frame. Detailed description thereof will be described later in the description of FIG. 28.
  • the signaling information may include frame flipping flag information indicating whether the left image frame and the right image frame are flipped horizontally. Detailed description thereof will be described later in the description of FIG. 28.
  • the signaling information includes a Supplemental Enhancement Information (SEI) message, wherein at least one of the frame packing arrangement information, the depth bit depth information, and the frame flipping flag information is the packing. It may be included in an SEI message in a video stream including a frame. Details thereof will be described later in the description of FIGS. 19, 20, 21, and 28.
  • SEI Supplemental Enhancement Information
  • the signaling information includes a Program Map Table (PMT), and the PMT includes frame packing flag information indicating whether the frame packing arrangement information is included in the SEI message. Can be. Detailed description thereof will be described later in the description of FIGS. 16, 19, 20, 21 and 28.
  • PMT Program Map Table
  • At least one of the frame packing arrangement information, the depth bit depth information, and the frame flipping flag information may be signaled at a system level. Details thereof will be described later in the description of FIGS. 25 and 28.
  • FIG. 2 is a view showing the configuration of a view synthesis module according to an embodiment of the present invention.
  • each view and depth map may be processed in four steps to be described later. Can be rough.
  • related information such as camera parameters, depth type, depth near, and depth far may be provided for processing each of the above-described views and / or depth maps.
  • the view synthesis module 2010 includes a first warping unit 2020, a first merging unit 2030, a first hole filling unit 2040, and a first hole unit 2040.
  • the warping unit may warp the left view L_view, the left depth L_depth, the light view R_view, and the light depth R_depth input to the view synthesis module.
  • the warping unit may warp the left view and the left depth to generate warped data from the left data and warp the light view and the light depth to generate warped data from the light data.
  • the left data may include a left view and a left depth
  • the light data may include a light view and a light depth.
  • the warping unit may warp the left view (L_view), the left depth (L_depth), the light view (R_view), and the light depth (R_depth) based on the camera parameter, depth type, depth_near, and / or depth_far.
  • the camera parameter may include information about a camera at a place where 3D content is produced.
  • the depth type may provide depth information as a disparity value for objects included in the left view and / or the light view.
  • the disparity refers to a horizontal difference between each point of the left view and the right view for indicating the same point of the 3D image, and this difference may be expressed in units of pixels.
  • the left view may be called a left image and the light view may be called a right image.
  • the warping portion may provide depth info and / or hole info to the merging portion, the hole filling portion and / or the boundary noise canceling portion.
  • the warping part may include a first warping part and / or a second warping part.
  • the merging unit may merge the warped data from the left data and the warped data from the write data by the warping unit.
  • the merging part may use the depth info and / or hole info provided by the warping part.
  • the merging part may include a first merging part and / or a second merging part.
  • the hole filling unit may fill a hole of data merged by the merging unit.
  • the hole filling unit may use the depth info and / or hole info provided by the warping unit.
  • the hole filling part may include a first hole filling part and / or a second hole filling part.
  • the boundary noise remover may remove the noise present in the boundary of the data from which the hole is removed by the hole filling unit to generate a synthesized left view and / or a synthesized right view.
  • the boundary noise canceller may use depth info and / or hole info provided by the warping section.
  • the boundary noise remover may include a first boundary noise remover and / or a second boundary noise remover.
  • the 3D formatter generates a synthesized 3D view at any point in time using the synthesized left view and / or synthesized right view generated by the boundary noise canceller. can do.
  • FIG. 3 is a diagram illustrating a process of generating a stereo view adaptive to a viewing condition according to an embodiment of the present invention.
  • an embodiment of the present invention when the receiver selects a view at any point in time and applies view synthesis, an embodiment of the present invention provides basic information required for view synthesis (camera parameter, depth type, depth near and //). Alternatively, rendering can be done only with depth far. However, an embodiment of the present invention cannot provide a 3D view that meets a viewing condition based only on the basic information necessary for the above-described view synthesis.
  • Another embodiment of the present invention supports not only the basic information necessary for the above-described view synthesis, but also information on which viewing conditions the stereo view currently received is targeted for, and other reference viewing conditions.
  • the 3D view that matches the viewing conditions may be provided using information on the guideline (reference viewing conditions and related parameters) and / or the viewing conditions.
  • the viewing condition adaptive view synthesis module 3070 includes a video element for view 1 (video element for view 1, 3030) and a depth element for view 1 (depth). element for view 1, 3040), video element for view 2 (3050), depth element for view 2 (depth element for view 2, 3060), basic information required for view synthesis (view 1 and And / or camera parameters for view 2 (camera param (view 1, 2)), depth type, depth_near, depth_far, 3020), information on target viewing condition (3010), information on reference viewing conditions (3010), reference left-view adaptive to a corresponding viewing condition 3090 and / or right-view using the viewing condition related parameters 3010 and / or information about the viewing condition 3080.
  • the information 3010 on the target viewing condition, the information 3010 on the reference viewing conditions, and / or the reference viewing condition related parameters 3010 may be provided from the transmitter.
  • Information about the viewing condition (3080) may be obtained at the receiving end.
  • the viewing condition may include information about a screen size, an inter ocular distance (IOD), and a viewing distance.
  • FIG. 4 is a diagram illustrating an operation of a receiver for providing viewing condition adaptive stereo view according to an embodiment of the present invention.
  • a view synthesis module receives stereo pair 1 (L_view1, R_view1), stereo depth pair 1 (L_depth1, R_depth1), a target viewing condition and / or a viewing condition. 2 (L_view2, R_view2) can be created.
  • stereo pair 1 may include L_view1 and / or R_view1.
  • Stereo depth pair 1 may include L_depth1 and / or R_depth1.
  • Stereo pair 2 may include L_view2 and / or R_view2.
  • the target viewing condition is reference viewing condition 1 (Ref. viewing condition 1), parameter 1, reference viewing condition 2 (Ref. viewing condition 2), parameter 2, reference viewing condition 3 (Ref. viewing condition 3), parameter 3, reference viewing condition 4 (Ref.
  • the target viewing condition may include more reference viewing conditions and corresponding parameters.
  • parameters 1 to 4 may indicate parameters corresponding to respective reference viewing conditions.
  • parameter 1 may correspond to a parameter corresponding to reference viewing condition 1.
  • the view synthesis module may be included in the receiver according to the embodiment of the present invention.
  • the receiver may output the input stereo pair 1 without additional depth adjustment. Can be.
  • stereo pair 2 may be the same as stereo pair 1.
  • the target viewing condition may indicate the viewing condition of stereo pair 1.
  • the receiver may search whether there is a matching viewing condition among the received reference viewing conditions. Can be. If there is a matching reference viewing condition, the receiver may perform depth adjustment with reference to the parameter value corresponding to the matching reference viewing condition and acquire and output a new stereo pair. If a matching reference viewing condition does not exist, stereo pair 2 may be generated by referring to the most similar condition among the received reference viewing conditions or by calculating an appropriate parameter value with reference to the received reference viewing condition. Detailed description thereof will be described later.
  • FIG. 5 is a view showing a difference in stereoscopic perceived according to the screen size according to an embodiment of the present invention.
  • the viewing condition may include a screen size, an inter ocular distance, and / or a viewing distance as main components. According to the above-described components, the stereoscopic sense of the same content may be perceived differently.
  • the smaller the screen size the greater the depth budget for displaying the same stereoscopic effect, and conversely, the larger the screen size, the smaller the depth budget for displaying the same stereoscopic effect.
  • the perceived depth may vary according to the corresponding parallax and / or viewing distance.
  • a method of comparing the number of pixels corresponding to the IOD may be used to identify a phenomenon in which a stereoscopic effect is changed for each screen size.
  • the depth (stereoscopic effect) corresponding to parallax with 65mm IOD on the display screen can represent infinite depth behind the screen, and the depth corresponding to parallax with 0mm IOD can represent depth just above the screen regardless of viewing conditions. have.
  • the depth corresponding to the parallax of other IODs may represent a three-dimensional effect depending on the screen size.
  • depth, stereoscopic effect and stereoscopic effect may be used in the same sense.
  • FIG. 6 is a diagram illustrating the number of pixels corresponding to an IOD for each screen size according to an embodiment of the present invention.
  • this figure shows the number of pixels corresponding to a 65mm IOD in a stereo image composed of a left view and a right view of 1920 * 1080 (full HD) resolution.
  • this figure when comparing the number of pixels corresponding to IOD for various screen sizes, it can be seen that the number of pixels of disparity for displaying the same stereoscopic effect varies for each screen size.
  • FIG. 7 is a view showing a difference in stereoscopic perceived according to the length of the IOD according to an embodiment of the present invention.
  • the stereoscopic effect of the stereo may vary depending on the length of the IOD. For example, if the IOD is small, such as a child, the depth budget required to recognize the same stereoscopic effect is small and conversely, for adults with larger IOD than the child, the depth budget required to recognize the same stereoscopic effect may be larger than that of the child. .
  • the perceived depths (D1, D1 ') for the same parallax (p1) may vary according to various IOD values.
  • D1 may indicate a perceived depth for the parallax (p1) when the IOD is 80 mm
  • D1 ' may indicate a perceived depth for the parallax (p1) when the IOD is 40mm.
  • the transmitting end and the receiving end may use this as a reference.
  • the transmitting end and the receiving end may use this as a reference.
  • the transmitting end and the receiving end may use this as a reference.
  • the stereoscopic effect of the stereo content may vary according to viewing conditions such as screen size, IOD, viewing distance, and the like.
  • One embodiment of the present invention can provide content that is adaptive to the above-described viewing conditions in order to properly deliver the three-dimensional effect intended by the content creator. Detailed description thereof will be described later.
  • FIG. 8 is a diagram illustrating a compensation method of maintaining a stereoscopic sense of a stereo image while maintaining the same vergence angle in a situation in which a viewing distance is changed according to an embodiment of the present invention.
  • various compensation methods may exist according to an element to maintain the same value among elements constituting the viewing condition when a stereoscopic feeling of a stereo image is to be maintained.
  • the receiver may compensate using information on the compensation type.
  • the information on the compensation type may include information on which element the reference compensation parameter corresponding to the provided reference viewing condition and / or reference viewing condition is calculated.
  • the compensation method is a method for maintaining a vargence angle, a method for maintaining a parallax angle, a method for maintaining a distance range based on a view, a method for maintaining a distance range on a screen basis, and / or a relative distance rage It may include a method of maintaining.
  • the parallax angle may represent a difference value between the accommodation angle and the vergence angle. Detailed description thereof will be described later.
  • an embodiment of the present invention provides an absolute value of disparity (parallax) to maintain the stereoscopic sense of a stereo image. Can be increased.
  • the absolute value of the disparity (from Vd1 to Vd2) is maintained as the vergence angle (alpha) remains as it is before compensation (8010) and after compensation (8020) according to an embodiment of the present invention. Can also be increased.
  • other viewing conditions such as display width (w1), IOD (65mm), and the like may be the same.
  • an embodiment of the present invention when maintaining the vergence angle in the condition that the other viewing conditions are the same and only the screen size increases, an embodiment of the present invention can reduce the absolute value of the disparity in order to maintain the stereoscopic sense of the stereo image have. At this time, parallax may be maintained as it is. Although not shown in this figure, when the viewing angle is maintained at the same viewing conditions and the IOD is increased only, an embodiment of the present invention reduces the absolute value of disparity (parallax) in order to maintain the stereoscopic effect of the stereo image. You can.
  • FIG. 9 is a diagram illustrating a parallax angle used in a compensation method for maintaining a stereoscopic sense of a stereo image while maintaining the same parallax angle according to an embodiment of the present invention.
  • a parallax angle (theta-beta) may indicate a difference between accommodation angle (theta) and vergence angle (alpha, beta).
  • the accommodation angle may represent the disparity angle of both eyes with respect to the screen.
  • the vergence angle may represent the disparity angle of both eyes on the object.
  • an embodiment of the present invention when the parallax angle is maintained under the condition that other viewing conditions are the same and only the viewing distance is large, an embodiment of the present invention provides an absolute value of disparity (parallax) in order to maintain the stereoscopic sense of a stereo image. You can increase the value. At this time, the maximum disparity value may not change for a viewing distance of 4 m or more.
  • an embodiment of the present invention when maintaining the parallax angle in the condition that the other viewing conditions are the same and only the screen size is larger, an embodiment of the present invention can reduce the absolute value of the disparity in order to maintain the stereoscopic sense of the stereo image. At this time, parallax may be maintained as it is.
  • disparity (parallax) may be maintained regardless of the size change of the IOD.
  • FIG. 10 is a diagram illustrating a distance range used in a compensation method for maintaining a stereoscopic sense of a stereo image while maintaining the same distance range according to an embodiment of the present invention.
  • the method 10010 of maintaining a distance range based on a viewer is a method of maintaining a target minimum distance (minimum distance, Dmin) and a target maximum distance (maximum distance, Dmax) even when viewing conditions change. It may mean.
  • the target minimum distance may indicate the maximum distance between the viewer and the object
  • the target maximum distance may indicate the minimum distance between the viewer and the object.
  • an embodiment of the present invention provides a stereoscopic effect of a stereo image. To keep it the same, you can increase the absolute value of disparity (parallax).
  • an embodiment of the present invention can reduce the absolute value of the disparity in order to maintain the stereoscopic sense of the stereo image have. At this time, parallax may be maintained as it is.
  • an embodiment of the present invention increases the absolute value of disparity (parallax) in order to maintain the stereoscopic sense of the stereoscopic image. You can.
  • the method 10020 of maintaining a distance range on a screen basis may refer to a method in which an absolute value of a difference between a distance range, that is, a maximum distance and a minimum distance is maintained even when a viewing condition changes.
  • the minimum distance may indicate the minimum distance between the viewer and the object
  • the maximum distance may indicate the maximum distance between the viewer and the object.
  • an embodiment of the present invention provides a stereo image. You can increase the absolute value of disparity (parallax) to maintain the stereoscopic effect of.
  • an embodiment of the present invention is to maintain the absolute value of the disparity in order to maintain the stereoscopic sense of the stereo image Can be reduced. At this time, parallax may be maintained as it is.
  • an embodiment of the present invention may maintain the absolute value of disparity (parallax) in order to maintain the stereoscopic sense of a stereo image. You can increase the value.
  • a value applied to a compensation parameter for rendering may vary according to the above-described compensation type.
  • the receiver may select and apply information related to a compensation type suitable for a viewing environment by using a value applied to the above-described compensation parameter.
  • a method of adjusting disparity according to the above-described change of viewing condition may be applied to derive an appropriate baseline value at a receiving end when a parameter for depth adjustment is not signaled.
  • FIG. 11 is a diagram illustrating a relationship between a viewing environment of a stereo image and a parallax range according to an embodiment of the present invention.
  • the method for adjusting the disparity to maintain the viewer reference or screen reference distance range may use a triangular proportional expression shown in this figure.
  • alpha and beta may represent vergence anlgle.
  • Dmax and Dmin may represent the maximum and minimum distances from the viewer to the image of the object.
  • Vd can represent the viewing distance from the viewer to the screen.
  • pmax may represent parallax when the distance from the viewew to the object image is maximum, and pmin may represent parallax when the distance from the viewew to the object image is minimum.
  • proportional expressions (11010, 11020) can be generated using the triangles shown in the figure (11030) showing the relationship between the viewing conditions.
  • the values that elements of the remaining viewing conditions may have may be derived using the above-described proportional expression.
  • FIG. 12 illustrates a method of performing depth adjustment when a received reference viewing condition and / or a target viewing condition are inconsistent with viewing condtion at a receiver according to an embodiment of the present invention.
  • the method of adjusting the disparity as the viewing condition changes may also be applied to deriving an appropriate baseline value at the receiving end when there is no parameter for the depth adjustment being signaled.
  • the baseline value may mean a distance between cameras photographing the left image and the right image included in the 3D content when the 3D content is generated.
  • the receiver when there is no information about a parameter to be adjusted (that is, baseline), the receiver refers to the signaled target viewing condition (or reference viewing condition) and the rendering parameter value corresponding thereto, You can derive new parameters for your viewing condition. That is, when the viewing distance, screen size and / or IOD values are different from the existing values, the new disparity is determined by identifying the relationship between how the disparity should be applied. Derived baseline values can be derived based on the new disparity values.
  • a baseline value can be derived using a triangular proportional expression based on the relationship between the old disparity and the new disparity.
  • the derived baseline value may be used as a value for adjusting the position of the pixel or the number of pixels to represent a specific image in each of the left image and the right image.
  • FIG. 13 is a diagram illustrating a configuration of stereo_3D_rendering_info_descriptor () including stereo 3D rendering info () according to an embodiment of the present invention.
  • a compensation parameter which is the most basic parameter for adjusting stereoscopic depth, ie, depth range, of stereo content may be a baseline value representing a distance between cameras photographing two views. Accordingly, an embodiment of the present invention may signal a target / reference viewing condition and a baseline distance corresponding thereto, and the receiver may refer to the target / reference viewing condition and the baseline distance corresponding thereto, and the stereo image may be optimized for the viewing condition of the receiver. Can be rendered.
  • the baseline may have the same meaning as the baseline distance.
  • the stereo_3D_rendering_info_descriptor () may include a descriptor_tag field, a descriptor_length field, and / or a stereo 3D rendering info ().
  • the stereo_3D_rendering_info_descriptor () may include a target / reference viewing condition and a compensation parameter corresponding thereto.
  • the descriptor_tag field may represent that this descriptor is a descriptor including stereo 3D rendering info ().
  • the descriptor_length field may indicate the length of this descriptor.
  • the stereo 3D rendering info () may include view_pair_ID, target_parameter_valid_flag, target_dispaly_size, target_IOD, target_viewing_distance, rendered_param (), num_of_references, ref_parameter_valid_flag, compensation_type, ref_display_size, ref_IOD, ref_viewing_distcompation) and / or ref_paramation (distance).
  • the view_pair_ID may indicate an identifier for identifying the currently received stereo view.
  • An embodiment of the present invention may identify which ES streams the left view and / or the right view are configured using view_pair_ID.
  • the view_pair_ID may be used in conjunction with the view_pair_descriptor to be described later.
  • the target_parameter_valid_flag may indicate the validity of fields regarding viewing conditions related to base and / or additional view video stream.
  • the target_dispaly_size may indicate a recommended display size optimized for stereo content to be transmitted.
  • the target_display_size may represent a value such as 47 inches or 55 inches representing a diagonal length and may indicate a distance of the display width.
  • the target_display_size may be valid only when the first bit of the aforementioned target_parameter_valid_flag is 1.
  • the target_IOD may represent an IOD optimized for stereo content to be transmitted.
  • the target_IOD may be distributed in the range of 40 mm to 80 mm.
  • the target_IOD may be valid only when the second bit of the aforementioned target_parameter_valid_flag is 1.
  • the target_viewing_distance may indicate a recommended viewing distance optimized for viewing stereo content to be transmitted.
  • the target_viewing_distance may be valid only when the third bit of the aforementioned target_parameter_valid_flag is 1.
  • the rendered_param () may indicate a value that can be referred to when the stereo content is newly rendered by the receiver.
  • rendered_param () may include a baseline distance indicating a distance between two cameras left and right when capturing stereo content to be transmitted.
  • rendered_param () may include other parameters necessary to compensate for the stereo image.
  • rendered_param () may be valid only when the fourth bit of the aforementioned target_parameter_valid_flag is one.
  • num_of_references may indicate the number of guide information required to generate the virtual view.
  • the guide information may mean a viewing condition and a parameter set corresponding thereto.
  • ref_parameter_valid_flag may signal the validity of the fields regarding the viewing condition associated with the creation of the virtual view.
  • the compensation_type may indicate which factor the calculated reference viewing condition and compensation parameter are calculated based on. Detailed description thereof will be described later.
  • ref_display_size is not a value optimized for stereo content to be transmitted but may represent a display size that can be referred to according to a viewing condition of a receiver.
  • ref_display_size may be valid only when the first bit of the aforementioned ref_parameter_valid_flag is 1.
  • ref_IOD is not optimized for stereo content to be transmitted but may represent an IOD that can be referred to according to a viewing condition of a receiver.
  • ref_IOD may be valid only when the second bit of the aforementioned ref_parameter_valid_flag is 1.
  • ref_viewing_distance is not optimized for stereo content to be transmitted but may represent a viewing distance that can be referred to according to a viewing condition of the receiver.
  • ref_viewin_distances may be valid only when the third bit of the aforementioned ref_parameter_valid_flag is 1.
  • ref_compensation_param () may indicate a value that can be referred to when the receiver newly renders the stereo content.
  • ref_compensation_param () may mean a compensation parameter corresponding to a reference viewing condition.
  • ref_compensation_param () may include a baseline distance indicating a distance between two cameras when the stereo content to be transmitted is photographed. The above-described baseline distance may be included in the ref_baseline_distance field. The ref_baseline_distance field may be included in ref_compensation_param ().
  • ref_compensation_param () may include other parameters necessary for compensating a stereo image.
  • ref_compensation_param () may be valid only when the fourth bit of the aforementioned ref_parameter_valid_flag is 1.
  • the above-described view_pair_ID, target_parameter_valid_flag, target_dispaly_size, target_IOD, target_viewing_distance and / or rendered_param () may indicate information on the stream included in the actual service, and the above-described num_of_references, ref_parameter_valid_flag, display_type, ref_type , ref_IOD, ref_viewing_distance and / or ref_compensation_param () may be required to generate a virtual view according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a configuration of compensation_type according to an embodiment of the present invention.
  • compensation_type when compensation_type according to an embodiment of the present invention is 0x00, this may represent a method of compensating a stereo image under a condition of maintaining a value of a vergence angle among elements constituting a viewing condition.
  • this may represent a method of compensating the stereoscopic image under the condition of maintaining the parallax angle value among the elements constituting the viewing condition.
  • this may represent a method of compensating the stereo image under the condition of maintaining the distance range of the viewer standard among the elements constituting the viewing condition.
  • this may represent a method of compensating the stereoscopic image under the condition that the distance range of the screen reference is maintained among the elements configuring the viewing condition.
  • a reference viewing condition and / or a compensation parameter according thereto may be determined based on a factor indicated by compensation_type.
  • FIG. 15 is a diagram illustrating the configuration of view_pair_descriptor () according to an embodiment of the present invention.
  • the view_pair_descriptor () may include configuration information of the 3D view pair.
  • the view_pair_descriptor () may include descriptor_tag, descriptor_length, num_of_view_pairs, view_pair_ID, left_PID, and / or right_PID.
  • the descriptor_tag may represent that this descriptor is a descriptor including information on a 3D view pair.
  • descriptor_length may indicate the length of this descriptor.
  • num_of_view_pairs may indicate the number of stereo pairs included in the program.
  • the view_pair_ID may indicate an identifier for identifying each stereo view pair.
  • An embodiment of the present invention may identify which ES streams the left view and / or the right view are configured using view_pair_ID.
  • the left_PID may represent the PID of the image corresponding to the left view.
  • the right_PID may represent the PID of the image corresponding to the right view.
  • view_pair_descriptor () may include a field indicating PID information for identifying a stream including information about left depth and / or right depth.
  • FIG. 16 is a diagram illustrating a configuration of a program map table (PMT) according to an embodiment of the present invention.
  • the above-described stereo_3D_rendering_info_descriptor may be included in the program level of the PMT and signaled. (Option 1)
  • the above-described stereo_3D_rendering_info_descriptor () may be signaled by being included in the elementary stream level corresponding to the depth stream in the PMT. (Option 2)
  • the aforementioned stereo_3D_rendering_info_descriptor () may be signaled by being included in the video elementary stream level corresponding to the depth in the PMT. (Option 3)
  • the configuration of the stereo image included in the program may be signaled through the view_pair_descriptor included in the program level of the PMT.
  • TVCT terrestrial virtual channel table
  • the above-described stereo_3D_rendering_info_descriptor may be included in the channel level descriptor of TVCT and signaled. (Option 1)
  • the above-described fields of stereo_3D_rendering_info_descriptor may be included in the component list descriptor of the TVCT and signaled.
  • stereo_3D_rendering_info_descriptor may be signaled by being included in the service location descriptor in the TVCT.
  • the configuration of the stereo image included in the program may be signaled through the view_pair_descriptor included in the channel level of the TVCT.
  • SDT service description table
  • stereo_3D_rendering_info_descriptor () may be included in the service level descriptor of the SDT and signaled. At this time, stereo_3D_rendering_info_descriptor () may include information about all views.
  • the configuration of the stereo image included in the program may be signaled through the view_pair_descriptor included in the service level descriptor of the SDT.
  • SDT is a table_id field, section_syntax_indicator field, section_length field, transport_stream_id field, version_number field, current_next_indicator field, section_number field, last_section_number field, original_network_id field, service_id field, EIT_schedule_flag field, EIT_present_ running_stating_stating_ Field, descriptors_loop_length field, descriptor () and / or CRC_32 field.
  • the table_id field identifies the type of table.
  • the table_id field may serve to indicate that this table section is a section constituting the SDT.
  • the section_syntax_indicator field represents the format of a table section following this field. If the value of this field is 0, this table section is in short format. If the value of this field is 1, the table section follows the general long format.
  • the section_length field represents the length of this table section.
  • the section_length field may indicate the length from this field to the end of the table section.
  • the transport_stream_id field identifies a transport stream (TS) to be described in this table.
  • the version_number field represents a version number of a private table section.
  • the receiver may find the most recent table section stored in the memory using this field and the current_next_indicator field to be described later.
  • the current_next_indicator field If the value indicated by the current_next_indicator field is 1, this indicates that the currently transmitted table is valid. If 0, the currently transmitted table is not valid now but will be valid later.
  • the section_number field indicates which section of the table this section is.
  • the last_section_number field indicates the sequence number of the last section among the sections configuring the table.
  • the original_network_id field may identify the first broadcast station that transmitted the service described in this table.
  • the service_id field identifies each service existing in the transport stream.
  • the service_id field may have the same function as the program_number field in the PMT.
  • EIT schedule flag EIT schedule flag
  • EIT_present_following_flag field If the value indicated by the EIT_present_following_flag field is 1, it indicates that EIT_present_following information for a service exists in the current TS, and 0 indicates that it does not exist.
  • the running_status field represents the status of a service. For example, if the value of the running_status field is 1, the service is "not running”, 2 is "starts in a few seconds", 3 is "pausing", 4 is "running”, 5 is It may indicate "service off-air”.
  • a value represented by the free_CA_mode field is 0, indicating that component streams constituting the service are not scrambled, and a value of 1 indicates that access to one or more streams is controlled by the CA system.
  • the CA system is an abbreviation of Conditional Access System, and means a system that provides a function of encrypting broadcast content and a function of decrypting a broadcast by only a contractor to watch broadcast content in order to limit viewing of the broadcast to a contractor.
  • the descriptors_loop_length field represents a value obtained by adding lengths of descriptors following this field.
  • descriptor () means a descriptor describing each service. Stereo_3D_rendering_info_descriptor () and / or view_pair_descriptor () according to an embodiment of the present invention may correspond to this descriptor ().
  • the CRC_32 field represents a CRC value used to check whether there is an error in data included in the table section.
  • 19 is a diagram showing the configuration of user_data_registered_itu_t_t35 () according to an embodiment of the present invention.
  • stereo 3D rendering info () may be transmitted as included in an SEI message of a video stream or a video data header instead of PSI / PSIP / DVB-SI information in a descriptor form unlike the above description. have.
  • the corresponding information is transmitted to the Supplemental Enhancement Information (SEI) area and transmitted to include user_identifier and user_structure in user_data_registered_itu_t_135 (). That is, the information is transmitted to SEI payloads instead of user_data ().
  • SEI plays the role of picture extension and user data of MPEG-2 and can similarly constrain the location. In other words, this figure shows how to transmit stereo 3D rendering info () in AVC / H.264.
  • User_data_registered_itu_t_t35 may include itu_t_t35_country_code, itu_t_t35_provider_code, user_identifier and / or user_structure ().
  • FIG. 20 is a diagram illustrating a user_identifier value used in DVB and a corresponding user_structure () according to an embodiment of the present invention.
  • user_structure may represent DVB1_data (), and if user_identifier is 0x44544731 ('DTG1'), user_structure () may represent afd_data (). .
  • 21 is a diagram showing the configuration of DVB1_data () according to an embodiment of the present invention.
  • DVB1_data may include user_data_type_code and / or user_data_type_structure ().
  • user_data_type_code indicates the type of data carried in user_data_type_structure ().
  • user_data_type_structure may include information included in the above-described stereo 3D rendering information descriptor.
  • FIG. 22 is a diagram illustrating a configuration of an SEI message including stereo 3D rendering info according to an embodiment of the present invention.
  • stereo_3D_rendering_info_data () or stereo 3D rendering info SEI message.
  • Stereo_3D_rendering_info_data may include stereo_3D_rendering_info_id, stereo_3D_rendering_info_cancel_flag, and / or stereo 3D rendering info ().
  • stereo_3D_rendering_info_id may identify a combination of information included in stereo_3D_rendering_info_data ().
  • stereo_3D_rendering_info_cancel_flag When the value of stereo_3D_rendering_info_cancel_flag is 1, this may indicate that stereo 3D rendering info applied up to the previous picture is no longer applied.
  • An embodiment of the present invention may provide a method of transmitting stereo_3D_rendering_info_data () to signal stereo 3D rendering related information at a video level.
  • an embodiment of the present invention when a stereo_3D_rendering info SEI message is included in video data or a depth stream of a specific view, an embodiment of the present invention signals stereo information about a view of a corresponding stream through stereo_3D_rendering_info_data (). Can be.
  • One embodiment of the present invention may receive stereo_3D_rendering_info_data () through SEI raw byte sequence payload (RBSP).
  • the user_identifier value may be determined by parsing the AVC NAL unit by reading a user_data_registered_itu_t_t35 SEI message having a nal_unit_type value of 6 and a payloadtype of 4.
  • nal_unit_type 6
  • this may indicate that it is an SEI message.
  • An embodiment of the present invention may read user_structure () having a user_identifier value of 0x47413934 and extract data having a user_data_type_code of 0x12.
  • An embodiment of the present invention may parse stereo_3D_rendering_info_data () having user_data_type_code of 0x12 to obtain 3D acquisition information and / or information for generating a virtual view later.
  • the stereo 3D rendering info () may include view_pair_ID, target_parameter_valid_flag, target_dispaly_size, target_IOD, target_viewing_distance, rendered_param (), num_of_references, ref_parameter_valid_flag, compensation_type, ref_display_size, ref_ref_reflection_ref_enviance_refensation_ref_enviance_ref_enviance_ref_en_en_m have.
  • view_pair_ID view_pair_ID
  • target_parameter_valid_flag target_dispaly_size
  • target_IOD target_viewing_distance
  • rendered_param rendered_param
  • num_of_references ref_parameter_valid_flag
  • compensation_type ref_display_size
  • view_pair_ID may be used in conjunction with information included in view_pair_descriptor of program / channel / service level in PSI / PSIP / SI information.
  • Another embodiment of the present invention may directly signal the PID of each ES constituting the left view and the right view.
  • FIG. 23 is a diagram illustrating a configuration of stereo_3D_rendering_info_SEI_descriptor () according to an embodiment of the present invention.
  • FIG. 23 is a diagram illustrating a configuration of stereo_3D_rendering_info_SEI_descriptor () according to an embodiment of the present invention.
  • Stereo_3D_rendering_info_SEI_descriptor () may be included in the program level or stream level of the PMT.
  • the stereo_3D_rendering_info_SEI_descriptor () may include information on whether a stereo 3D rendering info SEI message is included in corresponding video data. In this way, the receiver can know in advance at the system level whether the stereo 3D rendering info SEI message is included in the video data.
  • Stereo_3D_rendering_info_SEI_descriptor may include descriptor_tag, descriptor_length, and / or stereo_3D_rendering_info_SEI_message_exist_flag.
  • the descriptor_tag may indicate that this descriptor is a descriptor indicating information on whether a stereo 3D rendering info SEI message is included in corresponding video data.
  • descriptor_length may indicate the length of this descriptor.
  • the stereo_3D_rendering_info_SEI_message_exist_flag may indicate whether a stereo 3D rendering SEI message capable of knowing stereo 3D rendering related information in detail is included in the received video stream.
  • 24 is a diagram illustrating a broadcast service structure for providing a stereo view adaptive to a screen size according to an embodiment of the present invention.
  • the transmitting end in the case where the transmitting end pre-selects a viewing condition having a high degree of distribution of usage and the content is generated in advance for each viewing condition, the transmitting end may transmit one view fixedly and variably transmit the other views.
  • one embodiment of the present invention can reduce the consumption of resources such as bandwidth than when generating and transmitting all the stereo view pairs for the case of each viewing condition.
  • video element for view 1 may represent a view applied to all receivers (including 2D and 3D receivers).
  • the video element for view 2-32 may represent a view applied to a receiver having a screen size of 32 inches.
  • the video element for view 2-32 may represent a view applied to a receiver having a screen size of 42 inches.
  • video element for view 2-52 may represent a view that is applied to a receiver with a screen size of 52 inches.
  • video element for view 2-42" and / or video element for view 2-52 are broadband and / Or it may be transmitted over the IP network.
  • 25 is a diagram illustrating a signaling method and signaling content of a broadcast service according to an embodiment of the present invention according to the type of a transport channel.
  • only base view video may be transmitted in an in-band channel
  • base view video and / or additional view video elements may be transmitted in in-band channel.
  • the additional view video element may be transmitted through broadband and / or other channles.
  • the service transmitted in-band may be signaled by the program level of the PMT, the channel level of the TVCT, the service level of the SDT, the event level of the EIT, and / or the header of the video stream (SEI message). Can be.
  • the service transmitted by broadband may be signaled at the IP layer and / or video level.
  • the service transmitted to the other channel may be signaled by the program level of the PMT, the channel level of the TVCT, the service level of the SDT, the event level of the EIT, and / or the header of the video stream (SEI message).
  • an embodiment of the present invention may signal a target viewing condition and a related parameter for a combination of a base view and an additional view element.
  • An embodiment of the present invention may signal condition information on a virtual view that can be rendered by view synthesis.
  • An embodiment of the present invention may signal signaling information for an additional view video element that can be received out-of-band (including broadband, etc.).
  • the signaling information about the additional view video element may include an IP address, an ES PID, schedule information, and the like of the additional view video element.
  • an embodiment of the present invention may signal signaling information about a base view.
  • the signaling information for the base view may include a channel, a PID, etc. of the base view.
  • An embodiment of the present invention may signal condition information on a virtual view that can be rendered by view synthesis. Detailed description thereof will be described later.
  • An embodiment of the present invention may set a field to prevent the legacy legacy TV from receiving a service transmitted through broadband and / or other channels.
  • the field that prevents the legacy legacy TV from receiving may include a hidden channel, an unknown service type, and the like.
  • FIG. 26 is a diagram illustrating a configuration of stereo_3D_viewing_condition_info_descriptor () according to an embodiment of the present invention.
  • FIG. 26 is a diagram illustrating a configuration of stereo_3D_viewing_condition_info_descriptor () according to an embodiment of the present invention.
  • the transmitting end in order to minimize resources such as bandwidth required for transmitting all stereo view pairs for each case.
  • one image may be fixed and transmitted, and the other image may be transmitted in real time or non-real time through a separate independent path.
  • the view pair descriptor () may be included in the signaling section information of the channel through which the additional video video is transmitted, and the view pair descriptor () may include configuration information of the 3D video pair.
  • stereo_3D_viewing_condition_info_descriptor may include a base_channel_number field, a base_program_number field, a base_source_id field, a base_network_id field, a base_PID field, and / or a num_of_view_pairs field.
  • the base_channel_number field indicates a channel number for transmitting base video video related thereto when only additional video video is transmitted through a current channel or other path.
  • the base_program_number field indicates a program number of a base video video related to the case where only additional video video is transmitted through a current channel or other path.
  • the base_source_id field is an identifier for identifying a source of a base video video related thereto when only additional video video is transmitted through a current channel or other path.
  • the base_network_id field is an identifier for identifying a network providing a base video video related thereto when only additional video video is transmitted through a current channel or other path.
  • the base_PID field indicates a PID of a packet for transmitting a base video video related thereto when only additional video video is transmitted through a current channel or other path.
  • the num_of_view_pairs field represents the number of stereo 3D images provided.
  • FIG. 27 is a diagram showing the configuration of a receiver according to an embodiment of the present invention.
  • Receivers that provide 3D video for viewing conditions include a tuner and a demodulator (27010), a VSB decoder (27020), a transport packet demultiplexer (27030), a second decoder (27040), an MVC extension layer decoder (27050), An AVC layer decoder 2270, a first decoder 25070, a PSI / PSIP / SI processor 227080, a viewer analysis module 2706, a first virtual image generator 27100, a second virtual image generator 27110, and And / or output formatter 27120.
  • the tuner and demodulator 2710 tunes to the 3D broadcast channel and demodulates the received signal.
  • VSB decoder 2720 decodes a signal to which VSB has been applied. Although this block is named VSB decoder, it may be regarded as a block for decoding an OFDM applied signal.
  • the transport packet demultiplexer 2730 separates the transport packet from the broadcast signal. In particular, it serves to filter the packet identifier.
  • the second decoder 27040 decodes depth information for the second image.
  • the MVC extension layer decoder 2550 decodes data for the second image.
  • the AVC layer decoder 227060 decodes data for the first image.
  • the first decoder 27070 decodes depth information for the first image.
  • the PSI / PSIP / SI processor 27080 performs processing on signaling signals. For example, it serves to process various tables included in PSIP or DVB SI, or to process signaling packets, signaling segments, and the like.
  • the PSI / PSIP / SI processor 27080 may serve to process information included in the above-described descriptor.
  • the image analysis module 2690 may generate a virtual view. Detailed description thereof has been given above in the description of the view synthesis module.
  • the first virtual image generator 27100 renders the first virtual image based on the information or data analyzed by the image analysis module.
  • the first virtual image may be a left image included in the 3D image.
  • the second virtual image generator 27110 renders the second virtual image based on the information or data analyzed by the image analysis module.
  • the second virtual image may be a right image included in the 3D image.
  • the output formatter 27120 combines the first virtual image and the second virtual image to format the 3D image.
  • one frame may include a left image, a right image, depth information of a left image, and / or depth information of a right image.
  • the frame may include a UHD frame.
  • An embodiment of the present invention may support autostereoscopic 3D services using the frame structure shown in this figure.
  • the frame structure may include a single 4K frame structure.
  • the 4K-level left image (28010), 4K-right image (28020), 4K-level left image produced in the production (production) (L depth, 28030) and / or Depth images (R depth, 28040) for 4K-right images are subsampling (28050, 28060, 28070, 28080) with frames of 1/2 the height and 1/2 the width, respectively.
  • the left image and / or the right image of the production step may correspond to a video image having a 3840x2160 resolution, a progressive scanning method, and a frame rate of 24/30 / 60hz.
  • the subsampled left image, right image, depth image of the left image, and / or depth image of the right image may be packed into one frame.
  • frame packing 28090
  • when the left image, the right image, the depth image of the left image and / or the depth image of the right image are produced in HD It may be packed into one 4K frame without the above-described subsampling process.
  • subsampling according to an embodiment of the present invention may have the same meaning as downsampling.
  • the packed frame may be encoded and transmitted to the receiving end. (compression, HEVC encoding, 28100)
  • a receiver according to an embodiment of the present invention can receive and decode an encoded frame.
  • the left image, the right image, the depth image of the left image, and / or the depth image of the right image of the decoded frame 28120 are each upsampled to the original frame size. Can be.
  • An embodiment of the present invention may generate a synthesized left image 28140 using a left image and a depth image of the left image.
  • An embodiment of the present invention may generate a synthesized right image 28150 using a right image and a depth image of the right image.
  • the 3D formatter 28160 according to an embodiment of the present invention may format and display a 3D image by combining the generated synthesized left image and the synthesized right image.
  • the depth image of the left image and / or the depth image of the right image may be referred to as a depth map.
  • An embodiment of the present invention may provide a method of generating a 4K frame including a left image, a right image, and / or a depth map in order to provide an autostereoscopic 3D service.
  • the left image and / or the right image may have a FHD (FullHD) resolution
  • the synthesized left image and / or the synthesized right image may also have an FHD resolution
  • the depth map may be lower than the FHD resolution based on the transmission format.
  • a bit rate may be 15 to 20 Mbps. That is, it may represent the same bit rate as the 2D image.
  • the above-described bit rate may be a value derived when assuming a bit rate of about 30% and an efficiency overhead due to frame packing as a bit rate of 20% in the same depth map. .
  • a 4K frame (including a left image, a right image and / or a depth map) according to an embodiment of the present invention may be transmitted through a terrestrial broadcasting network, a cable network and / or a satellite network.
  • an embodiment of the present invention may follow DVB-T2 when transmitting 4K frames to a terrestrial broadcasting network.
  • An embodiment of the present invention may follow DVB-C2 when transmitting 4K frames over a cable network.
  • DVB-S2 when transmitting 4K frames to satellites.
  • the transmitted frame has a format including a left image, a right image, and / or a depth map (a depth image of a left image and / or a depth image of a right image) in one frame. Can be signaled.
  • An embodiment of the present invention may signal at a video level and / or system level that a transmitted frame has a frame format including a left image, a right image and / or a depth map in one frame.
  • an embodiment of the present invention provides a frame in which a frame transmitted through a Frame Packing Arrangement SEI message in a video elementary stream (HEVC) is displayed on a left image, a right image, and / or the like. Alternatively, it may signal that the frame format includes the depth map in one frame.
  • the Frame Packing Arrangement SEI message may include a frame_packing_arrangement_type field, a frame_packing_arrangement_reserved_byte field, a spatial_flipping_flag field, and / or a frame0_flipped_flag field.
  • the frame_packing_arrangement_type field may indicate that the frame is a frame format including a left image, a right image, and / or a depth map in one frame.
  • the frame_packing_arrangement_reserved_byte field may indicate the bit depth of the depth map.
  • the spatial_flipping_flag field and / or the frame0_flipped_flag field may indicate whether the left image and / or the right image are horizontal flipping.
  • an embodiment of the present invention sets a stream_type to 0x24 in the program map table (PMT) equal to HEVC and indicates a value indicated by the FPA_SEI_not_present_flag field in the HEVC descriptor. Can be set to 0.
  • the receiver may grasp detailed information about a frame format including a left image, a right image, and / or a depth map in one frame through video level signaling information.
  • An embodiment of the present invention provides signaling that a corresponding component (ES) includes a frame format including a left image, a right image, and / or a depth map in one frame through component (ES) level signaling in PSIP / SI information. can do.
  • the component may mean an elementary stream (ES).
  • FIG. 29 is a diagram illustrating a method of mapping a depth map to an 8-bit 4K frame according to an embodiment of the present invention.
  • An embodiment of the present invention may map a 12-bit depth pixel of a depth map having a bit depth of 12 bits into a 4K frame pixel having a YCbCr of 4: 2: 0 with a bit depth of 8 bits.
  • the fourth through eleventh bits of D0 shown in this figure may be mapped to the zeroth through seventh bits of Y0, and Bits 0 through 3 can be mapped to bits 4 through 7 of Cb0, and bits 4 through 11 of D1 can be mapped to bits 0 through 7 of Y1.
  • Bits 0 through 3 of D1 may be mapped to bits 0 through 3 of Cb0, and bits 4 through 11 of D2 may be bits 0 through 7 of Y2.
  • Bits 0 through 3 of D2 may be mapped to bits 4 through 7 of Cr0, bits 4 through 11 of D3 may be mapped to bits 0 through 7 of Y3. Can be mapped to the first to third bits, and bits 0 through 3 of D3 are bits 0 through 3 of Cr0. It can be mapped.
  • An embodiment of the present invention may map a 10-bit depth pixel of a depth map having a bit depth of 10 bits into a 4K frame pixel having a YCbCr of 4: 2: 0 with a bit depth of 8 bits.
  • the 2nd through 9th bits of D0 shown in this figure may be mapped to the 0th through 7th bits of Y0, and Bits 0 through 1 can be mapped to bits 6 through 7 of Cb0, and bits 2 through 9 of D1 can be mapped to bits 0 through 7 of Y1.
  • the 0th to 1st bits of D1 can be mapped to the 4th to 5th bits of Cb0, and the 2nd to 9th bits of D2 are the 0th to 7th bits of Y2.
  • Bits 0 to 1 of D2 may be mapped to bits 2 through 3 of Cr0, bits 2 to 9 of D3 may be mapped to bits 0 to 7 of Y3.
  • FIG. 30 is a view showing a broadcast signal receiving method according to an embodiment of the present invention.
  • a packing frame in which at least one frame among a left image frame, a right image frame, a depth image frame for a left image, and a depth image frame for a right image is packed into one frame
  • receiving a broadcast signal including signaling information about an image related to the packing frame (S30010), and receiving the depth image frame and the right image for the left image frame, the right image frame, and the left image from the received packing frame. Extracting at least one frame of the depth image frame (S30020) and / or rendering a 3D image using the extracted at least one frame (S30030).
  • a receiver includes a packing frame in which at least one frame among a left image frame, a right image frame, a depth image frame for a left image, and a depth image frame for a right image is packed into one frame, and the packing.
  • a broadcast signal including signaling information about an image related to a frame may be received. Detailed description thereof has been described above with reference to FIG. 28.
  • the extractor according to an embodiment of the present invention may extract at least one of the left image frame, the right image frame, the depth image frame for the left image, and the depth image frame for the right image from the received packing frame. . Detailed description thereof has been described above with reference to FIG. 28.
  • the renderer may render a 3D image using the extracted at least one frame.
  • the renderer may be named an output formatter and / or a 3D formatter. Detailed description thereof has been provided above with reference to FIGS. 27 and 28.
  • the packing frame includes depth information included in the depth image frame for the left image and depth information included in the depth image frame for the right image of the color space representing the packing frame. It can be generated by mapping the components bitwise. Detailed description thereof has been given above in the description of FIG. 29.
  • the signaling information may include frame packing arrangement information indicating that a frame included in the broadcast signal is a packing frame. Detailed description thereof has been described above with reference to FIG. 28.
  • the signaling information may include frame flipping flag information indicating whether the left image frame and the right image frame are flipped horizontally. Detailed description thereof has been described above with reference to FIG. 28.
  • the signaling information includes a Supplemental Enhancement Information (SEI) message, wherein at least one of the frame packing arrangement information, the depth bit depth information, and the frame flipping flag information is the packing. It may be included in an SEI message in a video stream including a frame. Detailed description thereof has been described above with reference to FIGS. 19, 20, 21, and 28.
  • SEI Supplemental Enhancement Information
  • the signaling information includes a Program Map Table (PMT), and the PMT includes frame packing flag information indicating whether the frame packing arrangement information is included in the SEI message.
  • PMT Program Map Table
  • the PMT includes frame packing flag information indicating whether the frame packing arrangement information is included in the SEI message.
  • At least one of the frame packing arrangement information, the depth bit depth information, and the frame flipping flag information may be signaled at a system level. Detailed description thereof has been described above with reference to FIGS. 25 and 28.
  • 31 is a diagram showing the configuration of a broadcast signal transmission apparatus according to an embodiment of the present invention.
  • the broadcast signal transmission apparatus 31040 may include an encoder 31010, a broadcast signal generator 31020, and / or a transmitter 31030.
  • the encoder 31010 downsamples the left image frame, the right image frame, the depth image frame for the left image, and the depth image frame for the right image, respectively, and converts at least one of the downsampled frames into one frame.
  • the packed packing frame can be encoded.
  • the broadcast signal generator 31020 may generate a broadcast signal including signaling information about the encoded packing frame and the image related to the packing frame.
  • the transmitter 31030 may transmit the generated broadcast signal.
  • the configuration of the broadcast signal transmission apparatus 31040 may perform each step of the above-described broadcast signal transmission method.
  • each configuration may correspond to hardware or may be included in hardware to be processed.
  • 32 is a diagram illustrating a configuration of a broadcast signal receiving apparatus according to an embodiment of the present invention.
  • the broadcast signal receiving apparatus 32040 may include a receiver 32010, an extractor 32020, and / or a renderer 32030.
  • the receiver 32010 may include a packing frame in which at least one of a left image frame, a right image frame, a depth image frame for the left image, and a depth image frame for the right image is packed into one frame, and an image related to the packing frame.
  • the broadcast signal including the signaling information may be received.
  • the extractor 32020 may extract at least one of the left image frame, the right image frame, the depth image frame for the left image, and the depth image frame for the right image from the received packing frame.
  • the renderer 32030 may render a 3D image using the extracted at least one frame.
  • the renderer may include the above-described view synthesis module, output formatter, and / or 3D formatter.
  • the configuration of the broadcast signal receiving apparatus 32040 may perform each step of the above-described broadcast signal receiving method.
  • each configuration may correspond to hardware or may be included in hardware to be processed.
  • Apparatus and method according to the present invention is not limited to the configuration and method of the embodiments described as described above, the above-described embodiments may be selectively all or part of each embodiment so that various modifications can be made It may be configured in combination.
  • the image processing method of the present invention can be implemented as a processor-readable code on a processor-readable recording medium provided in the network device.
  • the processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet. .
  • the processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.
  • the present invention can be used throughout the broadcasting industry.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 3D (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및/또는 장치의 제공에 관한 것이다. 본 발명의 일 실시예에 따른 방송 신호 송신 방법은 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임을 각각 다운샘플링하고, 상기 다운샘플링된 프레임들 중 적어도 하나의 프레임들을 하나의 프레임으로 패킹한 패킹 프레임을 인코딩하는 단계, 상기 인코딩된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 생성하는 단계 및 상기 생성된 방송 신호를 전송하는 단계를 포함한다.

Description

3D (3-DIMENTIONAL) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
본 발명은 방송 신호의 송수신에 관한 것이다. 보다 상세하게는, 3D (3-dimentional) 방송 서비스를 위한 방송 신호의 송수신 방법 및/또는 장치에 관한 것이다.
디지털 기술 및 통신 기술의 발전으로 방송, 영화뿐만 아니라 인터넷 및 개인 미디어 등의 다양한 영역에서 오디오, 비디오 중심의 멀티미디어 컨텐츠 보급 및 수요가 급속도로 확대되고 있다. 나아가 방송 및 영화를 통하여 입체감을 제공하는 3DTV/3D 영화가 보편화되면서 사실감과 현장감을 제공하는 실감미디어에 대한 소 비자 요구가 증가되고 있다. 또한, 디스플레이 기술의 발전과 더불어 가정에서의 TV 화면이 대형화 됨에 따라 HD급 이상의 고화질에 실감나는 컨텐츠를 즐기고자 하는 소비가 증가되고 있다. 이에 따라 Post-HDTV 시장을 대비하여 3DTV와 더불어 UHDTV (Ultra High Definition TV)와 같은 실감방송이 차세대 방송 서비스로 관심을 받고 있으며, 특히 UHD (Ultra High Definition) 방송 서비스에 대한 논의가 증가되고 있는 추세이다.
한편, 3차원 텔레비젼(3-Dimensional Television, 3DTV)의 보급이 본격화됨에 따라 저장 매체에 의한 3차원(3D) 영상 컨텐츠 보급뿐만 아니라 디지털 방송에 의한 3차원 영상 컨텐츠의 전송이 활성화되고 있다.
일반적으로 3차원 영상은 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.
이러한 3차원 영상 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 좌영상 (left view; 레프트 뷰) 이미지와 우안에서 시청되기 위한 우영상 (right view; 라이트 뷰) 이미지를 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 레프트 뷰 이미지와 우측 이미지를 시청함으로써 3차원 영상 효과를 인지할 수 있도록 한다.
한편, 3D 콘텐트 제작자가 의도한 입체 효과를, 방송 수신기에서 그대로 재현할 수 있다면 그것이 최적의 영상이 될 수 있으나, 스테레오 영상으로 구성된 3D 콘텐트는 시청조건에 따라 실제로 방송 수신기에서는 다른 입체 효과를 나타낸다. 현재 3DTV 수신기는 특정 시청조건에 고정된 제한적인 입체 영만을 제공한다. 따라서, 현재 시청자는 3D 콘텐트 제작자가 의도한 입체 효과를 제대로 즐기지 못하여, 시청자의 3D 콘텐트에 대한 만족도가 현저히 떨어져 있는 것이 현실이다.
본 발명이 이루고자 하는 기술적 과제는, 전술한 문제점을 해결하기 위한 것으로, 각 시청자의 시청조건의 변화에 관계 없이, 3D 콘텐트 제작자가 해당 콘텐트를 제작 시 의도한 입체 효과를 방송 수신기에서 제공하는 것에 있다.
나아가, 본 발명이 이루고자 하는 기술적 과제는, UHD 방송 송수신 시스템에서 3D 컨텐츠를 효율적으로 송수신하는 방법을 제공하는 것에 있다.
본 발명의 일 실시예에 따른 방송 신호 송신 방법은 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임을 각각 다운샘플링하고, 상기 다운샘플링된 프레임들 중 적어도 하나의 프레임들을 하나의 프레임으로 패킹한 패킹 프레임을 인코딩하는 단계, 상기 인코딩된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 생성하는 단계 및 상기 생성된 방송 신호를 전송하는 단계를 포함할 수 있다.
바람직하게는, 상기 패킹 프레임은 상기 좌영상에 대한 깊이 영상 프레임에 포함된 깊이 정보 및 상기 우영상에 대한 깊이 영상 프레임에 포함된 깊이 정보를 상기 패킹 프레임을 나타내는 색공간의 성분에 비트단위로 맵핑하여 생성될 수 있다.
바람직하게는, 상기 시그널링 정보는 상기 방송 신호에 포함된 프레임이 패킹 프레임임을 나타내는 프레임 패킹 어레인지먼트 정보를 포함할 수 있다.
바람직하게는, 상기 시그널링 정보는 상기 좌영상에 대한 깊이 영상 프레임에 포함된 깊이 정보 및 상기 우영상에 대한 깊이 영상 프레임에 포함된 깊이 정보의 비트 심도 (bit depth)를 나타내는 뎁스 비트 심도 정보를 포함할 수 있다.
바람직하게는, 상기 시그널링 정보는 상기 좌영상 프레임 및 우영상 프레임이 수평적으로 플립핑 (flipping)되었는지 여부를 나타내는 프레임 플립핑 플래그 정보를 포함할 수 있다.
바람직하게는, 상기 시그널링 정보는 SEI (Supplemental Enhancement Information) message를 포함하고, 상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 상기 패킹 프레임을 포함하는 비디오 스트림 내에 SEI message에 포함될 수 있다.
바람직하게는, 상기 시그널링 정보는 PMT (Program Map Table)를 포함하고, 상기 PMT는 상기 SEI message에 상기 프레임 패킹 어레인지먼트 정보가 포함되어 있는지 여부를 나타내는 프레임 패킹 플래그 정보를 포함할 수 있다.
바람직하게는, 상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 시스템 레벨에서 시그널링될 수 있다.
본 발명의 다른 일 실시예에 따른 방송 신호 수신 방법은 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들이 하나의 프레임으로 패킹된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 수신하는 단계, 상기 수신한 패킹 프레임에서 상기 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들을 추출하는 단계 및 상기 추출된 적어도 하나의 프레임들을 이용하여 3D 영상을 렌더링 (rendering)하는 단계를 포함할 수 있다.
바람직하게는, 상기 패킹 프레임은 상기 좌영상에 대한 깊이 영상 프레임에 포함된 깊이 정보 및 상기 우영상에 대한 깊이 영상 프레임에 포함된 깊이 정보를 상기 패킹 프레임을 나타내는 색공간의 성분에 비트단위로 맵핑하여 생성될 수 있다.
바람직하게는, 상기 시그널링 정보는 상기 방송 신호에 포함된 프레임이 상기 패킹 프레임임을 나타내는 프레임 패킹 어레인지먼트 정보를 포함할 수 있다.
바람직하게는, 상기 시그널링 정보는 상기 좌영상에 대한 깊이 영상 프레임에 포함된 깊이 정보 및 상기 우영상에 대한 깊이 영상 프레임에 포함된 깊이 정보의 비트 심도 (bit depth)를 나타내는 뎁스 비트 심도 정보를 포함할 수 있다.
바람직하게는, 상기 시그널링 정보는 상기 좌영상 프레임 및 우영상 프레임이 수평적으로 플립핑 (flipping)되었는지 여부를 나타내는 프레임 플립핑 플래그 정보를 포함할 수 있다.
바람직하게는, 상기 시그널링 정보는 SEI (Supplemental Enhancement Information) message를 포함하고, 상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 상기 패킹 프레임을 포함하는 비디오 스트림 내에 SEI message에 포함될 수 있다.
바람직하게는, 상기 시그널링 정보는 PMT (Program Map Table)를 포함하고, 상기 PMT는 상기 SEI message에 상기 프레임 패킹 어레인지먼트 정보가 포함되어 있는지 여부를 나타내는 프레임 패킹 플래그 정보를 포함할 수 있다.
바람직하게는, 상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 시스템 레벨에서 시그널링될 수 있다.
본 발명의 또 다른 일 실시예에 따른 방송 신호 송신 장치는 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임을 각각 다운샘플링하고, 상기 다운샘플링된 프레임들 중 적어도 하나의 프레임들을 하나의 프레임으로 패킹한 패킹 프레임을 인코딩하는 인코더, 상기 인코딩된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 생성하는 방송 신호 생성부 및 상기 생성된 방송 신호를 전송하는 전송부를 포함할 수 있다.
본 발명의 또 다른 일 실시예에 따른 방송 신호 수신 장치는 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들이 하나의 프레임으로 패킹된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 수신하는 수신부, 상기 수신한 패킹 프레임에서 상기 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들을 추출하는 추출부 및 상기 추출된 적어도 하나의 프레임들을 이용하여 3D 영상을 렌더링 (rendering)하는 렌더링부를 포함할 수 있다.
본 발명에 따르면, 시청자의 시청조건에 관계없이, 3D 콘텐트 제작자가 해당 콘텐트를 제작 시 의도한 입체 효과를 시청자에게 제공할 수 있는 효과가 있다.
본 발명에 따르면, 기존의 방송 시스템 구조와 호환을 유지하면서, 3D 콘텐트 제작자가 해당 콘텐트를 제작 시 의도한 입체 효과를 시청자에게 제공할 수 있는 효과가 있다.
본 발명에 따르면, 수신기가 최소한의 데이터 처리를 통하여, 3D 콘텐트 제작자가 해당 콘텐트를 제작 시 의도한 입체 효과를 시청자에게 제공할 수 있는 효과가 있다.
본 발명에 따르면, UHD 방송 송수신 시스템에서 3D 컨텐츠를 효율적으로 송수신할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 방송 신호 송신 방법을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 view synthesis module의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 viewing condition에 adaptive한 stereo view를 생성하는 과정을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 viewing condition adaptive stereo view 제공을 위한 수신기의 동작을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 스크린 사이즈에 따라 인지되는 입체감의 차이를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 스크린 사이즈 별로 IOD에 대응되는 픽셀 개수를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 IOD의 길이에 따라 인지되는 입체감의 차이를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 viewing distance가 달라지는 상황에서 vergence angle을 동일하게 유지하면서 스테레오 영상의 입체감을 유지하는 compensation 방법을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 parallax angle를 동일하게 유지하면서 스테레오 영상의 입체감을 유지하는 compensation 방법에 사용되는 parallax angle를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 distance range를 동일하게 유지하면서 스테레오 영상의 입체감을 유지하는 compensation 방법에 사용되는 distance range를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 스테레오 영상의 시청 환경과 parallax 범위의 관계를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 수신된 reference viewing condition 및/또는 target viewing condition가 수신단에서의 viewing condtion와 불일치할 경우 depth adjustment를 수행하는 방법을 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 stereo 3D rendering info()를 포함하는 stereo_3D_rendering_info_descriptor()의 구성을 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 compensation_type의 구성을 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 view_pair_descriptor()의 구성을 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 PMT (program map table)의 구성을 나타낸 도면이다.
도 17은 본 발명의 일 실시예에 따른 TVCT (terrestrial virtual channel table)의 구성을 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른 SDT (service description table)의 구성을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 user_data_registered_itu_t_t35()의 구성을 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른 DVB에서 사용하는 user_identifier 값과 이에 대응하는 user_structure()를 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 DVB1_data()의 구성을 나타낸 도면이다.
도 22는 본 발명의 일 실시예에 따른 stereo 3D rendering info를 포함하는 SEI 메시지의 구성을 나타낸 도면이다.
도 23은 본 발명의 일 실시예에 따른 stereo_3D_rendering_info_SEI_descriptor()의 구성을 나타낸 도면이다.
도 24는 본 발명의 일 실시예에 따른 screen size에 adaptive한 stereo view 제공을 위한 방송 서비스 구조를 나타낸 도면이다.
도 25는 본 발명의 일 실시예에 따른 방송 서비스의 시그널링 방법 및 시그널링 내용을 전송 채널의 타입에 따라 구분하여 나타낸 도면이다.
도 26은 본 발명의 일 실시예에 따른 stereo_3D_viewing_condition_info_descriptor()의 구성을 나타낸 도면이다.
도 27은 본 발명의 일 실시예에 따른 수신기의 구성을 나타낸 도면이다.
도 28은 본 발명의 일 실시예에 따른 frame compatible 과정을 나타낸 도면이다.
도 29는 본 발명의 일 실시예에 따른 뎁스맵 (depth map)을 8 비트 4K 프레임에 매핑하는 방법을 나타낸 도면이다.
도 30은 본 발명의 일 실시예에 따른 방송 신호 수신 방법을 나타낸 도면이다.
도 31은 본 발명의 일 실시예에 따른 방송 신호 송신 장치의 구성을 나타낸 도면이다.
도 32는 본 발명의 일 실시예에 따른 방송 신호 수신 장치의 구성을 나타낸 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 일 실시예에 따른 방송 신호 송신 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 송신 방법은 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임을 각각 다운샘플링하고, 상기 다운샘플링된 프레임들 중 적어도 하나의 프레임들을 하나의 프레임으로 패킹한 패킹 프레임을 인코딩하는 단계 (S1010), 상기 인코딩된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 생성하는 단계 (S1020) 및/또는 상기 생성된 방송 신호를 전송하는 단계 (S1030)을 포함할 수 있다.
본 발명의 일 실시예에 따른 인코더는 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임을 각각 다운샘플링하고, 상기 다운샘플링된 프레임들 중 적어도 하나의 프레임들을 하나의 프레임으로 패킹한 패킹 프레임을 인코딩할 수 있다. 여기서, 인코더는 좌영상, 우영상, 좌영상에 대한 깊이 영상 및/또는 우영상에 대한 깊이 영상을 생성할 수 있고 상기 영상들을 하나의 프레임에 삽입하는 프래임 패킹을 수행할 수 있다. 여기서, 본 발명의 다른 일 실시예에 따르면, 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및/또는 우영상에 대한 깊이 영상 프레임은 다운샘플링되지 않고 바로 하나의 프레임으로 패킹될 수 있다. 이에 대한 상세한 설명은 도 28의 설명 부분에서 후술한다.
본 발명의 일 실시예에 따른 방송 신호 생성부는 인코딩된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 생성할 수 있다. 여기서, 방송 신호 생성부는 하드 웨어에 해당하며 변조부를 포함할 수 있다. 이에 대한 상세한 설명은 도 28의 설명 부분에서 후술한다.
본 발명의 일 실시예에 따른 전송부는 생성된 방송 신호를 전송할 수 있다. 전송부는 방송 신호를 지상파 방송망, 케이블 망 및/또는 브로드밴드를 통하여 전송할 수 있다. 이에 대한 상세한 설명은 도 25 및 도 28의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 패킹 프레임은 상기 좌영상에 대한 깊이 영상 프레임에 포함된 깊이 정보 및 상기 우영상에 대한 깊이 영상 프레임에 포함된 깊이 정보를 상기 패킹 프레임을 나타내는 색공간의 성분에 비트단위로 맵핑하여 생성될 수 있다. 이에 대한 상세한 설명은 도 29의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 상기 방송 신호에 포함된 프레임이 패킹 프레임임을 나타내는 프레임 패킹 어레인지먼트 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 28의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 상기 좌영상 프레임 및 우영상 프레임이 수평적으로 플립핑 (flipping)되었는지 여부를 나타내는 프레임 플립핑 플래그 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 28의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 SEI (Supplemental Enhancement Information) message를 포함하고, 상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 상기 패킹 프레임을 포함하는 비디오 스트림 내에 SEI message에 포함될 수 있다. 이에 대한 상세한 설명은 도 19, 20, 21, 28의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 PMT (Program Map Table)를 포함하고, 상기 PMT는 상기 SEI message에 상기 프레임 패킹 어레인지먼트 정보가 포함되어 있는지 여부를 나타내는 프레임 패킹 플래그 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 16, 19, 20, 21, 28의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 시스템 레벨에서 시그널링될 수 있다. 이에 대한 상세한 설명은 도 25, 28의 설명 부분에서 후술한다.
도 2는 본 발명의 일 실시예에 따른 view synthesis module의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 이 도면에 도시된 바와 같이, 2개의 새로운 view를 생성하여 임의 시점의 3D view를 출력하는 경우, 각각의 view 및 depth map는 후술할 4개 단계의 처리 과정을 거칠 수 있다. 이 경우, 상술한 각각의 view 및/또는 depth map의 처리를 위하여 camera parameters, depth type, depth near, depth far 등의 관련 정보가 제공될 수 있다.
본 발명의 일 실시예에 따른 view synthesis module (2010)은 제 1 워핑부 (warping, 2020), 제 1 머징부 (merging, 2030), 제 1 홀 필링부 (hole-filling, 2040), 제 1 바운더리 노이즈 제거부 (boundary noise removal, 2050), 제 2 워핑부 (warping, 2060), 제 2 머징부 (merging, 2070), 제 2 홀 필링부 (hole-filling, 2080), 제 2 바운더리 노이즈 제거부 (boundary noise removal, 2090) 및/또는 3D 포맷터 (3D formatter, 2100)을 포함할 수 있다.
워핑부는 view synthesis module에 입력되는 레프트 뷰 (L_view), 레프트 뎁스 (L_depth), 라이트 뷰 (R_view) 및 라이트 뎁스 (R_depth)를 워핑 (warping) 처리할 수 있다. 워핑부는 레프트 뷰 및 레프트 뎁스를 워핑 처리하여 레프트 데이터로부터 워핑된 데이터 (warped from L)를 생성할 수 있고 라이트 뷰 및 라이트 뎁스를 워핑 처리하여 라이트 데이터로부터 워핑된 데이터 (warped from R)를 생성할 수 있다. 여기서, 레프트 데이터는 레프트 뷰 및 레프트 뎁스를 포함할 수 있고 라이트 데이터는 라이트 뷰 및 라이트 뎁스를 포함할 수 있다. 워핑부는 camera parameter, depth type, depth_near 및/또는 depth_far를 기초로 하여 레프트 뷰 (L_view), 레프트 뎁스 (L_depth), 라이트 뷰 (R_view) 및 라이트 뎁스 (R_depth)를 워핑 (warping) 처리할 수 있다. 여기서, camera parameter는 3D 컨텐츠가 제작되는 장소에서의 카메라에 대한 정보를 포함할 수 있다. depth type는 레프트 뷰 및/또는 라이트 뷰에 포함되는 물체들에 대한 디스패리티 값으로 깊이 정보를 제공할 수 있다. 여기서, 디스패리티 (disparity)란 3D 영상의 동일한 지점을 나타내기 위한 레프트 뷰 및 라이트 뷰의 각각의 지점 사이의 수평적 차이를 나타내며 이러한 차이는 픽셀 단위로 나타낼 수 있다. 여기서, 레프트 뷰는 좌영상으로 명명될 수 있고 라이트 뷰는 우영상으로 명명될 수 있다. 워핑부는 depth info 및/또는 hole info를 머징부, 홀 필링부 및/또는 바운더리 노이즈 제거부에 제공할 수 있다. 워핑부는 제 1 워핑부 및/또는 제 2 워핑부를 포함할 수 있다.
머징부는 워핑부에 의해 레프트 데이터로부터 워핑된 데이터 및 라이트 데이터로부터 워핑된 데이터를 머징 (merging)할 수 있다. 머징부는 워핑부에 의해 제공된 depth info 및/또는 hole info를 이용할 수 있다. 머징부는 제 1 머징부 및/또는 제 2 머징부를 포함할 수 있다.
홀 필링부는 머징부에 의해 머징된 데이터의 홀을 필링할 수 있다. 홀 필링부는 워핑부에 의해 제공된 depth info 및/또는 hole info를 이용할 수 있다. 홀 필링부는 제 1 홀 필링부 및/또는 제 2 홀 필링부를 포함할 수 있다.
바운더리 노이즈 제거부는 홀 필링부에 의해 홀이 제거된 데이터의 바운더리에 존재하는 노이즈를 제거하여 합성된 레프트 뷰 (synthesized left view) 및/또는 합성된 라이트 뷰 (synthesized right view)를 생성할 수 있다. 바운더리 노이즈 제거부는 워핑부에 의해 제공된 depth info 및/또는 hole info를 이용할 수 있다. 바운더리 노이즈 제거부는 제 1 바운더리 노이즈 제거부 및/또는 제 2 바운더리 노이즈 제거부를 포함할 수 있다.
3D 포맷터는 바운더리 노이즈 제거부에 의해 생성된 합성된 레프트 뷰 (synthesized left view) 및/또는 합성된 라이트 뷰 (synthesized right view)를 이용하여 임의의 시점의 합성된 3D 뷰 (synthesized 3D view)를 생성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 viewing condition에 adaptive한 stereo view를 생성하는 과정을 나타낸 도면이다.
본 발명의 일 실시예에 따르면 수신단에서 자체적인 임의 시점의 view를 선택하여 view synthesis를 적용하는 경우, 본 발명의 일 실시예는 view synthesis에 필요한 기본 정보 (camera parameter, depth type, depth near 및/또는 depth far)만으로 렌더링을 수행할 수 있다. 하지만, 본 발명의 일 실시예는 상술한 view synthesis에 필요한 기본 정보만으로는 시청 조건 (viewing condition)에 맞는 3D view를 제공할 수 없다.
본 발명의 다른 일 실시예는 상술한 view synthesis에 필요한 기본 정보뿐만 아니라 현재 수신되는 스테레오 영상 (stereo view)이 어떤 시청 조건을 타겟으로 하는 것인지에 대한 정보 (target viewing condition), 다른 참고 시청 조건을 지원하는 경우의 가이드 라인에 대한 정보 (reference viewing conditions and related parameters) 및/또는 viewing condition에 대한 정보를 이용하여 시청 조건에 맞는 3D view를 제공할 수 있다.
이 도면에 도시된 바와 같이, 본 발명의 일 실시예에 따른 viewing condition adaptive view synthesis module (3070)은 view 1을 위한 비디오 엘레먼트 (video element for view 1, 3030), view 1을 위한 뎁스 엘레먼트 (depth element for view 1, 3040), view 2를 위한 비디오 엘레먼트 (video element for view 2, 3050), view 2를 위한 뎁스 엘레먼트 (depth element for view 2, 3060), view synthesis에 필요한 기본 정보 (view 1 및/또는 view 2에 대한 camera parameters (camera param (view 1, 2)), depth type, depth_near, depth_far, 3020), target viewing condition에 대한 정보 (3010), reference viewing conditions에 대한 정보 (3010), reference viewing condition related parameters (3010) 및/또는 viewing condition에 대한 정보 (3080)를 이용하여 해당 시청 조건에 adaptive한 레프트 뷰 (left-view adaptive to a corresponding viewing condition, 3090) 및/또는 라이트 뷰 (right-view adaptive to a corresponding viewing condition, 3100)를 생성할 수 있다. 여기서, target viewing condition에 대한 정보 (3010), reference viewing conditions에 대한 정보 (3010) 및/또는 reference viewing condition related parameters (3010)는 송신단으로부터 제공될 수 있다. viewing condition에 대한 정보 (3080)는 수신단에서 획득될 수 있다. Viewing condition은 screen size, IOD (inter ocular distance), viewing distance 등에 대한 정보를 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 viewing condition adaptive stereo view 제공을 위한 수신기의 동작을 나타낸 도면이다.
본 발명의 일 실시예에 따른 view synthesis module (depth adjustment, 4010)은 stereo pair 1 (L_view1, R_view1), stereo depth pair 1 (L_depth1, R_depth1), target viewing condition 및/또는 viewing condition을 입력 받아 stereo pair 2 (L_view2, R_view2)를 생성할 수 있다. 여기서, stereo pair 1은 L_view1 및/또는 R_view1을 포함할 수 있다. stereo depth pair 1은 L_depth1 및/또는 R_depth1을 포함할 수 있다. stereo pair 2는 L_view2 및/또는 R_view2를 포함할 수 있다. target viewing condition은 reference viewing condition 1 (Ref. viewing condition 1), parameter 1, reference viewing condition 2 (Ref. viewing condition 2), parameter 2, reference viewing condition 3 (Ref. viewing condition 3), parameter 3, reference viewing condition 4 (Ref. viewing condition 4) 및/또는 parameter 4를 포함할 수 있다. target viewing condition은 더 많은 reference viewing condition 및 이에 해당하는 parameter를 포함할 수 있다. 여기서, parameter 1 내지 parameter 4는 각각의 reference viewing condition에 대응하는 parameter를 나타낼 수 있다. 예를 들어, parameter 1은 reference viewing condition 1에 대응하는 parameter에 해당할 수 있다. 여기서, view synthesis module은 본 발명의 일 실시예에 따른 수신기에 포함될 수 있다.
본 발명의 일 실시예에 따른 수신기는 수신단에 저장되어 있거나 수신단으로 입력된 viewing condition이 stereo pair 1의 target viewing condition과 일치하는 경우, 추가적인 depth adjustment를 수행하지 않고 입력 받은 stereo pair 1을 그대로 출력할 수 있다. 이 때, stereo pair 2는 stereo pair 1과 동일할 수 있다. target viewing condition은 stereo pair 1의 viewing condition을 나타낼 수 있다.
본 발명의 일 실시예에 따른 수신기는 수신단에 저장되어 있거나 수신단으로 입력된 viewing condition이 stereo pair 1의 target viewing condition과 일치하지 않는 경우, 수신한 reference viewing condition 중에 viewing condition과 일치하는 것이 있는지 검색할 수 있다. 일치하는 reference viewing condition이 존재하는 경우, 수신기는 일치하는 reference viewing condition에 대응하는 parameter 값을 참조하여 depth adjustment를 수행하고 새로운 stereo pair를 획득하고 출력할 수 있다. 일치하는 reference viewing condition이 존재하지 않는 경우, 수신한 reference viewing condition 중에서 가장 비슷한 조건을 참조하거나 수신한 reference viewing condition을 참조하여 적절한 parameter 값을 산출하여 stereo pair 2를 생성할 수 있다. 이에 대한 상세한 설명은 후술한다.
도 5는 본 발명의 일 실시예에 따른 스크린 사이즈에 따라 인지되는 입체감의 차이를 나타낸 도면이다.
본 발명의 일 실시예에 따르면, viewing condition은 주요 구성 요소로서 스크린 사이즈 (screen size), IOD (inter ocular distance) 및/또는 viewing distance를 포함할 수 있다. 상술한 구성 요소에 따라 동일한 컨텐츠의 입체감이 다르게 인지될 수 있다.
본 발명의 일 실시예에 따르면, 스크린 사이즈가 작으면 작을수록 동일한 입체 효과를 나타내기 위한 depth budget은 많아지고 반대로, 스크린 사이즈가 크면 클수록 동일한 입체 효과를 나타내기 위한 depth budget은 적어질 수 있다.
이 도면에 도시된 바와 같이, 동일한 스테레오 컨텐츠가 서로 다른 크기의 스크린 사이즈에 출력되는 경우 이에 대응되는 parallax 및/또는 viewing distance에 따라 인지되는 깊이감이 달라질 수 있다.
본 발명의 일 실시예에 따르면, 스크린 사이즈 별로 입체감이 달라지는 현상을 파악하기 위해 IOD에 대응되는 픽셀의 개수를 비교하는 방법이 사용될 수 있다. display 화면 상에서 IOD가 65mm인 parallax에 대응되는 depth (입체 효과)는 화면 뒤쪽으로 무한대의 깊이를 나타낼 수 있고 IOD가 0mm인 parallax에 대응되는 depth는 시청 조건에 상관 없이 화면 바로 위의 깊이를 나타낼 수 있다. 그 외의 IOD의 parallax에 대응되는 depth는 스크린 크기에 따라 다른 입체감을 나타낼 수 있다. 여기서, depth, 입체감 및 입체 효과는 동일한 의미로 사용될 수 있다.
도 6은 본 발명의 일 실시예에 따른 스크린 사이즈 별로 IOD에 대응되는 픽셀 개수를 나타낸 도면이다.
본 발명의 일 실시예에 따른 이 도면은 1920 * 1080 (full HD) 해상도의 left view 및 right view로 구성된 스테레오 영상에서 65mm IOD에 대응되는 픽셀의 개수를 나타낸 도면이다. 이 도면에서와 같이 다양한 스크린 사이즈 별로 IOD에 대응되는 픽셀 개수를 비교해 보면 동일한 입체 효과를 나타내기 위한 disparity의 픽셀 개수는 스크린 사이즈 별로 달라지는 것을 알 수 있다.
이 도면에 도시된 바와 같이, 스크린 사이즈가 14인치인 경우 무한대의 입체감을 나타내기 위해서는 402.7개의 픽셀이 필요하고, 스크린 사이즈가 23인치인 경우 무한대의 입체감을 나타내기 위해서는 245.1개의 픽셀이 필요하고, 32인치인 경우 176.2개의 픽셀, 42인치인 경우 134.2개의 픽셀, 52인치인 경우 108.4개의 픽셀이 필요하다.
도 7은 본 발명의 일 실시예에 따른 IOD의 길이에 따라 인지되는 입체감의 차이를 나타낸 도면이다.
본 발명의 일 실시예에 따르면, IOD의 길이에 따라 스테레오의 입체 효과가 달라질 수 있다. 예를 들어, 어린이와 같이 IOD가 작은 경우 동일한 입체 효과를 인지하기 위해 필요한 depth budget은 작고 반대로, 어린이보다 IOD가 큰 어른의 경우 동일한 입체 효과를 인지하기 위해 필요한 depth budget은 어린이에 비해 클 수 있다.
이 도면에 도시된 바와 같이, 다양한 IOD 값에 따라 동일한 parallax (p1)에 대해 인지되는 깊이감 (D1, D1')이 다를 수 있다. D1은 IOD가 80mm인 경우, parallax (p1)에 대해 인지되는 깊이감을 나타내고, D1'는 IOD가 40mm인 경우, parallax (p1)에 대해 인지되는 깊이감을 나타낼 수 있다.
본 발명의 일 실시예에 따르면, 2D에 대한 viewing distance는 각 해상도 별로 표준 단체에서 정한 권장 viewing distance가 존재하므로 송신단 및 수신단에서는 이를 기준으로 삼을 수 있다. 하지만, 스테레오 컨텐츠의 경우, viewing distance에 따라 인지되는 입체감에 차이가 발생하고 viewing distance에 대한 기준이 제시되어 있지 않다. 따라서, 송신다에서 기준으로 삼은 viewing distance에 대한 정보를 수신단에 전송할 수 있다.
전술한 바와 같이, 스크린 사이즈, IOD, viewing distance 등과 같은 시청 조건에 따라 스테레오 컨텐츠의 입체 효과는 달라질 수 있다. 본 발명의 일 실시예는 컨텐츠 제작자가 의도한 입체감을 제대로 전달하기 위하여 상술한 시청 조건에 adaptive한 컨텐츠를 제공할 수 있다. 이에 대한 상세한 설명은 후술한다.
도 8은 본 발명의 일 실시예에 따른 viewing distance가 달라지는 상황에서 vergence angle을 동일하게 유지하면서 스테레오 영상의 입체감을 유지하는 compensation 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따르면 스테레오 영상의 입체감을 유지하고자 할 때 viewing condition을 구성하는 요소 중 같은 값을 유지하려는 요소에 따라 다양한 compensation 방법이 존재할 수 있다.
본 발명의 일 실시예에 따른 compensation 방법은 유지하고자 하는 요소가 무엇이냐에 따라 조정 값에 차이가 발생할 수 있으므로 수신기는 compensation type에 대한 정보를 이용하여 compensation할 수 있다. 여기서, compensation type에 대한 정보는 제공되는 reference viewing condition 및/또는 reference viewing condition에 대응되는 reference compensation parameter가 어떤 요소를 기반으로 산출된 것인지에 대한 정보를 포함할 수 있다.
본 발명의 일 실시예에 따른 compensation 방법은 vargence angle를 유지하는 방법, parallax angle를 유지하는 방법, view 기준으로 distance range를 유지하는 방법, screen 기준으로 distance range를 유지하는 방법 및/또는 상대적인 distance rage를 유지하는 방법을 포함할 수 있다. 여기서, parallax angle은 accommodation angle과 vergence angle의 차이값을 나타낼 수 있다. 이에 대한 상세한 설명은 후술한다.
이 도면에 도시된 바와 같이, 다른 시청 조건은 동일하고 viewing distance만 커지는 조건에서 vergence angle을 유지하는 경우, 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity (parallax)의 절대값을 증가시킬 수 있다. 이 도면을 보면, 본 발명의 일 실시예에 따른 compensation 이전 (8010)과 compensation 이후 (8020)에 vergence angle (alpha)는 그대로 유지되고 viewing distance가 커짐에 따라 (Vd1에서 Vd2로) disparity의 절대값도 증가될 수 있다. 이 때, display width (w1), IOD (65mm) 등의 다른 시청 조건은 동일할 수 있다.
이 도면에 도시되어 있지 않지만, 다른 시청 조건은 동일하고 스크린 사이즈만 커지는 조건에서 vergence angle을 유지하는 경우 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity의 절대값을 감소시킬 수 있다. 이 때, parallax는 그대로 유지될 수 있다. 이 도면에 도시되어 있지 않지만, 다른 시청 조건은 동일하고 IOD만 커지는 조건에서 vergence angle을 유지하는 경우 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity (parallax)의 절대값을 감소시킬 수 있다.
도 9는 본 발명의 일 실시예에 따른 parallax angle를 동일하게 유지하면서 스테레오 영상의 입체감을 유지하는 compensation 방법에 사용되는 parallax angle를 나타낸 도면이다.
본 발명의 일 실시예에 따른 parallax angle (theta - beta)은 accommodation angle (theta)과 vergence angle (alpha, beta)의 차이값을 나타낼 수 있다. 여기서, accommodation angle은 스크린에 대한 양안의 시차각을 나타낼 수 있다. vergence angle는 object에 대한 양안의 시차각을 나타낼 수 있다.
본 발명의 일 실시예에 따르면, 다른 시청 조건은 동일하고 viewing distance만 커지는 조건에서 parallax angle을 유지하는 경우, 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity (parallax)의 절대값을 증가시킬 수 있다. 이 때, 4m 이상의 viewing distance에 대해서는 maximum disparity의 값은 변하지 않을 수 있다. 또한, 다른 시청 조건은 동일하고 스크린 사이즈만 커지는 조건에서 parallax angle을 유지하는 경우, 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity의 절대값을 감소시킬 수 있다. 이 때, parallax는 그대로 유지될 수 있다. 또한, parallax angle을 유지하는 경우 본 발명의 일 실시예는 IOD의 크기 변화에 상관없이 disparity (parallax)는 유지될 수 있다.
도 10은 본 발명의 일 실시예에 따른 distance range를 동일하게 유지하면서 스테레오 영상의 입체감을 유지하는 compensation 방법에 사용되는 distance range를 나타낸 도면이다.
본 발명의 일 실시예에 따르면, viewer 기준으로 distance range를 유지하는 방법 (10010)은 시청 조건이 변하더라도 target minimum distance (minimum distance, Dmin) 및 target maximum distance (maximum distance, Dmax)가 유지되는 방법을 의미할 수 있다. 여기서, target minimum distance는 viewer와 object의 최대 거리를 나타내고, target maximum distance는 viewer와 object의 최소 거리를 나타낼 수 있다.
viewer 기준으로 distance range를 유지하는 방법 (10010)에서, 다른 시청 조건은 동일하고 viewing distance만 커지는 조건에서 target minimum distance 및 target maximum distance를 유지하는 경우, 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity (parallax)의 절대값을 증가시킬 수 있다. 또한, 다른 시청 조건은 동일하고 스크린 사이즈만 커지는 조건에서 target minimum distance 및 target maximum distance를 유지하는 경우, 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity의 절대값을 감소시킬 수 있다. 이 때, parallax는 그대로 유지될 수 있다. 또한, 다른 시청 조건은 동일하고 IOD만 커지는 조건에서 target minimum distance 및 target maximum distance를 유지하는 경우, 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity (parallax)의 절대값을 증가시킬 수 있다.
본 발명의 일 실시예에 따르면, screen 기준으로 distance range를 유지하는 방법 (10020)은 시청 조건이 변하더라도 distance range 즉, maximum distance와 minimum distance의 차이의 절대값이 유지되는 방법을 의미할 수 있다. 여기서, minimum distance는 viewer와 object의 최소 거리를 나타내고, maximum distance는 viewer와 object의 최대 거리를 나타낼 수 있다.
screen 기준으로 distance range를 유지하는 방법 (10020)에서, 다른 시청 조건은 동일하고 viewing distance만 커지는 조건에서 maximum distance와 minimum distance의 차이의 절대값을 유지하는 경우, 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity (parallax)의 절대값을 증가시킬 수 있다. 또한, 다른 시청 조건은 동일하고 스크린 사이즈만 커지는 조건에서 maximum distance와 minimum distance의 차이의 절대값을 유지하는 경우, 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity의 절대값을 감소시킬 수 있다. 이 때, parallax는 그대로 유지될 수 있다. 또한, 다른 시청 조건은 동일하고 IOD만 커지는 조건에서 maximum distance와 minimum distance의 차이의 절대값을 유지하는 경우, 본 발명의 일 실시예는 스테레오 영상의 입체감을 그대로 유지하기 위하여 disparity (parallax)의 절대값을 증가시킬 수 있다.
본 발명의 일 실시예에 따르면, 전술한 compensation type에 따라 렌더링을 위한 compensation parameter에 적용되는 값이 달라질 수 있다. 수신기는 상술한 compensation parameter에 적용되는 값을 활용하여 시청 환경에 맞는 compensation type에 관련된 정보를 선택하여 적용할 수 있다.
본 발명의 일 실시예에 따르면, 전술한 시청 조건의 변경에 따라 disparity를 조정하는 방법 (compensation 방법)은 depth adjustment를 위한 파라미터가 시그널링되지 않을 경우, 수신단에서 적합한 baseline 값을 도출하기 위해 적용될 수 있다.
도 11은 본 발명의 일 실시예에 따른 스테레오 영상의 시청 환경과 parallax 범위의 관계를 나타낸 도면이다.
본 발명의 일 실시예에 따른 viewer 기준 또는 screen 기준 distance range를 유지하기 위해 disparity를 조정하는 방법은 이 도면에 도시된 삼각형 비례식을 이용할 수 있다.
이 도면을 보면, alpha 및 beta는 vergence anlgle을 나타낼 수 있다. Dmax 및 Dmin은 viewer로부터 object의 상까지의 최대 및 최소 거리를 나타낼 수 있다. Vd는 viewer로부터 screen까지의 거리 (viewing distance)를 나타낼 수 있다. pmax는 viewew로부터 object의 상까지의 거리가 최대일 때에 parallax를 나타낼 수 있고, pmin은 viewew로부터 object의 상까지의 거리가 최소일 때에 parallax를 나타낼 수 있다.
본 발명의 일 실시예에 따르면, 각 viewing condition 간의 관계를 나타낸 그림 (11030)에 도시된 삼각형을 이용하여 비례식 (11010, 11020)을 생성할 수 있다. 상술한 비례식을 이용하여 특정 viewing condition의 요소가 고정된 값을 가질 때 나머지 viewing condition의 요소가 가질 수 있는 값이 도출될 수 있다.
도 12는 본 발명의 일 실시예에 따른 수신된 reference viewing condition 및/또는 target viewing condition가 수신단에서의 viewing condtion와 불일치할 경우 depth adjustment를 수행하는 방법을 나타낸 도면이다.
전술한 바와 같이, 시청 조건이 바뀜에 따라 디스페리티를 조정해야 하는 방법은 시그널링되는 depth adjustment를 위한 파라미터가 존재하지 않을 때, 수신단에서 적합한 베이스 라인 (baseline) 값을 도출하는 것에도 적용될 수 있다. 여기서 baseline 값은 3D 컨텐츠를 생성할 당시, 3D 컨텐츠에 포함되는 좌영상 및 우영상을 각각 촬영한 카메라 사이의 거리를 의미할 수 있다.
본 발명의 일 실시예에서는, 조정해야 하는 파라미터 (즉, 베이스라인)에 대한 정보가 없는 경우, 수신단에서는 시그널링된 target viewing condition (혹은 reference viewing condition) 및 이에 대응되는 렌더링 파라미터 값을 참조하여, 수신단의 viewing condition 에 적합한 새로운 파라미터를 도출해 낼 수 있다. 즉, 시청 거리 (viewing distance), 스크린 크기 및/또는 IOD의 값이 기존의 값과 달라진 경우, 이에 대응하여 디스페리티는 어떻게 적용되어야 하는지의 관계를 파악하여 새로운 디스페리티 (new disparity) 를 도출할 수 있으며, 새로운 디스페리티 값을 토대로 조정할 베이스라인 값을 도출 할 수 있다.
이 도면에 도시된 바와 같이, 기존 디스페리티 (old disparity)와 새로운 디스페리티의 관계를 기준으로, 삼각형 비례식을 이용하여, 베이스라인 값을 도출해 낼 수 있다. 도출된 베이스라인 값은 좌영상 및 우영상 각각에서의 특정 상을 나타내기 위한 픽셀의 위치 또는 픽셀의 수를 조정하기 위한 값으로 사용될 수 있다.
도 13은 본 발명의 일 실시예에 따른 stereo 3D rendering info()를 포함하는 stereo_3D_rendering_info_descriptor()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 스테레오 컨텐츠의 입체감 즉, depth range를 조절하는 데 있어 가장 기본이 되는 compensation parameter는 두 view를 촬영한 카메라 사이의 거리를 나타내는 baseline 값일 수 있다. 따라서, 본 발명의 일 실시예는 target/reference viewing condition 및 이에 대응 하는 baseline distance를 시그널링할 수 있고 수신단은 target/reference viewing condition 및 이에 대응하는 baseline distance를 참고하여 수신단의 viewing condition에 optimized된 스테레오 영상을 렌더링할 수 있다. 여기서, baseline은 baseline distance와 동일한 의미를 가질 수 있다.
본 발명의 일 실시예에 따른 stereo_3D_rendering_info_descriptor()는 descriptor_tag 필드, descriptor_length 필드 및/또는 stereo 3D rendering info()를 포함할 수 있다. stereo_3D_rendering_info_descriptor()는 target/reference viewing condition 및 이에 대응되는 compensation parameter를 포함할 수 있다.
descriptor_tag 필드는 이 디스크립터가 stereo 3D rendering info()를 포함하는 디스크립터임을 나타낼 수 있다.
descriptor_length 필드는 이 디스크립터의 길이를 나타낼 수 있다.
stereo 3D rendering info()는 view_pair_ID, target_parameter_valid_flag, target_dispaly_size, target_IOD, target_viewing_distance, rendered_param(), num_of_references, ref_parameter_valid_flag, compensation_type, ref_display_size, ref_IOD, ref_viewing_distance 및/또는 ref_compensation_param()를 포함할 수 있다.
view_pair_ID는 현재 수신되는 stereo view응 식별할 수 있는 식별자를 나타낼 수 있다. 본 발명의 일 실시예는 view_pair_ID를 이용하여 left view 및/또는 right view가 어떤 ES 스트림으로 구성되는지 식별할 수 있다. view_pair_ID는 후술할 view_pair_descriptor와 연동하여 이용될 수 있다.
target_parameter_valid_flag는 base 및/또는 additional view video stream과 관련된 시청 조건에 관한 필드들의 유효성을 나타낼 수 있다.
target_dispaly_size는 송신하는 스테레오 컨텐츠에 최적화된 권장 display size를 나타낼 수 있다. target_display_size는 aspect ratio가 고정된 경우 대각선 길이를 나타내는 47인치, 55인치와 같은 값을 나타낼 수 있고 display width의 거리를 나타낼 수 있다. target_display_size는 전술한 target_parameter_valid_flag의 첫 번째 비트가 1일때에만 유효할 수 있다.
target_IOD는 송신하는 스테레오 컨텐츠에 최적화된 IOD를 나타낼 수 있다. target_IOD는 40mm 내지 80mm 범위에 분포할 수 있다. target_IOD는 전술한 target_parameter_valid_flag의 두 번째 비트가 1일때에만 유효할 수 있다.
target_viewing_distance는 송신하는 스테레오 컨텐츠를 시청하기에 최적화된 권장 viewing distance를 나타낼 수 있다. target_viewing_distance는 전술한 target_parameter_valid_flag의 세 번째 비트가 1일때에만 유효할 수 있다.
rendered_param()는 수신기에서 스테레오 컨텐츠를 새롭게 렌더링하는 경우에 참조할 수 있는 값을 나타낼 수 있다. 예를 들어, rendered_param()는 송신하는 스테레오 컨텐츠를 촬영했을 때 left, right 두 카메라 사이의 거리를 나타내는 baseline distance를 포함할 수 있다. rendered_param()는 스테레오 영상을 보상하기 위해 필요한 다른 parameter를 포함할 수 있다. rendered_param()는 전술한 target_parameter_valid_flag의 네 번째 비트가 1일때에만 유효할 수 있다.
num_of_references는 가상뷰를 생성하기 위해 필요한 가이드 정보의 개수를 나타낼 수 있다. 여기서, 가이드 정보는 시청 조건 및 이에 대응되는 파라미터 세트를 의미할 수 있다.
ref_parameter_valid_flag는 가상뷰의 생성과 관련된 시청 조건에 관한 필드들의 유효성을 시그널링할 수 있다.
compensation_type는 제공되는 reference viewing condition 및 compensation parameter가 어떤 factor를 기반으로 산출된 것인지를 나타낼 수 있다. 이에 대한 상세한 설명은 후술한다.
ref_display_size는 송신하는 스테레오 컨텐츠에 최적화된 값은 아니지만 수신단의 시청 조건에 따라 참조 가능한 display size를 나타낼 수 있다. ref_display_size는 전술한 ref_parameter_valid_flag의 첫 번째 비트가 1일때에만 유효할 수 있다.
ref_IOD는 송신하는 스테레오 컨텐츠에 최적화된 값은 아니지만 수신단의 시청 조건에 따라 참조 가능한 IOD를 나타낼 수 있다. ref_IOD는 전술한 ref_parameter_valid_flag의 두 번째 비트가 1일때에만 유효할 수 있다.
ref_viewing_distance는 송신하는 스테레오 컨텐츠에 최적화된 값은 아니지만 수신단의 시청 조건에 따라 참조 가능한 viewing distance를 나타낼 수 있다. ref_viewin_distances는 전술한 ref_parameter_valid_flag의 세 번째 비트가 1일때에만 유효할 수 있다.
ref_compensation_param()는 수신기에서 스테레오 컨텐츠를 새롭게 렌더링하는 경우 참조할 수 있는 값을 나타낼 수 있다. ref_compensation_param()는 reference viewing condition에 대응되는 compensation parameter를 의미할 수 있다. 예를 들어, ref_compensation_param()는 송신하는 스테레오 컨텐츠를 촬영했을 때 left, right 두 카메라 사이의 거리를 나타내는 baseline distance를 포함할 수 있다. 상술한 baseline distance는 ref_baseline_distance 필드에 포함될 수 있다. ref_baseline_distance 필드는 ref_compensation_param()에 포함될 수 있다. ref_compensation_param()는 스테레오 영상을 보상하기 위해 필요한 다른 parameter를 포함할 수 있다. ref_compensation_param()는 전술한 ref_parameter_valid_flag의 네 번째 비트가 1일때에만 유효할 수 있다.
본 발명의 일 실시예에 따르면, 전술한 view_pair_ID, target_parameter_valid_flag, target_dispaly_size, target_IOD, target_viewing_distance 및/또는 rendered_param()는 실제 서비스에 포함된 스트림에 대한 정보를 나타낼 수 있고, 전술한 num_of_references, ref_parameter_valid_flag, compensation_type, ref_display_size, ref_IOD, ref_viewing_distance 및/또는 ref_compensation_param()는 본 발명의 일 실시예에 따라 가상뷰를 생성하기 위해 필요할 수 있다.
도 14는 본 발명의 일 실시예에 따른 compensation_type의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 compensation_type이 0x00인 경우 이는 시청 조건을 구성하는 요소 중에서 vergence angle의 값을 그대로 유지하는 조건에서 스테레오 영상을 보상하는 방법을 나타낼 수 있다. 0x01인 경우 이는 시청 조건을 구성하는 요소 중에서 parallax angle의 값을 그대로 유지하는 조건에서 스테레오 영상을 보상하는 방법을 나타낼 수 있다. 0x02인 경우 이는 시청 조건을 구성하는 요소 중에서 viewer 기준의 distance range를 그대로 유지하는 조건에서 스테레오 영상을 보상하는 방법을 나타낼 수 있다. 0x03인 경우 이는 시청 조건을 구성하는 요소 중에서 screen 기준의 distance range를 그대로 유지하는 조건에서 스테레오 영상을 보상하는 방법을 나타낼 수 있다.
본 발명의 일 실시예에 따르면, compensation_type이 나타내는 factor를 기반으로 reference viewing condition 및/또는 이에 따른 compensation parameter가 결정될 수 있다.
도 15는 본 발명의 일 실시예에 따른 view_pair_descriptor()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 view_pair_descriptor()는 3D view pair의 구성 정보를 포함할 수 있다.
본 발명의 일 실시예에 따른 view_pair_descriptor()는 descriptor_tag, descriptor_length, num_of_view_pairs, view_pair_ID, left_PID 및/또는 right_PID를 포함할 수 있다.
descriptor_tag는 이 디스크립터가 3D view pair에 대한 정보를 포함하는 디스크립터임을 나타낼 수 있다.
descriptor_length는 이 디스크립터의 길이를 나타낼 수 있다.
num_of_view_pairs는 프로그램 내에 포함되는 스트레오 pair의 개수를 나타낼 수 있다.
view_pair_ID는 각 stereo view pair를 식별할 수 있는 식별자를 나타낼 수 있다. 본 발명의 일 실시예는 view_pair_ID를 이용하여 left view 및/또는 right view가 어떤 ES 스트림으로 구성되는지 식별할 수 있다.
left_PID는 left view에 해당하는 영상의 PID를 나타낼 수 있다.
right_PID는 right view에 해당하는 영상의 PID를 나타낼 수 있다.
본 발명의 일 실시예에 따른 view_pair_descriptor()는 이 도면에 도시되어 있지 않지만 left depth 및/또는 right depth에 대한 정보를 포함하는 스트림을 식별할 수 있는 PID 정보를 나타내는 필드를 포함할 수 있다.
도 16은 본 발명의 일 실시예에 따른 PMT (program map table)의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 전술한 stereo_3D_rendering_info_descriptor()는 PMT의 프로그램 레벨에 포함되어 시그널링될 수 있다. (Option 1)
본 발명의 다른 일 실시예에 따르면, 전술한 stereo_3D_rendering_info_descriptor()는 PMT의 내에서 depth stream에 해당하는 elementary stream 레벨에 포함되어 시그널링될 수 있다. (Option 2)
본 발명의 또 다른 일 실시예에 따르면, 전술한 stereo_3D_rendering_info_descriptor()는 PMT의 내에서 depth에 대응되는 video elementary stream 레벨에 포함되어 시그널링될 수 있다. (Option 3)
본 발명의 일 실시예에 따르면, 프로그램 내에 포함된 스트레오 영상의 구성은 PMT의 프로그램 레벨 내에 포함된 view_pair_descriptor를 통해 시그널링될 수 있다.
도 17은 본 발명의 일 실시예에 따른 TVCT (terrestrial virtual channel table)의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 전술한 stereo_3D_rendering_info_descriptor()는 TVCT의 channel level descriptor에 포함되어 시그널링될 수 있다. (Option 1)
본 발명의 다른 일 실시예에 따르면, 전술한 stereo_3D_rendering_info_descriptor()의 필드들은 TVCT의 내의 component list descriptor에 포함되어 시그널링될 수 있다. (Option 2)
본 발명의 또 다른 일 실시예에 따르면, 전술한 stereo_3D_rendering_info_descriptor()의 필드들은 TVCT의 내에서 service location descriptor에 포함되어 시그널링될 수 있다. (Option 3)
본 발명의 일 실시예에 따르면, 프로그램 내에 포함된 스트레오 영상의 구성은 TVCT의 채널 레벨 내에 포함된 view_pair_descriptor를 통해 시그널링될 수 있다.
도 18은 본 발명의 일 실시예에 따른 SDT (service description table)의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 전술한 stereo_3D_rendering_info_descriptor()는 SDT의 service level descriptor에 포함되어 시그널링될 수 있다. 이 때, stereo_3D_rendering_info_descriptor()는 모든 view에 대한 정보를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 프로그램 내에 포함된 스트레오 영상의 구성은 SDT의 service level descriptor 내에 포함된 view_pair_descriptor를 통해 시그널링될 수 있다.
본 발명의 일 실시예에 따른 SDT는 table_id 필드, section_syntax_indicator 필드, section_length 필드, transport_stream_id 필드, version_number 필드, current_next_indicator 필드, section_number 필드, last_section_number 필드, original_network_id 필드, service_id 필드, EIT_schedule_flag 필드, EIT_present_following_flag 필드, running_status 필드, free_CA_mode 필드, descriptors_loop_length 필드, descriptor() 및/또는 CRC_32 필드를 포함한다.
table_id 필드는 테이블의 타입을 식별한다. table_id 필드는 당해 테이블 섹션이 SDT를 구성하는 섹션임을 나타내는 역할을 할 수 있다.
section_syntax_indicator 필드는 당해 필드 이후에 따라오는 테이블 섹션의 포맷을 나타낸다. 당해 필드의 값이 0이면 당해 테이블 섹션은 short 포맷임을 나타낸다. 당해 필드의 값이 1이면 당해 테이블 섹션은 일반적인 long 포맷을 따른다.
section_length 필드는 당해 테이블 섹션의 길이를 나타낸다. section_length 필드는 당해 필드 이후부터 당해 테이블 섹션의 끝까지의 길이를 나타낼 수 있다.
transport_stream_id 필드는 당해 테이블에서 설명하고자 하는 트랜스포트 스트림 (TS)을 식별한다.
version_number 필드는 프라이빗 테이블 섹션 (private table section)의 버전 넘버를 나타낸다. 수신기는 당해 필드와 후술할 current_next_indicator 필드를 이용해서 메모리에 저장되어 있는 테이블 섹션 중 가장 최근의 것을 찾아 낼 수 있다.
current_next_indicator 필드가 나타내는 값이 1이면 현재 전송되는 테이블이 유효하다는 것을 나타내고 0이면 현재 전송되는 테이블이 현재는 유효하지 않지만 이후에 유효할 것이라는 것을 나타낸다.
section_number 필드는 당해 섹션이 당해 테이블의 몇 번째 섹션인지를 나타낸다.
last_section_number 필드는 당해 테이블을 구성하고 있는 섹션 중에 마지막 섹션의 순번을 나타낸다.
original_network_id 필드는 당해 테이블에서 기술하는 서비스를 전송한 최초의 방송국을 식별할 수 있다.
service_id 필드는 트랜스포트 스트림 안에 존재하는 각 서비스를 식별한다. service_id 필드는 PMT에서 program_number 필드와 그 기능이 동일할 수 있다.
EIT_schedule_flag 필드가 나타내는 값이 1이면 현재 TS 안에 서비스를 위한 EIT 스케쥴 정보 (EIT schedule flag)가 존재함을 나타내고, 0이면 존재하지 않음을 나타낸다.
EIT_present_following_flag 필드가 나타내는 값이 1이면 현재 TS 안에 서비스를 위한 EIT_present_following 정보가 존재함을 나타내고, 0이면 존재하지 않음을 나타낸다.
running_status 필드는 서비스의 상태를 나타낸다. 예를 들어, running_status 필드의 값이 1이면 서비스가 "not running" 임을 나타내고, 2이면 "starts in a few seconds" 임을 나타내고, 3이면 "pausing" 임을 나타내고, 4이면 "running" 임을 나타내고, 5이면 "service off-air" 임을 나타낼 수 있다.
free_CA_mode 필드가 나타내는 값이 0이면 서비스를 구성하는 컴포넌트 스트림들이 스크램블되어 있지 않음을 나타내고, 1이면 하나 이상의 스트림에 대한 접근이 CA 시스템에 의해 조절됨을 나타낸다. CA 시스템은 Conditional Access System의 약어로서 방송의 시청을 계약자로 한정하기 위해서 방송 컨텐츠의 암호화 기능과 계약자만이 암호를 풀어 방송 컨텐츠를 시청할 수 있는 기능을 제공하는 시스템을 의미한다.
descriptors_loop_length 필드는 당해 필드 이후에 따라오는 디스크립터들의 길이를 더한 값을 나타낸다.
descriptor()는 각 서비스에 대하여 기술하는 디스크립터를 의미한다. 본 발명의 일 실시예에 따른 stereo_3D_rendering_info_descriptor() 및/또는 view_pair_descriptor()는 이 descriptor()에 해당할 수 있다.
CRC_32 필드는 당해 테이블 섹션에 포함된 데이터에 오류가 있는지 확인하기 위하여 사용되는 CRC 값을 나타낸다.
도 19는 본 발명의 일 실시예에 따른 user_data_registered_itu_t_t35()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, stereo 3D rendering info()는 전술한 내용과 달리 디스크립터 형태로 PSI/PSIP/DVB-SI 정보가 아니라, 비디오 스트림 또는 비디오 데이터 헤더의 SEI 메시지에 포함되어 전송될 수 있다.
이 도면을 보면, H.264 (또는 AVC) 비디오의 경우에는 SEI (Supplemental Enhancement Information) 영역에 해당 정보를 전송하며 user_data_registered_itu_t_135()에 user_identifier와 user_structure를 포함하도록 전송한다. 즉, user_data() 대신 SEI 페이로드들(payloads)에 해당 정보를 전송한다. SEI는 MPEG-2의 픽쳐 확장과 유저 데이터(picture extension and user data)의 역할을 수행하며 위치 또한 비슷하게 제한(constraint)할 수 있다. 즉, 이 도면은 stereo 3D rendering info()를 AVC/H.264 내에 포함하여 전송하는 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 user_data_registered_itu_t_t35()는 itu_t_t35_country_code, itu_t_t35_provider_code, user_identifier 및/또는 user_structure()를 포함할 수 있다.
도 20은 본 발명의 일 실시예에 따른 DVB에서 사용하는 user_identifier 값과 이에 대응하는 user_structure()를 나타낸 도면이다.
본 발명의 일 실시예에 따르면, user_identifier가 0x47413934('GA94')이면 user_structure()는 DVB1_data()를 나타낼 수 있고, user_identifier가 0x44544731('DTG1')이면 user_structure()는 afd_data()를 나타낼 수 있다.
이 도면에 도시된 필드에 대한 상세한 설명은 기 공지된 내용 및 규격서의 내용으로 대체할 수 있다.
도 21은 본 발명의 일 실시예에 따른 DVB1_data()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, DVB1_data()는 user_data_type_code 및/또는 user_data_type_structure()를 포함할 수 있다.
user_data_type_code 는 user_data_type_structure()에 실리는 데이터의 종류를 나타낸다.
본 발명의 일 실시예에 따르면, user_data_type_structure ()는 전술한 스트레오 3D 렌더링 정보 디스크립터에 포함되는 정보를 포함할 수 있다.
이 도면에 도시된 필드에 대한 상세한 설명은 기 공지된 내용 및 규격서의 내용으로 대체할 수 있다.
도 22는 본 발명의 일 실시예에 따른 stereo 3D rendering info를 포함하는 SEI 메시지의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 stereo 3D rendering info를 포함하는 SEI 메시지는 stereo_3D_rendering_info_data() 또는 stereo 3D rendering info SEI message로 명명될 수 있다.
본 발명의 일 실시예에 따른 stereo_3D_rendering_info_data()는 stereo_3D_rendering_info_id, stereo_3D_rendering_info_cancel_flag 및/또는 stereo 3D rendering info()를 포함할 수 있다.
stereo_3D_rendering_info_id는 stereo_3D_rendering_info_data()에 포함된 정보 조합을 식별할 수 있다.
stereo_3D_rendering_info_cancel_flag의 값이 1인 경우, 이는 이전 picture까지 적용된 stereo 3D rendering info가 더 이상 적용되지 않음을 나타낼 수 있다.
본 발명의 일 실시예는 비디오 레벨에서 stereo 3D rendering 관련 정보를 시그널링하기 위해 stereo_3D_rendering_info_data()를 전송하는 방법을 제공할 수 있다.
본 발명의 일 실시예에 따르면, 특정 view의 비디오 데이터 또는 depth 스트림에 stereo_3D_rendering info SEI message가 포함되는 경우 본 발명의 일 실시예는 stereo_3D_rendering_info_data()를 통해 해당 스트림의 view에 대한 입체 정보 등을 시그널링할 수 있다. 본 발명의 일 실시예는 SEI RBSP (raw byte sequence payload)를 통하여 stereo_3D_rendering_info_data()를 수신할 수 있다. 본 발명의 일 실시예는 AVC NAL unit을 파싱하여 nal_unit_type 값이 6이고 payloadtype이 4인 user_data_registered_itu_t_t35 SEI message를 읽어 user_identifier 값을 확인할 수 있다. 여기서, nal_unit_type 값이 6이면, 이는 SEI 메시지임을 나타낼 수 있다. 본 발명의 일 실시예는 user_identifier 값이 0x47413934인 user_structure()를 읽고 user_data_type_code가 0x12인 data를 추출할 수 있다. 본 발명의 일 실시예는 user_data_type_code가 0x12인 stereo_3D_rendering_info_data()를 파싱하여 3D 취득 정보 및/또는 추후 가상뷰 생성을 위한 정보를 획득할 수 있다.
본 발명의 일 실시예에 따른 stereo 3D rendering info()는 view_pair_ID, target_parameter_valid_flag, target_dispaly_size, target_IOD, target_viewing_distance, rendered_param(), num_of_references, ref_parameter_valid_flag, compensation_type, ref_display_size, ref_IOD, ref_viewing_distance 및/또는 ref_compensation_param()를 포함할 수 있다. stereo 3D rendering info()에 포함된 상술한 필드들이 나타내는 의미는 전술하였다.
본 발명의 일 실시예에 따르면 view_pair_ID는 PSI/PSIP/SI 정보에서 program/channel/service 레벨의 view_pair_descriptor에 포함된 정보와 연동되어 사용될 수 있다. 본 발명의 다른 일 실시예 는 left view 및 right view를 구성하는 각 ES의 PID를 직접 시그널링할 수 있다.
도 23은 본 발명의 일 실시예에 따른 stereo_3D_rendering_info_SEI_descriptor()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 stereo_3D_rendering_info_SEI_descriptor()는 PMT의 프로그램 레벨 또는 스트림 레벨에 포함될 수 있다. stereo_3D_rendering_info_SEI_descriptor()는 해당 비디오 데이터 내에 stereo 3D rendering info SEI message가 포함되어 있는지 여부에 대한 정보를 포함할 수 있다. 이로써, 수신기는 해당 비디오 데이터 내에 stereo 3D rendering info SEI message가 포함되어 있는지 여부를 시스템 레벨에서 미리 알 수 있다.
본 발명의 일 실시예에 따른 stereo_3D_rendering_info_SEI_descriptor()는 descriptor_tag, descriptor_length 및/또는 stereo_3D_rendering_info_SEI_message_exist_flag를 포함할 수 있다.
descriptor_tag는 이 디스크립터가 해당 비디오 데이터 내에 stereo 3D rendering info SEI message가 포함되어 있는지 여부에 대한 정보를 나타내는 디스크립터임을 나타낼 수 있다.
descriptor_length는 이 디스크립터의 길이를 나타낼 수 있다.
stereo_3D_rendering_info_SEI_message_exist_flag는 수신되는 비디오 스트림 내에 stereo 3D rendering 관련 정보를 상세히 알 수 있는 stereo 3D rendering SEI message가 포함되어 있는지 여부를 나타낼 수 있다.
도 24는 본 발명의 일 실시예에 따른 screen size에 adaptive한 stereo view 제공을 위한 방송 서비스 구조를 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 사용량 분포도가 높은 시청 조건을 미리 선정하여 송신단에서 각 시청 조건에 맞는 컨텐츠를 미리 생성하는 경우 송신단은 하나의 view를 고정으로 전송하고 나머지 view를 가변적으로 전송할 수 있다. 이로써, 본 발며의 일 실시예는 각각의 시청 조건의 케이스에 대한 stereo view pair를 모두 생성하여 전송하는 경우보다 bandwidth 등의 자원을 의 소비를 줄일 수 있다.
이 도면을 보면, video element for view 1은 모든 수신기 (2D 및 3D 수신기 포함)에 적용되는 view를 나타낼 수 있다. video element for view 2 - 32"는 스크린 사이즈가 32인치인 수신기에 적용되는 view를 나타낼 수 있다. video element for view 2 - 42"는 스크린 사이즈가 42인치인 수신기에 적용되는 view를 나타낼 수 있다. video element for view 2 - 52"는 스크린 사이즈가 52인치인 수신기에 적용되는 view를 나타낼 수 있다. 여기서, video element for view 2 - 42" 및/또는 video element for view 2 - 52"는 broadband 및/또는 IP 망을 통해 전송될 수 있다.
도 25는 본 발명의 일 실시예에 따른 방송 서비스의 시그널링 방법 및 시그널링 내용을 전송 채널의 타입에 따라 구분하여 나타낸 도면이다.
본 발명의 일 실시예에 따르면 2D channel의 경우 base view video만 in-band 채널로 전송될 수 있고, 3D channel의 경우 base view video 및/또는 additional view video elements가 in-band 채널로 전송될 수 있다.
본 발명의 일 실시예에 따르면 additional view video element는 broadband 및/또는 other channle으로 전송될 수 있다.
본 발명의 일 실시예에 따르면 in-band로 전송되는 서비스는 PMT의 프로그램 레벨, TVCT의 채널 레벨, SDT의 서비스 레벨, EIT의 이벤트 레벨 및/또는 비디오 스트림의 헤더 (SEI message)에 의해 시그널링될 수 있다.
본 발명의 일 실시예에 따르면 broadband로 전송되는 서비스는 IP layer 및/또는 video 레벨에서 시그널링될 수 있다. 다른 채널로 전송되는 서비스는 PMT의 프로그램 레벨, TVCT의 채널 레벨, SDT의 서비스 레벨, EIT의 이벤트 레벨 및/또는 비디오 스트림의 헤더 (SEI message)에 의해 시그널링될 수 있다.
In-band로 전송되는 서비스의 경우, 본 발명의 일 실시예는 base view 및 additional view element의 조합에 대한 target viewing condition 및 이와 관련한 parameter를 시그널링할 수 있다. 본 발명의 일 실시예는 view synthesis로 rendering이 가능한 가상뷰에 대한 조건 정보를 시그널링할 수 있다. 본 발명의 일 실시예는 out-of-band (broadband 등을 포함)으로 수신 가능한 additional view video element에 대한 시그널링 정보를 시그널링할 수 있다. 여기서, 상술한 additional view video element에 대한 시그널링 정보는 additional view video element의 IP 주소, ES PID, schedule 정보 등을 포함할 수 있다.
Broadband 및/또는 other channel로 전송되는 서비스의 경우, 본 발명의 일 실시예는 base view에 대한 시그널링 정보를 시그널링할 수 있다. 여기서, base view에 대한 시그널링 정보는 base view의 channel, PID 등을 포함할 수 있다. 본 발명의 일 실시예는 view synthesis로 rendering이 가능한 가상뷰에 대한 조건 정보를 시그널링할 수 있다. 이에 대한 상세한 설명은 후술한다. 본 발명의 일 실시예는 Broadband 및/또는 other channel로 전송되는 서비스를 기존 legacy TV가 수신하지 못하도록 하는 필드를 설정할 수 있다. 여기서, 기존 legacy TV가 수신하지 못하도록 하는 필드는 hidden channel, unknown service type 등을 포함할 수 있다.
도 26은 본 발명의 일 실시예에 따른 stereo_3D_viewing_condition_info_descriptor()의 구성을 나타낸 도면이다.
분포도가 높은 시청 조건을 미리 선정하여, 송신단에서 각각에 맞는 콘텐트를 미리 생성하는 경우, 각 케이스에 대한 스트레오 영상 페어 (Stereo view pair) 를 모두 전송할 시 요구되는 Bandwidth 등의 자원을 최소화하기 위해, 송신단에서는 하나의 영상을 고정하여 전송하고 나머지 영상을 별도 독립적인 경로를 통해 실시간 또는 비실시간으로 전송할 수 있다.
이 경우, view pair descriptor() 는 추가 영상 비디오 가 전송되는 채널의 시그널링 섹션 정보에 포함되어 전송될 수 있으며, view pair descriptor()에는 3D 영상 페어의 구성 정보가 포함될 수 있다.
stereo_3D_viewing_condition_info_descriptor()는 base_channel_number 필드, base_program_number 필드, base_source_id 필드, base_network_id 필드, base_PID 필드 및/또는 num_of_view_pairs 필드를 포함할 수 있다.
base_channel_number 필드는 현재 채널 또는 기타 경로를 통하여 추가 영상 비디오만을 송신하는 경우, 이와 관련된 베이스 영상 비디오를 전송하는 채널 번호를 나타낸다.
base_program_number 필드는 현재 채널 또는 기타 경로를 통하여 추가 영상 비디오만을 송신하는 경우, 이와 관련된 베이스 영상 비디오의 프로그램 번호를 나타낸다.
base_source_id 필드는 현재 채널 또는 기타 경로를 통하여 추가 영상 비디오만을 송신하는 경우, 이와 관련된 베이스 영상 비디오의 소스를 식별하는 식별자이다.
base_network_id 필드는 현재 채널 또는 기타 경로를 통하여 추가 영상 비디오만을 송신하는 경우, 이와 관련된 베이스 영상 비디오를 제공하는 네트워크를 식별하는 식별자이다.
base_PID 필드는 현재 채널 또는 기타 경로를 통하여 추가 영상 비디오만을 송신하는 경우, 이와 관련된 베이스 영상 비디오를 전송하는 패킷의 PID를 나타낸다.
num_of_view_pairs 필드는 제공되는 스트레오 3D 영상의 개수를 나타낸다..
나머지 필드들에 대한 설명은 stereo_3D_rendering_info_descriptor()의 필드들에 대한 설명으로 대체한다.
도 27은 본 발명의 일 실시예에 따른 수신기의 구성을 나타낸 도면이다.
시청 조건에 맞는 3D 영상을 제공하는 수신기는 튜너 및 복조부 (27010), VSB 디코더 (27020), 트랜스포트 패킷 역다중화부 (27030), 제 2 디코더 (27040), MVC extension 레이어 디코더 (27050), AVC 레이어 디코더 (27060) 제 1 디코더 (25070), PSI/PSIP/SI 프로세서 (27080), 시청 분석 모듈 (27090), 제 1 가상 영상 생성부 (27100), 제 2 가상 영상 생성부 (27110) 및/또는 출력 포맷터 (27120)을 포함할 수 있다.
튜너 및 복조부 (27010)는 3D 방송 채널로 튜닝을 수행하고, 수신한 신호를 복조한다.
VSB 디코더 (27020)는 VSB 가 적용된 신호를 디코딩한다. 본 블록의 명칭은 VSB 디코더로 명명하였으나, OFDM 적용된 신호를 디코딩하는 블록으로 볼 수도 있다.
트랜스포트 패킷 역다중화부 (27030)는 방송 신호에서 트랜스포트 패킷을 분리한다. 특히, 패킷식별자를 필터링하는 역할을 한다.
제 2 디코더 (27040)는 제 2 영상을 위한 깊이 정보를 디코딩한다.
MVC extension 레이어 디코더 (27050)는 제 2 영상을 위한 데이터를 디코딩한다.
AVC 레이어 디코더 (27060)는 제 1 영상을 위한 데이터를 디코딩한다.
제 1 디코더 (27070)는 제 1 영상을 위한 깊이 정보를 디코딩한다.
PSI/PSIP/SI 프로세서 (27080)는 시그널링 신호에 대한 처리를 수행한다. 예를 들면, PSIP 또는 DVB SI에 포함된 여러 테이블을 처리하거나, 시그널링 패킷, 시그널링 세그먼트 등을 처리하는 역할을 한다. PSI/PSIP/SI 프로세서 (27080)는 전술한 디스크립터 등에 포함되는 정보를 처리하는 역할을 수행할 수 있다.
영상 분석 모듈 (27090)은 가상뷰를 생성할 수 있다. 이에 대한 상세한 설명은 view synthesis module에 대한 설명 부분에서 전술하였다.
제 1 가상 영상 생성부 (27100)는 영상 분석 모듈에서 분석된 정보 또는 데이터를 바탕으로 제 1 가상 영상을 렌더링한다. 예를 들면, 제 1 가상 영상은 3D 영상에 포함되는 좌영상일 수 있다.
제 2 가상 영상 생성부 (27110)는 영상 분석 모듈에서 분석된 정보 또는 데이터를 바탕으로 제 2 가상 영상을 렌더링한다. 예를 들면, 제 2 가상 영상은 3D 영상에 포함되는 우영상일 수 있다.
출력 포맷터 (27120)는 제 1 가상 영상 및 제 2 가상 영상을 결합하여 3D 영상을 포맷팅한다.
도 28은 본 발명의 일 실시예에 따른 frame compatible 과정을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 하나의 프레임은 좌영상, 우영상, 좌영상에 대한 깊이 정보 및/또는 우영상에 대한 깊이 정보를 포함할 수 있다. 여기서, 프레임은 UHD 프레임을 포함할 수 있다.
본 발명의 일 실시예는 이 도면에 도시된 프레임 구조를 이용하여 무안경 3D 서비스를 지원할 수 있다. 여기서, 프레임 구조는 single 4K frame 구조를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 제작단계 (production)에서 제작된 4K급 좌영상 (28010), 4K급 우영상 (28020), 4K급 좌영상에 대한 깊이 영상 (L depth, 28030) 및/또는 4K급 우영상에 대한 깊이 영상 (R depth, 28040)는 각각 1/2의 높이 (hight) 및 1/2의 너비 (width)를 갖는 프레임으로 서브샘플링 (subsampling, 28050, 28060, 28070, 28080)될 수 있다. 여기서, 제작단계의 좌영상 및/또는 우영상은 3840x2160 해상도를 갖고 progressive 주사 방식을 갖고 24/30/60hz의 프레임률을 갖는 비디오 영상에 해당할 수 있다. 서브샘플링된 좌영상, 우영상, 좌영상에 대한 깊이 영상 및/또는 우영상에 대한 깊이 영상은 하나의 프레임으로 패킹될 수 있다. (frame packing, 28090) 여기서, 본 발명의 다른 일 실시예에 따르면, 제작 단계의 좌영상, 우영상, 좌영상에 대한 깊이 영상 및/또는 우영상에 대한 깊이 영상이 HD 급으로 제작되는 경우에는 상술한 서브샘플링 과정이 없이 바로 하나의 4K급 프레임으로 패킹될 수도 있다. 여기서, 본 발명의 일 실시예에 따른 서브 샘플링은 다운 샘플링과 동일한 의미를 나타낼 수 있다. 패킹된 프레임은 인코딩되어 수신단으로 전송될 수 있다. (compression, HEVC encoding, 28100) 본 발명의 일 실시예에 따른 수신단은 인코딩된 프레임을 수신하여 디코딩할 수 있다. (decompression, HEVC decoding, 28110) 디코딩된 프레임 (28120)을 구성하는 좌영상, 우영상, 좌영상에 대한 깊이 영상 및/또는 우영상에 대한 깊이 영상은 각각 원래의 프레임 크기로 업샘플링 (upsampling)될 수 있다. (28130) 본 발명의 일 실시예는 좌영상 및 좌영상에 대한 깊이 영상을 이용하여 합성된 좌영상 (28140)을 생성할 수 있다. 본 발명의 일 실시예는 우영상 및 우영상에 대한 깊이 영상을 이용하여 합성된 우영상 (28150)을 생성할 수 있다. 본 발명의 일 실시예에 따른 3D formatter (28160)는 생성된 합성된 좌영상 및 합성된 우영상을 결합하여 3D 영상을 포맷팅하여 디스플레이할 수 있다. (28170) 여기서, 좌영상에 대한 깊이 영상 및/또는 우영상에 대한 깊이 영상은 뎁스맵 (depth map)으로 명명될 수 있다.
본 발명의 일 실시예는 무안경 방식의 3D 서비스를 제공하기 위하여 좌영상, 우영상 및/또는 뎁스맵을 포함하는 4K 프레임을 생성하는 방법을 제공할 수 있다.
본 발명의 일 실시예에 따르면 전송 포맷을 기준으로, 좌영상 및/또는 우영상은 FHD (FullHD) 해상도를 가질 수 있고 합성된 좌영상 및/또는 합성된 우영상도 FHD 해상도를 가질 수 있다.
본 발명의 일 실시예에 따르면 전송 포맷을 기준으로, 뎁스맵은 FHD 해상도보다 낮을 수 있다.
본 발명의 일 실시예에 따른 4K 프레임 (좌영상, 우영상 및/또는 뎁스맵을 포함)을 HEVC로 압축하여 전송하는 경우 bit rate는 15 내지 20Mbps일 수 있다. 즉, 2D 영상과 동일한 수준의 bit rate를 나타낼 수 있다. 본 발명의 일 실시예에 따르면, 상술한 bit rate는 동일한 뎁스맵의 경우 30% 수준의 bit rate로 가정하고 frame packing으로 인한 efficiency overhead를 20% 수준의 bit rate로 가정하였을 때 도출된 값일 수 있다.
본 발명의 일 실시예에 따른 4K 프레임 (좌영상, 우영상 및/또는 뎁스맵을 포함)은 지상파 방송망, 케이블망 및/또는 위성망을 통하여 전송될 수 있다. 여기서, 본 발명의 일 실시예는 4K 프레임을 지상파 방송망으로 전송하는 경우 DVB-T2를 따를 수 있다. 본 발명의 일 실시예는 4K 프레임을 케이블망으로 전송하는 경우 DVB-C2를 따를 수 있다. 본 발명의 일 실시예는 4K 프레임을 위성으로 전송하는 경우 DVB-S2를 따를 수 있다.
본 발명의 일 실시예는 전송되는 프레임이 좌영상, 우영상 및/또는 뎁스맵 (좌영상에 대한 깊이 영상 및/또는 우영상에 대한 깊이 영상)을 하나의 프레임에 포함하는 포맷을 가지고 있음을 시그널링할 수 있다.
본 발명의 일 실시예는 전송되는 프레임이 좌영상, 우영상 및/또는 뎁스맵을 하나의 프레임에 포함하는 프레임 포맷을 가지고 있음을 비디오 레벨 및/또는 시스템 레벨에서 시그널링할 수 있다.
본 발명의 일 실시예에 따라 비디오 레벨에서 시그널링을 하는 경우, 본 발명의 일 실시예는 비디오 ES (elementary stream, HEVC) 내의 Frame Packing Arrangement SEI message를 통하여 전송되는 프레임이 좌영상, 우영상 및/또는 뎁스맵을 하나의 프레임에 포함하는 프레임 포맷임을 시그널링 할 수 있다. 본 발명의 일 실시예에 따른 Frame Packing Arrangement SEI message는 frame_packing_arrangement_type 필드, frame_packing_arrangement_reserved_byte 필드, spatial_flipping_flag 필드 및/또는 frame0_flipped_flag 필드를 포함할 수 있다. 여기서, frame_packing_arrangement_type 필드는 해당 프레임이 좌영상, 우영상 및/또는 뎁스맵을 하나의 프레임에 포함하는 프레임 포맷임을 나타낼 수 있다. frame_packing_arrangement_reserved_byte 필드는 뎁스맵의 비트 심도를 나타낼 수 있다. spatial_flipping_flag 필드 및/또는 frame0_flipped_flag 필드는 좌영상 및/또는 우영상의 horizontal flipping 여부를 나타낼 수 있다.
본 발명의 일 실시예에 따른 시스템 레벨에서 시그널링을 하는 경우, 본 발명의 일 실시예는 PMT (program map table) 내에서, stream_type을 0x24로 HEVC와 동일하게 설정하고 HEVC descriptor 내에 FPA_SEI_not_present_flag 필드가 나타내는 값을 0으로 설정할 수 있다. 이 경우 즉, FPA_SEI_not_present_flag 필드의 값이 0일 때 수신기는 비디오 레벨 시그널링 정보를 통하여 좌영상, 우영상 및/또는 뎁스맵을 하나의 프레임에 포함하는 프레임 포맷에 대한 상세한 정보를 파악할 수 있다. 본 발명의 일 실시예는 PSIP/SI 정보 내에 component (ES) 레벨 시그널링을 통하여 해당 컴포넌트 (ES)가 좌영상, 우영상 및/또는 뎁스맵을 하나의 프레임에 포함하는 프레임 포맷을 포함함을 시그널링할 수 있다. 여기서, component는 ES (elementary stream)를 의미할 수 있다.
도 29는 본 발명의 일 실시예에 따른 뎁스맵 (depth map)을 8 비트 4K 프레임에 매핑하는 방법을 나타낸 도면이다.
본 발명의 일 실시예는 12 비트의 비트 심도를 갖는 뎁스맵의 픽셀 (12-bit depth pixel)을 8 비트의 비트 심도를 갖고 4:2:0의 YCbCr을 갖는 4K 프레임의 픽셀로 맵핑할 수 있다. (29010) 예를 들어, 본 발명의 일 실시예에 따르면, 이 도면에 도시된 D0의 4번째부터 11번째까지의 비트는 Y0의 0번째부터 7번째까지의 비트에 맵핑될 수 있고, D0의 0번째부터 3번째까지의 비트는 Cb0의 4번째부터 7번째까지의 비트에 맵핑될 수 있고, D1의 4번째부터 11번째까지의 비트는 Y1의 0번째부터 7번째까지의 비트에 맵핑될 수 있고, D1의 0번째부터 3번째까지의 비트는 Cb0의 0번째부터 3번째까지의 비트에 맵핑될 수 있고, D2의 4번째부터 11번째까지의 비트는 Y2의 0번째부터 7번째까지의 비트에 맵핑될 수 있고, D2의 0번째부터 3번째까지의 비트는 Cr0의 4번째부터 7번째까지의 비트에 맵핑될 수 있고, D3의 4번째부터 11번째까지의 비트는 Y3의 0번째부터 7번째까지의 비트에 맵핑될 수 있고, D3의 0번째부터 3번째까지의 비트는 Cr0의 0번째부터 3번째까지의 비트에 맵핑될 수 있다.
본 발명의 일 실시예는 10 비트의 비트 심도를 갖는 뎁스맵의 픽셀 (10-bit depth pixel)을 8비트의 비트 심도를 갖고 4:2:0의 YCbCr을 갖는 4K 프레임의 픽셀로 맵핑할 수 있다. (29020) 예를 들어, 본 발명의 일 실시예에 따르면, 이 도면에 도시된 D0의 2번째부터 9번째까지의 비트는 Y0의 0번째부터 7번째까지의 비트에 맵핑될 수 있고, D0의 0번째부터 1번째까지의 비트는 Cb0의 6번째부터 7번째까지의 비트에 맵핑될 수 있고, D1의 2번째부터 9번째까지의 비트는 Y1의 0번째부터 7번째까지의 비트에 맵핑될 수 있고, D1의 0번째부터 1번째까지의 비트는 Cb0의 4번째부터 5번째까지의 비트에 맵핑될 수 있고, D2의 2번째부터 9번째까지의 비트는 Y2의 0번째부터 7번째까지의 비트에 맵핑될 수 있고, D2의 0번째부터 1번째까지의 비트는 Cr0의 2번째부터 3번째까지의 비트에 맵핑될 수 있고, D3의 2번째부터 9번째까지의 비트는 Y3의 0번째부터 7번째까지의 비트에 맵핑될 수 있고, D3의 0번째부터 3번째까지의 비트는 Cr0의 0번째부터 1번째까지의 비트에 맵핑될 수 있다.
도 30은 본 발명의 일 실시예에 따른 방송 신호 수신 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 수신 방법은 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들이 하나의 프레임으로 패킹된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 수신하는 단계 (S30010), 상기 수신한 패킹 프레임에서 상기 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들을 추출하는 단계 (S30020) 및/또는 상기 추출된 적어도 하나의 프레임들을 이용하여 3D 영상을 렌더링 (rendering)하는 단계 (S30030)을 포함할 수 있다.
본 발명의 일 실시예에 따른 수신부는 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들이 하나의 프레임으로 패킹된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 수신할 수 있다. 이에 대한 상세한 설명은 도 28의 설명 부분에서 전술하였다.
본 발명의 일 실시예에 따른 추출부는 상기 수신한 패킹 프레임에서 상기 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들을 추출할 수 있다. 이에 대한 상세한 설명은 도 28의 설명 부분에서 전술하였다.
본 발명의 일 실시예에 따른 렌더링부는 상기 추출된 적어도 하나의 프레임들을 이용하여 3D 영상을 렌더링 (rendering)할 수 있다. 렌더링부는 output formatter 및/또는 3D formatter로 명명될 수 있다. 이에 대한 상세한 설명은 도 27, 28의 설명 부분에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 패킹 프레임은 상기 좌영상에 대한 깊이 영상 프레임에 포함된 깊이 정보 및 상기 우영상에 대한 깊이 영상 프레임에 포함된 깊이 정보를 상기 패킹 프레임을 나타내는 색공간의 성분에 비트단위로 맵핑하여 생성될 수 있다. 이에 대한 상세한 설명은 도 29의 설명 부분에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 상기 방송 신호에 포함된 프레임이 패킹 프레임임을 나타내는 프레임 패킹 어레인지먼트 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 28의 설명 부분에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 상기 좌영상 프레임 및 우영상 프레임이 수평적으로 플립핑 (flipping)되었는지 여부를 나타내는 프레임 플립핑 플래그 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 28의 설명 부분에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 SEI (Supplemental Enhancement Information) message를 포함하고, 상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 상기 패킹 프레임을 포함하는 비디오 스트림 내에 SEI message에 포함될 수 있다. 이에 대한 상세한 설명은 도 19, 20, 21, 28의 설명 부분에서 전술하였다..
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 PMT (Program Map Table)를 포함하고, 상기 PMT는 상기 SEI message에 상기 프레임 패킹 어레인지먼트 정보가 포함되어 있는지 여부를 나타내는 프레임 패킹 플래그 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 16, 19, 20, 21, 28의 설명 부분에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 시스템 레벨에서 시그널링될 수 있다. 이에 대한 상세한 설명은 도 25, 28의 설명 부분에서 전술하였다.
도 31은 본 발명의 일 실시예에 따른 방송 신호 송신 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 송신 장치 (31040)는 인코더 (31010), 방송 신호 생성부 (31020) 및/또는 전송부 (31030)를 포함할 수 있다.
인코더 (31010)는 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임을 각각 다운샘플링하고, 상기 다운샘플링된 프레임들 중 적어도 하나의 프레임들을 하나의 프레임으로 패킹한 패킹 프레임을 인코딩할 수 있다.
방송 신호 생성부 (31020)는 상기 인코딩된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 생성할 수 있다.
전송부 (31030)는 상기 생성된 방송 신호를 전송할 수 있다.
본 발명의 일 실시예에 따른 방송 신호 송신 장치 (31040)의 구성은 전술한 방송 신호 송신 방법의 대응되는 각 단계를 수행할 수 있다. 또한, 각 구성은 하드웨어에 해당하거나 하드웨어에 포함되어 처리될 수 있다.
도 32는 본 발명의 일 실시예에 따른 방송 신호 수신 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 수신 장치 (32040)는 수신부 (32010), 추출부 (32020) 및/또는 렌더링부 (32030)를 포함할 수 있다.
수신부 (32010)는 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들이 하나의 프레임으로 패킹된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 수신할 수 있다.
추출부 (32020)는 상기 수신한 패킹 프레임에서 상기 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들을 추출할 수 있다.
렌더링부 (32030)는 상기 추출된 적어도 하나의 프레임들을 이용하여 3D 영상을 렌더링 (rendering)할 수 있다. 렌더링부는 전술한 view synthesis module, output formatter 및/또는 3D formatter를 포함할 수 있다.
본 발명의 일 실시예에 따른 방송 신호 수신 장치 (32040)의 구성은 전술한 방송 신호 수신 방법의 대응되는 각 단계를 수행할 수 있다. 또한, 각 구성은 하드웨어에 해당하거나 하드웨어에 포함되어 처리될 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.
본 발명에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 영상 처리 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수가 있다.
발명의 실시를 위한 형태는 전술한 바와 같이, 발명의 실시를 위한 최선의 형태로 상술되었다.
본 발명은 방송 산업 전반에서 이용 가능하다.

Claims (18)

  1. 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임을 각각 다운샘플링하고, 상기 다운샘플링된 프레임들 중 적어도 하나의 프레임들을 하나의 프레임으로 패킹한 패킹 프레임을 인코딩하는 단계;
    상기 인코딩된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 생성하는 단계; 및
    상기 생성된 방송 신호를 전송하는 단계;
    를 포함하는 방송 신호 송신 방법.
  2. 제 1 항에 있어서,
    상기 패킹 프레임은 상기 좌영상에 대한 깊이 영상 프레임에 포함된 깊이 정보 및 상기 우영상에 대한 깊이 영상 프레임에 포함된 깊이 정보를 상기 패킹 프레임을 나타내는 색공간의 성분에 비트단위로 맵핑하여 생성되는 방송 신호 송신 방법.
  3. 제 1 항에 있어서,
    상기 시그널링 정보는 상기 방송 신호에 포함된 프레임이 패킹 프레임임을 나타내는 프레임 패킹 어레인지먼트 정보를 포함하는 방송 신호 송신 방법.
  4. 제 3 항에 있어서,
    상기 시그널링 정보는 상기 좌영상에 대한 깊이 영상 프레임에 포함된 깊이 정보 및 상기 우영상에 대한 깊이 영상 프레임에 포함된 깊이 정보의 비트 심도 (bit depth)를 나타내는 뎁스 비트 심도 정보를 포함하는 방송 신호 송신 방법.
  5. 제 4 항에 있어서,
    상기 시그널링 정보는 상기 좌영상 프레임 및 우영상 프레임이 수평적으로 플립핑 (flipping)되었는지 여부를 나타내는 프레임 플립핑 플래그 정보를 포함하는 방송 신호 송신 방법.
  6. 제 5 항에 있어서,
    상기 시그널링 정보는 SEI (Supplemental Enhancement Information) message를 포함하고,
    상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 상기 패킹 프레임을 포함하는 비디오 스트림 내에 SEI message에 포함되는 방송 신호 송신 방법.
  7. 제 6 항에 있어서,
    상기 시그널링 정보는 PMT (Program Map Table)를 포함하고,
    상기 PMT는 상기 SEI message에 상기 프레임 패킹 어레인지먼트 정보가 포함되어 있는지 여부를 나타내는 프레임 패킹 플래그 정보를 포함하는 방송 신호 송신 방법.
  8. 제 5 항에 있어서,
    상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 시스템 레벨에서 시그널링되는 방송 신호 송신 방법.
  9. 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들이 하나의 프레임으로 패킹된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 수신하는 단계;
    상기 수신한 패킹 프레임에서 상기 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들을 추출하는 단계; 및
    상기 추출된 적어도 하나의 프레임들을 이용하여 3D 영상을 렌더링 (rendering)하는 단계;
    를 포함하는 방송 신호 수신 방법.
  10. 제 9 항에 있어서,
    상기 패킹 프레임은 상기 좌영상에 대한 깊이 영상 프레임에 포함된 깊이 정보 및 상기 우영상에 대한 깊이 영상 프레임에 포함된 깊이 정보를 상기 패킹 프레임을 나타내는 색공간의 성분에 비트단위로 맵핑하여 생성되는 방송 신호 수신 방법.
  11. 제 9 항에 있어서,
    상기 시그널링 정보는 상기 방송 신호에 포함된 프레임이 상기 패킹 프레임임을 나타내는 프레임 패킹 어레인지먼트 정보를 포함하는 방송 신호 수신 방법.
  12. 제 11 항에 있어서,
    상기 시그널링 정보는 상기 좌영상에 대한 깊이 영상 프레임에 포함된 깊이 정보 및 상기 우영상에 대한 깊이 영상 프레임에 포함된 깊이 정보의 비트 심도 (bit depth)를 나타내는 뎁스 비트 심도 정보를 포함하는 방송 신호 수신 방법.
  13. 제 12 항에 있어서,
    상기 시그널링 정보는 상기 좌영상 프레임 및 우영상 프레임이 수평적으로 플립핑 (flipping)되었는지 여부를 나타내는 프레임 플립핑 플래그 정보를 포함하는 방송 신호 수신 방법.
  14. 제 13 항에 있어서,
    상기 시그널링 정보는 SEI (Supplemental Enhancement Information) message를 포함하고,
    상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 상기 패킹 프레임을 포함하는 비디오 스트림 내에 SEI message에 포함되는 방송 신호 수신 방법.
  15. 제 14 항에 있어서,
    상기 시그널링 정보는 PMT (Program Map Table)를 포함하고,
    상기 PMT는 상기 SEI message에 상기 프레임 패킹 어레인지먼트 정보가 포함되어 있는지 여부를 나타내는 프레임 패킹 플래그 정보를 포함하는 방송 신호 수신 방법.
  16. 제 13 항에 있어서,
    상기 프레임 패킹 어레인지먼트 정보, 상기 뎁스 비트 심도 정보 및 상기 프레임 플립핑 플래그 정보 중 적어도 어느 하나는 시스템 레벨에서 시그널링되는 방송 신호 수신 방법.
  17. 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임을 각각 다운샘플링하고, 상기 다운샘플링된 프레임들 중 적어도 하나의 프레임들을 하나의 프레임으로 패킹한 패킹 프레임을 인코딩하는 인코더;
    상기 인코딩된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 생성하는 방송 신호 생성부; 및
    상기 생성된 방송 신호를 전송하는 전송부;
    를 포함하는 방송 신호 송신 장치.
  18. 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들이 하나의 프레임으로 패킹된 패킹 프레임 및 상기 패킹 프레임에 관련된 영상에 대한 시그널링 정보를 포함하는 방송 신호를 수신하는 수신부;
    상기 수신한 패킹 프레임에서 상기 좌영상 프레임, 우영상 프레임, 좌영상에 대한 깊이 영상 프레임 및 우영상에 대한 깊이 영상 프레임 중 적어도 하나의 프레임들을 추출하는 추출부; 및
    상기 추출된 적어도 하나의 프레임들을 이용하여 3D 영상을 렌더링 (rendering)하는 렌더링부;
    를 포함하는 방송 신호 수신 장치.
PCT/KR2015/001323 2014-02-10 2015-02-10 3d (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치 WO2015119477A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020167016821A KR101844236B1 (ko) 2014-02-10 2015-02-10 3d (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
US15/111,761 US9930382B2 (en) 2014-02-10 2015-02-10 Method and apparatus for transmitting/receiving broadcast signal for 3-dimensional (3D) broadcast service
JP2016568775A JP6456980B2 (ja) 2014-02-10 2015-02-10 ３ｄ放送サービスのための放送信号の送受信方法及び装置
EP15746748.1A EP3107288B1 (en) 2014-02-10 2015-02-10 Method and apparatus for transmitting/receiving broadcast signal for 3-dimensional (3d) broadcast service

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461938087P 2014-02-10 2014-02-10
US61/938,087 2014-02-10

Publications (1)

Publication Number Publication Date
WO2015119477A1 true WO2015119477A1 (ko) 2015-08-13

Family

ID=53778219

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/001323 WO2015119477A1 (ko) 2014-02-10 2015-02-10 3d (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치

Country Status (5)

Country Link
US (1) US9930382B2 (ko)
EP (1) EP3107288B1 (ko)
JP (1) JP6456980B2 (ko)
KR (1) KR101844236B1 (ko)
WO (1) WO2015119477A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107925780A (zh) * 2015-08-20 2018-04-17 Lg 电子株式会社 广播信号发送装置、广播信号接收装置、广播信号发送方法及广播信号接收方法
US11606551B2 (en) 2018-06-15 2023-03-14 Panasonic Intellectual Property Corporation Of America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018131803A1 (ko) * 2017-01-10 2018-07-19 삼성전자 주식회사 스테레오 스코픽 비디오 콘텐츠를 전송하기 위한 방법 및 장치
KR102503342B1 (ko) 2017-01-10 2023-02-28 삼성전자주식회사 스테레오 스코픽 비디오 콘텐츠를 전송하기 위한 방법 및 장치
US10701400B2 (en) * 2017-03-21 2020-06-30 Qualcomm Incorporated Signalling of summarizing video supplemental information

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012138856A (ja) * 2010-12-27 2012-07-19 Toshiba Corp 映像送信装置及び３次元映像送信プログラム
KR20130129212A (ko) * 2010-12-08 2013-11-27 엘지전자 주식회사 디지털 방송 신호 수신 장치 및 방법
KR20130136478A (ko) * 2010-12-03 2013-12-12 엘지전자 주식회사 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법
KR20140004069A (ko) * 2010-09-01 2014-01-10 엘지전자 주식회사 3d (3-dimentional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치
KR20140016236A (ko) * 2010-09-19 2014-02-07 엘지전자 주식회사 삼차원 방송 서비스를 위한 방송 신호를 프로세싱하는 방법 및 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007166277A (ja) * 2005-12-14 2007-06-28 Nippon Telegr & Teleph Corp <Ntt> ３次元画像情報の伝送方法、送信側装置および受信側装置
JP5128963B2 (ja) * 2008-01-08 2013-01-23 日本電信電話株式会社 動画像の多重化方法とファイル読み込み方法及び装置，並びにそのプログラムとコンピュータ読み取り可能な記録媒体
JP5338166B2 (ja) 2008-07-16 2013-11-13 ソニー株式会社 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法
JP2010081001A (ja) * 2008-09-24 2010-04-08 National Institute Of Information & Communication Technology ２ｄ互換３ｄ表示装置及び３ｄ視装置
EP2389764A2 (en) * 2009-01-26 2011-11-30 Thomson Licensing Frame packing for video coding
KR20130135244A (ko) * 2010-10-25 2013-12-10 파나소닉 주식회사 부호화방법, 표시장치, 복호방법
EP2654305A2 (en) 2010-12-13 2013-10-23 Electronics And Telecommunications Research Institute Signaling method for a stereoscopic video service and apparatus using the method
KR101748765B1 (ko) * 2010-12-17 2017-06-19 한국전자통신연구원 영상 모드에 따라 영상의 밝기를 자동으로 조정하는 디스플레이 장치 및 방법
WO2012111755A1 (ja) * 2011-02-18 2012-08-23 ソニー株式会社 画像処理装置および画像処理方法
US20130191250A1 (en) * 2012-01-23 2013-07-25 Augme Technologies, Inc. System and method for augmented reality using multi-modal sensory recognition from artifacts of interest
US9584793B2 (en) * 2012-04-09 2017-02-28 Intel Corporation Signaling three-dimensional video information in communication networks
US9241146B2 (en) * 2012-11-02 2016-01-19 Nvidia Corporation Interleaved approach to depth-image-based rendering of stereoscopic images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140004069A (ko) * 2010-09-01 2014-01-10 엘지전자 주식회사 3d (3-dimentional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치
KR20140016236A (ko) * 2010-09-19 2014-02-07 엘지전자 주식회사 삼차원 방송 서비스를 위한 방송 신호를 프로세싱하는 방법 및 장치
KR20130136478A (ko) * 2010-12-03 2013-12-12 엘지전자 주식회사 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법
KR20130129212A (ko) * 2010-12-08 2013-11-27 엘지전자 주식회사 디지털 방송 신호 수신 장치 및 방법
JP2012138856A (ja) * 2010-12-27 2012-07-19 Toshiba Corp 映像送信装置及び３次元映像送信プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107925780A (zh) * 2015-08-20 2018-04-17 Lg 电子株式会社 广播信号发送装置、广播信号接收装置、广播信号发送方法及广播信号接收方法
CN107925780B (zh) * 2015-08-20 2021-03-19 Lg 电子株式会社 广播信号发送方法及广播信号接收方法
US11606551B2 (en) 2018-06-15 2023-03-14 Panasonic Intellectual Property Corporation Of America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US11936846B2 (en) 2018-06-15 2024-03-19 Panasonic Intellectual Property Corporation Of America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device

Also Published As

Publication number Publication date
JP2017509278A (ja) 2017-03-30
EP3107288A1 (en) 2016-12-21
US9930382B2 (en) 2018-03-27
KR101844236B1 (ko) 2018-04-02
EP3107288B1 (en) 2020-09-09
KR20160094998A (ko) 2016-08-10
US20160337670A1 (en) 2016-11-17
JP6456980B2 (ja) 2019-01-23
EP3107288A4 (en) 2017-09-13

Similar Documents

Publication Publication Date Title
WO2011093677A2 (en) Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
WO2011093676A2 (en) Method and apparatus for generating data stream for providing 3-dimensional multimedia service, and method and apparatus for receiving the data stream
WO2010076933A1 (ko) 이차원 영상과 3d 영상의 통합 서비스가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
WO2011013995A2 (en) Method and apparatus for generating 3-dimensional image datastream including additional information for reproducing 3-dimensional image, and method and apparatus for receiving the 3-dimensional image datastream
WO2015126144A1 (ko) 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
WO2010071283A1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
WO2010126227A2 (en) Broadcast receiver and 3d video data processing method thereof
WO2019194573A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
WO2015102449A1 (ko) 컬러 개멋 리샘플링을 기반으로 하는 방송 신호 송수신 방법 및 장치
WO2011021822A2 (en) Method and apparatus for processing signal for three-dimensional reproduction of additional data
WO2012036532A2 (en) Method and apparatus for processing a broadcast signal for 3d (3-dimensional) broadcast service
WO2012030158A2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional display
WO2011059290A2 (en) Method and apparatus for generating multimedia stream for adjusitng depth of 3-dimensional additional video reproduction information, and method and apparatus for receiving multimedia stream for adjusitng depth of 3-dimensional additional video reproduction information
WO2009125961A1 (en) Method of transmitting and receiving broadcasting signal and apparatus for receiving broadcasting signal
WO2014025239A1 (ko) 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
WO2015119477A1 (ko) 3d (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
WO2011152633A2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
WO2012030176A2 (ko) 3d (3-dimentional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치
WO2015126214A1 (ko) 3d 방송 신호를 처리하는 방법 및 장치
WO2015152635A1 (ko) 신호 송수신 장치 및 신호 송수신 방법
WO2014025213A1 (ko) 신호 송수신 장치 및 신호 송수신 방법
WO2015126117A1 (ko) 방송 신호 송수신 방법 및 장치
WO2015065037A1 (ko) Hevc 기반의 ip 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
WO2013032221A1 (ko) 디지털 방송 신호 처리 방법 및 장치
WO2012077987A2 (ko) 디지털 방송 신호 수신 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15746748

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20167016821

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15111761

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2016568775

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015746748

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015746748

Country of ref document: EP