WO2012121543A2 - 디지털 방송 신호 송/수신 방법 및 장치 - Google Patents

디지털 방송 신호 송/수신 방법 및 장치 Download PDF

Info

Publication number
WO2012121543A2
WO2012121543A2 PCT/KR2012/001655 KR2012001655W WO2012121543A2 WO 2012121543 A2 WO2012121543 A2 WO 2012121543A2 KR 2012001655 W KR2012001655 W KR 2012001655W WO 2012121543 A2 WO2012121543 A2 WO 2012121543A2
Authority
WO
WIPO (PCT)
Prior art keywords
video
mode
information
broadcast signal
digital broadcast
Prior art date
Application number
PCT/KR2012/001655
Other languages
English (en)
French (fr)
Other versions
WO2012121543A3 (ko
Inventor
서종열
김진필
최지현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP12754768.5A priority Critical patent/EP2685727A4/en
Priority to CA2829112A priority patent/CA2829112C/en
Priority to CN201280012151.8A priority patent/CN103416070B/zh
Priority to KR1020137022595A priority patent/KR20140018254A/ko
Priority to US14/003,354 priority patent/US9357196B2/en
Publication of WO2012121543A2 publication Critical patent/WO2012121543A2/ko
Publication of WO2012121543A3 publication Critical patent/WO2012121543A3/ko
Priority to US15/132,839 priority patent/US9693082B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Definitions

  • the present invention relates to an apparatus and method for transmitting / receiving a digital broadcast signal including a 3D image. More specifically, in displaying a digital broadcast signal including a 3D image, a frame-compatible device and method for transmitting and receiving a digital broadcast signal for signaling when a screen change occurs between the 2D image and the 3D image
  • the present invention relates to a digital broadcast signal transmission / reception apparatus and method for signaling a switching between a compatible service and a 2D service compatible service.
  • 3DTV three-dimensional television
  • a 3D image provides a stereoscopic effect using the stereo vision principle of two eyes. Humans feel perspective through the parallax of two eyes, that is, binocular parallax by the distance between two eyes about 65mm apart, so the 3D image provides an image so that each of the left and right eyes can see the associated plane image. It can provide three-dimensional and perspective.
  • Such 3D image display methods include a stereoscopic method, a volumetric method, a holographic method, and the like.
  • a left view image for viewing in the left eye and a right view image for viewing in the right eye are provided, and the polarized glasses or the display device itself are provided.
  • the left eye and the right eye can recognize the 3D image effect by watching the left image and the right image, respectively.
  • the receiver displays a 3D image using the two images.
  • binocular disparity occurs due to disparity between the left image and the right image, thereby providing a stereoscopic image.
  • the digital broadcast can include a 2D video program or a 3D video program.
  • the advertisement image following the broadcast may be a 2D image.
  • the broadcast receiver must accurately understand the timing point of switching from the 3D image to the 2D image, and if it is uncertain, it is impossible to provide a normal video program to the user. That is, when the receiver is still operating to display a 3D image program but the receiving program is 2D, one of the left image and the right image does not exist, thereby causing an abnormal screen to be displayed.
  • the receiver when the receiver supports full resolution, the receiver may operate in a frame-compatible compatible mode or a 2D service compatible mode according to a broadcast signal transmitted from a broadcasting station. Even in this case, the receiver needs to know exactly when to switch between modes. Otherwise, the receiver cannot match the received signal and the mode of the receiver so that a normal screen cannot be provided to the user.
  • the present invention is to solve the above problems, the technical problem to be achieved in the present invention is an apparatus and method for receiving a digital broadcast signal, without experiencing the above-mentioned problems, signaling information for displaying a three-dimensional image It is to be able to display a two-dimensional or three-dimensional image by receiving the included digital broadcast signal.
  • a digital broadcast signal receiving apparatus for receiving a digital broadcast signal of a transport packet including a video stream and signaling data for implementing a three-dimensional image, the And a demodulator for demodulating the received digital broadcast signal, a decoding module for extracting mode switch information from the demodulated digital broadcast signal, and an output formatter for outputting a decoded video signal based on the mode switch information.
  • the mode switching information of the apparatus for receiving digital broadcasting signals may include information about a switching time point between the 2D video signal and the 3D video signal.
  • the mode switching information of the apparatus for receiving a digital broadcast signal is characterized in that it is included in the adaptation_field () at the transport packet level or in the video header at the video level.
  • the decoding module of the apparatus for receiving digital broadcast signals may include a first decoder and a second decoder whose operation is controlled according to the mode switching information.
  • the mode switching information of the apparatus for receiving a digital broadcast signal may include information on switching between a frame-compatible compatible mode and a 2D service compatible mode.
  • the mode switching information of the apparatus for receiving a digital broadcast signal is included in the adaptation_field () at the transport packet level, in the SI information at the system level, or in the video header at the video level. It is characterized by.
  • the decoding module of the apparatus for receiving digital broadcasting signals separates and merges an input video signal in a frame-compatible compatible mode according to the mode switching information, and inputs an input video in a 2D service compatible mode. It characterized in that it comprises a L / R splitter for bypassing or switching.
  • the method for receiving a digital broadcast signal comprises the steps of receiving a digital broadcast signal of a transport packet including a video stream and signaling data for implementing a three-dimensional image, the Demodulating the received digital broadcast signal; extracting mode change information from the demodulated digital broadcast signal; and outputting a decoded video signal based on the mode change information.
  • the mode switching information of the digital broadcast signal receiving method is characterized in that it includes information on the switching time point between the 2D video signal and the 3D video signal.
  • the mode switching information of the digital broadcast signal reception method is characterized in that it is included in the adaptation_field () at the transport packet level or in the video header at the video level.
  • the digital broadcast signal reception method may further include controlling whether the first decoder and the second decoder are operated according to the mode switch information after the step of extracting the mode switch information. It is characterized by.
  • the mode switching information of the digital broadcast signal receiving method is characterized by including information on switching between the frame-compatible compatible mode and the 2D service compatible mode.
  • the mode switching information of the digital broadcast signal reception method is included in the adaptation_field () at the transport packet level, SI information at the system level, or included in the video header at the video level It is characterized by.
  • the digital broadcast signal receiving method separates and merges an input video signal in a frame-compatible compatible mode according to the mode switching information after the step of extracting the mode switching information.
  • the method may further include bypassing or switching the input image.
  • the apparatus and method for receiving digital broadcast signals according to the present invention have the following effects.
  • the receiver operation can be controlled in real time in accordance with the received digital broadcast signal.
  • FIG. 1 is a view showing an embodiment of a stereoscopic 3DTV service configuration method based on a dual codec according to the existing invention.
  • FIG. 2 is a conceptual diagram of 2D / 3D mode switching in a stereoscopic 3DTV system based on a dual stream according to an embodiment of the present invention.
  • FIG. 3 illustrates a syntax structure of an MPEG-2 transport packet according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a syntax structure of an adaptation_field of an MPEG-2 transport packet according to an embodiment of the present invention.
  • 5A is a diagram illustrating a syntax structure of 2D_3D_transition_info_data_byte according to an embodiment of the present invention.
  • 5 (b) is a diagram illustrating an interpretation of a value of a data_type field according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a method for transporting 2D_3D_transition_info_data_byte in MPEG-2 video according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a method for transporting 2D_3D_transition_info_data_byte in AVC / H.264 video according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a receiver structure for receiving and outputting 3D stereoscopic broadcast in a dual stream case according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a broadcast signal receiving method according to 2D / 3D screen switching according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a basic structure of a 3D video signal receiver having an MVC decoder according to an embodiment of the present invention.
  • FIG. 11 is a view showing the basic structure of the L / R splitter according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a method for supporting two full resolution 3D video signals (HD stereo mode) based on an MVC codec according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a syntax structure for signaling at a video level according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a syntax structure of stereo_3D_info_data () according to an embodiment of the present invention.
  • 15 is a diagram illustrating a method of signaling a 3D service mode by setting an SEI message according to an embodiment of the present invention.
  • 16 is a diagram illustrating stream_content and component_type according to an embodiment of the present invention.
  • 17 is a diagram illustrating types of service types according to an embodiment of the present invention.
  • FIG. 18 is a diagram illustrating a syntax structure of transport_packet () according to an embodiment of the present invention.
  • FIG. 19 is a diagram illustrating a syntax structure of Adaptation_field () according to an embodiment of the present invention.
  • FIG. 20 illustrates a receiver structure for receiving and outputting 3D stereoscopic broadcast according to an embodiment of the present invention.
  • 21 illustrates a structure of a transmitter for a frame-compatible compatible 3DTV service according to an embodiment of the present invention.
  • 22 is a flowchart illustrating a broadcast signal receiving method according to a 3D mode for full resolution according to an embodiment of the present invention.
  • the 3D image representation method may include a stereoscopic method that considers two viewpoints and a multiple view image method (or multi-view method) that considers three or more viewpoints.
  • the conventional single view image method may be referred to as a monoscopic image method.
  • the stereoscopic method uses a pair of left view images (hereinafter referred to as left images) and live view images (hereinafter referred to as images) obtained by photographing the same subject with a left camera and a right camera that are spaced at a constant distance. Alternatively, a pair of images of the reference image and the additional image is used.
  • the multi-view method uses three or more images obtained by photographing three or more cameras having a constant distance or angle.
  • the present invention will be described using the stereoscopic method as an embodiment, but the idea of the present invention may be applied to a multi-view method.
  • the stereoscopic method according to the present invention includes a side-by-side method, a top-bottom method, and a checker board method.
  • the left and right images are downsampled 1/2 in the horizontal direction, and one sampled image is placed in the left region and the other sampled image is placed in the right region.
  • the left and right images are half downsampled in the vertical direction, and one sampled image is placed in the top region, and the other sampled image is placed in the bottom region.
  • the checkerboard method is a method of constructing two images into one image by half downsampling the left image and the right image to cross each other in the vertical and horizontal directions.
  • the stereoscopic method according to the present invention is not limited or limited to the above example.
  • the case of transmitting / receiving two images having intact resolution may be referred to as a full resolution 3D video service.
  • Full resolution 3D video services can be sent to the user in two ways. For brevity, the receiver mode for providing a full resolution 3D video service will be described briefly.
  • the Frame-compatible compatible mode is a method of transmitting and receiving two stereoscopic 3D images which have been subjected to the down sampling described above.
  • the receiver merges the two half-sampled images to represent the left and right images in full resolution and provides them as full resolution 3D images using binocular parallax.
  • the 2D service compatible mode means transmitting a left resolution image and a full resolution right image, respectively.
  • the receiver may receive the above left image and the right image and express the full resolution 3D image through binocular disparity. The detailed description will be made later with signaling signals for switching between modes.
  • the actual program is determined to be 2D based on 3D or received signaling data, and the receiver performs 2D operation.
  • the actual program is determined to be 3D based on 2D or signaling data. There may be a case where the receiver performs 3D operation.
  • the following is a method for signaling 2D / 3D conversion in a stereoscopic 3DTV system based on dual codec. 1) Signaling 2D / 3D conversion information at MPEG-2 transport packet level, 2) 2D / 3D conversion information at video level. The signaling method is described. The same method can be applied to a single codec based stereoscopic 3DTV system.
  • FIG. 1 is a view showing an embodiment of a stereoscopic 3DTV service configuration method based on a dual codec according to the existing invention.
  • Stereoscopic 3DTV services based on dual codecs include two videos.
  • Video 1 is a base view video stream, which is used as one of stereoscopic viewpoints in 3DTV service, and may be used as a 2D image in conventional TV service.
  • Video 2 is an additional view video stream that is used as an enhancement of Video 1 to provide stereoscopic 3DTV services.
  • the 3D video program includes both the video 1 and the video 2, and in the case of a single codec, the video 1 and the video 2 can be encoded using the same codec. In the case of the dual codec, the video 1 and the video 2 are independent. It can be compressed and transmitted in a manner.
  • FIG. 2 is a conceptual diagram of 2D / 3D mode switching in a stereoscopic 3DTV system based on a dual stream according to an embodiment of the present invention.
  • Case A is a case where the switching time indicated by the signaling data is earlier than the time when the switching actually occurs when the receiving program is switched to 2D. That is, the receiver outputs the last part of the 3D program in the 2D mode when the actual 3D program is not finished. This part is not intended, but it is a less critical case in that it is not a stereoscopic image but a normal image comes out in 2D state only considering the output image.
  • case B when the receiving program is switched to 2D, if the switching time indicated by the signaling signal is later than the actual switching time, the decoder for Video 2 is turned off late, and a malfunction may occur in a section in which the decoder is incorrectly turned on. That is, the actual received signal is a 2D signal, but the receiver may regard it as a 3D signal and perform a wrong operation in the process of processing it. For example, a situation in which a still image of a last received 3D image is maintained as an additional video screen (underflow), and a 2D dedicated image being received is displayed in a reference image and output as an abnormal combination 3D screen.
  • a malfunction may occur in a section in which the decoder is incorrectly turned on. That is, as in the case of a malfunction during the 2D conversion, the actual received signal is a 2D signal, but the receiver may regard it as a 3D signal and perform a wrong operation in the process of processing it. For example, in the absence of the additional video stream, only the decoder may underflow. In this case, the 3D operation may occur when the additional image is displayed only on a black screen.
  • Case D is a case where the switching time indicated by signaling data is later than the actual switching time when the receiving program is switched to 3D. This is the case when the actual 3D program has been started but the 2D mode remains temporarily. Like Case A, it is not intended, but it is a less critical problem in that normal 2D images are output from the display point of view.
  • the mode When switching from 2D to 3D, even if signaling information for additional video is included through SI level signaling, the mode is not immediately switched and when the PID stream corresponding to the additional video is detected, the mode is switched to 3D mode. That is, if a PID corresponding to additional video (eg AVC / H.264 video) is detected in the demux, it switches to 3D mode.
  • additional video eg AVC / H.264 video
  • the switching is performed earlier (for example, about 1 to 2 seconds) earlier than the switching point identified by the actual signaling data in order to avoid a critical error. In this way, the critical error situation in case B can be avoided.
  • Another method 2 includes a 2D / 3D switching signaling method using an adaptation layer of a transport packet.
  • the transport packet level signaling method may signal a 2D / 3D switching signal by using an adaptation_field of the transport packet.
  • transport_private_data_flag of adaptation_field is set to 1, and the number of bytes of private_data_byte is signaled using transport_private_data_length.
  • transport_private_data_length has a value of 5. This is because a private_data_byte having an 8-bit size is repeated 5 times by transport_private_data_length to represent a 40-bit switching signal.
  • the private_data_byte includes 2D_3D_transition_info_data_byte, which will be described with reference to FIG. 5, and the receiver grasps the information on the transition time by analyzing this. The receiver controls the output of the video decoder and associated display module for the additional view video stream.
  • 5A is a diagram illustrating a syntax structure of 2D_3D_transition_info_data_byte according to an embodiment of the present invention.
  • the 2D_3D_transition_info_data_byte may be located in the private_data_byte part of the adaptation field of the MPEG-2 transport packet and includes information for indicating a 2D / 3D transition time.
  • the transition_type may indicate whether the transition of the received broadcast signal is a transition to 2D or 3D. If this field is '0', it means 2D to 3D. If it is '1', it means 3D to 2D.
  • the data_type may indicate what unit the transition_count is. The detailed meaning of this is as shown in 5 (b). transition_count means the time when the actual transition takes place.
  • the transition_count clearly indicates the PTS value corresponding to the time when the actual transition occurs.
  • the PCR value to be used is based on the recently received PCR. If the PCR is updated, this value should be retransmitted as necessary.
  • Method 3 may use a method of signaling 2D / 3D conversion information at the video level.
  • FIG. 6 is a diagram illustrating a method for transporting 2D_3D_transition_info_data_byte in MPEG-2 video according to an embodiment of the present invention.
  • 2D_3D_transition_info_data_byte may signal a transition time in a base view video stream.
  • the receiver refers to user_structure () included in user_data () of the reference video MPEG-2 video.
  • user_data_start_code is 0x0000 01B2
  • user_data_identifier refers to ATSC_user_data () having a value of 0x4741 3934.
  • information that can be signaled through 2D_3D_transition_info_data is a 3D to 2D transition.
  • 2d_3d_transition_info_data is transmitted in the user_data () of the Picture Extension and User Data area.
  • the receiver extracts user_data () having a user_data_start_code value of 0x0000 01B2 and a user_data_identifier value of 0x4741 3934.
  • Read the User_structure () data and extract the data whose user_data_type_code is 0x11.
  • 2D_3D_transition_info_data () is used to identify the type of 2D / 3D transition and the timing of 2D / 3D transition.
  • FIG. 7 is a diagram illustrating a method for transporting 2D_3D_transition_info_data_byte in AVC / H.264 video according to an embodiment of the present invention.
  • 2D_3D_transition_info_data_byte may signal a transition time in an additional view video stream.
  • the corresponding information is transmitted to the Supplemental Enhancement Information (SEI) area and transmitted to include user_identifier and user_structure in user_data_registered_itu_t_135 (). That is, instead of user_data (), this information is transported to SEI payloads.
  • SEI plays the role of picture extension and user data of MPEG-2 and can similarly constrain the location.
  • information that can be signaled through 2D_3D_transition_info_data is a 3D to 2D transition.
  • 2D_3D_transition_info_data () is received through SEI raw byte sequence payload (RBSP). Parsing AVC NAL unit, if nal_unit_type value is 6, check user_identifier value by reading user_data_registered_itu_t_t35 SEI message with payloadType of 4. The data whose user_data_type_code is 0x11 is extracted by reading the user_structure () corresponding to the user_identifier value 0x4741 3934. 2D_3D_transition_info_data () can be parsed to determine when to transition from 3D to 2D.
  • FIG. 8 is a diagram illustrating a receiver structure for receiving and outputting 3D stereoscopic broadcast in a dual stream case according to an embodiment of the present invention.
  • the receiver includes a tuner 1, a demodulator 2, a TP demux 3, an SI processor 4, first and second video decoders 5a and 5b, picture engines 6a and 6b, L / An R synchronizer 7 and an output formatter 8 may be included.
  • the TP demux 3, the SI processor 4, and the first and second video decoders 5a and 5b may be implemented as one module and may be referred to as a decoding module.
  • the receiver receives and demodulates a broadcast signal through the tuner 1 and the demodulator 2.
  • the demodulated broadcast signal is demultiplexed by the demux 3.
  • the switching time information is extracted by the TP demux 3 and transmitted to the SI processor 4 and then processed.
  • the receiver may determine whether to operate the second video decoder 5b and the image engine 6b by determining whether to decode and image the video 2 using the switching time point information.
  • the demultiplexed video 1 and video 2 are input to the first video decoder 5a and the second video decoder 5b and decoded, respectively.
  • the switching point information is extracted at the time of decoding by the video decoder.
  • the receiver may determine whether to operate the second video decoder 5b and the image engine 6b by determining whether to decode and image the video 2 using the switching time point information.
  • the decoded video 1,2 is input to the L / R synchronizer 7 via picture engines 6a and 6b, respectively, to synchronize the left and right images.
  • the synchronized left and right images are input to the output formatter 8 and are provided to the user as three-dimensional images.
  • FIG. 9 is a flowchart illustrating a broadcast signal receiving method according to 2D / 3D screen switching according to an embodiment of the present invention.
  • the receiver receives a digital broadcast signal including a video stream and signaling data (S10).
  • the receiver acquires signaling information about 2D / 3D conversion at adaptation_field () of the transport packet level or at the video level (S12).
  • the acquisition of signaling information at the video level is made from user_data_type_structure () in the case of MPEG video, and in the SEI region in case of AVC / H.264 video.
  • the receiver controls operations of the first and second video decoders according to the obtained 2D / 3D switching information (S14).
  • both the first and second video decoders are operated.
  • the operation of the second video decoder is temporarily stopped.
  • the receiver outputs an image signal output from the video decoder (S16) and provides it to the user.
  • the second embodiment of the present invention when a broadcast signal supporting full resolution is received, the corresponding broadcast signal is signaled to either a Frame-compatible compatible signal or a 2D service compatible signal so that the receiver is appropriate for each signal type.
  • An apparatus and method for causing the L / R splitter to operate will be described.
  • the second embodiment of the present invention proposes a method for coping with two stereo 3D broadcasting modes in which 3DTVs based on multi-layer codec are different from each other.
  • an appropriate signaling method and a method for controlling a 3D display output according to the signaling are proposed.
  • FIG. 10 is a diagram illustrating a basic structure of a 3D video signal receiver having an MVC decoder according to an embodiment of the present invention.
  • FIG. 10 The basic structure from the 3D video decoder module 10 to the 3D formatter 18 of a receiver supporting stereo 3D broadcasting is shown in FIG. 10.
  • Video streams from the multi-layer video decoder 10 are separated into a left image and a right image through the L / R splitter module 14.
  • an MVC decoder is described as an example for convenience.
  • the MVC decoder decodes the reference video to the AVC decoder 11 and performs inter-layer prediction 12 on the basis of the result and inputs it to the Enhancement decoder 13.
  • the enhancement decoder 13 decodes the additional picture by combining the result of the inter-layer prediction 12 and the input additional picture data.
  • the video decoded by the AVC decoder 11 and the enhancement decoder 13 is input to the L / R splitter 14 and separated into a left picture and a right picture.
  • the separated left and right images are provided to the user as 3D images through the 3D formatter 18 via the deinterlacers 16a and 16b and the frame rate controllers FRC 17a and 17b, respectively.
  • the SI processor 15 may transmit signaling information to the 3D video decoder module 10 and the L / R splitter 14 so that the decoder and the splitter may operate appropriately for the type of 3D broadcast service.
  • the present invention includes scenarios that enable 3D output and 2D output in all cases. This requires a receiver operating mechanism in the new L / R splitter module 14 and signaling in the system layer via SI.
  • FIG. 11 is a view showing the basic structure of the L / R splitter according to an embodiment of the present invention.
  • the base stream 20 and the enhancement stream 21 coming into the input values of the L / R splitter module 23 are processed differently depending on which stereo broadcast mode is used.
  • the video stream 20 transmitted in the base layer is a frame-compatible 3D image.
  • the video stream 21 transmitted to the enhancement layer may also be a frame-compatible 3D image or may be data of another type in some cases.
  • the video stream 20 transmitted to the base layer is a 2D image compatible with the existing Full HD 2D broadcasting.
  • the video stream 21 transmitted to the enhancement layer may be a 2D image or, in some cases, may be other types of data such as a depth map.
  • the L / R splitter 23 combines the two video streams 20, 21 to match the type of 3D broadcast from the SI processor 15 or SEI messages 22, resulting in a full resolution right picture. 24 and the left image 25 may be output.
  • FIG. 12 is a diagram illustrating a method for supporting two full resolution 3D video signals (HD stereo mode) based on an MVC codec according to an embodiment of the present invention.
  • Frame-compatible compatible mode service is structure that is compatible with existing frame-compatible (Phase 1) service, and video signal is base layer (Lb / Rb, 31) and enhancement layer (Le / Re, 32).
  • the video signal Lb / Rb received through the base layer is decoded into half-resolution left and right images through a local splitter in the L / R splitter 23.
  • the video signal (Le / Re) received through the enhancement layer is also decoded into half-resolution left and right images through a local splitter.
  • the split video signal is merged in the same eye-view unit to generate a full-resolution image.
  • Lb and Le are combined to generate a full resolution Left image Lf 34
  • Rb and Re are combined to generate a full resolution Right image Rf 33.
  • the resulting full resolution image pairs (Lf and Rf) are eventually output through the 3D formatter through the 3D formatter.
  • the 2D compatible mode service is a structure compatible with the existing 2D HD service, and the video signal is composed of a base layer and enhancement layer corresponding to the HD (2D) service. At this time, one eye view is selected and transmitted through the base layer, and the other eye view is transmitted through the enhancement layer.
  • the left image Lb and 35 are transmitted through the base layer, and the right image Re and 36 are transmitted through the enhancement layer. According to the embodiment, it is also possible to transmit the right image Rb through the base layer and the left image Le through the enhancement layer.
  • the received Base and Enhancement layers are output to the corresponding view position through switching (blocks indicated by 1 and 2) according to the corresponding eye-view, respectively. That is, whether the base layer is matched to the Lf 34 or the Rf 33 is determined according to the left / right of the base layer, and the reconstructed full resolution video Lf and Rf are finally output through the 3D display through the 3D formatter.
  • a full resolution 3D broadcast can be output by combining the stream received through the base layer and the stream received through the enhancement layer.
  • the received stream is different, but the output of the L / R Splitter module is the same as the Full HD Left image and the Full HD Right image, so that the processing methods of FIGS. 12 (a) and 12 (b) are all handled in one L / R splitter module If supported, it is possible for a receiver to provide full resolution 3D broadcast in any mode.
  • a method of signaling in which of the above two modes the full resolution 3D broadcast signal will be described.
  • the main part that needs to be signaled is what kind of 3D mode it is, and the information necessary for output of each mode is as follows.
  • the format type of the broadcast signal should be signaled and may be, for example, a side by side type, a top and bottom type, or a checkerboard type.
  • the position and sampling mode (even, odd) information of the left and right images should be signaled together.
  • location information of a left image and a right image indicating whether the base layer stream is the left image or the enhancement layer stream is the left image should be signaled.
  • Mode information and detailed information for each mode may be delivered through signaling at the video level, signaling at the system level, or signaling at the transport packet level.
  • the count information and / or the 3D mode information item may be used in the method using the adaptation layer.
  • FIG. 13 is a diagram illustrating a syntax structure for signaling at a video level according to an embodiment of the present invention.
  • FIG. 13 (a) shows an SEI syntax structure for transmitting stereo_3D_info_data () according to an embodiment of the present invention.
  • the video stream including the information may be both a base layer and an enhancement layer, and signaling methods may use two methods: extending an existing SEI message and establishing a new SEI message.
  • the existing SEI message extension method can be used by extending the syntax structure shown in FIG. 13 to send auxiliary data to a video elementary stream.
  • SEI syntax of FIG. 13 (a) 0x47413934 ('GA94') and DVB1_data () values are used for user_identifier and user_structure as shown in FIG. 13 (b).
  • an extended value for transmitting 3D stereo related information is allocated to user_data_type_code and user_data_type_struecture () in DVB1_data as shown in FIG. 13 (c).
  • the assigned value is as shown in FIG.
  • FIG. 14 is a diagram illustrating a syntax structure of stereo_3D_info_data () according to an embodiment of the present invention.
  • the stereo_3D_mode field indicates which kind of stereo 3D service the current stream belongs to. Possible 3D modes include a frame-compatible compatible 3D service or a 2D service compatible 3D service.
  • the LR_first field is a field indicating whether the leftmost or rightmost pixel is left or right on the screen configuring a Frame-compatible 3D service for the current layer (or stream).
  • the stereo_format field is a field indicating the type of stereo_format of the current layer (or stream).
  • Stereo formats include Side-by-Side, Top & Bottom, and Checkerboard.
  • the left_view_sampling_mode field means a left image sampling mode for the current layer (or stream). If the stereo_format is side-by-side, this indicates whether the sampling in the vertical direction is extracted even line or odd line. When stereo_format is Top-and-bottom, this indicates whether the sampling in the horizontal direction is even or odd. In the case of the checker board format, it indicates which of two modes is used for sampling.
  • the right_view_sampling_mode field means the sampling mode of the right image for the current layer (or stream), and the details are the same as the left_view_sampling_mode field.
  • the LR_flag field is a field indicating whether the stream corresponding to the base layer among the streams constituting the 2D Service compatible 3D service is left or right. This may be signaled by informing whether or not L / R of the stream to which this data is delivered.
  • 15 is a diagram illustrating a method of signaling a 3D service mode by setting an SEI message according to an embodiment of the present invention.
  • Sei_message of FIG. 15A includes a payloadType field.
  • the payloadType field may define the type of each sei_payload. Accordingly, when payloadType has a value of 36 in the sei_payload syntax structure of FIG. 15B, the 3D service mode may be signaled using stereo_3D_info of FIG. 15C.
  • Stereo_3D_info Fields included in stereo_3D_info are stereo_3D_mode, LR_first, stereo_format, left_view_sampling_mode, right_view_sampling_mode, and LR_flag, and the description of each field is as described above.
  • Signaling using the component type at the system level informs the type of each stream through the stream_content and component_type values.
  • the 3D mode and the L / R configuration method can be determined based on the component value of the stream.
  • stream_content is set to 0x05.
  • the component_type has a value from 0x84 to 0x8B, and depending on each value, the component_type is a full resolution 3D broadcast signal mode, a Frame-compatible compatible mode, a side by side type or a top and bottom type, and a 2D service compatible mode. Whether or not it is a right image is determined.
  • the receiver grasps the 3D mode and the 3D screen configuration according to component type (stream_content and component_type) values. The grasped information is transferred to the L / R splitter module and used to extract left and right images in full HD.
  • 3D mode signaling at the system level may be performed based on ATSC PSIP in the case of the ATSC scheme.
  • PSIP's TVCT and EIT can be used.
  • TVCT uses a method of transmitting fields of stereo_3D_info_data using a descriptor of a virtual level.
  • the EIT may signal the 3D service mode for a future event by transmitting field information of stereo_3D_info_data using an event level descriptor.
  • 3D_stereo_info_descriptor may be used as a signaling method using a descriptor at the system level. It is located in the descriptor attached to each elementary stream in the SDT section of DVB. That is, it is located in the base layer stream or the enhancement layer stream, and the details include the same fields as those shown in FIG. 14.
  • the receiver parses stereo_3D_info_descriptor () included in the base layer or enhancement layer to grasp 3D mode information and 3D screen configuration information.
  • 3D mode may be signaled using Service_type, and there may be two cases of service configuration.
  • the stream delivered through the base layer and the stream delivered through the enhancement layer may belong to the same service or may belong to a separate service.
  • FIG. 17 is a diagram illustrating types of service types according to an embodiment of the present invention.
  • the service_type of the 2D service compatible 3D service is 0x22 and the service_type of the frame compatible 3D service is 0x1F. Through this, signaling of Phase 2 (2D service compatible) 3DTV service is possible.
  • the service including the stream corresponding to the base layer is 0x19 or 0x1C and includes the stream corresponding to the enhancement layer.
  • a service can be signaled by designating a new service_type of a type such as 0x25 and 0x28.
  • the receiver identifies the 3D mode information by looking at the service_type value through the above signaling signal. After parsing each element, the detailed information is determined based on the component type value or the contents of stereo_3D_info_descriptor () included.
  • the grasped information is transferred to the L / R splitter module and used to extract left and right images in full HD.
  • Signaling at the transport packet level can be signaled using an adaptation layer.
  • Adaptation_field () may be used in transport_packet () for signaling at the transport packet level, and in detail, signaling may be performed using a private_data_byte () field in Adaptation_field (). Details of the Adaptation_field () will be described with reference to FIG. 19.
  • FIG. 19 is a diagram illustrating a syntax structure of Adaptation_field () according to an embodiment of the present invention.
  • the private_data_byte entered includes the same contents as the stereo_3D_info_data () presented in the video level signaling.
  • transport_private_data_flag indicates whether a private_data byte exists.
  • the transport_private_data_length signals how many bytes the private_data_byte is, and the private_data_byte includes the content of stereo_3D_info_data ().
  • the operation sequence of the receiver is as follows.
  • stereo_3D_info_data () is signaled through private_data_byte, this information is read to grasp information about the 3D mode and the stereo broadcast configuration.
  • the receiver uses the identified information to control the output of the L / R splitter module, which receives the base stream and enhancement stream as inputs.
  • the operation of the receiver may be different depending on each mode when receiving the 3D image signal, but the operation of the receiver may vary depending on which 3D mode is used even when viewing the 2D view.
  • the receiver may select a base layer stream or an enhancement layer stream to display a 2D screen. In this case, it is not necessary to go through the L / R splitter module.
  • FIG. 20 illustrates a receiver structure for receiving and outputting 3D stereoscopic broadcast according to an embodiment of the present invention.
  • the receiver is tuner 40, demodulator 41, TP demux 42, SI processor 43, AVC layer decoder 44, MVC extension layer decoder 45, L / R splitter 46 and output It may include a formatter 47.
  • the TP demux 42, the SI processor 43, the AVC layer decoder 44, and the MVC extension layer decoder 45 may be implemented as one module, which may be referred to as a decoding module.
  • the receiver receives and demodulates a broadcast signal through the tuner 40 and the demodulator 41.
  • the demodulated broadcast signal is demultiplexed by the TP demux 42.
  • the switching point information is extracted by the TP demux 42 and transmitted to the SI processor 43 and then processed.
  • the demultiplexed base layer video and enhancement layer video are input to the AVC layer decoder 44 and the MVC extension layer decoder 45, respectively, and decoded.
  • the receiver may obtain the 3D mode information in this decoding process.
  • the decoded base layer video and enhancement layer video are input to the L / R splitter 46 and merged, switched or bypassed according to the signaled 3D mode and output as left and right images of full resolution.
  • the output left and right images are input to the output formatter 47 and are provided to the user as a 3D image of full resolution.
  • the transmitter structure includes left / right image capture (50), L / R separation of the acquired image, layer separation (51) according to service mode, video encoding (encoding) 52 for each layer, It works at the stage of mux & transport (53).
  • the present invention describes a layer separation step for full resolution.
  • the transmitter includes subtractors 54a and 54b, down sampling units 55a and 55b, residual units 56a and 56b, mixers 57a and 57b, base layer video encoder 58, inter-layer prediction 59 and enhancement.
  • the layer video encoder 60 may be included.
  • the transmitter down-sampling (55a, 55b) the left and right images to generate a frame compatible (Side-by-Side, Top-and-Bottom) video signal.
  • Subtractors 54a and 54b are then used to separate the difference signal between the full resolution left and right images and the down-sampled left and right images.
  • the signals passed through the subtractors 54a and 54b are input to the residuals 56a and 56b, and are composed of the remaining signals except for the down-sampled left and right images in the full resolution left and right images.
  • the down-sampling (55a, 55b) results for the left and right images are merged through the mixer 57b, input to the base layer video encoder 58, and encoded.
  • the output values of the residuals 56a and 56b for the left and right images are merged through the mixer 57a and input to the enhancement layer video encoder 60.
  • the enhancement layer video encoder 60 receives inter-layer prediction (inter-view prediction, 59 when using the MVC codec) information from the base layer video encoder 58 and encodes the enhancement layer based on the base layer.
  • the broadcast signal transmitter of the frame-compatible compatible service includes two down sampling units for down sampling the input left and right video signals, two subtractors for outputting the difference between the original left and right video signals and the down sampled left and right video signals, and down sampling.
  • a first mixer for merging the left and right video signals; a second mixer for merging the left and right residual video signals; outputs of the two subtractors; a first video encoder for encoding the output of the first mixer into a base layer; It may include a second video encoder for encoding in consideration of the inter-layer prediction result from the first video encoder.
  • the structure of the layer separation module is relatively simple.
  • 22 is a flowchart illustrating a broadcast signal receiving method according to a 3D mode for full resolution according to an embodiment of the present invention.
  • the receiver receives a digital broadcast signal including a video stream and signaling data (S20).
  • the receiver acquires signaling information for the 3D service mode at adaptation_field () of the transport packet level, the SI information of the system level, or the video level (S22).
  • the acquisition of signaling information at the video level is made from user_data_type_structure () in the case of MPEG video, and in the SEI region in case of AVC / H.264 video.
  • the receiver controls the operation of the L / R splitter according to the obtained 3D service mode information (S24).
  • the input image is divided into local splitters and merged and output according to each point in time.
  • the input image is output as it is or as it is switched. The detailed description is the same as described with reference to FIG. 12.
  • the receiver outputs an image signal output from the L / R splitter (S26) and provides it to the user.
  • Signaling information on 2D / 3D mode switching of the first embodiment described above and signaling information on 2D service compatible / frame-compatible compatible mode switching of the second embodiment are not only transmitted and used in different systems, but also one system. It is possible to be sent together in.
  • the receiver may receive and process any one or more of the two signaling signals, and control the operation of the decoding module according to the corresponding information.
  • the present invention may be applied in whole or in part to a digital broadcasting system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Systems (AREA)
  • Circuits Of Receivers In General (AREA)

Abstract

본 발명은 3차원 영상을 포함하는 디지털 방송 신호를 송/수신하는 장치 및 방법에 관한 것이다. 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치는 3차원 영상을 구현하는 비디오 스트림 및 시그널링 데이터를 포함하는 트랜스포트 패킷의 디지털 방송 신호를 수신하는 튜너, 상기 수신된 디지털 방송 신호를 복조하는 복조부, 상기 복조된 디지털 방송 신호로부터 모드 전환 정보를 추출하는 디코딩 모듈 및 상기 모드 전환 정보에 근거하여 디코딩된 영상 신호를 출력하는 출력 포맷터를 포함할 수 있다.

Description

디지털 방송 신호 송/수신 방법 및 장치
본 발명은 3차원 영상을 포함하는 디지털 방송 신호를 송/수신하는 장치 및 방법에 관한 것이다. 더욱 상세하게는, 3차원 영상을 포함하는 디지털 방송 신호를 디스플레이함에 있어서, 2차원 영상과 3차원 영상 사이에서 화면 전환이 일어나는 경우 이를 시그널링하기 위한 디지털 방송 신호 송/수신 장치 및 방법과 Frame-compatible compatible 서비스와 2D service compatible 서비스 간의 전환 발생 시 이를 시그널링하기 위한 디지털 방송 신호 송/수신 장치 및 방법에 관한 것이다.
3차원 텔레비젼(3-Dimensional Television, 3DTV)의 보급이 본격화됨에 따라 저장 매체에 의한 3차원(3D) 영상 컨텐츠 보급뿐만 아니라 디지털 방송에 의한 3차원 영상 컨텐츠의 전송이 활성화되고 있다.
일반적으로 3차원 영상은 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.
이러한 3차원 영상 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안(left eye)에서 시청되기 위한 좌영상(left view image)과 우안(right eye)에서 시청되기 우영상(right view image)을 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 좌영상과 우영상을 시청함으로써 3차원 영상 효과를 인지할 수 있도록 한다.
스테레오스코픽 3차원 영상 컨텐츠의 경우, 서로 다른 시점의 유사한 두 개의 영상을 송신하면 수신기가 두 개의 영상을 이용하여 3차원 영상으로 디스플레이하는 방식을 사용한다. 수신기에 의해 3차원 영상이 디스플레이되는 경우, 좌영상과 우영상 간의 disparity에 의해 양안시차가 발생하여 입체적인 영상이 제공된다.
디지털 방송은 2차원 영상 프로그램 또는 3차원 영상 프로그램을 포함하는 것이 가능하다. 예를 들면 3차원 영상으로 제작된 영화가 방송된 후 이어지는 광고 영상은 2차원 영상이 될 수 있다. 이 때 방송 수신기는 3차원 영상에서 2차원 영상으로 전환되는 시점을 정확히 파악해야 하며 만약 그 시점이 불확실 한 경우 사용자에게 정상적인 영상 프로그램을 제공하는 것이 불가능하다. 즉, 수신기가 여전히 3차원 영상 프로그램을 디스플레이하도록 동작하고 있는데 수신 프로그램은 2차원인 경우 좌영상 또는 우영상 중 하나의 영상이 존재하지 않게 되어 비정상적인 화면이 디스플레이 되는 문제점이 발생한다.
또한 수신기가 Full resolution을 지원하는 경우, 수신기는 방송국에서 송출되는 방송 신호에 따라 Frame-compatible compatible 모드 또는 2D service compatible 모드로 동작하는 것이 가능하다. 이 경우에도 수신기는 모드 간 전환 시점을 정확히 파악해야 하며 그렇지 않을 경우, 수신되는 신호와 수신기의 모드가 부합하지 않아 정상적인 화면을 사용자에게 제공할 수 없는 문제점이 발생한다.
본 발명은 위와 같은 문제점을 해결하기 위한 것으로써, 본 발명이 이루고자 하는 기술적 과제는 디지털 방송 신호를 수신하는 장치 및 방법에서, 전술한 문제점을 겪지 않으면서, 3차원 영상을 디스플레이하기 위한 시그널링 정보를 포함하는 디지털 방송 신호를 수신하여 2차원 또는 3차원 영상으로 디스플레이 가능하도록 하는 것이다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치는 3차원 영상을 구현하는 비디오 스트림 및 시그널링 데이터를 포함하는 트랜스포트 패킷의 디지털 방송 신호를 수신하는 튜너, 상기 수신된 디지털 방송 신호를 복조하는 복조부, 상기 복조된 디지털 방송 신호로부터 모드 전환 정보를 추출하는 디코딩 모듈 및 상기 모드 전환 정보에 근거하여 디코딩된 영상 신호를 출력하는 출력 포맷터를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치의 모드 전환 정보는 2차원 영상신호와 3차원 영상신호 간의 전환 시점에 대한 정보를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치의 상기 모드 전환 정보는 트랜스포트 패킷 레벨에서 adaptation_field()에 포함되거나 또는 비디오 레벨에서 비디오 헤더에 포함되는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치의 상기 디코딩 모듈은 상기 모드 전환 정보에 따라 동작 여부가 제어되는 제1 디코더 및 제2 디코더를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치의 상기 모드 전환 정보는 Frame-compatible compatible 모드와 2D service compatible 모드 간의 전환에 대한 정보를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치의 상기 모드 전환 정보는 트랜스포트 패킷 레벨에서 adaptation_field()에 포함되거나 시스템 레벨에서 SI 정보에 포함되거나 또는 비디오 레벨에서 비디오 헤더에 포함되어 수신되는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치의 상기 디코딩 모듈은 상기 모드 전환 정보에 따라 Frame-compatible compatible 모드인 경우 입력 영상 신호를 분리 및 병합하고, 2D service compatible 모드인 경우 입력 영상을 바이패스하거나 스위칭하는 L/R splitter를 포함하는 것을 특징으로 한다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법은 3차원 영상을 구현하는 비디오 스트림 및 시그널링 데이터를 포함하는 트랜스포트 패킷의 디지털 방송 신호를 수신하는 단계, 상기 수신된 디지털 방송 신호를 복조하는 단계, 상기 복조된 디지털 방송 신호로부터 모드 전환 정보를 추출하는 단계 및 상기 모드 전환 정보에 근거하여 디코딩된 영상 신호를 출력하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법의 상기 모드 전환 정보는 2차원 영상신호와 3차원 영상신호 간의 전환 시점에 대한 정보를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법의 상기 모드 전환 정보는 트랜스포트 패킷 레벨에서 adaptation_field()에 포함되거나 또는 비디오 레벨에서 비디오 헤더에 포함되는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법은 상기 모드 전환 정보를 추출하는 단계 후에, 상기 모드 전환 정보에 따라 제1 디코더 및 제2 디코더의 동작 여부를 제어하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법의 상기 모드 전환 정보는 Frame-compatible compatible 모드와 2D service compatible 모드 간의 전환에 대한 정보를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법의 상기 모드 전환 정보는 트랜스포트 패킷 레벨에서 adaptation_field()에 포함되거나 시스템 레벨에서 SI 정보에 포함되거나 또는 비디오 레벨에서 비디오 헤더에 포함되어 수신되는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법은 상기 모드 전환 정보를 추출하는 단계 후에, 상기 모드 전환 정보에 따라 Frame-compatible compatible 모드인 경우 입력 영상 신호를 분리 및 병합하고, 2D service compatible 모드인 경우 입력 영상을 바이패스하거나 스위칭하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 디지털 방송 신호 수신 장치 및 방법는 다음과 같은 효과를 가지고 있다.
본 발명의 일 실시예에 따르면, 디지털 방송 신호를 수신하여 2차원/3차원 전환시점을 정확하게 파악할 수 있는 효과가 있다.
본 발명의 일 실시예에 따르면, 디지털 방송 신호를 수신하여 Frame-compatible compatible 모드/2D service compatible 모드 전환 시점을 정확하게 파악할 수 할 수 있는 효과가 있다.
본 발명의 일 실시예에 따르면, 수신되는 디지털 방송 신호에 적합하게 실시간으로 수신기 동작을 제어할 수 있는 효과가 있다.
도 1은 기존 발명에 따른 dual codec에 기반한 stereoscopic 3DTV service 구성 방법의 실시 예를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 Dual stream에 기반한 스테레오스코픽 3DTV 시스템에서 2D/3D 모드 전환에 대한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 MPEG-2 트랜스포트 패킷의 신택스 구조를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 MPEG-2 트랜스포트 패킷의 adaptation_field의 신택스 구조를 나타낸 도면이다.
도 5(a)는 본 발명의 일 실시예에 따른 2D_3D_transition_info_data_byte의 신택스 구조를 나타낸 도면이다.
도 5(b)는 본 발명의 일 실시예에 따른 data_type 필드의 값에 대한 해석을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 2D_3D_transition_info_data_byte를 MPEG-2 video 내에서 transport하기 위한 방법을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 2D_3D_transition_info_data_byte를 AVC/H.264 video 내에서 transport하기 위한 방법을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 dual stream case에서 3D Stereoscopic 방송 수신 및 출력을 위한 수신기 구조를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 2D/3D 화면 전환에 따른 방송 신호 수신 방법을 나타낸 순서도이다.
도 10은 본 발명의 일 실시예에 따른 MVC 디코더를 갖는 3차원 영상신호 수신기의 기본 구조를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 L/R Splitter의 기본 구조를 나타내는 도면이다.
도 12는 본 발명의 일 실시예에 따른 MVC 코덱에 기반한 2가지 full resolution 3차원 영상 신호(HD 스테레오 모드) 지원 방법을 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 비디오 레벨에서 시그널링하기 위한 신택스 구조를 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 stereo_3D_info_data()의 신택스 구조를 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 SEI message를 설정하여 3D service mode를 시그널링하는 방법을 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 stream_content 및 component_type을 정의한 도면이다.
도 17은 본 발명의 일 실시예에 따른 서비스 타입의 종류를 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른 transport_packet()의 신택스 구조를 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 Adaptation_field()의 신택스 구조를 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른 3D Stereoscopic 방송 수신 및 출력을 위한 수신기 구조를 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 Frame-compatible compatible 3DTV 서비스를 위한 송신기 구조를 나타낸 도면이다.
도 22는 본 발명의 일 실시예에 따른 full resolution을 위한 3D mode에 따른 방송 신호 수신 방법을 나타낸 순서도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
3차원 영상 표현 방법은 2개의 시점을 고려하는 스테레오스코픽 방식과 3개 이상의 시점을 고려하는 멀티플 뷰 이미지(multiple view image) 방식(또는 다시점 방식)을 포함할 수 있다. 이에 비해 종래의 싱글 뷰 이미지(single view image) 방식은 모노스코픽 영상 방식이라고 지칭할 수 있다.
스테레오스코픽 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 레프트 뷰 이미지(이하 좌 영상)와 라이브 뷰 이미지(이하 우 영상)의 한 쌍의 이미지를 사용한다. 또는 기준 영상과 부가 영상의 한 쌍의 이미지를 사용한다. 다시점 방식은 일정한 거리나 각도를 갖는 3개 이상의 카메라에서 촬영하여 획득한 3개 이상의 이미지를 사용한다. 이하에서 스테레오스코픽 방식을 일 실시예로 본 발명을 설명하나 본 발명의 사상은 다시점 방식에도 적용될 수 있을 것이다.
본 발명에 따른 스테레오스코픽 방식은 Side-by-Side 방식, Top-Bottom 방식, checker board 방식 등이 있다. Side-by-Side 방식은 좌 영상과 우 영상을 각각 수평방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 left 영역에, 샘플링한 나머지 하나의 영상을 right 영역에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 방식이며, Top-Bottom 방식은 좌 영상과 우 영상을 각각 수직방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 Top 영역에, 샘플링한 나머지 하나의 영상을 bottom 영역에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 방식이다. 체커보드 방식은 좌 영상과 우 영상을 각각 수직 및 수평방향으로 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성하는 방식이다.
하지만 본 발명에 따른 스테레오스코픽 방식은 위의 예에 한정되거나 제한되는 것은 아니다. 일 예로 위에서 언급한 다운샘플링 작업을 거치지 아니하고 온전한 해상도를 갖는 두 개의 영상을 송수신하여 이를 3차원 영상 서비스로 제공하는 것도 가능하다. 온전한 해상도를 갖는 두 개의 영상을 송수신하는 경우를 full resolution 3차원 영상 서비스라고 칭할 수 있다. Full resolution 3차원 영상 서비스는 두 가지 방법으로 사용자에게 송신할 수 있다. 용어 정리를 위해 full resolution 3차원 영상 서비스를 제공하기 위한 수신기 모드를 간단히 설명한다.
먼저 Frame-compatible compatible 모드는 위에서 설명한 다운 샘플링을 거친 스테레오스코픽 방식의 3차원 영상 두 개를 송수신하는 방법이다. 수신기가 1/2로 다운 샘플링된 영상 두 개를 병합하여 좌영상과 우영상을 모두 full resolution으로 표현하고, 이들을 양안시차를 이용하여 full resolution 3차원 영상으로 제공하는 것이다.
2D service compatible 모드는 full resolution의 좌영상과 full resolution의 우영상을 각각 송신하는 것을 의미한다. 수신기는 위의 좌영상 및 우영상을 수신하여 양안시차를 통해 full resolution 3차원 영상으로 표현할 수 있다. 자세한 설명은 뒤에서 각 모드 간 전환을 위한 시그널링 신호와 함께 설명한다.
먼저 본 발명의 제1실시예로, 수신 방송 신호가 2차원 영상과 3차원 영상 사이에서 전환 발생 시 디코더 동작에 대한 준비 작업 및 이를 원활하게 수행하기 위해 그 시점을 시그널링하기 위한 장치 및 방법에 대해 설명한다.
Single 또는 Dual stream에 기반한 stereoscopic 3DTV system에서 2D/3D 전환 발생시 실제 frame 단위의 2D/3D 전환과 시그널링 데이터의 불일치 또는 synchronization 오류가 발생하는 경우에 다음과 같은 문제가 존재한다.
3D 모드에서 2D 모드로 전환하는 구간에는 a)실제 프로그램은 3D이나 수신된 시그널링 데이터에 의해 2D로 판단해 수신기가 2D 동작을 하는 경우, b) 실제 프로그램은 2D이나 시그널링 데이터에 의해 3D로 판단해 수신기가 3D 동작을 하는 경우가 있을 수 있다.
2D에서 3D 전환하는 구간에는 c) 실제 프로그램은 2D이나 수신된 시그널링 데이터는 3D로 정보를 줌으로써 수신기가 3D 동작을 하는 경우, d) 실제 프로그램은 3D이나 시그널링 데이터는 2D로 정보를 줌으로써 수신기가 2D로 동작하는 경우가 발생할 수 있다. 따라서 2D/3D 전환을 frame 단위로 정확하게 시그널링 할 수 있는 방법이 필요하다.
아래에서는 dual codec에 기반한 stereoscopic 3DTV 시스템에서 2D/3D 전환을 시그널링하기 위한 방법으로 1) 2D/3D 전환 정보를 MPEG-2 transport packet level에서 시그널링 하는 방법, 2) 2D/3D 전환 정보를 video level에서 시그널링 하는 방법을 설명한다. 이와 같은 방법은 single codec 기반 스테레오스코픽 3DTV 시스템에도 동일하게 적용될 수 있다.
도 1은 기존 발명에 따른 dual codec에 기반한 stereoscopic 3DTV service 구성 방법의 실시 예를 나타낸 도면이다.
듀얼 코덱에 기반한 스테레오스코픽 3DTV 서비스는 두 개의 비디오를 포함한다. 비디오1은 base view 비디오 스트림으로 이는 3DTV 서비스에서는 스테레오스코픽 시점들 중 하나로 사용되며, 기존의 TV 서비스에서는 2차원 영상으로 사용될 수 있다. 비디오2는 additional view 비디오 스트림으로 스테레오스코픽 3DTV 서비스를 제공하기 위해 비디오1의 enhancement로 사용된다.
3차원 영상 프로그램은 상기 비디오1과 비디오2를 모두 포함하며 싱글 코덱 기반인 경우 비디오1과 비디오2는 동일한 코덱을 이용하여 인코딩될 수 있고, 듀얼 코덱 기반인 경우 비디오1과 비디오2는 각기 독립적인 방법으로 압축되어 전송될 수 있다.
도 2는 본 발명의 일 실시예에 따른 Dual stream에 기반한 스테레오스코픽 3DTV 시스템에서 2D/3D 모드 전환에 대한 개념도이다.
도 2에서 3D 방송이 시작되면 비디오1과 비디오2가 함께 수신되고 따라서 3D 방송이 시작되는 시점에서 비디오 2에대한 디코더가 정확한 시간에 동작하기 시작해야 한다. 3D 방송이 종료되고 다시 2D 방송으로 전환되는 경우에는 비디오1만이 수신되므로 비디오2에 대한 디코더가 제 시간에 동작을 멈춰야하는 상황이다. 도면 하단부에서는 이러한 2D 또는 3D 방송 프로그램의 수신 시점과 디코더의 실제 동작 시점에 관련된 케이스를 시간에 따라 구분해 놓고 있다.
Case A는 수신 프로그램이 2D로 전환되는 경우, 시그널링 데이터가 가리키는 전환 시점이 실제로 전환이 발생하는 시점보다 빠른 경우이다. 즉, 실제 3D 프로그램이 종료되지 않은 시점에서 수신기가 3D 프로그램의 마지막 부분을 2D 모드로 출력하는 경우가 발생한다. 이 부분은 의도된 동작은 아니지만 출력되는 영상만 고려한다면 입체영상은 아니지만 2D 상태에서 정상적인 영상이 나온다는 점에서 상대적으로 덜 critical 한 케이스로 볼 수 있다.
Case B는 수신 프로그램이 2D로 전환되는 경우, 실제로 전환되는 시점보다 시그널링 신호가 가리키는 전환시간이 늦는 경우 Video 2에 대한 디코더가 늦게 꺼지게 되며 이러한 디코더가 잘못 켜져 있는 구간에서 오동작이 발생할 수 있다. 즉, 실제 수신되는 신호는 2D 신호인데 수신기가 이를 3D 신호로 간주하여 처리하는 과정에서 잘못된 동작을 할 수 있다. 예를 들어 부가영상 화면으로는 마지막에 받은 3D 영상의 정지 영상이 유지되고 (underflow), 기준 영상에는 수신 중인 2D 전용 영상을 디스플레이하여 비정상적인 조합의 3D 화면으로 출력하는 상황이 발생할 수 있다.
Case C는 수신 프로그램이 3D로 전환되는 경우, 실제로 전환되는 시점보다 시그널링 신호가 먼저 와서 디코더가 먼저 동작을 시작하면 디코더가 잘못 켜져 있는 구간에서 오동작이 발생할 수 있다. 즉, 앞서 2D 전환시의 오동작하는 경우와 마찬가지로, 실제 수신되는 신호는 2D 신호인데 수신기가 이를 3D 신호로 간주하여 처리하는 과정에서 잘못된 동작을 할 수 있다. 예를 들어 부가영상 스트림이 없는 상태에서 디코더만 헛도는 (underflow) 현상이 발생할 수 있다. 이 경우에는 부가영상이 검은 색 화면만으로 표시되는 상황에서 3D가 동작하는 현상 발생할 수 있다.
Case D는 수신 프로그램이 3D로 전환되는 경우 시그널링 데이터가 가리키는 전환 시점이 실제 전환 발생 시점보다 늦는 경우이다. 이는 실제 3D 프로그램이 시작되었지만 2D 모드가 일시적으로 유지되는 경우이다. Case A와 마찬가지로 의도된 동작은 아니지만 디스플레이 관점에서 보면 정상적인 2D 영상이 출력된다는 점에서 상대적으로 덜 critical 한 문제점이다.
이와 같은 문제점을 해결하기 위한 방법1로 기존 signaling 방식은 유지하면서 수신기 구현을 통해 critical error를 회피하고, 전환 시점을 조절하여 안전하게 2D/3D 모드를 전환하는 것이 가능하다.
정확한 시점에 2D/3D 모드 전환이 가능하기 위해서는 가급적이면 2D/3D 모드 전환을 frame accurate하게 수행하는 것이 원칙이나, 이에 대한 signaling 방식이 부재한 상황에서 정확한 전환을 기대하기는 어렵다. 따라서 차선책으로 2D에서 3D로 전환하는 경우, critical error를 피하기 위해 실제 시그널링 데이터에 의해 파악된 전환시점보다 기설정된 시간만큼 지연시켜(실시예 : 1~2초 정도) 전환을 수행한다. 이를 통해 상기 case C에 해당하는 critical한 error case를 피할 수 있다.
2D에서 3D로 전환하는 경우, SI level 시그널링을 통해 additional video에 대한 signaling 정보가 포함되었다 하더라도 모드 전환을 바로 수행하지 않고, additional video에 해당되는 PID 스트림이 detect 될 때 3D 모드로 전환한다. 즉, demux에서 additional video (예 : AVC/H.264 video)에 해당되는 PID가 검출되면 3D 모드로 전환한다.
3D에서 2D로 전환하는 경우, critical error를 피하기 위해 실제 시그널링 데이터에 의해 파악된 전환시점보다 빨리 (실시예 : 1~2초 정도) 전환을 수행한다. 이러한 방법을 통해 case B에 해당하는 critical한 error 상황을 피할 수 있다.
또한 다른 방법2로는 Transport packet의 adaptation layer를 이용한 2D/3D 전환 signaling 방법이 있다.
도 3은 본 발명의 일 실시예에 따른 MPEG-2 트랜스포트 패킷의 신택스 구조를 나타낸 도면이다. 여기서 트랜스포트 패킷 레벨 시그널링 방법은 트랜스포트 패킷의 adaptation_field를 이용하여 2D/3D 전환 신호를 시그널링하는 것이 가능하다.
도 4는 본 발명의 일 실시예에 따른 MPEG-2 트랜스포트 패킷의 adaptation_field의 신택스 구조를 나타낸 도면이다. 동기화를 위해 adaptation_field()의 transport_private_data_flag를 1로 설정하고, transport_private_data_length를 이용해 private_data_byte가 몇 byte인지를 시그널링한다. 본 발명의 실시예에서는 아래에서 설명할 시그널링 되는 전환 신호의 비트 수가 40이므로 transport_private_data_length는 5의 값을 갖는다. 8비트의 크기를 갖는 private_data_byte가 transport_private_data_length 만큼 5번 반복되어 40비트의 전환 신호를 표현하는 것이 가능하기 때문이다. private_data_byte는 도 5에서 설명할 2D_3D_transition_info_data_byte를 포함하며, 수신기는 이를 분석하여 전환시점에 대한 정보를 파악한다. 수신기는 이를 통해 additional view video stream에 대한 video decoder 및 관련 display module의 출력을 제어한다.
도 5(a)는 본 발명의 일 실시예에 따른 2D_3D_transition_info_data_byte의 신택스 구조를 나타낸 도면이다.
2D_3D_transition_info_data_byte는 MPEG-2 transport packet의 adaptation field 영역에서 private_data_byte 부분에 위치할 수 있으며 2D/3D 전환 시점을 알려주기 위한 정보를 포함한다. transition_type은 수신 방송 신호의 전환이 2D로의 전환인지 3D로의 전환인지를 나타낼 수 있다. 이 필드가 ‘0’이면 2D에서 3D로의 전환을 의미하고 ‘1’이면 3D에서 2D로의 전환을 의미한다. data_type은 transition_count가 어떤 단위인지를 나타낼 수 있다. 이에 대한 자세한 의미는 5(b)와 같다. transition_count는 실제 전환이 일어나는 시간을 의미한다.
도 5(b)는 본 발명의 일 실시예에 따른 data_type 필드의 값에 대한 해석을 나타낸 도면이다. 예를 들어 data_type=‘0x00’인 경우 transition_count 값에 의해 명시된 숫자만큼의 packet 이후에 2D (또는 3D) transition이 발생한다. 남은 시간을 count하는 과정에서 2D_3D_transition_info_data_byte가 포함된 packet은 포함하지 않으며 아울러 같은 해당 packet과 동일한 PID 값을 갖는 packet만을 count 한다.
Data_type=‘0x01’인 경우는 transition_count에서 명시한 개수만큼의 picture frame 이후에 transition이 발생함을 의미한다.
Data_type=‘0x02’인 경우에 transition_count는 실제 transition이 발생하는 시점에 해당하는 PTS 값을 명확하게 알려준다. 이 때, 사용하는 PCR 값은 최근에 수신한 PCR을 기준으로 한다. PCR이 update되는 경우 필요에 따라 이 값도 다시 전송해야 한다.
방법3으로는 2D/3D 전환 정보를 video level에서 시그널링 하는 방법을 사용할 수 있다.
도 6은 본 발명의 일 실시예에 따른 2D_3D_transition_info_data_byte를 MPEG-2 video 내에서 transport하기 위한 방법을 나타낸 도면이다.
2D_3D_transition_info_data_byte는 기준영상(base view video stream)에서 전환시점을 시그널링 할 수 있다. 수신기는 기준 영상 MPEG-2 비디오의 user_data()에 포함된 user_structure()를 참조한다. 이 때 user_data_start_code는 0x0000 01B2이고 user_data_identifier는 0x4741 3934의 값을 갖는 ATSC_user_data()를 참조한다. 최종적으로 user_data_type_structure() 내의 user_data_type_code 0x11을 갖는 2d_3d_transition_info_data_byte()로부터 전환시점에 대한 정보를 획득하는 것이 가능하다.
MPEG-2 비디오가 부가 영상인 경우에 2D_3D_transition_info_data를 통해 signaling 할 수 있는 정보는 3D에서 2D로의 전환이다.
2d_3d_transition_info_data ( )는 Picture Extension and User Data 영역의 user_data ( )에 포함되어 전송된다. 수신기는 user_data_start_code 값이 0x0000 01B2이며 user_data_identifier 값이 0x4741 3934인 user_data( )를 추출한다. User_structure ( ) 데이터를 읽어서 user_data_type_code가 0x11인 data를 추출한다. 2D_3D_transition_info_data ( )를 통해 2D/3D 전환 종류 및 2D/3D 전환 시점을 파악한다.
도 7은 본 발명의 일 실시예에 따른 2D_3D_transition_info_data_byte를 AVC/H.264 video 내에서 transport하기 위한 방법을 나타낸 도면이다.
2D_3D_transition_info_data_byte는 부가영상(additional view video stream)에서 전환시점을 시그널링 할 수 있다. H.264 (또는 AVC) Video의 경우에는 SEI (Supplemental Enhancement Information) 영역에 해당 정보를 전송하며 user_data_registered_itu_t_135 ( )에 user_identifier와 user_structure를 포함하도록 전송한다. 즉, user_data ( ) 대신 SEI payloads에 해당 정보를 transport 한다. SEI는 MPEG-2의 picture extension and user data의 역할을 수행하며 위치 또한 비슷하게 constraint 할 수 있다.
AVC 비디오가 부가 영상인 경우에 2D_3D_transition_info_data를 통해 signaling 할 수 있는 정보는 3D에서 2D로의 전환이다.
2D_3D_transition_info_data ( )는 SEI RBSP (raw byte sequence payload)를 통해 수신된다. AVC NAL unit을 parsing 하여 nal_unit_type 값이 6이면 SEI 데이터이며 payloadType이 4인 user_data_registered_itu_t_t35 SEI message를 읽어 user_identifier 값을 확인한다. user_identifier 값이 0x4741 3934에 해당하는 user_structure ( )를 읽어서 user_data_type_code가 0x11인 data를 추출한다. 2D_3D_transition_info_data ( )를 파싱해 3D에서 2D로의 전환 시점을 파악할 수 있다.
도 8은 본 발명의 일 실시예에 따른 dual stream case에서 3D Stereoscopic 방송 수신 및 출력을 위한 수신기 구조를 나타낸 도면이다.
수신기는 튜너(1), 복조부(2), TP 디먹스(3), SI 프로세서(4), 제 1,2 비디오 디코더(5a, 5b), 화상 엔진(Picture engine 6a, 6b), L/R 동기부(L/R synchronizer, 7) 및 출력포맷터(8)를 포함할 수 있다. 여기서 TP 디먹스(3), SI 프로세서(4) 및 제 1,2 비디오 디코더(5a, 5b)는 하나의 모듈로 구현될 수 있으며 이를 디코딩 모듈로 칭할 수 있다.
수신기는 튜너(1) 및 복조부(2)를 통해 방송 신호를 수신, 복조한다. 복조된 방송 신호는 디먹스(3)에 의해 역다중화된다. 위에서 설명한 방법2의 트랜스포트 패킷에 전환 시점 정보를 포함시켜 송수신하는 경우는 TP 디먹스(3)에 의해 전환 시점 정보가 추출되어 SI 프로세서(4)로 전달 된 후 처리된다. 수신기는 전환 시점 정보를 이용하여 비디오2에 대한 디코딩 및 화상 처리 여부를 결정하여 제2 비디오 디코더(5b) 및 화상엔진(6b)의 동작 여부를 결정하는 것이 가능하다.
역다중화된 비디오1과 비디오2는 각각 제1 비디오 디코더(5a), 제2 비디오 디코더(5b)로 입력되어 디코딩된다. 위에서 설명한 방법3의 MPEG-2 또는 AVC/H.264 비디오 내에 전환 시점 정보를 포함시켜 송수신하는 경우에, 전환 시점 정보는 비디오 디코더에서 디코딩시 추출된다. 이 경우에도 수신기는 전환 시점 정보를 이용하여 비디오2에 대한 디코딩 및 화상 처리 여부를 결정하여 제2 비디오 디코더(5b) 및 화상엔진(6b)의 동작 여부를 결정하는 것이 가능하다.
디코딩된 비디오 1,2는 각각 화상 엔진(6a, 6b)을 거쳐 L/R 동기부(7)로 입력되어 좌영상과 우영상의 동기를 맞춘다. 동기화된 좌영상 및 우영상은 출력 포맷터(8)로 입력되어 사용자에게 3차원 영상으로 제공된다.
도 9는 본 발명의 일 실시예에 따른 2D/3D 화면 전환에 따른 방송 신호 수신 방법을 나타낸 순서도이다.
수신기는 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신한다(S10). 수신기는 트랜스포트 패킷 레벨의 adaptation_field() 또는 비디오 레벨에서 2D/3D 전환에 대한 시그널링 정보를 획득한다(S12). 이 때 비디오 레벨에서의 시그널링 정보 획득은, MPEG 비디오인 경우에 user_data_type_structure()로부터 이루어지고, AVC/H.264 비디오인 경우에 SEI 영역에서 이루어진다.
수신기는 획득된 2D/3D 전환 정보에 따라 제1, 제2 비디오 디코더의 동작을 제어한다(S14). 2D에서 3D로의 전환인 경우 제1, 제2 비디오 디코더를 모두 동작 시키며, 3D에서 2D로의 전환인 경우에는 제2 비디오 디코더의 동작을 일시적으로 정지 시킨다.
수신기는 비디오 디코더로부터 출력되는 영상신호를 출력하여(S16) 사용자에게 제공한다.
다음으로 본 발명의 제2실시예로, full resolution을 지원하는 방송 신호가 수신되는 경우, 해당 방송 신호가 Frame-compatible compatible 신호 또는 2D service compatible 신호 중 어느 것인지를 시그널링하여 각 신호 종류에 적합하게 수신기의 L/R 스플리터가 동작하도록 하는 장치 및 방법에 대해 설명한다. 본 발명의 제2실시예는 multi-layer codec에 기반한 3DTV가 서로 다른 두가지 스테레오 3D 방송 모드에 대응하기 위한 방안을 제시한다. 특히 적절한 시그널링 방법 및 해당 시그널링을 기반으로 그에 맞는 3D 디스플레이 출력을 제어하기 위한 방법 등을 제안한다.
도 10은 본 발명의 일 실시예에 따른 MVC 디코더를 갖는 3차원 영상신호 수신기의 기본 구조를 나타낸 도면이다.
Stereo 3D 방송을 지원하는 수신기의 3D video decoder 모듈(10) 부터 3D Formatter(18)까지의 기본 구조는 도 10와 같다. Multi-layer video decoder(10)로 부터 나온 비디오 스트림들은 L/R Splitter 모듈(14)을 거쳐 좌영상 및 우영상으로 분리된다. 본 실시 예에서는 편의상 MVC 디코더를 예로 들어 설명한다.
MVC 디코더는 기준 영상을 AVC 디코더(11)로 복호하고 그 결과를 바탕으로 Inter-layer prediction(12)을 수행하여 Enhancement 디코더(13)에 입력한다. Enhancement 디코더(13)는 Inter-layer prediction(12)의 결과와 입력되는 부가 영상 데이터를 조합하여 부가 영상을 디코딩한다. AVC 디코더(11) 및 Enhancement 디코더(13)에서 복호된 영상은 L/R splitter(14)에 입력되어 좌영상과 우영상으로 분리된다. 분리된 좌영상과 우영상은 각각 deinterlacer(16a, 16b) 및 Frame rate controller(FRC, 17a, 17b)를 거쳐 3D 포맷터(18)를 통해 사용자에게 3차원 영상으로 제공된다. 이 때 SI 프로세서(15)는 3D video decoder 모듈(10) 및 L/R splitter(14)에 시그널링 정보를 전달하여 디코더와 스플릿터가 3D 방송 서비스의 종류에 적합하게 동작하도록 할 수 있다.
기존의 수신기에서는 (2D) Service-compatible 3D 방송 서비스 또는 Frame-compatible compatible (FCC) 3D 방송 서비스 중 어느 하나에만 국한된 동작이 가능하였다. 본 발명에서는 모든 경우에 대해 3D 출력 및 2D 출력을 가능케 하는 시나리오를 포함한다. 이를 위해서는 새로운 L/R Splitter module(14)에서의 수신기 동작 메커니즘 및 SI를 통한 system layer에서의 시그널링이 필요하다.
도 11은 본 발명의 일 실시예에 따른 L/R Splitter의 기본 구조를 나타내는 도면이다.
L/R Splitter 모듈(23)의 입력 값으로 들어오는 Base stream(20) 및 Enhancement stream(21)은 어떤 스테레오 방송 모드인지 여부에 따라 다르게 처리된다.
Frame-compatible compatible 3D 방송의 경우, base layer로 전송되는 비디오 스트림(20)은 Frame-compatible 3D 형태의 영상이다. Enhancement layer로 전송되는 비디오 스트림(21) 역시 Frame-compatible 3D 형태의 영상일 수도 있고 경우에 따라 다른 형태의 data가 될 수도 있다.
Service-compatible 3D 방송의 경우, base layer로 전송되는 비디오 스트림(20)은 기존의 Full HD 2D 방송과 호환되는 2D 형태의 영상이다. Enhancement layer로 전송되는 비디오 스트림(21)은 2D 형태의 영상일 수도 있고, 경우에 따라 depth map과 같은 다른 형태의 data가 될 수도 있다
L/R splitter(23)는 SI 프로세서(15) 또는 SEI messages(22)로부터 전달되는 3D 방송의 종류에 부합하도록 두 개의 비디오 스트림(20,21)을 조합하며, 그 결과로 full resolution의 우영상(24) 및 좌영상(25)을 출력할 수 있다.
각 모드 별로 스트림을 조합하는 방법은 상이하며 아래의 도 12에 설명된 바와 같다.
도 12는 본 발명의 일 실시예에 따른 MVC 코덱에 기반한 2가지 full resolution 3차원 영상 신호(HD 스테레오 모드) 지원 방법을 나타낸 도면이다.
도 12(a)는 수신 신호가 Frame-compatible compatible mode인 경우 L/R splitter(23)의 동작을 도시하였다.
Frame-compatible compatible mode 서비스는 기존의 frame-compatible(Phase 1) 서비스와 호환되는 구조로, 영상 신호는 Phase 1 3DTV 서비스에 해당하는 Base layer (Lb/Rb, 31)과 Enhancement layer (Le/Re, 32)로 구성된다. 먼저 Base layer를 통해 수신된 video 신호(Lb/Rb)는 디코딩 후 L/R splitter(23) 내의 local splitter를 통해 half-resolution Left 및 Right 영상으로 분리된다. 또한 Enhancement layer를 통해 수신된 video 신호(Le/Re) 역시 디코딩 후 local splitter를 통해 half-resolution Left 및 Right 영상으로 분리된다. 디코딩 후 split된 video 신호는 동일한 eye-view 단위로 merge를 함으로써 full-resolution 영상을 생성한다.
즉, Lb와 Le를 합쳐 full resolution Left 영상 Lf(34)를 생성하며 Rb와 Re를 합쳐 full resolution Right 영상 Rf(33)를 생성한다. 이렇게 생성된 full resolution 영상 pair (Lf 및 Rf)는 결과적으로 3D formatter를 거쳐 최종적으로 3D Display를 통해 출력된다.
도 12(b)는 수신 신호가 2D compatible mode인 경우 L/R splitter(23)의 동작을 도시하였다.
2D compatible mode 서비스는 기존의 2차원 HD 서비스와 호환되는 구조로 영상 신호는 HD(2D) 서비스에 해당하는 base layer와 Enhancement layer로 구성된다. 이 때, Base layer를 통해 좌우 중 하나의 eye-view를 선택해서 전송하고 Enhancement layer를 통해 나머지 하나의 eye-view를 전송한다. 본 실시 예에서는 Base layer를 통해 좌영상(Lb, 35), 그리고 Enhancement layer를 통해 우영상(Re, 36)을 전송한다. 이는 실시예에 따라 Base layer를 통해 우영상(Rb), Enhancement layer를 통해 좌영상(Le)을 전송하는 것도 가능하다.
수신된 Base와 Enhancement layer는 각각 대응되는 eye-view에 따라 스위칭(1, 2로 표시한 블록)을 거쳐 대응되는 view position에 출력된다. 즉, Base layer의 left/right 여부에 따라 Lf(34) 또는 Rf(33)로의 매칭 여부가 결정되며 reconstruct 된 full resolution video Lf 및 Rf는 각각 3D formatter를 거쳐 최종적으로 3D Display를 통해 출력된다.
Frame-compatible compatible mode, 2D compatible mode의 두가지 경우 모두, base layer를 통해 받은 스트림과 enhancement layer로 받은 스트림을 조합하여 Full resolution 3D 방송을 출력할 수 있다. 수신되는 스트림은 다르지만, L/R Splitter 모듈 밖으로 출력되는 것은 Full HD Left 영상 및 Full HD Right 영상으로 동일하므로 하나의 L/R Splitter 모듈에서 도 12(a)와 12(b)의 처리 방식을 모두 지원하게 되면, 수신기는 어떠한 모드를 수신하더라도 Full resolution 3D 방송을 제공하는 것이 가능하다. 아래에서는 full resolution 3D 방송 신호가 위의 두 가지 모드 중 어느 모드로 송수신되는지를 시그널링하는 방법에 대해 설명한다.
시그널링 해 주어야 하는 주요 부분은 어떠한 3D 모드인지 여부이며, 각 모드 별 출력을 위해 필요한 정보는 다음과 같다.
Frame-compatible compatible mode의 경우, 방송 신호의 Format type을 시그널링해야 하며 예를 들어 Side by side type, Top and bottom type 또는 Checkerboard type등이 될 수 있다. 또한 좌영상과 우영상의 위치 및 샘플링 모드(even, odd) 정보도 함께 시그널링 되어야 한다.
2D service compatible mode의 경우, base layer stream이 좌영상인지 또는 enhancement layer stream이 좌영상인지 여부를 나타내는 좌영상과 우영상의 위치 정보를 시그널링해야 한다.
모드 정보 및 각 모드 별 세부 정보는 video level에서의 시그널링, system level에서의 시그널링 또는 트랜스포트 패킷 레벨에서의 시그널링을 통해 전달될 수 있다.
비디오 레벨에서 3D 모드를 시그널링 하는 경우 기존의 SEI message 확장 또는 새로운 SEI message 지정의 두가지 방법이 있다.
시스템 레벨에서 3D 모드를 시그널링할 경우 Component type, 새로운 descriptor 또는 Service type의 세가지 항목을 이용할 수 있다.
트랜스포트 패킷 레벨에서의 3D 모드를 시그널링할 경우 Adaptation layer를 이용한 방법에서 count 정보 및/또는 3D 모드 정보 항목을 이용할 수 있다.
위의 세 가지 방법을 사용함에 있어, 시청 도중에 3D 모드 간 전환이 일어날 경우 시스템 레벨의 시그널링만으로는 전환 시점에 정확하게 대응하기 어렵다. 그러므로 비디오 레벨에서 3D 모드간 전환 정보를 알려줄 필요가 있다. 따라서 transport packet 또는 video level에서 시그널링해주는 방안이 필요하다. 즉, 시스템 레벨의 시그널링은 위 video level 또는 Transport packet level signaling 방법이 수반되어야 한다.
도 13은 본 발명의 일 실시예에 따른 비디오 레벨에서 시그널링하기 위한 신택스 구조를 나타낸 도면이다.
H.264 (또는 AVC) Video의 경우에는 SEI (Supplemental Enhancement Information) 영역을 활용한 시그널링이 가능하다.
도 13(a)는 본 발명의 일 실시예에 따른 stereo_3D_info_data()를 전송하기 위한 SEI 신택스 구조를 나타낸다. user_data_registered_itu_t_135()에 user_identifier와 user_structure를 포함하도록 전송한다. 정보가 포함되는 비디오 스트림은 base layer와 enhancement layer가 모두 가능하며 시그널링 방법은 기존의 SEI message를 확장하는 것과 새로운 SEI message 를 정하는 방법의 두가지를 이용하는 것이 가능하다.
먼저 기존의 SEI message 확장하는 방법은 비디오 elementary stream에 보조 데이터를 보내기 위해 도 13에 제시된 신택스 구조를 확장하여 이용할 수 있다. 도 13(a)의 SEI syntax에서 user_identifier 및 user_structure 에는 도 13(b)와 같이 0x47413934(‘GA94’) 및 DVB1_data() 값을 사용한다. 이때, 도 13(c)와 같이 DVB1_data 내의 user_data_type_code 및 user_data_type_struecture()에 3D 스테레오 관련 정보를 전송하기 위한 확장된 값을 할당하여 사용한다. 이 때 할당되는 값은 도 13(d)와 같으며 본 발명의 일 실시예에 따른 User_data_type_code 값은 0x04이고 그에 따른 user_data_type_structure()의 내용은 stereo_3D_info_data()가 될 수 있다.
도 14는 본 발명의 일 실시예에 따른 stereo_3D_info_data()의 신택스 구조를 나타낸 도면이다.
stereo_3D_mode 필드는 현재의 스트림이 어떤 종류의 stereo 3D service에 속하는지를 알려주는 필드로서, 가능한 3D 모드는 frame-compatible compatible 3D service나 2D service compatible 3D service 등이 있다.
LR_first 필드는 현재 layer (또는 stream)에 대해 Frame-compatible 3D 서비스를 구성하는 화면에서 가장 왼쪽 위에 위치하는 픽셀이 left인지 right인지 여부를 알려주는 필드이다.
stereo_format 필드는 현재 layer (또는 stream) 의 stereo_format 종류를 알려주는 필드이다. Stereo Format의 종류에는 Side-by-Side, Top & Bottom, Checkerboard 등이 있다.
left_view_sampling_mode 필드는 현재 layer (또는 stream) 에 대한 좌영상 sampling mode를 의미한다. Stereo_format이 Side-by-side인 경우, vertical 방향의 sampling이 even line을 추출한 것인지 odd line을 추출한 것인지 여부를 나타낸다. stereo_format이 Top-and-bottom인 경우, horizontal 방향의 sampling이 even인지 odd인지 여부를 나타낸다. Checker board 포맷인 경우에도 sampling 시 가능한 두가지 방식 중 어느 mode를 사용했는지 여부를 나타낸다.
right_view_sampling_mode 필드는 현재 layer (또는 stream) 에 대한 우영상의 sampling mode를 의미하며 세부 사항은 left_view_sampling_mode 필드와 동일하다.
LR_flag 필드는 2D Service compatible 3D 서비스를 구성하는 스트림 중 base layer에 해당하는 스트림이 left인지 right인지 여부를 알려주는 필드이다. 이는 이 data가 전달되는 스트림의 L/R 여부를 알려주는 식으로 시그널링 될 수도 있다.
다음으로 새로운 SEI message 를 설정하는 방법에 대해 설명한다. 이는 앞서 설명된 user_data_registered_itu_t_135( )를 사용하지 않고 3D service mode를 나타내기 위해 별도로 새로운 SEI message를 정의하는 경우이며 다음과 같은 방법을 사용한다.
도 15는 본 발명의 일 실시예에 따른 SEI message를 설정하여 3D service mode를 시그널링하는 방법을 나타낸 도면이다.
도 15(a)의 sei_message는 payloadType 필드를 포함하고 있다. payloadType 필드는 각 sei_payload의 타입을 정의할 수 있다. 이에 따라 도 15(b)의 sei_payload 신택스 구조에서 payloadType이 36의 값을 갖는 경우 도 15(c)의 stereo_3D_info를 이용하여 3D service mode를 시그널링할 수 있다.
stereo_3D_info에 포함된 필드는 stereo_3D_mode, LR_first, stereo_format, left_view_sampling_mode, right_view_sampling_mode, LR_flag이고 각 필드에 대한 설명은 위에서 설명한 바와 같다.
시스템 레벨에서 3D 모드를 시그널링할 경우 DVB SI의 Component type, 3D Stereo descriptor 또는 Service type의 세가지 항목을 이용할 수 있다.
시스템 레벨에서 Component type을 이용한 시그널링은 각 스트림의 종류를 stream_content 및 component_type 값을 통해 알려주므로, 이때 스트림의 컴포넌트 값을 보고 어느 3D 모드에 속하는지 여부 및 L/R 구성 방식을 판단 가능하다.
도 16은 본 발명의 일 실시예에 따른 stream_content 및 component_type을 정의한 도면이다. 시스템 레벨에서 3D 모드를 시그널링함에 있어 stream_content는 0x05로 설정된다. component_type은 0x84부터 0x8B의 값을 가지며, 각 값에 따라 full resolution 3D 방송 신호의 모드, Frame-compatible compatible mode의 경우, Side by side type 또는 Top and bottom type 여부, 2D service compatible mode의 경우 좌영상 또는 우영상인지 여부 등이 결정된다. 수신기는 component type (stream_content 및 component_type) 값에 따라 3D 모드 및 3D 화면 구성을 파악한다. 파악된 정보는 L/R splitter 모듈로 전달되어, Full HD 인 좌영상과 우영상을 추출하는 데 사용된다.
이와 유사하게 시스템 레벨에서의 3D 모드 시그널링은 ATSC 방식의 경우 ATSC PSIP에 기반하여 수행하는 것이 가능하다. PSIP의 TVCT, EIT를 이용할 수 있다. TVCT에서는 virtual level의 descriptor를 이용해 stereo_3D_info_data의 필드들을 전송하는 방법을 사용한다. 아울러 EIT에서는 event level의 descriptor를 이용해 stereo_3D_info_data의 필드 정보를 전송함으로써 향후 event에 대한 3D 서비스 모드를 시그널링 할 수 있다.
시스템 레벨에서 descriptor를 이용하여 시그널링하는 방법은 3D_stereo_info_descriptor를 이용할 수 있다. 이는 DVB의 SDT 섹션 내의 각 elementary stream에 붙는 descriptor에 위치한다. 즉, base layer stream 또는 enhancement layer stream에 위치하며, 세부 내용은 앞서 도 14에서 제시된 내용과 동일한 필드를 포함한다. 수신기는 base layer 또는 enhancement layer 에 포함된 stereo_3D_info_descriptor() 를 파싱하여 3D 모드 정보 및 3D 화면 구성 정보를 파악한다.
시스템 레벨에서 Service_type을 이용하여 3D 모드를 시그널링 할 수도 있으며, 서비스 구성은 다음의 두가지 경우가 있을 수 있다. Base layer를 통해 전달되는 스트림과 enhancement layer를 통해 전달되는 스트림이 동일한 서비스에 속하는 경우와, 혹은 별도의 서비스에 속하는 경우가 있을 수 있다.
도 17은 본 발명의 일 실시예에 따른 서비스 타입의 종류를 나타낸 도면이다. 먼저 Base layer를 통해 전달되는 스트림과 enhancement layer를 통해 전달되는 스트림이 동일한 서비스에 속할 경우, 2D service compatible 3D 서비스의 service_type은 0x22이고, Frame compatible 3D 서비스의 service_type은 0x1F이다. 이를 통해 Phase 2(2D service compatible) 3DTV service임을 시그널링 가능하다.
다음으로 Base layer를 통해 전달되는 스트림과 enhancement layer를 통해 전달되는 스트림이 서로 다른 서비스에 속하는 경우, base layer에 해당하는 스트림을 포함하는 서비스는 0x19 또는 0x1C이며, enhancement layer에 해당하는 스트림을 포함하는 서비스는 0x25 및 0x28 과 같은 형태의 새로운 service_type 으로 지정하여 시그널링 가능하다. 각각 다른 서비스로 전송되는 경우에는, 두개의 서비스 중 하나만 확인해도 어느 3D 모드인지를 알 수 있다.
위와 같은 시그널링 신호를 통해 수신기는 service_type 값을 보고 3D 모드 정보를 파악한다. 세부 정보는 각 element를 파싱한 후에 component type 값이나 포함된 stereo_3D_info_descriptor() 내용을 토대로 파악한다. 파악된 정보는 L/R splitter 모듈로 전달되어, Full HD 인 좌영상과 우영상을 추출하는 데 사용된다.
트랜스포트 패킷 레벨에서의 시그널링은 Adaptation layer를 이용하여 시그널링하는 것이 가능하다.
도 18은 본 발명의 일 실시예에 따른 transport_packet()의 신택스 구조를 나타낸 도면이다. 트랜스포트 패킷 레벨에서의 시그널링을 위해 transport_packet()에서 adaptation_field()를 이용할 수 있으며, 세부적으로는 Adaptation_field() 내의 private_data_byte() 필드를 이용하여 시그널링 가능하다. Adaptation_field()의 세부 내용은 도 19에서 설명한다.
도 19는 본 발명의 일 실시예에 따른 Adaptation_field()의 신택스 구조를 나타낸 도면이다. 이때 들어가는 private_data_byte는 앞서 video level signaling 에서 제시된 stereo_3D_info_data()와 동일한 내용을 포함한다.
Adaptation_field()에서 transport_private_data_flag는 private_data byte가 존재하는지 여부를 가리킨다. transport_private_data_length는 private_data_byte가 몇 바이트인지를 시그널링하고 private_data_byte는 stereo_3D_info_data()의 내용을 포함한다.
수신기의 동작 순서는 다음과 같다. 수신기는 Adaptation_field()의 transport_private_data_flag = '1'임을 확인한다. transport_private_data_flag가 1임이 확인되면 transport_private_data_length를 이용해 private_data_byte가 몇 byte인지를 확인한다. private_data_byte를 통해 stereo_3D_info_data() 가 시그널링 된 경우, 이 정보를 읽어 3D 모드 및 스테레오 방송 구성에 대한 정보를 파악한다. 수신기는 파악된 정보를 이용해 base stream 및 enhancement stream를 입력값으로 받는 L/R splitter 모듈의 출력을 제어한다.
이상 설명한 바와 같이 수신기의 동작은 3차원 영상 신호를 수신하는 경우 각 모드에 따라 동작 방법이 상이하나, 2D view 시청 시에도 어떠한 3D 모드인지 여부에 따라 수신기의 동작이 달라질 수 있다.
2D service compatible 3D 서비스인 경우, 수신기는 base layer stream 또는 enhancement layer stream 중 하나를 선택하여 2D 화면을 보여주는 것이 가능하다. 즉, 이 경우에는 L/R splitter 모듈을 거치지 않아도 된다.
Frame-compatible compatible 3D 서비스의 경우에는 2D 화면을 구성하는 절반씩의 화면이 각각 base layer 와 enhancement layer 로 전달되므로 L/R splitter 모듈을 거쳐 나온 L/R 영상 중 하나를 선택하여 2D로 출력이 가능하다..
도 20은 본 발명의 일 실시예에 따른 3D Stereoscopic 방송 수신 및 출력을 위한 수신기 구조를 나타낸 도면이다.
수신기는 튜너(40), 복조부(41), TP 디먹스(42), SI 프로세서(43), AVC layer 디코더(44), MVC extension layer 디코더(45), L/R splitter(46) 및 출력포맷터(47)를 포함할 수 있다. 여기서 TP 디먹스(42), SI 프로세서(43) 및 AVC layer 디코더(44) 및 MVC extension layer 디코더(45)는 하나의 모듈로 구현될 수 있으며 이를 디코딩 모듈로 칭할 수 있다.
수신기는 튜너(40) 및 복조부(41)를 통해 방송 신호를 수신, 복조한다. 복조된 방송 신호는 TP 디먹스(42)에 의해 역다중화된다. 위에서 설명한 트랜스포트 패킷에 3D 모드 정보를 포함시켜 송수신하는 경우는 TP 디먹스(42)에 의해 전환 시점 정보가 추출되어 SI 프로세서(43)로 전달 된 후 처리된다.
역다중화된 base layer 비디오와 enhancement layer 비디오는 각각 AVC layer 디코더(44), MVC extension layer 디코더(45)로 입력되어 디코딩된다. 3D 모드 정보가 비디오 레벨로 시그널링된 경우, 수신기는 이 디코딩 과정에서 3D 모드 정보를 획득하는 것이 가능하다.
디코딩된 base layer 비디오와 enhancement layer 비디오는 L/R splitter(46)로 입력되어 시그널링된 3D 모드에 따라 병합, 스위칭 또는 바이패스되어 full resolution의 좌영상 및 우영상으로 출력된다. 출력된 좌영상 및 우영상은 출력 포맷터(47)로 입력되어 사용자에게 full resolution의 3차원 영상으로 제공된다.
도 21은 본 발명의 일 실시예에 따른 Frame-compatible compatible 3DTV 서비스를 위한 송신기 구조를 나타낸 도면이다. 송신기 구조는 Left / Right 영상 획득(image capture, 50), 획득한 영상에 대한 L/R 분리 및 서비스 모드에 따른 layer 분리(layer separation, 51), 각 layer에 대한 video encoding(encoding, 52), 다중화 및 전송(mux & transport, 53)의 단계로 동작한다. 여기서 본 발명은 full resolution을 위한 layer separation 단계를 설명한다.
송신기는 subtractor(54a, 54b), 다운 샘플링부(55a, 55b), residual부(56a, 56b), mixer(57a, 57b), base layer video encoder(58), inter-layer prediction(59), enhancement layer video encoder(60)를 포함할 수 있다.
frame-compatible compatible 서비스 모드의 경우, 송신기는 frame compatible (Side-by-Side, Top-and-Bottom) 비디오 신호를 생성하기 위해 좌우 영상에 대해 down-sampling(55a, 55b)을 한다. 그 다음 full resolution 좌우 영상과 down-sampling된 좌우 영상의 차이 신호를 분리하기 위해 Subtractor(54a, 54b)를 거친다. Subtractor(54a, 54b)를 거친 신호는 residual(56a, 56b)로 입력되며 이는 full resolution 좌우 영상에서 down-sampling된 좌우 영상을 제외한 나머지 신호로 구성된다.
좌우 영상에 대한 down-sampling(55a, 55b) 결과는 mixer(57b)를 통해 병합되어 base layer video encoder(58)로 입력되어 인코딩된다. 또한 좌우 영상에 대한 residual(56a, 56b)의 출력값은 mixer(57a)를 통해 병합되어 enhancement layer video encoder(60)로 입력된다. enhancement layer video encoder(60)는 base layer video encoder(58)로부터 inter-layer prediction(MVC 코덱을 사용하는 경우 inter-view prediction, 59) 정보를 받아 base layer를 기준으로 enhancement layer를 인코딩 한다.
즉, frame-compatible compatible 서비스의 방송 신호 송신기는 입력된 원본 좌우 영상 신호를 다운 샘플링하는 두개의 다운 샘플링부, 원본 좌우 영상 신호와 다운 샘플링된 좌우 영상 신호의 차를 출력하는 두개의 subtractor, 다운 샘플링된 좌우 영상 신호를 병합하는 제1믹서, 두 subtractor의 출력인 좌우 residual 영상신호를 병합하는 제2믹서, 제1믹서의 출력을 base layer로 인코딩하는 제1 비디오인코더, 제2믹서의 출력과 제1 비디오 인코더로부터 inter-layer prediction한 결과를 함께 고려하여 인코딩하는 제2 비디오 인코더를 포함할 수 있다.
또한, 2D service compatible 모드의 경우에는 좌/우 영상이 직접 base layer video encoder(58) 또는 enhancement layer video encoder(60)로 입력되므로 layer 분리 모듈의 구조가 비교적 간단하다.
도 22는 본 발명의 일 실시예에 따른 full resolution을 위한 3D mode에 따른 방송 신호 수신 방법을 나타낸 순서도이다.
수신기는 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신한다(S20). 수신기는 트랜스포트 패킷 레벨의 adaptation_field(), 시스템 레벨의 SI 정보, 또는 비디오 레벨에서 3D 서비스 모드에 대한 시그널링 정보를 획득한다(S22). 이 때 비디오 레벨에서의 시그널링 정보 획득은, MPEG 비디오인 경우에 user_data_type_structure()로부터 이루어지고, AVC/H.264 비디오인 경우에 SEI 영역에서 이루어진다.
수신기는 획득된 3D 서비스 모드 정보에 따라 L/R Splitter의 동작을 제어한다(S24). frame-compatible compatible 서비스 모드에서는 입력된 영상을 local splitter로 분리하고 각 시점에 따라 merge하여 출력하고, 2D service compatible 모드에서는 좌우 영상에 따라 입력 영상을 그대로 출력하거나 스위칭하여 출력한다. 자세한 설명은 도 12에서 설명한 바와 같다.
수신기는 L/R Splitter로부터 출력되는 영상신호를 출력하여(S26) 사용자에게 제공한다.
지금까지 설명한 제1실시예의 2D/3D 모드 전환에 대한 시그널링 정보 및 제2실시예의 2D service compatible/frame-compatible compatible 모드 전환에 대한 시그널링 정보는 각기 다른 시스템에서 전송되어 사용되는 것 뿐만 아니라 하나의 시스템에서 함께 전송되는 것이 가능하다. 수신기에서는 상기 두 개의 시그널링 신호 중 어느 하나 이상을 수신하여 처리하고, 해당 정보에 따라 디코딩 모듈의 동작을 제어하는 것이 가능하다.
이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
전술한 바와 같이, 상기 발명의 실시를 위한 최선의 형태에서, 관련된 사항을 기술하였다.
전술한 바와 같이, 본 발명은 디지털 방송 시스템에 전체적으로 또는 부분적으로 적용될 수 있다.

Claims (14)

  1. 디지털 방송 신호 수신 장치에 있어서,
    3차원 영상을 구현하는 비디오 스트림 및 시그널링 데이터를 포함하는 트랜스포트 패킷의 디지털 방송 신호를 수신하는 튜너;
    상기 수신된 디지털 방송 신호를 복조하는 복조부;
    상기 복조된 디지털 방송 신호로부터 모드 전환 정보를 추출하는 디코딩 모듈; 및
    상기 모드 전환 정보에 근거하여 디코딩된 영상 신호를 출력하는 출력 포맷터;를 포함하는 디지털 방송 신호 수신 장치.
  2. 제 1항에 있어서,
    상기 모드 전환 정보는 2차원 영상신호와 3차원 영상신호 간의 전환 시점에 대한 정보를 포함하는 디지털 방송 신호 수신 장치.
  3. 제 2항에 있어서,
    상기 모드 전환 정보는 트랜스포트 패킷 레벨에서 adaptation_field()에 포함되거나 또는 비디오 레벨에서 비디오 헤더에 포함되어 수신되는 디지털 방송 신호 수신 장치.
  4. 제 2항에 있어서,
    상기 디코딩 모듈은 상기 모드 전환 정보에 따라 동작 여부가 제어되는 제1 디코더 및 제2 디코더를 포함하는 디지털 방송 신호 수신 장치.
  5. 제 1항에 있어서,
    상기 모드 전환 정보는 Frame-compatible compatible 모드와 2D service compatible 모드 간의 전환에 대한 정보를 포함하는 디지털 방송 신호 수신 장치.
  6. 제 5항에 있어서,
    상기 모드 전환 정보는 트랜스포트 패킷 레벨에서 adaptation_field()에 포함되거나 시스템 레벨에서 SI 정보에 포함되거나 또는 비디오 레벨에서 비디오 헤더에 포함되어 수신되는 디지털 방송 신호 수신 장치.
  7. 제 5항에 있어서,
    상기 디코딩 모듈은 상기 모드 전환 정보에 따라 Frame-compatible compatible 모드인 경우 입력 영상 신호를 분리 및 병합하고, 2D service compatible 모드인 경우 입력 영상을 바이패스하거나 스위칭하는 L/R splitter를 포함하는 디지털 방송 신호 수신 장치.
  8. 디지털 방송 신호 수신 방법에 있어서,
    3차원 영상을 구현하는 비디오 스트림 및 시그널링 데이터를 포함하는 트랜스포트 패킷의 디지털 방송 신호를 수신하는 단계;
    상기 수신된 디지털 방송 신호를 복조하는 단계;
    상기 복조된 디지털 방송 신호로부터 모드 전환 정보를 추출하는 단계; 및
    상기 모드 전환 정보에 근거하여 디코딩된 영상 신호를 출력하는 단계;를 포함하는 디지털 방송 신호 수신 방법.
  9. 제 8항에 있어서,
    상기 모드 전환 정보는 2차원 영상신호와 3차원 영상신호 간의 전환 시점에 대한 정보를 포함하는 디지털 방송 신호 수신 방법.
  10. 제 9항에 있어서,
    상기 모드 전환 정보는 트랜스포트 패킷 레벨에서 adaptation_field()에 포함되거나 또는 비디오 레벨에서 비디오 헤더에 포함되어 수신되는 디지털 방송 신호 수신 방법.
  11. 제 9항에 있어서,
    상기 디지털 방송 신호 수신 방법은
    상기 모드 전환 정보를 추출하는 단계 후에, 상기 모드 전환 정보에 따라 제1 디코더 및 제2 디코더의 동작 여부를 제어하는 단계를 더 포함하는 디지털 방송 신호 수신 방법.
  12. 제 8항에 있어서,
    상기 모드 전환 정보는 Frame-compatible compatible 모드와 2D service compatible 모드 간의 전환에 대한 정보를 포함하는 디지털 방송 신호 수신 방법.
  13. 제 5항에 있어서,
    상기 모드 전환 정보는 트랜스포트 패킷 레벨에서 adaptation_field()에 포함되거나 시스템 레벨에서 SI 정보에 포함되거나 또는 비디오 레벨에서 비디오 헤더에 포함되어 수신되는 디지털 방송 신호 수신 방법.
  14. 제 5항에 있어서,
    상기 디지털 방송 신호 수신 방법은
    상기 모드 전환 정보를 추출하는 단계 후에, 상기 모드 전환 정보에 따라 Frame-compatible compatible 모드인 경우 입력 영상 신호를 분리 및 병합하고, 2D service compatible 모드인 경우 입력 영상을 바이패스하거나 스위칭하는 단계를 더 포함하는 디지털 방송 신호 수신 방법.
PCT/KR2012/001655 2011-03-07 2012-03-07 디지털 방송 신호 송/수신 방법 및 장치 WO2012121543A2 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP12754768.5A EP2685727A4 (en) 2011-03-07 2012-03-07 METHOD AND DEVICE FOR SENDING / RECEIVING A DIGITAL ROUND SIGNAL SIGNAL
CA2829112A CA2829112C (en) 2011-03-07 2012-03-07 Method and device for transmitting/receiving digital broadcast signal
CN201280012151.8A CN103416070B (zh) 2011-03-07 2012-03-07 发送/接收数字广播信号的方法和装置
KR1020137022595A KR20140018254A (ko) 2011-03-07 2012-03-07 디지털 방송 신호 송/수신 방법 및 장치
US14/003,354 US9357196B2 (en) 2011-03-07 2012-03-07 Method and device for transmitting/receiving digital broadcast signal
US15/132,839 US9693082B2 (en) 2011-03-07 2016-04-19 Method and device for transmitting/receiving digital broadcast signal

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161449718P 2011-03-07 2011-03-07
US61/449,718 2011-03-07
US201161476318P 2011-04-17 2011-04-17
US61/476,318 2011-04-17

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/003,354 A-371-Of-International US9357196B2 (en) 2011-03-07 2012-03-07 Method and device for transmitting/receiving digital broadcast signal
US15/132,839 Continuation US9693082B2 (en) 2011-03-07 2016-04-19 Method and device for transmitting/receiving digital broadcast signal

Publications (2)

Publication Number Publication Date
WO2012121543A2 true WO2012121543A2 (ko) 2012-09-13
WO2012121543A3 WO2012121543A3 (ko) 2012-12-20

Family

ID=46798650

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/001655 WO2012121543A2 (ko) 2011-03-07 2012-03-07 디지털 방송 신호 송/수신 방법 및 장치

Country Status (6)

Country Link
US (2) US9357196B2 (ko)
EP (1) EP2685727A4 (ko)
KR (1) KR20140018254A (ko)
CN (1) CN103416070B (ko)
CA (1) CA2829112C (ko)
WO (1) WO2012121543A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747360A (zh) * 2013-12-26 2014-04-23 乐视网信息技术（北京）股份有限公司 一种智能电视视频播放方法和设备
KR20140075576A (ko) * 2012-12-11 2014-06-19 한국전자통신연구원 경계 정보 제공 장치 및 방법, 영상 수신 장치 및 방법
WO2015126213A1 (ko) * 2014-02-21 2015-08-27 엘지전자 주식회사 방송 신호 송신 장치 및 방송 신호 수신 장치
US9832446B2 (en) 2013-10-02 2017-11-28 National Cheng Kung University Method, device and system for packing color frame and original depth frame

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103096049A (zh) * 2011-11-02 2013-05-08 华为技术有限公司 一种视频处理方法及系统、相关设备
US9860515B2 (en) * 2012-12-11 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for 3D content broadcasting with boundary information
WO2016047985A1 (ko) * 2014-09-25 2016-03-31 엘지전자 주식회사 3d 방송 신호를 처리하는 방법 및 장치
GB2534136A (en) * 2015-01-12 2016-07-20 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10424082B2 (en) * 2017-04-24 2019-09-24 Intel Corporation Mixed reality coding with overlays

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4190357B2 (ja) * 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
KR100828358B1 (ko) 2005-06-14 2008-05-08 삼성전자주식회사 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR100657322B1 (ko) * 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
WO2007040472A1 (en) * 2005-09-16 2007-04-12 Stereographics Corporation Stereoscopic format converter
KR20080108882A (ko) 2007-06-11 2008-12-16 삼성전자주식회사 2차원/3차원 재생 모드 전환이 가능한 입체 영상비트스트림 생성 방법 및 이를 구현하기 위한 입체 영상비트스트림 재생 방법 및 장치
CA2758903C (en) * 2009-04-27 2016-10-11 Lg Electronics Inc. Broadcast receiver and 3d video data processing method thereof
JP5463747B2 (ja) * 2009-06-15 2014-04-09 ソニー株式会社 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
JP5604827B2 (ja) 2009-08-21 2014-10-15 ソニー株式会社 送信装置、受信装置、プログラム、及び通信システム
JP2011066871A (ja) * 2009-08-21 2011-03-31 Sony Corp コンテンツ伝送方法及び表示装置
JP4875127B2 (ja) * 2009-09-28 2012-02-15 パナソニック株式会社 三次元画像処理装置
JP4763822B2 (ja) * 2009-09-30 2011-08-31 パナソニック株式会社 映像信号処理装置及び映像信号処理方法
EP2608547B1 (en) * 2010-08-17 2018-03-21 LG Electronics Inc. Apparatus and method for receiving digital broadcasting signal
US8982040B2 (en) * 2010-09-08 2015-03-17 Japan Display Inc. Liquid crystal display device and method of displaying the same
US20120127288A1 (en) * 2010-11-24 2012-05-24 Himax Media Solutions, Inc. 2D-to-3D DELAY COMPENSATION SYSTEM AND METHOD THEREOF

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2685727A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140075576A (ko) * 2012-12-11 2014-06-19 한국전자통신연구원 경계 정보 제공 장치 및 방법, 영상 수신 장치 및 방법
KR102146081B1 (ko) * 2012-12-11 2020-08-20 한국전자통신연구원 경계 정보 제공 장치 및 방법, 영상 수신 장치 및 방법
US9832446B2 (en) 2013-10-02 2017-11-28 National Cheng Kung University Method, device and system for packing color frame and original depth frame
EP2858360B1 (en) * 2013-10-02 2018-09-19 National Cheng Kung University Method, device and system for packing color frame and original depth frame
CN103747360A (zh) * 2013-12-26 2014-04-23 乐视网信息技术（北京）股份有限公司 一种智能电视视频播放方法和设备
WO2015126213A1 (ko) * 2014-02-21 2015-08-27 엘지전자 주식회사 방송 신호 송신 장치 및 방송 신호 수신 장치
US9948952B2 (en) 2014-02-21 2018-04-17 Lg Electronics Inc. Broadcast signal transmitting device and broadcast signal receiving device

Also Published As

Publication number Publication date
CN103416070B (zh) 2016-10-12
CN103416070A (zh) 2013-11-27
CA2829112A1 (en) 2012-09-13
CA2829112C (en) 2016-10-04
EP2685727A4 (en) 2014-09-10
US9357196B2 (en) 2016-05-31
US20130342646A1 (en) 2013-12-26
EP2685727A2 (en) 2014-01-15
KR20140018254A (ko) 2014-02-12
US20160286246A1 (en) 2016-09-29
US9693082B2 (en) 2017-06-27
WO2012121543A3 (ko) 2012-12-20

Similar Documents

Publication Publication Date Title
WO2012121543A2 (ko) 디지털 방송 신호 송/수신 방법 및 장치
WO2011046338A2 (en) Broadcast receiver and 3d video data processing method thereof
WO2010087621A2 (en) Broadcast receiver and video data processing method thereof
WO2011152633A2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
WO2010041896A2 (en) Receiving system and method of processing data
WO2010126221A2 (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
WO2012177049A2 (en) Method and apparatus for processing broadcast signal for 3-dimensional broadcast service
WO2010147289A1 (en) Broadcast transmitter, broadcast receiver and 3d video processing method thereof
WO2011136622A2 (en) An apparatus of processing an image and a method of processing thereof
WO2010126227A2 (en) Broadcast receiver and 3d video data processing method thereof
WO2010076933A1 (ko) 이차원 영상과 3d 영상의 통합 서비스가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
WO2010117129A2 (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
WO2012026746A2 (en) Method for providing 3d video data in a 3dtv
WO2011093676A2 (en) Method and apparatus for generating data stream for providing 3-dimensional multimedia service, and method and apparatus for receiving the data stream
WO2012074328A2 (ko) 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법
WO2011129566A2 (ko) 이미지 디스플레이 방법 및 장치
WO2013015596A2 (ko) 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
WO2011028024A2 (en) Cable broadcast receiver and 3d video data processing method thereof
WO2010087575A2 (en) Broadcast receiver and 3d video data processing method
WO2011084021A2 (ko) 방송 수신기 및 3d 이미지 디스플레이 방법
WO2012002690A2 (ko) 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
WO2014025239A1 (ko) 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
WO2011046271A1 (en) Broadcast receiver and 3d video data processing method thereof
WO2013154402A1 (en) Receiving apparatus for receiving a plurality of signals through different paths and method for processing signals thereof
WO2013032221A1 (ko) 디지털 방송 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12754768

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 20137022595

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2829112

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 14003354

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2012754768

Country of ref document: EP