WO2011087303A2 - 방송 신호 수신기 및 비디오 데이터 처리 방법 - Google Patents

방송 신호 수신기 및 비디오 데이터 처리 방법 Download PDF

Info

Publication number
WO2011087303A2
WO2011087303A2 PCT/KR2011/000261 KR2011000261W WO2011087303A2 WO 2011087303 A2 WO2011087303 A2 WO 2011087303A2 KR 2011000261 W KR2011000261 W KR 2011000261W WO 2011087303 A2 WO2011087303 A2 WO 2011087303A2
Authority
WO
WIPO (PCT)
Prior art keywords
display window
information
region
display
window region
Prior art date
Application number
PCT/KR2011/000261
Other languages
English (en)
French (fr)
Other versions
WO2011087303A3 (ko
Inventor
서종열
김관석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US13/521,379 priority Critical patent/US20120281075A1/en
Priority to EP11733090.2A priority patent/EP2528333A4/en
Publication of WO2011087303A2 publication Critical patent/WO2011087303A2/ko
Publication of WO2011087303A3 publication Critical patent/WO2011087303A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Definitions

  • the present invention relates to a broadcast receiver and a video data processing method thereof, and more particularly, to a broadcast signal receiver and a video data processing method thereof for receiving and processing 3D video data.
  • a 3D image provides a stereoscopic effect using a stereo vision principle of two eyes.
  • Humans feel perspective through the parallax of two eyes, that is, binocular parallax by the distance between two eyes about 65mm apart, so the 3D image provides an image so that each of the left and right eyes can see the associated plane image. It can provide three-dimensional and perspective.
  • Such 3D image display methods include a stereoscopic method, a volumetric method, a holographic method, and the like.
  • a left view image for viewing in the left eye and a right view image for viewing in the right eye are provided so that the left and right eyes are respectively left view through polarized glasses or the display device itself.
  • the technical problem to be solved by the present invention is to perform the appropriate video data processing in the receiving device capable of 3D video display and the receiving device capable of only 2D video display, respectively, and outputs the appropriate image to the equipment, thereby making the broadcasting environment more efficient and convenient for the user. To provide.
  • a video data processing method of a broadcast signal receiver receiving a broadcast signal including a video stream including a plurality of frames for 3D video display; Extracting a video stream from the received broadcast signal; Acquiring 2D display window region information from the extracted video stream, wherein the 2D display window region information is a part of the frame in order to display a 2D image of a partial region of the frame for each of the plurality of frames for the 3D image display.
  • the broadcast signal receiver for receiving a broadcast signal including a video stream including a plurality of frames for 3D video display; A demultiplexer for extracting a video stream from the broadcast signal; A decoder for acquiring 2D display window region information from the extracted video stream, wherein the 2D display window region information is a part of the frame to display a partial region of the frame for each of a plurality of frames for the 3D image display.
  • a decoder for obtaining 2D display window region information indicating a 2D display window region comprising the region;
  • An extracting unit extracting a partial region of the frame by using the obtained 2D display window region information;
  • a controller for resizing and outputting a 2D display window region including a partial region of the extracted frame by using the obtained 2D display window region information.
  • the broadcast signal receiver may output part of 3D video data included in one video stream as a 2D video by using signaling information related to the 2D video.
  • the broadcast signal receiver may appropriately change and control the output 2D image using signaling information related to the 2D image.
  • FIG. 1 is a diagram illustrating a user_data syntax structure including 2D display window region information according to a first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a user_data_registered_itu_t_35 () syntax structure including 2D display window region information according to a second embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a syntax structure of 2D_display_window_data () information according to the present invention.
  • FIG. 4 is a flowchart illustrating a method of obtaining 2D_display_window_data () information by a receiver according to the present invention.
  • FIG. 5 is a flowchart illustrating a method of resizing a 2D display window region using 2d_display_window_data () information by a receiver according to the present invention.
  • FIG. 6 is a diagram illustrating an embodiment of resizing a 2D display window region according to the present invention.
  • FIG. 7 illustrates components of a broadcast signal receiver for processing a 3D broadcast signal including 2D display window region information according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a video data processing method of a receiver according to the present invention.
  • the 3D image representation method includes a stereoscopic image method considering two viewpoints and a multiple view image method (or multi-view method) considering three or more viewpoints.
  • the conventional single view image method may be referred to as a monoscopic image method.
  • the stereoscopic method uses a pair of left view and live view images obtained by photographing the same subject with a left camera and a right camera that are spaced at a constant distance.
  • the multi-view method uses three or more images obtained by photographing three or more cameras having a constant distance or angle.
  • the present invention will be described using the stereoscopic method as an embodiment, but the idea of the present invention may be applied to a multi-view method.
  • Stereoscopic image multiplexing formats include a side-by-side format, a top-bottom format, a checker board format, and the like.
  • the side-by-side format is configured to downsample the left image and the right image 1/2 in the horizontal direction, and place one sampled image on the left side and the other sampled image on the right side to form one stereoscopic image.
  • the left and right images are downsampled 1/2 in the vertical direction, and one sampled image is placed at the top and the other sampled image is placed at the bottom.
  • the checkerboard format is a format in which two images are configured as one image by half downsampling the left image and the right image to cross each other in the vertical and horizontal directions.
  • the stereoscopic image multiplexing format according to the present invention is not limited or limited to the above example.
  • the stereoscopic image or the multi-view image may be compressed and transmitted by various methods including a moving picture expert group (MPEG).
  • MPEG moving picture expert group
  • the stereoscopic image or the multi-view image may be compressed and transmitted by MPEG-2 or H.264 / AVC (Advanced Video Coding).
  • the reception system may obtain 3D images by decoding the received images in reverse of MPEG-2 or H.264 / AVC coding.
  • one of the left view image and the live view image of the stereoscopic image or one of the multiview images is assigned as the base layer image, and the other images are assigned as the enhancement layer image, and the image of the base layer is assigned.
  • an image of an enhancement layer may be encoded and transmitted only for relationship information between a base layer and an image of the enhancement layer.
  • a JPEG, MPEG-2, MPEG-4, H.264 / AVC scheme, or the like may be used.
  • 3D video one of the considerations when transmitting 3D video is compatibility with 2D video. This is because a receiver that does not support 3D image display should display a 3D image included in a received broadcast signal as a 2D image, and a 3D receiver should be able to display a 2D image if necessary.
  • the transmitting side may code and transmit one image of the left view or the live view image in a 2D video compatible method.
  • the image of the view point to be coded in a 2D image compatible method may vary according to the designer's intention.
  • a video stream for transmitting a 2D video compatible base layer video and a video stream for transmitting an additional enhancement layer video for 3D display may be transmitted through two video streams.
  • the transmitting side must additionally transmit information about the viewpoint so that the 3D receiver can accurately match the viewpoints of the left and right outputs.
  • bandwidth expansion is required to maintain the existing image quality, and output control of the video stream using information on the additionally transmitted viewpoints is necessary to match the viewpoints of the left and right outputs. Required.
  • a broadcast signal receiver and video for transmitting a base layer image for a 3D program and an additional enhancement layer image for a 3D display together through one video stream and outputting a part of the image included in the video stream as a 2D image I would like to present a data processing method.
  • part of the 3D image frame can be utilized as a 2D image, and thus there is an advantage of providing both 2D / 3D images without consuming additional bandwidth.
  • the transmitting side may transmit signaling information necessary for outputting a portion of the 3D image frame to the 2D image
  • the receiver may extract the portion of the 3D image frame using the signaling information and output the portion as the 2D image.
  • the above-described signaling information may be referred to as 2D display window region information
  • a display region including a partial region of a 3D image frame utilized as a 2D image may be referred to as a 2D display window region.
  • the 2D display window area information may include information indicating a 2D display window area, and may include a range of vertical coordinates and a range of horizontal coordinates indicating a 2D display window area. The range of vertical coordinates and the range of horizontal coordinates can be changed by the designer.
  • video stream according to the present invention may include a plurality of video stream sections, and the video stream sections may be configured in units of video frames, pictures, and sequences.
  • video frames, pictures, and sequences according to the present invention may include left view and live view images.
  • the 2D display window region may be defined for each video frame, each picture, or each sequence included in one video stream. That is, the 2D display window region information may include information designating the 2D display window region of each frame included in the video stream. If the view point is changed to the left view image or the live view image for each video stream section unit, the receiver includes the necessary image according to the changed view point using the 2D display window region information. A 2D display window area may be output.
  • the present invention provides two embodiments.
  • the first embodiment is a case where the video stream is compressed and transmitted by the MPEG-2 scheme
  • the second embodiment can be divided into the case where the video stream is compression-encoded by the H.264 / AVC scheme.
  • Each embodiment is described as follows.
  • the first embodiment is a case where a video stream is compressed and transmitted by the MPEG-2 scheme, and in this case, the 2D display window region information may be included in the header region of each picture of the video stream and transmitted. Accordingly, the receiver may obtain 2D display window region information by decoding the header region of the picture.
  • the second embodiment is a case where a video stream is compressed and transmitted by H.264 / AVC.
  • 2D display window region information may be transmitted through a Supplemental Enhancement Information (SEI) region.
  • SEI Supplemental Enhancement Information
  • the receiver may acquire 2D display window region information by parsing the AVC NAL unit.
  • FIG. 1 is a diagram illustrating a user_data syntax structure including 2D display window region information according to a first embodiment of the present invention.
  • the 2D display window area information according to the first embodiment of the present invention may be included in the header area of each picture and transmitted. Specifically, the 2D display window area information may be included in the user_data information 1000 of the Picture Extension and User Data area. .
  • the receiver may receive and decode a Picture Extension and User Data area after receiving the picture header and the picture coding extension. Thereafter, the receiver may acquire the user_data information syntax 1000.
  • the user_structure () information may be defined through values of user_data_start_code information and user_data_identifier information included in the user_data information 1000.
  • the receiver uses the user_structure () information when the user_data_start_code information value is 0x0000 01B2 and the user_identifier information value is 0x4741 3934.
  • the receiver may acquire the ATSC_user_data () information syntax 1100 indicated by the user_structure () information. Thereafter, the receiver may acquire 2D display window area (2d_display_window_data ()) information 1300 using user_data_type_code information and user_data_type_structure () information included in the ATSC_user_data () syntax 1100. The receiver may obtain 2D display window area information on current video data by decoding the 2 d_display_window_data () information.
  • 2d_display_window_data () 2D display window area information on current video data by decoding the 2 d_display_window_data () information.
  • the user_data information syntax 1000 may include user_data_start_code information, user_data_identifier information, and user_structure () information. Each information is described below.
  • the user_data_start_code information has a fixed value of 0x0000 01B2.
  • the user_data_identifier information has a size of 32 bits and may indicate data included in user_structure () information. In the present invention, it has a value of 0x47413934, which indicates that the user_structure () information includes the ATSC_user_data () syntax 1100.
  • the user_structure () information indicates a data structure having a variable length defined according to the user_data_identifier information value.
  • the ATSC_user_data () syntax 1100 may include user_data_type_code information and user_data_type_structure () information. Each information is described below.
  • the user_data_type_code information has a size of 8 bits and indicates a data type included in the user_data_type_structure () information. According to the first embodiment of the present invention, when the value of the user_data_type_code information is 0x10, it indicates that the data included in the user_data_type_structure () is 2D display window region information. If the value of user_data_type_code information is 0x03, it indicates that the data included in user_data_type_structure () is closed caption data. If the value of user_data_type_code information is 0x06, it indicates that the data included in user_data_type_structure () is bar_data ().
  • the user_data_type_structure () information may include 2D display window region information 1200. Detailed description of the 2D display window region information 1200 will be described later.
  • FIG. 2 is a diagram illustrating a user_data_registered_itu_t_35 () syntax structure including 2D display window region information according to a second embodiment of the present invention.
  • the 2D display window region may be transmitted through a raw byte sequence payload (RBSP) of the SEI region.
  • RBSP raw byte sequence payload
  • the receiver may parse the AVC NAL unit and check the SEI payloadType value. If the SEI payloadType value is 4, the receiver may acquire user_identifier information and user_structure () information included in the user_data_registered_itu_t_35 () syntax 2000.
  • the SEI region according to the present invention may include additional information which is not essential to the decoding process of the video coding layer (VCL), timing information and pan / scan function (decoded image) of each picture related to the HRD (Hypothetical Reference Decoder). Information for reading and displaying a part of the information), information required for performing random access, information that the user independently defines, and the like.
  • the SEI of the second embodiment can play the same role as the picture extension and user data area of the MPEG-2 of the first embodiment and can be located at the same location.
  • user_identifier information and user_structure () information may indicate ASFD bar data or caption data according to the value. This can be changed according to the designer's intention.
  • the receiver acquires the ATSC_user_data () syntax 1100 included in the user_structure () information, and recognizes that the corresponding data is 2D display window region information by using the user_data_type_code information included in the ATSC_user_data () syntax 1100.
  • the receiver may acquire 2D display window area information (2d_display_window_data () information) 1300 through user_structure () information when the user_identifier information value is 0x4741 3934.
  • the receiver may obtain 2D display window area information on current video data by decoding the 2d_display_window_data () information.
  • the user_data_registered_itu_t_35 () syntax 2000 may include itu_t_t35_country_code information, itu_t_t35_provider_code information, user_identifier information, and user_structure () information.
  • the itu_t_t35_country_code information has a fixed size of 8 bits and the itu_t_t35_provider_code information has a fixed size of 16 bits.
  • FIG. 3 is a diagram illustrating a syntax structure of 2D_display_window_data () information according to the present invention.
  • the syntax of the 2d_display_window_data () information may include information indicating a range of vertical coordinates and horizontal coordinates of the 2D display window area.
  • the receiver may set the 2D display window region using a range of vertical / horizontal coordinates, and output a partial image of a frame included in the 2D display window region as a 2D image. You can also resize the 2D display window area by adjusting or changing the range of each vertical / horizontal coordinate.
  • each information included in the syntax will be described.
  • the 2d_window_top_pos information and the 2d_window_bottom_pos information have a size of 16 bits and indicate a range of vertical coordinates of the 2D display window area, that is, a range of top and bottom.
  • the 2d_window_left_pos information and 2d_window_right_pos information have a size of 16 bits and indicate a range of horizontal coordinates, that is, left and right ranges, of the 2D display window area.
  • syntax structure of the 2D_display_window_data () information includes only continuous vertical / horizontal coordinates, a plurality of non-contiguous vertical / horizontal coordinate ranges may be defined according to an embodiment. . That is, since the 2D display window area corresponding to a part of the image to be extracted may vary according to a video frame or an image multiplexing format for displaying a 3D image, the syntax structure of the 2D_display_window_data () information may include a plurality of vertical / horizontal coordinate ranges. It may include.
  • the syntax structure of the 2D_display_window_data () information may include a plurality of vertical / horizontal coordinates to indicate a 2D display window region including the corresponding image.
  • FIG. 4 is a flowchart illustrating a method of obtaining 2D_display_window_data () information by a receiver according to the present invention.
  • the receiver may decode the received video stream (S4000).
  • the video stream may include a plurality of video stream sections, and the video stream sections may be configured in units of video frames, pictures, and sequences.
  • the video stream according to the present invention may be decoded according to a compression transmission scheme such as JPEG, MPEG-2, MPEG-4, H.264 / AVC.
  • the receiver may decode the sequence header and the picture header region of the decoded video stream (S4100).
  • the receiver may then decode the decoded additional header information (S4200).
  • the additional header information may include a picture extension and user data region when the video stream is compressed and transmitted by the MPEG-2 scheme according to the first embodiment of the present invention, and according to the second embodiment of the present invention.
  • the video stream When the video stream is compressed and transmitted by H.264 / AVC, it may include an SEI region.
  • the receiver may receive and decode a Picture Extension and User Data area after receiving a picture header and a picture coding extension.
  • the receiver may detect ATSC_user_data () included in the decoded additional header information (S4300). Specifically, in the first embodiment according to the present invention, the receiver may acquire the user_data information syntax 1000 included in the decoded Picture Extension and User Data area, the user_data_start_code information value is 0x0000 01B2, and the user_data_identifier information value is 0x4741. In the case of 3934, user_structure () information can be obtained. In this case, the user_structure () information indicates the ATSC_user_data () information syntax 1100.
  • the receiver checks the SEI payloadType value included in the decoded SEI, and when the SEI payloadType value is 4, the receiver checks that the user_identifier information value included in the user_data_registered_itu_t_35 () syntax 2000 is the first value.
  • user_structure () information when the user_data_identifier information value is 0x4741 3934 can be obtained.
  • the receiver may detect user_data_type_structure () information included in the ATSC_user_data () syntax 1100 (S4400). In this case, the receiver may obtain user_data_type_structure () information when the value of the user_data_type_code information included in the ATSC_user_data () syntax 1100 is 0x10. In this case, the user_data_type_structure () information may include 2d_display_window_data () information.
  • the receiver may detect and decode 2d_display_window_data () information, and determine a 2D display window area including a partial area of the current frame by using the decoded 2d_display_window_data () information (S4500).
  • the 2d_display_window_data () information may include a vertical / horizontal coordinate range indicating the 2D display window area.
  • the receiver may extract a partial region of the 3D image included in the 2D display window region using the detected 2d_display_window_data () information, and resize and output the 2D display window region. Detailed description will be described later.
  • FIG. 5 is a flowchart illustrating a method of resizing a 2D display window region by using a 2d_display_window_data () information according to the present invention.
  • the receiver may extract and decode 2d_display_window_data () information included in the decoded additional header information of the video stream according to the first embodiment or the second embodiment of the present invention (S5000).
  • the 2d_display_window_data () information may include information indicating a 2D display window region including a partial region of the 3D image in order to 2D display a partial region of the 3D image included in the video stream. Since information indicating the 2D display window area is the same as described with reference to FIG. 3, a detailed description thereof will be omitted.
  • the receiver may check whether a 2D mode switch request signal for requesting application of the 2D display window is input to the video stream (S5100).
  • the receiver may extract a partial region of the 3D image frame using the decoded 2d_display_window_data () information (S5200).
  • the receiver may output the 3D image by performing 3D format conversion without extracting a partial region of the 3D image.
  • the receiver may resize and output the extracted 2D display window region using the 2d_display_window_data () information (S5300).
  • the receiver may resize the 2D display window area by using an interpolation or extrapolation method for the vertical and horizontal coordinates of the 2D display window area.
  • interpolation is a function value at some point between Q and S when the function value F (Q) at point Q and the function value F (S) at point S are known for a function F (x). It is meant to estimate, and the simplest example of the interpolation is linear interpolation. Also, extrapolation can be used to determine the function value F (Q) at time Q and the function value F (S) at time S for a function F (x). It means to estimate the function value at the time point. The simplest example of such extrapolation is linear extrapolation.
  • linear interpolation technique and the linear extrapolation technique are the simplest examples of many interpolation techniques and extrapolation techniques, and various other interpolation techniques and extrapolation techniques may be used according to the designer's intention in addition to the above-described methods.
  • FIG. 6 is a diagram illustrating an embodiment of resizing a 2D display window region according to the present invention.
  • the 2D display window region may be defined for each video stream section, that is, each frame, each picture, or each sequence, and the video stream section includes a left view image and a live view image for a 3D image. It may include. Also, the 2D display window region is defined as a vertical / horizontal coordinate range included in the 2D display window region information, and the receiver may extract a partial region of the 3D image as a 2D image using the 2D display window region information. Therefore, if necessary, when the view point of the 2D image included in the 2D display window area is changed from left to right or right in units of video stream sections, 2D display window area information should be set.
  • the 2D display window area information indicating the 2D display window area according to the view point of the 2D image to be output will be described, and an embodiment of resizing the 2D display window area will be described in detail.
  • a top bottom format frame will be described, but the present invention is not limited thereto.
  • FIG. 6A illustrates an embodiment of a 3D frame included in a video stream according to the present invention, wherein the frame size is 1920x1080, the stereoscopic image multiplexing format is a top-bottom format, and a left view image is formed in the top region of the frame.
  • FIG. 6 is a diagram illustrating a case where a live view image is positioned in the bottom region of the frame.
  • the 2D display window area information is It may include the following vertical / horizontal coordinate values.
  • the 2D display window area information indicating the 2D display window area for frames 0 to 199 may include vertical coordinate values top 0, bottom 539, horizontal coordinate values left 0, and right 1919.
  • the 2D display window region information indicating the 2D display window region for frames 200 to 299 may include vertical coordinate values top 540, bottom 1079, and horizontal coordinate values left 0 and right 1919.
  • a left view image may be positioned in a left side region of the frame, and a light view image may be positioned in a right side region of the frame.
  • the 2D display window area including the left view image may be indicated by vertical coordinate values top 0, bottom 1079, the horizontal coordinate values left 0, right 959, and the 2D display window area including the light view image may be indicated by vertical coordinate values. It can be indicated by top 0, bottom 1079, horizontal coordinate values left 960, right 1079.
  • FIG. 6B illustrates one of the 2D display window regions when the left view image is set as the 2D image, that is, when coordinate values included in the 2D display window region information are top 0, bottom 539, left 0, and right 1919.
  • 6C is an embodiment of a 2D display window area including a left view image according to the present invention.
  • the receiver may extract the corresponding image by using the coordinate value included in the 2D display window region information and display the 2D display window region including the extracted image.
  • the 2D display window area including the left view image is located at the top of the frame, only the upper half of the receiver screen is displayed. Therefore, a resizing process for the 2D display window area is required to be displayed on the entire receiver screen.
  • 6D is an embodiment of a resized 2D display window area according to the present invention.
  • the receiver may resize and output the 2D display window region by interpolating or extrapolating the vertical coordinate and the horizontal coordinate range of the 2D display window region.
  • FIG. 7 illustrates components of a broadcast signal receiver for processing a 3D broadcast signal including 2D display window region information according to an embodiment of the present invention.
  • the broadcast signal receiver includes a tuner 7000, a first decoder 7010, a demultiplexer 7020, a signaling information processor 7030, a second decoder 7040, a 2D / 3D switch (or a signal checker) ( 7050, an extractor 7060, a controller 7070, an L / R splitter 7080, and a formatter 7090.
  • the tuner 7000 may tune the received broadcast signal, and after performing demodulation on the tuned broadcast signal, outputs the demodulated broadcast signal to the first decoder 7010.
  • the tuner 7000 is a demodulation side band (VSB) demodulation or Orthogonal Frequency Division Multiplexing (OFDM). Demodulation and the like.
  • VSB demodulation side band
  • OFDM Orthogonal Frequency Division Multiplexing
  • the first decoder 7010 decodes the received demodulated broadcast signal and outputs the demultiplexer 7020.
  • the signaling information processor 7030 may parse and output signaling information.
  • the signaling information may include PSI / PSIP.
  • the demultiplexer 7020 may extract the video stream PID from the signaling information, extract the video stream from the broadcast signal decoded using the corresponding video stream PID, and output the extracted video stream to the second decoder 7040.
  • the second decoder 7040 may obtain 2D display window region information including information for 2D display from the extracted video stream, and transmit the obtained 2D display window region information to the extractor 7060.
  • the video decoder 7040 may obtain 2D display window region information by decoding the header region of the picture, and according to the second embodiment of the present invention, the video decoder 7040 ) May parse the AVC NAL unit to obtain 2D display window region information.
  • the 2D / 3D switch unit (or signal confirmation unit) 7050 may check whether a 2D mode switch request signal for requesting 2D display of the extracted video stream is input.
  • the extractor 7060 may extract a partial region of a frame included in the video stream using the 2D display window region information.
  • the 2D display window area information may be defined for each frame.
  • the controller 7070 may display a 2D display window region including the partial region of the extracted picture.
  • the 2D display window area may include a left view image or a live view image included in a video stream section unit.
  • the controller 7070 may resize and output the 2D display window region including the left view image or the live view image by changing the 2D display window information on a video stream interval basis.
  • the L / R splitter 7080 may separate the left view image or the live view image included in the video stream and output the split view image or the live view image to the formatter 7090.
  • the formatter 7090 may receive a left view image and a live view image and perform 3D format conversion to output a 3D image.
  • FIG. 8 is a flowchart illustrating a video data processing method of a receiver according to the present invention.
  • the tuner 7000 may receive a broadcast signal including a video stream (S8000).
  • the video stream may include a plurality of frames for displaying a 3D image.
  • the demultiplexer 7020 may extract a video stream from the received broadcast signal (S8100).
  • the decoder 7040 may obtain 2D display window region information from the received video stream (S8200). In this case, as described above with reference to FIGS. 1 and 2, the decoder 7040 may obtain 2D display window region information by decoding the header region of the picture, according to the first embodiment of the present invention. According to the second embodiment, 2D display window region information may be obtained by parsing an AVC NAL unit.
  • the 2D display window region information includes information indicating a 2D display window region including a partial region of a frame in order to display a partial region of the frame for 2D image for each of a plurality of frames for 3D image display. can do.
  • the 2D display window region information may include a range of vertical coordinates and a range of horizontal coordinates indicating the 2D video display window region.
  • the extractor 7060 may extract a partial region of the frame by using the obtained 2D display window region information (S8400).
  • a partial region of the extracted frame may correspond to a plurality of images having different viewpoints, and specifically, may be either a left image or a right image.
  • the controller 7070 may resize and output the 2D display window region including the partial region of the extracted frame by using the obtained 2D display window region information (S8500).
  • the controller 7070 may resize the 2D display window region by performing interpolation or extrapolation on the range of the vertical coordinate and the horizontal coordinate indicating the 2D video display window region. can do.
  • the present invention may be applied in whole or in part to a digital broadcasting system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 2D 영상과 관련된 시그널링 정보를 이용하여, 하나의 비디오 스트림에 포함된 3D 비디오 데이터 중 일부를 2D 영상으로 출력할 수 있도록 하는 방송 신호 수신기 및 이의 데이터 처리 방법에 관한 것이다. 특히 본 발명은 비디오 스트림의 특정 영역에 포함된 시그널링 정보를 획득하고, 획득한 시그널링 정보를 이용하여 3D 비디오 데이터 중 일부 영상을 추출하여 2D 영상으로 출력할 수 있다. 또한 획득한 시그널링 정보를 이용하여 추출된 일부 영상의 크기를 리사이징 할 수 있어, 추가적인 대역폭의 소모 없이 2D/3D 영상을 모두 제공할 수 있는 장점이 있다.

Description

방송 신호 수신기 및 비디오 데이터 처리 방법
본 발명은 방송 수신기 및 그의 비디오 데이터 처리 방법에 관한 것으로, 더욱 상세하게는 3D 비디오 데이터를 수신하여 처리하는 방송 신호 수신기 및 그의 비디오 데이터 처리 방법에 관한 것이다.
일반적으로 3D(3 dimensions) 영상(또는 입체 영상)은 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.
이러한 3D 영상 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 레프트 뷰(left view) 이미지와 우안에서 시청되기 위한 라이트 뷰(right view) 이미지를 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 레프트 뷰 이미지와 우측 이미지를 시청함으로써 3D 영상 효과를 인지할 수 있도록 한다.
본 발명이 이루고자 하는 기술적 과제는 3D 비디오 디스플레이가 가능한 수신 장비 및 2D 비디오 디스플레이만이 가능한 수신 장비에서 각각 적절한 비디오 데이터 처리를 수행하도록 하고, 장비에 적절한 영상을 출력함으로써 사용자에게 더욱 효율적이고 편리한 방송 환경을 제공하는데 있다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 방송 신호 수신기의 비디오 데이터 처리 방법은, 3D 영상 디스플레이를 위한 복수의 프레임들을 포함하는 비디오 스트림을 포함하는 방송 신호를 수신하는 단계; 상기 수신한 방송 신호로부터 비디오 스트림을 추출하는 단계; 상기 추출한 비디오 스트림으로부터 2D 디스플레이 윈도우 영역 정보를 획득하는 단계로써, 상기 2D 디스플레이 윈도우 영역 정보는 상기 3D 영상 디스플레이를 위한 복수의 프레임 각각에 대하여 프레임의 일부 영역을 2D 영상 디스플레이 하기 위하여, 상기 프레임의 일부 영역을 포함하는 2D 디스플레이 윈도우 영역을 지시하는, 2D 디스플레이 윈도우 영역 정보를 획득하는 단계; 상기 획득한 2D 디스플레이 윈도우 영역 정보를 이용하여, 상기 프레임의 일부 영역을 추출하는 단계; 및 상기 획득한 2D 디스플레이 윈도우 영역 정보를 이용하여, 상기 추출된 프레임의 일부 영역을 포함하는 2D 디스플레이 윈도우 영역을 리사이징하여 출력하는 단계를 포함할 수 있다.
또한, 본 발명의 다른 일 실시예에 따른 방송 신호 수신기는, 3D 영상 디스플레이를 위한 복수의 프레임들을 포함하는 비디오 스트림을 포함하는 방송 신호를 수신하는 튜너; 상기 방송 신호로부터 비디오 스트림을 추출하는 디멀티플렉서; 상기 추출한 비디오 스트림으로부터 2D 디스플레이 윈도우 영역 정보를 획득하는 디코더로써, 상기 2D 디스플레이 윈도우 영역 정보는 상기 3D 영상 디스플레이를 위한 복수의 프레임 각각에 대하여 프레임의 일부 영역을 2D 영상 디스플레이 하기 위하여, 상기 프레임의 일부 영역을 포함하는 2D 디스플레이 윈도우 영역을 지시하는, 2D 디스플레이 윈도우 영역 정보를 획득하는 디코더; 상기 획득한 2D 디스플레이 윈도우 영역 정보를 이용하여, 상기 프레임의 일부 영역을 추출하는 추출부; 및 상기 획득한 2D 디스플레이 윈도우 영역 정보를 이용하여, 상기 추출된 프레임의 일부 영역을 포함하는 2D 디스플레이 윈도우 영역을 리사이징하여 출력하는 제어부를 포함할 수 있다.
본 발명에 따르면, 방송 신호 수신기는 2D 영상과 관련된 시그널링 정보를 이용하여, 하나의 비디오 스트림에 포함된 3D 비디오 데이터 중 일부를 2D 영상으로 출력할 수 있다. 또한 본 발명에 따르면, 방송 신호 수신기는 2D 영상과 관련된 시그널링 정보를 이용하여 출력된 2D 영상을 적절히 변경하고 제어할 수 있다.
도 1은 본 발명의 제 1 실시예에 따른 2D 디스플레이 윈도우 영역 정보를 포함하는 user_data 신택스 구조를 나타낸 도면이다.
도 2는 본 발명의 제 2 실시예에 따른 2D 디스플레이 윈도우 영역 정보를 포함하는 user_data_registered_itu_t_35() 신택스 구조를 나타낸 도면이다.
도 3은 본 발명에 따른 2D_display_window_data ()정보의 신택스 구조를 나타낸 도면이다.
도 4는 본 발명에 따른 수신기가 2D_display_window_data ()정보를 획득하는 방법을 나타낸 플로우 차트이다.
도 5는 본 발명에 따른 수신기가 2d_display_window_data ()정보를 이용하여 2D 디스플레이 윈도우 영역을 리사이징하는 방법을 나타낸 플로우 차트이다.
도 6은 본 발명에 따른 2D 디스플레이 윈도우 영역을 리사이징하는 일 실시예를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 2D 디스플레이 윈도우 영역 정보를 포함하는 3D 방송 신호를 처리하는 방송 신호 수신기의 구성요소들을 도시한 도면이다.
도 8은 본 발명에 따른 수신기의 비디오 데이터 처리 방법을 나타낸 플로우 차트이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
3D 영상 표현 방법은 2개의 시점을 고려하는 스테레오스코픽 이미지 방식과 3개 이상의 시점을 고려하는 멀티플 뷰 이미지(multiple view image) 방식(또는 다시점 방식)을 포함한다. 이에 비해 종래의 싱글 뷰 이미지(single view image) 방식은 모노스코픽 영상 방식이라고 지칭할 수 있다.
스테레오스코픽 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 레프트 뷰 이미지와 라이브 뷰 이미지의 한 쌍의 이미지를 사용한다. 다시점 방식은 일정한 거리나 각도를 갖는 3개 이상의 카메라에서 촬영하여 획득한 3개 이상의 이미지를 사용한다. 이하에서 스테레오스코픽 방식을 일 실시예로 본 발명을 설명하나 본 발명의 사상은 다시점 방식에도 적용될 수 있을 것이다.
본 발명에 따른 스테레오스코픽 이미지 멀티플렉싱 포맷은 사이드바이사이드(side-by-side) 포맷, 탑바텀(top-bottom) 포맷, 체커보드(checker board) 포맷 등이 있다. 사이드바이사이드 포맷은 좌 영상과 우 영상을 각각 수평방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 좌측에, 샘플링한 나머지 하나의 영상을 우측에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 포맷이며, 탑바텀 방식은 좌 영상과 우 영상을 각각 수직방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 상부에, 샘플링한 나머지 하나의 영상을 하부에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 포맷이다. 체커보드 포맷은 좌 영상과 우 영상을 각각 수직 및 수평방향으로 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성하는 포맷이다. 하지만 본 발명에 따른 스테레오스코픽 이미지 멀티 플렉싱 포맷은 위의 예에 한정되거나 제한되는 것은 아니다.
스테레오스코픽 이미지 또는 다시점 이미지는 MPEG (Moving Picture Experts Group)을 포함하는 다양한 방법으로 압축 부호화되어 전송될 수 있다. 예를 들어, 스테레오스코픽 이미지 또는 다시점 이미지는 MPEG-2 또는 H.264/AVC(Advanced Video Coding) 방식으로 압축 부호화되어 전송될 수 있다. 이때 수신 시스템은 MPEG-2 또는 H.264/AVC 코딩 방식의 역으로 각각 수신 이미지를 복호하여 3D 이미지를 얻을 수 있다.
또한 스테레오스코픽 이미지의 레프트 뷰 이미지와 라이브 뷰 이미지 중 하나 또는 다시점 영상 중 하나의 영상을 기본 계층(base layer) 영상으로, 나머지 영상은 확장 계층(enhancement layer) 영상으로 할당하고, 기본 계층의 영상은 모노스코픽 영상과 동일한 방식으로 부호화하고, 확장 계층의 영상은 기본 계층과 확장 계층의 영상간의 관계 정보에 대해서만 부호화하여 전송할 수 있다. 기본 계층 영상에 대한 압축 부호화 방식의 예로 JPEG, MPEG-2, MPEG-4, H.264/AVC 방식 등이 사용될 수 있다.
하지만 3D 영상을 전송하고자 할 때 고려해야 하는 사항 중 하나는 2D 영상과의 호환성이다. 3D 영상 디스플레이를 지원하지 않는 수신기는 수신한 방송 신호에 포함된 3D 영상을 2D 영상으로 디스플레이 해야 하며, 3D 수신기에서도 필요한 경우에는 2D 영상을 디스플레이할 수 있어야 하기 때문이다.
따라서 전송측에서는 레프트 뷰 또는 라이브 뷰 이미지 중 하나의 이미지는 2D 영상 호환 가능한 방법으로 코딩하여 전송할 수 있다. 이 경우 2D 영상 호환 가능한 방법으로 코딩될 뷰 포인트(view point)의 이미지는 설계자의 의도에 따라 달라질 수 있다. 또한 2D 영상 호환 가능한 기본 계층 영상을 전송하는 비디오 스트림과 3D 디스플레이를 위한 추가적인 확장 계층 영상을 전송하는 비디오 스트림 즉, 두 개의 비디오 스트림을 통해 전송할 수 있다. 이 경우 3D 수신기가 좌우 출력의 뷰 포인트를 정확하게 맞출 수 있도록 전송측에서는 뷰 포인트에 관한 정보를 추가적으로 전송해야 한다. 하지만 두 개의 비디오 스트림을 통해 영상을 전송하는 경우, 기존의 화질을 유지 하기 위한 대역폭 확장이 필요하고, 좌우 출력의 뷰 포인트를 맞추기 위하여 추가적으로 전송된 뷰 포인트에 관한 정보를 이용한 비디오 스트림의 출력 제어가 요구된다.
따라서 본 발명에서는 하나의 비디오 스트림을 통하여 3D 프로그램을 위한 기본 계층 영상과 3D 디스플레이를 위한 추가적인 확장 계층 영상을 함께 전송하고, 비디오 스트림에 포함된 영상의 일부를 2D 영상으로 출력하는 방송 신호 수신기 및 비디오 데이터 처리 방법을 제시하고자 한다. 이 경우, 3D 영상 프레임의 일부를 2D 영상으로 활용할 수 있으므로 추가적인 대역폭의 소모 없이 2D/3D 영상을 모두 제공할 수 있는 장점이 있다.
또한 전송측에서는 3D 영상 프레임의 일부를 2D 영상으로 출력하기 위하여 필요한 시그널링 정보를 전송할 수 있으며, 수신기는 시그널링 정보를 이용하여 3D 영상 프레임의 일부를 추출하여 2D 영상으로 출력할 수 있다. 본 발명에서는 상술한 시그널링 정보를 2D 디스플레이 윈도우 영역 정보라 호칭할 수 있으며, 2D 영상으로 활용되는 3D 영상 프레임의 일부 영역을 포함하는 디스플레이 영역을 2D 디스플레이 윈도우 영역이라 호칭할 수 있다. 또한 2D 디스플레이 윈도우 영역 정보는 2D 디스플레이 윈도우 영역을 지시하는 정보를 포함할 수 있으며, 2D 디스플레이 윈도우 영역를 지시하는 수직 좌표의 범위 및 수평 좌표의 범위를 포함할 수 있다. 수직 좌표의 범위 및 수평 좌표의 범위는 설계자의 의도에 따라 변경 가능하다.
또한 본 발명에 따른 비디오 스트림은 복수의 비디오 스트림 구간(video stream section)을 포함할 수 있으며, 비디오 스트림 구간은 비디오 프레임, 픽처, 시퀀스의 단위로 구성될 수 있다. 또한 본 발명에 따른 비디오 프레임, 픽처, 시퀀스는 레프트 뷰 및 라이브 뷰 영상을 포함할 수 있다.
따라서 2D 디스플레이 윈도우 영역은 하나의 비디오 스트림에 포함된 각 비디오 프레임, 각 픽처 또는 각 시퀀스마다 각각 정의될 수 있다. 즉, 2D 디스플레이 윈도우 영역 정보는 비디오 스트림에 포함된 각 프레임의 2D 디스플레이 윈도우 영역을 지정하는 정보를 포함할 수 있다. 만약, 2D 디스플레이 윈도우 영역에 포함되는 영상이 비디오 스트림 구간 단위마다 레프트 뷰 영상 또는 라이브 뷰 영상으로 뷰 포인트가 변경된다면, 수신기는 2D 디스플레이 윈도우 영역 정보를 이용하여 변경되는 뷰 포인트에 따라 필요한 영상을 포함하는 2D 디스플레이 윈도우 영역을 출력할 수 있다.
이하에서는 본 발명의 일 실시예로써 수신기에서 비디오 스트림에 포함된 2D 디스플레이 윈도우 영역 정보를 이용하여 2D 영상을 출력하는 방법을 제시한다. 본 발명에서는 2가지의 실시예들을 제공한다. 첫번째 실시예는 비디오 스트림이 MPEG-2 방식로 압축 부호화되어 전송되는 경우이며, 두번째 실시예는 비디오 스트림이 H.264/AVC 방식으로 압축 부호화된 경우로 나누어질 수 있다. 각 실시예를 설명하면 다음과 같다.
제 1 실시예는 비디오 스트림이 MPEG-2 방식으로 압축 부호화되어 전송되는 경우로써, 이 경우 2D 디스플레이 윈도우 영역 정보는 비디오 스트림의 각 픽처의 헤더 영역에 포함되어 전송될 수 있다. 따라서 수신기는 픽처의 헤더 영역을 디코딩하여 2D 디스플레이 윈도우 영역 정보를 획득할 수 있다.
제 2 실시예는 비디오 스트림이 H.264/AVC 방식으로 압축 부호화되어 전송되는 경우로써, 이 경우 2D 디스플레이 윈도우 영역 정보는 SEI (Supplemental Enhancement Information) 영역을 통해 전송될 수 있다. 따라서 수신기는 AVC NAL unit을 파싱하여 2D 디스플레이 윈도우 영역 정보를 획득할 수 있다.
이하 각 실시예에 따른 2D 디스플레이 윈도우 영역 정보를 포함하는 신택스 구조를 살펴본다.
도 1은 본 발명의 제 1 실시예에 따른 2D 디스플레이 윈도우 영역 정보를 포함하는 user_data 신택스 구조를 나타낸 도면이다.
본 발명의 제 1 실시예에 따른 2D 디스플레이 윈도우 영역 정보는 각 픽쳐의 헤더 영역에 포함되어 전송될 수 있으며 구체적으로는, Picture Extension and User Data영역의 user_data 정보(1000)에 포함되어 전송될 수 있다.
수신기는 픽처 헤더와 픽처 코딩 익스텐션을 수신한 이후 Picture Extension and User Data 영역을 수신하여 디코딩할 수 있다. 이후 수신기는 user_data 정보 신택스(1000)를 획득할 수 있다. user_data 정보(1000)에 포함된 user_data_start_code 정보와 user_data_identifier 정보의 값을 통해 user_structure() 정보가 정의될 수 있다. 특히 본 발명에서는 수신기가 user_data_start_code 정보값이 0x0000 01B2이고, user_identifier 정보 값이 0x4741 3934인 경우의 user_structure() 정보를 이용하는 것을 일 실시예로 한다.
수신기는 user_structure() 정보가 지시하는 ATSC_user_data() 정보 신택스(1100)를 획득할 수 있다. 이후 수신기는 ATSC_user_data() 신택스(1100)에 포함된 user_data_type_code 정보와 user_data_type_structure() 정보를 이용하여 2D 디스플레이 윈도우 영역 (2d_display_window_data ())정보(1300)를 획득할 수 있다. 수신기는 2 d_display_window_data ()정보를 디코딩하여 현재 비디오 데이터에 대한 2D 디스플레이 윈도우 영역 정보를 획득할 수 있다. 이하 각 신택스에 포함된 정보의 구체적인 내용을 살펴본다.
user_data 정보 신택스(1000)는 user_data_start_code 정보, user_data_identifier 정보 및 user_structure() 정보를 포함할 수 있다. 이하 각 정보에 대해 살펴본다.
user_data_start_code 정보는 0x0000 01B2으로 고정된 값을 갖는다.
user_data_identifier 정보는 32 비트의 크기를 가지며, user_structure() 정보에 포함되는 데이터를 지시할 수 있다. 본 발명에서는 0x47413934의 값을 가지며, 이는 user_structure() 정보가 ATSC_user_data() 신택스(1100)를 포함함을 나타낸다.
user_structure() 정보는 user_data_identifier 정보 값에 따라 정의되는 가변적인 길이를 갖는 데이터 구조를 지시한다.
ATSC_user_data() 신택스(1100)는 user_data_type_code 정보와 user_data_type_structure() 정보를 포함할 수 있다. 이하 각 정보에 대해 살펴본다.
user_data_type_code 정보는 8비트의 크기를 가지며, user_data_type_structure() 정보에 포함된 데이터 타입을 지시한다. 본 발명에 따른 제 1 실시예에 따르면, user_data_type_code 정보의 값이 0x10 인 경우, user_data_type_structure()에 포함되는 데이터가 2D 디스플레이 윈도우 영역 정보임을 지시한다. user_data_type_code 정보의 값이 0x03이면 user_data_type_structure()에 포함되는 데이터가 클로즈드 캡션 데이터임을 지시하며, user_data_type_code 정보의 값이 0x06이면 user_data_type_structure()에 포함되는 데이터가 bar_data()임을 지시한다.
user_data_type_structure() 정보는 2D 디스플레이 윈도우 영역 정보(1200)를 포함할 수 있다. 2D 디스플레이 윈도우 영역 정보(1200)에 대한 구체적인 설명은 후술하기로 한다.
도 2는 본 발명의 제 2 실시예에 따른 2D 디스플레이 윈도우 영역 정보를 포함하는 user_data_registered_itu_t_35() 신택스 구조를 나타낸 도면이다.
본 발명의 제 2 실시예에 따르면, 2D 디스플레이 윈도우 영역은 SEI 영역의 RBSP(raw byte sequence payload)를 통해 전송될 수 있다.
수신기는 AVC NAL unit을 파싱하고 SEI payloadType 값을 확인할 수 있다. SEI payloadType 값이 4인 경우, 수신기는 user_data_registered_itu_t_35() 신택스(2000)에 포함된 user_identifier 정보와 user_structure() 정보를 획득할 수 있다. 본 발명에 따른 SEI 영역은 VCL(Video Coding Layer)의 복호 과정에 필수가 아닌 부가 정보를 포함할 수 있으며, HRD(Hypothetical Reference Decoder)와 관련된 각 picture의 타이밍 정보, 팬/스캔 기능(복호한 영상의 일부를 판독하여 표시하는 기능)에 관한 정보, 임의 액세스를 수행하는데 필요한 정보, 사용자가 독자적으로 정의하는 정보 등을 포함할 수 있다. 본 발명에 따르면, 제 2 실시예의 SEI는 제 1 실시예의 MPEG-2의 picture extension and user data영역과 마찬가지로 동일한 역할을 수행할 수 있으며 동일한 위치에 위치할 수 있다. 또한 user_identifier 정보와 user_structure() 정보는 그 값에 따라 ASFD bar data 또는 caption data를 지시할 수 있다. 이는 설계자의 의도에 따라 변경 가능하다.
또한 수신기는 user_structure() 정보에 포함된 ATSC_user_data() 신택스(1100)를 획득하고, ATSC_user_data() 신택스(1100)에 포함된 user_data_type_code 정보를 이용하여 해당 데이터가 2D 디스플레이 윈도우 영역 정보임을 알 수 있다.
또한 제 1 실시예와 마찬가지로, 수신기는 user_identifier 정보 값이 user_data_identifier 정보값이 0x4741 3934인 경우의 user_structure() 정보를 통해 2D 디스플레이 윈도우 영역 정보(2d_display_window_data ()정보)(1300)를 획득할 수 있다. 수신기는 2d_display_window_data ()정보를 디코딩하여 현재 비디오 데이터에 대한 2D 디스플레이 윈도우 영역 정보를 획득할 수 있다. 이하 도 2에 도시된 신택스에 포함된 정보들에 대해 살펴본다.
user_data_registered_itu_t_35() 신택스(2000)는 itu_t_t35_country_code 정보, itu_t_t35_provider_code 정보, user_identifier 정보 및 user_structure() 정보를 포함할 수 있다.
itu_t_t35_country_code 정보는 고정된 8비트의 크기를 가지며, itu_t_t35_provider_code 정보는 고정된 16비트의 크기를 가진다.
user_identifier 정보 및 user_structure() 정보는 도 1에서 설명한 바와 동일하므로 구체적인 설명은 생략한다.
도 3은 본 발명에 따른 2D_display_window_data ()정보의 신택스 구조를 나타낸 도면이다.
2d_display_window_data ()정보의 신택스는 2D 디스플레이 윈도우 영역의 수직좌표 및 수평좌표의 범위를 지시하는 정보들을 포함할 수 있다. 수신기는 수직/수평 좌표의 범위를 이용하여 2D 디스플레이 윈도우 영역을 설정하고, 2D 디스플레이 윈도우 영역에 포함된 프레임의 일부 영상을 2D 영상으로 출력할 수 있다. 또한 각 수직/ 수평 좌표의 범위를 조절하거나 변경함으로써 2D 디스플레이 윈도우 영역을 리사이징할 수 있다. 이하 신택스에 포함된 각 정보에 대해 설명한다.
2d_window_top_pos 정보 및 2d_window_bottom_pos 정보는 16비트의 크기를 가지며, 2D 디스플레이 윈도우 영역의 수직 좌표의 범위 즉, 탑과 바텀의 범위를 지시한다.
2d_window_left_pos 정보 및 2d_window_right_pos 정보는 16비트의 크기를 가지며, 2D 디스플레이 윈도우 영역의 수평 좌표의 범위 즉, 좌측과 우측의 범위를 지시한다.
도 3에 도시된 본 발명의 실시예에 따른 2D_display_window_data ()정보의 신택스 구조는 연속하는 수직/수평 좌표 만을 포함하고 있으나, 실시예에 따라 연속하지 않는 복수의 수직/수평 좌표 범위를 정의할 수도 있다. 즉, 3D 영상을 디스플레이 하기 위한 비디오 프레임 또는 이미지 멀티플렉싱 포맷에 따라 추출하고자 하는 영상의 일부에 해당하는 2D 디스플레이 윈도우 영역이 달라질 수 있으므로, 2D_display_window_data ()정보의 신택스 구조는 복수의 수직/수평 좌표 범위를 포함할 수 있다. 예를 들어, 비디오 프레임을 픽셀단위로 세분화하고, 세분화된 영상을 행 또는 열을 중심으로 홀수 짝수로 구별한 뒤, 각 세분화된 영상 중 행에 해당하는 영상들을 추출하여 2D 영상으로 디스플레이 하는 경우,2D_display_window_data ()정보의 신택스 구조는 해당 영상을 포함하는 2D 디스플레이 윈도우 영역을 지시하기 위하여 복수개의 각 수직/수평 좌표를 포함할 수 있다.
도 4는 본 발명에 따른 수신기가 2D_display_window_data ()정보를 획득하는 방법을 나타낸 플로우 차트이다.
수신기는 수신한 비디오 스트림을 디코딩할 수 있다(S4000). 이 경우 비디오 스트림은 복수의 비디오 스트림 구간을 포함할 수 있으며, 비디오 스트림 구간은 비디오 프레임, 픽처, 시퀀스의 단위로 구성될 수 있다. 또한 본 발명에 따른 비디오 스트림은 JPEG, MPEG-2, MPEG-4, H.264/AVC 방식 등 압축 전송 방식에 따라 디코딩 될 수 있다.
수신기는 디코딩된 비디오 스트림의 시퀀스 헤더 및 픽처 헤더 영역을 디코딩할 수 있다(S4100). 이후 수신기는 디코딩된 부가적인 헤더 정보를 디코딩할 수 있다(S4200). 부가적인 헤더 정보는 본 발명의 제 1 실시예에 따라 비디오 스트림이 MPEG-2 방식으로 압축 부호화 전송된 경우, Picture Extension and User Data 영역을 포함할 수 있으며, 본 발명에 따른 제 2 실시예에 따라 비디오 스트림이 H.264/AVC 방식으로 압축 부호화 전송된 경우, SEI 영역을 포함할 수 있다. 또한 도 1에서 설명한 바와 같이 본 발명에 따른 제 1 실시예의 경우, 수신기는 픽처 헤더와 픽처 코딩 익스텐션을 수신한 이후 Picture Extension and User Data 영역을 수신하여 디코딩할 수 있다.
수신기는 디코딩된 부가적인 헤더 정보에 포함된 ATSC_user_data()를 검출할 수 있다(S4300). 구체적으로, 본 발명에 따른 제 1 실시예의 경우 수신기는 디코딩된 Picture Extension and User Data 영역에 포함된 user_data 정보 신택스(1000)를 획득할 수 있으며, user_data_start_code 정보값이 0x0000 01B2이고, user_data_identifier 정보값이 0x4741 3934인 경우의 user_structure() 정보를 획득할 수 있다. 이 경우 user_structure() 정보는 ATSC_user_data() 정보 신택스(1100)를 지시한다. 본 발명에 따른 제 2 실시예의 경우 수신기는 디코딩된 SEI에 포함된 SEI payloadType 값을 확인하고, SEI payloadType 값이 4인 경우, 수신기는 user_data_registered_itu_t_35() 신택스(2000)에 포함된 user_identifier 정보 값이 제 1 실시예와 동일하게 user_data_identifier 정보값이 0x4741 3934인 경우의 user_structure() 정보를 획득할 수 있다.
수신기는 ATSC_user_data() 신택스(1100)에 포함된 user_data_type_structure() 정보를 검출할 수 있다(S4400). 이 경우 수신기는 ATSC_user_data() 신택스(1100)에 포함된 user_data_type_code 정보의 값이 0x10 인 경우의 user_data_type_structure() 정보를 획득할 수 있다. 이 경우 user_data_type_structure() 정보는 2d_display_window_data ()정보를 포함할 수 있다.
수신기는 2d_display_window_data ()정보를 검출하여 디코딩하고, 디코딩된 2d_display_window_data ()정보를 이용하여 현재 프레임의 일부 영역을 포함하는 2D 디스플레이 윈도우 영역을 결정할 수 있다(S4500). 2d_display_window_data ()정보는 도 3에서 설명한 바와 같이, 2D 디스플레이 윈도우 영역을 지시하는 수직/수평 좌표 범위를 포함할 수 있다.
수신기는 검출된 2d_display_window_data ()정보를 이용하여 2D 디스플레이 윈도우 영역에 포함되는 3D 영상의 일부 영역을 추출하고, 2D 디스플레이 윈도우 영역을 리사이징하여 출력할 수 있다. 구체적인 설명은 후술하기로 한다.
도 5는 본 발명에 따른 수신기가 2d_display_window_data ()정보를 이용하여 2D 디스플레이 윈도우 영역을 리사이징하는 방법을 나타낸 플로우 차트이다.
수신기는 본 발명의 제 1 실시예 또는 제 2 실시예에 따라 비디오 스트림의 디코딩된 부가적인 헤더 정보에 포함된 2d_display_window_data ()정보를 추출하여 디코딩할 수 있다(S5000).
2d_display_window_data ()정보는 비디오 스트림에 포함된 3D 영상의 일부 영역을 2D 디스플레이 하기 위하여, 3D 영상의 일부 영역을 포함하는 2D 디스플레이 윈도우 영역을 지시하는 정보를 포함할 수 있다. 2D 디스플레이 윈도우 영역을 지시하는 정보는 도 3에서 설명한 바와 동일하므로 구체적인 설명은 생략하기로 한다.
이후 수신기는 비디오 스트림에 대해 2D 디스플레이 윈도우 적용을 요청하는 2D 모드 전환 요구 신호가 입력되었는지 여부를 확인할 수 있다 (S5100).
만약 사용자로부터 2D 모드 전환 요구 신호가 입력된 경우, 수신기는 디코딩된 2d_display_window_data ()정보를 이용하여 3D 영상 프레임의 일부 영역을 추출할 수 있다(S5200).
만약 사용자로부터 2D 모드 전환 요구 신호가 입력되지 않았다면 수신기는 3D 영상의 일부 영역을 추출하지 않고, 3D 포맷 변환 등을 수행하여 3D 영상을 출력할 수 있다.
또한 수신기는 2d_display_window_data ()정보를 이용하여 추출된 2D 디스플레이 윈도우 영역을 리사이징하여 출력할 수 있다(S5300). 이 경우 수신기는 2D 디스플레이 윈도우 영역의 수직 좌표 및 수평 좌표에 대해 보간(interpolation) 또는 외삽(extrapolation) 방식을 사용함으로써 2D 디스플레이 윈도우 영역을 리사이징할 수 있다.
여기서 보간(interpolation)은 어떤 함수 F(x)에 대해 시점 Q에서의 함수값 F(Q)와 시점 S에서의 함수값 F(S)를 알고 있을 때 Q와 S 사이의 어떤 시점에서의 함수값을 추정하는 것을 의미하며, 상기 보간의 가장 간단한 예로 선형 보간(Linear Interpolation)이 있다. 또한 외삽(extrapolation)은 어떤 함수 F(x)에 대해 시점 Q에서의 함수값 F(Q)와 시점 S에서의 함수값 F(S)를 알고 있을 때 Q와 S 사이의 구간이 아닌 바깥쪽의 시점에서의 함수값을 추정하는 것을 의미한다. 상기 외삽의 가장 간단한 예로 선형 외삽(Linear Extrapolation)이 있다.
이러한 상기 선형 보간 기법과 선형 외삽 기법은 수많은 보간 기법 및 외삽 기법 중 가장 간단한 예이며 상기한 방법 외에 설계자의 의도에 따라 여러 가지 다양한 보간 기법 및 외삽 기법을 사용할 수 있다.
도 6은 본 발명에 따른 2D 디스플레이 윈도우 영역을 리사이징하는 일 실시예를 나타낸 도면이다.
상술한 바와 같이 본 발명에 따른 2D 디스플레이 윈도우 영역은 비디오 스트림 구간 즉, 각 프레임, 각 픽처 또는 각 시퀀스마다 각각 정의될 수 있으며, 비디오 스트림 구간은 3D 영상을 위한 레프트 뷰 영상과 라이브 뷰 영상을 함께 포함할 수 있다. 또한 2D 디스플레이 윈도우 영역은 2D 디스플레이 윈도우 영역 정보에 포함된 수직/수평 좌표 범위로 정의되고, 수신기는 2D 디스플레이 윈도우 영역 정보를 이용하여 3D 영상의 일부 영역을 2D 영상으로 추출할 수 있다. 따라서 필요에 따라, 비디오 스트림 구간 단위로 2D 디스플레이 윈도우 영역에 포함되는 2D 영상의 뷰 포인트가 좌측에서 우측으로 또는 우측으로 변경되는 경우, 2D 디스플레이 윈도우 영역 정보를 각각 설정해야 한다. 또한 출력하고자 하는 2D 영상의 크기가 수신기 화면보다 작을 수 있으므로 2D 디스플레이 윈도우 영역을 리사이징 할 필요가 있다. 따라서 수신기는 비디오 스트림 구간 단위로 2D 디스플레이 윈도우 정보를 변경하여 뷰 포인트 및 수신기 화면에 맞도록 2D 디스플레이 윈도우 영역을 출력할 수 있어야 한다. 이하에서는 출력하고자 하는 2D 영상의 뷰 포인트에 따라 2D 디스플레이 윈도우 영역을 지시하는 2D 디스플레이 윈도우 영역 정보를 살펴보고, 2D 디스플레이 윈도우 영역을 리사이징하는 일 실시예를 구체적으로 살펴본다. 본 실시예에서는 탑바텀 포맷의 프레임에 대해 설명하나, 본 발명은 이에 한정되지는 않을 것이다.
도 6의 (a)은 본 발명에 따른 비디오 스트림에 포함된 3D 프레임의 일 실시예로써, 프레임의 크기가 1920x1080이고, 스테레오스코픽 이미지 멀티플렉싱 포맷이 탑바텀 포맷이고, 프레임의 탑 영역에는 레프트 뷰 영상이 위치하고 프레임의 바텀 영역에는 라이브 뷰 영상이 위치하는 경우를 나타낸 도면이다.
예를 들어 상술한 프레임이 300장인 경우, 처음 200장의 프레임에 대해서는 레프트 뷰 영상을 2D 영상으로 설정하고, 나머지 100장의 프레임에 대해서는 라이브 뷰 영상을 2D 영상으로 설정하는 경우, 2D 디스플레이 윈도우 영역 정보는 다음과 같은 수직/수평 좌표 값을 포함할 수 있다. 프레임 0번부터 199번에 대한 2D 디스플레이 윈도우 영역을 지시하는 2D 디스플레이 윈도우 영역 정보는 수직 좌표 값 top 0, bottom 539, 수평 좌표 값 left 0, right 1919를 포함할 수 있다. 또한 프레임 200번부터 299번에 대한 2D 디스플레이 윈도우 영역을 지시하는 2D 디스플레이 윈도우 영역 정보는 수직 좌표 값 top 540, bottom 1079, 수평 좌표 값 left 0, right 1919를 포함할 수 있다.
만약 사이드 바이 사이드 포맷의 프레임의 경우에는 프레임의 왼쪽 사이드 영역에는 레프트 뷰 영상이 위치하고, 오른쪽 사이드 영역에는 라이트 뷰 영상이 위치할 수 있다. 이 경우 레프트 뷰 영상을 포함하는 2D 디스플레이 윈도우 영역은 수직 좌표값 top 0, bottom 1079, 수평 좌표 값 left 0, right 959로 지시될 수 있으며, 라이트 뷰 영상을 포함하는 2D 디스플레이 윈도우 영역은 수직 좌표값 top 0, bottom 1079, 수평 좌표 값 left 960, right 1079로 지시될 수 있다.
도 6의 (b)는 레프트 뷰 영상을 2D 영상으로 설정하는 경우, 즉 2D 디스플레이 윈도우 영역 정보에 포함된 좌표 값이 top 0, bottom 539, left 0, right 1919인 경우의 2D 디스플레이 윈도우 영역의 일 실시예이다.
도 6의 (c)는 본 발명에 따른 레프트 뷰 영상을 포함하는 2D 디스플레이 윈도우 영역의 일 실시예이다.
수신기는 2D 디스플레이 윈도우 영역 정보에 포함된 좌표 값을 이용하여 해당 영상을 추출하고 추출된 영상을 포함하는 2D 디스플레이 윈도우 영역을 디스플레이 할 수 있다. 본 실시예의 경우, 레프트 뷰 영상을 포함하는 2D 디스플레이 윈도우 영역은 프레임의 탑에 위치하고 있으므로 수신기 화면의 상단 절반에만 디스플레이된다. 따라서, 수신기 화면 전체에 디스플레이 될 수 있도록 2D 디스플레이 윈도우 영역에 대한 리사이징 처리가 필요하다.
도 6의 (d)는 본 발명에 따른 리사이징된 2D 디스플레이 윈도우 영역의 일 실시예이다. 이 경우, 도 5에서 상술한 바와 같이, 수신기는 2D 디스플레이 윈도우 영역의 수직 좌표 및 수평 좌표 범위에 대해 보간 또는 외삽 등을 수행하여 2D 디스플레이 윈도우 영역을 리사이징하여 출력할 수 있다.
도 7은 본 발명의 일 실시예에 따른 2D 디스플레이 윈도우 영역 정보를 포함하는 3D 방송 신호를 처리하는 방송 신호 수신기의 구성요소들을 도시한 도면이다.
본 발명에 따른 방송 신호 수신기는 튜너(7000), 제 1 디코더(7010), 디멀티플렉서(7020), 시그널링 정보 프로세서(7030), 제 2 디코더(7040), 2D/3D 스위치(또는 신호 확인부)(7050), 추출부(7060), 제어부(7070), L/R 스플리터(7080) 및 포맷터 (7090)을 포함할 수 있다.
튜너(7000)는 수신한 방송 신호를 튜닝할 수 있으며, 튜닝한 방송 신호에 대해 디모듈레이팅을 수행한 뒤 디모듈레이팅된 방송 신호를 제 1 디코더(7010)로 출력한다. 이 경우 튜너(7000)은 VSB (Vestigial Side Band)복조 또는 OFDM (Orthogonal Frequency Division Multiplexing) 복조 등을 수행할 수 있다.
제 1 디코더(7010)는 수신한 디모듈레이팅된 방송 신호에 대해 디코딩을 수행하고, 디멀티플렉서(7020)로 출력한다. 시그널링 정보 프로세서(7030)는 시그널링 정보를 파싱하여 출력할 수 있다. 이 경우, 시그널링 정보는 PSI/PSIP 등을 포함할 수 있다. 디멀티플렉서(7020)는 시그널링 정보로부터 비디오 스트림 PID를 추출하고, 해당 비디오 스트림 PID를 사용하여 디코딩된 방송 신호로부터 비디오 스트림을 추출하고, 추출한 비디오 스트림을 제 2 디코더(7040)로 출력할 수 있다.
제 2 디코더(7040)는 추출한 비디오 스트림으로부터 2D 디스플레이 하기 위한 정보를 포함하는 2D 디스플레이 윈도우 영역 정보를 획득하고, 획득한 2D 디스플레이 윈도우 영역 정보를 추출부(7060)로 전송할 수 있다. 본 발명의 제 1 실시예에 따르는 경우, 비디오 디코더(7040)는 픽처의 헤더 영역을 디코딩하여 2D 디스플레이 윈도우 영역 정보를 획득할 수 있으며, 본 발명의 제 2 실시예에 따르는 경우, 비디오 디코더(7040)는 AVC NAL unit을 파싱하여 2D 디스플레이 윈도우 영역 정보를 획득할 수 있다.
2D/3D 스위치부(또는 신호 확인부)(7050)는 추출한 비디오 스트림을 2D 디스플레이 하도록 요청하는 2D 모드 전환 요구 신호가 입력되었는지 여부를 확인할 수 있다.
2D 모드 전환 요구 신호가 입력된 경우, 추출부(7060)는 2D 디스플레이 윈도우 영역 정보를 이용하여 비디오 스트림에 포함된 프레임의 일부 영역을 추출할 수 있다. 2D 디스플레이 윈도우 영역 정보는 각 프레임마다 정의될 수 있다.
이후 추출된 프레임의 일부 영역은 제어부(7070)로 전송되며, 제어부(7070)는 추출된 픽처의 일부 영역을 포함하는 2D 디스플레이 윈도우 영역을 디스플레이할 수 있다. 또한 2D 디스플레이 윈도우 영역은 비디오 스트림 구간 단위에 포함된 레프트 뷰 영상 또는 라이브 뷰 영상을 포함할 수 있다. 이 경우 제어부(7070)는 비디오 스트림 구간 단위로 2D 디스플레이 윈도우 정보를 변경하여 레프트 뷰 영상 또는 라이브 뷰 영상을 포함하는 2D 디스플레이 윈도우 영역을 리사이징하여 출력할 수 있다.
2D 모드 전환 요구 신호가 입력되지 않은 경우, L/R 스플리터부(7080)는 비디오 스트림에 포함된 레프트 뷰 영상 또는 라이브 뷰 영상을 분리하여 포맷터(7090)로 출력할 수 있다. 포맷터(7090)는 레프트 뷰 영상과 라이브 뷰 영상을 수신하고 3D 포맷 컨버젼(3D format conversion)등을 수행하여 3D 영상을 출력할 수 있다.
3D 영상 디스플레이를 지원하지 않는 수신기의 경우, 2D 모드 전환 요구 신호가 입력되지 않더라도 상술한 추출부(7060) 및 제어부(7070)의 동작을 수행할 수 있다.
도 8은 본 발명에 따른 수신기의 비디오 데이터 처리 방법을 나타낸 플로우 차트이다.
튜너(7000)는 비디오 스트림을 포함하는 방송 신호를 수신할 수 있다(S8000). 이 경우 비디오 스트림은 3D 영상 디스플레이를 위한 복수의 프레임들을 포함할 수 있다.
디멀티플렉서(7020)는 수신한 방송 신호로부터 비디오 스트림을 추출할 수 있다(S8100).
디코더(7040)는 수신한 비디오 스트림으로부터 2D 디스플레이 윈도우 영역 정보를 획득할 수 있다(S8200). 이 경우 디코더(7040)는 도 1, 2 에서 상술한 바와 같이, 본 발명의 제 1 실시예에 따르는 경우, 픽처의 헤더 영역을 디코딩하여 2D 디스플레이 윈도우 영역 정보를 획득할 수 있으며, 본 발명의 제 2 실시예에 따르는 경우, AVC NAL unit을 파싱하여 2D 디스플레이 윈도우 영역 정보를 획득할 수 있다.
또한 본 발명에 따른 2D 디스플레이 윈도우 영역 정보는 3D 영상 디스플레이를 위한 복수의 프레임 각각에 대하여 프레임의 일부 영역을 2D 영상 디스플레이 하기 위하여, 프레임의 일부 영역을 포함하는 2D 디스플레이 윈도우 영역을 지시하는 정보를 포함할 수 있다. 이 경우 2D 디스플레이 윈도우 영역 정보는 도 3에서 설명한 바와 같이, 2D 비디오 디스플레이 윈도우 영역을 지시하는 수직 좌표의 범위 및 수평 좌표의 범위를 포함할 수 있다.
추출부(7060)는 상기 획득한 2D 디스플레이 윈도우 영역 정보를 이용하여, 프레임의 일부 영역을 추출할 수 있다(S8400). 이 경우 추출된 프레임의 일부 영역은 도 6에서 설명한 바와 같이, 상이한 시점을 갖는 복수개의 영상에 해당될 수 있으며, 구체적으로는 좌측 영상 또는 우측 영상 중 어느 하나가 될 수 있다.
이후 제어부(7070)는 획득한 2D 디스플레이 윈도우 영역 정보를 이용하여, 추출된 프레임의 일부 영역을 포함하는 2D 디스플레이 윈도우 영역을 리사이징하여 출력할 수 있다(S8500). 이 경우 제어부(7070)는 도 5 및 도 6에서 설명한 바와 같이, 2D 비디오 디스플레이 윈도우 영역을 지시하는 수직 좌표의 범위 및 수평 좌표의 범위에 대해 보간이나 외삽등을 수행하여 상기 2D 디스플레이 윈도우 영역을 리사이징할 수 있다.
전술한 바와 같이, 상기 발명의 실시를 위한 최선의 형태에서, 관련된 사항을 기술하였다.
전술한 바와 같이, 본 발명은 디지털 방송 시스템에 전체적으로 또는 부분적으로 적용될 수 있다.

Claims (14)

  1. 3D 영상 디스플레이를 위한 복수의 프레임들을 포함하는 비디오 스트림을 포함하는 방송 신호를 수신하는 단계;
    상기 수신한 방송 신호로부터 비디오 스트림을 추출하는 단계;
    상기 추출한 비디오 스트림으로부터 2D 디스플레이 윈도우 영역 정보를 획득하는 단계로써,
    상기 2D 디스플레이 윈도우 영역 정보는 상기 3D 영상 디스플레이를 위한 복수의 프레임 각각에 대하여 프레임의 일부 영역을 2D 영상 디스플레이 하기 위하여, 상기 프레임의 일부 영역을 포함하는 2D 디스플레이 윈도우 영역을 지시하는, 2D 디스플레이 윈도우 영역 정보를 획득하는 단계;
    상기 획득한 2D 디스플레이 윈도우 영역 정보를 이용하여, 상기 프레임의 일부 영역을 추출하는 단계; 및
    상기 획득한 2D 디스플레이 윈도우 영역 정보를 이용하여, 상기 추출된 프레임의 일부 영역을 포함하는 2D 디스플레이 윈도우 영역을 리사이징하여 출력하는 단계를 포함하는 방송 신호 수신기의 비디오 데이터 처리 방법.
  2. 제 1항에 있어서,
    상기 2D 디스플레이 윈도우 영역 정보는,
    상기 2D 비디오 디스플레이 윈도우 영역을 지시하는 수직 좌표의 범위 및 수평 좌표의 범위를 포함하는 방송 신호 수신기의 비디오 데이터 처리 방법.
  3. 제 2항에 있어서,
    상기 획득한 2D 디스플레이 윈도우 영역 정보를 이용하여, 상기 추출된 프레임의 일부 영역을 포함하는 2D 디스플레이 윈도우 영역을 리사이징하여 출력하는 단계는,
    상기 2D 비디오 디스플레이 윈도우 영역을 지시하는 수직 좌표의 범위 및 수평 좌표의 범위를 조절하여 상기 2D 디스플레이 윈도우 영역을 리사이징하는 단계를 더 포함하는 방송 신호 수신기의 비디오 데이터 처리 방법.
  4. 제 1 항에 있어서,
    상기 프레임의 일부 영역은,
    상이한 시점을 갖는 복수개의 영상에 해당되는 방송 신호 수신기의 비디오 데이터 처리 방법.
  5. 제 1항에 있어서,
    상기 2D 디스플레이 윈도우 영역 정보를 획득하는 단계는,
    상기 비디오 스트림의 시퀀스 헤더 영역 및 픽처 헤더 영역을 디코딩하는 단계; 및
    상기 디코딩된 픽처 헤더 영역으로부터 상기 2D 디스플레이 윈도우 영역 정보를 획득하는 단계를 더 포함하는 방송 신호 수신기의 비디오 데이터 처리 방법.
  6. 제 5항에 있어서,
    상기 2D 디스플레이 윈도우 영역 정보는, 상기 디코딩된 픽처 헤더 영역의 유저 데이터 영역에 포함된 방송 신호 수신기의 비디오 데이터 처리 방법.
  7. 제 1항에 있어서,
    상기 2D 디스플레이 윈도우 영역 정보를 획득하는 단계는,
    상기 비디오 스트림으로부터 SEI(Supplemental Enhancement Information)을 디코딩하는 단계; 및
    상기 디코딩된 SEI로부터 상기 2D 디스플레이 윈도우 영역 정보를 획득하는 단계를 더 포함하는, 방송 신호 수신기의 비디오 데이터 처리 방법.
  8. 3D 영상 디스플레이를 위한 복수의 프레임들을 포함하는 비디오 스트림을 포함하는 방송 신호를 수신하는 튜너;
    상기 방송 신호로부터 비디오 스트림을 추출하는 디멀티플렉서;
    상기 추출한 비디오 스트림으로부터 2D 디스플레이 윈도우 영역 정보를 획득하는 디코더로써,
    상기 2D 디스플레이 윈도우 영역 정보는 상기 3D 영상 디스플레이를 위한 복수의 프레임 각각에 대하여 프레임의 일부 영역을 2D 영상 디스플레이 하기 위하여, 상기 프레임의 일부 영역을 포함하는 2D 디스플레이 윈도우 영역을 지시하는, 2D 디스플레이 윈도우 영역 정보를 획득하는 디코더;
    상기 획득한 2D 디스플레이 윈도우 영역 정보를 이용하여, 상기 프레임의 일부 영역을 추출하는 추출부; 및
    상기 획득한 2D 디스플레이 윈도우 영역 정보를 이용하여, 상기 추출된 프레임의 일부 영역을 포함하는 2D 디스플레이 윈도우 영역을 리사이징하여 출력하는 제어부를 포함하는 방송 신호 수신기.
  9. 제 8항에 있어서,
    상기 2D 디스플레이 윈도우 영역 정보는,
    상기 2D 비디오 디스플레이 윈도우 영역을 지시하는 수직 좌표의 범위 및 수평 좌표의 범위를 포함하는 방송 신호 수신기.
  10. 제 9항에 있어서,
    상기 제어부는,
    상기 2D 비디오 디스플레이 윈도우 영역을 지시하는 수직 좌표의 범위 및 수평 좌표의 범위를 조절하는 방송 신호 수신기.
  11. 제 8항에 있어서,
    상기 프레임의 일부 영역은,
    상이한 시점을 갖는 복수개의 영상에 해당되는 방송 신호 수신기.
  12. 제 8항에 있어서,
    상기 디코더는, 상기 비디오 스트림의 시퀀스 헤더 영역 및 픽처 헤더 영역을 디코딩하고, 상기 디코딩된 픽처 헤더 영역으로부터 상기 2D 디스플레이 윈도우 영역 정보를 획득하는 방송 신호 수신기.
  13. 제 12항에 있어서,
    상기 디코더는, 상기 디코딩된 픽처 헤더 영역의 유저 데이터 영역으로부터 상기 2D 디스플레이 윈도우 영역 정보를 획득하는 방송 수신기.
  14. 제 8항에 있어서,
    상기 디코더는, 상기 비디오 스트림으로부터 SEI(Supplemental Enhancement Information)을 디코딩하고, 상기 디코딩된 SEI로부터 상기 2D 디스플레이 윈도우 영역 정보를 획득하는 방송 수신기.
PCT/KR2011/000261 2010-01-18 2011-01-13 방송 신호 수신기 및 비디오 데이터 처리 방법 WO2011087303A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/521,379 US20120281075A1 (en) 2010-01-18 2011-01-13 Broadcast signal receiver and method for processing video data
EP11733090.2A EP2528333A4 (en) 2010-01-18 2011-01-13 DIFFUSION SIGNAL RECEIVER AND METHOD FOR PROCESSING VIDEO DATA

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US29600210P 2010-01-18 2010-01-18
US61/296,002 2010-01-18

Publications (2)

Publication Number Publication Date
WO2011087303A2 true WO2011087303A2 (ko) 2011-07-21
WO2011087303A3 WO2011087303A3 (ko) 2011-12-01

Family

ID=44304826

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/000261 WO2011087303A2 (ko) 2010-01-18 2011-01-13 방송 신호 수신기 및 비디오 데이터 처리 방법

Country Status (3)

Country Link
US (1) US20120281075A1 (ko)
EP (1) EP2528333A4 (ko)
WO (1) WO2011087303A2 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2807186C (en) * 2010-08-17 2017-03-14 Lg Electronics Inc. Apparatus and method for receiving digital broadcasting signal
WO2014058177A1 (ko) * 2012-10-08 2014-04-17 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
EP3687166A1 (en) * 2019-01-23 2020-07-29 Ultra-D Coöperatief U.A. Interoperable 3d image content handling
CN112188181B (zh) * 2019-07-02 2023-07-04 中强光电股份有限公司 图像显示设备、立体图像处理电路及其同步信号校正方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10224825A (ja) * 1997-02-10 1998-08-21 Canon Inc 画像表示システム及び該システムにおける画像表示装置及び情報処理装置及びそれらの制御方法及び記憶媒体
AU2003235940A1 (en) * 2002-04-25 2003-11-10 Sharp Kabushiki Kaisha Image encodder, image decoder, record medium, and image recorder
EP1529400A4 (en) * 2002-07-16 2009-09-23 Korea Electronics Telecomm DEVICE AND METHOD FOR ADAPTING A TWO-DIMENSIONAL AND THREE-DIMENSIONAL STEREOSCOPIC VIDEO SIGNAL
JP2007525907A (ja) * 2004-02-27 2007-09-06 ティディヴィジョン コーポレイション エス．エー． デ シー．ヴィ． 立体３ｄビデオイメージディジタルデコーディングのシステムおよび方法
KR100709423B1 (ko) * 2005-04-12 2007-04-18 엘지전자 주식회사 영상표시기기 및 그 제어방법
WO2007067020A1 (en) * 2005-12-09 2007-06-14 Electronics And Telecommunications Research Institute System and method for transmitting/receiving three dimensional video based on digital broadcasting
KR101207859B1 (ko) * 2007-09-11 2012-12-04 쓰리디원 주식회사 입체영상 표시 방법 및 그 장치
KR101506219B1 (ko) * 2008-03-25 2015-03-27 삼성전자주식회사 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
JP5127633B2 (ja) * 2008-08-25 2013-01-23 三菱電機株式会社 コンテンツ再生装置および方法
US8629898B2 (en) * 2008-09-03 2014-01-14 Sony Corporation Stereoscopic video delivery
KR20100040640A (ko) * 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
JP2010140235A (ja) * 2008-12-11 2010-06-24 Sony Corp 画像処理装置、画像処理方法およびプログラム
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
KR20110029948A (ko) * 2009-09-17 2011-03-23 삼성전자주식회사 입체 영상 표시 방법 및 이를 수행하기 위한 입체 영상 표시 장치
US8537201B2 (en) * 2010-10-18 2013-09-17 Silicon Image, Inc. Combining video data streams of differing dimensionality for concurrent display

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2528333A4

Also Published As

Publication number Publication date
EP2528333A4 (en) 2014-02-05
US20120281075A1 (en) 2012-11-08
EP2528333A2 (en) 2012-11-28
WO2011087303A3 (ko) 2011-12-01

Similar Documents

Publication Publication Date Title
WO2010087574A2 (en) Broadcast receiver and video data processing method thereof
WO2011084021A2 (ko) 방송 수신기 및 3d 이미지 디스플레이 방법
US9712803B2 (en) Receiving system and method of processing data
WO2010041905A2 (ko) 수신 시스템 및 데이터 처리 방법
US9756380B2 (en) Broadcast receiver and 3D video data processing method thereof
WO2010093115A2 (en) Broadcast receiver and 3d subtitle data processing method thereof
CA2760100C (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
WO2010117129A2 (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
US20130141533A1 (en) Digital broadcasting reception method capable of displaying stereoscopic image, and digital broadcasting reception apparatus using same
KR20120036848A (ko) 방송 송신기, 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
WO2011046271A1 (en) Broadcast receiver and 3d video data processing method thereof
WO2012070715A1 (ko) 디지털 방송의 전송 모드 제공 및 인지 방법
CA2856909C (en) Digital broadcasting reception method and apparatus capable of displaying stereoscopic images
WO2011087303A2 (ko) 방송 신호 수신기 및 비디오 데이터 처리 방법
WO2012070716A1 (ko) 디지털 방송에서 서비스 호환 방식 전송 방법
WO2009108028A9 (ko) 자유시점 영상 복호화 방법 및 장치
JP5375490B2 (ja) 送信装置、受信装置、通信システム及びプログラム
WO2014109563A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013058455A1 (ko) 비디오 신호의 보조 데이터 공간에 동기 정보를 추가하여 영상을 동기화하는 장치 및 방법
EP2656614A2 (en) Improvements to subtitles for three dimensional video transmission

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13521379

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2011733090

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011733090

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11733090

Country of ref document: EP

Kind code of ref document: A2