WO2014065635A1 - 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치 - Google Patents

다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치 Download PDF

Info

Publication number
WO2014065635A1
WO2014065635A1 PCT/KR2013/009597 KR2013009597W WO2014065635A1 WO 2014065635 A1 WO2014065635 A1 WO 2014065635A1 KR 2013009597 W KR2013009597 W KR 2013009597W WO 2014065635 A1 WO2014065635 A1 WO 2014065635A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
edge
view
information
video
Prior art date
Application number
PCT/KR2013/009597
Other languages
English (en)
French (fr)
Inventor
서종열
최지현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020157008088A priority Critical patent/KR20150079577A/ko
Priority to CA2888147A priority patent/CA2888147A1/en
Priority to JP2015539506A priority patent/JP6139691B2/ja
Priority to US14/432,603 priority patent/US9578300B2/en
Priority to MX2015004381A priority patent/MX345274B/es
Priority to EP13849001.6A priority patent/EP2914003A4/en
Priority to CN201380055737.7A priority patent/CN104769943B/zh
Publication of WO2014065635A1 publication Critical patent/WO2014065635A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware

Definitions

  • the present invention relates to a method and apparatus for processing a digital broadcast signal including a multiview 3D image. More specifically, the present invention relates to a method and apparatus for processing or preventing edge violations occurring at the left / right boundary of each viewpoint image in a process of serving a multiview 3D image.
  • 3DTV three-dimensional television
  • a 3D image provides a stereoscopic effect using the stereo vision principle of two eyes. Humans feel perspective through the parallax of two eyes, that is, binocular parallax by the distance between two eyes about 65mm apart, so the 3D image provides an image so that each of the left and right eyes can see the associated plane image. It can provide three-dimensional and perspective.
  • Such 3D image display methods include a stereoscopic method, a volumetric method, a holographic method, and the like.
  • a left view image for viewing in the left eye and a right view image for viewing in the right eye are provided, and the polarized glasses or the display device itself are provided.
  • the left eye and the right eye can recognize the 3D image effect by watching the left image and the right image, respectively.
  • the receiver displays a 3D image using the two images.
  • binocular disparity occurs due to disparity between the left image and the right image, thereby providing a stereoscopic image.
  • a situation in which a negative disparity object set to protrude toward the front of the screen (toward the viewer) by binocular disparity for each content, for each scene, or for each frame in the content may span the left and right boundaries of the screen.
  • a difference may occur between the depth perceived by binocular parallax and the depth perceived by the screen boundary bezel, and the user may feel a distorted depth.
  • edge violation This is called an edge violation, and the viewer may feel visual fatigue due to this edge violation, and it is difficult to view normal content.
  • edge violation This is called an edge violation, and the viewer may feel visual fatigue due to this edge violation, and it is difficult to view normal content.
  • the current 3D image receiver has a problem that there is no separate process that can handle the edge violation (edge violation).
  • an aspect of edge disturbance may vary for each viewpoint.
  • the technical problem of the present invention is to solve the above problems. More specifically, it is a technical problem of the present invention to efficiently solve edge disturbances that may occur in providing a multiview 3D video broadcasting service.
  • a method of receiving a multiview 3D video broadcast signal for processing edge interference in a multiview 3D video is to provide a broadcast signal for multiview 3D video broadcasting.
  • Receiving decoding the first left image data and the first right image data included in the three-dimensional image of the first view from the received broadcast signal, From the received broadcast signal, three-dimensional image processing information Parsing, among the second left image data and the second right image data included in the 3D image of the second viewpoint by using the first left image data, the first right image data, and the 3D image processing information.
  • the three-dimensional edge disturbance area detection function information includes function type information identifying a type of a function used to extract the area of the edge disturbance and coefficient information indicating a value of a coefficient used in the identified function. Include.
  • the 3D image processing information may include position information of a camera, which is expected to capture the second left image or the second right image, and information indicating an edge obstructing area in the 3D image of the first view. It includes more.
  • the three-dimensional image processing information further includes edge handling information including information about edge disturbances that may occur in the three-dimensional image of one or more viewpoints that may be generated at the receiver.
  • the edge handling information is present in the pixel number information of the area of the edge disturbance present in the left image included in the 3D image of the at least one viewpoint and the right image included in the 3D image of the at least one viewpoint. It includes pixel count information of the region of the edge disturb.
  • the edge handling information further includes information designating a method of handling the edge disturbance present in the left image and the right image included in the 3D image of the one or more viewpoints.
  • the edge handling information identifies the minimum disparity of the 3D image of the at least one view after the edge disturbances present in the left image and the right image included in the 3D image of the at least one view are handled. It contains more information.
  • the 3D image processing information is transmitted through a Supplemental Enhancement Information (SEI) message.
  • SEI Supplemental Enhancement Information
  • the 3D image processing information may include a program map table (PMT), a virtual channel table (VCT), an event information table (EIT), or a service description table (Service Description Table). It is transmitted through the Description Table (SDT).
  • PMT program map table
  • VCT virtual channel table
  • EIT event information table
  • SDT Description Table
  • a method of receiving a multiview 3D video broadcast signal for processing edge interference in a multiview 3D video receiving a broadcast signal for multiview 3D video broadcasting from the received broadcast signal.
  • the generating of at least one data of the second left image data and the second right image data included in the 3D image of the second view may include Mapping the pixels included in the 3D image of the first view to the pixels of the 3D image of the second view, and extracting the edge disturbance region occurring in the 3D image of the second view in the mapping process And handling the edge disturbance of the 3D image of the second view and displaying the 3D image of the first view and the 3D image of the second view.
  • the 3D image processing information includes camera parameter information of a camera capturing a 3D image of the first view, and includes second left image data and a first image included in the 3D image of the second view.
  • Generating at least one or more pieces of right image data may further include at least one of second left image data and second right image data included in the 3D image of the second view by further using the camera parameter information. Generate data.
  • edge handling is possible even for a 3D image of a view point that is not transmitted from a transmitting end.
  • the edge handling may be performed at the receiver.
  • FIG. 1 is a diagram illustrating a display method of a multiview 3D image according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating edge disturbances according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a method of handling edge violations according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a method of handling edge violations according to another embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a structure for signaling 3D_view_processing_info through a Supplemental Enhancement Information (SEI) message according to an embodiment of the present invention.
  • SEI Supplemental Enhancement Information
  • FIG. 6 is a diagram illustrating syntax of 3D_view_processing_info according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating syntax of a 3D_edge_handling_info () element according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a 3D edge disturbance area detection function information (3D_EVAD_function_info ()) element according to an embodiment of the present invention.
  • FIG. 9 illustrates a case in which edge handling information is signaled according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a case in which a related function is signaled so that a receiving end can derive edge handling information for a virtual 3D image according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating an equation for performing edge interference handling by a receiver without additional signaling according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a case in which an edge interference handling is performed by a receiver by itself without additional signaling according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a multiview 3D image receiver according to an embodiment of the present invention.
  • the 3D image representation method may include a stereoscopic method that considers two viewpoints and a multiple view image method (or multi-view method) that considers three or more viewpoints.
  • the conventional single view image method may be referred to as a monoscopic image method.
  • the stereoscopic method uses a pair of left view images (hereinafter referred to as left images) and live view images (hereinafter referred to as images) obtained by photographing the same subject with a left camera and a right camera that are spaced apart at a constant distance. Alternatively, a pair of images of the reference image and the additional image is used.
  • the multi-view method uses three or more images obtained by photographing three or more cameras having a constant distance or angle.
  • the multi-view method is a method in which a stereoscopic left / right image is provided at each viewpoint.
  • the stereoscopic method according to the present invention includes a side-by-side method, a top-bottom method, and a checker board method.
  • the left and right images are downsampled 1/2 in the horizontal direction, and one sampled image is placed in the left region and the other sampled image is placed in the right region.
  • the left and right images are half downsampled in the vertical direction, and one sampled image is placed in the top region, and the other sampled image is placed in the bottom region.
  • the checkerboard method is a method of constructing two images into one image by half downsampling the left image and the right image to cross each other in the vertical and horizontal directions.
  • the stereoscopic method according to the present invention is not limited or limited to the above example.
  • a transport stream for transmitting the left image and the right image may be configured separately. That is, the specific transport stream may transmit left images, and the other transport stream may transmit right images.
  • each transport stream may be utilized as a stream for the 2D video service.
  • FIG. 1 is a diagram illustrating a display method of a multiview 3D image according to an embodiment of the present invention.
  • a three-dimensional image of two or more viewpoints may be provided through one display panel.
  • a 3D image of three viewpoints is provided.
  • a stereo 3D image may be provided.
  • a video elementary stream included in each stereo 3D image may be commonly used in different 3D images.
  • element stream 1 (ES1) may be used as a right view in a 3D image having a 3D View ID of 0 and a left view in a 3D image having a 3D View ID of 1.
  • Element stream 2 (ES2) may be used as a right view in a 3D image having a 3D View ID of 1 and as a left view in a 3D image having a 3D View ID of 2.
  • FIG. 2 is a diagram illustrating edge disturbances according to an embodiment of the present invention.
  • the above view shows the relative depth of each part of the image perceived by the viewer while watching the 3D image.
  • the central circular object is perceived as closest to the user and the left and right rectangles are placed behind it. Since the rectangular objects on the left and right sides have negative disparity, they are recognized as being close to the user with respect to the screen.
  • the user since it is positioned at both edges of the screen, it can be recognized by the user as if a part of the rectangle is covered by the bezel, which is the edge of the screen. Therefore, the user may perceive that the left and right rectangles are located close to the user with respect to the screen, but may be perceived as being located behind the screen because the rectangle is hidden by the bezel of the screen.
  • three-dimensional stereo images have a viewing angle that is important for display effects. For example, if several people sit side by side and watch TV, 2DTV will allow everyone to see the same level of video, but 3DTV will have a limited sweet spot, so 3 The quality of the 3D image may vary. Therefore, when using a multiview display device for displaying each 3D image according to the viewing position, each viewer can watch the 3D image while feeling a better 3D effect.
  • stereo 3DTV can use two methods of transmitting a related parameter necessary at the receiving end through broadcast signaling or transmitting a stereo stream which has previously processed edge disturbing at the transmitting end. have.
  • the method of processing or mitigating the eigen solution depends on which stream is included in the stereo three-dimensional image at a certain point in time. Difficult to apply Accordingly, broadcast signaling is required so that the receiving end can appropriately receive and process parameters for each view.
  • the 3D image to be considered may be a stream transmitted directly or may be a 3D image synthesized at the receiving end. If the original image entering the input during the view synthesis causes an edge violation, a new three-dimensional image generated based on this may also cause an edge violation. Therefore, by transmitting information for reinforcing edge violations for each of the synthesized 3D images, it is possible to reduce distortion or discomfort when viewing a multiview 3DTV.
  • the present invention proposes a method for implementing a receiver or a transmitter of a multiview 3D video broadcasting service in a 3DTV providing a multiview 3D image.
  • an operation and an implementation method of 3DTV for controlling the output of a multiview 3D video using signaling information are proposed.
  • FIG. 3 is a diagram illustrating a method of handling edge violations according to an embodiment of the present invention.
  • a transmitter transmits a 3D image by performing a shift and bar (cropping) process of an image to prevent distortion of a pair of L and R stereo images occurring at an interface.
  • shift and bar process may be applied from the transmitter and transmitted.
  • the shift and bar to be applied for each time point may be different. It may be difficult to process and transmit a 3D image.
  • FIG. 3A illustrates a method of moving the left image and the right image included in the 3D image in a horizontal direction.
  • the edge disturb processor moves the left image included in the 3D image in the left horizontal direction and moves the right image in the right horizontal direction.
  • the moving distance in the horizontal direction may be determined according to the display size of the object causing the edge disturbance. That is, the left image and the right image are moved in the horizontal direction so that the object is not displayed on the screen.
  • the edge obstruction processor fills the bar with the bar in the horizontal direction and crops the area beyond the frame in the horizontal direction.
  • the 3D image may be generated from the left image and the right image thus generated, thereby eliminating or mitigating edge interference. That is, by cropping an area where edge interference is expected, only an image corresponding to any one of a left image and a right image may be displayed in the edge region.
  • 3B illustrates a method of moving a left image or a right image included in a 3D image in a horizontal direction.
  • the edge disturb processor keeps the original image as it is, but moves only the left image in the left horizontal direction. Of the left image moved to the left horizontal direction, an area which is out of the area of the frame is cropped, and the remaining left image is combined with the right image to form a 3D image.
  • FIG. 4 is a diagram illustrating a method of handling edge violations according to another embodiment of the present invention.
  • a first method according to an embodiment of the present invention is signaling of an edge obstructed region for a plurality of 3D images. (Signaling of Edge violation area for various 3D views)
  • information may be signaled in the form of 3D_edge_handling_info () for all synthesized 3D images. That is, for 3D images of various views, signaling information about an area where edge violations occur is generated and transmitted, and the receiver generates edge violation region information at the corresponding point in the 3D image synthesis. Reference can be made to enhance or mitigate edge disturbances.
  • the signaling information generated at this time may be delivered to the receiver through a broadcast signal and / or an internet signal.
  • Information for supplementing, removing or mitigating edge violations may be referred to as edge handling information, edge handling data, or edge information.
  • a second method according to another embodiment of the present invention is to provide signaling information for an Edge Violation Area Detector (EVAD) function.
  • EVAD Edge Violation Area Detector
  • an input may be information about a camera position of each left / right image
  • an output may signal an edge vibration area detector (EVAD) function, which is a pixel interval value to which edge handling is to be applied.
  • EVAD edge vibration area detector
  • the second method is a method of signaling a kind of a function capable of deriving LL_edge_violation_width and RR_edge_violation_width (or LL_edge_pixel_width and RR_edge_pixel_width) and related coefficients.
  • the function can be defined as a linear function and the start and end values. Coefficients may be signaled.
  • a third method according to another embodiment of the present invention is to detect edge interference without signaling information. (Implementation of edge violation detection without signaling information)
  • the receiving end may detect and process an edge violation area by itself.
  • an edge violation area for a virtual view generated through view synthesis, it is desirable to derive an area where edge violation occurs through mapping information between pixels during the generation process. It is possible.
  • the receiver outputs the received video stream without view synthesis, the receiver can derive an area where edge violation occurs through processing such as feature matching between the left and right images.
  • feature matching the receiver detects an object or pixel included in the left image and the right image, respectively, and exists in the left image but does not exist in the right image or in the left image, but does not exist in the right image.
  • An area where an existing object or pixel is displayed may be detected as an edge obstructing area.
  • the receiving end may include an edge violation area detector and / or an edge violation handler.
  • the edge obstruction area detector detects an area where edge obstruction occurs in the left image and the right image of the synthesized 3D image for a specific viewpoint. At this time, one or more of the above-described methods may be used for detection of the edge obstructed area.
  • the edge violation handler uses this information to remove, mitigate, or process edge disturbances when information about edge disturbances occurring in the 3D image for each viewpoint is provided, according to the first method. .
  • an edge violation handler may receive information about the edge disturbance area detected by the edge disturbance area detector and use this information to remove, mitigate, or process the edge disturbance.
  • FIG. 5 is a diagram illustrating a structure for signaling 3D_view_processing_info through a Supplemental Enhancement Information (SEI) message according to an embodiment of the present invention.
  • SEI Supplemental Enhancement Information
  • the edge violation region may change according to each frame or scene.
  • the information may be transmitted to a Supplemental Enhancement Information (SEI) area including information to assist with processes such as decoding and output.
  • SEI Supplemental Enhancement Information
  • FIG. 5 illustrates an embodiment of designating an SEI message signaling 3D_view_processing_info.
  • the value of the payloadType field is '50', it may represent that the 3D_view_processing_info is an SEI message transmitted.
  • Edge violation information or 3D edge handling information refers to information for removing, mitigating, or processing edge violations occurring in an image of each viewpoint of a multiview 3D image.
  • Edge violation information or 3D edge handling information includes 3D_view_processing_info.
  • FIG. 6 is a diagram illustrating syntax of 3D_view_processing_info according to an embodiment of the present invention.
  • Edge processing related data may be given as metadata about video contents.
  • the 3D image processing information (3D_view_processing_info) includes a 3D_view_processing_info_id field, a 3D_view_processing_update_flag field, a num_3D_views field, a 3D_view_ID field, a 3D_view_priority field, a synthesized_L_flag field, synthesized_R_view_field, synthesized_R_cam_field field, Left R_camera_parameter_exist_flag field, R_cam_baseline_distance field, 3D_edge_handling_info () element, and / or 3D_EVAD_funtion_info () element.
  • the 3D_view_processing_info_id field is information that uniquely identifies 3D image processing information.
  • the 3D_view_processing_update_flag field is a field indicating whether the currently transmitted 3D image processing information is the same as previously received information or should be newly updated.
  • the 3D_view_processing_update_flag field is set to '1' if an update is required and to '0' if it is the same as before.
  • the num_3D_views field is a field indicating the number of 3D images (left image, right image pair) and / or signaling virtual 3D images included in a current program, channel, or service.
  • 3D_view_ID field This field indicates a value for identifying each 3D image.
  • the 3D_view_priority field is a field indicating the priority of the 3D image.
  • the synthesized_L_flag field or synthesized_R_flag field is a field indicating whether a left image or a right image constituting a 3D image is an image synthesized by a receiver or an image actually transmitted. If the value of Synthesized_X_flag is '0', this view means that the video is actually transmitted. If '1', it means that the receiver is a virtual image made through synthesis.
  • the Left_view_ID field or the Right_view_ID field is an identifier indicating what video stream is included in the left and / or right image of the 3D image when the left and / or right image constituting the 3D image is actually transmitted. In some cases, this value may be replaced with the PID value of the left video or right video.
  • the L_camera_parameter_exist_flag field or the R_camera_parameter_exist_flag field is a field indicating whether a camera parameter (parameter required for view synthesis) value for an image exists.
  • the camera parameter is transmitted through the Multiview_acquisition_info SEI message, and since there is a camera parameter for each view ID, this is a field indicating whether the SEI message is separately transmitted.
  • camera_parameter_exist_flag it is also possible to transmit the ID value itself of the corresponding camera parameter set.
  • the intrinsic camera parameter signaled in the Multiview_acquisition_info SEI message may exist for each image, or there may be a common parameter set for all images, and the extrinsic camera parameter may have a separate parameter set for each image.
  • L_depth_map_exist_flag L_depth_map_exist_flag
  • R_depth_map_exist_flag R_depth_map_exist_flag
  • the L_cam_baseline_distance field or the R_cam_baseline_distance field is a field indicating viewpoint information of a virtual left image or a virtual right image. It is the value that goes into the input value during the view synthesis process, and there is a case where the camera parameter is needed as the input value or the partial information of the camera parameter is needed depending on the view synthesis method. You can set the field so that can be sent.
  • the L_cam_baseline_distance field or the R_cam_baseline_distance field may be information indicating the position of the virtual camera for capturing the virtual image.
  • the L_cam_baseline_distance field or the R_cam_baseline_distance field may indicate the relative position of the virtual left image capture camera or the virtual right image capture camera on the baseline.
  • the field or information described above may be used as information for synthesizing a virtual 3D image (virtual left image, virtual right image) of a new view in the receiver.
  • the 3D_edge_handling_info () element and the 3D_EVAD_funtion_info () element will be described later.
  • FIG. 7 is a diagram illustrating syntax of a 3D_edge_handling_info () element according to an embodiment of the present invention.
  • Edge processing related data may be given as meta data of video content, and may be transmitted through a 3D_edge_handling_info () element as shown in FIG. 7.
  • the shift and bar method described above may be used to deal with the edge violation, or the floating window without shift, or by cropping and partial scaling without hitting the bar.
  • the processing method may be used. Since the parameters applied to each processing method are different, it is necessary to transmit an edge violation handling data signaling the signal.
  • the method of preventing misalignment distortion in left and right view called edge violation is to send a post-processing method to the 3D content itself beforehand, and to send a parameter of recommended edge handling method.
  • a parameter of recommended edge handling method such as floating window / vertical edge treatment / HIT parameter or sending the recommended vertical edge treatment parameter.
  • a different method may be applied to each edge, and a different method may be applied to each frame.
  • edge_violation_flag may be set separately to indicate whether a window violation occurs for each edge of the 3D image. For example, when the value of edge_violation_flag is '00', it may represent that edge violation does not occur at both the left and right edges of the 3D image. When the value of the edge_violation_flag is '01', it may indicate that edge violation occurs only at the right edge of the 3D image. When the value of edge_violation_flag is '10', it may represent that edge violation occurs only at the left edge of the 3D image. When the value of the edge_violation_flag is '11', it may represent that edge violation occurs at both edges of the 3D image. If the edge_violation_flag is signaled, the receiver can determine whether to post-process the 3D image. edge_violation_flag may be included in the 3D_view_processing_info or 3D_edge_handling_info () element.
  • the 3D_edge_handling_info () Element comprises 3D_edge_handling_update_flag field, LL_edge_pixel_width field, RR_edge_pixel_width field, L_handling_type field, R_handling_type field, LL_stretch_start_pixel field, LL_stretch_width_pixel field, LL_stretch_parameter () Element, RR_stretch_start_pixel field, RR_stretch_width_pixel field, RR_stretch_parameter () Element, and / or EH_min_disparity field .
  • the 3D_edge_handling_update_flag field is a field indicating whether the currently transmitted 3D edge handling information information is the same as previously received information or should be newly updated.
  • the value of the 3D_edge_handling_update_flag field is set to '1' if Update is required, and to '0' if it is the same as before.
  • the LL_edge_pixel_width field and the RR_edge_pixel_width field respectively include the number of pixels of the edge violation area present at the left edge of the left image, and the edge violation area present at the right edge of the right image, respectively. Means the number of pixels. If the value of the LL_edge_pixel_width field is '0', it means that there is no edge violation on the left edge of the left image, and whether or not a window violation occurs for each edge of the 3D image. There may be an edge_violation_flag field to inform.
  • the L_handling_type field and the R_handling_type field specify how to handle edge violations applied to the left image or the right image, respectively.
  • the value of the corresponding field is '00', it may indicate that the pre-processed (pre-handled), that is, the edge disturbance is already processed and transmitted at the transmitting end.
  • the value of this field is '01', it may indicate that a bar (Floating window) is recommended, that is, a method of hitting a bar in an area where an edge violation occurs is recommended.
  • a bar Floating window
  • Crop and stretch Very edge treatment
  • Shift and bar HIT is recommended. That is, after shifting the image by the area of the edge where edge violation occurs, the part that goes out of the frame is discarded and the remaining part in the frame is discarded. May indicate that a method of hitting the bar is recommended.
  • the LL_stretch_start_pixel field and the RR_stretch_start_pixel field are applied when the values of the L_handling_type field and the R_handling_type field are '10', and indicate an area where the stretch starts with respect to the left edge of the left image and the right edge of the right image, respectively.
  • the LL_stretch_width_pixel field and the RR_stretch_width_pixel field are applied when the L_handling_type field and / or the R_handling_type field have a value of '10', and indicate the width of the stretched area relative to the stretch start area.
  • the LL_stretch_parameter () and RR_stretch_parameter () elements are applied when the value of the L_handling_type field and / or R_handling_type field is '10', and may include parameters used in strech when using a crop and stretch plan.
  • the EH_min_disparity field means the minimum disparity value after postprocessing for an edge violation.
  • OSD On Screen Display
  • This value can be used to determine the display depth of the OSD.
  • the EH_max_disparity field is also transmitted to inform the entire disparity range is possible, and in some cases, it may be set to transmit the disparity range of the original video.
  • the disparity_range_change_flag field may be set separately to signal whether or not the disparity range (min., Max. Disparity value) has changed or remains after the edge handling is applied.
  • the disparity refers to the difference in the horizontal distance of the corresponding object located in each image when one object of the 3D image is located in the left image and the right image. According to the disparity value, the depth of the corresponding object felt by the viewer may vary.
  • FIG. 8 is a diagram illustrating a 3D edge disturbance area detection function information (3D_EVAD_function_info ()) element according to an embodiment of the present invention.
  • the receiver may generate a new virtual 3D image based on the 3D image.
  • the edge violation region present in the received left image and the right image can be known through the above-described 3D edge handling information, but the virtual left image of the view point arbitrarily selected by the receiver
  • the edge violation area of the right image cannot be known only by the above-described method. Therefore, the receiving end needs a method of deriving the edge violation region of each of the generated left and right images according to the camera viewpoint (camera photographing position) of the virtual 3D image to be generated.
  • the 3D Edge Violation Area Detection (3D EVAD) function is used for view synthesis, camera parameter information of received left image, right image, and other additional information ( Based on the left and right image depth information) and the edge violation region information of each left and right image, so that the pixel value of the edge violation region at any camera point of view can be derived.
  • Function for example, in a camera arranged in 1D parallel form, there may be a function for deriving edge violation area information at any point on the baseline line.
  • the camera's viewpoint position can be expressed in the form of a baseline distance, and the function receives the camera's baseline distance value as an input value and outputs edge violation region information at that moment.
  • the baseline distance can be a value indicating the position of the camera on the baseline.
  • FIG. 8 illustrates a 3D EVAD function when the camera position is normalized based on the center points of the left and right video camera positions.
  • L_cam_position or R_cam_position
  • the value of this camera position which increases from 0 to 1 is set as an input value, and the left side of the left image is input.
  • L_cam_position is a value indicating the position of a camera photographing a left image
  • R_cam_position is a value indicating a position of a camera shooting a right image.
  • the L_cam_position field and the R_cam_position field may be included in the 3D_EVAD_function_info () element.
  • the L_cam_position field and the R_cam_position field may correspond to the aforementioned L_cam_baseline_distance field and R_cam_baseline_distance field, respectively.
  • the 3D_EVAD_function_info () element includes an LL_function_type field, an RR_function_type field, an LL_coefficient field, and / or an RR_coefficient field.
  • the LL_function_type field and the RR_function_type field are fields indicating the type of 3D EVAD function. There may be various kinds of functions, and in one embodiment, when the value of the corresponding field is '1', it may represent 'linear function'.
  • the LL_coefficient field and the RR_coefficient field are fields indicating coefficients of the function described above, and when XX_function_type is 'linear function', the function may be defined as follows.
  • ⁇ Number of pixels representing edge violation area of XX_edge XX_coefficient * X_cam_position + XX_edge_pixel_width ⁇
  • the edge disturbance information basically varies with each frame, video level signaling is suitable. However, in some cases, the same edge disturbance handling information may be applied to each scene, event, and program / channel / service. If there is a section-wise edge interference handling scheme recommended by the transmitter, the information signaled at the video level may be transmitted on an event or system basis. That is, a new descriptor is placed in a table capable of transmitting information in an event unit such as ATIT PSIP or DVB SI EIT, or an information in an event unit can be transmitted, or a system-level information such as PMT / VCT / SDT can be transmitted in a new table. It puts descriptor and transmits information of program / channel / service unit. Such a descriptor may include information of the above-described field or element.
  • the section information of the scene (start time and end time of each scene) can be additionally transmitted in the system level descriptor.
  • the edge disturbance handling information may be configured in interval units over time and transmitted in a separate private stream. In this case, a procedure for synchronizing the video signal and the edge disturbance handling information stream is required, and through such synchronization, edge disturbance of the 3D image can be handled.
  • FIG. 9 illustrates a case in which edge handling information is signaled according to an embodiment of the present invention.
  • the 3D broadcast system provides a 3D image of three viewpoints (3D view 0, 3D view 1, and 3D view 2).
  • the three-dimensional image of 3D view 0 includes video 0 and video 1.
  • the 3D image of 3D view 1 includes video 1 and video 2.
  • 3D view 2 includes video 2 and video 3.
  • the transmitting end may provide edge handling information at each time point through the aforementioned signaling scheme.
  • the edge handling information for the 3D image at another point in time that can be synthesized by the receiver may be signaled together.
  • the 3D image of the viewpoint of 3D view 0 may include video 0 and video 1.
  • the transmitter may signal information about the position of the camera capturing the video 0, the position information of the camera capturing the video 1, the width of the edge obstructed region in the video 0, and the width of the edge obstructed region in the video 1.
  • L, R camera position (0, 1) is the position of the camera that photographed the left image at the baseline reference point, and the position of the camera that photographed the right image is '1' away from the reference line.
  • the 3D image of the viewpoint of 3D view 1 may include video 1 and video 2.
  • the transmitter may signal information about the position of the camera capturing the video 1, the position information of the camera capturing the video 2, the width of the edge obstructed region in the video 1, and the width of the edge obstructed region in the video 2.
  • L, R camera position (1, 2) indicates that the position of the camera that photographed the left image is '1' away from the baseline reference point, and the position of the camera that photographs the right image is separated from the reference line by '2'.
  • the transmitting end may signal edge handling information with respect to the 3D image of another view that may be synthesized at the receiving end.
  • the 3D image of the viewpoint of Synthesized 3D view X may include synthesized video 0.5 and synthesized video 1.5.
  • the synthesized video 0.5 and the synthesized video 1.5 are video data newly generated by using the video data received at the receiver. In other words, the video data is synthesized to provide a 3D image of a new view at the receiving end.
  • the transmitter At the transmitter, the location of the virtual camera that is expected to shoot video 0.5, the location information of the virtual camera that is expected to shoot video 1.5, the width of the edge obstructed area expected to occur in video 0.5, and the edge obstructed area expected to occur in video 1.5 Information about the width of can be signaled.
  • L, R camera position (0.5, 1.5) indicates that the position of the virtual camera for the left image is '0.5' away from the baseline reference point, and the position of the virtual camera for the right image is '1.5' away from the baseline. Information.
  • Edge violation width pixel: (LL, RR) (10, 25) indicates edge disturbance in the area of 10 pixels wide at the left edge of the left image, and edge disturbance in the area of 25 pixels wide at the right edge of the right image. It occurs. That is, the transmitting end may signal information about the edge disturbance region expected to occur in the left image and the right image, according to the virtual camera position.
  • FIG. 10 is a diagram illustrating a case in which a related function is signaled so that a receiving end can derive edge handling information for a virtual 3D image according to an embodiment of the present invention.
  • the edge disturbing area information (edge handling information) of the 3D image synthesized in the multiview TV may be derived from the receiver.
  • the edge violation pixel width information of the synthesized 3D view having an arbitrary camera position may not be known because the edge violation pixel width value itself is transmitted for each synthesized 3D image. Therefore, only the edge handling information about the 3D image of the specific camera position transmitted can be known.
  • FIG. 10 when a related function is signaled so that the receiving end can derive edge handling information on the virtual 3D image, a function for deriving an edge violation pixel width is signaled for each section, and thus exists in the section. Edge handling information for all 3D image pairs can be derived.
  • FIG. 11 is a diagram illustrating an equation for performing edge interference handling by a receiver without additional signaling according to an embodiment of the present invention.
  • each pixel of the image is mapped to an image of a new view, so that it is possible to know which pixel of the existing image corresponds to each pixel of the new view. Can extract information about the edge obstructed area of the newly constructed three-dimensional image pair (left image, right image).
  • the edge obstructing area at the left edge of the 3D image may correspond to an area or an object that does not exist in the right image but exists only in the left image.
  • the edge obstructing area at the right edge of the 3D image may correspond to an area or an object that does not exist in the left image but exists only in the right image.
  • the edge disturbance information of the received 3D image, not the newly synthesized image, may also be derived from the edge disturbance region through a technique such as feature matching. (Equations 1-1 and 1-2).
  • the receiver may determine whether the edge disturbance region exists for each pixel, and thus determine the region where the edge disturbance occurs in the finally received 3D image (or the synthesized 3D image).
  • FIG. 12 is a diagram illustrating a case in which an edge interference handling is performed by a receiver by itself without additional signaling according to an embodiment of the present invention.
  • V1 and V2 are left and right images of the received stereo 3D image
  • V1 and S12 are left and right images of the stereo 3D image newly synthesized by the receiver.
  • S12 is a synthesized image based on V1 and V2, and V1 is the same as the received image.
  • the shaded portion in the drawing means an area where edge interference has occurred.
  • the receiver determines that all of the pixels arranged vertically are included. May be set to determine that is included in the edge obstruction area.
  • FIG. 13 is a diagram illustrating a multiview 3D image receiver according to an embodiment of the present invention.
  • a 3D image receiver includes a tuner and demodulator (13010), a VSB decoder (13020; VSB decoder), a TP demultiplexer (13030; TP demux), and a depth decoder (13040).
  • 13042, 13044 depth decoder
  • video decoders 13050, 13052, 13054; video decoder
  • 3D virtual view synthesis unit 13060; 3D virtual view synthesis), virtual image processing unit (13070, 13072; virtual view processor), video A selector (13080; video selector), 3D edge handling and image processing unit (13090), PSI / PSIP / SI processor (13100; PSI / PSIP / SI processor); And a 3D view info processing unit 13110 and / or an output formatter 13120.
  • the tuner and demodulator 13010 receives a broadcast signal.
  • the tuner and demodulator 13010 demodulate the broadcast signal.
  • the VSB decoder 1320 performs demodulation according to a modulation scheme.
  • the VSB decoder 1320 demodulates a signal modulated by the VSB scheme, a signal modulated by the OFDM scheme, and the like.
  • the VSB decoder 1320 may be included in the above-described tuner and demodulator 13010 and may exist separately.
  • the TP demultiplexer 1230 extracts a transport stream or a transport stream packet in a broadcast signal.
  • the depth decoders 1340, 13042, and 13044 decode depth related information included in the broadcast signal. Depth related information may be transmitted in the form of a broadcast packet, a transport packet, a data segment, a video header, or a video access unit header. Each depth decoder decodes depth information of each image included in each 3D image.
  • the video decoders 13050, 13052, and 13054 decode each video image included in the broadcast signal.
  • the video decoder decodes each image included in the 3D image.
  • the video decoder may include a base image video decoder 1350 that decodes a base image (left image or right image), and / or an additional image (right image when the base image is left image, and right image when the base image is right image). Additional video video decoders 13052 and 13054 to decode the left video).
  • the additional image includes a video image for creating a 3D image of the base view, and / or a video image for producing a 3D image of the additional view.
  • the 3D virtual image synthesizer 13060 generates a virtual image by using the decoded base image and / or the additional image.
  • the 3D virtual image synthesizer 13060 may generate a video image included in the 3D image at another view in addition to the view transmitted through the broadcast signal.
  • the 3D virtual image synthesizer 13060 may use signaling information included in the PSI, the PSIP, or the DVB-SI in the process of generating the video image.
  • the 3D virtual image synthesizer 1301 may use the information acquired by the 3D image information processor 13110 in generating a video image.
  • the virtual image processing units 13070 and 13072 separate and process the synthesized virtual image.
  • the virtual image processing units 13070 and 13072 identify the synthesized virtual image included in the 3D image at each viewpoint.
  • the video selector 13080 selects two video images (video streams) to be output in units of three-dimensional viewpoints of the multiview display.
  • the video image or video stream included in the 3D image of each viewpoint may be a decoded (ie, included in a broadcast signal) video image or a synthesized virtual video image.
  • the three-dimensional edge handling and image processor 1290 processes edge interference that may occur in the three-dimensional image of each viewpoint in one or more of the aforementioned manners.
  • the details of handling edge disturbances are replaced by the above description.
  • the 3D edge handling and image processor 13090 may use edge handling information or function information for generating edge handling information in the process of performing edge handling.
  • the 3D edge handling and image processor 1290 may compare each video image to extract an edge obstruction area, and perform edge handling on the extracted edge obstruction area. .
  • the PSI / PSIP / SI processor 13100 parses signaling information included in a broadcast signal.
  • the signaling information includes information such as PSI, PSIP, or DVB-SI.
  • the PSI, PSIP, or DVB-SI may include a Program Map Table (PMT), a Virtual Channel Table (VCT), an Event Information Table (EIT), or a Service Description Table; SDT).
  • PMT Program Map Table
  • VCT Virtual Channel Table
  • EIT Event Information Table
  • SDT Service Description Table
  • the 3D image information processor 13110 acquires 3D image related information transmitted through an SEI message of a video level or a descriptor of a PSI, PSIP, or DVB-SI level.
  • the 3D image related information may include depth map information, camera parameters, edge handling information, function information for generating edge handling information, 3D image processing information, and / or the above-described information.
  • the output formatter 13120 processes the 3D image of each view at which edge handling is performed to be displayed in a format.
  • edge handling is possible even for a 3D image of a view point that is not transmitted from a transmitting end.
  • the edge handling may be performed at the receiver.
  • Method invention according to the present invention are all implemented in the form of program instructions that can be executed by various computer means can be recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the invention can be used wholly or partly in the digital broadcasting industry.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명의 일 실시예에 따른 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법은, 다시점 3차원 영상 방송을 위한 방송 신호를 수신하는 단계, 상기 수신한 방송 신호로부터, 제 1 시점의 3차원 영상에 포함되는 제 1 좌영상 데이터 및 제 1 우영상 데이터를 디코딩하는 단계, 상기 수신한 방송 신호로부터, 3차원 영상 프로세싱 정보를 파싱하는 단계, 상기 제 1 좌영상 데이터, 상기 제 1 우영상 데이터 및 상기 3차원 영상 프로세싱 정보를 이용하여, 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 단계, 상기 3차원 영상 프로세싱 정보에 포함되는 3차원 에지 방해 영역 탐지 함수 정보를 파싱하는 단계, 상기 3차원 에지 방해 영역 탐지 함수 정보를 이용하여, 상기 영역의 에지 방해를 핸들링하는 단계를 포함한다.

Description

다시점 3DTV 서비스에서 에지 방해 현상을 처리하는 방법 및 장치
본 발명은 다시점 3차원 영상을 포함하는 디지털 방송 신호를 처리하는 방법 및 장치에 관한 것이다. 보다 상세하게는, 본 발명은 다시점 3차원 영상을 서비스하는 과정에서 각각의 시점 영상의 좌/우 경계에서 발생하는 에지 방해 (edge violation) 현상을 처리 또는 방지하기 위한 방법 및 장치에 관한 것이다.
3차원 텔레비젼(3-Dimensional Television, 3DTV)의 보급이 본격화됨에 따라 저장 매체에 의한 3차원(3D) 영상 컨텐츠 보급뿐만 아니라 디지털 방송에 의한 3차원 영상 컨텐츠의 전송이 활성화되고 있다.
일반적으로 3차원 영상은 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.
이러한 3차원 영상 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안(left eye)에서 시청되기 위한 좌영상(left view image)과 우안(right eye)에서 시청되기 우영상(right view image)을 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 좌영상과 우영상을 시청함으로써 3차원 영상 효과를 인지할 수 있도록 한다.
스테레오스코픽 3차원 영상 컨텐츠의 경우, 서로 다른 시점의 유사한 두 개의 영상을 송신하면 수신기가 두 개의 영상을 이용하여 3차원 영상으로 디스플레이하는 방식을 사용한다. 수신기에 의해 3차원 영상이 디스플레이되는 경우, 좌영상과 우영상 간의 disparity에 의해 양안시차가 발생하여 입체적인 영상이 제공된다.
입체적 영상이 제공됨에 있어서, 각 컨텐츠 별로, 컨텐츠 내의 scene 별로 또는 frame 별로 양안시차에 의해 스크린 앞쪽으로(시청자 쪽으로) 튀어나오도록 설정된 negative disparity의 물체가 스크린의 좌우 경계면에 걸치는 상황이 발생할 수 있다. 이 경우, 양안시차에 의해 인지되는 깊이감과, 스크린 경계 베젤에 의해 인지되는 깊이감에 차이가 발생하여 사용자가 왜곡된 깊이감을 느낄 수 있다.
이를 에지 방해 (edge violation) 라고 하며, 이러한 에지 방해 (edge violation) 현상 때문에 시청자는 시각적 피로를 느낄 수 있으며 정상적인 컨텐츠 시청이 어려운 문제점이 발생한다. 또한 현재 3차원 영상 수신기는 에지 방해 (edge violation) 를 처리할 수 있는 별도의 프로세스가 존재하지 않는 문제점이 발생한다.
특히, 다시점 3차원 영상의 경우, 각각의 시점 마다 에지 방해의 양상이 달라 질 수 있다. 현재는 이렇게 다양한 양상의 에지 방해를 해결할 수 있는 방법이 없다는 문제점이 있다.
다시점 3차원 방송 환경에서는 각각의 3차원 시점 별로 정도가 다른 에지 방해에 의한 불편함 및 왜곡 현상이 일어날 수 있으나, 현재 3DTV 수신기에서는 각각의 3차원 시점 마다의 왜곡 현상에 대응하여 처리할 만한 방법이 존재하지 않는다.
특히, 하나의 영상이 서로 다른 스테레오 영상 페어 (view pair) 에 중복하여 포함될 경우, 방송국에서 에지 방해에 의한 왜곡 현상이 일어나지 않도록 컨텐츠를 미리부터 렌더링하여 송신하는 방법은 적용이 불가능하다는 문제점이 있다.
본 발명의 기술적 과제는 전술한 문제점을 해결하기 위한 것이다. 보다 상세하게는, 다시점 3차원 영상 방송 서비스를 제공함에 있어서 발생할 수 있는 다양한 양상의 에지 방해를 효율적으로 해결하는 것이 본 발명의 기술적 과제이다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법은, 다시점 3차원 영상 방송을 위한 방송 신호를 수신하는 단계, 상기 수신한 방송 신호로부터, 제 1 시점의 3차원 영상에 포함되는 제 1 좌영상 데이터 및 제 1 우영상 데이터를 디코딩하는 단계, 상기 수신한 방송 신호로부터, 3차원 영상 프로세싱 정보를 파싱하는 단계, 상기 제 1 좌영상 데이터, 상기 제 1 우영상 데이터 및 상기 3차원 영상 프로세싱 정보를 이용하여, 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 단계, 상기 3차원 영상 프로세싱 정보에 포함되는 3차원 에지 방해 영역 탐지 함수 정보를 파싱하는 단계, 상기 3차원 에지 방해 영역 탐지 함수 정보를 이용하여, 상기 제 2 시점의 3차원 영상에서 발생하는 에지 방해의 영역을 추출하고, 상기 영역의 에지 방해를 핸들링하는 단계 및 상기 제 1 시점의 3차원 영상 및 상기 제 2 시점의 3차원 영상을 디스플레이하는 단계를 포함한다.
바람직하게는, 상기 3차원 에지 방해 영역 탐지 함수 정보는, 상기 에지 방해의 영역을 추출하는 데 사용되는 함수의 종류를 식별하는 함수 타입 정보 및 식별된 함수에 사용되는 계수의 값을 나타내는 계수 정보를 포함한다.
바람직하게는, 상기 3차원 영상 프로세싱 정보는, 상기 제 2 좌영상 또는 상기 제 2 우영상을 촬영할 것으로 예상되는 카메라의 위치 정보 및 상기 제 1 시점의 3차원 영상에서의 에지 방해 영역을 나타내는 정보를 더 포함한다.
바람직하게는, 상기 3차원 영상 프로세싱 정보는, 상기 수신기에서 생성될 수 있는 하나 이상의 시점의 3차원 영상에 발생할 수 있는 에지 방해에 관한 정보를 포함하는 에지 핸들링 정보를 더 포함한다.
바람직하게는, 상기 에지 핸들링 정보는, 상기 하나 이상의 시점의 3차원 영상에 포함되는 좌영상에 존재하는 에지 방해의 영역의 픽셀 개수 정보 및 상기 하나 이상의 시점의 3차원 영상에 포함되는 우영상에 존재하는 에지 방해의 영역의 픽셀 개수 정보를 포함한다.
바람직하게는, 상기 에지 핸들링 정보는, 상기 하나 이상의 시점의 3차원 영상에 포함되는 좌영상 및 우영상에 존재하는 상기 에지 방해를 핸들링하는 방법을 지정하는 정보를 더 포함한다.
바람직하게는, 상기 에지 핸들링 정보는, 상기 하나 이상의 시점의 3차원 영상에 포함되는 좌영상 및 우영상에 존재하는 상기 에지 방해가 핸들링 된 후 상기 하나 이상의 시점의 3차원 영상의 최소 디스패리티를 식별하는 정보를 더 포함한다.
바람직하게는, 상기 3차원 영상 프로세싱 정보는, SEI (Supplemental Enhancement Information) 메시지를 통하여 전송된다.
바람직하게는, 상기 3차원 영상 프로세싱 정보는, 프로그램 맵 테이블 (Program Map Table; PMT), 가상 채널 테이블 (Virtual Channel Table; VCT), 이벤트 정보 테이블 (Event Information Table; EIT) 또는 서비스 디스크립션 테이블 (Service Description Table; SDT) 를 통하여 전송된다.
본 발명의 다른 실시예에 따른 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법은 다시점 3차원 영상 방송을 위한 방송 신호를 수신하는 단계, 상기 수신한 방송 신호로부터, 제 1 시점의 3차원 영상에 포함되는 제 1 좌영상 데이터 및 제 1 우영상 데이터를 디코딩하는 단계, 상기 수신한 방송 신호로부터, 3차원 영상 프로세싱 정보를 파싱하는 단계, 상기 제 1 좌영상 데이터, 상기 제 1 우영상 데이터 및 상기 3차원 영상 프로세싱 정보를 이용하여, 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 단계, 여기서, 상기 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 단계는 상기 제 1 시점의 3차원 영상에 포함되는 픽셀을 상기 제 2 시점의 3차원 영상의 픽셀로 매핑 (mapping) 하고, 상기 매핑 과정에서 상기 제 2시점의 3차원 영상에 발생하는 에지 방해의 영역을 추출하는 단계를 포함하며, 상기 제 2 시점의 3차원 영상의 상기 에지 방해를 핸들링하는 단계 및 상기 제 1 시점의 3차원 영상 및 상기 제 2 시점의 3차원 영상을 디스플레이하는 단계를 포함한다.
바람직하게는, 상기 3차원 영상 프로세싱 정보는, 상기 제 1 시점의 3차원 영상을 촬영한 카메라의 카메라 파라미터 정보를 포함하고, 상기 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 단계는, 상기 카메라 파라미터 정보를 더 이용하여, 상기 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성한다.
바람직하게는, 상기 제 2 시점의 3차원 영상에 발생하는 에지 방해의 영역을 추출하는 단계는, 상기 제 2 시점의 3차원 영상의 좌영상 및 우영상에 포함되는 픽셀을 각각 탐지하고, 상기 좌영상에는 존재하나, 상기 우영상에는 존재하지 않는 픽셀, 혹은 상기 좌영상에는 존재하지 않으나, 상기 우영상에는 존재하는 픽셀이 포함되는 영역을 에지 방해의 영역으로 추출한다.
본 발명에 따르면, 다시점 3차원 영상을 시청하는 경우에도, 각각의 시점에 대한 에지 방해 핸들링이 가능하다.
본 발명에 따르면, 송신단에서 전송되지 않는 시점의 3차원 영상에 대하여도, 에지 핸들링이 가능한다.
본 발명에 따르면, 송신단에서 에지 핸들링에 필요한 정보 (에지 방해 정보) 가 제공되지 않는 경우에도, 수신기에서 에지 핸들링을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 다시점 3차원 영상의 디스플레이 방식을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른, 에지 방해를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른, 에지 방해 (edge violation) 를 처리하는 방법을 나타낸 도면이다.
도 4는 본 발명의 다른 실시예에 따른, 에지 방해 (edge violation)를 처리하는 방법을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른, SEI (Supplemental Enhancement Information) 메시지를 통하여 3D_view_processing_info 를 시그널링하는 구조를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른, 3D_view_processing_info 의 신택스 (syntax)를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른, 3D_edge_handling_info() 엘레먼트의 신택스 (syntax)를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른, 3차원 에지 방해 영역 탐지 함수 정보 (3D_EVAD_function_info ()) 엘레먼트를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른, 에지 핸들링 정보 (edge handling information) 가 시그널링되는 경우를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른, 수신단에서 가상 3차원 영상에 대한 에지 핸들링 정보를 도출할 수 있도록 관련 함수를 시그널링하는 경우를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른, 별도의 시그널링이 없이 수신기에서 자체적으로 에지 방해 핸들링을 수행하기 위한 수식을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른, 별도의 시그널링이 없이 수신기에서 자체적으로 에지 방해 핸들링을 수행하는 경우를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 다시점 3차원 영상 수신기를 나타낸 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
3차원 영상 표현 방법은 2개의 시점을 고려하는 스테레오스코픽 방식과 3개 이상의 시점을 고려하는 멀티플 뷰 이미지(multiple view image) 방식(또는 다시점 방식)을 포함할 수 있다. 이에 비해 종래의 싱글 뷰 이미지(single view image) 방식은 모노스코픽 영상 방식이라고 지칭할 수 있다.
스테레오스코픽 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 레프트 뷰 이미지(이하 좌 영상)와 라이브 뷰 이미지(이하 우 영상)의 한 쌍의 이미지를 사용한다. 또는 기준 영상과 부가 영상의 한 쌍의 이미지를 사용한다. 다시점 방식은 일정한 거리나 각도를 갖는 3개 이상의 카메라에서 촬영하여 획득한 3개 이상의 이미지를 사용한다. 다시점 방식은 각각의 시점에서 스트레오스코픽 방식의 좌/우 영상이 제공되는 방식이다.
본 발명에 따른 스테레오스코픽 방식은 Side-by-Side 방식, Top-Bottom 방식, checker board 방식 등이 있다. Side-by-Side 방식은 좌 영상과 우 영상을 각각 수평방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 left 영역에, 샘플링한 나머지 하나의 영상을 right 영역에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 방식이며, Top-Bottom 방식은 좌 영상과 우 영상을 각각 수직방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 Top 영역에, 샘플링한 나머지 하나의 영상을 bottom 영역에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 방식이다. 체커보드 방식은 좌 영상과 우 영상을 각각 수직 및 수평방향으로 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성하는 방식이다. 하지만 본 발명에 따른 스테레오스코픽 방식은 위의 예에 한정되거나 제한되는 것은 아니다.
일 예로 위에서 언급한 다운샘플링 작업을 거치지 아니하고 온전한 해상도를 갖는 두 개의 영상을 송수신하여 이를 3차원 영상 서비스로 제공하는 것도 가능하다. 이 경우, 좌영상과 우영상을 각각 전송하는 전송 스트림을 별도로 구성될 수 있다. 즉, 특정 전송 스트림은 좌영상들을 전송하고, 다른 전송 스트림은 우영상들을 전송할 수 있다. 이 때, 각각의 전송 스트림은 2차원 영상 서비스에 대한 스트림으로 활용될 수 있다.
도 1은 본 발명의 일 실시예에 따른, 다시점 3차원 영상의 디스플레이 방식을 나타낸 도면이다.
도 1을 참조하면, 하나의 디스플레이 패널을 통하여, 2개의 이상의 시점의 3차원 영상이 제공될 수 있다.
도 1에서는 3개의 시점의 3차원 영상이 제공되는 방식을 내고 있다. 각가의 시점에서는 스테레오 3D 영상이 제공될 수 있다. 이때 각 스테레오 3D 영상에 포함되는 비디오 엘레먼트 스트림 (Video Elementary Stream) 은 서로 다른 3D 영상에서 공통적으로 쓰일 수 있다. 예를 들면, 엘레먼트 스트림 1 (ES1) 은 3D View ID가 0인 3D 영상에서는 우영상 (Right view) 으로 사용되고, 3D View ID가 1인 3D 영상에서는 좌영상 (Left view) 로 사용될 수 있다. 엘레먼트 스트림 2 (ES2) 는 3D View ID가 1인 3D 영상에서는 우영상 (Right view) 으로 사용되고, 3D View ID가 2인 3D 영상에서는 좌영상 (Left view) 로 사용될 수 있다.
도 2는 본 발명의 일 실시예에 따른, 에지 방해를 나타낸 도면이다.
시청자가 3차원 영상을 시청하면서 인식하는 영상의 각 부분별 상대적인 깊이감을 위에서 바라본 그림이다. 중앙의 원형 물체가 사용자에게 가장 가깝게 인지되며 좌우측의 직사각형이 그 뒤에 배치된다. 좌우측의 직사각형 물체는 negative disparity를 갖기 때문에 스크린을 기준으로 사용자에게 가까운 위치에 있는 것으로 인지된다.
하지만 이와 동시에 스크린의 양 끝 가장자리에 위치하므로 스크린의 테두리 부분인 베젤에 의해 직사각형의 일부분이 가려지는 것처럼 사용자에게 인식될 수 있다. 따라서 사용자는 좌우측의 직사각형이 스크린을 기준으로 사용자에게 가까운 위치에 있는 것으로 인지하면서도 스크린의 베젤에 의해 직사각형이 가려져 스크린 뒤에 위치하는 것으로 인지할 수 있어 깊이감에 혼란을 느끼게 된다.
3차원 스트레오 영상은 2차원 영상과 달리, 시청할 때의 시야각이 디스플레이 효과에 중요하게 작용한다. 예를 들어, 여러 사람이 옆으로 나란히 앉아 TV를 시청한다면 2DTV는 모두가 비슷한 수준의 영상을 보는 것이 가능하나, 3DTV는 스윗 스팟 (sweet spot) 이 제한적이기 때문에 보는 각도 / 위치에 따라 보여지는 3차원 영상의 질이 달라질 수 있다. 그러므로 시청 위치에 따라 각각의 3차원 영상을 디스플레이하는 다시점 영상 디스플레이 장치 (Multiview display device) 를 사용하는 경우, 각각의 시청자는 보다 나은 3차원 효과를 느끼면서 3차원 영상을 시청할 수 있다.
다시점 영상 3차원 서비스에서는 각 위치 (position) 별로 서로 다른 시점의 화면이 보여지므로, 각 3차원 영상 마다 입체감이나 에지 방해 (edge violation) 현상 등이 다른 양상을 보이며, 이에 따라 에지 방해 (edge violation) 현상을 제거 또는 완화하기 위해서는 각각의 3차원 영상 별로, 별도의 파라미터가 보내져야 한다. 즉, 에지 방해 (edge violation) 를 처리하기 위해 스테레오 3DTV 에서는, 수신단에서 필요한 관련 파라미터를 방송 시그널링을 통해 보내주거나, 혹은 아예 송신단에서 미리 에지 방해를 처리한 스테레오 스트림을 전송하는 두 가지 방안을 사용할 수 있다. 그러나 다시점 3DTV 방송에서는 한 개의 스트림이 어떤 시점의 스테레오 3차원 영상에 포함되는지에 따라 에지방해의 처리 또는 완화 방안이 달라지므로, 송신단에서 미리 에지 방해를 제거 또는 완화하는 처리를 하여 전송하는 방안은 적용이 어렵다. 이에 따라 수신단에서 각 시점 별 파라미터를 적절하게 수신하여 처리할 수 있도록 하는 방송 시그널링이 필요하다.
이때 고려되는 3차원 영상은 직접 전송되는 스트림일 수도 있고, 수신단에서 합성 (synthesized) 된 3차원 영상일 수도 있다. 영상 합성 (View synthesis) 시 입력으로 들어가는 원본 영상이 에지 방해 (edge violation) 를 유발하는 경우, 이를 바탕으로 생성된 새로운 3차원 영상 또한 에지 방해 (edge violation) 를 일으킬 여지가 있다. 그러므로 합성된 3차원 영상 별로 에지 방해 (edge violation)를 보강하기 위한 정보를 전송하면 다시점 3DTV 시청 시 왜곡이나 불편함을 감소시키도록 처리 가능하다.
따라서, 본 발명은 다시점 3차원 영상을 제공하는 3DTV에서 다시점 3차원 비디오 방송 서비스의 수신기 혹은 송신기 구현에 대한 방안을 제시한다. 또한, 시그널링 정보를 이용해 다시점 3차원 비디오의 출력을 제어하기 위한 3DTV의 동작 및 구현 방법을 제안한다.
도 3은 본 발명의 일 실시예에 따른, 에지 방해 (edge violation) 를 처리하는 방법을 나타낸 도면이다.
에지 방해 (Edge violation) 를 처리하는 방안 중의 하나로 송신단에서 이미지를 처리하는 HIT (Horizontal Image Translation) 기법을 사용할 수 있다. 이 방법에 따르면, 송신단에서는 한 쌍의 L, R 스테레오 영상에 대해 경계면에서 발생하는 왜곡 현상을 방지하기 위해 영상의 shift 및 bar (cropping) 처리를 수행하여 3차원 영상을 전송하는 것이다.
다시점을 고려하지 않을 시에는 이러한 shift 및 bar 처리가 송신단에서부터 적용되어 전송되는 시나리오가 가능하였으나, 다시점 3DTV에서는 각 시점 별로 적용해야 하는 shift 및 bar가 달라질 여지가 있으므로 이를 송신단에서 모두 예측하고, 3차원 영상을 처리하여 전송하기는 어려울 수 있다.
도 3의 (a)는 3차원 영상에 포함되는 좌영상 및 우영상을 수평 방향으로 이동 처리하는 방법을 나타낸다.
도 3의 (a)를 참조하면, 에지 방해 처리기는 3차원 영상에 포함되는 좌영상을 좌측 수평 방향으로 이동시키고, 우영상을 우측 수평 방향으로 이동시킨다. 이때 수평 방향으로의 이동거리는 에지 방해를 일으키는 오브젝트 (object) 의 디스플레이 크기에 따라 결정될 수 있다. 즉, 해당 오브젝트가 화면에 디스플레이되지 않도록 수평 방향으로 좌영상 및 우영상을 이동하는 것이다.
에지 방해 처리기는 좌영상 및 우영상에서, 수평 방향 이동에 따라 생긴 빈 영역은 bar로 채우고, 수평 방향의 이동에 따라 프레임의 크기를 벗어난 영역은 cropping 한다.
이렇게 생성된 좌영상과 우영상으로 3차원 영상을 생성하여, 에지 방해를 제거 또는 완화 할 수 있다. 즉, 에지 방해의 발생이 예상되는 영역을 cropping 하여, 에지 영역에서는 좌영상 또는 우영상 중 어느 하나의 영상에 해당 되는 영상만을 디스플레이할 수 있다.
도 3의 (b)는 3차원 영상에 포함되는 좌영상 또는 우영상을 수평 방향으로 이동 처리하는 방법을 나타낸다.
도 3의 (b)를 참조하면, 에지 방해 처리기는 우영상은 원본을 그대로 유지하나, 좌영상만을 좌측 수평 방향으로 이동시킨다. 좌측 수평 방향으로 이동된 좌영상 중, 프레임의 영역을 벗어나게 되는 영역은 cropping 되고, 남은 좌영상은 우영상과 결합되어 3차원 영상을 구성한다.
도 4는 본 발명의 다른 실시예에 따른, 에지 방해 (edge violation)를 처리하는 방법을 나타낸 도면이다.
다시점 TV에서는 수신한 비디오 스트림을 기반으로 하여 새로운 임의 시점의 3차원 영상을 생성 (또는 합성) 하는 것이 가능하다. 이 때, 영상 합성에 사용된 좌/우영상 페어에서 에지 방해 (edge violation) 가 존재한다면, 합성된 결과 영상에서도 에지 방해 (edge violation) 가 존재할 가능성이 있다. 이 경우, 새로 합성된 3차원 영상에서의 에지 방해 (edge violation) 를 제거, 완화 또는 방지할 여러 방법이 존재할 수 있다.
본 발명의 일 실시예에 따른 제 1 방법은 다수의 3차원 영상을 위한 에지 방해 영역의 시그널링이다. (Signaling of Edge violation area for various 3D views)
제 1 방법에 따르면, 합성된 모든 3차원 영상에 대해 3D_edge_handling_info()와 같은 형태로 정보를 시그널링할 수 있다. 즉, 여러 시점의 3차원 영상에 대하여, 에지 방해 (edge violation) 가 일어나는 영역에 대한 시그널링 정보를 생성하고, 이를 전송하면, 수신기에서는 3차원 영상 합성 시 해당 시점의 에지 방해 (edge violation) 영역 정보를 참고하여 에지 방해를 제고 또는 완화 할 수 있다. 이 때 생성되는 시그널링 정보는 방송 신호 및/또는 인터넷 신호 등을 통하여 수신기로 전달될 수 있다. 에지 방해 (edge violation) 를 보완, 제거 또는 완화하기 위한 정보는 에지 핸들링 정보, 에지 핸들링 데이터, 또는 에지 정보라고 명명될 수 있다.
본 발명의 다른 실시예에 따른 제 2 방법은, 에지 방해 영역 측정 함수 (Edge Violation Area Detector (EVAD) function) 를 위한 시그널링 정보를 제공하는 것이다. (Signaling information for Edge Violation Area Detector (EVAD) function)
제 2 방법에 따르면, 입력은 각 좌/우 영상의 카메라 위치에 관한 정보이고, 출력은 에지 핸들링 (Edge Handling) 이 적용될 픽셀 구간 값인, Edge Violation Area Detector (EVAD) 함수를 시그널링할 수 있다. 즉, 제 2 방법은 LL_edge_violation_width 및 RR_edge_violation_width (또는, LL_edge_pixel_width 및 RR_edge_pixel_width) 를 도출 할 수 있는 함수의 종류 및 관련 계수를 시그널링 하는 방안이다. 예를 들어, 관련 정보의 값들이 linear하게 증가/감소하는 형태임을 시그널링 한다면, 함수 종류가 선형 함수라는 점 및 시작점과 끝점 값 등을 통해 함수를 정의할 수 있으며, 기타 다른 종류의 함수라면 추가적인 관련 계수를 시그널링할 수 있다.
본 발명의 다른 실시예에 따른 제 3 방법은, 시그널링 정보 없이 에지 방해를 탐지하는 것이다. (Implementation of edge violation detection without signaling information)
제 3 방법에 따르면, 에지 방해 (edge violation) 를 제거, 완화 또는 처리하기 위한 정보가 따로 시그널링 되지 않을 시, 수신단에서 에지 방해 (edge violation) 영역을 자체적으로 탐지하여 처리할 수 있다. 이 때 영상 합성 (view synthesis) 을 통해 생성된 가상 영상 (virtual view) 에 대하여는, 생성 과정에서 픽셀 (pixel) 간의 맵핑 (mapping) 정보를 통해 에지 방해 (edge violation) 가 발생하는 영역을 도출하는 것이 가능하다. 수신단이 영상 합성 (view synthesis) 없이 수신한 비디오 스트림을 그대로 출력하는 경우에는 수신단에서 별도로 좌영상과 우영상 간의 feature matching 과 같은 처리를 통해 에지 방해 (edge violation) 가 발생하는 영역을 도출해 낼 수 있다. feature matching 의 일 예로, 수신기는 좌영상 및 우영상에 포함되는 오브젝트 또는 픽셀을 각각 탐지하고, 좌영상에는 존재하나, 우영상에는 존재하지 않는 오브젝트 또는 픽셀, 혹은 좌영상에는 존재하지 않으나, 우영상에는 존재하는 오브젝트 또는 픽셀이 디스플레이되는 영역을 에지 방해 영역으로 탐지할 수 있다.
도 4를 참조하면, 수신단은 에지 방해 영역 탐지기 (edge violation area detector) 및/또는 에지 방해 핸들러 (edge violation handler) 를 포함할 수 있다.
에지 방해 영역 탐지기는 특정 시점을 위하여 합성된 3차원 영상의 좌영상 및 우영상에서 에지 방해가 일어나는 영역을 탐지한다. 이 때, 에지 방해 영역의 탐지는 전술한 방법 중 하나 이상의 방법이 사용될 수 있다.
에지 방해 핸들러 (edge violation handler)는 제 1 방법에 따라, 각각의 시점에 대한 3차원 영상에서 발생하는 에지 방해에 관한 정보가 제공되는 경우, 이 정보를 이용하여 에지 방해를 제거, 완화 또는 처리한다. 또는 에지 방해 핸들러 (edge violation handler)는 에지 방해 영역 탐지기에 의하여 탐지된 에지 방해 영역에 관한 정보를 수신하고, 이 정보를 이용하여 에지 방해를 제거, 완화 또는 처리할 수 있다.
도 5는 본 발명의 일 실시예에 따른, SEI (Supplemental Enhancement Information) 메시지를 통하여 3D_view_processing_info 를 시그널링하는 구조를 나타낸 도면이다.
비디오 레벨에서 에지 방해 (Edge violation) 관련 정보를 전송하게 되면, 각 프레임 (frame) 별로 또는 장면 (scene) 별로 에지 방해 (Edge violation) 영역이 변화하는 것에 대응할 수 있다.
H.264 (또는 AVC) Video의 경우에는 디코딩 및 출력 등등의 프로세스를 보조하는 정보를 포함하는 SEI (Supplemental Enhancement Information) 영역에 해당 정보를 전송할 수 있다. 본원 발명에서는, 에지 방해 (Edge violation) 정보의 전송을 위해 비디오 레벨에 들어가는 SEI 메시지를 지정할 수 있다. 도 5는 3D_view_processing_info 를 시그널링하는 SEI 메시지를 지정하는 경우의 실시 예이다. 일 실시예로, payloadType 필드의 값이 ‘50’ 인 경우, 3D_view_processing_info 가 전송되는 SEI 메시지임을 나타낼 수 있다.
에지 방해 (Edge violation) 정보 또는 3차원 에지 핸들링 정보 (3D Edge Handling Info) 는 다시점 3차원 영상의 각 시점의 영상에서 발생하는 에지 방해 (edge violation) 을 제거, 완화 또는 처리를 위한 정보를 말한다. 에지 방해 (Edge violation) 정보 또는 3차원 에지 핸들링 정보 (3D Edge Handling Info) 는 3D_view_processing_info 를 포함한다.
도 6은 본 발명의 일 실시예에 따른, 3D_view_processing_info 의 신택스 (syntax)를 나타낸 도면이다.
에지 방해 (Edge violation) 가 일어나는 부분을 처리하기 위해 앞서 설명한 shift and bar 방안을 사용할 수도 있고, 혹은 shift 없이 bar 만 치는 방법 (Floating window), 또는 bar는 치지 않고 cropping 과 부분적인 scaling을 통해 처리하는 방법 등이 쓰일 수 있다. 각 처리 방법마다 적용되는 파라미터가 각각 다르므로, 이를 시그널링 해주는 에지 방해 핸들링 데이터 (Edge violation Handling data) 또는 에지 방해 (Edge violation) 정보의 전송 방안이 필요하다. 에지 (Edge) 처리 관련 데이터는 비디오 컨텐츠 (video contents) 에 대한 메타데이터 (metadata) 로 주어질 수 있다.
본 발명의 일 실시예에 따른 3차원 영상 프로세싱 정보 (3D_view_processing_info) 는 3D_view_processing_info_id 필드, 3D_view_processing_update_flag 필드, num_3D_views 필드, 3D_view_ID 필드, 3D_view_priority 필드, synthesized_L_flag 필드, synthesized_R_flag 필드, Left_view_ID 필드, L_camera_parameter_exist_flag 필드, L_cam_baseline_distance 필드, right_view_ID 필드, R_camera_parameter_exist_flag 필드, R_cam_baseline_distance 필드, 3D_edge_handling_info() 엘레먼트, 및/또는 3D_EVAD_funtion_info () 엘레먼트를 포함한다.
3D_view_processing_info_id 필드는 3차원 영상 프로세싱 정보를 고유하게 식별하는 정보이다.
3D_view_processing_update_flag 필드는 현재 전송되는 3차원 영상 프로세싱 정보가 이전에 온 정보와 동일한지 아니면 새로 업데이트 되어야 하는지 여부를 알려주는 필드이다. 3D_view_processing_update_flag 필드는 업데이트가 필요한 경우 ‘1’로 설정되며, 이전과 동일한 경우 ‘0’으로 설정된다.
num_3D_views 필드는 현재 프로그램, 채널, 또는 서비스에 포함된 3차원 영상 (좌영상, 우영상 페어) 및/또는 시그널링 하는 가상 3차원 영상의 개수를 나타내는 필드이다.
3D_view_ID 필드 각 3차원 영상을 식별할 수 있는 값을 나타내는 필드이다.
3D_view_priority 필드는 3차원 영상의 우선순위를 나타내는 필드이다.
synthesized_L_flag 필드 또는 synthesized_R_flag 필드는 3차원 영상을 구성하는 좌영상 또는 우영상이 수신기에서 합성하여 만들어지는 영상인지, 아니면 실제 전송되는 영상 인지 여부를 알려주는 필드이다. Synthesized_X_flag의 값이 ‘0’이면 해당 view는 실제로 전송되는 비디오 영상임을 의미하고, ‘1’이면 수신기에서 합성 (synthesis) 을 통해 만들어지는 가상 영상임을 의미한다.
Left_view_ID 필드 또는 Right_view_ID 필드는 3차원 영상을 구성하는 좌영상 및/또는 우영상이 실제로 전송되는 경우, 해당 3차원 영상의 좌영상 및/또는 우영상에 포함되는 비디오 스트림이 무엇인지를 나타내는 식별자이다. 경우에 따라 이 값은 좌영상 비디오 또는 우영상 비디오의 PID 값으로 대체될 수 도 있다.
L_camera_parameter_exist_flag 필드 또는 R_camera_parameter_exist_flag 필드는 영상에 대한 카메라 파라미터 (view synthesis를 하기 위해 필요한 파라미터) 값이 존재하는지 여부를 알려주는 필드이다. 예를 들어, MVC 코덱의 경우, 카메라 파라미터는 Multiview_acquisition_info SEI message를 통해 전송되며, 각 view ID 별 camera parameter가 존재하므로, 이러한 SEI 메시지가 별도로 전송되는지를 알려주는 필드이다. 또는, camera_parameter_exist_flag를 전송하는 대신 해당하는 카메라 파라미터 세트 (camera parameter set) 의 ID 값 자체를 전송하는 것도 가능하다. 이 때, Multiview_acquisition_info SEI message에서 시그널링 되는 intrinsic camera parameter 는 각 영상 별로 존재하거나 혹은 모든 영상에 대한 공통 파라미터 세트 (parameter set) 가 존재할 수 있고, extrinsic camera parameter 는 각 영상 별로 별도의 파라미터 세트 (parameter set) 가 존재하므로 카메라 파라미터를 intrinsic camera parameter와 extrinsic camera parameter 두 가지로 분리하여 식별자를 전송하는 방안도 있다.
영상 합성 (View synthesis) 을 위해서는 Camera parameter 외에 video view와 같은 시점의 depth map이 존재하는지 여부도 시그널링 할 필요가 있을 수 있으며 이를 위해 L_depth_map_exist_flag 및/또는 R_depth_map_exist_flag 등의 필드를 시그널링 하도록 설정할 수 있다. L_depth_map_exist_flag 필드 또는 R_depth_map_exist_flag 필드는 좌영상 또는 우영상을 위한 depth map 이 존재하는지 여부를 알려주는 필드이다.
L_cam_baseline_distance 필드 또는 R_cam_baseline_distance 필드는 가상 좌영상 또는 가상 우영상의 시점 정보를 나타내는 필드이다. 영상 합성 (View synthesis) 처리 과정에서 입력 값으로 들어가는 값이며, view synthesis 방안이 무엇인지에 따라 입력 값으로 camera parameter가 필요한 경우 또는 camera parameter의 부분 정보가 필요한 경우 등이 있으므로, 방안에 따라 관련 정보가 전송될 수 있도록 필드를 설정할 수 있다. L_cam_baseline_distance 필드 또는 R_cam_baseline_distance 필드는 가상 영상을 촬영하는 가상 카메라의 위치를 나타내는 정보일 수도 있다. 예를 들면, L_cam_baseline_distance 필드 또는 R_cam_baseline_distance 필드는 baseline 상에서 가상 좌영상 촬영 카메라 혹은 가상 우영상 촬영 카메라의 상대적 위치를 나타낼 수 있다.
이상에서 설명한 필드 또는 정보는 수신기에서 새로운 시점의 가상 3차원 영상 (가상 좌영상, 가상 우영상)을 합성하기 위한 정보로 사용될 수 있다.
3D_edge_handling_info() 엘레먼트 및 3D_EVAD_funtion_info () 엘레먼트에 대하여는 후술한다.
도 7은 본 발명의 일 실시예에 따른, 3D_edge_handling_info() 엘레먼트의 신택스 (syntax)를 나타낸 도면이다.
에지 (Edge) 처리 관련 데이터는 비디오 컨텐츠 에 대한 meta data로 주어질 수 있으며, 도 7과 같이, 3D_edge_handling_info() 엘레먼트를 통해서 전송될 수 있다. 이때, 에지 방해 (Edge violation) 이 일어나는 부분을 처리하기 위해 앞서 설명한 shift and bar 방안을 사용할 수도 있고, 혹은 shift 없이 bar 만 치는 방법 (Floating window), 또는 bar는 치지 않고 cropping 과 부분적인 scaling을 통해 처리하는 방법 등이 쓰일 수 있다. 각 처리 방법마다 적용되는 파라미터가 각각 다르므로, 이를 시그널링 해주는 에지 방해 핸들링 데이터 (Edge violation Handling data) 의 전송 방안이 필요하다.
에지 방해 (Edge violation) 라는 좌우 시각에서의 불일치 왜곡을 막는 방법은 전술한 바와 같이, 방송국에서 3D 컨텐츠 자체에 미리 후처리를 한 후 보내는 방법, 권장하는 에지 핸들링 (edge handling) 방식의 파라미터를 보내는 방법 (floating window / vertical edge treatment / HIT parameter), 또는 권장하는 vertical edge treatment parameter를 보내는 방법 등이 있다. 상황에 따라 각 에지 (edge) 마다 다른 방법이 적용될 수도 있으며, 프레임 별로 적용 방법이 달라질 수도 있다.
이 때, 3차원 영상의 에지 (edge) 별로 window violation 이 발생하는지 아닌지 여부를 알려주기 위한 edge_violation_flag를 따로 둘 수도 있다. 예를 들어, edge_violation_flag의 값이 ’00’ 인 경우, 3차원 영상의 왼쪽과 오른쪽 에지 (edge) 모두에서 에지 방해 (edge violation) 이 발생하지 않음을 나타낼 수 있다. edge_violation_flag의 값이 ‘01’ 인 경우, 3차원 영상 의 오른쪽 에지 (edge) 에서만 에지 방해 (edge violation) 발생함을 나타낼 수 있다. edge_violation_flag 의 값이, ‘10’ 인 경우, 3차원 영상의 왼쪽 에지 (edge) 에서만 에지 방해 (edge violation) 발생함을 나타낼 수 있다. edge_violation_flag의 값이 ‘11’ 인 경우, 3차원 영상의 양쪽 에지 (edge) 모두에서 에지 방해 (edge violation) 가 발생함을 나타낼 수 있다. 이러한 edge_violation_flag를 시그널링하면 수신단에서 해당 3차원 영상을 후처리를 할지 말지 여부를 판단 가능하다. edge_violation_flag 는 3D_view_processing_info 또는 3D_edge_handling_info () 엘레먼트에 포함될 수 있다.
3D_edge_handling_info() 엘레먼트는 3D_edge_handling_update_flag 필드, LL_edge_pixel_width 필드, RR_edge_pixel_width 필드, L_handling_type 필드, R_handling_type 필드, LL_stretch_start_pixel 필드, LL_stretch_width_pixel 필드, LL_stretch_parameter() 엘레먼트, RR_stretch_start_pixel 필드, RR_stretch_width_pixel 필드, RR_stretch_parameter() 엘레먼트, 및/또는 EH_min_disparity 필드를 포함한다.
3D_edge_handling_update_flag 필드는 현재 전송되는 3차원 에지 핸들링 정보 정보가 이전에 온 정보와 동일한지 아니면 새로 업데이트 되어야 하는지 여부를 알려주는 필드이다. 3D_edge_handling_update_flag 필드의 값은, Update 가 필요한 경우 ‘1’로 설정되며, 이전과 동일한 경우 ‘0’으로 설정된다.
LL_edge_pixel_width 필드 및 RR_edge_pixel_width 필드는 각각 좌영상의 좌측 에지 (Left edge) 에 존재하는 에지 방해 (edge violation) 영역의 픽셀 개수, 및 우영상의 우측 에지 (Right edge) 에 존재하는 에지 방해 (edge violation) 영역의 픽셀 개수를 의미한다. 만약 LL_edge_pixel_width 필드의 값이 ‘0’이라면, 좌영상의 좌측 에지에는 에지 방해 (edge violation) 가 일어나지 않음을 의미하며, 이 때, 3차원 영상의 에지 (edge) 별로 window violation 이 발생하는지 아닌지 여부를 알려주기 위한 edge_violation_flag 필드가 따로 존재할 수 있다.
L_handling_type 필드 및 R_handling_type 필드는 각각 좌영상 또는 우영상에 적용되는 에지 방해 (edge violation) 의 처리 방법을 지정한다. 예를 들면, 해당 필드의 값이 ‘00’ 인 경우, Preprocessed (pre-handled), 즉, 송신단에서 에지 방해가 이미 처리되어 전송됨을 나타낼 수 있다. 해당 필드의 값이 ‘01’ 인 경우, Bar (Floating window) recommended, 즉, 에지 방해 (edge violation) 가 발생하는 영역에 bar를 치는 방법이 추천됨을 나타낼 수 있다. 해당 필드의 값이 ‘10’ 인 경우, Crop and stretch (Vertical edge treatment) recommended, 즉, crop과 stretch 의 방법으로 에지 방해 (edge violation)를 처리하는 것이 추천됨을 나타낼 수 있다. 해당 필드의 값이 ‘11’ 인 경우, Shift and bar (HIT) recommended, 즉, 에지 방해 (edge violation) 가 발생하는 영역 구간만큼 영상을 shift 시킨 후, 프레임 밖으로 나간 부분은 버리고, 프레임 내에 남은 부분에는 bar를 치는 방법이 추천됨을 나타낼 수 있다.
LL_stretch_start_pixel 필드 및 RR_stretch_start_pixel 필드는 L_handling_type 필드 및 R_handling_type 필드의 값이 ‘10’ 일 때 적용되는 것으로, 각각 좌영상의 좌측 에지 및 우영상의 우측 에지를 기준으로 stretch가 시작되는 영역을 나타낸다.
LL_stretch_width_pixel 필드 및 RR_stretch_width_pixel 필드는 L_handling_type 필드 및/또는 R_handling_type 필드의 값이 ‘10’ 일 때 적용되는 것으로, 각각 stretch가 시작되는 영역을 기준으로 stretch가 되는 영역의 넓이를 나타낸다.
LL_stretch_parameter() 엘레먼트 및 RR_stretch_parameter() 엘레먼트는 L_handling_type 필드 및/또는 R_handling_type 필드의 값이 ‘10’ 일 때 적용되는 값으로, crop and stretch 방안을 쓸 때 strech시 사용되는 파라미터를 포함할 수 있다.
EH_min_disparity 필드는 에지 방해 (Edge violation) 에 대해 후 처리가 된 이후의 최소 disparity 값을 의미한다. 스크린 앞쪽에서 발생하는 에지 방해 (edge violation) 가 차단되면 그에 따라 최소 디스패리티 (min disparity) 값이 변화할 여지가 있으므로 수신기에서 에지 핸들링 처리가 된 스테레오 영상에 On Screen Display (OSD) 를 띄울 때, 이 값을 고려하여 OSD의 디스플레이 depth를 결정할 수 있다. 전체 disparity 범위를 알리기 위해 EH_max_disparity 필드도 함께 전송하는 시나리오도 가능하며, 경우에 따라 본래 영상의 disparity 범위까지 전송하도록 설정할 수도 있다. 또는 disparity_range_change_flag 라는 필드를 따로 두어, 에지 핸들링 적용 이후에 disparity range (min., max. disparity 값) 가 변화했는지 아니면 그대로인지 여부를 시그널링하도록 설정할 수도 있다.
여기서 디스패리티 (disparity) 란, 3차원 영상의 하나의 오브젝트가 좌영상 및 우영상에 위치할 때, 각 영상에 위치하는 해당 오브젝트의 수평 거리의 차이를 나타낸다. 디스패리티 값에 따라, 시청자가 느끼는 해당 오브젝트의 깊이감 (depth) 가 달라질 수 있다.
도 8은 본 발명의 일 실시예에 따른, 3차원 에지 방해 영역 탐지 함수 정보 (3D_EVAD_function_info ()) 엘레먼트를 나타낸 도면이다.
3차원 영상을 구성하는 좌영상과 우영상 모두가 실제로 전송되는 비디오인 경우, 수신단에서는 해당 3차원 영상을 토대로 새로운 가상 3차원 영상을 생성하는 시나리오가 가능하다. 이때, 수신된 좌영상, 우영상 에 존재하는 에지 방해 (edge violation) 영역은 앞서 전술한 3차원 에지 핸들링 정보 (3D Edge Handling Info) 등을 통해 알 수 있으나, 수신단에서 임의로 선택한 시점의 가상 좌영상, 우영상의 에지 방해 (edge violation) 영역은 전술한 방법의 내용만으로는 알 수 없다. 그러므로 수신단에서는 생성하고자 하는 가상 3차원 영상의 카메라 시점 (카메라 촬영 위치) 이 무엇인지에 따라 생성된 각 좌영상, 우영상의 에지 방해 (edge violation) 영역을 도출 하는 방안이 필요하다.
본 발명에 따르면, 3차원 에지 방해 영역 탐지 함수 (3D EVAD (Edge Violation Area Detection) function) 은 영상 합성 (view synthesis) 에 사용되는, 수신한 좌영상, 우영상의 카메라 파라미터 정보, 기타 부가 정보 (좌영상, 우영상의 depth 정보 등), 그리고 각 좌영상, 우영상의 에지 방해 (edge violation) 영역 정보를 바탕으로 임의의 카메라 시점에서의 에지 방해 (edge violation) 영역 픽셀 값을 도출할 수 있도록 하는 함수이다. 예를 들면, 1D parallel 형태로 배열된 카메라에서 그 baseline 선상에 놓인 임의 시점에서의 에지 방해 (edge violation) 영역 정보를 도출하는 함수가 있을 수 있다. 이럴 경우에, 카메라의 시점 위치는 baseline distance 형태로 표현될 수 있으며, 함수는 이 카메라의 baseline distance 값을 입력 값으로 받아 그 시점에서의 에지 방해 (edge violation) 영역 정보를 출력하게 된다. baseline distance 은 baseline 상에서의 카메라의 위치를 나타내는 값이 될 수 있다.
도 8은 좌영상 카메라와 우영상 카메라 위치의 중심점을 기준으로 camera position 값을 normalize 시킨 경우의 3D EVAD function 이다. 즉, L_cam_position (또는 R_cam_position)을 1이라 하고, 두 카메라 사이의 중간이 되는 지점의 camera position을 0이라 했을 때, 0부터 1까지 증가하는 이 camera position의 값을 입력값으로 하고, 좌영상의 좌측 에지 (또는 우영상의 우측 에지) 에서 에지 방해 (edge violation) 영역의 픽셀 개수를 출력 값으로 하는 function 을 시그널링한다. 여기서 L_cam_position는 좌영상을 촬영하는 카메라의 위치를 나타내는 값이며, R_cam_position는 우영상을 촬영하는 카메라의 위치를 나타내는 값이다. L_cam_position 필드와 R_cam_position 필드는 3D_EVAD_function_info () 엘레먼트에 포함될 수 있다. 또는 L_cam_position 필드와 R_cam_position 필드는 각각 전술한 L_cam_baseline_distance 필드와 R_cam_baseline_distance 필드에 대응될 수 있다.
3D_EVAD_function_info () 엘레먼트는 LL_function_type 필드, RR_function_type 필드, LL_coefficient 필드, 및/또는 RR_coefficient 필드를 포함한다.
LL_function_type 필드 및 RR_function_type 필드는 3D EVAD function의 종류가 무엇인지 알려주는 필드이다. 함수의 종류는 여러 가지가 있을 수 있으며, 일 실시예로, 해당 필드의 값이 ‘1’일 경우 ‘linear function’을 나타낼 수 있다.
LL_coefficient 필드 및 RR_coefficient 필드는 앞서 설명한 함수의 계수를 나타내는 필드이며, XX_function_type이 ‘linear function’인 경우, 함수는 다음과 같이 정의될 수 있다.
{ XX_edge의 edge violation 영역을 나타내는 픽셀 개수 = XX_coefficient * X_cam_position + XX_edge_pixel_width }
이상에서 설명한 바와 같이, 기본적으로 에지 방해 정보는 각 프레임 별로 변화할 여지가 많으므로, 비디오 레벨 시그널링이 적합하다. 하지만 경우에 따라서는 scene 별, event 별, program/channel/service 별로 동일한 에지 방해 핸들링 정보를 적용할 수 있는 여지가 있다. 송신단에서 권장하는 구간별 에지 방해 핸들링 방안이 있는 경우, 앞서 비디오 레벨로 시그널링 된 정보들이 이벤트 또는 시스템 단위로 전송될 수도 있다. 즉, ATSC PSIP 또는 DVB SI의 EIT 와 같은 event 단위의 정보 전송이 가능한 테이블에 새로운 descriptor를 두어 event 단위의 정보를 전송하거나, 혹은 PMT / VCT / SDT 등과 같은 system 레벨의 정보 전송이 가능한 테이블에 새로운 descriptor를 두어 program/channel/service 단위의 정보를 전송하는 것이다. 이러한 descriptor에는 전술한 필드 또는 엘레먼트의 정보들이 포함될 수 있다.
Scene별로 에지 방해 핸들링 정보를 전송하고자 하는 경우, 시스템 레벨의 서술자 내에 scene의 구간 정보 (각 scene의 시작 시간 및 종료 시간)를 추가적으로 전송할 수 있다. 또는 에지 방해 핸들링 정보를 시간에 따른 구간 단위로 구성해 별도의 private stream 형태로 전송할 수 있다. 이 경우, 비디오 신호와 에지 방해 핸들링 정보 스트림을 동기화하는 절차가 필요하며, 이러한 동기화를 통해 3차원 영상의 에지 방해를 처리할 수 있다.
도 9는 본 발명의 일 실시예에 따른, 에지 핸들링 정보 (edge handling information) 가 시그널링되는 경우를 나타낸 도면이다.
도 9의 (a)를 참조하면, 3차원 방송 시스템은 3개의 시점 (3D view 0, 3D view 1, 3D view 2) 의 3차원 영상을 제공한다. 3D view 0 의 3차원 영상은 비디오 0 과 비디오 1을 포함한다. 3D view 1의 3차원 영상은 비디오 1과 비디오 2를 포함한다. 3D view 2는 비디오 2와 비디오 3를 포함한다. 송신단에서는 전술한 시그널링 방안을 통하여, 각 시점에서의 에지 핸들링 정보를 제공할 수 있다. 또한, 수신기에서 합성이 가능한 다른 시점에서의 3차원 영상에 대한 에지 핸들링 정보도 함께 시그널링될 수 있다.
도 9의 (b)를 참조하면, 3D view 0의 시점의 3차원 영상은 비디오 0과 비디오 1을 포함할 수 있다. 송신단에서는 비디오 0을 촬영한 카메라의 위치, 비디오 1을 촬영한 카메라의 위치 정보, 비디오 0에서의 에지 방해 영역의 넓이, 비디오 1에서의 에지 방해 영역의 넓이에 관한 정보가 시그널링 될 수 있다. 예를 들면, 3D view 0의 시점의 3차원 영상에 대하여 L, R camera position (0, 1), Edge violation width pixel: (LL, RR) = (24, 8) 같은 정보가 시그널링 될 수 있다. L, R camera position (0, 1)는 좌영상을 촬영한 카메라의 위치가 baseline의 기준 지점에 위치하며, 우영상을 촬영한 카메라의 위치가 ‘1’ 만큼 기준선에서 떨어져있다는 정보이다. Edge violation width pixel: (LL, RR) = (24, 8)는 좌영상의 좌측 에지에서 24 픽셀 넓이의 영역에서 에지 방해가 발생하고, 우영상의 우측 에지에서 8 픽셀 넓이의 영역에서 에지 방해가 발생함을 나타낸다.
3D view 1의 시점의 3차원 영상은 비디오 1과 비디오 2를 포함할 수 있다. 송신단에서는 비디오 1을 촬영한 카메라의 위치, 비디오 2을 촬영한 카메라의 위치 정보, 비디오 1에서의 에지 방해 영역의 넓이, 비디오 2에서의 에지 방해 영역의 넓이에 관한 정보가 시그널링 될 수 있다. 예를 들면, 3D view 1의 시점의 3차원 영상에 대하여 L, R camera position (1, 2), Edge violation width pixel: (LL, RR) = (3, 36) 같은 정보가 시그널링 될 수 있다. L, R camera position (1, 2)는 좌영상을 촬영한 카메라의 위치가 baseline의 기준 지점에서 ‘1’ 만큼 떨어져 위치하며, 우영상을 촬영한 카메라의 위치가 ‘2’ 만큼 기준선에서 떨어져있다는 정보이다. Edge violation width pixel: (LL, RR) = (3, 36)는 좌영상의 좌측 에지에서 3 픽셀 넓이의 영역에서 에지 방해가 발생하고, 우영상의 우측 에지에서 36 픽셀 넓이의 영역에서 에지 방해가 발생함을 나타낸다.
송신단에서는 수신단에서 합성될 수 있는 다른 시점의 3차원 영상에 대하여 에지 핸들링 정보를 시그널링할 수 있다. Synthesized 3D view X의 시점의 3차원 영상은 합성된 비디오 0.5과 합성된 비디오 1.5를 포함할 수 있다. 합성된 비디오 0.5과 합성된 비디오 1.5는 수신단에서 수신한 비디오 데이터를 이용하여 새롭게 생성한 비디오 데이터 이다. 즉, 수신단에서 새로운 시점의 3차원 영상을 제공하기 위하여 합성한 비디오 데이터이다. 송신단에서는 비디오 0.5를 촬영할 것으로 기대되는 가상 카메라의 위치, 비디오 1.5를 촬영할 것으로 기대되는 가상 카메라의 위치 정보, 비디오 0.5에서 발생이 예상되는 에지 방해 영역의 넓이, 비디오 1.5에서 발생이 예상되는 에지 방해 영역의 넓이에 관한 정보를 시그널링 할 수 있다. 예를 들면, 송신단에서는 L, R camera position (0.5, 1.5), Edge violation width pixel: (LL, RR) = (10, 25) 같은 정보를 시그널링 할 수 있다. L, R camera position (0.5, 1.5)는 좌영상을 위한 가상 카메라의 위치가 baseline의 기준 지점에서 ‘0.5’ 만큼 떨어져 위치하며, 우영상을 위한 가상 카메라의 위치가 ‘1.5’ 만큼 기준선에서 떨어져있다는 정보이다. Edge violation width pixel: (LL, RR) = (10, 25)는 좌영상의 좌측 에지에서 10 픽셀 넓이의 영역에서 에지 방해가 발생하고, 우영상의 우측 에지에서 25 픽셀 넓이의 영역에서 에지 방해가 발생함을 나타낸다. 즉, 송신단에서는 가상의 카메라 위치에 따라, 좌영상 및 우영상에서 발생이 예상되는 에지 방해 영역에 대한 정보를 시그널링 할 수 있다.
도 10은 본 발명의 일 실시예에 따른, 수신단에서 가상 3차원 영상에 대한 에지 핸들링 정보를 도출할 수 있도록 관련 함수를 시그널링하는 경우를 나타낸 도면이다.
전술한 바와 같이, 다시점 TV 에서 합성된 3차원 영상의 에지 방해 영역 정보 (에지 핸들링 정보)를 수신기에서 도출할 수 있다. 3D view 0의 좌영상 (비디오 0), 우영상 (비디오 2) 및 관련 정보 (L_cam_position, LL_edge_pixel_width, R_cam_position, RR_edge_pixel_width) 를 입력 값으로 하여, Synthesized 3D view 0 와 synthesized 3D view 1의 edge violation pixel width를 도출해 낼 수 있으며, 이때, 시그널링 된 LL_function_type, LL_coefficient, RR_function_type, RR_coefficient 값을 이용한다. 시그널링 되는 파리미터 또는 필드들에 대한 설명은 전술한 내용으로 대체한다.
도 9에서 전술한 방법에 따르면, 각 합성된 3차원 영상 마다의 edge violation pixel width 값 자체를 전송하였기 때문에 임의의 카메라 위치를 갖는 synthesized 3D view의 edge violation pixel width 정보를 알 수 없는 경우가 발생할 수 있고, 따라서 전송된 특정 카메라 위치의 3차원 영상에 대한 에지 핸들링 정보만 알 수 있다. 이에 반해 도 10과 같이, 수신단에서 가상 3차원 영상에 대한 에지 핸들링 정보를 도출할 수 있도록 관련 함수를 시그널링하는 경우, 각 구간별로 edge violation pixel width를 도출 할 수 있는 함수가 시그널링 되므로, 구간 내에 존재하는 모든 3차원 영상 페어에 대한 에지 핸들링 정보를 도출할 수 있다.
도 11은 본 발명의 일 실시예에 따른, 별도의 시그널링이 없이 수신기에서 자체적으로 에지 방해 핸들링을 수행하기 위한 수식을 나타낸 도면이다.
수신단의 영상 합성 (View synthesis) 과정에서 영상의 각 픽셀을 새로운 시점의 영상으로 매핑하는 과정을 거치므로, 새로운 시점의 각 픽셀이 기존 영상의 어느 픽셀에 대응되는 것인지를 알 수 있고, 이를 통해 수신기는 새로 구성한 3차원 영상 페어 (좌영상, 우영상) 의 에지 방해 영역에 대한 정보를 추출할 수 있다.
즉, 3차원 영상의 좌측 에지에 있는 에지 방해 영역은 우영상에는 존재하지 않지만 좌영상에만 존재하는 영역 또는 오브젝트에 해당될 수 있다. (식 1-1, 2-1). 3차원 영상의 우측 에지에 있는 에지 방해 영역은 좌영상에는 존재하지 않지만, 우영상에만 존재하는 영역 또는 오브젝트에 해당될 수 있다. (식 1-2, 2-2). 새로 합성한 영상이 아닌, 수신한 3차원 영상의 에지 방해 정보 역시 feature matching 등의 기법을 통해 에지 방해 영역을 도출 할 수 있다. (식 1-1 및 식 1-2).
즉, (식 1-1)을 참조하면, 좌영상 (V1) 에는 존재하는 픽셀 (p) 이 우영상 (V2) 에는 존재하지 않는 경우, 해당 픽셀은 좌측 에지 방해 영역에 위치하는 것으로 판단할 수 있다.
(식 1-2)을 참조하면, 좌영상 (V1) 에는 존재하지 않는 픽셀 (p) 이 우영상 (V2) 에는 존재하는 경우, 해당 픽셀은 우측 에지 방해 영역에 위치하는 것으로 판단할 수 있다.
(식 2-1)을 참조하면, 좌영상 (V1) 에는 존재하는 픽셀 (p) 이 합성된 우영상 (S12) 에는 존재하지 않는 경우, 합성된 3차원 영상에서 해당 픽셀은 좌측 에지 방해 영역에 위치하는 것으로 판단할 수 있다.
(식 2-2)을 참조하면, 좌영상 (V1) 에는 존재하지 않는 픽셀 (p) 이 합성된 우영상 (S12) 에는 존재하는 경우, 합성된 3차원 영상에서 해당 픽셀은 우측 에지 방해 영역에 위치하는 것으로 판단할 수 있다.
이러한 방식으로 수신기는 각각의 픽셀에 대한 에지 방해 영역에 존재 여부를 판단하여, 최종적으로 수신한 3차원 영상 (또는 합성된 3차원 영상) 에서 에지 방해가 발생하는 영역을 판단할 수 있다.
도 12는 본 발명의 일 실시예에 따른, 별도의 시그널링이 없이 수신기에서 자체적으로 에지 방해 핸들링을 수행하는 경우를 나타낸 도면이다.
V1과 V2는 수신한 스테레오 3차원 영상의 좌영상 및 우영상 이고, V1과 S12는 수신단에서 새로 합성한 스테레오 3차원 영상의 좌영상 및 우영상 이다. S12는 V1과 V2를 기반으로 Synthesize된 영상이며, V1은 수신한 영상과 동일하다. 이때, 도면에서 음영 처리된 부분은 에지 방해가 발생한 영역을 의미한다.
예를 들어, 도 11에서 전술한 방식을 적용할 때, 하나의 프레임 내에서 수직으로 배열된 픽셀들 중 어느 하나라도 에지 방해 영역에 포함되는 것으로 판단되면, 수신기는 해당 수직으로 배열된 픽셀들 모두가 에지 방해 영역에 포함되는 것으로 판단하도록 설정될 수 있다.
도 13은 본 발명의 일 실시예에 따른 다시점 3차원 영상 수신기를 나타낸 도면이다.
본 발명의 일 실시예에 따른 3차원 영상 수신기는 튜너 및 복조부 (13010; tuner & demodulator), VSB 디코더 (13020; VSB decoder), TP 역다중화부 (13030; TP demux), depth 디코더 (13040, 13042, 13044; depth decoder), 비디오 디코더 (13050, 13052, 13054; video decoder), 3차원 가상 영상 합성부 (13060; 3D virtual view synthesis), 가상 영상 처리부 (13070, 13072; virtual view processor), 비디오 선택부 (13080; video selector), 3차원 에지 핸들링 및 영상 처리부 (13090; 3D edge handling & view processing), PSI/PSIP/SI 처리부 (13100; PSI/PSIP/SI processor); 3차원 영상 정보 처리부 (13110; 3D view info processing) 및/또는 출력 포맷터 (13120; output formatter) 를 포함한다.
튜너 및 복조부 (13010)는 방송 신호를 수신한다. 튜너 및 복조부 (13010)는 방송 신호를 복조한다.
VSB 디코더 (13020)는 변조 방식에 따른 복조를 수행한다. VSB 디코더 (13020)는 VSB 방식으로 변조된 신호, OFDM 방식으로 변조된 신호 등을 복조한다. VSB 디코더 (13020)는 전술한 튜너 및 복조부 (13010)에 포함될 수 있고, 별도로 존재할 수도 있다.
TP 역다중화부 (13030)는 방송 신호내의 트랜스포트 스트림 또는 트랜스포트 스트림 패킷을 추출한다.
depth 디코더 (13040, 13042, 13044)는 방송 신호에 포함된 depth 관련 정보를 디코딩한다. Depth 관련 정보는 방송 패킷, 트랜스포트 패킷, 데이터 세그먼트, 비디오 헤더 또는 비디오 어세스 유닛 헤더 형태로 전송될 수 있다. 각각의 depth 디코더는 각각의 3차원 영상에 포함되는 각각의 영상에 대한 depth 정보를 디코딩한다.
비디오 디코더 (13050, 13052, 13054)는 방송 신호에 포함된 각 비디오 영상을 디코딩한다. 비디오 디코더는 3차원 영상에 포함되는 각 영상을 디코딩한다. 예를 들면, 비디오 디코더는 베이스 영상 (좌영상 또는 우영상)을 디코딩하는 베이스 영상 비디오 디코더 (13050), 및/또는 추가 영상 (베이스 영상이 좌영상인 경우 우영상, 베이스 영상이 우영상인 경우 좌영상)을 디코딩하는 추가 영상 비디오 디코더 (13052, 13054) 를 포함할 수 있다. 추가 영상은 기본 시점의 3차원 영상을 만들기 위한 비디오 영상, 및/또는 추가 시점의 3차원 영상을 만들기 위한 비디오 영상을 포함한다.
3차원 가상 영상 합성부 (13060)는 디코딩된 베이스 영상 및/또는 추가 영상을 이용하여, 가상의 영상을 생성한다. 3차원 가상 영상 합성부 (13060)는 방송 신호를 통하여 전송되는 시점 이외에 다른 시점의 3차원 영상에 포함되는 비디오 영상을 생성할 수 있다. 3차원 가상 영상 합성부 (13060)는 비디오 영상을 생성하는 과정에서 PSI, PSIP, 또는 DVB-SI에 포함되는 시그널링 정보를 이용할 수 있다. 차원 가상 영상 합성부 (13060)는 비디오 영상을 생성하는 과정에서 3차원 영상 정보 처리부 (13110)에서 획득된 정보를 이용할 수 있다.
가상 영상 처리부 (13070, 13072)는 합성된 가상 영상을 분리하여 처리한다. 가상 영상 처리부 (13070, 13072)는 각각의 시점에 3차원 영상에 포함되는 합성된 가상 영상을 식별한다.
비디오 선택부 (13080; video selector)는 다시점 디스플레이의 각 3차원 시점단위로 출력할 2개의 비디오 영상 (비디오 스트림) 을 선택한다. 각 시점의 3차원 영상에 포함되는 비디오 영상 또는 비디오 스트림은 디코딩된 (즉, 방송 신호에 포함된) 비디오 영상 또는 합성된 가상 비디오 영상이 될 수 있다.
3차원 에지 핸들링 및 영상 처리부 (13090)는 전술한 방식 중 하나 이상의 방식으로 각 시점의 3차원 영상에 발생할 수 있는 에지 방해를 처리한다. 에지 방해를 처리하는 상세한 내용은 전술한 설명으로 대체한다. 3차원 에지 핸들링 및 영상 처리부 (13090)는 에지 핸들링을 수행하는 과정에서 에지 핸들링 정보 또는 에지 핸들링 정보 생성을 위한 함수 정보를 이용할 수 있다. 3차원 에지 핸들링 및 영상 처리부 (13090)는 송신단에서 에지 핸들링 관련 정보가 시그널링 되지 않는 경우, 각 비디오 영상을 비교하여 에지 방해 영역을 추출하고, 추출된 에지 방해 영역에 대한 에지 핸들링을 수행할 수 있다.
PSI/PSIP/SI 처리부 (13100)는 방송 신호에 포함된 시그널링 정보를 파싱한다. 시그널링 정보는 PSI, PSIP, 또는 DVB-SI 등의 정보를 포함한다. PSI, PSIP, 또는 DVB-SI 는 프로그램 맵 테이블 (Program Map Table; PMT), 가상 채널 테이블 (Virtual Channel Table; VCT), 이벤트 정보 테이블 (Event Information Table; EIT) 또는 서비스 디스크립션 테이블 (Service Description Table; SDT) 을 포함한다.
3차원 영상 정보 처리부 (13110)는 비디오 레벨의 SEI 메시지 또는 PSI, PSIP, 또는 DVB-SI 레벨의 descriptor를 통해 전송되는 3차원 영상 관련 정보를 획득한다. 여기서 3차원 영상 관련 정보는 depth 맵 정보, 카메라 파라미터, 에지 핸들링 정보, 에지 핸들링 정보를 생성하기 위한 함수 정보, 3차원 영상 프로세싱 정보 및/또는 전술한 정보 등을 포함할 수 있다.
출력 포맷터 (13120; output formatter) 는 에지 핸들링이 수행된 각 시점의 3차원 영상을 출력 형태로 포맷팅하여 디스플레이될 수 있도록 처리 한다.
이상에서 설명한 바와 같이, 본 발명에서는 다시점 3DTV에서 각 3차원 영상 별로 에지 방해 (edge violation) 가 일어나는 시점에 에지 핸들링 (edge handling) 방법을 적용하여 적절한 깊이감을 제공하는 환경을 만들어주기 위해 필요한 각종 변수와 데이터를 정리하고, 이를 활용하는 방안을 제시하였다.
본 발명에 따르면, 다시점 3차원 영상을 시청하는 경우에도, 각각의 시점에서 에지 핸들링이 가능하다.
본 발명에 따르면, 송신단에서 전송되지 않는 시점의 3차원 영상에 대하여도, 에지 핸들링이 가능한다.
본 발명에 따르면, 송신단에서 에지 핸들링에 필요한 정보 (에지 방해 정보) 가 제공되지 않는 경우에도, 수신기에서 에지 핸들링을 수행할 수 있다.
본 발명에 따른 방법 발명은 모두 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
전술한 바와 같이 발명의 실시를 위한 최선의 형태로, 본 발명과 관련된 사항을 기술하였다.
본 발명은 디지털 방송 산업 분야에서 전체적으로 또는 부분적으로 이용될 수 있다.

Claims (12)

  1. 복수의 시점에 대한 3차원 영상을 수신 처리하는 다시점 3차원 영상 방송신호 수신 방법에 있어서,
    다시점 3차원 영상 방송을 위한 방송 신호를 수신하는 단계;
    상기 수신한 방송 신호로부터, 제 1 시점의 3차원 영상에 포함되는 제 1 좌영상 데이터 및 제 1 우영상 데이터를 디코딩하는 단계;
    상기 수신한 방송 신호로부터, 3차원 영상 프로세싱 정보를 파싱하는 단계;
    상기 제 1 좌영상 데이터, 상기 제 1 우영상 데이터 및 상기 3차원 영상 프로세싱 정보를 이용하여, 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 단계;
    상기 3차원 영상 프로세싱 정보에 포함되는 3차원 에지 방해 영역 탐지 함수 정보를 파싱하는 단계;
    상기 3차원 에지 방해 영역 탐지 함수 정보를 이용하여, 상기 제 2 시점의 3차원 영상에서 발생하는 에지 방해의 영역을 추출하고, 상기 영역의 에지 방해를 핸들링하는 단계; 및
    상기 제 1 시점의 3차원 영상 및 상기 제 2 시점의 3차원 영상을 디스플레이하는 단계;
    를 포함하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  2. 제 1 항에 있어서, 상기 3차원 에지 방해 영역 탐지 함수 정보는,
    상기 에지 방해의 영역을 추출하는 데 사용되는 함수의 종류를 식별하는 함수 타입 정보 및 식별된 함수에 사용되는 계수의 값을 나타내는 계수 정보를 포함하는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  3. 제 2 항에 있어서, 상기 3차원 영상 프로세싱 정보는,
    상기 제 2 좌영상 또는 상기 제 2 우영상을 촬영할 것으로 예상되는 카메라의 위치 정보 및 상기 제 1 시점의 3차원 영상에서의 에지 방해 영역을 나타내는 정보를 더 포함하고 있는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  4. 제 1 항에 있어서, 상기 3차원 영상 프로세싱 정보는,
    상기 수신기에서 생성될 수 있는 하나 이상의 시점의 3차원 영상에 발생할 수 있는 에지 방해에 관한 정보를 포함하는 에지 핸들링 정보를 더 포함하는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  5. 제 4 항에 있어서, 상기 에지 핸들링 정보는,
    상기 하나 이상의 시점의 3차원 영상에 포함되는 좌영상에 존재하는 에지 방해의 영역의 픽셀 개수 정보 및 상기 하나 이상의 시점의 3차원 영상에 포함되는 우영상에 존재하는 에지 방해의 영역의 픽셀 개수 정보를 포함하는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  6. 제 5 항에 있어서, 상기 에지 핸들링 정보는,
    상기 하나 이상의 시점의 3차원 영상에 포함되는 좌영상 및 우영상에 존재하는 상기 에지 방해를 핸들링하는 방법을 지정하는 정보를 더 포함하는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  7. 제 6 항에 있어서, 상기 에지 핸들링 정보는,
    상기 하나 이상의 시점의 3차원 영상에 포함되는 좌영상 및 우영상에 존재하는 상기 에지 방해가 핸들링 된 후 상기 하나 이상의 시점의 3차원 영상의 최소 디스패리티를 식별하는 정보를 더 포함하는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  8. 제 7 항에 있어서, 상기 3차원 영상 프로세싱 정보는,
    SEI (Supplemental Enhancement Information) 메시지를 통하여 전송되는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  9. 제 7 항에 있어서, 상기 3차원 영상 프로세싱 정보는,
    프로그램 맵 테이블 (Program Map Table; PMT), 가상 채널 테이블 (Virtual Channel Table; VCT), 이벤트 정보 테이블 (Event Information Table; EIT) 또는 서비스 디스크립션 테이블 (Service Description Table; SDT) 를 통하여 전송되는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  10. 복수의 시점에 대한 3차원 영상을 수신 처리하는 다시점 3차원 영상 방송신호 수신 방법에 있어서,
    다시점 3차원 영상 방송을 위한 방송 신호를 수신하는 단계;
    상기 수신한 방송 신호로부터, 제 1 시점의 3차원 영상에 포함되는 제 1 좌영상 데이터 및 제 1 우영상 데이터를 디코딩하는 단계;
    상기 수신한 방송 신호로부터, 3차원 영상 프로세싱 정보를 파싱하는 단계;
    상기 제 1 좌영상 데이터, 상기 제 1 우영상 데이터 및 상기 3차원 영상 프로세싱 정보를 이용하여, 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 단계,
    여기서, 상기 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 단계는:
    상기 제 1 시점의 3차원 영상에 포함되는 픽셀을 상기 제 2 시점의 3차원 영상의 픽셀로 매핑 (mapping) 하고, 상기 매핑 과정에서 상기 제 2시점의 3차원 영상에 발생하는 에지 방해의 영역을 추출하는 단계; 를 포함하며;
    상기 제 2 시점의 3차원 영상의 상기 에지 방해를 핸들링하는 단계; 및
    상기 제 1 시점의 3차원 영상 및 상기 제 2 시점의 3차원 영상을 디스플레이하는 단계;
    를 포함하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  11. 제 10 항에 있어서,
    상기 3차원 영상 프로세싱 정보는,
    상기 제 1 시점의 3차원 영상을 촬영한 카메라의 카메라 파라미터 정보를 포함하고,
    상기 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 단계는,
    상기 카메라 파라미터 정보를 더 이용하여, 상기 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  12. 제 10 항에 있어서, 상기 제 2 시점의 3차원 영상에 발생하는 에지 방해의 영역을 추출하는 단계는,
    상기 제 2 시점의 3차원 영상의 좌영상 및 우영상에 포함되는 픽셀을 각각 탐지하고, 상기 좌영상에는 존재하나, 상기 우영상에는 존재하지 않는 픽셀, 혹은 상기 좌영상에는 존재하지 않으나, 상기 우영상에는 존재하는 픽셀이 포함되는 영역을 에지 방해의 영역으로 추출하는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
PCT/KR2013/009597 2012-10-25 2013-10-25 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치 WO2014065635A1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020157008088A KR20150079577A (ko) 2012-10-25 2013-10-25 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치
CA2888147A CA2888147A1 (en) 2012-10-25 2013-10-25 Method and apparatus for processing edge violation phenomenon in multi-view 3dtv service
JP2015539506A JP6139691B2 (ja) 2012-10-25 2013-10-25 多視点３ｄｔｖサービスにおいてエッジ妨害現象を処理する方法及び装置
US14/432,603 US9578300B2 (en) 2012-10-25 2013-10-25 Method and apparatus for processing edge violation phenomenon in multi-view 3DTV service
MX2015004381A MX345274B (es) 2012-10-25 2013-10-25 Metodo y aparato para procesamiento de fenomeno de violacion de borde en servicio de television en tercera dimension multivistas.
EP13849001.6A EP2914003A4 (en) 2012-10-25 2013-10-25 METHOD AND DEVICE FOR PROCESSING AN EDGE-BROADENING PHENOMENA IN A MULTI-VIEW 3DTV SERVICE
CN201380055737.7A CN104769943B (zh) 2012-10-25 2013-10-25 在多视图3dtv服务中处理边缘违反现象的方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261718681P 2012-10-25 2012-10-25
US61/718,681 2012-10-25

Publications (1)

Publication Number Publication Date
WO2014065635A1 true WO2014065635A1 (ko) 2014-05-01

Family

ID=50544933

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/009597 WO2014065635A1 (ko) 2012-10-25 2013-10-25 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치

Country Status (8)

Country Link
US (1) US9578300B2 (ko)
EP (1) EP2914003A4 (ko)
JP (1) JP6139691B2 (ko)
KR (1) KR20150079577A (ko)
CN (1) CN104769943B (ko)
CA (1) CA2888147A1 (ko)
MX (1) MX345274B (ko)
WO (1) WO2014065635A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101999137B1 (ko) * 2013-01-03 2019-07-11 삼성전자주식회사 카메라를 구비하는 장치의 이미지 처리장치 및 방법
KR102644833B1 (ko) * 2016-10-06 2024-03-07 주식회사 케이티 Vr 스트림의 지연을 보상하는 방법 및 시스템
CN117717411A (zh) * 2016-11-04 2024-03-19 直观外科手术操作公司 在计算机辅助远程操作外科手术中的可重新配置的显示器
JP6995294B1 (ja) 2020-11-18 2022-01-31 隆志 矢野 自動車のための、表示装置の映像の視認がステアリングホイール等の障害物によって阻害されない操縦システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090014532A (ko) * 2007-08-06 2009-02-11 삼성모바일디스플레이주식회사 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법
KR20110106289A (ko) * 2008-12-02 2011-09-28 엘지전자 주식회사 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법
KR20120023431A (ko) * 2010-09-03 2012-03-13 삼성전자주식회사 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치
KR20120089921A (ko) * 2010-12-23 2012-08-16 한국전자통신연구원 다이나믹 프로그래밍 방식을 이용하는 스테레오 매칭 시스템 및 그 방법
KR20120101881A (ko) * 2011-03-07 2012-09-17 삼성전자주식회사 영상 디스플레이 방법 및 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011228862A (ja) 2010-04-16 2011-11-10 Sony Corp データ構造、画像処理装置、画像処理方法、およびプログラム
KR101685343B1 (ko) * 2010-06-01 2016-12-12 엘지전자 주식회사 영상표시장치 및 그 동작방법
WO2012007867A1 (en) 2010-07-12 2012-01-19 Koninklijke Philips Electronics N.V. Signaling for multiview 3d video
US9582928B2 (en) * 2011-01-13 2017-02-28 Samsung Electronics Co., Ltd. Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
WO2012099108A1 (ja) * 2011-01-17 2012-07-26 シャープ株式会社 多視点画像符号化装置、多視点画像復号装置、多視点画像符号化方法、多視点画像復号方法およびプログラム
CA2824829C (en) 2011-01-25 2017-04-25 Jeehyun Choe Method and apparatus for transmitting/receiving a digital broadcasting signal
JP2012186781A (ja) * 2011-02-18 2012-09-27 Sony Corp 画像処理装置および画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090014532A (ko) * 2007-08-06 2009-02-11 삼성모바일디스플레이주식회사 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법
KR20110106289A (ko) * 2008-12-02 2011-09-28 엘지전자 주식회사 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법
KR20120023431A (ko) * 2010-09-03 2012-03-13 삼성전자주식회사 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치
KR20120089921A (ko) * 2010-12-23 2012-08-16 한국전자통신연구원 다이나믹 프로그래밍 방식을 이용하는 스테레오 매칭 시스템 및 그 방법
KR20120101881A (ko) * 2011-03-07 2012-09-17 삼성전자주식회사 영상 디스플레이 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2914003A4 *

Also Published As

Publication number Publication date
MX345274B (es) 2017-01-24
CN104769943A (zh) 2015-07-08
JP2015536608A (ja) 2015-12-21
CA2888147A1 (en) 2014-05-01
CN104769943B (zh) 2017-03-08
EP2914003A1 (en) 2015-09-02
MX2015004381A (es) 2015-06-10
US9578300B2 (en) 2017-02-21
US20150271464A1 (en) 2015-09-24
JP6139691B2 (ja) 2017-05-31
KR20150079577A (ko) 2015-07-08
EP2914003A4 (en) 2016-11-02

Similar Documents

Publication Publication Date Title
WO2011084021A2 (ko) 방송 수신기 및 3d 이미지 디스플레이 방법
WO2010041896A2 (en) Receiving system and method of processing data
WO2010087621A2 (en) Broadcast receiver and video data processing method thereof
WO2012177049A2 (en) Method and apparatus for processing broadcast signal for 3-dimensional broadcast service
WO2012074328A2 (ko) 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법
WO2011152633A2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
WO2010064774A1 (ko) 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법
WO2011046338A2 (en) Broadcast receiver and 3d video data processing method thereof
WO2010093115A2 (en) Broadcast receiver and 3d subtitle data processing method thereof
WO2010126221A2 (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
WO2010117129A2 (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
WO2011136622A2 (en) An apparatus of processing an image and a method of processing thereof
WO2012102522A2 (ko) 디지털 방송 신호 송/수신 방법 및 장치
WO2010087575A2 (en) Broadcast receiver and 3d video data processing method
WO2012002690A2 (ko) 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
WO2012121543A2 (ko) 디지털 방송 신호 송/수신 방법 및 장치
WO2011129566A2 (ko) 이미지 디스플레이 방법 및 장치
EP2389767A2 (en) Three-dimensional subtitle display method and three-dimensional display device for implementing the same
WO2011028024A2 (en) Cable broadcast receiver and 3d video data processing method thereof
WO2014025239A1 (ko) 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
WO2011046271A1 (en) Broadcast receiver and 3d video data processing method thereof
WO2014065635A1 (ko) 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치
WO2013012227A2 (ko) 3d 서비스 처리 방법 및 장치
WO2011155766A2 (ko) 영상 처리 방법 및 그에 따른 영상 표시 장치
WO2015002442A1 (ko) 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13849001

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20157008088

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14432603

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: MX/A/2015/004381

Country of ref document: MX

ENP Entry into the national phase

Ref document number: 2888147

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2015539506

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013849001

Country of ref document: EP