WO2009108028A1 - 자유시점 영상 복호화 방법 및 장치 - Google Patents

자유시점 영상 복호화 방법 및 장치 Download PDF

Info

Publication number
WO2009108028A1
WO2009108028A1 PCT/KR2009/001004 KR2009001004W WO2009108028A1 WO 2009108028 A1 WO2009108028 A1 WO 2009108028A1 KR 2009001004 W KR2009001004 W KR 2009001004W WO 2009108028 A1 WO2009108028 A1 WO 2009108028A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
block
current macroblock
depth
Prior art date
Application number
PCT/KR2009/001004
Other languages
English (en)
French (fr)
Other versions
WO2009108028A9 (ko
Inventor
김종찬
최승종
임진석
임정은
Original Assignee
엘지전자(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자(주) filed Critical 엘지전자(주)
Publication of WO2009108028A1 publication Critical patent/WO2009108028A1/ko
Publication of WO2009108028A9 publication Critical patent/WO2009108028A9/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to a free viewpoint video decoding method and apparatus, and more particularly, to a free viewpoint video decoding method and apparatus capable of decoding a depth image using a video image.
  • Three-dimensional stereoscopic TV broadcasting is based on binocular parallax, a multiview image method obtained from various positions, a free viewpoint TV consisting of a multiview image and a depth image. ) And the like.
  • MPEG-2 Multiview Profile is an existing standard standard that encodes / decodes 3D stereoscopic TV broadcasting by applying temporal scalability. This standard is designed to be suitable for stereo video by introducing a disparity prediction method, but does not provide a coding / decoding method for a multiview image having a large number of viewpoints.
  • Multiview Video Coding which compresses multiview images, inevitably requires an increase in bandwidth due to a large amount of image data to be transmitted, and a view point where a viewer can view 3D images is limited.
  • An object of the present invention is to propose a method and apparatus for decoding a free view image, and more particularly, to propose a method and apparatus for free view image decoding corresponding to a conventional multiview image decoding method. .
  • the present invention aims to propose a Supplemental Enhancement Information (SEI) message containing camera information of left and right eyes optimized for stereo display in a free-view TV.
  • SEI Supplemental Enhancement Information
  • a video signal including a video image and a depth image, when the block type of the current macroblock in the depth image is an intra block, the video image corresponding to the current macroblock.
  • Free view image decoding method characterized in that the same position, The ball.
  • the method may further include receiving a video signal including a video image and a depth image, when the block type of the current macroblock in the depth image is an inter block, the current macroblock from a corresponding block in the video image corresponding to the current macroblock.
  • Acquiring motion information of the at least one processor acquiring depth information of a reference macroblock in a reference depth image referenced by the current macroblock based on the motion information of the current macroblock; and using the depth information. Restoring depth information of a block, wherein the block type of the corresponding block is an inter block, and the corresponding block is free at the same time, same time, and same position as a current macroblock in the depth depth image.
  • a viewpoint image decoding method is provided.
  • the present invention also provides a demultiplexing unit for receiving a video signal including a video image and a depth image, and a correspondence in the video image corresponding to the current macroblock when the block type of the current macroblock in the depth image is an intra block.
  • Obtains prediction direction information of the current macroblock from a block obtains prediction depth information of the current macroblock from a neighboring block of the current macroblock, based on prediction direction information of the current macroblock, and obtains the prediction depth information
  • Depth image decoding unit for restoring the depth information of the current macroblock by using a block type of the corresponding block is an intra block, the corresponding block is the same point in time, the same time, the same position as the current macroblock in the depth image Providing a free-view image decoding apparatus characterized in that .
  • the present invention also provides a demultiplexing unit for receiving a video signal including a video image and a depth image, and when the block type of a current macroblock in a depth image to be coded is an interblock, the video corresponding to the current macroblock.
  • Obtains motion information of the current macroblock from a corresponding block in an image obtains depth information of a reference macroblock in a reference depth image to which the current macroblock refers, based on the motion information of the current macroblock,
  • a depth image decoder configured to restore depth information of the current macroblock using the information, wherein the block type of the corresponding block is an interblock, and the corresponding block is the same time as the current macroblock in the depth image to be coded.
  • Time-lapse free view video characterized in that the same position It provides a screen device.
  • compression efficiency may be increased by removing overlapping information by similarity between the video image and the depth image.
  • the SEI message includes image information suitable for left and right eyes, information of left and right eye viewpoints for a stereoscopic display can be efficiently obtained.
  • FIG. 1 illustrates a free view image encoding and decoding system according to the present invention.
  • FIG. 2 illustrates a structure of a free view video encoder to which the present invention is applied.
  • FIG. 3 illustrates a structure of a free view decoder according to the present invention.
  • FIG. 4 illustrates a depth image information bitstream data structure generated by a depth image encoder according to the present invention.
  • FIG. 5 illustrates a prediction structure between pictures in a multiview video image.
  • FIG. 6 illustrates that the encoding and decoding order of a multiview video image picture and a multiview depth image picture are the same in encoding and decoding of a multiview video image and a depth image.
  • FIG. 7 illustrates information of a video image that may be referred to at the same view, at the same time, and at the same location between a multiview video image and a corresponding depth image.
  • FIG. 8 illustrates a bitstream data structure to which the present invention is applied.
  • FIG 9 illustrates a process of decoding a depth image to which the present invention is applied.
  • FIG. 10 illustrates an improved structure of a free view image encoder structure to which the present invention is applied.
  • FIG. 11A illustrates a decoding method of a depth image
  • FIG. 11B illustrates an improved decoding method of a depth image to which the present invention is applied.
  • FIG. 12 illustrates a method of generating a free view image using a 3D warping method according to the present invention.
  • FIG. 13 illustrates a reference block including a first block and a second block adjacent to each other in a vertical direction in a third view image.
  • FIG. 14 illustrates a reference block including first and second blocks adjacent to each other in a horizontal direction in a third view image.
  • FIG. 16 illustrates a method of generating a virtual view image from a video view image.
  • FIG. 17 illustrates an overlap problem that may occur in view image synthesis based on a depth image.
  • 19 illustrates an embodiment of a stereo viewpoint camera parameter SEI to which the present invention is applied.
  • FIG 20 shows another embodiment of the stereo viewpoint camera parameter SEI to which the present invention is applied.
  • FIG 21 illustrates another embodiment of the stereo viewpoint camera parameter SEI to which the present invention is applied.
  • a video signal including a video image and a depth image, when the block type of the current macroblock in the depth image is an intra block, the video image corresponding to the current macroblock.
  • Free view image decoding method characterized in that the same position, The ball.
  • the prediction direction information of the current macroblock in the depth image provides the free view image decoding method, characterized in that the same as the prediction direction information of the block in the video image.
  • the method may further include generating an image of a virtual view using the depth image and the video image, wherein the generation of the virtual view includes at least one of a 3D warping method and a method using an epipolar line. It provides a free view decoding method characterized in that the use of.
  • the method further includes acquiring display information for a stereo display, wherein the display information includes at least one of viewpoint identification information and camera parameter information.
  • the display information is the viewpoint identification information.
  • the display information when at least one of the left eye and the right eye viewpoint used for the stereo display corresponds to a virtual viewpoint camera that is not an acquisition viewpoint, the display information includes the camera parameter information corresponding to the virtual viewpoint camera.
  • a free view video decoding method is provided.
  • the camera parameter information includes information indicating whether the left eye and right eye camera views are parallel, camera parameter information of either camera, and a difference between both camera parameters. to provide.
  • a video signal including a video image and a depth image is received.
  • the block type of the current macroblock in the depth image is an interblock
  • the video image corresponding to the current macroblock is provided.
  • Acquiring motion information of the current macroblock from a corresponding block within acquiring depth information of a reference macroblock in a reference depth image referenced by the current macroblock based on the motion information of the current macroblock; Restoring depth information of a current macroblock using the depth information, wherein the block type of the corresponding block is an interblock, and the corresponding block is the same time, same time, and same as the current macroblock in the depth image. It provides a free view image decoding method characterized in that the position.
  • the method may further include obtaining identification information indicating whether to acquire motion information of the corresponding block in the video image corresponding to the current macroblock, wherein the motion information of the corresponding block in the video image is included in the identification information.
  • the motion information provides at least one of a reference index (ref_idx) and a motion vector (motion vector).
  • the reference depth image when the depth image including the current macroblock is an anchor picture, the reference depth image provides a free view image decoding method characterized in that the same time zone.
  • the method may further include generating an image of a virtual view using the depth image and the video image, wherein the generation of the virtual view includes at least one of a 3D warping method and a method using an epipolar line. It provides a free view decoding method characterized in that the use of.
  • a free-view image decoding method wherein the motion information of the current macroblock in the depth image is the same as the motion information of the corresponding block in the video image.
  • the method further includes acquiring display information for a stereo display, wherein the display information includes at least one of viewpoint identification information and camera parameter information.
  • the display information is the viewpoint identification information.
  • the display information when at least one of the left eye and the right eye viewpoint used for the stereo display corresponds to a virtual viewpoint camera that is not an acquisition viewpoint, the display information includes the camera parameter information corresponding to the virtual viewpoint camera.
  • a free view video decoding method is provided.
  • the camera parameter information includes information indicating whether the left eye and right eye camera views are parallel, any one of the camera parameter information of the two cameras and the difference between the two camera parameters provides a free view image decoding method do.
  • a demultiplexing unit for receiving a video signal including a video image and a depth image, and a block type of a current macroblock in a depth image corresponds to the current macroblock.
  • a depth image decoding unit reconstructing depth information of a current macroblock using the prediction depth information, wherein the block type of the corresponding block is an intra block, and the corresponding block is the same time as the current macroblock in the depth image.
  • Free view video characterized in that the same time, the same location Provided is a decoding device.
  • the present invention provides a demultiplexer for receiving a video signal including a video image and a depth image, and the current macroblock when the block type of a current macroblock in a depth image to be currently coded is an inter block.
  • a depth image decoder configured to restore depth information of the current macroblock using the depth information, wherein the block type of the corresponding block is an interblock, and the corresponding block is a current macroblock in the depth image to be currently coded.
  • the same time, the same time, the same location Provides a freeview image decoding apparatus.
  • FIG. 1 illustrates a free view image encoding and decoding system according to the present invention.
  • the free-view video encoding and decoding system includes a free-view video encoding unit 100, a multiplexing unit 130, a demultiplexing unit 140, and a free view.
  • the view image decoder 150 is configured.
  • the free view image encoder 100 includes a video image encoder 110 and a depth image encoder 120, and the free view image decoder 150 decodes a video image.
  • the unit 160 and the depth image decoder 170 are included.
  • the video image encoder 110 encodes a multiview video image using temporal redundancy and spatial redundancy between pictures.
  • the information obtained in the encoding process of the multiview video image is used in the encoding process through the depth image encoder 120 to free it.
  • the compression efficiency of the viewpoint image may be increased.
  • the bitstreams generated by the encoders 110 and 120 receive the free-view image through the video image decoder 160 and the depth image decoder 170 using information overlapped by the similarity between the video image and the depth image. You can get it.
  • the multiplexer 130 for merging the bitstreams of the encoded video image and the depth image generated by the encoders 110 and 120 and the combined bitstream are separated and transmitted to the decoders 160 and 170.
  • the demultiplexing unit 140 may configure the system.
  • FIG. 2 illustrates a structure of a free view video encoder to which the present invention is applied.
  • the free-view image encoder structure of the present invention includes a transform unit 210, a quantization unit 215, a coding control unit 220, an inverse quantization unit 230, an inverse transform unit 235, and deblocking.
  • the filtering unit 240, the decoding picture storage unit 250, the motion estimation unit 255, the inter prediction unit 260, the intra prediction unit 270, and the entropy coding unit 280 are included.
  • the transform unit 210 converts pixel values to obtain transform coefficient values.
  • a Discrete Cosine Transform (DCT) or wavelet transform method may be used.
  • the quantization unit 215 quantizes the transform coefficient value output from the transform unit 210.
  • the coding controller 220 controls whether intra-picture predictive coding or inter-screen prediction coding of a specific block or frame is performed.
  • the inverse quantization unit 230 inversely quantizes the transform coefficient value, and the inverse transform unit 235 restores the inverse quantized transform coefficient value to the original pixel value.
  • the deblocking filtering unit 240 is applied to each coded macro block in order to reduce block distortion, and the deblocking filtered picture is stored in the decoded picture storage unit 250 for use as a reference picture.
  • the motion estimator 255 searches for the reference block most similar to the current block among the reference pictures by using the reference picture stored in the decoded picture storage unit 250, and entropy coding unit 280 uses the position information of the found reference block.
  • the inter prediction unit 260 performs prediction of the current picture by using the reference picture, and transmits the inter prediction prediction information to the entropy coding unit 280.
  • the intra prediction unit 270 performs intra prediction from the decoded pixels in the current picture, and transmits the intra encoding information to the entropy coding unit 280.
  • the entropy coding unit 280 entropy codes the quantized transform coefficients, inter picture prediction coding information, intra picture prediction coding information, and reference block information input from the motion estimation unit 260 to generate a free view image bitstream.
  • the filtering method of the deblocking filtering unit 240 which is a loop filter, the method of executing components such as adding and changing the intra prediction mode, interpolation method of the motion compensation stage, and residual transformation method, etc. Changes may be possible.
  • each decryption component is not limited to simply described in the present invention, and includes all the changes in the method that the functional purpose of the component may have without changing.
  • FIG. 3 illustrates a structure of a free view decoder according to the present invention.
  • the free-view image decoder of the present invention includes an entropy decoding unit 310, a quantization unit 320, an inverse transform unit 325, a deblocking filtering unit 330, and a decoded picture storage unit 340.
  • the inter prediction unit 350 and the intra prediction unit 360 are included.
  • the entropy decoding unit 310 entropy decodes the free view video signal bitstream to extract transform coefficients, motion vectors, and the like of each macroblock.
  • the inverse quantization unit 320 inverse quantizes the entropy decoded transform coefficient, and the inverse transform unit 325 restores the original pixel value by using the inverse quantized transform coefficient.
  • the deblocking filtering unit 330 is applied to each coded macro block to reduce block distortion.
  • the filtered picture is stored in the decoded picture storage unit 340 for output or use as a reference picture.
  • the inter-prediction unit 350 uses the reference picture stored in the decoded picture storage unit 340 and the inter-prediction information (reference picture index information, motion vector information, etc.) received from the entropy decoding unit 310 to determine the current picture. Predict.
  • the intra prediction unit 360 performs intra prediction from the decoded pixels in the current picture. The predicted current picture from the inter prediction unit or the intra prediction unit and the residual from the inverse transform unit are added to reconstruct the original picture.
  • FIG. 4 illustrates a depth image information bitstream data structure generated by a depth image encoder according to the present invention.
  • the NAL unit of the depth image may have a NAL unit structure including a NAL header and a raw byte sequence payload (RBSP).
  • RBSP raw byte sequence payload
  • the NAL header commonly includes a fixed bit (forbidden_zero_bit), a flag indicating whether it is a reference picture or not (nal_ref_idc), and an identifier indicating the type of the NAL unit (nal_unit_type), and additional information may come according to the NAL type.
  • the present invention defines a NAL type 410 representing a free view depth image and displays all VCL NAL units generated by a depth image encoder as the NAL type.
  • nal_unit_header_ftv_extention () 420 which is an additional NAL header, is additional data required for depth image decoding and includes attribute information such as inter-view picture group identification information (anchor_pic_flag), information indicating whether or not a base view is present, and view identification information (view_id). May be included.
  • inter-view picture group identification information refers to information for identifying whether a coded picture of a current NAL unit is an inter-view picture group (1).
  • the inter-view picture group means an encoded picture in which all slices refer only to slices in frames of the same time zone. For example, an encoded picture refers to only a slice at another viewpoint and no slice at the current viewpoint. In the decoding process of a multiview image, random access between views may be possible.
  • inter-view reference information is required for inter-view prediction, and inter-view picture group identification information may be used to know the inter-view reference information.
  • the inter-view picture group identification information may be used to add reference pictures for inter-view prediction when generating a reference picture list.
  • Information indicating whether or not the base view is information refers to information indicating whether a picture at the current view refers to only a picture at the current view without referring to a picture at another view (2).
  • At least one viewpoint image is required to be compatible with the H.264 / AVC decoder, and it is necessary to define viewpoints that can be independently decoded for fast random access.
  • This base view serves as a reference for encoding among multiviews, which corresponds to a reference view.
  • MVC multiview video coding
  • a video corresponding to a basic view is encoded by a conventional general video encoding method (MPEG-2, MPEG-4, H.263, H.264, etc.) to form an independent bitstream.
  • the video corresponding to the base view may or may not be compatible with H.264 / AVC.
  • view identification information (view_id) indicating a view of the picture may be used. Therefore, when the decoder is compatible with H.264 / AVC, only the information on the base view may be decoded, and the information on the remaining view may not be decoded.
  • the viewpoint identification information refers to information for distinguishing the depth image at the present viewpoint and the depth image at another viewpoint (3).
  • a picture order count (POC) and a frame number (frame_num) are used to identify each picture.
  • POC picture order count
  • frame_num frame number
  • identification information for distinguishing a picture at a current view from a picture at a different view is required. Therefore, it is necessary to define viewpoint identification information for identifying the viewpoint of the depth image.
  • the view identification information may be obtained from a header area of the video signal.
  • the header area may be an NAL header area or an extension area of the NAL header, or may be a slice header area.
  • Information about a depth image at a different point of view from the current depth image may be obtained using the view identification information, and the image signal may be decoded using information of a picture at the other view.
  • the viewpoint identification information may be applied to the entire encoding / decoding process of an image signal.
  • the frame number rule considering the viewpoint may be applied to the multi-view image coding as it is, rather than a specific viewpoint identifier.
  • the existing MVC decoder skips the depth image NAL not defined by the MVC standard among the free-view NAL units, thereby decoding the video image in the free-view video bitstream.
  • FIG. 5 illustrates a prediction structure between pictures in a multiview video image.
  • the prediction structure uses time direction prediction 510 using motion information or view direction prediction 520 using disparity information.
  • an image corresponding to a base view 530 may be encoded by a conventional general image encoding method (MPEG2, MPEG4, H.263, H.264, etc.) to form an independent bitstream.
  • the image corresponding to the reference time point may or may not be compatible with H.264 / AVC.
  • an image of a viewpoint compatible with H.264 / AVC becomes a reference viewpoint.
  • I picture does not use vector or disparity information
  • macro block of P picture has prediction direction information as intra picture prediction block or single motion or disparity information per block as inter picture prediction block
  • macro block of B picture Has prediction direction information as an intra prediction block or up to two motion or disparity information per block as an inter prediction block.
  • the encoder and decoder of a conventional multiview video image can construct a hierarchical structure between video images according to temporal, spatial, and image quality improvement goals, and use a lower layer image as a reference image when encoding and decoding. That is, the pixel value in the block of the lower layer could be used as the prediction value of the current block pixel value.
  • the video image and the depth image are images having different characteristics, and thus only the depth image is used as a reference image without reference to pixel values of the video image.
  • the prediction structure between the pictures is the same as that of the video image.
  • a GOP Group of Picture
  • the multiview depth image is encoded into one of each picture I, P, and B pictures is also the same as the multiview video image at the same time point.
  • the number of images, the reference index, and the view identification information (view_id) in the reference image list used by the multiview depth image for prediction are all the same.
  • the multi-view depth picture encoding and decoding picture order in the present invention is the same as that of the multi-view video picture.
  • FIG. 6 illustrates that the encoding and decoding order of a multiview video image picture and a multiview depth image picture are the same in encoding and decoding of a multiview video image and a depth image.
  • the video image and the depth image acquired at the same time and at the same time point have different information such as distribution, complexity, and boundary of pixel values in the image.
  • the intra block prediction mode based on the similarity between pixels in a picture, motion information and reference image information in time direction prediction, disparity information and reference image information in view direction prediction, and the like have similarities.
  • the present invention increases compression efficiency by removing the overlapping similarity information such as intra block prediction mode, motion compensation information, and disparity compensation information based on the similarity between reference video images or neighboring blocks in compressing a depth image. Let's do it.
  • FIG. 7 illustrates information of a video image that may be referred to at the same view, at the same time, and at the same location between a multiview video image and a corresponding depth image.
  • the prediction direction information of the corresponding block 720 in the video image corresponding to the current block 710 is used as the prediction direction information of the current block.
  • the block type of the corresponding block 720 is an intra block.
  • prediction depth information of the current block 710 may be obtained from a neighboring block of the current block 710, and through this, the depth information of the current block may be restored.
  • motion information of the corresponding block 740 in the video image corresponding to the current block 730 may be stored in the current block ( 730).
  • the block type of the corresponding block 740 is an inter block, and the motion information includes an index of a reference video image, a motion vector, and the like.
  • the corresponding block may be the same view, same time, and co-located block as the current macroblock in the depth image, and may be a different view and co-located block from the current macroblock in the depth image. Can be.
  • the corresponding block may be a neighboring block of the same location block as the current macroblock in the depth image, or may be a block referenced by the same location block.
  • FIG. 8 illustrates a bitstream data structure to which the present invention is applied.
  • the block of the depth image is adaptively adapted according to the block type of the corresponding block in the video image.
  • Determine the type That is, if the corresponding block in the video image is of an intra block type, it is processed as an intra block having the same intra prediction mode. If the corresponding block in the video image is of the inter block type, the block is processed as an inter block having the same motion information. If the identifier indicates that the mode does not use the information of the video image, the block type information and the like are transmitted after the same as the existing block.
  • FIG. 9 illustrates a process of decoding a depth image to which the present invention is applied.
  • a video signal including a video image and a depth image is received (S910).
  • the depth image is coded using a block of the video image. According to the check result, it may be determined whether to use a block of the video image to decode the depth image.
  • the block type of the current macroblock in the depth image to be currently coded is an intra block or an inter block (S930). According to the block type, it is determined whether to use prediction direction information or motion information of the video image corresponding to decoding the depth image.
  • prediction direction information of a corresponding block in which the block type in the video image corresponding to the current macroblock is an intra block is obtained (S940).
  • prediction depth information of the current macroblock is obtained from a neighboring block of the current macroblock (S950). The depth information of the current macroblock is restored using the prediction depth information (S960).
  • motion information of a corresponding block whose block type in the video image corresponding to the current macroblock is an inter block is obtained (S970).
  • depth information of a reference macroblock in a reference depth image referenced by the current macroblock is obtained (S980).
  • the depth information of the current macroblock is restored using the depth information (S990).
  • FIG. 10 illustrates an improved structure of a free view image encoder structure to which the present invention is applied. That is, the motion information storage means 1010 is added to the free view image encoder structure of the present invention shown in FIG.
  • the motion information storage unit 1010 stores motion information generated during the encoding process 1020 of the video image, which is used as one of the motion information referenced when performing motion prediction / motion compensation of the depth image.
  • FIG. 11A illustrates a decoding method of a depth image
  • FIG. 11B illustrates an improved decoding method of a depth image to which the present invention is applied.
  • 11A illustrates a structure in which inter-screen prediction is performed between video images.
  • the correlation between the video image and the depth image is not utilized at all, and thus, compression efficiency is likely to decrease.
  • FIG. 11B can increase the compression efficiency by using the motion information of the video image in decoding the depth image. That is, the depth image encoder performs motion prediction between the depth image frame to be encoded and the reference depth image frame to derive a motion vector having a minimum error, and simultaneously extracts a motion vector of the block in the video image corresponding to the depth image frame to be encoded.
  • An error value is obtained by applying a motion vector to a block of a current depth image frame.
  • the block motion vector of the current depth image frame is determined by the block motion vector of the corresponding video image frame.
  • it may be easily implemented by transmitting an identifier such as 'copy_mv_from_visual' indicating that the current block of the depth image frame uses the block motion vector of the corresponding video image frame.
  • FIG. 12 illustrates a method of generating a free view image using a 3D warping method according to the present invention.
  • MVC which compresses a multiview image
  • transmits images for a predetermined point in time in the case of 3DTV for stereo display, a smaller number of points of view are transmitted and then the images are transmitted by synthesizing.
  • the video data to be reduced can be reduced.
  • a 3D warping method is used to generate a third view image based on the first view image 1201 and the second view image 1202.
  • the first viewpoint modified image 1204 and the second viewpoint modified image 1203 are generated, respectively, and the third viewpoint image may be finally generated using the first viewpoint modified image 1204.
  • an area not filled in the third view image 1205 is defined as a hole and used. In order to correct the free view image, the following method may be used.
  • a reference block in the third view image generated based on the first view image and the second view image, includes a first block in which a hole is generated and a second block adjacent to the first block and in which no hole is generated.
  • the detected reference block is compared with at least one predetermined block of the first viewpoint image and the second viewpoint image, and the first block in the reference block is corrected using a block adjacent to the predetermined block.
  • FIG. 13 illustrates a reference block 1302 including a first block 1303 and a second block 1304 adjacent to each other in the vertical direction in the third view image 1301.
  • the second block 1304 may be adjacent to the upper portion of the first block 1303.
  • the first block 1303 and the second block 1304 may be 4x4 blocks, but are not limited thereto.
  • FIG. 14 illustrates a reference block 1402 including a first block 1403 and a second block 1404 adjacent to each other in a horizontal direction in the third view image 1401.
  • the second block 1404 is adjacent to the right side of the first block 1403, but the second block 1404 may be adjacent to the left side of the first block 1403.
  • the first block 1403 and the second block 1404 may be 4x4 blocks, but are not limited thereto.
  • the reference blocks 1302 and 1402 may be compared with at least one predetermined block of the first view image and the second view image, and the holes may be filled in such a manner as to replace the first block.
  • At least one of an average value of a depth image of a second block having no holes formed therein and at least one predetermined block among the first view image and the second view image, an average value of the video image, and a dispersion value of the video image is compared and it is determined whether the difference is less than or equal to a predetermined value.
  • the block adjacent to the predetermined block is replaced with the first block to fill the hole.
  • a block whose average value difference is less than or equal to a predetermined value is detected.
  • the average value of the video image of the detected block is compared with the variance value of the video image. If each difference is less than a predetermined value, it is selected as a matching block.
  • the block replaced with the first block is preferably a block at a position corresponding to the second block.
  • the reason why the variance value of the video image is used as a comparison criterion is that in the case of the depth image, the change in the value is not so large that a desired result can be obtained only by comparing the average value. Because the change can be large, the average and variance values must be compared to find the correct matching block.
  • the hole filling by the above-described reference block detection, comparison with a predetermined block, replacement with a predetermined block, or the like is performed in the outward direction at the center of the third viewpoint image 1501.
  • FIG. 15 It is preferably performed in the order of (1)-> (2)-> (3)-> (4) based on the horizontal line 1502 and the vertical line 1503 of.
  • the reason why the third viewpoint image 1501 is performed in the outward direction is that since the holes exist around the edges, it is more accurate to fill the holes from the smaller portions to the larger portions. Because.
  • the hole filling may be performed before the vertical direction is horizontal. Due to the value of the depth image being changed in the vertical direction or the like, a lot of holes tend to occur in the vertical direction.
  • hole filling is preferably performed first in the vertical direction.
  • the hole filling may be performed in the horizontal direction.
  • the hole filling in the reference block of the third viewpoint image may be completed using blocks derived in the first viewpoint image and the second viewpoint image, respectively.
  • FIG. 16 illustrates a method of generating a virtual viewpoint image from a video viewpoint image.
  • the first viewpoint image 1601 and the second viewpoint image 1602 are aligned based on the epipolar line 1615 to generate the first viewpoint modified image 1603 and the second viewpoint modified image 1605.
  • the third view image 1604 is finally generated using the same.
  • the first viewpoint modified image 1603 and the first viewpoint image for fitting the epipolar line are captured.
  • the third view image 1604 may be generated immediately without generating the two view modified image 1605.
  • the present invention illustrates a method of synthesizing a free-view image through a 3D warping method, but is not limited thereto.
  • FIG. 17 illustrates an overlap problem that may occur in view image synthesis based on a depth image.
  • A can see only one of the two squares, but the other position B indicates that both can see the square.
  • This occlusion problem is compensated for by using the surrounding data such as the hole filling technique in view image synthesis.
  • the performance of view image synthesis may be improved by using occlusion data.
  • FIG. 18 illustrates an acquisition time point and a stereo pair of a free view TV.
  • the number of acquisition views of the free view TV is 1, the number of views is shorter than that of the stereo views, and thus, at least one virtual view has to be synthesized.
  • the number of acquisition points of the free view TV is 2, for example, when a baseline, which is a camera interval between acquisition points, is large, a virtual view point between two acquisition points rather than two acquisition points as shown in FIG. 18B.
  • the pair may be more suitable for a stereo display.
  • acquisition point pair information suitable for stereo display among acquisition points is required as shown in FIG.
  • the pair may be more suitable for a stereo display.
  • FIG. 19 illustrates an embodiment of a stereo viewpoint camera parameter SEI to which the present invention is applied.
  • the stereo left eye and right eye viewpoints are acquisition point camera pairs
  • view_id view identification information
  • viewpoint identification information 1920 suitable for right eye.
  • the virtual view not the acquisition time, is a left eye or a right eye suitable for a stereo display, a method of transferring camera parameters may be considered.
  • FIG. 20 shows another embodiment of the stereo viewpoint camera parameter SEI to which the present invention is applied.
  • the two camera parameters are transmitted (2010), and one of the two camera information to be transmitted should be a parameter for a stereo left eye camera view and another camera for a right eye camera view.
  • Embodiments of the present invention have been described based on multiview acquisition information SEI message syntax of MVC, which is a compression standard of multiview images, but other camera parameter expression methods may be applied.
  • FIG. 21 illustrates another embodiment of the stereo viewpoint camera parameter SEI to which the present invention is applied.
  • the extrinsic camera parameters of the right eye camera are all the same as the left eye camera parameters except for the translation vector x.
  • SEI message as shown in FIG. 21 is also possible.
  • the free view image decoding method and apparatus to which the present invention is applied may be provided in a multimedia broadcasting transmission / reception apparatus and used to decode the free view image.
  • preferred embodiments of the present invention are disclosed for the purpose of illustration, and those skilled in the art can improve and change various other embodiments within the spirit and technical scope of the present invention disclosed in the appended claims below. , Replacement or addition would be possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 영상을 이용하여 뎁스 영상(depth image)을 복호화할 수 있는 자유시점(Free viewpoint) 영상의 복호화 방법 및 장치에 관한 것으로서, 비디오 영상과 뎁스 영상을 포함하는 비디오 신호를 수신하는 단계; 뎁스 영상 내 현재 매크로블록의 블록타입이 인트라 블록일 때, 상기 현재 매크로블록에 대응되는 상기 비디오 영상 내의 대응 블록으로부터 상기 현재 매크로블록의 예측 방향 정보를 획득하는 단계; 상기 현재 매크로블록의 예측 방향 정보에 기초하여, 상기 현재 매크로블록의 이웃 블록으로부터 상기 현재 매크로블록의 예측 뎁스 정보를 획득하는 단계; 및 상기 예측 뎁스 정보를 이용하여 현재 매크로블록의 뎁스 정보를 복원하는 단계를 포함하되, 상기 대응 블록의 블록 타입은 인트라 블록이고, 상기 대응 블록은 상기 뎁스 영상 내 현재 매크로블록과 동일 시점, 동일 시간, 동일 위치인 것을 특징으로 한다. 본 발명에 따르면, 비디오 영상과 뎁스 영상을 포함하는 자유시점 영상에 있어서, 비디오 영상과 뎁스 영상 간 유사성에 의해 중복되는 정보를 제거하여 압축 효율을 증가시킬 수 있다.

Description

자유시점 영상 복호화 방법 및 장치
본 발명은 자유시점(free viewpoint) 영상 복호화 방법 및 장치에 관한 것으로, 더욱 상세하게는, 비디오 영상을 이용하여 뎁스 영상을 복호화할 수 있는 자유시점 영상의 복호화 방법 및 장치에 관한 것이다.
3차원 입체 TV 방송은 양안 시차에 근거한 스테레오 방식, 여러 위치에서 획득한 영상인 다시점 영상 (Multiview Image) 방식, 다시점 영상과 뎁스 영상(Depth image)으로 구성된 자유시점 TV(Free viewpoint TV; FTV) 방식 등이 있다.
기존의 표준 규격 중 MPEG-2 다시점 프로파일 (Multiview Profile)은 템포럴 스캐일러빌리티(Temporal scalability)를 응용하여 3차원 입체 TV 방송을 부호화/복호화한다. 이 표준 규격은 시차(Disparity) 예측 방법을 도입하여 스테레오 동영상에 적합하도록 되어 있으나, 시점수가 많은 다시점 영상에 대한 부호화/복호화 방법은 제시하지 않고 있다.
다시점 영상을 압축하는 MVC(Multiview Video Coding)는 전송해야 할 영상 데이터가 많아 대역폭의 증가가 필연적으로 요구되며, 시청자가 3D 영상을 볼 수 있는 시점 위치가 한정된다.
본 발명은 자유시점 영상의 복호화 방법 및 장치를 제안하는 데 그 목적을 두고 있으며, 더욱 상세하게는 기존 다시점 영상 복호화 방법에 상응하는 자유시점 영상 복호화 방법 및 장치를 제안하는 데 그 목적을 두고 있다.
또한, 본 발명은 자유시점 TV에서의 스테레오 디스플레이를 위한 최적화된 좌, 우안의 카메라 정보를 담고 있는 SEI(Supplemental Enhancement Information) 메시지를 제안하는데 그 목적을 두고 있다.
상기 목적을 달성하기 위한 본 발명은, 비디오 영상과 뎁스 영상을 포함하는 비디오 신호를 수신하는 단계, 뎁스 영상 내 현재 매크로블록의 블록타입이 인트라 블록일 때, 상기 현재 매크로블록에 대응되는 상기 비디오 영상 내의 대응 블록으로부터 상기 현재 매크로블록의 예측 방향 정보를 획득하는 단계, 상기 현재 매크로블록의 예측 방향 정보에 기초하여, 상기 현재 매크로블록의 이웃 블록으로부터 상기 현재 매크로블록의 예측 뎁스 정보를 획득하는 단계, 및 상기 예측 뎁스 정보를 이용하여 현재 매크로블록의 뎁스 정보를 복원하는 단계를 포함하되, 상기 대응 블록의 블록 타입은 인트라 블록이고, 상기 대응 블록은 상기 뎁스 영상 내 현재 매크로블록과 동일 시점, 동일 시간, 동일 위치인 것을 특징으로 하는 자유시점 영상 복호화 방법을 제공한다.
또한, 비디오 영상과 뎁스 영상을 포함하는 비디오 신호를 수신하는 단계, 뎁스 영상 내 현재 매크로블록의 블록타입이 인터 블록일 때, 상기 현재 매크로블록에 대응되는 상기 비디오 영상 내의 대응 블록으로부터 상기 현재 매크로블록의 움직임 정보를 획득하는 단계, 상기 현재 매크로블록의 움직임 정보에 기초하여, 상기 현재 매크로블록이 참조하는 참조 뎁스 영상 내의 참조 매크로블록의 뎁스 정보를 획득하는 단계, 및 상기 뎁스 정보를 이용하여 현재 매크로블록의 뎁스 정보를 복원하는 단계를 포함하되, 상기 대응 블록의 블록 타입은 인터 블록이고, 상기 대응 블록은 상기 뎁스 뎁스 영상 내 현재 매크로블록과 동일 시점, 동일 시간, 동일 위치인 것을 특징으로 하는 자유시점 영상 복호화 방법을 제공한다.
또한, 본 발명은 비디오 영상과 뎁스 영상을 포함하는 비디오 신호를 수신하는 디멀티플렉싱부, 및 뎁스 영상 내 현재 매크로블록의 블록타입이 인트라 블록일 때, 상기 현재 매크로블록에 대응되는 상기 비디오 영상 내의 대응 블록으로부터 상기 현재 매크로블록의 예측 방향 정보를 획득하고, 상기 현재 매크로블록의 예측 방향 정보에 기초하여, 상기 현재 매크로블록의 이웃 블록으로부터 상기 현재 매크로블록의 예측 뎁스 정보를 획득하고, 상기 예측 뎁스 정보를 이용하여 현재 매크로블록의 뎁스 정보를 복원하는 뎁스 영상 디코딩부를 포함하되, 상기 대응 블록의 블록 타입은 인트라 블록이고, 상기 대응 블록은 상기 뎁스 영상 내 현재 매크로블록과 동일 시점, 동일 시간, 동일 위치인 것을 특징으로 하는 자유시점 영상 복호화 장치를 제공한다.
또한, 본 발명은 비디오 영상과 뎁스 영상을 포함하는 비디오 신호를 수신하는 디멀티플렉싱부, 및 현재 코딩하려는 뎁스 영상 내 현재 매크로블록의 블록타입이 인터 블록일 때, 상기 현재 매크로블록에 대응되는 상기 비디오 영상 내의 대응 블록으로부터 상기 현재 매크로블록의 움직임 정보를 획득하고, 상기 현재 매크로블록의 움직임 정보에 기초하여, 상기 현재 매크로블록이 참조하는 참조 뎁스 영상 내의 참조 매크로블록의 뎁스 정보를 획득하고, 상기 뎁스 정보를 이용하여 현재 매크로블록의 뎁스 정보를 복원하는 뎁스 영상 복호화부를 포함하되, 상기 대응 블록의 블록 타입은 인터 블록이고, 상기 대응 블록은 상기 현재 코딩하려는 뎁스 영상 내 현재 매크로블록과 동일 시점, 동일 시간, 동일 위치인 것을 특징으로 하는 자유시점 영상 복호화 장치를 제공한다.
본 발명에 따르면, 비디오 영상과 뎁스 영상을 포함하는 자유시점 영상에 있어서, 비디오 영상과 뎁스 영상 간 유사성에 의해 중복되는 정보를 제거하여 압축 효율을 증가시킬 수 있다.
또한, 본 발명에 따르면, 상기 SEI 메시지가 좌안, 우안에 적합한 영상 정보를 포함함으로써, 스테레오스코픽 디스플레이(stereoscopic display)를 위한 좌안, 우안 시점의 정보를 효율적으로 획득할 수 있다.
도 1은 본 발명을 적용한 자유시점 영상 부호화 및 복호화 시스템을 도시한 것이다.
도 2는 본 발명을 적용한 자유시점 영상 부호화기 구조를 도시한 것이다.
도 3은 본 발명을 적용한 자유시점 영상 복호화기 구조를 도시한 것이다.
도 4는 본 발명을 적용한 뎁스 영상 부호화부로 생성한 뎁스 영상 정보 비트스트림 데이터 구조를 도시한 것이다.
도 5는 다시점 비디오 영상에 있어서, 픽쳐들 간의 예측 구조를 도시한 것이다.
도 6은 다시점 비디오 영상과 뎁스 영상의 부호화 및 복호화에서 다시점 비디오 영상 픽쳐, 다시점 뎁스 영상 픽쳐의 부호화 및 복호화 순서가 동일함을 도시한 것이다.
도 7은 다시점 비디오 영상과 대응하는 뎁스 영상 간 동일 시점, 동일 시간, 동일 위치의 블록에서 참조할 수 있는 비디오 영상의 정보를 도시한 것이다.
도 8은 본 발명을 적용한 비트스트림 데이터 구조를 도시한 것이다.
도 9는 본 발명을 적용한 뎁스 영상의 복호화를 수행하는 과정을 도시한 것이다.
도 10은 본 발명을 적용한 자유시점 영상 부호화기 구조의 개량된 구조를 도시한 것이다.
도 11a는 뎁스 영상의 복호화 방법을 도시한 것이고, 도 11b는 본 발명을 적용한 개선된 뎁스 영상의 복호화 방법을 도시한 것이다.
도 12는 본 발명을 적용한 3D 워핑(warping) 방법을 통한 자유시점 영상의 생성 방법을 도시한 것이다.
도 13은 제3 시점 영상 내에 수직방향으로 서로 인접하는 제1 블록 및 제2 블록을 포함하는 기준 블록을 도시한 것이다.
도 14는 제3 시점 영상 내에 수평방향으로 서로 인접하는 제1 블록 및 제2 블록을 포함하는 기준 블록을 도시한 것이다.
도 15는 홀 채우기 과정을 도시한 것이다.
도 16은 비디오 시점 영상으로부터 가상 시점 영상을 생성하는 방법을 설명하기 위하여 도시한 것이다.
도 17은 뎁스 영상에 기반한 시점 영상 합성에 있어서 나타날 수 있는 겹침(occlusion) 문제를 도시한 것이다.
도 18은 자유시점 TV의 획득 시점과 스테레오 페어를 도시한 것이다.
도 19는 본 발명을 적용한 스테레오 시점 카메라 파라메터 SEI의 실시예를 도시한 것이다.
도 20은 본 발명을 적용한 스테레오 시점 카메라 파라메터 SEI의 또다른 실시예를 도시한 것이다.
도 21은 본 발명을 적용한 스테레오 시점 카메라 파라메터 SEI의 또다른 실시예를 도시한 것이다.
상기 목적을 달성하기 위한 본 발명은, 비디오 영상과 뎁스 영상을 포함하는 비디오 신호를 수신하는 단계, 뎁스 영상 내 현재 매크로블록의 블록타입이 인트라 블록일 때, 상기 현재 매크로블록에 대응되는 상기 비디오 영상 내의 대응 블록으로부터 상기 현재 매크로블록의 예측 방향 정보를 획득하는 단계, 상기 현재 매크로블록의 예측 방향 정보에 기초하여, 상기 현재 매크로블록의 이웃 블록으로부터 상기 현재 매크로블록의 예측 뎁스 정보를 획득하는 단계, 및 상기 예측 뎁스 정보를 이용하여 현재 매크로블록의 뎁스 정보를 복원하는 단계를 포함하되, 상기 대응 블록의 블록 타입은 인트라 블록이고, 상기 대응 블록은 상기 뎁스 영상 내 현재 매크로블록과 동일 시점, 동일 시간, 동일 위치인 것을 특징으로 하는 자유시점 영상 복호화 방법을 제공한다.
본 발명에 의하면, 상기 뎁스 영상 내 현재 매크로블록의 예측 방향 정보는 대응되는 상기 비디오 영상 내의 블록의 예측 방향 정보와 동일한 것을 특징으로 하는 자유시점 영상 복호화 방법을 제공한다.
본 발명에 의하면, 상기 뎁스 영상과 상기 비디오 영상을 이용하여 가상 시점의 영상을 생성하는 단계를 더 포함하되, 상기 가상 시점의 생성은 3D 워핑(warping) 방법, 에피폴라 라인을 이용하는 방법 중 적어도 하나를 이용하는 것을 특징으로 하는 자유시점 영상 복호화 방법을 제공한다.
본 발명에 의하면, 스테레오 디스플레이를 위한 디스플레이 정보를 획득하는 단계를 더 포함하되, 상기 디스플레이 정보는 시점 식별 정보와 카메라 파라메터 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 자유시점 영상 복호화 방법을 제공한다.
본 발명에 의하면, 스테레오 디스플레이에 사용되는 좌안, 우안 시점이 획득 시점 카메라에 해당하는 경우에, 상기 디스플레이 정보는 상기 시점 식별 정보인 것을 특징으로 하는 자유시점 영상 복호화 방법을 제공한다.
본 발명에 의하면, 스테레오 디스플레이에 사용되는 좌안, 우안 시점 중 적어도 하나가 획득 시점이 아닌 가상 시점 카메라에 해당하는 경우에, 상기 디스플레이 정보는 상기 가상 시점 카메라에 대응되는 상기 카메라 파라메터 정보를 포함하는 것을 특징으로 하는 자유시점 영상 복호화 방법을 제공한다.
본 발명에 의하면, 상기 카메라 파라메터 정보는 좌안과 우안 카메라 시점이 평행한지를 나타내는 정보, 양 카메라 중 어느 하나의 카메라 파라메터 정보 및 양 카메라 파라메터 차이값을 포함하는 것을 특징으로 하는 자유시점 영상 복호화 방법을 제공한다.
상기 목적을 달성하기 위한 본 발명은, 비디오 영상과 뎁스 영상을 포함하는 비디오 신호를 수신하는 단계, 뎁스 영상 내 현재 매크로블록의 블록타입이 인터 블록일 때, 상기 현재 매크로블록에 대응되는 상기 비디오 영상 내의 대응 블록으로부터 상기 현재 매크로블록의 움직임 정보를 획득하는 단계, 상기 현재 매크로블록의 움직임 정보에 기초하여, 상기 현재 매크로블록이 참조하는 참조 뎁스 영상 내의 참조 매크로블록의 뎁스 정보를 획득하는 단계, 및 상기 뎁스 정보를 이용하여 현재 매크로블록의 뎁스 정보를 복원하는 단계를 포함하되, 상기 대응 블록의 블록 타입은 인터 블록이고, 상기 대응 블록은 상기 뎁스 영상 내 현재 매크로블록과 동일 시점, 동일 시간, 동일 위치인 것을 특징으로 하는 자유시점 영상 복호화 방법을 제공한다.
본 발명에 의하면, 상기 현재 매크로블록에 대응되는 상기 비디오 영상 내의 대응 블록의 움직임 정보를 획득할지를 가리키는 식별 정보를 획득하는 단계를 더 포함하되, 상기 비디오 영상 내의 대응 블록의 움직임 정보는 상기 식별 정보에 기초하여 획득되고, 상기 움직임 정보는 참조 인덱스(ref_idx)와 움직임 벡터(motion vector) 중 적어도 하나를 포함하는 것을 특징으로 하는 자유시점 영상 복호화 방법을 제공한다.
본 발명에 의하면, 현재 매크로블록을 포함하는 뎁스 영상이 앵커 픽쳐인 경우, 상기 참조 뎁스 영상은 동일한 시간대에 있는 것을 특징으로 하는 자유시점 영상 복호화 방법을 제공한다.
본 발명에 의하면, 상기 뎁스 영상과 상기 비디오 영상을 이용하여 가상 시점의 영상을 생성하는 단계를 더 포함하되, 상기 가상 시점의 생성은 3D 워핑(warping) 방법, 에피폴라 라인을 이용하는 방법 중 적어도 하나를 이용하는 것을 특징으로 하는 자유시점 영상 복호화 방법을 제공한다.
본 발명에 의하면, 상기 뎁스 영상 내 현재 매크로블록의 움직임 정보는 상기 비디오 영상 내의 대응 블록의 움직임 정보와 동일한 것을 특징으로 하는 자유시점 영상 복호화 방법을 제공한다.
본 발명에 의하면, 스테레오 디스플레이를 위한 디스플레이 정보를 획득하는 단계를 더 포함하되, 상기 디스플레이 정보는 시점 식별 정보와 카메라 파라메터 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 자유시점 영상 복호화 방법을 제공한다.
본 발명에 의하면, 스테레오 디스플레이에 사용되는 좌안, 우안 시점이 획득 시점 카메라에 해당하는 경우에, 상기 디스플레이 정보는 상기 시점 식별 정보인 것을 특징으로 하는 자유시점 영상 복호화 방법을 제공한다.
본 발명에 의하면, 스테레오 디스플레이에 사용되는 좌안, 우안 시점 중 적어도 하나가 획득 시점이 아닌 가상 시점 카메라에 해당하는 경우에, 상기 디스플레이 정보는 상기 가상 시점 카메라에 대응되는 상기 카메라 파라메터 정보를 포함하는 것을 특징으로 하는 자유시점 영상 복호화 방법을 제공한다.
본 발명에 의하면, 상기 카메라 파라메터 정보는 좌안과 우안 카메라 시점이 평행한지를 나타내는 정보, 양 카메라 중 어느 하나의 카메라 파라메터 정보 및 양 카메라 파라메터 차이값를 포함하는 것을 특징으로 하는 자유시점 영상 복호화 방법을 제공한다.
상기 목적을 달성하기 위한 본 발명은, 비디오 영상과 뎁스 영상을 포함하는 비디오 신호를 수신하는 디멀티플렉싱부, 및 뎁스 영상 내 현재 매크로블록의 블록타입이 인트라 블록일 때, 상기 현재 매크로블록에 대응되는 상기 비디오 영상 내의 대응 블록으로부터 상기 현재 매크로블록의 예측 방향 정보를 획득하고, 상기 현재 매크로블록의 예측 방향 정보에 기초하여, 상기 현재 매크로블록의 이웃 블록으로부터 상기 현재 매크로블록의 예측 뎁스 정보를 획득하고, 상기 예측 뎁스 정보를 이용하여 현재 매크로블록의 뎁스 정보를 복원하는 뎁스 영상 디코딩부를 포함하되, 상기 대응 블록의 블록 타입은 인트라 블록이고, 상기 대응 블록은 상기 뎁스 영상 내 현재 매크로블록과 동일 시점, 동일 시간, 동일 위치인 것을 특징으로 하는 자유시점 영상 복호화 장치를 제공한다.
상기 목적을 달성하기 위한 본 발명은, 비디오 영상과 뎁스 영상을 포함하는 비디오 신호를 수신하는 디멀티플렉싱부, 및 현재 코딩하려는 뎁스 영상 내 현재 매크로블록의 블록타입이 인터 블록일 때, 상기 현재 매크로블록에 대응되는 상기 비디오 영상 내의 대응 블록으로부터 상기 현재 매크로블록의 움직임 정보를 획득하고, 상기 현재 매크로블록의 움직임 정보에 기초하여, 상기 현재 매크로블록이 참조하는 참조 뎁스 영상 내의 참조 매크로블록의 뎁스 정보를 획득하고, 상기 뎁스 정보를 이용하여 현재 매크로블록의 뎁스 정보를 복원하는 뎁스 영상 복호화부를 포함하되, 상기 대응 블록의 블록 타입은 인터 블록이고, 상기 대응 블록은 상기 현재 코딩하려는 뎁스 영상 내 현재 매크로블록과 동일 시점, 동일 시간, 동일 위치인 것을 특징으로 하는 자유시점 영상 복호화 장치를 제공한다.
이하에서는 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명을 적용한 자유시점 영상 부호화 및 복호화 시스템을 도시한 것이다.
도 1에 도시된 바와 같이, 본 발명을 적용한 자유시점 영상 부호화 및 복호화 시스템은, 자유시점 영상 부호화부(100), 멀티플렉싱부(130, multiplexing unit), 디멀티플렉싱부(140, demultiplexing unit) 및 자유시점 영상 복호화부(150)를 포함하여 구성된다.
상기 자유시점 영상 부호화부(100)는 비디오 영상(video image) 부호화부(110) 및 뎁스 영상(depth image) 부호화부(120)를 포함하며, 상기 자유시점 영상 복호화부(150)는 비디오 영상 복호화부(160) 및 뎁스 영상 복호화부(170)를 포함한다.
상기 비디오 영상 부호화부(110)는 다시점 비디오 영상을 픽쳐들간의 시간적 중복성, 공간적 중복성을 이용하여 부호화한다. 자유시점 영상에 있어서, 다시점 비디오 영상과 다시점 뎁스 영상은 유사성을 가질 수 있으므로, 상기 다시점 비디오 영상의 부호화 과정에서 구한 정보를 뎁스 영상 부호화부(120)를 통해 부호화하는 과정에 이용함으로써 자유시점 영상의 압축 효율을 증가시킬 수 있다.
상기 부호화부(110, 120)에 의해 생성된 비트스트림은 비디오 영상 복호화부(160) 및 비디오 영상과 뎁스 영상 간 유사성에 의해 중복되는 정보를 이용하는 뎁스 영상 복호화부(170)를 통해 자유시점 영상을 얻을 수 있다.
또한, 상기 부호화부(110, 120)에서 생성된 부호화된 비디오 영상과 뎁스 영상의 비트스트림을 합치기 위한 멀티플렉싱부(130) 및 상기 합쳐진 비트스트림을 분리하여 상기 복호화부(160, 170)에 전달하기 위한 디멀티플렉싱부(140)가 상기 시스템을 구성할 수 있다.
도 2는 본 발명을 적용한 자유시점 영상 부호화기 구조를 도시한 것이다.
도 2에 도시된 바와 같이, 본 발명의 자유시점 영상 부호화기 구조는 변환부(210), 양자화부(215), 코딩 제어부(220), 역양자화부(230), 역변환부(235), 디블록킹 필터링부(240), 복호픽쳐저장부(250), 움직임 추정부(255), 화면간 예측부(260), 화면내 예측부(270), 및 엔트로피 코딩부(280)를 포함한다.
변환부(210)는 화소값을 변환하여 변환 계수값을 획득하며, 이 경우 이산 코사인 변환(DCT; Discrete Cosine Transform) 또는 웨이블릿 변환 방식이 사용될 수 있다. 양자화부(215)는 변환부(210)에서 출력된 변환 계수값을 양자화한다. 코딩 제어부(220)는 특정 블록 또는 프레임을 화면내 예측 부호화할 것인지, 화면간 예측 부호화할 것인지를 제어한다. 역양자화부(230)는 변환 계수값을 역양자화하고, 역변환부(235)는 역양자화된 변환 계수값을 원래의 화소값으로 복원한다. 디블록킹 필터링부(240)는 블록 왜곡 현상을 감소시키기 위하여 각각의 코딩된 매크로 블록에 적용하며, 디블록킹 필터링을 거친 픽쳐는 참조 픽쳐로 이용하기 위해 복호픽쳐저장부(250)에 저장된다. 움직임 추정부(255)는 복호픽쳐저장부(250)에 저장된 참조 픽쳐를 이용하여 참조 픽쳐 중에서 현재 블록과 가장 유사한 참조 블록을 탐색하고, 탐색된 참조 블록의 위치 정보 등을 엔트로피 코딩부(280)로 전달한다. 화면간 예측부(260)는 참조 픽쳐를 이용하여 현재 픽쳐의 예측을 수행하고, 화면간 예측 부호화정보를 엔트로피 코딩부(280)에 전달한다. 화면내 예측부(270)는 현재 픽쳐내의 디코딩된 픽셀로부터 화면내 예측을 수행하며, 화면내 부호화정보를 엔트로피 코딩부(280)에 전달한다. 엔트로피 코딩부(280)는 양자화된 변환 계수, 화면간 예측 부호화 정보, 화면내 예측 부호화 정보 및 움직임 추정부(260)로부터 입력된 참조 블록 정보 등을 엔트로피 코딩하여 자유시점 영상 비트스트림을 생성한다.
다만, 뎁스 영상의 특성에 근거하여 루프 필터인 디블록킹 필터링부(240)의 필터링 방법이나, 화면내 예측 모드 추가와 변경, 움직임 보상 단의 보간 방법, 레지듀얼 변환 방법 등의 구성 요소의 실행 방법 변경이 가능할 수 있다.
여기에서 각 복호화 구성 요소의 변경은 본 발명에서 간단히 설명하는 바에 한하지 않고 구성 요소의 기능 목적은 변하지 않으면서 가질 수 있는 방법의 변경을 모두 포함한다.
도 3은 본 발명을 적용한 자유시점 영상 복호화기 구조를 도시한 것이다.
도 3에 도시된 바와 같이, 본 발명의 자유시점 영상 복호화기는 엔트로피 디코딩부(310), 양자화부(320), 역변환부(325), 디블록킹 필터링부(330), 복호픽쳐저장부(340), 화면간 예측부(350), 화면내 예측부(360)를 포함한다.
엔트로피 디코딩부(310)는 자유시점 영상 신호 비트스트림을 엔트로피 디코딩하여 각 매크로블록의 변환 계수, 움직임 벡터 등을 추출한다. 역양자화부(320)는 엔트로피 디코딩된 변환 계수를 역양자화하고, 역변환부(325)는 역양자화된 변환 계수를 이용하여 원래의 화소값을 복원한다. 디블록킹 필터링부(330)는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 매크로 블록에 적용된다. 필터링을 거친 픽쳐는 출력되거나 참조 픽쳐로 이용하기 위해 복호픽쳐저장부(340)에 저장된다. 화면간 예측부(350)는 복호픽쳐저장부(340)에 저장된 참조 픽쳐와 엔트로피 디코딩부(310)로부터 전달받은 화면간 예측 정보(참조 픽쳐 인덱스 정보, 움직임 벡터 정보 등)를 이용하여 현재 픽쳐를 예측한다. 화면내 예측부(360)는 현재 픽쳐 내의 디코딩된 픽셀로부터 화면내 예측을 수행한다. 화면간 예측부 또는 화면내 예측부로부터 나온 예측된 현재 픽쳐와 역변환부로부터 나온 레지듀얼이 더해져서 원래 픽쳐를 복원한다.
도 4는 본 발명을 적용한 뎁스 영상 부호화부로 생성한 뎁스 영상 정보 비트스트림 데이터 구조를 도시한 것이다.
도 4에 도시된 바와 같이, 뎁스 영상의 NAL 단위는 NAL 헤더와 RBSP(Raw Byte Sequence Payload)를 포함한 NAL 단위 구조를 가질 수 있다.
여기에서, NAL 헤더는 공통적으로 고정 비트(forbidden_zero_bit), 참조 픽처인지 아닌지를 표시하는 플래그(nal_ref_idc) 및 NAL 단위의 종류를 표시하는 식별자(nal_unit_type)을 포함하며, NAL 유형에 따라 추가 정보가 올 수 있다. 이를 활용하여 본 발명은 자유시점 뎁스 영상임을 나타내는 NAL 유형(410)을 정의하고 뎁스 영상 부호화부에서 생성되는 모든 VCL NAL 단위를 상기 NAL 유형으로 표시한다.
또한, 추가 NAL 헤더인 nal_unit_header_ftv_extention()(420)는 뎁스 영상 복호에 필요한 추가 데이터로 시점 간 픽쳐 그룹 식별 정보(anchor_pic_flag), 기본 시점 여부를 알려주는 정보, 시점 식별 정보(view_id) 등의 속성 정보가 포함될 수 있다.
이하 상기 속성 정보들에 대해 구체적으로 살펴보도록 한다.
먼저, 시점 간 픽쳐 그룹 식별 정보란, 현재 NAL 유닛의 코딩된 픽쳐가 시점 간 픽쳐 그룹인지 여부를 식별하는 정보를 말한다(①). 그리고, 시점 간 픽쳐 그룹이라 함은, 모든 슬라이스들이 동일 시간대의 프레임에 있는 슬라이스만을 참조하는 부호화된 픽쳐를 의미한다. 예를 들어, 다른 시점에 있는 슬라이스만을 참조하고 현재 시점에 있는 슬라이스는 참조하지 않는 부호화된 픽쳐를 말한다. 다시점 영상의 복호화 과정에 있어서, 시점 간의 랜덤 액세스는 가능할 수 있다. 또한, 시점간 예측을 위해서는 시점 간 참조 정보가 필요한데, 상기 시점 간 참조 정보를 알기 위해 시점 간 픽쳐 그룹 식별 정보가 이용될 수 있다. 또한, 참조 픽쳐 리스트를 생성할 때 시점간 예측을 위한 참조 픽쳐들을 추가하는데 상기 시점 간 픽쳐 그룹 식별 정보가 이용될 수도 있다.
기본 시점 여부를 알려주는 정보란, 현재 시점에 있는 픽쳐가 다른 시점에 있는 픽쳐를 참조하지 않고, 현재 시점에 있는 픽쳐만을 참조하는지를 알려주는 정보를 말한다(②). H.264/AVC 복호화기와 호환성을 가지기 위한 적어도 하나의 시점 영상이 필요하며, 빠른 랜덤 액세스를 위해 독립적으로 복호화가 가능한 시점들을 정의할 필요가 있는데, 이를 기본 시점(base views)이라 한다. 이러한 기본 시점은 다시점 중 부호화의 기준이 되며, 이는 참조 시점(reference view)에 해당된다. MVC(multiview Video Coding)에서 기본 시점에 해당되는 영상은 종래 일반적인 영상 부호화 방식(MPEG-2, MPEG-4, H.263, H.264 등)에 의해 부호화되어 독립적인 비트스트림으로 형성하게 된다. 기본 시점에 해당되는 영상은 H.264/AVC와 호환될 수도 있고, 되지 않을 수도 있다. 하지만, H.264/AVC와 호환될 수 있는 시점의 영상은 항상 기본 시점이 된다. 따라서, 현재 픽쳐가 기본 시점에 포함되는지 여부를 식별하기 위한 플래그 정보를 정의할 필요가 있으며, 예를 들어, 그 플래그를 'view_dependency_flag'라 정의할 경우, view_dependency_flag = 0 이면, 현재 픽쳐 또는 현재 슬라이스가 기본 시점에 포함되는 것을 의미하며, view_dependency_flag ≠ 0 이면, 현재 픽쳐 또는 현재 슬라이스가 기본 시점에 포함되지 않는 것을 의미한다. 이처럼, 'view_dependency_flag'를 추가함으로써, 수신된 뎁스 영상 신호를 복호화할 경우에 현재 픽쳐가 기본 시점에 해당되는지 여부를 판단할 수 있게 된다. 상기 기본 시점에 해당되는 픽쳐들을 정의하기 위하여, 픽쳐의 시점을 나타내는 시점 식별 정보(view_id)가 이용될 수 있다. 따라서, 복호기가 H.264/AVC와 호환될 수 있는 경우에는 기본 시점에 대한 정보만을 복호하고, 나머지 시점에 대한 정보는 복호하지 않을 수 있다.
시점 식별 정보란, 현재 시점에 있는 뎁스 영상과 다른 시점에 있는 뎁스 영상을 구별하기 위한 정보를 말한다(③). 뎁스 영상 신호가 코딩될 때, 각각의 픽쳐를 식별하기 위하여 POC(Picture Order Count)와 프레임 번호(frame_num)가 이용된다. 다시점 뎁스 영상인 경우에는 시점간 예측이 수행되기 때문에 현재 시점에 있는 픽쳐와 다른 시점에 있는 픽쳐를 구별하기 위한 식별 정보가 필요하다. 따라서, 뎁스 영상의 시점을 식별하는 시점 식별 정보를 정의할 필요가 있다. 상기 시점 식별 정보는 영상 신호의 헤더 영역으로부터 획득될 수 있다. 예를 들어, 상기 헤더 영역은 NAL 헤더 영역 또는 NAL 헤더의 확장 영역일 수도 있고, 슬라이스 헤더 영역일 수도 있다. 상기 시점 식별 정보를 이용하여 현재 뎁스 영상과 다른 시점에 있는 뎁스 영상의 정보를 획득하고, 상기 다른 시점에 있는 픽쳐의 정보를 이용하여 상기 영상 신호를 디코딩할 수 있다. 이러한 상기 시점 식별 정보는 영상 신호의 부호화/복호화 과정 전반에 걸쳐 적용될 수 있다. 또한, 특정한 시점 식별자가 아닌, 시점이 고려된 프레임 번호룰 이용하여 다시점 영상 코딩에 그대로 적용할 수도 있다.
결국, 상기 속성 정보들을 통해 기존 MVC 복호기는 자유시점 NAL 단위 중 MVC 표준 규격이 정의하지 않은 뎁스 영상 NAL을 복호하지 않고 건너뜀에 따라, 자유시점 영상 비트스트림 중 비디오 영상의 복호 수행이 가능하다.
도 5는 다시점 비디오 영상에 있어서, 픽쳐들 간의 예측 구조를 도시한 것이다.
상기 예측 구조는 움직임 정보를 이용하는 시간 방향 예측(510) 또는 변이 정보를 이용하는 시점 방향 예측(520)을 이용한다.
다시점 비디오 영상에서 기준 시점(Base view)(530)에 해당되는 영상은 종래 일반적인 영상 부호화 방식(MPEG2, MPEG4, H.263, H.264 등)에 의해 부호화되어 독립적인 비트스트림으로 형성될 수 있다. 기준 시점에 해당되는 영상은 H.264/AVC와 호환될 수도 있고, 되지 않을 수도 있다. 하지만, H.264/AVC와 호환될 수 있는 시점의 영상은 기준 시점이 된다.
도 5에 도시된 바와 같이, 같은 시간 대 영상 만을 참조하는 앵커 픽쳐(540)가 존재하며, 각 픽쳐는 I, P, B 픽쳐 중 하나로 부호화된다. I 픽쳐는 벡터나 변이 정보를 이용하지 않으며, P 픽쳐의 매크로 블록은 화면내 예측 블록으로서 예측 방향 정보를 가지거나 화면간 예측 블록으로서 블록마다 하나의 움직임 혹은 변이 정보를 가지며, B 픽쳐의 매크로 블록은 화면내 예측 블록으로서 예측 방향 정보를 가지거나 화면간 예측 블록으로서 블록마다 최대 2개의 움직임 혹은 변이 정보를 갖는다.
기존 다시점 비디오 영상의 부호화기와 복호화기는 시간적, 공간적, 화질 개선의 목표에 따라 비디오 영상 간 계층 구조를 구성하고, 부호화와 복호화할 때 그보다 낮은 계층의 영상을 참조 영상으로 활용할 수 있었다. 즉, 낮은 계층의 블록 내 화소값을 현재 블록 화소값의 예측 값으로 이용할 수 있었다.
반면, 본 발명은 뎁스 영상을 뎁스 영상 부호화부(120)로 부호화할 때 비디오 영상과 뎁스 영상은 서로 다른 특성의 영상이므로 비디오 영상의 화소값은 참조하지 않고 뎁스 영상만을 참조영상으로 활용한다.
본 발명의 다시점 뎁스 영상에 있어서 픽쳐들 간의 예측 구조는 비디오 영상의 예측 구조와 동일하다. 다시점 비디오 영상과 다시점 뎁스 영상에서 GOP(Group of Picture) 구조는 동일하며, 다시점 뎁스 영상이 각 픽쳐 I, P, B 픽쳐 중 하나로 부호화되는 것도 동일 시간대 동일 시점에서 다시점 비디오 영상과 동일하다.
또한, 다시점 뎁스 영상이 예측에 활용하는 참조 영상 리스트 내의 영상 개수, 참조 인덱스 및 시점 식별 정보(view_id)가 모두 동일하다.
본 발명의 상기 특징에 의해, 본 발명에서 다시점 뎁스 영상 부호화 및 복호화 픽쳐 순서는 다시점 비디오 영상의 그것과 동일하다.
도 6은 다시점 비디오 영상과 뎁스 영상의 부호화 및 복호화에서 다시점 비디오 영상 픽쳐, 다시점 뎁스 영상 픽쳐의 부호화 및 복호화 순서가 동일함을 도시한 것이다.
도 6에 도시된 바와 같이, (x, y) 형식으로(여기서, x는 시점 식별 정보이며, y는 픽쳐 번호임) 다시점 비디오 영상 픽쳐(610), 다시점 뎁스 영상 픽쳐(620)의 부호화 및 복호화 순서는 동일하다.
동일 시간, 동일 시점에서 획득한 비디오 영상과 뎁스 영상은 영상 내 화소값의 분포, 복잡도, 경계 등의 정보가 서로 상이하다. 그러나, 픽쳐 내에서 화소간 유사성에 근거한 인트라 블록 예측 모드, 시간 방향 예측에서 움직임 정보 및 참조 영상 정보, 시점 방향 예측에서 변이 정보 및 참조 영상 정보 등은 유사성을 가진다.
상기 특성에 근거하여 본 발명은 뎁스 영상을 압축하는 데 있어 참조 비디오 영상 혹은 주변 블록간 유사성에 근거한 인트라 블록 예측 모드, 움직임 보상 정보, 변이 보상 정보 등 상기 중복되는 유사정보를 제거하여 압축 효율을 증가시킨다.
도 7은 다시점 비디오 영상과 대응하는 뎁스 영상 간 동일 시점, 동일 시간, 동일 위치의 블록에서 참조할 수 있는 비디오 영상의 정보를 도시한 것이다.
뎁스 영상 내 현재 블록(710)의 블록 타입이 인트라 블록인 경우, 상기 현재 블록(710)에 대응되는 비디오 영상 내의 대응 블록(720)의 예측 방향 정보를 현재 블록의 예측 방향 정보로 활용한다. 여기서, 상기 대응 블록(720)의 블록 타입은 인트라 블록이다. 이어서, 상기 예측 방향 정보에 기초하여, 상기 현재 블록(710)의 이웃 블록으로부터 상기 현재 블록(710)의 예측 뎁스 정보를 획득하고, 이를 통해 현재 블록의 뎁스 정보를 복원할 수 있다.
또한, 현재 코딩하려는 뎁스 영상 내 현재 블록(730)의 블록 타입이 인터 블록인 경우, 상기 현재 블록(730)에 대응되는 비디오 영상 내의 대응 블록(740)의 움직임 정보(motion information)를 현재 블록(730)의 정보로 활용한다. 여기서, 상기 대응 블록(740)의 블록 타입은 인터 블록이며, 상기 움직임 정보는 참조 비디오 영상의 인덱스, 움직임 벡터 등을 포함한다. 상기 대응 블록은 상기 뎁스 영상 내 현재 매크로블록과 동일 시점, 동일 시간, 동일 위치(co-located) 블록일 수 있으며, 상기 뎁스 영상 내 현재 매크로블록과 다른 시점, 동일 위치(co-located) 블록일 수 있다. 상기 대응 블록은 상기 뎁스 영상 내 현재 매크로블록과 동일 위치 블록의 주변블록일 수 있으며, 동일 위치 블록이 참조하는 블록일 수도 있다.
도 8은 본 발명을 적용한 비트스트림 데이터 구조를 도시한 것이다.
자유시점 영상의 뎁스 영상을 부호화하는데 있어서, 비디오 영상의 정보를 이용할 수 있는 유형이라면 이를 나타내는 식별자를 추가하여 부호화하고(810), 비디오 영상 내의 대응 블록의 블록 타입에 따라 적응적으로 뎁스 영상의 블록 타입을 결정한다. 즉, 비디오 영상 내의 대응 블록이 인트라 블록 타입이라면, 같은 인트라 예측 모드를 갖는 인트라 블록으로 처리한다. 또한, 비디오 영상 내의 대응 블록이 인터 블록 타입이라면, 같은 움직임 정보를 갖는 인터 블록으로 처리한다. 만약, 상기 식별자가 비디오 영상의 정보를 이용하지 않는 모드임을 나타내면 기존 블록과 동일하게 블록의 타입 정보 등이 뒤따라 전송된다.
도 9는 본 발명을 적용한 뎁스 영상의 복호화를 수행하는 과정을 도시한 것이다. 먼저, 비디오 영상과 뎁스 영상을 포함하는 비디오 신호를 수신한다(S910). 뎁스 영상이 비디오 영상의 블록을 이용하여 코딩되었는지를 확인한다(S920). 상기 확인 결과에 따라, 뎁스 영상을 복호하는데 비디오 영상의 블록을 이용할지가 결정될 수 있다.
현재 코딩하려는 뎁스 영상 내 현재 매크로블록의 블록타입이 인트라 블록인지 인터 블록인지를 확인한다(S930). 상기 블록타입에 따라, 뎁스 영상을 복호하는데 대응되는 비디오 영상의 예측 방향 정보를 이용할지 움직임 정보를 이용할지가 결정된다. 상기 블록타입이 인트라 블록인 경우, 상기 현재 매크로블록에 대응되는 상기 비디오 영상 내의 블록 타입이 인트라 블록인 대응 블록의 예측 방향 정보를 획득한다(S940). 상기 예측 방향 정보에 기초하여, 상기 현재 매크로블록의 이웃 블록으로부터 상기 현재 매크로블록의 예측 뎁스 정보를 획득한다(S950). 상기 예측 뎁스 정보를 이용하여 현재 매크로블록의 뎁스 정보를 복원한다(S960).
상기 블록타입이 인터 블록인 경우, 상기 현재 매크로블록에 대응되는 상기 비디오 영상 내의 블록 타입이 인터 블록인 대응 블록의 움직임 정보를 획득한다(S970). 상기 움직임 정보에 기초하여, 상기 현재 매크로블록이 참조하는 참조 뎁스 영상 내의 참조 매크로블록의 뎁스 정보를 획득한다(S980). 상기 뎁스 정보를 이용하여 현재 매크로블록의 뎁스 정보를 복원한다(S990).
도 10은 본 발명을 적용한 자유시점 영상 부호화기 구조의 개량된 구조를 도시한 것이다. 즉, 도 2에 도시된 본 발명의 자유시점 영상 부호화기 구조에 움직임 정보 저장 수단(1010)이 추가된 구조를 나타낸다.
상기 움직임 정보 저장 수단(1010)은 비디오 영상의 부호 과정(1020) 중에 생성된 움직임 정보를 저장해두는 곳으로써, 이는 뎁스 영상의 움직임 예측/움직임 보상을 수행할 때 참조되는 움직임 정보 중 하나로 사용된다.
도 11a는 뎁스 영상의 복호화 방법을 도시한 것이고, 도 11b는 본 발명을 적용한 개선된 뎁스 영상의 복호화 방법을 도시한 것이다.
도 11a는 비디오 영상은 비디오 영상 간에 화면간 예측이 수행되는 구조이며, 이 경우에는 비디오 영상과 뎁스 영상 간 존재하는 상관관계가 전혀 활용되지 못함으로써, 압축 효율이 떨어질 가능성이 높다.
이에 반해, 도 11b는 뎁스 영상을 복호함에 있어서 비디오 영상의 움직임 정보를 이용함으로써 압축 효율을 높일 수 있다. 즉, 뎁스 영상 부호화부에서는 현재 부호화하려는 뎁스 영상 프레임과 참조 뎁스 영상 프레임 간의 움직임 예측을 수행하여 최소 에러가 발생하는 움직임 벡터를 도출하고, 동시에 현재 부호화하려는 뎁스 영상 프레임에 대응되는 비디오 영상 내 블록의 움직임 벡터를 현재 뎁스 영상 프레임의 블록에 적용하여 에러값을 구한다. 이렇게 구해진 에러값과 뎁스 영상 프레임간의 최적 움직임 벡터가 가지는 에러값을 비교하여 에러값의 차이가 일정값 이하로 수렴한다면, 현재 뎁스 영상 프레임의 블록 움직임 벡터는 대응되는 비디오 영상 프레임의 블록 움직임 벡터를 사용한다. 예를 들어, 뎁스 영상 프레임의 현재 블록이 대응되는 비디오 영상 프레임의 블록 움직임 벡터를 사용함을 나타내는 'copy_mv_from_visual'과 같은 식별자를 전송함으로써 쉽게 구현될 수 있다.
도 12는 본 발명을 적용한 3D 워핑(warping) 방법을 통한 자유시점 영상의 생성 방법을 도시한 것이다.
다시점 영상을 압축하는 MVC가 정해진 시점에 대해 영상을 전송하던 방식과 달리, 스테레오 디스플레이를 위한 3DTV의 경우에는 더 적은 수의 한정된 시점의 영상을 전송한 후, 그 사이 영상은 합성을 함으로써 전송해야 할 영상 데이터를 줄일 수 있다.
도 12에 도시된 바와 같이, 제1 시점 영상(1201)과 제2 시점 영상(1202)에 기초하여 제3 시점 영상을 생성하기 위하여 3D 워핑 방법을 사용한다. 이에 의해, 각각 제1 시점 변형 영상(1204) 및 제2 시점 변형 영상(1203)이 생성되며, 이를 이용하여 제3 시점 영상을 최종적으로 생성할 수 있게 된다.
그러나 제1 시점 변형 영상(1204) 및 제2 시점 변형 영상(1203)에는 채워지지 않는 영역이 발생하게 되며, 이에 따라 제3 시점 영상(1205)에도 채워지지 않는 영역이 발생하게 된다.
이하에서는 이와 같이 제3 시점 영상(1205)에서 채워지지 않는 영역을 홀(hole)이라고 정의하여 사용한다. 이러한 자유시점 영상을 보정하기 위해서는 다음과 같은 방법이 이용될 수 있다.
즉, 제1 시점 영상과 제2 시점 영상에 기초하여 생성된 제3 시점 영상 내에, 홀이 생성된 제1 블록 및 제1 블록에 인접하며 홀이 생성되지 않은 제2 블록을 포함하는 기준 블록을 검출하고, 검출된 기준 블록을 제1 시점 영상 및 제2 시점 영상 중 적어도 하나의 소정 블록과 비교하고, 소정 블록에 인접한 블록을 이용하여 기준 블록 내의 제1 블록을 보정한다.
도 13은 제3 시점 영상(1301) 내에 수직방향으로 서로 인접하는 제1 블록(1303) 및 제2 블록(1304)을 포함하는 기준 블록(1302)을 도시한 것이다. 도 13에 도시된 바와 같이, 제1 블록(1303)의 하부에 제2 블록(1304)이 인접하나, 제1 블록(1303)의 상부에 제2 블록(1304)이 인접하는 것도 가능하다. 한편, 홀 처리의 효율을 위해, 제1 블록(1303) 및 제2 블록(1304)은 4x4 블록일 수 있으나 이에 한정되지는 않는다.
도 14는 제3 시점 영상(1401) 내에 수평방향으로 서로 인접하는 제1 블록(1403) 및 제2 블록(1404)을 포함하는 기준 블록(1402)을 도시한 것이다. 도 14에 도시된 바와 같이, 제1 블록(1403)의 우측에 제2 블록(1404)이 인접하나, 제1 블록(1403)의 좌측에 제2 블록(1404)이 인접하는 것도 가능하다. 한편, 홀 처리의 효율을 위해, 제1 블록(1403) 및 제2 블록(1404)은 4x4 블록일 수 있으나 이에 한정되지는 않는다.
이와 같이 기준 블록(1302, 1402)을 제1 시점 영상 및 제2 시점 영상 중 적어도 하나의 소정 블록과 비교하여 이를 이용하여 제1 블록을 대체하는 방식으로 홀을 채우는 것이 가능하다.
이러한 비교 과정을 설명하면, 홀이 형성되지 않은 제2 블록과, 제1 시점 영상 및 제2 시점 영상 중 적어도 하나의 소정 블록의 뎁스 영상의 평균값, 비디오 영상의 평균값, 비디오 영상의 분산값 중 적어도 하나를 비교하고, 그 차이가 소정치 이하인 지 여부를 판단한다.
그 차이가 소정치 이하인 경우, 소정 블록에 인접하는 블록을 제1 블록으로 대체하여 홀을 채운다.
예를 들어, 제2 블록의 뎁스 영상의 평균값을 기준으로, 제1 시점 영상 및 제2 시점 영상 내의 블록들과 비교하여 그 평균값 차이가 소정치 이하인 블록을 검출한다. 그리고, 검출된 블록의 비디오 영상의 평균값과 비디오 영상의 분산값을 다시 비교한다. 각각의 차이가 소정치 이하인 경우, 이를 매칭 블록으로 선정한다. 실제로 제1 블록으로 대체되는 블록은, 제2 블록에 대응하는 위치의 블록인 것이 바람직하다.
여기서, 뎁스 영상과 달리, 비디오 영상의 분산값까지 비교 기준으로 사용하는 이유는, 뎁스 영상의 경우에는 값의 변화가 크지 않아 평균값의 비교만으로 원하는 결과는 얻을 수 있으나, 비디오 영상의 경우에는 값의 변화가 클수 있기 때문에 평균값과 분산값을 같이 비교해야 정확한 매칭 블록을 찾을 수 있기 때문이다.
도 15는 홀 채우기 과정을 도시한 것이다.
도면을 참조하여 설명하면, 상술한 기준 블록 검출 또는 소정 블록과의 비교, 소정 블록으로의 대체 단계 등에 의한 홀 채우기는, 제3 시점 영상(1501)의 중앙에서 외곽방향으로 수행되는 것이 바람직하다.
도 13의 수직방향 기준 블록(1302)이 사용되는 경우, 도면과 같이 ①->②->③ 순으로 수행되는 것이 바람직하며, 도 14의 수평방향 기준 블록(1402)이 사용되는 경우, 도 15의 수평선(1502) 및 수직선(1503)을 기준으로 (1)->(2)->(3)->(4)의 순으로 수행되는 것이 바람직하다.
이와 같이, 제3 시점 영상(1501)의 중앙에서 외곽방향으로 수행되는 이유는, 홀이 에지(edge) 주변에 많이 존재하므로, 홀이 적은 부분부터 많은 부분으로 퍼져 나가는 것이 더 정확한 홀 채우기가 되기 때문이다.
한편, 홀 채우기는 수직 방향이 수평 방향 보다 먼저 수행될 수 있다. 뎁스 영상의 값이 수직 방향으로 달라짐 등으로 인하여, 대체로 홀이 수직 방향으로 많이 발생하는 경향이 있다. 이를 위해, 홀 채우기는 수직 방향으로 먼저 수행되는 것이 바람직하다. 물론, 수직 방향으로 수행되면, 대부분 홀 채우기가 종료되며, 예외적으로 홀 채우기가 종료되지 않은 경우에, 수평 방향으로 홀 채우기를 수행할 수 있다.
결국, 제1 시점 영상과 제2 시점 영상 내에서 각각 도출된 블록을 이용하여, 제3 시점 영상의 기준 블록 내의 홀 채우기를 완성할 수 있다.
한편, 도 16은 비디오 시점 영상으로부터 가상 시점 영상을 생성하는 방법을 설명하기 위하여 도시한 것이다.
제1 시점 영상(1601), 제2 시점 영상(1602)을 에피폴라 라인(1615, epipolar line)을 기준으로 정렬하여 제1 시점 변형 영상(1603) 및 제2 시점 변형 영상(1605)을 생성하고, 이를 이용하여 최종적으로 제3 시점 영상(1604)을 생성하는 것을 도시한 것이다.
한편, 영상 촬영시, 에피폴라 라인(1615)을 기준으로 제1 시점 영상(1601) 및 제2 시점 영상(1602)이 촬영된다면, 에피폴라 라인을 맞추기 위한 제1 시점 변형 영상(1603) 및 제2 시점 변형 영상(1605)의 생성 없이, 바로 제3 시점 영상(1604)을 생성할 수 있게 된다.
본 발명은 3D 워핑 방법을 통한 자유시점 영상의 합성 방법을 도시하고 있으나, 여기에 한정되는 것은 아니다.
도 17은 뎁스 영상에 기반한 시점 영상 합성에 있어서 나타날 수 있는 겹침(occlusion) 문제를 도시한 것이다.
도 17에 도시된 바와 같이, A는 두 사각형 중 하나만 볼 수 있으나 다른 위치인 B는 두 사각형을 모두 볼 수 있음을 나타낸다. 이와 같은 겹침(occlusion) 문제는 시점 영상 합성에서 홀 채우기 기법과 같이 주변의 데이터를 이용하여 보상하는 방법을 사용하기는 하나 화질 저하가 나타날 수 밖에 없다. 이를 해결하기 위해 겹침(occlusion) 데이터를 이용하여 시점 영상 합성의 성능을 높일 수 있다.
도 18은 자유시점 TV의 획득 시점과 스테레오 페어를 도시한 것이다. 도 18a에 도시된 바와 같이, 자유시점 TV의 획득 시점의 개수가 1인 경우에는 스테레오 시점보다 개수가 부족하므로 적어도 하나 이상의 가상 시점을 합성해야 하는 문제점을 지니고 있다. 또한, 자유시점 TV의 획득 시점의 개수가 2인 경우는, 예를 들어 획득 시점 간의 카메라 간격인 베이스라인(baseline)이 큰 경우, 도 18b와 같이 두 획득 시점보다 두 획득 시점 사이에 있는 가상 시점 페어가 스테레오 디스플레이에 더 적합할 수 있다. 또한, 자유시점 TV의 획득 시점의 개수가 3개 이상인 경우, 도 18c와 같이 획득 시점 중 스테레오 디스플레이에 적합한 획득 시점 페어 정보가 필요하며, 획득 시점이 2개인 경우와 마찬가지로 획득 시점보다 가상 시점의 영상 페어가 스테레오 디스플레이에 더 적합할 수 있다.
그러나, 기존 표준의 SEI 메시지와 3DV 획득 시점의 카메라 파라메터만으로는 상술한 바와 같이 스테레오 디스플레이를 위한 좌안, 우안 시점의 정보를 획득할 수 없는 문제점을 가지고 있다.
도 19는 본 발명을 적용한 스테레오 시점 카메라 파라메터 SEI의 실시예를 도시한 것이다. 도 19에 도시된 바와 같이, 스테레오 좌안, 우안 시점이 획득 시점 카메라 페어라면, 좌안에 적합한 시점 식별 정보(1910, view_id)와 우안에 적합한 시점 식별 정보(1920) 정보로 스테레오 디스플레이에 적합한 획득 시점 페어를 나타낼 수 있다. 또한, 획득 시점이 아닌 가상 시점이 스테레오 디스플레이에 적합한 좌안 혹은 우안인 경우에는 카메라 파라메터를 전달하는 방식을 고려할 수 있다.
도 20은 본 발명을 적용한 스테레오 시점 카메라 파라메터 SEI의 또다른 실시예를 도시한 것이다. 도 20에 도시된 바와 같이, 2개의 카메라 파라메터를 전달하는 것을 알 수 있으며(2010), 전달하는 두 카메라 정보 중 하나는 스테레오 좌안 카메라 시점, 다른 카메라는 우안 카메라 시점에 대한 파라메터여야 할 것이다. 본 발명의 실시예는 다시점 영상의 압축 표준인 MVC 중 다시점 획득 정보(Multiview acquisition information) SEI 메시지 신택스에 기반하여 설명되었으나, 다른 카메라 파라메터 표현 방법의 적용도 가능하다.
도 21은 본 발명을 적용한 스테레오 시점 카메라 파라메터 SEI의 또다른 실시예를 도시한 것이다. 도 21에 도시된 바와 같이, 좌안과 우안 카메라 시점이 평행한 경우, 우안 시점 카메라의 비고유(extrinsic) 카메라 파라메터는 트랜스레이션 벡터 x(translation vector x)를 제외하고는 좌안 카메라 파라메터와 모두 동일할 것이므로, 도 21에 도시된 바와 같은 SEI 메시지도 가능하다.
도 21을 참고하면, 도 20의 SEI에 없었던 'parallel_view' 신택스(2110)가 추가되어 스테레오 카메라 페어가 평행(parallel)인지 교차(cross)인지를 나타내는 정보를 전달한다. 만약 parallel_view = 1 인 경우, 총 12개로 구성된 비고유 카메라 파라메터 세트는 좌안 혹은 우안 카메라에 대해서만 전달한다(2120). 그리고, 우안 혹은 좌안 카메라 시점에 대해서는 트랜스레이션 벡터 x 파라메터(2130)만 전달하게 된다.
이상에서 설명한 바와 같이, 본 발명이 적용되는 자유시점 영상 복호화 방법 및 장치는 멀티미디어 방송 송/수신 장치에 구비되어, 자유시점 영상을 복호화하는데 사용될 수 있다. 이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

Claims (18)

  1. 비디오 영상과 뎁스 영상을 포함하는 비디오 신호를 수신하는 단계;
    뎁스 영상 내 현재 매크로블록의 블록타입이 인트라 블록일 때, 상기 현재 매크로블록에 대응되는 상기 비디오 영상 내의 대응 블록으로부터 상기 현재 매크로블록의 예측 방향 정보를 획득하는 단계;
    상기 현재 매크로블록의 예측 방향 정보에 기초하여, 상기 현재 매크로블록의 이웃 블록으로부터 상기 현재 매크로블록의 예측 뎁스 정보를 획득하는 단계; 및
    상기 예측 뎁스 정보를 이용하여 현재 매크로블록의 뎁스 정보를 복원하는 단계를 포함하되, 상기 대응 블록의 블록 타입은 인트라 블록이고, 상기 대응 블록은 상기 뎁스 영상 내 현재 매크로블록과 동일 시점, 동일 시간, 동일 위치인 것을 특징으로 하는 자유시점 영상 복호화 방법.
  2. 제 1 항에 있어서,
    상기 뎁스 영상 내 현재 매크로블록의 예측 방향 정보는 대응되는 상기 비디오 영상 내의 블록의 예측 방향 정보와 동일한 것을 특징으로 하는 자유시점 영상 복호화 방법.
  3. 제 1 항에 있어서,
    상기 뎁스 영상과 상기 비디오 영상을 이용하여 가상 시점의 영상을 생성하는 단계를 더 포함하되, 상기 가상 시점의 생성은 3D 워핑(warping) 방법, 에피폴라 라인을 이용하는 방법 중 적어도 하나를 이용하는 것을 특징으로 하는 자유시점 영상 복호화 방법.
  4. 제 1 항에 있어서,
    스테레오 디스플레이를 위한 디스플레이 정보를 획득하는 단계를 더 포함하되, 상기 디스플레이 정보는 시점 식별 정보와 카메라 파라메터 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 자유시점 영상 복호화 방법.
  5. 제 4 항에 있어서,
    스테레오 디스플레이에 사용되는 좌안, 우안 시점이 획득 시점 카메라에 해당하는 경우에, 상기 디스플레이 정보는 상기 시점 식별 정보인 것을 특징으로 하는 자유시점 영상 복호화 방법.
  6. 제 4 항에 있어서,
    스테레오 디스플레이에 사용되는 좌안, 우안 시점 중 적어도 하나가 획득 시점이 아닌 가상 시점 카메라에 해당하는 경우에, 상기 디스플레이 정보는 상기 가상 시점 카메라에 대응되는 상기 카메라 파라메터 정보를 포함하는 것을 특징으로 하는 자유시점 영상 복호화 방법.
  7. 제 6 항에 있어서,
    상기 카메라 파라메터 정보는 좌안과 우안 카메라 시점이 평행한지를 나타내는 정보, 양 카메라 중 어느 하나의 카메라 파라메터 정보 및 양 카메라 파라메터 차이값을 포함하는 것을 특징으로 하는 자유시점 영상 복호화 방법.
  8. 비디오 영상과 뎁스 영상을 포함하는 비디오 신호를 수신하는 단계;
    뎁스 영상 내 현재 매크로블록의 블록타입이 인터 블록일 때, 상기 현재 매크로블록에 대응되는 상기 비디오 영상 내의 대응 블록으로부터 상기 현재 매크로블록의 움직임 정보를 획득하는 단계;
    상기 현재 매크로블록의 움직임 정보에 기초하여, 상기 현재 매크로블록이 참조하는 참조 뎁스 영상 내의 참조 매크로블록의 뎁스 정보를 획득하는 단계; 및
    상기 뎁스 정보를 이용하여 현재 매크로블록의 뎁스 정보를 복원하는 단계를 포함하되, 상기 대응 블록의 블록 타입은 인터 블록이고, 상기 대응 블록은 상기 뎁스 영상 내 현재 매크로블록과 동일 시점, 동일 시간, 동일 위치인 것을 특징으로 하는 자유시점 영상 복호화 방법.
  9. 제 8 항에 있어서,
    상기 현재 매크로블록에 대응되는 상기 비디오 영상 내의 대응 블록의 움직임 정보를 획득할지를 가리키는 식별 정보를 획득하는 단계를 더 포함하되,
    상기 비디오 영상 내의 대응 블록의 움직임 정보는 상기 식별 정보에 기초하여 획득되고, 상기 움직임 정보는 참조 인덱스(ref_idx)와 움직임 벡터(motion vector) 중 적어도 하나를 포함하는 것을 특징으로 하는 자유시점 영상 복호화 방법.
  10. 제 8 항에 있어서,
    현재 매크로블록을 포함하는 뎁스 영상이 앵커 픽쳐인 경우,
    상기 참조 뎁스 영상은 동일한 시간대에 있는 것을 특징으로 하는 자유시점 영상 복호화 방법.
  11. 제 8 항에 있어서,
    상기 뎁스 영상과 상기 비디오 영상을 이용하여 가상 시점의 영상을 생성하는 단계를 더 포함하되, 상기 가상 시점의 생성은 3D 워핑(warping) 방법, 에피폴라 라인을 이용하는 방법 중 적어도 하나를 이용하는 것을 특징으로 하는 자유시점 영상 복호화 방법.
  12. 제 8 항에 있어서,
    상기 뎁스 영상 내 현재 매크로블록의 움직임 정보는 상기 비디오 영상 내의 대응 블록의 움직임 정보와 동일한 것을 특징으로 하는 자유시점 영상 복호화 방법.
  13. 제 8 항에 있어서,
    스테레오 디스플레이를 위한 디스플레이 정보를 획득하는 단계를 더 포함하되,
    상기 디스플레이 정보는 시점 식별 정보와 카메라 파라메터 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 자유시점 영상 복호화 방법.
  14. 제 13 항에 있어서,
    스테레오 디스플레이에 사용되는 좌안, 우안 시점이 획득 시점 카메라에 해당하는 경우에, 상기 디스플레이 정보는 상기 시점 식별 정보인 것을 특징으로 하는 자유시점 영상 복호화 방법.
  15. 제 13 항에 있어서,
    스테레오 디스플레이에 사용되는 좌안, 우안 시점 중 적어도 하나가 획득 시점이 아닌 가상 시점 카메라에 해당하는 경우에, 상기 디스플레이 정보는 상기 가상 시점 카메라에 대응되는 상기 카메라 파라메터 정보를 포함하는 것을 특징으로 하는 자유시점 영상 복호화 방법.
  16. 제 15 항에 있어서,
    상기 카메라 파라메터 정보는 좌안과 우안 카메라 시점이 평행한지를 나타내는 정보, 양 카메라 중 어느 하나의 카메라 파라메터 정보 및 양 카메라 파라메터 차이값를 포함하는 것을 특징으로 하는 자유시점 영상 복호화 방법.
  17. 비디오 영상과 뎁스 영상을 포함하는 비디오 신호를 수신하는 디멀티플렉싱부; 및
    뎁스 영상 내 현재 매크로블록의 블록타입이 인트라 블록일 때, 상기 현재 매크로블록에 대응되는 상기 비디오 영상 내의 대응 블록으로부터 상기 현재 매크로블록의 예측 방향 정보를 획득하고, 상기 현재 매크로블록의 예측 방향 정보에 기초하여, 상기 현재 매크로블록의 이웃 블록으로부터 상기 현재 매크로블록의 예측 뎁스 정보를 획득하고, 상기 예측 뎁스 정보를 이용하여 현재 매크로블록의 뎁스 정보를 복원하는 뎁스 영상 디코딩부를 포함하되, 상기 대응 블록의 블록 타입은 인트라 블록이고, 상기 대응 블록은 상기 뎁스 영상 내 현재 매크로블록과 동일 시점, 동일 시간, 동일 위치인 것을 특징으로 하는 자유시점 영상 복호화 장치.
  18. 비디오 영상과 뎁스 영상을 포함하는 비디오 신호를 수신하는 디멀티플렉싱부; 및
    현재 코딩하려는 뎁스 영상 내 현재 매크로블록의 블록타입이 인터 블록일 때, 상기 현재 매크로블록에 대응되는 상기 비디오 영상 내의 대응 블록으로부터 상기 현재 매크로블록의 움직임 정보를 획득하고, 상기 현재 매크로블록의 움직임 정보에 기초하여, 상기 현재 매크로블록이 참조하는 참조 뎁스 영상 내의 참조 매크로블록의 뎁스 정보를 획득하고, 상기 뎁스 정보를 이용하여 현재 매크로블록의 뎁스 정보를 복원하는 뎁스 영상 복호화부를 포함하되, 상기 대응 블록의 블록 타입은 인터 블록이고, 상기 대응 블록은 상기 현재 코딩하려는 뎁스 영상 내 현재 매크로블록과 동일 시점, 동일 시간, 동일 위치인 것을 특징으로 하는 자유시점 영상 복호화 장치.
PCT/KR2009/001004 2008-02-28 2009-03-02 자유시점 영상 복호화 방법 및 장치 WO2009108028A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US3242608P 2008-02-28 2008-02-28
US61/032,426 2008-02-28
KR10-2008-0037772 2008-04-23
KR20080037772 2008-04-23

Publications (2)

Publication Number Publication Date
WO2009108028A1 true WO2009108028A1 (ko) 2009-09-03
WO2009108028A9 WO2009108028A9 (ko) 2009-10-22

Family

ID=41016295

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/001004 WO2009108028A1 (ko) 2008-02-28 2009-03-02 자유시점 영상 복호화 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2009108028A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102123280A (zh) * 2010-01-11 2011-07-13 联发科技股份有限公司 解码方法及解码装置
EP2375746A1 (en) 2010-03-31 2011-10-12 Deutsche Telekom AG Method for encoding texture data of free viewpoint television signals, corresponding method for decoding and texture encoder and decoder
US8570361B2 (en) 2010-01-11 2013-10-29 Mediatek Inc. Decoding method and decoding apparatus for using parallel processing scheme to decode pictures in different bitstreams after required decoded data derived from decoding preceding picture(s) is ready
US9392248B2 (en) 2013-06-11 2016-07-12 Google Inc. Dynamic POV composite 3D video system
CN113556575A (zh) * 2021-07-19 2021-10-26 北京百度网讯科技有限公司 用于压缩数据的方法、装置、设备、介质和产品
CN115442580A (zh) * 2022-08-17 2022-12-06 深圳市纳晶云实业有限公司 一种便携式智能设备裸眼3d图片效果处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
US20060031917A1 (en) * 2004-08-03 2006-02-09 Microsoft Corporation Compressing and decompressing multiple, layered, video streams employing multi-directional spatial encoding
US20060146143A1 (en) * 2004-12-17 2006-07-06 Jun Xin Method and system for managing reference pictures in multiview videos

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
US20060031917A1 (en) * 2004-08-03 2006-02-09 Microsoft Corporation Compressing and decompressing multiple, layered, video streams employing multi-directional spatial encoding
US20060146143A1 (en) * 2004-12-17 2006-07-06 Jun Xin Method and system for managing reference pictures in multiview videos

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102123280A (zh) * 2010-01-11 2011-07-13 联发科技股份有限公司 解码方法及解码装置
US8570361B2 (en) 2010-01-11 2013-10-29 Mediatek Inc. Decoding method and decoding apparatus for using parallel processing scheme to decode pictures in different bitstreams after required decoded data derived from decoding preceding picture(s) is ready
US9565418B2 (en) 2010-01-11 2017-02-07 Mediatek Inc. Decoding method and decoding apparatus for using parallel processing scheme to decode pictures in different bitstreams after required decoded data derived from decoding preceding picture(s) is ready
EP2375746A1 (en) 2010-03-31 2011-10-12 Deutsche Telekom AG Method for encoding texture data of free viewpoint television signals, corresponding method for decoding and texture encoder and decoder
US9392248B2 (en) 2013-06-11 2016-07-12 Google Inc. Dynamic POV composite 3D video system
CN113556575A (zh) * 2021-07-19 2021-10-26 北京百度网讯科技有限公司 用于压缩数据的方法、装置、设备、介质和产品
CN115442580A (zh) * 2022-08-17 2022-12-06 深圳市纳晶云实业有限公司 一种便携式智能设备裸眼3d图片效果处理方法
CN115442580B (zh) * 2022-08-17 2024-03-26 深圳市纳晶云实业有限公司 一种便携式智能设备裸眼3d图片效果处理方法

Also Published As

Publication number Publication date
WO2009108028A9 (ko) 2009-10-22

Similar Documents

Publication Publication Date Title
WO2010087589A2 (ko) 경계 인트라 코딩을 이용한 비디오 신호 처리 방법 및 장치
KR101625058B1 (ko) 시점간 예측을 이용한 비디오 신호 처리 방법 및 장치
WO2015142054A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2010068020A9 (ko) 다시점 영상 부호화, 복호화 방법 및 그 장치
WO2010041896A2 (en) Receiving system and method of processing data
TWI566589B (zh) 三維視訊之視圖合成
WO2010087574A2 (en) Broadcast receiver and video data processing method thereof
KR20130141674A (ko) 코딩 멀티뷰 비디오 플러스 심도 콘텐츠
WO2016056822A1 (ko) 3d 비디오 코딩 방법 및 장치
WO2014168443A1 (ko) 비디오 신호 처리 방법 및 장치
WO2009108028A9 (ko) 자유시점 영상 복호화 방법 및 장치
WO2016056821A1 (ko) 3d 비디오 코딩을 위한 움직임 정보 압축 방법 및 장치
WO2014107083A1 (ko) 비디오 신호 처리 방법 및 장치
WO2016056782A1 (ko) 비디오 코딩에서 뎁스 픽처 코딩 방법 및 장치
WO2014010918A1 (ko) 비디오 신호 처리 방법 및 장치
WO2015009098A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014171709A1 (ko) 객체 기반 적응적 밝기 보상 방법 및 장치
WO2016003209A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
KR20120083200A (ko) 깊이 영상 부호화/복호화 장치 및 방법
WO2014109547A1 (ko) 비디오 신호 처리 방법 및 장치
WO2015009091A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014054897A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014054896A1 (ko) 비디오 신호 처리 방법 및 장치
WO2016056755A1 (ko) 3d 비디오 부호화/복호화 방법 및 장치
WO2011087303A2 (ko) 방송 신호 수신기 및 비디오 데이터 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09714151

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09714151

Country of ref document: EP

Kind code of ref document: A1