WO2016056821A1 - 3d 비디오 코딩을 위한 움직임 정보 압축 방법 및 장치 - Google Patents

3d 비디오 코딩을 위한 움직임 정보 압축 방법 및 장치 Download PDF

Info

Publication number
WO2016056821A1
WO2016056821A1 PCT/KR2015/010554 KR2015010554W WO2016056821A1 WO 2016056821 A1 WO2016056821 A1 WO 2016056821A1 KR 2015010554 W KR2015010554 W KR 2015010554W WO 2016056821 A1 WO2016056821 A1 WO 2016056821A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
prediction
sample
view
picture
Prior art date
Application number
PCT/KR2015/010554
Other languages
English (en)
French (fr)
Inventor
남정학
예세훈
서정동
유선미
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US15/517,712 priority Critical patent/US20170310993A1/en
Priority to KR1020177009466A priority patent/KR20170066411A/ko
Publication of WO2016056821A1 publication Critical patent/WO2016056821A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to video coding, and more particularly, to a method and apparatus for compressing, storing and utilizing motion information in a 3D video coding.
  • High-efficiency image compression technology can be used to effectively transmit, store, and reproduce high-resolution, high-quality video information.
  • 3D video can provide realism and immersion using a plurality of view channels.
  • 3D video can be used in various areas such as free viewpoint video (FCC), free viewpoint TV (FTV), 3DTV, surveillance and home entertainment.
  • FCC free viewpoint video
  • FTV free viewpoint TV
  • 3DTV surveillance and home entertainment.
  • 3D video (3DV) using multiple views has a high correlation between views of the same picture order count (POC). Since the multi-view image captures the same scene at the same time by using multiple adjacent cameras, that is, multiple views, the correlation between the different views is high because it contains almost the same information except for parallax and slight lighting differences.
  • POC picture order count
  • information necessary for encoding and / or decoding of the current view may be obtained in consideration of correlation between different views.
  • the current block that is a decoding target of the current view may be predicted or decoded by referring to a block of another view.
  • Each picture in each view may be divided into blocks of different sizes, and storing all relevant information in the reference picture of another view including the reference block for coding of the current block is a buffer load of the encoder and decoder. It becomes a burden to). Therefore, related information compression such as motion information should be performed.
  • the present invention provides a method and apparatus for compressing motion information in 3D video coding.
  • the present invention provides a method and apparatus for compressing and storing motion information for each block in a reference picture of a reference view.
  • the present invention is to derive motion information for a reference block in consideration of motion information compression in coding a current block.
  • motion information of the corresponding block is derived in consideration of motion information compression.
  • the present invention provides a method and apparatus for deriving motion information of a corresponding block when an inter-view merge candidate or residual prediction method is used for a current block.
  • a 3D video decoding method includes deriving a disparity vector for a current block, deriving a position of a corresponding sample on a reference view based on the disparity vector, and deriving a position of a reference sample based on the position of the corresponding sample. And deriving motion information of the prediction block covering the position of the reference sample.
  • inter-view prediction or residual prediction for the current block may be performed based on the derived motion information.
  • the position of the corresponding sample may be derived as the upper left position of the corresponding block determined based on the position of the current block and the disparity vector.
  • the position of the corresponding sample may be derived as the center position of the corresponding block determined based on the position of the current block and the disparity vector.
  • the position of the reference sample may be a top-left sample position of a motion compression unit block including the corresponding sample.
  • the position of the reference sample may be derived by performing a shift operation based on the position of the corresponding sample.
  • a 3D video decoding apparatus may further include: a decoding unit for decoding video information, deriving a disparity vector for a current block, determining a position of a corresponding sample on a reference view based on the disparity vector, and based on the position of the corresponding sample. And a prediction unit for deriving a position of a reference sample and deriving motion information of a prediction block covering the position of the reference sample.
  • motion information may be compressed and stored in 3D video coding. Accordingly, when a corresponding block in the reference view is derived using a disparity vector, motion information of the corresponding block may be derived in consideration of motion information compression, and a buffer load of an encoder and a decoder may be reduced, Coding efficiency can be improved by reducing the amount of information that is processed.
  • FIG. 1 is a diagram schematically illustrating a process of encoding and decoding 3D video to which the present invention can be applied.
  • FIG. 2 is a diagram schematically illustrating a configuration of a video encoding apparatus to which the present invention may be applied.
  • FIG. 3 is a diagram schematically illustrating a configuration of a video decoding apparatus to which the present invention may be applied.
  • FIG. 4 is a diagram schematically illustrating an inter-view motion prediction method.
  • FIG. 5 is a diagram schematically illustrating a residual prediction method.
  • FIG. 6 is a diagram schematically illustrating a positional relationship between a current block and a corresponding block.
  • FIG. 7 is a flowchart schematically illustrating a 3D video coding method according to an embodiment of the present invention.
  • each configuration in the drawings described in the present invention are shown independently for the convenience of description of the different characteristic functions, it does not mean that each configuration is implemented by separate hardware or separate software.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • a picture generally refers to a unit representing one image of a specific time zone
  • a slice is a unit constituting a part of a picture in coding.
  • One picture may be composed of a plurality of slices, and if necessary, the picture and the slice may be mixed with each other.
  • a pixel or a pel may refer to a minimum unit constituting one picture (or image).
  • 'sample' may be used as a term indicating a value of a specific pixel.
  • the sample may generally represent the value of the pixel, may represent only the pixel value of the luma component, or may represent only the pixel value of the chroma component.
  • a unit represents the basic unit of image processing.
  • the unit may include at least one of a specific region of the picture and information related to the region.
  • the unit may be used interchangeably with terms such as block or area in some cases.
  • an M ⁇ N block may represent a set of samples or transform coefficients composed of M columns and N rows.
  • FIG. 1 is a diagram schematically illustrating a process of encoding and decoding 3D video to which the present invention can be applied.
  • the 3D video encoder may encode a video picture, a depth map, and a camera parameter to output a bitstream.
  • the depth map may be composed of distance information (depth information) between a camera and a subject with respect to pixels of a corresponding video picture (texture picture).
  • the depth map may be an image in which depth information is normalized according to bit depth.
  • the depth map may be composed of recorded depth information without color difference representation.
  • the depth map may be called a depth map picture or a depth picture.
  • the disparity information indicating the correlation between views may be derived from the depth information of the depth map using camera parameters.
  • a general color image that is, a bitstream including a depth map and camera parameters together with a video picture (texture picture) may be transmitted to a decoder through a network or a storage medium.
  • the decoder side can receive the bitstream and reconstruct the video.
  • the 3D video decoder may decode the video picture and the depth map and the camera parameters from the bitstream.
  • a view required for a multi view display may be synthesized based on the decoded video picture, the depth map, and the camera parameter. In this case, if the display used is a stereo display, the 3D image may be displayed using pictures of two views among the reconstructed multi views.
  • the stereo video decoder can reconstruct two pictures that will each be incident on both eyes from the bitstream.
  • a stereoscopic image may be displayed by using a view difference or disparity between a left image incident to the left eye and a right image incident to the right eye.
  • the multi view display is used together with the stereo video decoder, different views may be generated based on the two reconstructed pictures to display the multi view.
  • the 2D image may be restored and the image may be output to the 2D display.
  • the decoder may output one of the reconstructed images to the 2D display when using a 3D video decoder or a stereo video decoder.
  • view synthesis may be performed at the decoder side and may be performed at the display side.
  • the decoder and the display may be one device or may be separate devices.
  • the 3D video decoder, the stereo video decoder, and the 2D video decoder are described as separate decoders.
  • one decoding apparatus may perform 3D video decoding, stereo video decoding, and 2D video decoding.
  • the 3D video decoding apparatus may perform 3D video decoding
  • the stereo video decoding apparatus may perform stereo video decoding
  • the 2D video decoding apparatus may perform 2D video decoding.
  • the multi view display may output 2D video or output stereo video.
  • FIG. 2 is a diagram schematically illustrating a configuration of a video encoding apparatus to which the present invention may be applied.
  • the video encoding apparatus 200 may include a picture splitter 205, a predictor 210, a subtractor 215, a transformer 220, a quantizer 225, a reorderer 230, An entropy encoding unit 235, an inverse quantization unit 240, an inverse transform unit 245, an adder 250, a filter unit 255, and a memory 260 are included.
  • the picture dividing unit 205 may divide the input picture into at least one processing unit block.
  • the processing unit block may be a coding unit block, a prediction unit block, or a transform unit block.
  • the coding unit block may be split along a quad-tree structure from a largest coding unit block as a unit block of coding.
  • the prediction unit block is a block partitioning from the coding unit block and may be a unit block of sample prediction. In this case, the prediction unit block may be divided into sub blocks.
  • the transform unit block may be split along the quad tree structure from the coding unit block, and may be a unit block that derives along the transform coefficients or a unit block that derives a residual signal from the transform coefficients.
  • a coding unit block is a coding block (CB) or a coding unit (CU)
  • a prediction unit block is a prediction block (PB) or a prediction unit (PU)
  • a transform unit block is It may be called a transform block (TB) or a transform unit (TU).
  • a prediction block or prediction unit may mean a specific area in the form of a block within a picture, and may include an array of prediction samples.
  • a transform block or a transform unit may mean a specific area in a block form within a picture, and may include an array of transform coefficients or residual samples.
  • the prediction unit 210 may perform a prediction on a block to be processed (hereinafter, referred to as a current block) and generate a prediction block including prediction samples of the current block.
  • the unit of prediction performed by the prediction unit 210 may be a coding block, a transform block, or a prediction block.
  • the prediction unit 210 may determine whether intra prediction or inter prediction is applied to the current block. As an example, the prediction unit 210 may determine whether intra prediction or inter prediction is applied on a CU basis.
  • the prediction unit 210 may derive a prediction sample for the current block based on reference samples outside the current block in the picture to which the current block belongs (hereinafter, referred to as the current picture). In this case, the prediction unit 210 may (i) derive a prediction sample based on the average or interpolation of neighboring reference samples of the current block, and (ii) the neighbor reference of the current block. The prediction sample may be derived based on a reference sample present in a specific (prediction) direction with respect to the prediction sample among the samples. In case of (i), it may be called non-directional mode, and in case of (ii), it is called directional mode. The prediction unit 210 may determine the prediction mode applied to the current block by using the prediction mode applied to the neighboring block.
  • the prediction unit 210 may derive the prediction sample for the current block based on the sample specified by the motion vector on the reference picture.
  • the prediction unit 210 may derive the prediction sample for the current block by applying any one of a skip mode, a merge mode, and a motion vector prediction (MVP) mode.
  • the prediction unit 210 may use the motion information of the neighboring block as the motion information of the current block.
  • the skip mode unlike the merge mode, the difference (residual) between the prediction sample and the original sample is not transmitted.
  • the MVP mode the motion vector of the current block can be derived using the motion vector of the neighboring block as a motion vector predictor.
  • the neighboring block includes a spatial neighboring block existing in the current picture and a temporal neighboring block present in the reference picture.
  • a reference picture including the temporal neighboring block may be called a collocated picture (colPic).
  • the motion information may include a motion vector and a reference picture. When the motion information of the temporal neighboring block is used in the skip mode and the merge mode, the highest picture on the reference picture list may be used as the reference picture.
  • the view may be divided into an independent view and a dependent view.
  • the prediction unit 210 may not only inter-prediction but also inter-view. You can also make predictions.
  • the predictor 210 may construct a reference picture list by including pictures of other views.
  • the prediction unit 210 may derive a disparity vector.
  • the disparity vector may add a block corresponding to the current block in another view of the same access unit (AU) as the current picture.
  • the AU may include video pictures and depth maps that correspond to the same time instance, for example in multiple views.
  • AU may mean a set of pictures having the same Picture Order Count (POC).
  • POC corresponds to the display order of the pictures and may be distinguished from the coding order.
  • the prediction unit 210 may specify a depth block in a depth view based on the disparity vector, configure a merge list, inter-view motion prediction, Residual prediction, illumination compensation, and view synthesis can be performed.
  • the disparity vector for the current block can be derived from the depth value using camera parameters or from the motion vector or disparity vector of the neighboring block in the current or other view.
  • the prediction unit 210 may include an inter-view merging candidate (IvMC) corresponding to temporal motion information of a reference view and an inter-view disparity vector candidate corresponding to a disparity vector.
  • IvDC inter-view merging candidate
  • IvMC inter-view disparity vector candidate
  • T texture merging candidate
  • D disparity derived merging candidate
  • VSP view synthesis prediction candidate
  • the number of candidates included in the merge candidate list applied to the dependent view may be limited to a predetermined value.
  • the prediction unit 210 may apply the inter-view motion vector prediction to predict the motion vector of the current block based on the disparity vector.
  • the prediction unit 210 may derive a disparity vector based on a conversion of the maximum depth value in the corresponding depth block.
  • a block including the reference sample may be used as the reference block.
  • the prediction unit 210 may use the motion vector of the reference block as a candidate motion parameter or motion vector predictor candidate of the current block, and use the disparity vector as a candidate disparity for disparity compensated prediction (DCP). Can be used as a vector.
  • DCP disparity compensated prediction
  • the subtraction unit 215 generates a residual sample which is a difference between the original sample and the prediction sample.
  • residual samples may not be generated as described above.
  • the transform unit 220 generates a transform coefficient by transforming the residual sample in units of transform blocks.
  • the quantization unit 225 may quantize the transform coefficients to generate quantized transform coefficients.
  • the reordering unit 230 rearranges the quantized transform coefficients.
  • the reordering unit 230 may reorder the quantized transform coefficients in the form of a block into a one-dimensional vector form through a coefficient scanning method.
  • the entropy encoding unit 235 may perform entropy encoding on the quantized transform coefficients.
  • Entropy encoding may include, for example, encoding methods such as exponential Golomb, context-adaptive variable length coding (CAVLC), context-adaptive binary arithmetic coding (CABAC), and the like.
  • the entropy encoding unit 235 may encode information necessary for video reconstruction other than the quantized transform coefficients (for example, a value of a syntax element) together or separately. Entropy encoded information may be transmitted or stored in units of network abstraction layer (NAL) units in the form of bitstreams.
  • NAL network abstraction layer
  • the adder 250 reconstructs the picture by combining the residual sample and the predictive sample.
  • the residual sample and the predictive sample may be added in units of blocks to generate a reconstructed block.
  • the adder 250 has been described in a separate configuration, the adder 250 may be part of the predictor 210.
  • the filter unit 255 may apply a deblocking filter and / or a sample adaptive offset to the reconstructed picture. Through deblocking filtering and / or sample adaptive offset, the artifacts of the block boundaries in the reconstructed picture or the distortion in the quantization process can be corrected.
  • the sample adaptive offset may be applied on a sample basis and may be applied after the process of deblocking filtering is completed.
  • the memory 260 may store information necessary for reconstructed pictures or encoding / decoding.
  • the memory 260 may store (reference) pictures used for inter prediction / inter view prediction.
  • pictures used for inter prediction / inter view prediction may be designated by a reference picture set or a reference picture list.
  • one encoding device has been described as encoding independent views and dependent views, this is for convenience of description, and a separate encoding device is configured for each view, or a separate internal module (for example, each view). Prediction module) may be configured.
  • FIG. 3 is a diagram schematically illustrating a configuration of a video decoding apparatus to which the present invention may be applied.
  • the video decoding apparatus 300 includes an entropy decoding unit 310, a reordering unit 320, an inverse quantization unit 330, an inverse transform unit 340, a predictor 350, and an adder 360.
  • the filter unit 370 and the memory 380 are included.
  • the video decoding apparatus 300 may reconstruct the video in response to a process in which the video information is processed in the video encoding apparatus.
  • the video decoding apparatus 300 may perform video decoding using a processing unit applied in the video encoding apparatus.
  • the processing unit block of video decoding may be a coding unit block, a prediction unit block, or a transform unit block.
  • the coding unit block may be divided along the quad tree structure from the largest coding unit block as a unit block of decoding.
  • the prediction unit block is a block partitioned from the coding unit block and may be a unit block of sample prediction. In this case, the prediction unit block may be divided into sub blocks.
  • the transform unit block may be divided along the quad tree structure from the coding unit block, and may be a unit block for deriving a transform coefficient or a unit block for deriving a residual signal from the transform coefficient.
  • the entropy decoding unit 310 may parse the bitstream and output information necessary for video reconstruction or picture reconstruction. For example, the entropy decoding unit 310 decodes the information in the bitstream based on a coding method such as exponential Golomb coding, CAVLC, or CABAC, quantized values of syntax elements required for video reconstruction, and residual coefficients. Can be output.
  • a coding method such as exponential Golomb coding, CAVLC, or CABAC, quantized values of syntax elements required for video reconstruction, and residual coefficients. Can be output.
  • the bitstream may be input for each view.
  • information about each view may be multiplexed in the bitstream.
  • the entropy decoding unit 310 may de-multiply the bitstream and parse the view for each view.
  • the reordering unit 320 may rearrange the quantized transform coefficients in the form of a two-dimensional block.
  • the reordering unit 320 may perform reordering in response to coefficient scanning performed by the encoding apparatus.
  • the inverse quantization unit 330 may dequantize the quantized transform coefficients based on the (inverse) quantization parameter and output the transform coefficients.
  • information for deriving a quantization parameter may be signaled from the encoding apparatus.
  • the inverse transform unit 340 may inverse residual transform coefficients to derive residual samples.
  • the prediction unit 350 may perform prediction on the current block and generate a prediction block including prediction samples for the current block.
  • the unit of prediction performed by the prediction unit 350 may be a coding block, a transform block, or a prediction block.
  • the prediction unit 350 may determine whether to apply intra prediction or inter prediction.
  • a unit for determining which of intra prediction and inter prediction is to be applied and a unit for generating a prediction sample may be different.
  • the unit for generating a prediction sample in inter prediction and intra prediction may also be different.
  • whether to apply inter prediction or intra prediction may be determined in units of CUs.
  • a prediction mode may be determined and a prediction sample may be generated in PU units
  • intra prediction a prediction mode may be determined in PU units and a prediction sample may be generated in TU units.
  • the prediction unit 350 may derive the prediction sample for the current block based on the neighbor reference samples in the current picture.
  • the prediction unit 350 may derive the prediction sample for the current block by applying the directional mode or the non-directional mode based on the neighbor reference samples of the current block.
  • the prediction mode to be applied to the current block may be determined using the intra prediction mode of the neighboring block.
  • the prediction unit 350 may derive the prediction sample for the current block based on the sample specified on the reference picture by the motion vector on the reference picture.
  • the prediction unit 350 may induce a prediction sample for the current block by applying any one of a skip mode, a merge mode, and an MVP mode.
  • the motion information of the neighboring block may be used as the motion information of the current block.
  • the neighboring block may include a spatial neighboring block and a temporal neighboring block.
  • the prediction unit 350 may construct a merge candidate list using motion information of available neighboring blocks, and use information indicated by the merge index on the merge candidate list as a motion vector of the current block.
  • the merge index may be signaled from the encoding device.
  • the motion information may include a motion vector and a reference picture. When the motion information of the temporal neighboring block is used in the skip mode and the merge mode, the highest picture on the reference picture list may be used as the reference picture.
  • the difference (residual) between the prediction sample and the original sample is not transmitted.
  • the motion vector of the current block may be derived using the motion vector of the neighboring block as a motion vector predictor.
  • the neighboring block may include a spatial neighboring block and a temporal neighboring block.
  • the prediction unit 350 may perform inter view prediction.
  • the prediction unit 350 may configure a reference picture list including pictures of other views.
  • the prediction unit 350 may derive a disparity vector.
  • the prediction unit 350 may specify a depth block in a depth view based on the disparity vector, configure the merge list, inter-view motion prediction, residual prediction, and IC. (illumination compensation), view synthesis, etc. can be performed.
  • the disparity vector for the current block can be derived from the depth value using camera parameters or from the motion vector or disparity vector of the neighboring block in the current or other view. Camera parameters may be signaled from the encoding device.
  • VSP view synthesis prediction merge candidate
  • the number of candidates included in the merge candidate list applied to the dependent view may be limited to a predetermined value.
  • the prediction unit 350 may apply inter-view motion vector prediction to predict the motion vector of the current block based on the disparity vector.
  • the prediction unit 350 may use a block in the reference view specified by the disparity vector as the reference block.
  • the prediction unit 350 may use the motion vector of the reference block as a candidate motion parameter or a motion vector predictor candidate of the current block, and use the disparity vector as a candidate disparity for disparity compensated prediction (DCP). Can be used as a parity vector.
  • DCP disparity compensated prediction
  • the adder 360 may reconstruct the current block or the current picture by adding the residual sample and the predictive sample.
  • the adder 360 may reconstruct the current picture by adding the residual sample and the predictive sample in block units. Since the residual is not transmitted when the skip mode is applied, the prediction sample may be a reconstruction sample.
  • the adder 360 has been described in a separate configuration, the adder 360 may be part of the predictor 350.
  • the filter unit 370 may apply deblocking filtering and / or sample adaptive offset to the reconstructed picture.
  • the sample adaptive offset may be applied in units of samples and may be applied after deblocking filtering.
  • the memory 380 may store information necessary for reconstruction picture or decoding.
  • the memory 380 may store pictures used for inter prediction / inter view prediction.
  • pictures used for inter prediction / inter view prediction may be designated by a reference picture set or a reference picture list.
  • the reconstructed picture can be used as a reference picture for another picture.
  • the memory 380 may output the reconstructed picture in the output order.
  • the output unit may display a plurality of different views.
  • each decoding apparatus may operate for each view, and an internal module (eg, a prediction module) corresponding to each view in one decoding apparatus may be provided.
  • an internal module eg, a prediction module
  • Multi-view video coding can enhance video coding efficiency for the current view by coding the current picture using decoding data of another view belonging to the same access unit (AU) as the current picture.
  • AU access unit
  • views may be coded in units of AUs, and pictures may be coded in units of views. Coding proceeds between views according to a predetermined order.
  • a view that can be coded without reference to another view can be referred to as a base view or an independent view.
  • a view that can be coded by referring to an independent view or another view after the independent view is coded may be referred to as a dependent view or extended view.
  • the view referred to in coding of the current view may be referred to as a reference view.
  • coding the view includes coding a texture picture, a depth picture, or the like that belongs to the view.
  • the inter-view motion prediction procedure finds a corresponding block in a reference picture of a reference view different from the current view based on the disparity vector, and derives motion information of the corresponding block as motion information of the current block.
  • the motion information of the corresponding block may be used as an inter-view merge candidate (IvMC), and the inter-view merge candidate may be used for generating a prediction sample of the current block.
  • IvMC inter-view merge candidate
  • residual prediction of a current block may be performed by using residual correlation between views. That is, in multi-view video coding, residual prediction may be performed in addition to intra / inter prediction and inter-view prediction for the current block.
  • the residual prediction may be called advanced residual prediction (ARP).
  • ARP advanced residual prediction
  • a corresponding block in a reference picture different from the current view may be found based on the disparity vector, and a residual prediction sample of the current block may be generated using another reference block derived based on the corresponding block.
  • FIG. 4 is a diagram schematically illustrating an inter-view motion prediction method.
  • the current block 420 in the current picture 410 is coded (encoded / decoded).
  • the current picture 810 may be a depth picture.
  • the current block 420 may be a prediction block or a block coded based on MCP.
  • MCP motion compensated prediction
  • DCP disparity compensated prediction
  • the motion information of the current block 420 may be derived based on the motion information of the corresponding block 440 in the inter-view reference picture 430.
  • the corresponding block 440 may be derived based on the disparity vector as described above.
  • FIG. 5 is a diagram schematically illustrating a residual prediction method.
  • a reference block used for the residual prediction of the current block 505 (reference sample) ) May be derived, and residual prediction samples for the current block 505 may be generated based on the residual of the derived reference blocks.
  • reference blocks for residual prediction may vary depending on whether (1) temporal residual prediction or (2) inter-view residual prediction.
  • the predictor When the temporal residual prediction method is applied, the predictor first derives the corresponding block 515 in the reference view Vref corresponding to the current block 505.
  • the corresponding block 515 may be derived from the picture 510 belonging to the reference view of the current block 505 among the pictures in the same AU as the current block 505.
  • the location of the corresponding block 515 may be specified using the disparity vector 520 within the picture 510 belonging to the reference view.
  • the corresponding block 515 may be used as a first reference block (residual prediction block, rpBlock, or rpSamples) for residual prediction of the current block 505.
  • first reference block residual prediction block, rpBlock, or rpSamples
  • the prediction unit derives the reference picture 520 or 530 of the corresponding block 515 in the reference view, and derives the reference block 525 or 535 from the reference picture 520 or 530 of the derived corresponding block 515. do.
  • the reference block 525 or 535 may be used as a second reference block (residual prediction reference block, rpRefBlock or rpRefSamples) for residual prediction of the current block 505.
  • rpRefBlock residual prediction reference block
  • rpRefSamples residual prediction reference block
  • a picture having the same POC value as the reference picture 540 or 550 of the current block 505 in the current view may be selected, or the register of the current block 505. It may be a reference picture in the reference picture list used for dual prediction.
  • the reference block 525 or 535 of the corresponding block 515 is motion information of the current block 505 in the reference picture 520 or 530 of the corresponding block 515, for example, the motion vector 560 or 565 of the current block 505. ) Can be specified by performing motion compensation.
  • the reference picture 540 of the current block 505 is a picture that can be referred to as forward-directional (L0) in inter prediction, and is a picture specified by the reference picture index Ref0 in the reference picture list L0, for example. Can be.
  • the reference picture 550 of the current block 505 is a picture that may be referred to backward-directinonal in inter prediction, and may be, for example, a picture specified by the reference picture index Ref1 in the reference picture list L1.
  • the prediction unit may use the difference between the first reference block reBlock and the second reference block rpRefBlock derived for the residual prediction as the residual prediction sample value of the current block 505 as described above.
  • the difference value obtained by subtracting the sample value of the reference block 525 or 535 from the sample value of the corresponding block 515 may be derived as the residual prediction sample value of the current block 505.
  • a weighting factor may be applied to the residual prediction sample value of the current block 505.
  • the weight may be transmitted from an encoder to a decoder.
  • the weight may be called iv_res_pred_weight_idx.
  • the weight may be, for example, one of 0, 0.5 or 1.
  • the weight 0 may be indicative that residual prediction is not applied.
  • Index information indicating which weight to apply may be transmitted in units of blocks from the encoder to the decoder.
  • the inter-view residual prediction method will be described. For example, when the current block is predicted from the inter-view reference picture, the inter-view residual prediction method may be applied.
  • the prediction unit derives the reference picture 540 or 550 in the current view and derives the reference block 545 or 555 in the reference picture 540 or 550.
  • the prediction unit may induce the reference block 545 or 555 in the reference picture 540 or 550 based on the derived temporal motion vector of the corresponding block 515.
  • the reference block 545 or 555 may be used as a first reference block (residual prediction block, rpBlock, or rpSamples) for residual prediction of the current block 505.
  • the prediction unit derives the corresponding block 515 in the reference view corresponding to the current block 505.
  • the corresponding block 515 may be derived from the picture 510 belonging to the reference view of the current block 505 among the pictures in the same AU as the current block 505.
  • the position of the corresponding block 515 may be specified using the disparity vector 520 of the current block 505 within the picture 510 of the reference view.
  • the prediction unit derives the reference picture 520 or 530 of the corresponding block 515 based on the (temporal) motion vector of the corresponding block 515 and the reference picture index, and the reference picture 520 of the corresponding block 515. Or reference block 525 or 535 from 530.
  • the reference block 525 or 535 may be used as a second reference block (residual prediction reference block, rpRefBlock or rpRefSamples) for residual prediction of the current block 550.
  • a picture having the same POC value as the reference picture 540 or 550 of the current block 505 in the current view may be selected, or the current block 505 may be selected. It may be a reference picture in the reference picture list for the reference view used for residual prediction.
  • the prediction unit may use the difference between the first reference block rpBlcok and the second reference block rpRefBlock derived for the residual prediction as the residual prediction sample value of the current block 515 as described above. For example, a value obtained by subtracting the sample value of the reference block 525 or 535 in the reference view from the sample value of the reference block 545 or 555 in the current view may be derived as the residual prediction value of the current block 505. In this case, as described above, a weight may be applied to the residual prediction sample value of the current block 505.
  • the weight may be, for example, one of 0, 0.5 or 1.
  • a weight of 0 may indicate that residual prediction is not applied.
  • Index information indicating which weight to apply may be transmitted in units of blocks.
  • a corresponding block of a current block is derived on a reference picture of a reference view using a disparity vector, and motion information (eg, motion) for the corresponding block is derived.
  • the motion vector includes a temporal motion vector.
  • the position of the corresponding block may not exactly correspond to any prediction block on the reference picture of the reference view, and storing the motion information of all prediction blocks in the reference picture of the reference view for coding of the current block is an encoder and a decoder. This is a considerable burden on the buffer load.
  • the motion information of the prediction unit (PU) to be currently encoded may directly obtain motion information of a corresponding block encoded in time or may be used as a prediction value. Therefore, even if encoding and decoding of one frame (or picture) are completed, the motion information of the blocks in the frame may be used for encoding and decoding the next frame or picture. In this case, motion information of blocks of a previous frame may be compressed at a ratio of 1/4 or 1/16 and stored in a buffer (or a memory).
  • the frames of other views in the AU with the same time instance as the current frame are highly correlated with the current frame, and thus the temporally Frames of other views within the AU may be referenced more for coding of the current frame than frames. That is, in performing coding of the current frame, motion information used for frames of other views in the same AU may be used relatively more than motion information of previous frames in the same view.
  • the motion information of the frame in the AU may be compressed at the 1/4 or 1/8 ratio.
  • the motion information of the upper left 4 * 4 block in each 8 * 8 block unit is represented as the representative motion vector for four 4 * 4 blocks in the 8 * 8 block.
  • the motion information of the upper left 4 * 4 blocks in each 16 * 16 block unit is representative of the motion vectors of 16 4 * 4 blocks in the 16 * 16 blocks.
  • motion information compression technology is a method for reducing the buffer size and memory bandwidth, which is a big advantage in hardware implementation than software implementation.
  • the amount of computation that compresses motion information can be more of an issue than the gains caused by buffer size and memory bandwidth reduction.
  • the present invention proposes a method for deriving effective and precise compressed motion information without compressing physical motion information in software implementation.
  • a corresponding block of a current block is derived on a reference picture of a reference view using a disparity vector, and motion information about the corresponding block is obtained. (E.g., motion vectors).
  • motion vectors the position of the corresponding block may not be aligned to the 4 * 4 block grid that is the minimum block unit.
  • 6 is a diagram schematically illustrating a positional relationship between a current block and a corresponding block. 6 exemplarily shows pictures in a 4 * 4 block grid.
  • the current picture 600 is a picture on view V1
  • reference picture 630 is a picture on view V0.
  • the corresponding block 640 may be derived using the current block 610 and the disparity vector 620 on the current picture 630.
  • the corresponding block 640 may be overlapped with several blocks, and a criterion for deriving motion information for the corresponding block 640 should be defined in consideration of motion information compression.
  • the (prediction) block covering the position of the reference sample may be determined as the representative block, and the motion information of the representative block may be determined as the motion information for the corresponding block 640.
  • the position of the reference sample may be specified as a top-left position of the first block of FIG. 6, and the representative block may be the first block.
  • the position of the reference sample may be determined or calculated based on the position of the corresponding sample, and the position of the corresponding sample is the upper left position or center of the corresponding block determined based on the position of the current block 610 and the disparity vector. Can be derived from location.
  • the width (width) and height (height) of the corresponding block are each composed of an even number of samples, four samples face each other at the center point of the corresponding block. In this case, the position of the lower right sample of the four center samples The center position can be determined.
  • the position of the current block 610 may indicate the upper left position of the current block 610.
  • the position of the reference sample includes the corresponding sample.
  • the upper left sample position of the motion compression unit block may be set.
  • the position of the representative sample may be set to the upper left sample position of the motion compression unit block regardless of the detailed positions of the corresponding sample and the corresponding block. If the motion compression unit block has an 8 * 8 size, the representative block may have a 4 * 4 size.
  • the position of the reference sample may be derived by performing a shift operation based on the position of the corresponding sample.
  • the shift operation includes arithmetic right shift (>>) and arithmetic left shift ( ⁇ ).
  • the position of the reference sample may be determined based on the following equation.
  • xRef and yRef are the x and y coordinates of the location of the reference sample, respectively
  • xRefFull and yRefFull are the x and y coordinates of the location of the corresponding sample, respectively
  • pic_width_in_luma_samples is the width of the luma samples-based picture, pic_height_in_luma_samples, respectively. It represents the height of the picture based on the luma samples.
  • the picture may include a current picture or may include a reference picture. Alternatively, when the current picture and the reference picture are set to have the same width and height, the picture may include the current picture and the reference picture.
  • the Clip3 operation can be expressed as Equation 2 below.
  • the block in which the corresponding block most overlaps (prediction) may be determined as the representative block.
  • the representative block may be block 4 of FIG. 6.
  • the above-described motion information compression method according to the present invention may be performed by the video encoding apparatus of FIG. 2 and may be performed by the video decoding apparatus of FIG. 3.
  • FIG. 7 is a flowchart schematically illustrating a 3D video coding method according to an embodiment of the present invention. Hereinafter, the decoding apparatus will be described.
  • the decoding apparatus derives a disparity vector for a current block (S700).
  • the disparity vector may be derived from a depth value using a camera parameter, or may be derived from a motion vector or disparity vector of a neighboring block in a current or another view.
  • the disparity vector may be derived based on a spatial or temporal neighboring block of the current block, in which case the neighboring block may be coded based on disparity compensated prediction (DCP).
  • DCP disparity compensated prediction
  • the picture to which the current block belongs is a texture picture
  • the disparity vector derived from the neighboring block may be called a disparity vector from neighboring blocks (NBDV).
  • the disparity vector may be derived based on the reference view and a predetermined depth value.
  • the predetermined value may be a middle value of a depth value range.
  • the decoding device may receive video information from the encoding device through the bitstream.
  • the video information may include block partition information, prediction mode information, residual information, and values of syntax elements for reconstructing a current block.
  • the bitstream may be transmitted from the encoding device to the decoding device via a network or a storage medium.
  • the decoding apparatus determines a corresponding sample position on a reference view based on the disparity vector (S710).
  • the position of the corresponding sample may be derived as the upper left position of the corresponding block determined based on the position of the current block and the disparity vector.
  • the position of the corresponding sample may be derived as the center position of the corresponding block.
  • the center position may indicate the position of the lower right sample among the center four samples of the corresponding block.
  • the decoding apparatus derives the position of the reference sample based on the position of the corresponding sample (S720).
  • the position of the reference sample may be a top-left sample position of a motion compression unit block including the corresponding sample.
  • the motion compression unit block may have a size of 8 * 8.
  • the position of the reference sample may be derived by performing a shift operation based on the position of the corresponding sample. Specifically, for example, the position of the reference sample may be determined based on Equation 1.
  • the decoding apparatus derives motion information of the representative block covering the position of the reference sample (S730).
  • the representative block may be a prediction block covering the position of the reference sample.
  • the representative block may have a 4 * 4 size.
  • the decoding apparatus may derive the IvMC for the current block based on the derived motion information. That is, the derived motion information may be used as an IvMC for the current block, and the decoding apparatus generates a predictive sample (or sample array) for the current block based on the IvMC and generates a residual sample (or sample array). In addition, a reconstruction sample (picture) can be generated.
  • the decoding apparatus may perform residual prediction based on the derived motion information. Specifically, for example, the decoding apparatus derives the first reference block on the current view based on the temporal motion vector of the corresponding block on the reference view derived based on the disparity vector, and temporal motion on the corresponding block. A second reference block on the reference view may be derived based on a vector. The decoding apparatus may generate a (residual) prediction sample (or sample array) of the current block based on the first reference block and the second reference block. A temporal motion vector for the corresponding block may be derived based on the motion information of the prediction block covering the position of the reference sample.
  • the motion information of the prediction block may include a motion vector, and the motion vector may be used as the temporal motion vector.
  • the residual prediction may be inter-view residual prediction.
  • the decoding apparatus may generate a reconstructed sample (picture) based on the (residual) prediction sample (or sample array) of the current block. In this case, the decoding apparatus may generate the reconstructed sample (picture) by adding the residual sample (or sample array) to the (residual) prediction sample (or sample array) as needed.
  • the above-described method may be implemented as a module (process, function, etc.) for performing the above-described function.
  • the module may be stored in memory and executed by a processor.
  • the memory may be internal or external to the processor and may be coupled to the processor by various well known means.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 3D 비디오를 코딩하는 장치 및 방법에 관한 것으로, 본 발명에 따른 디코딩 방법은 D 비디오 디코딩 방법을 제공한다. 상기 디코딩 방법은 현재 블록에 대한 디스패리티 벡터를 도출하는 단계, 상기 디스패리티 벡터를 기반으로 참조 뷰 상의 대응 샘플의 위치를 도출하는 단계, 상기 대응 샘플의 위치를 기반으로 참조 샘플의 위치를 도출하는 단계 및 상기 참조 샘플의 위치를 커버하는 예측 블록의 움직임 정보를 도출하는 단계를 포함함을 특징으로 한다. 본 발명에 따르면, 디스패리티 벡터를 이용하여 참조 뷰 내의 대응 블록을 도출하는 경우, 움직임 정보 압축을 고려하여 해당 대응 블록의 움직임 정보를 도출할 수 있고, 인코더 및 디코더의 버퍼 부하(load)를 줄일 수 있으며, 처리되는 정보의 양을 줄임으로써 코딩 효율을 향상시킬 수 있다.

Description

3D 비디오 코딩을 위한 움직임 정보 압축 방법 및 장치
본 발명은 비디오 코딩에 관한 기술로서, 보다 상세하게는 3D 비디오 코딩에서 움직임 정보를 압축하여 버퍼에 저장하고 활용하기 위한 방법 및 장치에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 대한 정보량도 함께 증가한다.
따라서, 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우에는, 정보의 전송 비용과 저장 비용이 증가하게 된다. 고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.
한편, 고해상/대용량의 영상을 처리할 수 있게 됨에 따라서, 3D 비디오를 이용한 디지털 방송 서비스가 차세대 방송 서비스의 하나로 주목 받고 있다. 3D 비디오는 복수의 시점(view) 채널을 이용하여 현장감과 몰입감을 제공할 수 있다.
3D 비디오는 FCC(free viewpoint video), FTV(free viewpoint TV), 3DTV, 사회 안전망(surveillance) 및 홈 엔터테인먼트와 같은 다양한 영역에 사용될 수 있다.
싱글 뷰 비디오(single view video)와 달리 멀티 뷰를 이용한 3DV(3D video)는 동일한 POC(picture order count)의 뷰들 사이에 높은 상관도(correlation)을 가진다. 멀티 뷰 영상은 인접한 여러 카메라 즉, 여러 시점(view)을 이용하여 똑같은 장면을 동시에 촬영하기 때문에, 시차와 약간의 조명 차이를 제외하면 거의 같은 정보를 담고 있으므로 서로 다른 뷰 간의 상관도가 높다.
따라서, 3D 비디오의 인코딩/디코딩에서는 서로 다른 뷰 사이의 상관도를 고려하여, 현재 뷰의 인코딩 및/또는 디코딩에 필요한 정보를 획득할 수 있다. 예를 들어, 현재 뷰의 디코딩 대상인 현재 블록을 다른 뷰의 블록을 참조하여 예측하거나 디코딩할 수 있다.
각 뷰 내의 각 픽처들은 서로 다른 크기의 블록들로 분할될 수 있으며, 현재 블록의 코딩을 위하여 참조 블록을 포함하는 다른 뷰의 참조 픽처 내 모든 관련 정보를 저장하는 것은 인코더 및 디코더의 버퍼 부하(load)에 부담이 된다. 따라서, 움직임 정보 등의 관련 정보 압축(compression)이 수행되어야 한다.
본 발명은 3D 비디오 코딩에서 움직임 정보 압축 방법 및 장치를 제공한다.
본 발명은 참조 뷰의 참조 픽처 내의 각 블록들에 대한 움직임 정보 압축 저장 방법 및 장치를 제공한다.
본 발명은 현재 블록을 코딩함에 있어서, 움직임 정보 압축을 고려하여 참조 블록에 대한 움직임 정보를 도출함에 있다.
본 발명은 디스패리티 벡터를 이용하여 참조 뷰 내의 대응 블록을 도출하는 경우, 움직임 정보 압축을 고려하여 해당 대응 블록의 움직임 정보를 도출함에 있다.
본 발명은 현재 블록에 대하여 인터-뷰 머지 후보 또는 레지듀얼 예측 방법이 사용되는 경우 대응 블록의 움직임 정보 도출 방법 및 장치를 제공한다.
본 발명의 일 실시예에 따르면 3D 비디오 디코딩 방법을 제공한다. 상기 디코딩 방법은 현재 블록에 대한 디스패리티 벡터를 도출하는 단계, 상기 디스패리티 벡터를 기반으로 참조 뷰 상의 대응 샘플의 위치를 도출하는 단계, 상기 대응 샘플의 위치를 기반으로 참조 샘플의 위치를 도출하는 단계 및 상기 참조 샘플의 위치를 커버하는 예측 블록의 움직임 정보를 도출하는 단계를 포함함을 특징으로 한다.
여기서, 상기 도출된 움직임 정보를 기반으로 상기 현재 블록에 대한 인터-뷰 예측 또는 레지듀얼 예측이 수행될 수 있다.
상기 대응 샘플의 위치는 상기 현재 블록의 위치와 상기 디스패리티 벡터를 기반으로 결정되는 대응 블록의 좌상단 위치로 도출될 수 있다.
상기 대응 샘플의 위치는 상기 현재 블록의 위치와 상기 디스패리티 벡터를 기반으로 결정되는 대응 블록의 센터 위치로 도출될 수 있다.
상기 참조 샘플의 위치는 상기 대응 샘플을 포함하는 움직임 압축 단위 블록(motion compression unit block)의 좌상단(top-left) 샘플 위치일 수 있다.
상기 참조 샘플의 위치는 상기 대응 샘플의 위치를 기반으로 쉬프트(shift) 연산을 수행하여 도출될 수 있다.
본 발명의 다른 일 실시예에 따르면 3D 비디오 디코딩 장치를 제공한다. 상기 디코딩 장치는, 비디오 정보를 디코딩하는 디코딩부, 현재 블록에 대한 디스패리티 벡터를 도출하고, 상기 디스패리티 벡터를 기반으로 참조 뷰 상의 대응 샘플의 위치를 결정하고, 상기 대응 샘플의 위치를 기반으로 참조 샘플의 위치를 도출하고, 및 상기 참조 샘플의 위치를 커버하는 예측 블록의 움직임 정보를 도출하는 예측부를 포함함을 특징으로 한다.
본 발명에 따르면 3D 비디오 코딩에서 움직임 정보를 압축하여 저장할 수 있다. 따라서, 디스패리티 벡터를 이용하여 참조 뷰 내의 대응 블록을 도출하는 경우, 움직임 정보 압축을 고려하여 해당 대응 블록의 움직임 정보를 도출할 수 있고, 인코더 및 디코더의 버퍼 부하(load)를 줄일 수 있으며, 처리되는 정보의 양을 줄임으로써 코딩 효율을 향상시킬 수 있다.
도 1은 본 발명이 적용될 수 있는 3D 비디오의 인코딩 및 디코딩 과정을 개략적으로 설명하는 도면이다.
도 2는 본 발명이 적용될 수 있는 비디오 인코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 3은 본 발명이 적용될 수 있는 비디오 디코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 4는 인터-뷰 움직임 예측 방법을 개략적으로 나타내는 도면이다.
도 5는 레지듀얼 예측 방법을 개략적으로 나타내는 도면이다.
도 6은 현재 블록과 대응 블록 간의 위치관계를 개략적으로 나타낸 도면이다
도 7은 본 발명의 실시예에 따른 3D 비디오 코딩 방법을 개략적으로 나타낸 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정 실시예에 한정하려고 하는 것이 아니다. 본 명세서에서 상용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 도는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
본 명세서에서 픽처(picture)는 일반적으로 특정 시간대의 하나의 영상을 나타내는 단위를 의미하며, 슬라이스(slice)는 코딩에 있어서 픽처의 일부를 구성하는 단위이다. 하나의 픽처는 복수의 슬라이스로 구성될 수 있으며, 필요에 따라서 픽처 및 슬라이스는 서로 혼용되어 사용될 수 있다.
픽셀(pixel) 또는 펠(pel)은 하나의 픽처(또는 영상)을 구성하는 최소의 단위를 의미할 수 있다. 또한, 특정한 픽셀의 값을 나타내는 용어로서 '샘플(sample)'이 사용될 수 있다. 샘플은 일반적으로 픽셀의 값을 나타낼 수 있으며, 휘도(luma) 성분의 픽셀 값만을 나타낼 수도 있고, 채도(chroma) 성분의 픽셀 값만을 나타낼 수도 있다.
유닛(unit)은 영상 처리의 기본 단위를 나타낸다. 유닛은 픽처의 특정 영역 및 해당 영역에 관련된 정보 중 적어도 하나를 포함할 수 있다. 유닛은 경우에 따라서 블록(block) 또는 영역(area) 등의 용어와 혼용하여 사용될 수 있다. 일반적인 경우, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들 또는 변환 계수(transform coefficient)들의 집합을 나타낼 수 있다.
도 1은 본 발명이 적용될 수 있는 3D 비디오의 인코딩 및 디코딩 과정을 개략적으로 설명하는 도면이다.
도 1을 참조하면, 3D 비디오 인코더는 비디오 픽처 및 뎁스 맵(depth map)과 카메라 파라미터(camera parameter)를 인코딩하여 비트스트림으로 출력할 수 있다.
뎁스 맵은 대응하는 비디오 픽처(텍스처 픽처)의 픽셀에 대하여 카메라와 피사체 간의 거리 정보(깊이 정보)로 구성될 수 있다. 예컨대, 뎁스 맵은 깊이 정보를 비트 뎁스(bit depth)에 따라 정규화한 영상일 수 있다. 이 때, 뎁스 맵은 색차 표현없이 기록된 깊이 정보로 구성될 수 있다. 뎁스 맵은 뎁스 맵 픽처 또는 뎁스 픽처로 불릴 수 있다.
일반적으로 피사체와의 거리와 디스패리티는 서로 반비례하므로, 카메라 파라미터를 이용하여 뎁스 맵의 깊이 정보로부터 뷰 간의 상관도를 나타내는 디스패리티 정보를 유도할 수 있다.
일반적인 컬러 영상 즉, 비디오 픽처(텍스처 픽처)와 함께 뎁스 맵과 카메라 파라미터를 포함하는 비트스트림은 네트워크(network) 또는 저장매체를 통해 디코더로 전송될 수 있다.
디코더 측에서는 비트스트림을 수신해서 비디오를 복원할 수 있다. 디코더 측에서 3D 비디오 디코더가 이용되는 경우, 3D 비디오 디코더는 비트스트림으로부터 비디오 픽처와 뎁스 맵 및 카메라 파라미터를 디코딩할 수 있다. 디코딩된 비디오 픽처와 뎁스 맵 그리고 카메라 파라미터를 기반으로 멀티 뷰(multi view) 디스플레이에 필요한 뷰들을 합성할(synthesize) 수도 있다. 이 때, 사용되는 디스플레이가 스테레오(stereo) 디스플레이인 경우라면, 복원된 멀티 뷰들 중에서 두 개의 뷰에 대한 픽처들을 이용하여 3D 영상을 디스플레이 할 수 있다.
스테레오 비디오 디코더가 사용되는 경우에, 스테레오 비디오 디코더는 비트스트림으로부터 양 안(eyes)에 각각 입사될 두 픽처를 복원할 수 있다. 스테레오 디스플레이에서는 왼쪽 눈에 입사되는 좌측 영상과 우측 눈에 입사되는 우측 영상의 시차(view difference) 혹은 디스패리티(disparity)를 이용해서 입체 영상을 디스플레이 할 수 있다. 스테레오 비디오 디코더와 함께 멀티 뷰 디스플레이가 사용되는 경우에는, 복원된 두 픽처를 기반으로 다른 뷰들을 생성하여 멀티 뷰를 디스플레이할 수도 있다.
2D 디코더가 사용되는 경우에는 2차원 영상을 복원해서 2D 디스플레이로 영상을 출력할 수 있다. 2D 디스플레이를 사용하지만, 디코더는 3D 비디오 디코더를 사용하거나 스테레오 비디오 디코더를 사용하는 경우에는 복원된 영상들 중 하나를 2D 디스플레이로 출력할 수도 있다.
도 1의 구성에서, 뷰 합성은 디코더 측에서 수행될 수도 있고, 디스플레이 측에서 수행될 수도 있다. 또한, 디코더와 디스플레이는 하나의 장치일 수도 있고 별도의 장치일 수 도 있다.
도 1에서는 설명의 편의를 위하여 3D 비디오 디코더와 스테레오 비디오 디코더 그리고 2D 비디오 디코더가 별도의 디코더인 것으로 설명하였으나, 하나의 디코딩 장치가 3D 비디오 디코딩, 스테레오 비디오 디코딩 그리고 2D 비디오 디코딩을 모두 수행할 수도 있다. 또한, 3D 비디오 디코딩 장치가 3D 비디오 디코딩을 수행하고, 스테레오 비디오 디코딩 장치가 스테레오 비디오 디코딩을 수행하며, 2D 비디오 디코딩 장치가 2D 비디오 디코딩을 수행할 수도 있다. 더 나아가, 멀티 뷰 디스플레이가 2D 비디오를 출력하거나 스테레오 비디오를 출력할 수도 있다.
도 2는 본 발명이 적용될 수 있는 비디오 인코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 2를 참조하면, 비디오 인코딩 장치(200)는 픽처 분할부(205), 예측부(210), 감산부(215), 변환부(220), 양자화부(225), 재정렬부(230), 엔트로피 인코딩부(235), 역양자화부(240), 역변환부(245), 가산부(250), 필터부(255) 및 메모리(260)을 포함한다.
픽처 분할부(205)는 입력된 픽처를 적어도 하나의 처리 유닛 블록(processing unit block)으로 분할할 수 있다. 이 때, 처리 유닛 블록은 코딩 유닛 블록(coding unit block), 예측 유닛 블록(prediction unit block) 또는 변환 유닛 블록(transform unit block)일 수 있다. 코딩 유닛 블록은 코딩의 유닛 블록으로서 최대(largest) 코딩 유닛 블록으로부터 쿼드 트리 구조(quad-tree structure)를 따라서 분할(split)될 수 있다. 예측 유닛 블록은 코딩 유닛 블록으로부터 파티셔닝(partitioning)되는 블록으로서, 샘플 예측의 유닛 블록일 수 있다. 이 때, 예측 유닛 블록은 서브 블록(sub block)으로 나뉠 수도 있다. 변환 유닛 블록은 코딩 유닛 블록으로부터 쿼드 트리 구조를 따라서 분할 될 수 있으며, 변환 계수를 따라서 유도하는 유닛 블록 또는 변환 계수로부터 레지듀얼 신호(residual signal)를 유도하는 유닛 블록일 수 있다.
이하, 코딩 유닛 블록은 코딩 블록(coding block, CB) 또는 코딩 유닛(coding unit, CU), 예측 유닛 블록은 예측 블록(prediction block, PB) 또는 예측 유닛(prediction unit, PU), 변환 유닛 블록은 변환 블록(transform block, TB) 또는 변환 유닛(transform unit, TU)라고 불릴 수 있다.
예측 블록 또는 예측 유닛은 픽처 내에서 블록 형태의 특정 영역을 의미할 수 있고, 예측 샘플의 어레이(array)를 포함할 수 있다. 또한, 변환 블록 또는 변환 유닛은 픽처 내에서 블록 형태의 특정 영역을 의미할 수 있고, 변환 계수 또는 레지듀얼 샘플의 어레이를 포함할 수 있다.
예측부(210)는 처리 대상 블록(이하, 현재 블록이라 함)에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측 블록을 생성할 수 있다. 예측부(210)에서 수행되는 예측의 단위는 코딩 블록일 수 있고, 변환 블록일 수도 있고, 예측 블록일 수도 있다.
예측부(210)는 현재 블록에 인트라 예측이 적용되는지 인터 예측이 적용되는지를 결정할 수 있다. 일 예로, 예측부(210)는 CU 단위로 인트라 예측 또는 인터 예측이 적용되는지를 결정할 수 있다.
인트라 예측의 경우에, 예측부(210)는 현재 블록이 속하는 픽처(이하, 현재 픽처) 내의 현재 블록 외부의 참조 샘플을 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 이 때, 예측부(210)는 (i) 현재 블록의 주변(neighboring) 참조 샘플들의 평균(average) 혹은 인터폴레이션(interpolation)을 기반으로 예측 샘플을 유도할 수 있고, (ii) 현재 블록의 주변 참조 샘플들 중 예측 샘플에 대하여 특정 (예측) 방향에 존재하는 참조 샘플을 기반으로 상기 예측 샘플을 유도할 수도 있다. (i)의 경우는 비방향성 모드, (ii)의 경우는 방향성(directional) 모드라고 불릴 수 있다. 예측부(210)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측의 경우에, 예측부(210)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 샘플을 기반으로, 현재 블록에 대한 예측 샘플을 유도할 수 있다. 예측부(210)는 스킵(skip) 모드, 머지(merge) 모드, 및 MVP(motion vector prediction) 모드 중 어느 하나를 적용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다. 스킵 모드와 머지 모드의 경우에, 예측부(210)는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 스킵 모드의 경우, 머지 모드와 달리 예측 샘플과 원본 샘플 사이의 차(레지듀얼)이 전송되지 않는다. MVP 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하여 현재 블록의 움직임 벡터 예측자로 이용하여 현재 블록의 움직임 벡터를 유도할 수 있다.
인터 예측의 경우에, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처(reference picture)에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함한다. 상기 시간적 주변 블록을 포함하는 참조 픽처는 동일 위치 픽처(collocated picture, colPic)라고 불릴 수도 있다. 움직임 정보(motion information)는 움직임 벡터와 참조 픽처를 포함할 수 있다. 스킵 모드와 머지 모드에서 시간적 주변 블록의 움직임 정보가 이용되는 경우에, 참조 픽처 리스트(reference picture list) 상의 최상위 픽처가 참조 픽처로서 이용될 수도 있다.
멀티 뷰의 경우, 독립 뷰(independent view)와 종속 뷰(dependent view)로 구분될 수 있으며, 종속 뷰에 대한 인코딩의 경우에, 예측부(210)는 인터 예측뿐 아니라 인터 뷰(inter-view) 예측을 수행할 수도 있다.
예측부(210)는 다른 뷰의 픽처를 포함하여 참조 픽처 리스트를 구성할 수 있다. 인터 뷰 예측을 위해, 예측부(210)는 디스패리티 벡터를 유도할 수 있다. 현재 뷰 내 다른 픽처에서 현재 블록에 대응하는 블록을 특정하는 움직임 벡터와 달리, 디스패리티 벡터는 현재 픽처와 동일한 AU(access unit)의 다른 뷰에서 현재 블록에 대응하는 블록을 톡정할 수 있다. AU는 예를 들어 멀티 뷰에서, 동일 시점(same time instance)에 대응하는(correspond) 비디오 픽처들 및 뎁스 맵들을 포함할 수 있다. 여기서, AU는 POC(Picture Order Count)가 같은 픽처들의 집합을 의미할 수 있다. POC는 픽처의 디스플레이 순서에 대응하며, 코딩 순서와 구분될 수 있다.
예측부(210)는 디스패리티 벡터를 기반으로, 뎁스 뷰(depth view) 내의 뎁스 블록(depth block)을 특정할 수 있고, 머지 리스트의 구성, 인터-뷰 움직임 예측(inter-view motion prediction), 레지듀얼 예측, IC(illumination compensation), 뷰 합성 등을 수행할 수 있다.
현재 블록에 대한 디스패리티 벡터는 카메라 파라미터를 이용하여 뎁스 값으로부터 유도되거나, 현재 또는 다른 뷰 내 주변 블록의 움직임 벡터 또는 디스패리티 벡터로부터 유도될 수 있다.
예컨대, 예측부(210)는 참조 뷰(reference view)의 시간적 움직임 정보에 대응하는 인터 뷰 머지 후보(inter-view merging candidate: IvMC), 디스패리티 벡터 대응하는 인터 뷰 디스패리티 벡터 후보(inter-view disparity vector candidate: IvDC), 디스패리티 벡터의 쉬프트(shift)에 의해 유도되는 쉬프티드 인터뷰 머지 후보(shifted IvMC), 현재 블록이 뎁스 맵 상의 블록인 경우에 대응하는 텍스처 픽처로부터 유도되는 텍스처 머지 후보(texture merging candidate: T), 텍스처 머지 후보로부터 디스패리티를 이용하여 유도되는 디스패리티 유도 머지 후보(disparity derived merging candidate: D), 뷰 합성에 기반해서 유도되는 뷰 합성 예측 후보(view synthesis prediction candidate: VSP) 등을 머지 후보 리스트에 추가할 수 있다.
이 때, 종속 뷰에 적용되는 머지 후보 리스트에 포함되는 후보의 개수는 소정의 값으로 제한될 수 있다.
또한, 예측부(210)는 인터 뷰 움직임 벡터 예측을 적용하여, 디스패리티 벡터를 기반으로 현재 블록의 움직임 벡터를 예측할 수도 있다. 이 때, 예측부(210)는 대응하는 깊이 블록 내 최대 깊이 값의 전환(conversion)에 기반하여 디스패리티 벡터를 유도할 수 있다. 참조 뷰 내의 현재 블록의 샘플 위치에 디스패리티 벡터를 더하여 참조 뷰 내 참조 샘플의 위치가 특정되면, 참조 샘플을 포함하는 블록을 참조 블록으로 이용할 수 있다. 예측부(210)는 참조 블록의 움직임 벡터를 현재 블록의 후보 움직임 파라미터 혹은 움직임 벡터 예측자 후보로 이용할 수 있으며, 상기 디스패리티 벡터를 디스패리티 보상 예측(disparity compensated prediction: DCP)을 위한 후보 디스패리티 벡터로 이용할 수 있다.
감산부(215)는 원본 샘플과 예측 샘플 간의 차이인 레지듀얼 샘플을 생성한다. 스킵 모드가 적용되는 경우에는, 상술한 바와 같이 레지듀얼 샘플을 생성하지 않을 수 있다.
변환부(220)는 변환 블록 단위로 레지듀얼 샘플을 변환하여 변환 계수(transform coefficient)를 생성한다. 양자화부(225)는 변환 계수들을 양자화하여, 양자화된 변환 계수를 생성할 수 있다.
재정렬부(230)는 양자화된 변환 계수를 재정렬한다. 재정렬부(230)는 계수들 스캐닝(scanning) 방법을 통해 블록 형태의 양자화된 변환 계수들을 1차원 벡터 형태로 재정렬할 수 있다.
엔트로피 인코딩부(235)는 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩은 예를 들어 지수 골롬(exponential Golomb), CAVLC(context-adaptive variable length coding), CABAC(context-adaptive binary arithmetic coding) 등과 같은 인코딩 방법을 포함할 수 있다. 엔트로피 인코딩부(235)는 양자화된 변환 계수 외 비디오 복원에 필요한 정보들(예컨대 신택스 요소(syntax element)의 값 등)을 함께 또는 별도로 인코딩할 수도 있다. 엔트로피 인코딩된 정보들은 비트스트림 형태로 NAL(network abstraction layer) 유닛 단위로 전송 또는 저장될 수 있다.
가산부(250)는 레지듀얼 샘플과 예측 샘플을 합쳐서 픽처를 복원한다. 레지듀얼 샘플과 예측 샘플은 블록 단위로 더해져서 복원 블록이 생성될 수 있다. 여기서 가산부(250)는 별도의 구성으로 설명하였으나, 가산부(250)는 예측부(210)의 일부일 수 있다.
복원된 픽처(reconstructed picture)에 대하여 필터부(255)는 디블록킹 필터 및/또는 샘플 적응적 오프셋(sample adaptive offset)을 적용할 수 있다. 디블록킹 필터링 및/또는 샘플 적응적 오프셋을 통해, 복원 픽처 내 블록 경계의 아티팩트나 양자화 과정에서의 왜곡이 보정될 수 있다. 샘플 적응적 오프셋은 샘플 단위로 적용될 수 있으며, 디블록킹 필터링의 과정이 완료된 후 적용될 수 있다.
메모리(260)는 복원 픽처 또는 인코딩/디코딩에 필요한 정보를 저장할 수 있다. 예컨대, 메모리(260)는 인터 예측/인터 뷰 예측에 사용되는 (참조) 픽처들을 저장할 수 있다. 이 때, 인터 예측/인터 뷰 예측에 사용되는 픽처들은 참조 픽처 세트(reference picture set) 혹은 참조 픽처 리스트(reference picture list)에 의해 지정될 수 있다.
여기서는, 하나의 인코딩 장치가 독립 뷰 및 종속 뷰를 인코딩하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 각 뷰별로 별도의 인코딩 장치가 구성되거나, 각 뷰별로 별도의 내부 모듈(예컨대, 각 뷰별 예측 모듈)이 구성될 수도 있다.
도 3은 본 발명이 적용될 수 있는 비디오 디코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 3을 참조하면, 비디오 디코딩 장치(300)는 엔트로피 디코딩부(310), 재정렬부(320), 역양자화부(330), 역변환부(340), 예측부(350), 가산부(360), 필터부(370), 메모리(380)를 포함한다.
비디오 정보를 포함하는 비트스트림이 입력되면, 비디오 디코딩 장치는(300)는 비디오 인코딩 장치에서 비디오 정보가 처리된 프로세스에 대응하여 비디오를 복원할 수 있다.
예컨대, 비디오 디코딩 장치(300)는 비디오 인코딩 장치에서 적용된 처리 유닛을 이용하여 비디오 디코딩을 수행할 수 있다. 따라서 비디오 디코딩의 처리 유닛 블록은 코딩 유닛 블록, 예측 유닛 블록 또는 변환 유닛 블록일 수 있다. 코딩 유닛 블록은 디코딩의 유닛 블록으로서 최대 코딩 유닛 블록으로부터 쿼드 트리 구조를 따라서 분할될 수 있다. 예측 유닛 블록은 코딩 유닛 블록으로부터 파티셔닝되는 블록으로서, 샘플 예측의 유닛 블록일 수 있다. 이 때, 예측 유닛 블록은 서브 블록으로 나뉠 수도 있다. 변환 유닛 블록은 코딩 유닛 블록으로부터 쿼드 트리 구조를 따라서 분할 될 수 있으며, 변환 계수를 유도하는 유닛 블록 또는 변환 계수로부터 레지듀얼 신호를 유도하는 유닛 블록일 수 있다.
엔트로피 디코딩부(310)는 비트스트림을 파싱하여 비디오 복원 또는 픽처 복원에 필요한 정보를 출력할 수 있다. 예컨대, 엔트로피 디코딩부(310)는 지수 골롬 부호화, CAVLC 또는 CABAC 등의 코딩 방법을 기초로 비트스트림 내 정보를 디코딩하고, 비디오 복원에 필요한 신택스 엘리먼트의 값, 레지듀얼에 관한 변환 계수의 양자화된 값 들을 출력할 수 있다.
3D 비디오를 재생하기 위해 복수의 뷰(view)를 처리하는 경우, 비트스트림은 각 뷰 별로 입력될 수 있다. 혹은, 비트스트림 내에서 각 뷰에 대한 정보가 멀티플렉싱되어 있을 수 있다. 이 경우, 엔트로피 디코딩부(310)는 비트스트림을 역다중화(de-multiplixing)하여 뷰 별로 파싱(parsing)할 수도 있다.
재정렬부(320)는 양자화되어 있는 변환 계수들을 2차원의 블록 형태로 재정렬할 수 있다. 재정렬부(320)는 인코딩 장치에서 수행된 계수 스캐닝에 대응하여 재정렬을 수행할 수 있다.
역양자화부(330)는 양자화되어 있는 변환 계수들을 (역)양자화 파라미터를 기반으로 역양자화하여 변환 계수를 출력할 수 있다. 이 때, 양자화 파라미터를 유도하기 위한 정보는 인코딩 장치로부터 시그널링될 수 있다.
역변환부(340)는 변환 계수들을 역변환하여 레지듀얼 샘플들을 유도할 수 있다.
예측부(350)는 현재 블록에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측 블록을 생성할 수 있다. 예측부(350)에서 수행되는 예측의 단위는 코딩 블록일 수도 있고, 변환 블록일 수도 있고, 예측 블록일 수도 있다.
예측부(350)는 인트라 예측을 적용할 것인지 인터 예측을 적용할 것인지를 결정할 수 있다. 이 때, 인트라 예측과 인터 예측 중 어느 것을 적용할 것인지를 결정하는 단위와 예측 샘플을 생성하는 단위는 상이할 수 있다. 아울러, 인터 예측과 인트라 예측에 있어서 예측 샘플을 생성하는 단위 또한 상이할 수 있다. 예를 들어, 인터 예측과 인트라 예측 중 어느 것을 적용할 것인지는 CU 단위로 결정할 수 있다. 또한 예를 들어, 인터 예측에 있어서 PU 단위로 예측 모드를 결정하고 예측 샘플을 생성할 수 있고, 인트라 예측에 있어서 PU 단위로 예측 모드를 결정하고 TU 단위로 예측 샘플을 생성할 수도 있다.
인트라 예측의 경우에, 예측부(350)는 현재 픽처 내의 주변 참조 샘플을 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 예측부(350)는 현재 블록의 주변 참조 샘플을 기반으로 방향성 모드 또는 비방향성 모드를 적용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다. 이 때, 주변 블록의 인트라 예측 모드를 이용하여 현재 블록에 적용할 예측 모드가 결정될 수도 있다.
인터 예측의 경우에, 예측부(350)는 참조 픽처 상에서 움직임 벡터에 의해 참조 픽처 상에서 특정되는 샘플을 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 예측부(350)는 스킵(skip) 모드, 머지(merge) 모드 및 MVP 모드 중 어느 하나를 적용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다.
스킵 모드와 머지 모드의 경우에, 주변 블록의 움직임 정보가 현재 블록의 움직임 정보로 이용될 수 있다. 이 때, 주변 블록은 공간적 주변 블록과 시간적 주변 블록을 포함할 수 있다.
예측부(350)는 가용한 주변 블록의 움직임 정보로 머지 후보 리스트를 구성하고, 머지 인덱스가 머지 후보 리스트 상에서 지시하는 정보를 현재 블록의 움직임 벡터로 사용할 수 있다. 머지 인덱스는 인코딩 장치로부터 시그널링될 수 있다. 움직임 정보는 움직임 벡터와 참조 픽처를 포함할 수 있다. 스킵 모드와 머지 모드에서 시간적 주변 블록의 움직임 정보가 이용되는 경우에, 참조 픽처 리스트 상의 최상위 픽처가 참조 픽처로서 이용될 수 있다.
스킵 모드의 경우, 머지 모드와 달리 예측 샘플과 원본 샘플 사이의 차이(레지듀얼)이 전송되지 않는다.
MVP 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하여 현재 블록의 움직임 벡터가 유도될 수 있다. 이 때, 주변 블록은 공간적 주변 블록과 시간적 주변 블록을 포함할 수 있다.
종속 뷰(dependent view)에 대한 경우에, 예측부(350)는 인터 뷰 예측을 수행할 수 있다. 이 때, 예측부(350)는 다른 뷰의 픽처를 포함하여 참조 픽처 리스트를 구성할 수 있다.
인터 뷰 예측을 위해, 예측부(350)는 디스패리티 벡터를 유도할 수 있다. 예측부(350)는 디스패리티 벡터를 기반으로, 뎁스 뷰(depth view) 내의 뎁스 블록을 특정할 수도 있고, 머지 리스트의 구성, 인터 뷰 움직임 예측(inter-view motion prediction), 레지듀얼 예측, IC(illumination compensation), 뷰 합성 등을 수행할 수 있다.
현재 블록에 대한 디스패리티 벡터는 카메라 파라미터를 이용하여 뎁스 값으로부터 유도되거나, 현재 또는 다른 뷰 내 주변 블록의 움직임 벡터 또는 디스패리티 벡터로부터 유도될 수 있다. 카메라 파라미터는 인코딩 장치로부터 시그널링될 수 있다.
종속 뷰의 현재 블록에 머지 모드를 적용하는 경우에, 예측부(350)는 참조 뷰(refernece view)의 시간적 움직임 정보에 대응하는 IvMC, 디스패리티 벡터에 대응하는 IvDC, 디스패리티 벡터의 쉬프트(shift)에 의해 유도되는 쉬프티드 IvMC, 현재 블록이 뎁스 맵 상의 블록인 경우에 대응하는 텍스처 픽처로부터 유도되는 텍스처 머지 후보(T), 텍스처 머지 후보로부터 디스패리티를 이용하여 유도되는 디스패리티 유도 머지 후보(D), 뷰 합성에 기반해서 유도되는 뷰 합성 예측 머지 후보(VSP) 등을 머지 후보 리스트에 추가할 수 있다.
이 때, 종속 뷰에 적용되는 머지 후보 리스트에 포함되는 후보의 개수는 소정의 값으로 제한될 수 있다.
또한, 예측부(350)는 인터 뷰 움직임 벡터 예측을 적용하여, 디스패리티 벡터를 기반으로 현재 블록의 움직임 벡터를 예측할 수도 있다. 이 때, 예측부(350)는 디스패리티 벡터에 의해서 특정되는 참조 뷰 내 블록을 참조 블록으로 이용할 수 있다. 예측부(350)는 참조 블록의 움직임 벡터를 현재 블록의 후보 움직임 파라미터 혹은 움짐익 벡터 예측자 후보로 이용할 수 있으며, 상기 디스패리티 벡터를 디스패리티 보상 예측(disparity compensated prediction: DCP)을 위한 후보 디스패리티 벡터로 이용할 수 있다.
가산부(360)는 레지듀얼 샘플과 예측 샘플을 더하여 현재 블록 혹은 현재 픽처를 복원할 수 있다. 가산부(360)는 레지듀얼 샘플과 예측 샘플을 블록 단위로 더하여 현재 픽처를 복원할 수도 있다. 스킵 모드가 적용된 경우에는 레지듀얼이 전송되지 않으므로, 예측 샘플이 복원 샘플이 될 수 있다. 여기서는 가산부(360)를 별도의 구성으로 설명하였으나, 가산부(360)는 예측부(350)의 일부일 수도 있다.
필터부(370)는 복원된 픽처에 디블록킹 필터링 및/또는 샘플 적응적 오프셋을 적용할 수 있다. 이 때, 샘플 적응적 오프셋은 샘플 단위로 적용될 수 있으며, 디블록킹 필터링 이후 적용될 수도 있다.
메모리(380)는 복원 픽처 또는 디코딩에 필요한 정보를 저장할 수 있다. 예컨대, 메모리(380)는 인터 예측/인터 뷰 예측에 사용되는 픽처들을 저장할 수 있다. 이 때, 인터 예측/인터 뷰 예측에 사용되는 픽처들은 참조 픽처 세트 혹은 참조 픽처 리스트에 의해 지정될 수도 있다. 복원된 픽처는 다른 픽처에 대한 참조 픽처로서 이용될 수 있다.
또한, 메모리(380)는 복원된 픽처를 출력 순서에 따라서 출력할 수도 있다. 도시되지는 않았으나, 3D 영상을 재생하기 위해, 출력부는 복수의 서로 다른 뷰를 디스플레이할 수 있다.
도 3의 예에서는, 하나의 디코딩 장치에서 독립 뷰(independent view)와 종속 뷰(dependent view)가 디코딩되는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서 본 발명은 이에 한정되지 않는다. 예컨대, 뷰 별로 각각의 디코딩 장치가 동작할 수도 있고, 하나의 디코딩 장치 내의 각 뷰에 대응하는 내부 모듈(예컨대, 예측 모듈)이 구비될 수도 있다.
멀티 뷰 비디오 코딩은 현재 픽처와 동일한 AU(access unit)에 속하는 다른 뷰의 디코딩 데이터를 이용하여 현재 픽처를 코딩함으로써 현재 뷰에 대한 비디오 코딩 효율을 높일 수 있다.
멀티 뷰 비디오 코딩에서는 AU 단위로 뷰들을 코딩할 수 있고, 뷰 단위로 픽처들을 코딩할 수도 있다. 뷰들 간에는 정해진 순서에 따라서 코딩이 진행된다. 다른 뷰의 참조 없이 코딩될 수 있는 뷰를 베이스 뷰(base view) 또는 독립 뷰라고 할 수 있다. 또한 독립 뷰가 코딩된 뒤에 독립 뷰 또는 다른 뷰를 참조해서 코딩될 수 있는 뷰를 종속 뷰 또는 확장 뷰라고 할 수 있다. 또한, 현재 뷰가 종속 뷰인 경우, 현재 뷰의 코딩에 참조되는 뷰를 참조 뷰라고 할 수도 있다. 여기서 뷰를 코딩한다 함은 해당 뷰에 속하는 텍스처 픽처, 뎁스 픽처 등을 코딩함을 포함한다.
인터-뷰 움직임 예측(inter-view motion prediction) 절차에서는 디스패리티 벡터를 기반으로 현재 뷰와 다른 참조 뷰의 참조 픽처 내 대응 블록을 찾고, 해당 대응 블록의 움직임 정보를 현재 블록의 움직임 정보로 도출할 수 있다. 예를 들어 상기 대응 블록의 움직임 정보는 인터-뷰 머지 후보(IvMC)로 이용될 수 있고, 현재 블록의 예측 샘플 생성을 위하여 인터-뷰 머지 후보가 사용될 수 있다.
한편, 멀티 뷰 비디오 코딩에서는 레지듀얼 신호의 코딩 효율을 높이기 위해서, 뷰들 사이의 레지듀얼 상관관계(residual correlation)을 이용하여 현재 블록에 대한 레지듀얼 예측을 수행할 수 있다. 즉, 멀티 뷰 비디오 코딩에서는 현재 블록에 대한 인트라/인터 예측, 인터 뷰 예측 외에도 레지듀얼 예측을 수행할 수 있다. 상기 레지듀얼 예측은 ARP(advanced residual prediction)으로 불릴 수도 있다. 레지듀얼 예측 절차에서는 디스패리티 벡터를 기반으로 현재 뷰와 다른 참조 픽처 내 대응 블록을 찾고, 해당 대응 블록을 기반으로 도출된 다른 참조 블록을 이용하여 현재 블록의 레지듀얼 예측 샘플을 생성할 수 있다.
도 4는 인터-뷰 움직임 예측 방법을 개략적으로 나타내는 도면이다.
도 4를 참조하면, 현재 픽처(410) 내의 현재 블록(420)이 코딩(인코딩/디코딩)되는 경우를 가정한다. 여기서 현재 픽처(810)는 뎁스 픽처일 수 있다. 또한, 여기서 현재 블록(420)은 예측 블록일 수 있으며, MCP 기반으로 코딩된 블록일 수 있다. 여기서 뷰 ID가 동일한 픽처를 참조하여 예측을 수행하는 방법은 움직임 보상 예측(motion compensated prediction, MCP)라고 하고, 동일 AU 내 뷰 ID가 다른 픽처를 참조하여 예측을 수행하는 방법을 디스패리티 보상 예측(disparity compensated prediction, DCP)라고 한다.
인터-뷰 움직임 예측을 적용하는 경우에, 인터-뷰 참조 픽처(430) 내 대응 블록(440)의 움직임 정보를 기반으로 현재 블록(420)의 움직임 정보를 도출할 수 있다. 대응 블록(440)은 상술한 바와 같이 디스패리티 벡터를 기반으로 유도될 수 있다.
도 5는 레지듀얼 예측 방법을 개략적으로 나타내는 도면이다.
도 5를 참조하면, 현재 뷰(Vcurr) 내 현재 픽처(500)에서 현재 블록(505)의 레지듀얼 예측을 수행하는 경우, 현재 블록(505)의 레지듀얼 예측을 위해 사용되는 참조 블록(참조 샘플)들이 유도되고, 유도된 참조 블록들의 레지듀얼을 기반으로 현재 블록(505)에 대한 레지듀얼 예측 샘플들이 생성될 수 있다.
여기서, (1) 시간적 레지듀얼 예측(temporal residual prediction)인지, (2) 인터-뷰 레지듀얼 예측(inter-view residual prediction)인지에 따라 레지듀얼 예측을 위한 참조 블록들이 달라질 수 있다.
먼저, 시간적 레지듀얼 예측 방법에 대해 설명한다.
시간적 레지듀얼 예측 방법이 적용되는 경우, 예측부는 먼저 현재 블록(505)에 대응되는 참조 뷰(Vref) 내 대응 블록(515)을 유도한다.
대응 블록(515)은 현재 블록(505)과 동일 AU 내 픽처들 중에서 현재 블록(505)의 참조 뷰에 속하는 픽처(510)로부터 유도될 수 있다. 대응 블록(515)의 위치는 참조 뷰에 속하는 픽처(510) 내에서 디스패리티 벡터(520)를 이용하여 특정될 수 있다.
이 때, 대응 블록(515)은 현재 블록(505)의 레지듀얼 예측을 위한 제1 참조 블록(레지듀얼 예측 블록, rpBlock, 혹은 rpSamples)으로 사용될 수 있다.
다음으로, 예측부는 참조 뷰 내 대응 블록(515)의 참조 픽처(520 혹은 530)를 유도하고, 유도된 대응 블록(515)의 참조 픽처(520 혹은 530)로부터 참조 블록(525 혹은 535)를 유도한다.
이 때, 참조 블록(525 혹은 535)은 현재 블록(505)의 레지듀얼 예측을 위한 제2 참조 블록(레지듀얼 예측 참조 블록, rpRefBlock 혹은 rpRefSamples)으로 사용될 수 있다.
대응 블록(515)의 참조 픽처(520 혹은 530)는 현재 뷰 내 현재 블록(505)의 참조 픽처(540 혹은 550)와 동일한 POC 값을 가지는 픽처가 선택된 수도 있고, 또는 현재 블록(505)의 레지듀얼 예측을 위해 사용되는 참조 픽처 리스트 내 참조 픽처일 수도 있다.
대응 블록(515)의 참조 블록(525 혹은 535)은 대응 블록(515)의 참조 픽처(520 혹은 530)에서 현재 블록(505)의 움직임 정보, 예컨대 현재 블록(505)의 움직임 벡터(560 혹은 565)를 이용하여 움직임 보상을 수행함으로써 특정될 수 있다.
여기서, 현재 블록(505)의 참조 픽처(540)은 인터 예측 시 순방향(forward-directional, L0)으로 참조될 수 있는 픽처이며, 예컨대 참조 픽처 리스트 L0 내에서 참조 픽처 인덱스 Ref0에 의해 특정되는 픽처일 수 있다.
현재 블록(505)의 참조 픽처(550)는 인터 예측 시 역방향(backward-directinonal)으로 참조될 수 있는 픽처이며, 예컨대 참조 픽처 리스트 L1 내에서 참조 픽처 인덱스 Ref1에 의해 특정되는 픽처일 수 있다.
예측부는 상기와 같이 레지듀얼 예측을 위해 유도된 제1 참조 블록(reBlock)과 제2 참조 블록(rpRefBlock) 간의 차이를 현재 블록(505)의 레지듀얼 예측 샘플 값으로 사용할 수 있다. 예컨대, 대응 블록(515)의 샘플 값에서 참조 블록(525 혹은 535)의 샘플 값을 뺀 차이값을 현재 블록(505)의 레지듀얼 예측 샘플 값으로 유도할 수 있다.
이 때, 현재 블록(505)의 레지듀얼 예측 샘플 값에 가중치(weighting factor)를 적용할 수도 있다. 상기 가중치는 인코더에서 디코더로 전송될 수 있으며, 예를 들어 상기 가중치는 iv_res_pred_weight_idx로 불릴 수 있다.
가중치는 예를 들어 0, 0.5 또는 1 중의 한 값일 수 있다. 가중치 0은 레지듀얼 예측이 적용되지 않는다는 것을 지시하는 것일 수 있다. 어떤 가중치를 적용할 것인지를 지시하는 인덱스 정보가 인코더에서 디코더로 블록 단위로 전송될 수 있다.
다음으로, 인터-뷰 레지듀얼 예측 방법에 대해 설명한다. 일 예로, 현재 블록이 인터-뷰 참조 픽처로부터 예측된 경우, 상기 인터-뷰 레지듀얼 예측 방법이 적용될 수 있다.
인터-뷰 레지듀얼 예측 방법이 적용되는 경우, 예측부는 현재 뷰 내 참조 픽처(540 혹은 550)을 유도하고, 참조 픽처(540 혹은 550) 내 참조 블록(545 혹은 555)를 유도한다. 일 예로, 예측부는 대응 블록(515)의 유도된 시간적 움직임 벡터(temporal motion vector)를 기반으로 참조 픽처(540 혹은 550) 내 참조 블록(545 혹은 555)를 유도할 수 있다.
이 때, 참조 블록(545 혹은 555)는 현재 블록(505)의 레지듀얼 예측을 위한 제1 참조 블록(레지듀얼 예측 블록, rpBlock, 혹은 rpSamples)으로 사용될 수 있다.
다음으로 예측부는 현재 블록(505)과 대응되는 참조 뷰 내 대응 블록(515)를 유도한다.
상술한 바와 같이, 대응 블록(515)은 현재 블록(505)과 동일 AU 내 픽처들 중에서 현재 블록(505)의 참조 뷰에 속하는 픽처(510)로부터 유도될 수 있다. 이 때, 대응 블록(515)의 위치는 참조 뷰의 픽처(510) 내에서 현재 블록(505)의 디스패리티 벡터(520)을 이용하여 특정될 수 있다.
다음으로, 예측부는 대응 블록(515)의 (시간적) 움직임 벡터 및 참조 픽처 인덱스를 기반으로 대응 블록(515)의 참조 픽처(520 혹은 530)를 유도하고, 대응 블록(515)의 참조 픽처(520 혹은 530)으로부터 참조 블록(525 혹은 535)를 유도할 수 있다.
이 때, 참조 블록(525 혹은 535)는 현재 블록(550)의 레지듀얼 예측을 위한 제2 참조 블록(레지듀얼 예측 참조 블록, rpRefBlock 혹은 rpRefSamples)으로 사용될 수 있다.
대응 블록(515)의 참조 픽처(520 혹은 530)은 현재 뷰 내 현재 블록(505)의 참조 픽처(540 혹은 550)과 동일한 POC 값을 가지는 픽처가 선택될 수도 있고, 또는 현재 블록(505)의 레지듀얼 예측을 위해 사용되는 참조 뷰에 대한 참조 픽처 리스트 내 참조 픽처일 수도 있다.
다음으로 예측부는 상기와 같이 레지듀얼 예측을 위해 유도된 제1 참조 블록(rpBlcok)과 제2 참조 블록(rpRefBlock) 간의 차이를 현재 블록(515)의 레지듀얼 예측 샘플 값으로 사용할 수 있다. 예컨대, 현재 뷰 내 참조 블록(545 혹은 555)의 샘플 값에서 참조 뷰 내 참조 블록(525 혹은 535)의 샘플 값을 뺀 값을 현재 블록(505)의 레지듀얼 예측 값으로 유도할 수 있다. 이 때, 상술한 바와 같이 현재 블록(505)의 레지듀얼 예측 샘플 값에 가중치를 적용할 수도 있다.
상술한 바와 같이, 가중치는 예를 들어 0, 0.5 또는 1 중의 한 값일 수 있다. 가중치 0은 레지듀얼 예측이 적용되지 않는다는 것을 지시할 수 있다. 어떤 가중치를 적용할 것인지를 지시하는 인덱스 정보가 블록 단위로 전송될 수 있다.
상술한 바와 같이 인터-뷰 움직임 예측 및 레지듀얼 예측 등의 절차에서는 디스패리티 벡터를 이용하여 참조 뷰의 참조 픽처 상에서 현재 블록의 대응 블록을 도출하고, 상기 대응 블록에 대한 움직임 정보(예를 들어 움직임 벡터)를 이용한다. 여기서 움직임 벡터는 시간적 움직임 벡터를 포함한다. 하지만 대응 블록의 위치는 정확히 참조 뷰의 참조 픽처 상의 임의의 예측 블록에 정확히 대응되지 않을 수 있으며, 현재 블록의 코딩을 위하여 참조뷰의 참조 픽처 내 모든 예측 블록들의 움직임 정보를 저장하는 것은 인코더 및 디코더의 버퍼 부하(load)에 상당한 부담이 된다.
이를 해결하기 위하여 움직임 정보에 압축(compression)이 수행되어야 한다.
2차원 비디오에 대한 움직임 정보 압축의 경우, 현재 부호화하려는 예측 유닛(PU)의 움직임 정보는 시간적으로 이전에 부호화된 대응 블록의 움직임 정보를 그대로 가져오거나 예측 값으로 사용할 수 있다. 따라서, 하나의 프레임(또는 픽처)에 대한 부호화 및 복호화가 끝났을지라도 상기 프레임 내 블록들의 움직임 정보는 다음 프레임 또는 픽처의 부호화 및 복호화를 위하여 사용될 수 있다. 이 경우 이전 프레임의 블록들의 움직임 정보는 1/4 또는 1/16 비율로 압축되어 버퍼(또는 메모리)에 저장될 수 있다.
그러나, 멀티 뷰를 가지는 3D 비디오에 대한 움직임 정보 압축의 경우, 현재 프레임과 같은 시간 인스턴스(time instance)를 가지는 AU 내의 다른 뷰의 프레임은 현재 프레임과 상관성이 높으며, 따라서 같은 뷰의 시간적으로 이전의 프레임보다 AU 내의 다른 뷰의 프레임이 현재 프레임의 코딩을 위하여 더 많이 참조될 수 있다. 즉, 현재 프레임의 코딩을 수행함에 있어, 상기 동일 AU 내의 다른 뷰의 프레임에 사용된 움직임 정보가 같은 뷰의 시간적으로 이전의 프레임의 움직임 정보보다 상대적으로 더 많이 사용될 수 있다.
따라서, 시간적으로 이전의 프레임보다 AU 내의 프레임에 대해서는 보다 정밀하게 움직임 정보를 유지할 필요성이 있다. 예를 들어 이전 프레임의 움직임 정보를 1/16 비율로 압축하는 경우, AU 내의 프레임의 움직임 정보는 1/4 또는 1/8 비율로 압축할 수 있다.
예를 들어, 1/4 비율로 압축을 수행하는 경우, 각각의 8*8 블록 단위에서 왼쪽 위의 4*4 블록의 움직임 정보를 8*8 블록 내의 4개의 4*4 블록에 대한 대표 움직임 벡터로 사용할 수 있다. 이와 유사하게, 1/16 비율로 압축을 수행하는 경우, 각각의 16*16 블록 단위에서 왼쪽 위의 4*4 블록의 움직임 정보를 16*16 블록 내의 16개의 4*4 블록에 대한 대표 움직임 벡터로 사용할 수 있다.
일반적으로 움직임 정보 압축 기술은 버퍼 크기 및 메모리 대역폭을 감소하기 위한 방법으로, 소프트웨어 구현보다 하드웨어 구현에서 큰 이득이 있다. 소프트웨어에 대해서는 버퍼 크기 및 메모리 대역폭 감소에 의해서 발생하는 이득보다는 움직임 정보를 압축하는 연산량이 더 문제가 될 수 있다.
따라서, 본 발명에서는 소프트웨어 구현시 물리적인 움직임 정보의 압축 없이 효과적이고 정밀한 압축된 움직임 정보를 도출(derive)하는 방법을 제안한다.
3D 비디오의 경우, 상술한 바와 같이 인터-뷰 움직임 예측 및 레지듀얼 예측 등의 절차에서는 디스패리티 벡터를 이용하여 참조 뷰의 참조 픽처 상에서 현재 블록의 대응 블록을 도출하고, 상기 대응 블록에 대한 움직임 정보(예를 들어 움직임 벡터)를 이용한다. 이 때 대응 블록의 위치는 최소 블록 단위인 4*4 블록 그리드(grid)에 정렬이 되지 않을 수 있다.
도 6은 현재 블록과 대응 블록 간의 위치관계를 개략적으로 나타낸 도면이다. 도 6은 픽처들이 4*4 블록 그리드로 예시적으로 표현되었다.
도 6을 참조하면, 현재 픽처(600)는 뷰 V1 상의 픽처이고, 참조 픽처(630)은 뷰 V0 상의 픽처이다. 현재 픽처(630) 상의 현재 블록(610) 및 디스패리티 벡터(620)를 이용하여 대응 블록(640)이 도출될 수 있다. 여기서 대응 블록(640)은 여러 블록에 겹쳐서 위치할 수 있으며, 움직임 정보 압축을 고려하여 대응 블록(640)에 대한 움직임 정보를 도출하기 위한 기준이 정의되어야 한다.
일 예로, 참조 샘플의 위치를 커버하는 (예측) 블록이 대표 블록으로 결정되고, 상기 대표 블록의 움직임 정보가 대응 블록(640)에 대한 움직임 정보로 결정될 수 있다. 여기서 참조 샘플의 위치는 도 6의 1번 블록의 좌상단(top-left) 위치로 명시될(specified) 수 있으며, 상기 대표 블록은 상기 1번 블록이 될 수 있다. 상기 참조 샘플의 위치는 대응 샘플의 위치를 기반으로 결정 또는 계산될 수 있으며, 상기 대응 샘플의 위치는 현재 블록(610)의 위치와 상기 디스패리티 벡터를 기반으로 결정되는 대응 블록의 좌상단 위치 또는 센터 위치로 도출될 수 있다. 대응 블록의 가로(너비) 및 세로(높이)가 각각 짝수개의 샘플들로 구성된 경우, 대응 블록의 센터 지점에는 네개의 샘플들이 마주하게 되며, 이 경우 센터 네개의 샘플들 중 우하단 샘플의 위치가 상기 센터 위치로 결정될 수 있다. 현재 블록(610)의 위치는 현재 블록(610)의 좌상단 위치를 나타낼 수 있다.
예를 들어, 16*16 또는 8*8 단위로 움직임 정보가 압축되고, 상기 16*16 또는 8*8 단위 블록이 움직임 압축 단위 블록으로 정의되는 경우, 상기 참조 샘플의 위치는 상기 대응 샘플을 포함하는 움직임 압축 단위 블록의 좌상단 샘플 위치로 설정될 수 있다. 이 경우 상기 대응 샘플이 상기 움직임 압축 단위 블록의 내에 위치한다면, 상기 대응 샘플 및 대응 블록의 세부 위치에 상관없이 대표 샘플의 위치는 상기 움직임 압축 단위 블록의 좌상단 샘플 위치로 설정될 수 있다. 만약 상기 움직임 압축 단위 블록이 8*8 사이즈를 갖는 경우, 상기 대표 블록은 4*4 사이즈를 가질 수 있다.
또한, 예를 들어, 상기 참조 샘플의 위치는 상기 대응 샘플의 위치를 기반으로 쉬프트(shift) 연산을 수행하여 도출될 수 있다. 여기서 쉬프트 연산은 산술 우측 쉬프트(arithmetic right shift, >>) 및 산술 좌측 쉬프트(arithmetic left shift, <<)를 포함한다. 구체적으로 예를 들어, 상기 참조 샘플의 위치는 다음 수학식을 기반으로 결정될 수 있다.
수학식 1
Figure PCTKR2015010554-appb-M000001
여기서, xRef 및 yRef는 각각 상기 참조 샘플의 위치의 x좌표, y좌표이고, xRefFull 및 yRefFull은 각각 상기 대응 샘플의 위치의 x좌표 및 y좌표이고, pic_width_in_luma_samples는 루마 샘플들 기반 픽처의 너비, pic_height_in_luma_samples는 상기 루마 샘플들 기반 상기 픽처의 높이를 나타낸다. 여기서 상기 픽처는 현재 픽처를 포함할 수 있고, 또는 참조 픽처를 포함할 수 있다. 또는 현재 픽처 및 참조 픽처가 동일한 너비 및 높이를 갖도록 설정된 경우 상기 픽처는 현재 픽처 및 참조 픽처를 포함할 수 있다. 여기서 Clip3 연산은 다음 수학식 2와 같이 나타낼 수 있음은 자명하다.
수학식 2
Figure PCTKR2015010554-appb-M000002
한편, 다른 예로, 대응 블록이 가장 많이 겹치는(overlap)되는 (예측) 블록이 대표 블록으로 결정될 수 있다. 이 경우 상기 대표 블록은 도 6의 4번 블록이 될 수 있다.
상술한 본 발명에 따른 움직임 정보 압축 방법은 도 2의 비디오 인코딩 장치에 의해 수행될 수 있고, 도 3의 비디오 디코딩 장치에 의해 수행될 수 있다
도 7은 본 발명의 실시예에 따른 3D 비디오 코딩 방법을 개략적으로 나타낸 순서도이다. 이하 디코딩 장치를 기준으로 설명한다.
도 7을 참조하면, 디코딩 장치는 현재 블록에 대한 디스패리티 벡터를 도출한다(S700). 상기 디스패리티 벡터는 카메라 파라미터를 이용하여 뎁스 값으로부터 유도되거나, 현재 또는 다른 뷰 내 주변 블록의 움직임 벡터 또는 디스패리티 벡터로부터 유도될 수 있다. 상기 상기 디스패리티 벡터는 상기 현재 블록의 공간적 또는 시간적 주변 블록을 기반으로 도출될 수 있으며, 이 경우 상기 주변 블록은 DCP(disparity compensated prediction) 기반으로 코딩될 수 있다. 예를 들어 상기 현재 블록이 속하는 픽처는 텍스처 픽처이고, 상기 주변 블록으로부터 도출되는 디스패리티 벡터는 NBDV(disparity vector from neighboring blocks)라고 불릴 수 있다. 또한 상기 디스패리티 벡터는 상기 참조 뷰 및 소정의 뎁스 값을 기반으로 도출될 수도 있다. 상기 소정의 값은 뎁스 값 범위(depth value range)의 중간 값(middle value)일 수 있다.
비록 도시되지는 않았으나, 디코딩 장치는 인코딩 장치로부터 비트스트림을 통하여 비디오 정보를 수신할 수 있다. 상기 비디오 정보는 블록 분할 정보, 예측 모드 정보, 레지듀얼 정보 및 현재 블록을 복원하기 위한 신택스 엘리먼트의 값들을 포함할 수 있다. 상기 비트스트림은 네트워크 또는 저장매체를 통하여 인코딩 장치로부터 디코딩 장치로 전송될 수 있다.
디코딩 장치는 상기 디스패리티 벡터를 기반으로 참조 뷰 상의 대응 샘플 위치를 결정한다(S710). 일 예로, 상기 대응 샘플의 위치는 상기 현재 블록의 위치와 상기 디스패리티 벡터를 기반으로 결정되는 대응 블록의 좌상단 위치로 도출될 수 있다. 다른 예로, 상기 대응 샘플의 위치는 상기 대응 블록의 센터 위치로 도출될 수 있다. 여기서 상기 센터 위치는 상기 대응 블록의 중앙 4개의 샘플들 중 우하단 샘플의 위치를 나타낼 수 있다.
디코딩 장치는 상기 대응 샘플의 위치를 기반으로 참조 샘플의 위치를 도출한다(S720).
일 예로, 상기 참조 샘플의 위치는 상기 대응 샘플을 포함하는 움직임 압축 단위 블록(motion compression unit block)의 좌상단(top-left) 샘플 위치일 수 있다. 상기 움직임 압축 단위 블록은 8*8 사이즈를 가질 수 있다.
다른 예로, 상기 참조 샘플의 위치는 상기 대응 샘플의 위치를 기반으로 쉬프트(shift) 연산을 수행하여 도출될 수 있다. 구체적으로 예를 들어, 상기 참조 샘플의 위치는 상기 수학식 1을 기반으로 결정될 수 있다.
디코딩 장치는 상기 참조 샘플의 위치를 커버링하는 대표 블록의 움직임 정보를 도출한다(S730). 상기 대표 블록은 상기 참조 샘플의 위치를 커버링하는 예측 블록일 수 있다. 상기 움직임 압축 단위 블록은 8*8 사이즈를 갖는 경우 상기 대표 블록은 4*4 사이즈를 가질 수 있다.
디코딩 장치는 상기 도출된 움직임 정보를 기반으로 상기 현재 블록에 대한 IvMC를 도출할 수 있다. 즉, 상기 도출된 움직임 정보는 상기 현재 블록에 대한 IvMC로 사용될 수 있고, 디코딩 장치는 상기 IvMC를 기반으로 현재 블록에 대한 예측 샘플(또는 샘플 어레이)을 생성하고 레지듀얼 샘플(또는 샘플 어레이)을 더하여 복원 샘플(픽처)를 생성할 수 있다.
한편, 디코딩 장치는 상기 도출된 움직임 정보를 기반으로 레지듀얼 예측을 수행할 수도 있다. 구체적으로 예를 들어, 디코딩 장치는 상기 디스패리티 벡터를 기반으로 도출된 참조 뷰 상의 대응 블록에 관한 시간적 움직임 벡터를 기반으로 상기 현재 뷰 상의 제1 참조 블록을 도출하고, 상기 대응 블록에 대한 시간적 움직임 벡터를 기반으로 상기 참조 뷰 상의 제2 참조 블록을 도출할 수 있다. 디코딩 장치는, 상기 제1 참조 블록 및 제2 참조 블록을 기반으로 상기 현재 블록의 (레지듀얼) 예측 샘플(또는 샘플 어레이)을 생성할 수 있다. 상기 대응 블록에 대한 시간적 움직임 벡터는 상기 참조 샘플의 위치를 커버하는 상기 예측 블록의 상기 움직임 정보를 기반으로 도출될 수 있다. 이 경우 상기 예측 블록의 상기 움직임 정보는 움직임 벡터를 포함하고, 상기 움직임 벡터가 상기 시간적 움직임 벡터로 사용될 수 있다. 여기서 상기 레지듀얼 예측은 인터-뷰 레지듀얼 예측일 수 있다. 디코딩 장치는 상기 현재 블록의 (레지듀얼) 예측 샘플(또는 샘플 어레이)을 기반하여 복원 샘플(픽처)를 생성할 수 있다. 이 경우 디코딩 장치는 필요에 따라 상기 (레지듀얼) 예측 샘플(또는 샘플 어레이)에 레지듀얼 샘플(또는 샘플 어레이)을 더하여 상기 복원 샘플(픽처)를 생성할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 할 것이다.
본 발명에서 실시예들이 소프트웨어로 구현될 때, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다.

Claims (15)

  1. 3D 비디오 디코딩 방법으로,
    현재 블록에 대한 디스패리티 벡터를 도출하는 단계;
    상기 디스패리티 벡터를 기반으로 참조 뷰 상의 대응 샘플의 위치를 도출하는 단계;
    상기 대응 샘플의 위치를 기반으로 참조 샘플의 위치를 도출하는 단계; 및
    상기 참조 샘플의 위치를 커버하는 예측 블록의 움직임 정보를 도출하는 단계를 포함하는, 3D 비디오 디코딩 방법.
  2. 제 1항에 있어서,
    상기 도출된 움직임 정보를 기반으로 상기 현재 블록에 대한 레지듀얼 예측을 수행하는 단계를 포함하는, 3D 비디오 디코딩 방법.
  3. 제 2항에 있어서, 상기 레지듀얼 예측을 수행하는 단계는
    상기 디스패리티 벡터를 기반으로 도출된 참조 뷰 상의 대응 블록에 관한 시간적 움직임 벡터를 기반으로 상기 현재 뷰 상의 제1 참조 블록을 도출하는 단계;
    상기 대응 블록에 대한 시간적 움직임 벡터를 기반으로 상기 참조 뷰 상의 제2 참조 블록을 도출하는 단계; 및
    상기 제1 참조 블록 및 제2 참조 블록을 기반으로 상기 현재 블록의 예측 샘플을 생성하는 단계를 포함하되,
    상기 대응 블록에 대한 시간적 움직임 벡터는 상기 참조 샘플의 위치를 커버하는 상기 예측 블록의 상기 움직임 정보를 기반으로 도출되는 것을 특징으로 하는, 3D 비디오 디코딩 방법.
  4. 제 3항에 있어서,
    상기 예측 블록의 상기 움직임 정보는 움직임 벡터를 포함하고, 상기 움직임 벡터가 상기 시간적 움직임 벡터로 사용됨을 특징으로 하는, 3D 비디오 디코딩 방법.
  5. 제 2항에 있어서,
    상기 레지듀얼 예측은 인터-뷰 레지듀얼 예측인 것을 특징으로 하는, 3D 비디오 디코딩 방법.
  6. 제 1항에 있어서,
    상기 디스패리티 벡터는 상기 현재 블록의 공간적 또는 시간적 주변 블록을 기반으로 도출됨을 특징으로 하는, 3D 비디오 디코딩 방법.
  7. 제 1항에 있어서,
    상기 디스패리티 벡터는 상기 참조 뷰 및 소정의 뎁스 값을 기반으로 도출됨을 특징으로 하는, 3D 비디오 디코딩 방법.
  8. 제 1항에 있어서,
    상기 대응 샘플의 위치는 상기 현재 블록의 위치와 상기 디스패리티 벡터를 기반으로 결정되는 대응 블록의 좌상단 위치로 도출되는 것을 특징으로 하는, 3D 비디오 디코딩 방법.
  9. 제 1항에 있어서,
    상기 대응 샘플의 위치는 상기 현재 블록의 위치와 상기 디스패리티 벡터를 기반으로 결정되는 대응 블록의 센터 위치로 도출되는 것을 특징으로 하는, 3D 비디오 디코딩 방법.
  10. 제 9항에 있어서,
    상기 대응 블록의 중앙 4개의 샘플들 중 우하단 샘플의 위치가 상기 센터 위치로 도출되는 것을 특징으로 하는, 3D 비디오 디코딩 방법.
  11. 제 1항에 있어서,
    상기 참조 샘플의 위치는 상기 대응 샘플을 포함하는 움직임 압축 단위 블록(motion compression unit block)의 좌상단(top-left) 샘플 위치인 것을 특징으로 하는, 3D 비디오 디코딩 방법.
  12. 제 11항에 있어서,
    상기 움직임 압축 단위 블록은 8*8 사이즈를 갖는 것을 특징으로 하는, 3D 비디오 디코딩 방법.
  13. 제 12항에 있어서,
    상기 예측 블록은 4*4 사이즈를 갖는 것을 특징으로 하는, 3D 비디오 디코딩 방법.
  14. 제 1항에 있어서,
    상기 참조 샘플의 위치는 상기 대응 샘플의 위치를 기반으로 쉬프트(shift) 연산을 수행하여 도출됨을 특징으로 하는, 3D 비디오 디코딩 방법.
  15. 제 1항에 있어서,
    상기 참조 샘플의 위치는 다음 수학식을 기반으로 결정되고,
    xRef = Clip3(0, pic_width_in_luma_samples-1, (xRefFull >> 3) << 3),
    yRef = Clip3(0, pic_height_in_luma_samples-1, (yRefFull >> 3) << 3)
    여기서, xRef 및 yRef는 각각 상기 참조 샘플의 위치의 x좌표, y좌표이고, xRefFull 및 yRefFull은 각각 상기 대응 샘플의 위치의 x좌표 및 y좌표이고, pic_width_in_luma_samples는 루마 샘플들 기반 픽처의 너비, pic_height_in_luma_samples는 상기 루마 샘플들 기반 상기 픽처의 높이인 것을 특징으로 하는, 3D 비디오 디코딩 방법.
PCT/KR2015/010554 2014-10-08 2015-10-06 3d 비디오 코딩을 위한 움직임 정보 압축 방법 및 장치 WO2016056821A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/517,712 US20170310993A1 (en) 2014-10-08 2015-10-06 Movement information compression method and device for 3d video coding
KR1020177009466A KR20170066411A (ko) 2014-10-08 2015-10-06 3d 비디오 코딩을 위한 움직임 정보 압축 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462061151P 2014-10-08 2014-10-08
US62/061,151 2014-10-08

Publications (1)

Publication Number Publication Date
WO2016056821A1 true WO2016056821A1 (ko) 2016-04-14

Family

ID=55653371

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/010554 WO2016056821A1 (ko) 2014-10-08 2015-10-06 3d 비디오 코딩을 위한 움직임 정보 압축 방법 및 장치

Country Status (3)

Country Link
US (1) US20170310993A1 (ko)
KR (1) KR20170066411A (ko)
WO (1) WO2016056821A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018124821A1 (ko) * 2017-01-02 2018-07-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2018174541A1 (ko) * 2017-03-21 2018-09-27 주식회사 케이티 비디오 신호 처리 방법 및 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019050451A (ja) * 2017-09-07 2019-03-28 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム及び画像処理システム
EP3780609A4 (en) 2018-04-02 2022-04-13 LG Electronics, Inc. METHOD OF IMAGE CODING BASED ON A MOTION VECTOR AND DEVICE THEREOF
WO2019203517A1 (ko) * 2018-04-15 2019-10-24 엘지전자 주식회사 영상 코딩 시스템에서 움직임 정보 도출 방법 및 장치
CN115623196A (zh) * 2018-05-12 2023-01-17 数码士有限公司 使用参考样本的视频信号处理方法及设备
WO2020141881A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 서브블록 단위의 움직임 정보 기반 인터 예측 방법 및 장치
CN110008904A (zh) * 2019-04-08 2019-07-12 万维科研有限公司 生成基于视频文件格式的形状识别列表的方法
CN113709455B (zh) * 2021-09-27 2023-10-24 北京交通大学 一种使用Transformer的多层次图像压缩方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080035910A (ko) * 2006-10-20 2008-04-24 삼성전자주식회사 두 배의 정밀 이득을 갖는 비율-독립 스위치 커패시터증폭기 및 그 동작 방법
KR20080066522A (ko) * 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
KR20120080122A (ko) * 2011-01-06 2012-07-16 삼성전자주식회사 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법
WO2014106435A1 (en) * 2013-01-07 2014-07-10 Mediatek Inc. Method and apparatus of spatial motion vector prediction derivation for direct and skip modes in three-dimensional video coding
WO2014137596A1 (en) * 2013-03-08 2014-09-12 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080035910A (ko) * 2006-10-20 2008-04-24 삼성전자주식회사 두 배의 정밀 이득을 갖는 비율-독립 스위치 커패시터증폭기 및 그 동작 방법
KR20080066522A (ko) * 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
KR20120080122A (ko) * 2011-01-06 2012-07-16 삼성전자주식회사 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법
WO2014106435A1 (en) * 2013-01-07 2014-07-10 Mediatek Inc. Method and apparatus of spatial motion vector prediction derivation for direct and skip modes in three-dimensional video coding
WO2014137596A1 (en) * 2013-03-08 2014-09-12 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018124821A1 (ko) * 2017-01-02 2018-07-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2018174541A1 (ko) * 2017-03-21 2018-09-27 주식회사 케이티 비디오 신호 처리 방법 및 장치

Also Published As

Publication number Publication date
US20170310993A1 (en) 2017-10-26
KR20170066411A (ko) 2017-06-14

Similar Documents

Publication Publication Date Title
WO2016056821A1 (ko) 3d 비디오 코딩을 위한 움직임 정보 압축 방법 및 장치
WO2018062921A1 (ko) 영상 코딩 시스템에서 블록 분할 및 인트라 예측 방법 및 장치
WO2018174402A1 (ko) 영상 코딩 시스템에서 변환 방법 및 그 장치
WO2018056603A1 (ko) 영상 코딩 시스템에서 조도 보상 기반 인터 예측 방법 및 장치
WO2015142054A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2020197236A1 (ko) 서브 픽처 핸들링 구조 기반 영상 또는 비디오 코딩
WO2016056822A1 (ko) 3d 비디오 코딩 방법 및 장치
WO2016056782A1 (ko) 비디오 코딩에서 뎁스 픽처 코딩 방법 및 장치
WO2016200043A1 (ko) 비디오 코딩 시스템에서 가상 참조 픽처 기반 인터 예측 방법 및 장치
WO2015057033A1 (ko) 3d 비디오 부호화/복호화 방법 및 장치
WO2019198997A1 (ko) 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
WO2015142057A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2018056602A1 (ko) 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2019112071A1 (ko) 영상 코딩 시스템에서 크로마 성분의 효율적 변환에 기반한 영상 디코딩 방법 및 장치
WO2016056754A1 (ko) 3d 비디오 부호화/복호화 방법 및 장치
WO2018174357A1 (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2019194500A1 (ko) 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
WO2016056779A1 (ko) 3d 비디오 코딩에서 카메라 파라미터 처리 방법 및 장치
WO2021225338A1 (ko) 영상 디코딩 방법 및 그 장치
WO2018128223A1 (ko) 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2020141885A1 (ko) 디블록킹 필터링을 사용하는 영상 코딩 방법 및 장치
WO2019212230A1 (ko) 영상 코딩 시스템에서 블록 사이즈에 따른 변환을 사용하는 영상 디코딩 방법 및 그 장치
WO2018084344A1 (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2014171709A1 (ko) 객체 기반 적응적 밝기 보상 방법 및 장치
WO2015057032A1 (ko) 멀티 뷰를 포함하는 비디오 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15849705

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177009466

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15517712

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15849705

Country of ref document: EP

Kind code of ref document: A1