WO2015182927A1 - 다시점 비디오 신호 처리 방법 및 장치 - Google Patents

다시점 비디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
WO2015182927A1
WO2015182927A1 PCT/KR2015/005134 KR2015005134W WO2015182927A1 WO 2015182927 A1 WO2015182927 A1 WO 2015182927A1 KR 2015005134 W KR2015005134 W KR 2015005134W WO 2015182927 A1 WO2015182927 A1 WO 2015182927A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth
block
sample
current
current depth
Prior art date
Application number
PCT/KR2015/005134
Other languages
English (en)
French (fr)
Inventor
이배근
김주영
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Publication of WO2015182927A1 publication Critical patent/WO2015182927A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present invention relates to a method and apparatus for coding a video signal.
  • High efficiency image compression techniques can be used to solve these problems caused by high resolution and high quality image data.
  • An inter-screen prediction technique for predicting pixel values included in the current picture from a picture before or after the current picture using an image compression technique an intra prediction technique for predicting pixel values included in a current picture using pixel information in the current picture
  • An object of the present invention is to provide a method and apparatus for performing inter-view prediction using a disparity vector in encoding / decoding a multiview video signal.
  • An object of the present invention is to provide a method and apparatus for deriving a disparity vector of a texture block using depth data of a depth block in encoding / decoding a multiview video signal.
  • An object of the present invention is to provide a method and apparatus for deriving a disparity vector from a neighboring block of a current texture block in encoding / decoding a multiview video signal.
  • An object of the present invention is to provide a method and apparatus for coding a depth image according to a segment-based depth coding technique in encoding / decoding a multiview video signal.
  • An object of the present invention is to provide a method and apparatus for intra prediction of a depth image in an intra single mode in encoding / decoding a multiview video signal.
  • a single depth index of the current depth block is obtained from a bitstream, and based on the single depth index, Select one of a plurality of candidate samples available for decoding the current depth block in an intra single mode, and restore the current depth block by using the selected candidate sample.
  • the plurality of candidate samples includes at least one of a depth sample of a neighboring block adjacent to the current depth block or a depth value derived from a disparity vector corresponding to the current depth block. Characterized in that it comprises a.
  • the neighboring block includes at least one of a left neighboring block or an upper neighboring block adjacent to the current depth block, and a depth sample of the neighboring block is included in the neighboring block. It is characterized in that the sample of the pre-defined position among the plurality of depth samples belonging.
  • the depth sample of the left neighboring block is a depth sample located in the middle of the depth samples that are in contact with the left side of the current depth block
  • the depth sample of the upper neighboring block is It is characterized in that the depth sample located in the middle of the depth samples in contact with the current depth block.
  • a method and apparatus for decoding a multilayer video signal according to the present invention further comprising constructing a candidate list using the plurality of candidate samples, wherein the plurality of candidate samples are arranged in the candidate list in a pre-set order. It is characterized by.
  • the single depth index of the current depth block is encoded, and the current depth is based on the single depth index. Any one of a plurality of candidate samples available for encoding a block in an intra single mode is selected, and the current depth block is reconstructed using the selected candidate samples.
  • the plurality of candidate samples are at least one of a depth sample of a neighboring block adjacent to the current depth block or a depth value derived from a disparity vector corresponding to the current depth block. Characterized in that it comprises a.
  • the neighboring block includes at least one of a left neighboring block or an upper neighboring block adjacent to the current depth block, and a depth sample of the neighboring block is included in the neighboring block. It is characterized in that the sample of the pre-defined position among the plurality of depth samples belonging.
  • the depth sample of the left neighboring block is a depth sample located in the middle of the depth samples contacting the left side of the current depth block
  • the depth sample of the upper neighboring block is It is characterized in that the depth sample located in the middle of the depth samples in contact with the current depth block.
  • a method and apparatus for encoding a multilayer video signal according to the present invention further comprising constructing a candidate list using the plurality of candidate samples, wherein the plurality of candidate samples are arranged in the candidate list in a pre-set order. It is characterized by.
  • inter-view prediction can be efficiently performed using the disparity vector.
  • the present invention it is possible to effectively derive the disparity vector of the current texture block from the depth data of the current depth block or the disparity vector of the neighboring texture block.
  • a residual depth value of a depth image may be efficiently coded according to a segment-based depth coding technique.
  • the encoding efficiency of intra prediction of a depth image can be improved by encoding in the intra single mode.
  • FIG. 1 is a schematic block diagram of a video decoder according to an embodiment to which the present invention is applied.
  • FIG. 2 illustrates a method of performing inter-view prediction based on a disparity vector according to an embodiment to which the present invention is applied.
  • FIG 3 illustrates a method of deriving a disparity vector of a current texture block using depth data of a depth image as an embodiment to which the present invention is applied.
  • FIG. 4 illustrates a candidate of a spatial / temporal neighboring block of a current texture block as an embodiment to which the present invention is applied.
  • FIG. 5 illustrates a method of decoding a depth image according to a segment-based depth coding scheme according to an embodiment to which the present invention is applied.
  • FIG. 6 illustrates a method of obtaining an absolute offset value through entropy decoding based on context-based adaptive binary arithmetic coding according to an embodiment to which the present invention is applied.
  • FIG. 10 illustrates a method of decoding a current depth block based on an intra single mode according to an embodiment to which the present invention is applied.
  • FIG. 11 illustrates an example of a plurality of candidate samples available for intra single mode according to an embodiment to which the present invention is applied.
  • FIG. 12 illustrates a method of encoding a single depth index based on a plurality of candidate lists according to an embodiment to which the present invention is applied.
  • a single depth index of the current depth block is obtained from a bitstream, and based on the single depth index, Select one of a plurality of candidate samples available for decoding the current depth block in an intra single mode, and restore the current depth block by using the selected candidate sample.
  • the plurality of candidate samples includes at least one of a depth sample of a neighboring block adjacent to the current depth block or a depth value derived from a disparity vector corresponding to the current depth block. Characterized in that it comprises a.
  • the neighboring block includes at least one of a left neighboring block or an upper neighboring block adjacent to the current depth block, and a depth sample of the neighboring block is included in the neighboring block. It is characterized in that the sample of the pre-defined position among the plurality of depth samples belonging.
  • the depth sample of the left neighboring block is a depth sample located in the middle of the depth samples that are in contact with the left side of the current depth block
  • the depth sample of the upper neighboring block is It is characterized in that the depth sample located in the middle of the depth samples in contact with the current depth block.
  • a method and apparatus for decoding a multilayer video signal according to the present invention further comprising constructing a candidate list using the plurality of candidate samples, wherein the plurality of candidate samples are arranged in the candidate list in a pre-set order. It is characterized by.
  • the single depth index of the current depth block is encoded, and the current depth is based on the single depth index. Any one of a plurality of candidate samples available for encoding a block in an intra single mode is selected, and the current depth block is reconstructed using the selected candidate samples.
  • the plurality of candidate samples are at least one of a depth sample of a neighboring block adjacent to the current depth block or a depth value derived from a disparity vector corresponding to the current depth block. Characterized in that it comprises a.
  • the neighboring block includes at least one of a left neighboring block or an upper neighboring block adjacent to the current depth block, and a depth sample of the neighboring block is included in the neighboring block. It is characterized in that the sample of the pre-defined position among the plurality of depth samples belonging.
  • the depth sample of the left neighboring block is a depth sample located in the middle of the depth samples contacting the left side of the current depth block
  • the depth sample of the upper neighboring block is It is characterized in that the depth sample located in the middle of the depth samples in contact with the current depth block.
  • a method and apparatus for encoding a multilayer video signal according to the present invention further comprising constructing a candidate list using the plurality of candidate samples, wherein the plurality of candidate samples are arranged in the candidate list in a pre-set order. It is characterized by.
  • Techniques for compression encoding or decoding multi-view video signal data take into account spatial redundancy, temporal redundancy, and redundancy existing between views.
  • a multiview texture image photographed from two or more viewpoints may be coded to implement a 3D image.
  • depth data corresponding to a multiview texture image may be further coded as necessary.
  • compression coding may be performed in consideration of spatial redundancy, temporal redundancy, or inter-view redundancy.
  • Depth data represents distance information between a camera and a corresponding pixel
  • depth data may be flexibly interpreted as information related to depth, such as a depth value, a depth information, a depth image, a depth picture, a depth sequence, and a depth bitstream.
  • coding in this specification may include both the concepts of encoding and decoding, and may be flexibly interpreted according to the technical spirit and technical scope of the present invention.
  • FIG. 1 is a schematic block diagram of a video decoder according to an embodiment to which the present invention is applied.
  • a video decoder includes a NAL parser 100, an entropy decoder 200, an inverse quantization / inverse transform unit 300, an intra predictor 400, an in-loop filter unit 500, and a decoded picture.
  • the buffer unit 600 and the inter prediction unit 700 may be included.
  • the NAL parser 100 may receive a bitstream including multi-view texture data.
  • the bitstream including the encoded depth data may be further received.
  • the input texture data and the depth data may be transmitted in one bitstream or may be transmitted in separate bitstreams.
  • the NAL parser 100 may parse the NAL unit to decode the input bitstream.
  • the input bitstream is multi-view related data (eg, 3-Dimensional Video)
  • the input bitstream may further include a camera parameter.
  • Camera parameters can have intrinsic camera parameters and extrinsic camera parameters, and inherent camera parameters include focal length, aspect ratio, and principal. point) and the like, and the non-unique camera parameter may include location information of the camera in the world coordinate system.
  • the entropy decoding unit 200 may extract quantized transform coefficients, coding information for prediction of a texture picture, and the like through entropy decoding.
  • the inverse quantization / inverse transform unit 300 may apply a quantization parameter to the quantized transform coefficients to obtain transform coefficients, and inversely transform the transform coefficients to decode texture data or depth data.
  • the decoded texture data or depth data may mean residual data according to a prediction process.
  • the quantization parameter for the depth block may be set in consideration of the complexity of the texture data. For example, when the texture block corresponding to the depth block is a region of high complexity, a low quantization parameter may be set, and in the case of a region of low complexity, a high quantization parameter may be set.
  • the complexity of the texture block may be determined based on a difference value between pixels adjacent to each other in the reconstructed texture picture as shown in Equation 1 below.
  • Equation 1 E denotes the complexity of the texture data, C denotes the restored texture data, and N denotes the number of pixels in the texture data area to which the complexity is to be calculated.
  • the complexity of the texture data corresponds to the difference value between the texture data corresponding to the (x, y) position and the texture data corresponding to the (x-1, y) position and the (x, y) position. It may be calculated using a difference value between the texture data and the texture data corresponding to the position (x + 1, y).
  • the complexity may be calculated for the texture picture and the texture block, respectively, and the quantization parameter may be derived using Equation 2 below.
  • the quantization parameter for the depth block may be determined based on a ratio of the complexity of the texture picture and the complexity of the texture block.
  • ⁇ and ⁇ may be variable integers derived at the decoder, or may be predetermined integers in the decoder.
  • the intra predictor 400 may perform intra prediction using the reconstructed texture data in the current texture picture. Intra-prediction may be performed on the depth picture in the same manner as the texture picture.
  • coding information used for intra prediction of a texture picture may be similarly used in a step picture.
  • the coding information used for intra prediction may include intra prediction mode and partition information of intra prediction.
  • the in-loop filter unit 500 may apply an in-loop filter to each coded block to reduce block distortion.
  • the filter can smooth the edges of the block to improve the quality of the decoded picture.
  • Filtered texture pictures or depth pictures may be output or stored in the decoded picture buffer unit 600 for use as a reference picture.
  • the coding efficiency may be reduced.
  • a separate in-loop filter for depth data may be defined.
  • an in-loop filtering method for efficiently coding depth data a region-based adaptive loop filter and a trilateral loop filter will be described.
  • the region-based adaptive loop filter it may be determined whether to apply the region-based adaptive loop filter based on the variation of the depth block.
  • the variation amount of the depth block may be defined as the difference between the maximum pixel value and the minimum pixel value in the depth block.
  • Whether to apply the filter may be determined by comparing the change amount of the depth block with a predetermined threshold. For example, when the amount of change in the depth block is greater than or equal to the predetermined threshold value, since the difference between the maximum pixel value and the minimum pixel value in the depth block is large, it may be determined to apply an area-based adaptive loop filter. . In contrast, when the depth change amount is smaller than the predetermined threshold, it may be determined that the region-based adaptive loop filter is not applied.
  • the pixel value of the filtered depth block may be derived by applying a predetermined weight to the neighboring pixel value.
  • the predetermined weight may be determined based on a position difference between the pixel currently being filtered and the neighboring pixel and / or a difference value between the pixel value currently being filtered and the neighboring pixel value.
  • the neighbor pixel value may mean any one of the pixel values included in the depth block except for the pixel value currently being filtered.
  • the trilateral loop filter according to the present invention is similar to the region-based adaptive loop filter except that it additionally considers texture data.
  • the trilateral loop filter compares the following three conditions and extracts depth data of neighboring pixels satisfying the following three conditions.
  • Condition 1 is to compare the positional difference between the current pixel p and the neighboring pixel q in the depth block with a predetermined parameter sigma 1
  • condition 2 is the depth data of the current pixel p and the depth of the neighboring pixel q.
  • the difference between the data is compared with the predetermined parameter? 2
  • condition 3 is comparing the difference between the texture data of the current pixel p and the texture data of the neighboring pixel q with the predetermined parameter? 3.
  • the neighboring pixels satisfying the three conditions may be extracted, and the current pixel p may be filtered by the median or average value of the depth data.
  • the decoded picture buffer unit 600 stores or opens a previously coded texture picture or a depth picture in order to perform inter prediction.
  • the frame_num and the POC (Picture Order Count) of each picture may be used.
  • some of the previously coded pictures may have depth pictures that are different from the current depth picture, and thus, view identification information identifying a view point of the depth picture may be used to use these pictures as reference pictures. have.
  • the decoded picture buffer unit 600 may manage the reference picture using an adaptive memory management control method and a sliding window method in order to more flexibly implement inter prediction.
  • the depth pictures may be marked with a separate mark to distinguish them from texture pictures in the decoded picture buffer unit, and information for identifying each depth picture may be used in the marking process.
  • the inter prediction unit 700 may perform motion compensation of the current block by using the reference picture and the motion information stored in the decoded picture buffer unit 600.
  • the motion information may be understood as a broad concept including a motion vector and reference index information.
  • the inter prediction unit 700 may perform temporal inter prediction to perform motion compensation.
  • Temporal inter prediction may refer to inter prediction using motion information of a reference picture and a current texture block located at the same time point and different time zone as the current texture block.
  • temporal inter prediction may refer to inter prediction using motion information of a reference picture and a current texture block located at the same time point and different time zone as the current texture block.
  • the motion information used for the inter-view prediction may include a disparity vector or an inter-view motion vector. A method of performing inter-view prediction using the disparity vector will be described below with reference to FIG. 2.
  • FIG. 2 illustrates a method of performing inter-view prediction based on a disparity vector according to an embodiment to which the present invention is applied.
  • a disparity vector of a current texture block may be derived (S200).
  • a disparity vector may be derived from a depth image corresponding to a current texture block, which will be described in detail with reference to FIG. 3.
  • It may also be derived from a neighboring block spatially adjacent to the current texture block, or may be derived from a temporal neighboring block located at a different time zone than the current texture block.
  • a method of deriving a disparity vector from a spatial / temporal neighboring block of the current texture block will be described with reference to FIG. 4.
  • inter-view prediction of the current texture block may be performed using the disparity vector derived in step S200 (S210).
  • texture data of the current texture block may be predicted or reconstructed using the texture data of the reference block specified by the disparity vector.
  • the reference block may belong to a view used for inter-view prediction of the current texture block, that is, a reference view.
  • the reference block may belong to a reference picture located at the same time zone as the current texture block.
  • a reference block belonging to a reference view may be specified using the disparity vector
  • a temporal motion vector of a current texture block may be derived using the temporal motion vector of the specified reference block.
  • the temporal motion vector refers to a motion vector used for temporal inter prediction, and may be distinguished from a disparity vector used for inter-view prediction.
  • FIG 3 illustrates a method of deriving a disparity vector of a current texture block using depth data of a depth image as an embodiment to which the present invention is applied.
  • location information of a depth block (hereinafter, referred to as a current depth block) in a depth picture corresponding to the current texture block may be obtained based on the location information of the current texture block (S300).
  • the position of the current depth block may be determined in consideration of the spatial resolution between the depth picture and the current picture.
  • the position of the current depth block may be determined as a block having the same position as the current texture block of the current picture.
  • the current picture and the depth picture may be coded at different spatial resolutions. This is because the coding efficiency may not be significantly reduced even if the spatial resolution is coded at a lower level due to the characteristics of depth information representing distance information between the camera and the object. Therefore, when the spatial resolution of the depth picture is coded lower than the current picture, the decoder may involve an upsampling process for the depth picture before acquiring position information of the current depth block.
  • offset information may be additionally considered when acquiring position information of the current depth block in the upsampled depth picture.
  • the offset information may include at least one of top offset information, left offset information, right offset information, and bottom offset information.
  • the top offset information may indicate a position difference between at least one pixel located at the top of the upsampled depth picture and at least one pixel located at the top of the current picture.
  • Left, right, and bottom offset information may also be defined in the same manner.
  • depth data corresponding to position information of a current depth block may be obtained (S310).
  • depth data corresponding to corner pixels of the current depth block may be used.
  • depth data corresponding to the center pixel of the current depth block may be used.
  • any one of a maximum value, a minimum value, and a mode value may be selectively used among the plurality of depth data corresponding to the plurality of pixels, or an average value of the plurality of depth data may be used.
  • the disparity vector of the current texture block may be derived using the depth data obtained in operation S310 (S320).
  • the disparity vector of the current texture block may be derived as in Equation 3 below.
  • v denotes depth data
  • a denotes a scaling factor
  • f denotes an offset used to derive a disparity vector.
  • the scaling factor a and offset f may be signaled in a video parameter set or slice header, or may be a value pre-set in the decoder.
  • n is a variable representing the value of the bit shift, which may be variably determined according to the accuracy of the disparity vector.
  • FIG. 4 illustrates a candidate of a spatial / temporal neighboring block of a current texture block as an embodiment to which the present invention is applied.
  • the spatial neighboring block includes a left neighboring block A1, an upper neighboring block B1, a lower left neighboring block A0, an upper right neighboring block B0, or an upper left neighboring block of the current texture block. It may include at least one of the blocks (B2).
  • the temporal neighboring block may mean a block at the same position as the current texture block.
  • the temporal neighboring block is a block belonging to a picture located at a different time zone from the current texture block, and includes a block BR corresponding to the lower right pixel of the current texture block, a block CT corresponding to the center pixel of the current texture block, or the like. It may include at least one of the blocks (TL) corresponding to the upper left pixel of the current texture block.
  • the disparity vector of the current texture block may be derived from a disparity-compensated prediction block (hereinafter, referred to as a DCP block) among the spatial / temporal neighboring blocks.
  • the DCP block may mean a block encoded through inter-view texture prediction using a disparity vector.
  • the DCP block may perform inter-view prediction using texture data of the reference block specified by the disparity vector.
  • the disparity vector of the current texture block may be predicted or reconstructed using the disparity vector used by the DCP block for inter-view texture prediction.
  • the disparity vector of the current texture block may be derived from a disparity vector based-motion compensation prediction block (hereinafter referred to as DV-MCP block) among the spatial neighboring blocks.
  • the DV-MCP block may mean a block encoded through inter-view motion prediction using a disparity vector.
  • the DV-MCP block may perform temporal inter prediction using the temporal motion vector of the reference block specified by the disparity vector.
  • the disparity vector of the current texture block may be predicted or reconstructed using the disparity vector used by the DV-MCP block to obtain the temporal motion vector of the reference block.
  • the current texture block may search whether a spatial / temporal neighboring block corresponds to a DCP block according to a pre-defined priority, and derive a disparity vector from the first found DCP block.
  • the search may be performed with the priority of the spatial neighboring block-> temporal neighboring block, and among the spatial neighboring blocks with the priority of A1-> B1-> B0-> A0-> B2. It may be found whether it corresponds to the DCP block.
  • this is only an embodiment of the priority, and may be determined differently within the scope apparent to those skilled in the art.
  • the spatial / temporal neighboring blocks corresponds to the DCP block, it can additionally search whether the spatial neighboring block corresponds to the DV-MCP block, and likewise derive the disparity vector from the first searched DV-MCP block. .
  • FIG. 5 illustrates a method of decoding a depth image according to a segment-based depth coding scheme according to an embodiment to which the present invention is applied.
  • the segment-based depth coding scheme does not separately encode residual depth values of a depth image (eg, a coding block or a prediction block), and represents one residual depth value (hereinafter, representative residual).
  • One depth image may be composed of at least one segment. If the depth image is composed of two or more segments, the representative residual depth value may be signaled for each segment.
  • the representative residual depth value may be derived by averaging the difference between the original depth value and the prediction depth value. For example, a difference value between an original depth value and a prediction depth value may be obtained for each pixel of the depth image, and an average value of the obtained difference values may be defined as a representative residual depth value. Alternatively, a difference value between the average value of the original depth values of the depth image and the average value of the prediction depth values may be defined as the representative residual depth value.
  • the bit rate of the residual depth value may be reduced as compared with the case of encoding the residual depth value for each pixel.
  • an absolute offset value (depth_dc_abs) and offset sign information (depth_dc_sign_flag) may be obtained from a bitstream (S500).
  • the absolute offset value and the offset sign information are syntax used to derive the offset value DcOffset. That is, the offset value DcOffset may be coded with an absolute offset value and offset code information.
  • the absolute offset value may mean an absolute value of the offset value DcOffset
  • the offset sign information may indicate a sign of the offset value DcOffset.
  • the absolute value of the offset may be obtained through entropy decoding based on context-based adaptive binary arithmetic coding, which will be described with reference to FIGS. 6 to 9.
  • an offset value DcOffset may be derived using the offset absolute value and the offset code information obtained in operation S500 (S510).
  • the offset value DcOffset may be used as the representative residual depth value.
  • the offset value DcOffset may be defined as an index mapped to the representative residual depth value instead of the representative residual depth value itself.
  • the depth lookup table is a table that defines a mapping relationship between a depth value of a video image and an index assigned thereto. As described above, when the depth lookup table is used, encoding efficiency can be improved by encoding only the index assigned to the depth value without encoding the depth value itself.
  • the method of deriving the representative residual depth value from the offset value DcOffset will be different depending on whether or not the depth lookup table is used in encoding the representative residual depth value.
  • the depth lookup table flag is an encoded syntax for indicating whether a depth lookup table is used in encoding or decoding a residual depth value.
  • the depth lookup table flag may be encoded for each layer or viewpoint including a corresponding video image. Alternatively, the depth lookup table flag may be encoded for each sequence or slice including the corresponding video image.
  • the representative residual depth value may be derived by using the offset value DcOffset and the depth lookup table derived in step S510 (S530).
  • the representative residual depth value corresponding to the offset value DcOffset may be derived using the depth lookup table.
  • the representative residual depth value may be derived as in Equation 4 below.
  • DltIdxToVal [] refers to a function for converting an index into a depth value using a depth lookup table
  • DltValToIdx [] refers to a function for converting a depth value into an index using a depth lookup table
  • a prediction depth value dcPred of a depth image may be converted into a first index DltValToIdx [dcPred] corresponding to the depth lookup table. For example, a depth value equal to the prediction depth value dcPred or a depth value that minimizes a difference between the prediction depth value dcPred is selected from the depth values defined in the depth lookup table, and the depth value is selected as the selected depth value.
  • the assigned index may be determined as the first index.
  • the prediction depth value dcPred may be derived as an average value of samples located at corners of the reconstructed depth image.
  • the samples located at the corner may include an upper left corner sample, an upper right corner sample, a lower left corner sample, and a lower right corner sample in the depth image.
  • the second index is obtained by adding the converted first index DltValToIdx [dcPred] and an offset value DcOffset, and a second index is referred to as a depth value (hereinafter, referred to as a reconstruction depth value) using a depth lookup table. Can be converted to).
  • a value obtained by subtracting the prediction depth value dcPred from the reconstruction depth value may be determined as a representative residual depth value dcVal.
  • the representative residual depth value may be derived using the offset value DcOffset derived in step S510 (S540).
  • the derived offset value DcOffset may be set as the representative residual depth value.
  • the depth image may be reconstructed using the representative residual depth value derived in step S530 or S540 (S550).
  • FIG. 6 illustrates a method of obtaining an absolute offset value through entropy decoding based on context-based adaptive binary arithmetic coding according to an embodiment to which the present invention is applied.
  • a bin string may be generated through regular coding or bypass coding on a bitstream encoded by context-based adaptive binary arithmetic coding (S600).
  • regular coding is adaptive binary arithmetic coding that predicts the probability of a bin by using contextual modeling
  • bypass coding may mean coding that outputs the binarized empty string as a bitstream.
  • Contextual modeling means probability modeling for each bin, and the probability may be updated according to the value of the currently encoded bin.
  • an empty string may be generated based on contextual modeling of the absolute offset value, that is, the occurrence probability of each bit.
  • the absolute offset value may be obtained through inverse-binarization of the empty string generated in operation S600 (S610).
  • the inverse binarization may mean an inverse process of the binarization process with respect to the absolute value of the offset performed by the encoder.
  • binarization unary binarization, truncated unary binarization, and truncated unary / 0 th order exponential golomb binarization can be used. .
  • the binarization of the absolute value of the offset may be performed by a combination of a prefix bin string and a suffix bin string.
  • the prefix empty string and the suffix empty string may be represented through different binarization methods.
  • the prefix empty string may use truncated unary binary coding
  • the suffix empty string may use zero-order exponential gollum binarization coding.
  • FIG. 7 illustrates a binarization method when the maximum number of bins cMax is set to three.
  • the absolute value of offset is represented by a combination of a prefix empty string and a suffix empty string, and the prefix empty string and the suffix empty string are binarized by truncated unary binary coding and zero-order exponential golem binary coding, respectively. do.
  • the prefix empty string may be represented by 111 and the suffix empty string may be represented by 0. If the offset absolute value is greater than 3, the prefix empty string is fixed at 111, and the suffix empty string can be represented by binarizing the difference between the absolute value of the offset and the maximum number of bins according to the zero-order exponential golem binarization encoding method. have.
  • an empty string of 111101 is generated through contextual modeling on an absolute offset value.
  • the generated empty string 111101 may be divided into a prefix empty string and a suffix empty string based on the maximum number c bins.
  • the prefix empty string will be 111 and the suffix empty string will be 101.
  • Binarization yields 2 The acquired 3 and 2 may be added to obtain 5 as an absolute offset value.
  • the absolute value of offset is represented by a combination of a prefix empty string and a suffix empty string, and the prefix empty string and the suffix empty string are binarized by truncated unary binary coding and zero-order exponential golem binary coding, respectively. do.
  • the prefix empty string When the maximum number of bins cMax is set to 5 and the absolute value of the offset is 5, the prefix empty string may be represented by 11111 and the suffix empty string may be represented by zero. If the offset absolute value is greater than 5, the prefix empty string is fixed at 11111, and the suffix empty string can be represented by binarizing the difference between the offset absolute value and the maximum number of bins according to the zero-order exponential golem binarization coding method. have.
  • an empty string of 11111100 is generated through contextual modeling on an absolute offset value.
  • the generated empty string 11111100 may be divided into a prefix empty string and a suffix empty string based on the maximum number c bins.
  • the prefix empty string will be 11111 and the suffix empty string will be 100.
  • FIG. 9 illustrates a binarization method when the maximum number of bins cMax is set to seven.
  • an absolute value of an offset is represented by a combination of a prefix empty string and a suffix empty string, and the prefix empty string and the suffix empty string are binarized by truncated unary binary coding and zero-order exponential golem binary coding, respectively. do.
  • the prefix empty string may be represented by 1111111 and the suffix empty string may be represented by zero. If the offset absolute value is greater than 7, the prefix empty string is fixed to 1111111, and the suffix empty string can be represented by binarizing the difference between the offset absolute value and the maximum number of bins according to the zeroth order exponential golem binarization coding method. have.
  • an empty string of 11111111100 is generated through contextual modeling on an absolute offset value.
  • the generated empty string 11111111100 may be divided into a prefix empty string and a suffix empty string based on the maximum number of bins cMax.
  • the prefix empty string will be 1111111
  • the suffix empty string will be 100.
  • FIG. 10 illustrates a method of decoding a current depth block based on an intra single mode according to an embodiment to which the present invention is applied.
  • the depth image may be configured with the same or similar value differently from the texture image.
  • the reconstruction / prediction depth value of the current depth block can be obtained using one depth sample, which will be referred to as an intra single mode.
  • a depth value derived from a peripheral depth sample or a disparity vector reconstructed into one depth sample may be used, and separate index information may be signaled to specify one depth sample.
  • a single depth index of a current depth block may be obtained from a bitstream (S1000).
  • the single depth index may be signaled.
  • the single depth index is information for specifying one depth sample used to derive a reconstruction / prediction depth value of the current depth block.
  • the single depth index may be determined by using a reconstructed depth sample of a top neighbor block adjacent to the current depth block or a reconstructed depth of a left neighbor block adjacent to the current depth block. The sample can be used to specify whether or not it is derived.
  • one of a plurality of candidate samples may be selected based on the single depth index obtained in S1000 (S1010).
  • the plurality of candidate samples may refer to depth samples usable for encoding / decoding a current depth block in an intra single mode.
  • the plurality of candidate samples may include depth samples of neighboring blocks adjacent to the current depth block.
  • a depth sample of a pre-defined position among the depth samples belonging to the neighboring block may be selectively used, which will be described in detail with reference to FIG. 11.
  • the current depth block may be encoded in an intra single mode using a depth value derived from a current texture block or a disparity vector related to the current depth block, and in this case, the plurality of candidate samples may be encoded as a depth depth candidate (hereinafter, referred to as a depth depth candidate). It may also include a disparity derived depth candidate (DDD).
  • the depth value Depth corresponding to the DDD may be derived as in Equation 5 below.
  • Equation 5 w denotes a distance between viewpoints, and DVx denotes an x component of the disparity vectors DVx and DVy.
  • a reconstruction / prediction depth value of a current depth block may be obtained in consideration of whether a candidate sample selected in S1010 is available for intra prediction of a current depth block (S1020).
  • the reconstruction / prediction depth value of all the samples belonging to the current depth block may be derived as the value of the selected candidate sample.
  • a reconstruction / prediction depth value of all samples belonging to the current depth block may be derived using a default offset.
  • a default offset value a pre-defined default value may be used in the decoding apparatus, and the pre-defined default value may be set based on the bit depth value BitDepth of the encoded texture picture or the depth picture. have.
  • a value added or subtracted from a value of another available candidate sample may be used as a default offset value, and the other available candidate sample may be the sample closest to the current depth block in the scan order.
  • the current depth block may be finally reconstructed using the reconstruction / prediction depth value obtained in S1020 and the representative residual depth value derived in FIG. 5.
  • a method of restoring the current depth block based on the intra single mode has been described, but is not limited thereto.
  • a reconstruction / prediction texture value may be derived using only one texture sample among neighboring texture samples according to the intra single mode described above.
  • FIG. 11 illustrates an example of a plurality of candidate samples available for intra single mode according to an embodiment to which the present invention is applied.
  • the current depth block encoded in the intra single mode may use a depth sample of a pre-defined position among depth samples of a spatially adjacent neighboring block.
  • the plurality of candidate samples may include at least one of a depth sample of a top neighboring block, a depth sample of a left neighboring block, or a depth sample of a left-top neighboring block based on a current depth block. Can be.
  • the depth sample of the left neighboring block used as the candidate sample may include at least one of a depth sample A1 located at the top-most or a depth sample A0 located at the bottom-most of the depth samples adjacent to the left side of the current depth block. It may include one.
  • the depth sample of the upper neighboring block used as the candidate sample may be at least one of the depth sample B1 located on the leftmost side or the depth sample B0 located on the rightmost side among the depth samples contacting the top of the current depth block. It may include.
  • a plurality of candidate samples are based on a current depth block, a depth sample of a top neighboring block, a depth sample of a left neighboring block, a depth sample of a left-top neighboring block, and a depth of a right-top neighboring block. At least one of the sample or the depth sample of the lower-left neighboring block.
  • the depth sample of the left neighboring block used as the candidate sample may include a depth sample A1 located at the bottom-most or depth sample A1 located at the bottom-most of the depth samples adjacent to the left side of the current depth block. It may include at least one of the depth sample (A0) located in.
  • the depth sample of the upper neighboring block used as the candidate sample is located on the right side of the depth sample B1 located on the right-most side or the depth sample B1 located on the right-most side among the depth samples facing the top of the current depth block. It may include at least one of the located depth sample (B0).
  • a depth sample positioned in the middle of depth samples adjacent to the left side of the current depth block may be used as a candidate sample, and likewise, among depth samples touching the top of the current depth block.
  • a depth sample located in the middle may be used as a candidate sample.
  • the plurality of candidate samples described above may construct a candidate list in a pre-set order.
  • the plurality of candidate samples may be arranged in the candidate list in the order of A0-> B0-> B1-> A1-> B2.
  • the variation depth candidate DDD may be arranged with priority over spatially adjacent candidate samples.
  • they may be arranged in the candidate list in the order of DDD-> A0-> B0-> B1-> A1-> B2.
  • the present invention is not limited thereto, and the candidate list may be configured with various priorities within a range that can be easily derived by a person skilled in the art.
  • FIG. 12 illustrates a method of encoding a single depth index based on a plurality of candidate lists according to an embodiment to which the present invention is applied.
  • a first candidate list may be generated based on some candidate samples of the plurality of candidate samples described above, and a second candidate list may be generated based on the remaining candidate samples.
  • a first candidate list is generated using the first candidate sample groups DDD, A0, and B0 and a second candidate list is generated using the second candidate sample groups B1, A1, and B2. do.
  • the present invention is not limited thereto, and the number and / or types of candidate samples belonging to each candidate sample group may be variously determined within a range easily obtained by those skilled in the art.
  • the first candidate list may be generated based on the available candidate samples. If there are no candidate samples available among DDD, A0, and B0, a second candidate list may be additionally generated using the second candidate sample group. In this case as well, a second candidate list can be generated based on available candidate samples among B1, A2, and B2 belonging to the second candidate sample group.
  • the encoder may encode the first single depth index regarding the first candidate list. have. That is, when DDD is used as the final candidate sample, 0 value is encoded by the first single depth index, and when A0 is used, 1 value is encoded by the first single depth index.
  • the encoder may similarly encode the second single depth index related to the second candidate list.
  • the encoder may similarly encode the second single depth index related to the second candidate list.
  • one of the values of 0, 1, and 2 can be encoded.
  • the encoder may encode the value of the first single depth index to a predetermined constant value to indicate that the current depth block is encoded in the intra single mode with reference to the second candidate list.
  • the predetermined constant value may be determined to be equal to the maximum number of candidate samples included in the first candidate sample group. Therefore, as shown in FIG. 12, since the maximum number of candidate samples included in the first candidate sample group is three, the value of the first single depth index may be encoded as three.
  • the second single depth index may be limitedly encoded only when the value of the first single depth index is encoded to a predetermined constant value.
  • a flag specifying whether the current depth block refers to the first candidate list or the second candidate list may be encoded.
  • the first single depth index or the second single depth index may be selectively signaled according to the value of the corresponding flag.
  • the present invention can be used to code a video signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 다시점 비디오 신호 처리 방법은 현재 뎁스 블록이 인트라 싱글 모드로 부호화된 경우, 비트스트림으로부터 현재 뎁스 블록에 관한 싱글 뎁스 인덱스를 획득하고, 싱글 뎁스 인덱스에 기초하여 현재 뎁스 블록을 인트라 싱글 모드로 복호화하는데 이용 가능한 복수의 후보 샘플들 중 어느 하나를 선택하며, 선택된 후보 샘플이 상기 현재 뎁스 블록의 인트라 예측을 위해 가용한지 여부를 고려하여 현재 뎁스 블록을 복원하는 것을 특징으로 한다.

Description

다시점 비디오 신호 처리 방법 및 장치
본 발명은 비디오 신호의 코딩 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 고효율의 영상 압축 기술들이 활용될 수 있다.
영상 압축 기술로 현재 픽쳐의 이전 또는 이후 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 화면 간 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 화면 내 예측 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.
한편, 고해상도 영상에 대한 수요가 증가함과 함께, 새로운 영상 서비스로서 입체 영상 컨텐츠에 대한 수요도 함께 증가하고 있다. 고해상도 및 초고해상도의 입체 영상 콘텐츠를 효과적으로 제공하기 위한 비디오 압축 기술에 대하여 논의가 진행되고 있다.
본 발명은 다시점 비디오 신호를 인코딩/디코딩함에 있어서, 변이 벡터를 이용하여 시점 간 예측을 수행하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 다시점 비디오 신호를 인코딩/디코딩함에 있어서, 뎁스 블록의 뎁스 데이터를 이용하여 텍스쳐 블록의 변이 벡터를 유도하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 다시점 비디오 신호를 인코딩/디코딩함에 있어서, 현재 텍스쳐 블록의 이웃 블록으로부터 변이 벡터를 유도하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 다시점 비디오 신호를 인코딩/디코딩함에 있어서, 세그먼트 기반의 뎁스 코딩 기법에 따라 뎁스 영상을 코딩하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 다시점 비디오 신호를 인코딩/디코딩함에 있어서, 문맥 기반의 적응적 이진 산술 코딩에 기반한 엔트로피 디코딩을 통해 오프셋 절대값을 획득하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 다시점 비디오 신호를 인코딩/디코딩함에 있어서, 인트라 싱글 모드로 뎁스 영상을 인트라 예측하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 디코딩 방법 및 장치는, 현재 뎁스 블록이 인트라 싱글 모드로 부호화된 경우, 비트스트림으로부터 상기 현재 뎁스 블록에 관한 싱글 뎁스 인덱스를 획득하고, 상기 싱글 뎁스 인덱스에 기초하여, 상기 현재 뎁스 블록을 인트라 싱글 모드로 복호화하는데 이용 가능한 복수의 후보 샘플들 중 어느 하나를 선택하며, 상기 선택된 후보 샘플을 이용하여 상기 현재 뎁스 블록을 복원하는 것을 특징으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 디코딩 방법 및 장치에 있어서, 상기 복수의 후보 샘플들은 상기 현재 뎁스 블록에 인접한 이웃 블록의 뎁스 샘플 또는 상기 현재 뎁스 블록에 대응하는 변이 벡터로부터 유도된 뎁스 값 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 디코딩 방법 및 장치에 있어서, 상기 이웃 블록은 상기 현재 뎁스 블록에 인접한 좌측 이웃 블록 또는 상단 이웃 블록 중 적어도 하나를 포함하고, 상기 이웃 블록의 뎁스 샘플은 상기 이웃 블록에 속한 복수의 뎁스 샘플들 중 기-정의된 위치의 샘플인 것을 특징으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 디코딩 방법 및 장치에 있어서, 상기 좌측 이웃 블록의 뎁스 샘플은 상기 현재 뎁스 블록의 좌측에 접해있는 뎁스 샘플들 중간에 위치한 뎁스 샘플이고, 상기 상단 이웃 블록의 뎁스 샘플은 상기 현재 뎁스 블록에 접해있는 뎁스 샘플들 중 중간에 위치한 뎁스 샘플인 것을 특징으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 디코딩 방법 및 장치에 있어서, 상기 복수의 후보 샘플들을 이용하여 후보 리스트를 구성하는 단계를 더 포함하고, 상기 복수의 후보 샘플들은 기-설정된 순서로 상기 후보 리스트에 배열되는 것을 특징으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 인코딩 방법 및 장치는, 현재 뎁스 블록이 인트라 싱글 모드로 부호화된 경우, 상기 현재 뎁스 블록에 관한 싱글 뎁스 인덱스를 부호화하고, 상기 싱글 뎁스 인덱스에 기초하여, 상기 현재 뎁스 블록을 인트라 싱글 모드로 부호화하는데 이용 가능한 복수의 후보 샘플들 중 어느 하나를 선택하며, 상기 선택된 후보 샘플을 이용하여 상기 현재 뎁스 블록을 복원하는 것을 특징으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 인코딩 방법 및 장치에 있어서, 상기 복수의 후보 샘플들은 상기 현재 뎁스 블록에 인접한 이웃 블록의 뎁스 샘플 또는 상기 현재 뎁스 블록에 대응하는 변이 벡터로부터 유도된 뎁스 값 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 인코딩 방법 및 장치에 있어서, 상기 이웃 블록은 상기 현재 뎁스 블록에 인접한 좌측 이웃 블록 또는 상단 이웃 블록 중 적어도 하나를 포함하고, 상기 이웃 블록의 뎁스 샘플은 상기 이웃 블록에 속한 복수의 뎁스 샘플들 중 기-정의된 위치의 샘플인 것을 특징으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 인코딩 방법 및 장치에 있어서, 상기 좌측 이웃 블록의 뎁스 샘플은 상기 현재 뎁스 블록의 좌측에 접해있는 뎁스 샘플들 중간에 위치한 뎁스 샘플이고, 상기 상단 이웃 블록의 뎁스 샘플은 상기 현재 뎁스 블록에 접해있는 뎁스 샘플들 중 중간에 위치한 뎁스 샘플인 것을 특징으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 인코딩 방법 및 장치에 있어서, 상기 복수의 후보 샘플들을 이용하여 후보 리스트를 구성하는 단계를 더 포함하고, 상기 복수의 후보 샘플들은 기-설정된 순서로 상기 후보 리스트에 배열되는 것을 특징으로 한다.
본 발명에 의하면, 변이 벡터를 이용하여 시점 간 예측을 효율적으로 수행할 수 있다.
본 발명에 의하면, 현재 뎁스 블록의 뎁스 데이터 또는 이웃 텍스쳐 블록의 변이 벡터로부터 현재 텍스쳐 블록의 변이 벡터를 효과적으로 유도할 수 있다.
본 발명에 의하면, 세그먼트 기반의 뎁스 코딩 기법에 따라 뎁스 영상의 잔여 뎁스 값을 효율적으로 코딩할 수 있다.
본 발명에 의하면, 문맥 기반의 적응적 이진 산술 코딩에 기반한 엔트로피 디코딩을 통해 오프셋 절대값을 효과적으로 디코딩할 수 있다.
본 발명에 의하면, 인트라 싱글 모드로 부호화함으로써, 뎁스 영상의 인트라 예측의 부호화 효율을 향상시킬 수 있다.
도 1은 본 발명이 적용되는 일실시예로서, 비디오 디코더의 개략적인 블록도를 도시한 것이다.
도 2는 본 발명이 적용되는 일실시예로서, 변이 벡터에 기초하여 시점 간 예측을 수행하는 방법을 도시한 것이다.
도 3은 본 발명이 적용되는 일실시예로서, 뎁스 영상의 뎁스 데이터를 이용하여 현재 텍스쳐 블록의 변이 벡터를 유도하는 방법을 도시한 것이다.
도 4는 본 발명이 적용되는 일실시예로서, 현재 텍스쳐 블록의 공간적/시간적 이웃 블록의 후보를 도시한 것이다.
도 5는 본 발명이 적용되는 일실시예로서, 세그먼트 기반의 뎁스 코딩 기법에 따라 뎁스 영상을 디코딩하는 방법을 도시한 것이다.
도 6은 본 발명이 적용되는 일실시예로서, 문맥 기반의 적응적 이진 산술 코딩(context-based adaptive binary arithmetic coding)에 기반한 엔트로피 디코딩을 통해 오프셋 절대값을 획득하는 방법을 도시한 것이다.
도 7 내지 도 9는 본 발명이 적용되는 일실시예로서, 빈의 최대 개수(cMax)에 따른 오프셋 절대값의 이진화 방법을 도시한 것이다.
도 10은 본 발명이 적용되는 일실시예로서, 인트라 싱글 모드(intra single mode)에 기반하여 현재 뎁스 블록을 디코딩하는 방법을 도시한 것이다.
도 11은 본 발명이 적용되는 일실시예로서, 인트라 싱글 모드에 이용 가능한 복수의 후보 샘플들의 예시이다.
도 12는 본 발명이 적용되는 일실시예로서, 복수의 후보 리스트에 기반하여 싱글 뎁스 인덱스를 부호화하는 방법에 관한 것이다.
본 발명에 따른 멀티 레이어 비디오 신호 디코딩 방법 및 장치는, 현재 뎁스 블록이 인트라 싱글 모드로 부호화된 경우, 비트스트림으로부터 상기 현재 뎁스 블록에 관한 싱글 뎁스 인덱스를 획득하고, 상기 싱글 뎁스 인덱스에 기초하여, 상기 현재 뎁스 블록을 인트라 싱글 모드로 복호화하는데 이용 가능한 복수의 후보 샘플들 중 어느 하나를 선택하며, 상기 선택된 후보 샘플을 이용하여 상기 현재 뎁스 블록을 복원하는 것을 특징으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 디코딩 방법 및 장치에 있어서, 상기 복수의 후보 샘플들은 상기 현재 뎁스 블록에 인접한 이웃 블록의 뎁스 샘플 또는 상기 현재 뎁스 블록에 대응하는 변이 벡터로부터 유도된 뎁스 값 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 디코딩 방법 및 장치에 있어서, 상기 이웃 블록은 상기 현재 뎁스 블록에 인접한 좌측 이웃 블록 또는 상단 이웃 블록 중 적어도 하나를 포함하고, 상기 이웃 블록의 뎁스 샘플은 상기 이웃 블록에 속한 복수의 뎁스 샘플들 중 기-정의된 위치의 샘플인 것을 특징으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 디코딩 방법 및 장치에 있어서, 상기 좌측 이웃 블록의 뎁스 샘플은 상기 현재 뎁스 블록의 좌측에 접해있는 뎁스 샘플들 중간에 위치한 뎁스 샘플이고, 상기 상단 이웃 블록의 뎁스 샘플은 상기 현재 뎁스 블록에 접해있는 뎁스 샘플들 중 중간에 위치한 뎁스 샘플인 것을 특징으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 디코딩 방법 및 장치에 있어서, 상기 복수의 후보 샘플들을 이용하여 후보 리스트를 구성하는 단계를 더 포함하고, 상기 복수의 후보 샘플들은 기-설정된 순서로 상기 후보 리스트에 배열되는 것을 특징으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 인코딩 방법 및 장치는, 현재 뎁스 블록이 인트라 싱글 모드로 부호화된 경우, 상기 현재 뎁스 블록에 관한 싱글 뎁스 인덱스를 부호화하고, 상기 싱글 뎁스 인덱스에 기초하여, 상기 현재 뎁스 블록을 인트라 싱글 모드로 부호화하는데 이용 가능한 복수의 후보 샘플들 중 어느 하나를 선택하며, 상기 선택된 후보 샘플을 이용하여 상기 현재 뎁스 블록을 복원하는 것을 특징으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 인코딩 방법 및 장치에 있어서, 상기 복수의 후보 샘플들은 상기 현재 뎁스 블록에 인접한 이웃 블록의 뎁스 샘플 또는 상기 현재 뎁스 블록에 대응하는 변이 벡터로부터 유도된 뎁스 값 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 인코딩 방법 및 장치에 있어서, 상기 이웃 블록은 상기 현재 뎁스 블록에 인접한 좌측 이웃 블록 또는 상단 이웃 블록 중 적어도 하나를 포함하고, 상기 이웃 블록의 뎁스 샘플은 상기 이웃 블록에 속한 복수의 뎁스 샘플들 중 기-정의된 위치의 샘플인 것을 특징으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 인코딩 방법 및 장치에 있어서, 상기 좌측 이웃 블록의 뎁스 샘플은 상기 현재 뎁스 블록의 좌측에 접해있는 뎁스 샘플들 중간에 위치한 뎁스 샘플이고, 상기 상단 이웃 블록의 뎁스 샘플은 상기 현재 뎁스 블록에 접해있는 뎁스 샘플들 중 중간에 위치한 뎁스 샘플인 것을 특징으로 한다.
본 발명에 따른 멀티 레이어 비디오 신호 인코딩 방법 및 장치에 있어서, 상기 복수의 후보 샘플들을 이용하여 후보 리스트를 구성하는 단계를 더 포함하고, 상기 복수의 후보 샘플들은 기-설정된 순서로 상기 후보 리스트에 배열되는 것을 특징으로 한다.
다시점 비디오 신호 데이터를 압축 부호화 또는 복호화하는 기술은 공간적 중복성, 시간적 중복성 및 시점간 존재하는 중복성을 고려하고 있다. 또한, 다시점 영상의 경우, 3차원 영상을 구현하기 위해 2개 이상의 시점에서 촬영된 다시점 텍스쳐 영상을 코딩할 수 있다. 또한, 필요에 따라 다시점 텍스쳐 영상에 대응하는 뎁스 데이터를 더 코딩할 수도 있다. 뎁스 데이터를 코딩함에 있어서, 공간적 중복성, 시간적 중복성 또는 시점간 중복성을 고려하여 압축 코딩할 수 있음은 물론이다. 뎁스 데이터는 카메라와 해당 화소 간의 거리 정보를 표현한 것이며, 본 명세서 내에서 뎁스 데이터는 뎁스 값, 뎁스 정보, 뎁스 영상, 뎁스 픽쳐, 뎁스 시퀀스, 뎁스 비트스트림 등과 같이 뎁스에 관련된 정보로 유연하게 해석될 수 있다. 또한, 본 명세서에서 코딩이라 함은 인코딩과 디코딩의 개념을 모두 포함할 수 있고, 본 발명의 기술적 사상 및 기술적 범위에 따라 유연하게 해석할 수 있을 것이다.
도 1은 본 발명이 적용되는 일실시예로서, 비디오 디코더의 개략적인 블록도를 도시한 것이다.
도 1을 참조하면, 비디오 디코더는 NAL 파싱부(100), 엔트로피 디코딩부(200), 역양자화/역변환부(300), 인트라 예측부(400), 인-루프 필터부(500), 복호 픽쳐 버퍼부(600), 인터 예측부(700)를 포함할 수 있다.
NAL 파싱부 (100)는 다시점 텍스쳐 데이터를 포함한 비트스트림을 수신할 수 있다. 또한, 뎁스 데이터가 텍스쳐 데이터의 코딩에 필요한 경우, 인코딩된 뎁스 데이터를 포함한 비트스트림을 더 수신할 수도 있다. 이 때 입력되는 텍스쳐 데이터와 뎁스 데이터는 하나의 비트스트림으로 전송될 수 있고, 또는 별개의 비트스트림으로 전송될 수도 있다. NAL 파싱부(100)는 입력된 비트스트림을 복호화하기 위해 NAL 단위로 파싱을 수행할 수 있다. 입력된 비트스트림이 다시점 관련 데이터(예를 들어, 3-Dimensional Video)인 경우, 입력된 비트스트림은 카메라 파라미터를 더 포함할 수 있다. 카메라 파라미터에는 고유의 카메라 파라미터 (intrinsic camera parameter) 및 비고유의 카메라 파라미터 (extrinsic camera parameter)가 있을 수 있고, 고유의 카메라 파라미터는 초점 거리(focal length), 가로세로비(aspect ratio), 주점(principal point) 등을 포함할 수 있고, 비고유의 카메라 파라미터는 세계 좌표계에서의 카메라의 위치정보 등을 포함할 수 있다.
엔트로피 디코딩부(200)는 엔트로피 디코딩을 통하여 양자화된 변환 계수, 텍스쳐 픽쳐의 예측을 위한 코딩 정보 등을 추출할 수 있다.
역양자화/역변환부(300)에서는 양자화된 변환 계수에 양자화 파라미터를 적용하여 변환 계수를 획득하고, 변환 계수를 역변환하여 텍스쳐 데이터 또는 뎁스 데이터를 복호화할 수 있다. 여기서, 복호화된 텍스쳐 데이터 또는 뎁스 데이터는 예측 처리에 따른 레지듀얼 데이터를 의미할 수 있다. 또한, 뎁스 블록에 대한 양자화 파라미터는 텍스쳐 데이터의 복잡도를 고려하여 설정될 수 있다. 예를 들어, 뎁스 블록에 대응하는 텍스쳐 블록이 복잡도가 높은 영역인 경우에는 낮은 양자화 파라미터를 설정하고, 복잡도가 낮은 영역인 경우에는 높은 양자화 파라미터를 설정할 수 있다. 텍스쳐 블록의 복잡도는 수학식 1과 같이 복원된 텍스쳐 픽쳐 내에서 서로 인접한 픽셀들 간의 차분값에 기초하여 결정될 수 있다.
수학식 1
Figure PCTKR2015005134-appb-M000001
수학식 1에서 E는 텍스쳐 데이터의 복잡도를 나타내고, C는 복원된 텍스쳐 데이터를 의미하며, N은 복잡도를 산출하고자 하는 텍스쳐 데이터 영역 내의 픽셀 개수를 의미할 수 있다. 수학식 1을 참조하면, 텍스쳐 데이터의 복잡도는 (x,y) 위치에 대응하는 텍스쳐 데이터와 (x-1,y) 위치에 대응하는 텍스쳐 데이터 간의 차분값 및 (x,y) 위치에 대응하는 텍스쳐 데이터와 (x+1,y) 위치에 대응하는 텍스쳐 데이터 간의 차분값을 이용하여 산출될 수 있다. 또한, 복잡도는 텍스쳐 픽쳐와 텍스쳐 블록에 대해서 각각 산출될 수 있고, 이를 이용하여 아래 수학식 2와 같이 양자화 파라미터를 유도할 수 있다.
수학식 2
Figure PCTKR2015005134-appb-M000002
수학식 2를 참조하면, 뎁스 블록에 대한 양자화 파라미터는 텍스쳐 픽쳐의 복잡도와 텍스쳐 블록의 복잡도의 비율에 기초하여 결정될 수 있다. α 및 β는 디코더에서 유도되는 가변적인 정수일 수 있고, 또는 디코더 내에서 기 결정된 정수일 수 있다.
인트라 예측부(400)는 현재 텍스쳐 픽쳐 내의 복원된 텍스쳐 데이터를 이용하여 화면 내 예측을 수행할 수 있다. 뎁스 픽쳐에 대해서도 텍스쳐 픽쳐와 동일한 방식으로 화면 내 예측이 수행될 수 있다. 예를 들어, 텍스쳐 픽쳐의 화면 내 예측을 위해 이용되는 코딩 정보를 텝스 픽쳐에서도 동일하게 이용할 수 있다. 여기서, 화면 내 예측을 위해 이용되는 코딩 정보는 인트라 예측 모드, 인트라 예측의 파티션 정보를 포함할 수 있다.
인-루프 필터부(500)는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 블록에 인-루프 필터를 적용할 수 있다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 픽쳐의 화질을 향상시킬 수 있다. 필터링을 거친 텍스쳐 픽쳐 또는 뎁스 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(600)에 저장될 수 있다. 한편, 텍스쳐 데이터의 특성과 뎁스 데이터의 특성이 서로 상이하기 때문에 동일한 인-루프 필터를 사용하여 텍스쳐 데이터와 뎁스 데이터의 코딩을 수행할 경우, 코딩 효율이 떨어질 수 있다. 따라서, 뎁스 데이터를 위한 별도의 인-루프 필터를 정의할 수도 있다. 이하, 뎁스 데이터를 효율적으로 코딩할 수 있는 인-루프 필터링 방법으로서, 영역 기반의 적응적 루프 필터 (region-based adaptive loop filter)와 트라일래터럴 루프 필터 (trilateral loop filter)를 살펴 보기로 한다.
영역 기반의 적응적 루프 필터의 경우, 뎁스 블록의 변화량 (variance)에 기초하여 영역 기반의 적응적 루프 필터를 적용할 지 여부를 결정할 수 있다. 여기서, 뎁스 블록의 변화량은 뎁스 블록 내에서 최대 픽셀값과 최소 픽셀값 간의 차분으로 정의될 수 있다. 뎁스 블록의 변화량과 기결정된 문턱값 간의 비교를 통해서 필터 적용 여부를 결정할 수 있다. 예를 들어, 뎁스 블록의 변화량이 기결정된 문턱값보다 크거나 같은 경우, 뎁스 블록 내의 최대 픽셀값과 최소 픽셀값 간의 차이가 큰 것을 의미하므로 영역 기반의 적응적 루프 필터를 적용하는 것으로 결정할 수 있다. 반대로, 뎁스 변화량이 기결정된 문턱값보다 작은 경우에는 영역 기반의 적응적 루프 필터를 적용하지 아니하는 것으로 결정할 수 있다. 상기 비교 결과에 따라 필터를 적용하는 경우, 필터링된 뎁스 블록의 픽셀값은 소정의 가중치를 이웃 픽셀값에 적용하여 유도될 수 있다. 여기서, 소정의 가중치는 현재 필터링되는 픽셀과 이웃 픽셀 간의 위치 차이 및/또는 현재 필터링되는 픽셀값과 이웃 픽셀값 간의 차분값에 기초하여 결정될 수 있다. 또한, 이웃 픽셀값은 뎁스 블록 내에 포함된 픽셀값 중에서 현재 필터링되는 픽셀값을 제외한 어느 하나를 의미할 수 있다.
본 발명에 따른 트라일래터럴 루프 필터는 영역 기반의 적응적 루프 필터와 유사하나, 텍스쳐 데이터를 추가적으로 고려한다는 점에서 차이가 있다. 구체적으로, 트라일래터럴 루프 필터는 다음의 세가지 조건을 비교하여, 이를 만족하는 이웃 픽셀의 뎁스 데이터를 추출할 수 있다.
Figure PCTKR2015005134-appb-I000001
조건 1은 뎁스 블록 내의 현재 픽셀(p)와 이웃 픽셀(q) 간의 위치 차이를 기결정된 매개변수 σ1과 비교하는 것이고, 조건 2는 현재 픽셀(p)의 뎁스 데이터와 이웃 픽셀(q)의 뎁스 데이터 간의 차분을 기결정된 매개변수 σ2와 비교하는 것이며, 조건 3은 현재 픽셀(p)의 텍스쳐 데이터와 이웃 픽셀(q)의 텍스쳐 데이터 간의 차분을 기결정된 매개변수 σ3과 비교하는 것이다.
상기 세가지 조건을 만족하는 이웃 픽셀들을 추출하고, 이들 뎁스 데이터의 중간값 또는 평균값으로 현재 픽셀(p)을 필터링할 수 있다.
복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(600)에서는 화면 간 예측을 수행하기 위해서 이전에 코딩된 텍스쳐 픽쳐 또는 뎁스 픽쳐를 저장하거나 개방하는 역할 등을 수행한다. 이 때 복호 픽쳐 버퍼부(600)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용할 수 있다. 나아가, 뎁스 코딩에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 뎁스 픽쳐와 다른 시점에 있는 뎁스 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 뎁스 픽쳐의 시점을 식별하는 시점 식별 정보를 이용할 수도 있다. 복호 픽쳐 버퍼부(600)는 보다 유연하게 화면 간 예측을 실현하기 위하여 적응 메모리 관리 방법(Memory Management Control Operation Method)과 이동 윈도우 방법(Sliding Window Method) 등을 이용하여 참조 픽쳐를 관리할 수 있다. 이는 참조 픽쳐와 비참조 픽쳐의 메모리를 하나의 메모리로 통일하여 관리하고 적은 메모리로 효율적으로 관리하기 위함이다. 뎁스 코딩에 있어서, 뎁스 픽쳐들은 복호 픽쳐 버퍼부 내에서 텍스쳐 픽쳐들과 구별하기 위하여 별도의 표시로 마킹될 수 있고, 상기 마킹 과정에서 각 뎁스 픽쳐를 식별해주기 위한 정보가 이용될 수 있다.
인터 예측부(700)는 복호 픽쳐 버퍼부(600)에 저장된 참조 픽쳐와 모션 정보를 이용하여 현재 블록의 모션 보상을 수행할 수 있다. 본 명세서에서 모션 정보라 함은 모션 벡터, 레퍼런스 인덱스 정보를 포함하는 광의의 개념으로 이해될 수 있다. 또한, 인터 예측부(700)는 모션 보상을 수행하기 위해 시간적 인터 예측을 수행할 수 있다. 시간적 인터 예측이라 함은 현재 텍스쳐 블록과 동일 시점 및 다른 시간대에 위치한 참조 픽쳐 및 현재 텍스쳐 블록의 모션 정보를 이용한 인터 예측을 의미할 수 있다. 또한, 복수 개의 카메라에 의해 촬영된 다시점 영상의 경우, 시간적 인터 예측뿐만 아니라 시점 간 예측을 수행할 수도 있다. 상기 시점 간 예측에 이용되는 모션 정보는 변이 벡터(disparity vector) 또는 인터뷰 모션 벡터(inter-view motion vector)를 포함할 수 있다. 상기 변이 벡터를 이용하여 시점 간 예측을 수행하는 방법에 대해서는 이하 도 2를 참조하여 살펴 보기로 한다.
도 2는 본 발명이 적용되는 일실시예로서, 변이 벡터에 기초하여 시점 간 예측을 수행하는 방법을 도시한 것이다.
도 2를 참조하면, 현재 텍스쳐 블록의 변이 벡터(disparity vector)를 유도할 수 있다(S200).
예를 들어, 현재 텍스쳐 블록에 대응하는 뎁스 영상으로부터 변이 벡터를 유도할 수 있으며, 이는 도 3을 참조하여 자세히 살펴 보도록 한다.
또한, 현재 텍스쳐 블록에 공간적으로 인접한 이웃 블록으로부터 유도될 수도 있고, 현재 텍스쳐 블록과 다른 시간대에 위치한 시간적 이웃 블록으로부터 유도될 수도 있다. 현재 텍스쳐 블록의 공간적/시간적 이웃 블록으로부터 변이 벡터를 유도하는 방법에 대해서는 도 4를 참조하여 살펴 보도록 한다.
도 2를 참조하면, S200 단계에서 유도된 변이 벡터를 이용하여 현재 텍스쳐 블록의 시점 간 예측(inter-view prediction)을 수행할 수 있다(S210).
예를 들어, 변이 벡터에 의해서 특정된 참조 블록의 텍스쳐 데이터를 이용하여 현재 텍스쳐 블록의 텍스쳐 데이터를 예측하거나 복원할 수 있다. 여기서, 참조 블록은 현재 텍스쳐 블록의 시점 간 예측에 이용되는 시점 즉, 참조 시점에 속할 수 있다. 상기 참조 블록은 현재 텍스쳐 블록과 동일 시간대에 위치한 참조 픽쳐에 속할 수 있다.
또한, 상기 변이 벡터를 이용하여 참조 시점에 속한 참조 블록을 특정하고, 상기 특정된 참조 블록의 시간적 모션 벡터를 이용하여 현재 텍스쳐 블록의 시간적 모션 벡터를 유도할 수도 있다. 여기서, 시간적 모션 벡터는 시간적 인터 예측에 이용되는 모션 벡터를 의미하는 것으로, 시점 간 예측에 이용되는 변이 벡터와 구별될 수 있다.
도 3은 본 발명이 적용되는 일실시예로서, 뎁스 영상의 뎁스 데이터를 이용하여 현재 텍스쳐 블록의 변이 벡터를 유도하는 방법을 도시한 것이다.
도 3을 참조하면, 현재 텍스쳐 블록의 위치 정보에 기초하여 현재 텍스쳐 블록에 대응하는 뎁스 픽쳐 내의 뎁스 블록 (이하, 현재 뎁스 블록이라 한다.)의 위치 정보를 획득할 수 있다(S300).
현재 뎁스 블록의 위치는 뎁스 픽쳐와 현재 픽쳐 간의 공간 해상도를 고려하여 결정될 수 있다.
예를 들어, 뎁스 픽쳐와 현재 픽쳐가 동일한 공간 해상도로 코딩된 경우, 현재 뎁스 블록의 위치는 현재 픽쳐의 현재 텍스쳐 블록과 동일 위치의 블록으로 결정될 수 있다. 한편, 현재 픽쳐와 뎁스 픽쳐가 상이한 공간 해상도로 코딩될 수도 있다. 카메라와 객체 간의 거리 정보를 나타내는 뎁스 정보의 특성상, 공간 해상도를 낮춰서 코딩하더라도 코딩 효율이 크게 떨어지지 아니할 수 있기 때문이다. 따라서, 뎁스 픽쳐의 공간 해상도가 현재 픽쳐보다 낮게 코딩된 경우, 디코더는 현재 뎁스 블록의 위치 정보를 획득하기 전에 뎁스 픽쳐에 대한 업샘플링 과정을 수반할 수 있다. 또한, 업샘플링된 뎁스 픽쳐와 현재 픽쳐 간의 화면비율 (aspect ratio)이 정확히 일치하지 아니하는 경우, 업샘플링된 뎁스 픽쳐 내에서 현재 뎁스 블록의 위치 정보를 획득함에 있어서 오프셋 정보를 추가적으로 고려할 수 있다. 여기서, 오프셋 정보는 상단 오프셋 정보, 좌측 오프셋 정보, 우측 오프셋 정보, 하단 오프셋 정보 중 적어도 하나를 포함할 수 있다. 상단 오프셋 정보는 업샘플링된 뎁스 픽쳐의 상단에 위치한 적어도 하나의 픽셀과 현재 픽쳐의 상단에 위치한 적어도 하나의 픽셀 간의 위치 차이를 나타낼 수 있다. 좌측, 우측, 하단 오프셋 정보 역시 동일한 방식으로 각각 정의될 수 있다.
도 3을 참조하면, 현재 뎁스 블록의 위치 정보에 해당하는 뎁스 데이터를 획득할 수 있다(S310).
현재 뎁스 블록 내에 복수 개의 픽셀이 존재하는 경우, 현재 뎁스 블록의 코너 픽셀(corner pixel)에 대응하는 뎁스 데이터가 이용될 수 있다. 또는, 현재 뎁스 블록의 중앙 픽셀(center pixel)에 대응하는 뎁스 데이터가 이용될 수도 있다. 또는, 복수 개의 픽셀에 대응하는 복수 개의 뎁스 데이터 중에서 최대값, 최소값, 최빈값 중 어느 하나가 선택적으로 이용될 수도 있고, 복수 개의 뎁스 데이터의 평균값이 이용될 수도 있다.
도 3을 참조하면, S310 단계에서 획득된 뎁스 데이터를 이용하여 현재 텍스쳐 블록의 변이 벡터를 유도할 수 있다(S320).
예를 들어, 현재 텍스쳐 블록의 변이 벡터는 다음 수학식 3과 같이 유도될 수 있다.
수학식 3
Figure PCTKR2015005134-appb-M000003
수학식 3을 참조하면, v는 뎁스 데이터를, a는 스케일링 팩터를, f는 변이 벡터를 유도하기 위해 이용되는 오프셋을 나타낸다. 상기 스케일링 팩터 a와 오프셋 f는 비디오 파라미터 세트 또는 슬라이스 헤더에서 시그날링될 수도 있고, 디코더에 기-설정된 값일 수도 있다. n은 비트 쉬프트의 값을 나타내는 변수이며, 이는 변이 벡터의 정확도에 따라 가변적으로 결정될 수 있다.
도 4는 본 발명이 적용되는 일실시예로서, 현재 텍스쳐 블록의 공간적/시간적 이웃 블록의 후보를 도시한 것이다.
도 4(a)를 참조하면, 공간적 이웃 블록은 현재 텍스쳐 블록의 좌측 이웃 블록(A1), 상단 이웃 블록(B1), 좌측하단 이웃 블록(A0), 상단우측 이웃 블록(B0) 또는 상단좌측 이웃 블록(B2) 중 적어도 하나를 포함할 수 있다.
도 4(b)를 참조하면, 시간적 이웃 블록은 현재 텍스쳐 블록과 동일 위치의 블록을 의미할 수 있다. 구체적으로, 시간적 이웃 블록은 현재 텍스쳐 블록과 다른 시간대에 위치한 픽쳐에 속하는 블록으로서, 현재 텍스쳐 블록의 하단우측 픽셀에 대응하는 블록(BR), 현재 텍스쳐 블록의 중앙 픽셀에 대응하는 블록(CT) 또는 현재 텍스쳐 블록의 상단좌측 픽셀에 대응하는 블록(TL) 중 적어도 하나를 포함할 수 있다.
현재 텍스쳐 블록의 변이 벡터는 상기 공간적/시간적 이웃 블록 중 변이 보상된 예측 블록(disparity-compensated prediction block, 이하 DCP 블록이라 함)으로부터 유도될 수 있다. 여기서, DCP 블록은 변이 벡터를 이용한 시점 간 텍스쳐 예측(inter-view texture prediction)을 통해 부호화된 블록을 의미할 수 있다. 다시 말해, DCP 블록은 변이 벡터에 의해 특정된 참조 블록의 텍스쳐 데이터를 이용하여 시점 간 예측을 수행할 수 있다. 이 경우, 현재 텍스쳐 블록의 변이 벡터는 DCP 블록이 시점 간 텍스쳐 예측을 위해 이용한 변이 벡터를 이용하여 예측되거나 복원될 수 있다.
또는, 현재 텍스쳐 블록의 변이 벡터는 상기 공간적 이웃 블록 중 변이 벡터 기반의 모션 보상된 예측 블록(disparity vector based-motion compensation prediction block, 이하 DV-MCP 블록이라 함)으로부터 유도될 수도 있다. 여기서, DV-MCP 블록은 변이 벡터를 이용한 시점 간 모션 예측(inter-view motion prediction)을 통해 부호화된 블록을 의미할 수 있다. 다시 말해, DV-MCP 블록은 변이 벡터에 의해 특정된 참조 블록의 시간적 모션 벡터를 이용하여 시간적 인터 예측을 수행할 수 있다. 이 경우, 현재 텍스쳐 블록의 변이 벡터는 DV-MCP 블록이 참조 블록의 시간적 모션 벡터를 획득하기 위해 이용한 변이 벡터를 이용하여 예측되거나 복원될 수도 있다.
상기 현재 텍스쳐 블록은 기-정의된 우선 순위에 따라 공간적/시간적 이웃 블록이 DCP 블록에 해당하는지를 탐색하고, 최초로 탐색된 DCP 블록으로부터 변이 벡터를 유도할 수 있다. 기-정의된 우선 순위의 예로, 공간적 이웃 블록->시간적 이웃 블록의 우선 순위로 탐색을 수행할 수 있고, 공간적 이웃 블록 중에서는 A1->B1->B0->A0->B2의 우선 순위로 DCP 블록에 해당하는지를 탐색할 수 있다. 다만, 이는 우선 순위의 일실시예에 불과하며, 당업자에게 자명한 범위 내에서 상이하게 결정될 수 있음은 물론이다.
만일 공간적/시간적 이웃 블록 중 어느 하나도 DCP 블록에 해당하지 아니하는 경우, 해당 공간적 이웃 블록이 DV-MCP 블록에 해당하는지를 추가적으로 탐색하고, 마찬가지로 최초로 탐색된 DV-MCP 블록으로부터 변이 벡터를 유도할 수 있다.
도 5는 본 발명이 적용되는 일실시예로서, 세그먼트 기반의 뎁스 코딩 기법에 따라 뎁스 영상을 디코딩하는 방법을 도시한 것이다.
본 발명에서 세그먼트 기반의 뎁스 코딩 기법이라 함은 뎁스 영상(예를 들어, 코딩 블록 또는 예측 블록)에 관한 잔여 뎁스 값들을 개별적으로 부호화하지 아니하고, 이들을 대표하는 하나의 잔여 뎁스 값(이하, 대표 잔여 뎁스 값이라 함)만을 시그날링하는 코딩 기법이다. 하나의 뎁스 영상은 적어도 하나의 세그먼트로 구성될 수 있다. 만일 뎁스 영상이 2개의 이상의 세그먼트로 구성된 경우, 각 세그먼트 별로 상기 대표 잔여 뎁스 값을 시그날링할 수 있다. 여기서, 대표 잔여 뎁스 값은 원본 뎁스 값과 예측 뎁스 값 간의 차이를 평균하여 유도될 수 있다. 예를 들어, 뎁스 영상의 각 픽셀 별로 원본 뎁스 값과 예측 뎁스 값의 차이값을 획득하고, 획득된 차이값들의 평균치를 대표 잔여 뎁스 값으로 정의할 수 있다. 또는, 뎁스 영상의 원본 뎁스 값들의 평균치와 예측 뎁스 값들의 평균치 간의 차이값을 대표 잔여 뎁스 값으로 정의할 수도 있다.
상술한 세그먼트 기반의 뎁스 코딩 기법을 이용할 경우, 각 픽셀 별로 잔여 뎁스 값을 부호화하는 경우에 비해 잔여 뎁스 값에 관한 비트레이트를 줄일 수 있다.
도 5를 참조하면, 비트스트림으로부터 오프셋 절대값(depth_dc_abs) 및 오프셋 부호 정보(depth_dc_sign_flag)를 획득할 수 있다(S500).
여기서, 오프셋 절대값과 오프셋 부호 정보는 오프셋 값(DcOffset)을 유도하기 위해 이용되는 신택스이다. 즉, 오프셋 값(DcOffset)은 오프셋 절대값과 오프셋 부호 정보로 코딩될 수 있다.
구체적으로, 오프셋 절대값은 오프셋 값(DcOffset)의 절대값을 의미하고, 오프셋 부호 정보는 오프셋 값(DcOffset)의 부호(sign)를 나타낼 수 있다. 상기 오프셋 절대값은 문맥 기반의 적응적 이진 산술 코딩(context-based adaptive binary arithmetic coding)에 기반한 엔트로피 디코딩을 통해 획득될 수 있으며, 이에 대해서는 도 6 내지 도 9를 참조하여 살펴 보기로 한다.
도 5를 참조하면, S500 단계에서 획득된 오프셋 절대값과 오프셋 부호 정보를 이용하여 오프셋 값(DcOffset)을 유도할 수 있다(S510).
여기서, 오프셋 값(DcOffset)은 상기 대표 잔여 뎁스 값으로 이용될 수 있다. 또는, 대표 잔여 뎁스 값이 뎁스 룩업 테이블(depth look-up table)을 이용하여 부호화된 경우, 상기 오프셋 값(DcOffset)은 대표 잔여 뎁스 값 자체가 아닌 대표 잔여 뎁스 값에 매핑되는 인덱스로 정의될 수도 있다. 상기 뎁스 룩업 테이블은 비디오 영상의 뎁스 값과 이에 할당된 인덱스 간의 매핑 관계를 정의한 테이블이다. 이와 같이, 뎁스 룩업 테이블을 이용할 경우, 뎁스 값 자체를 부호화하지 아니하고 뎁스 값에 할당된 인덱스만을 부호화함으로써 부호화 효율을 향상시킬 수 있다.
따라서, 대표 잔여 뎁스 값을 부호화하는 과정에서 뎁스 룩업 테이블이 이용되는지 여부에 따라 오프셋 값(DcOffset)으로부터 대표 잔여 뎁스 값을 유도하는 방법이 상이할 것이다.
도 5를 참조하면, 뎁스 룩업 테이블이 이용되는지 여부를 확인할 수 있다(S520).
구체적으로, 뎁스 룩업 테이블이 이용되는지 여부는 뎁스 룩업 테이블 플래그(dlt_flag)를 이용하여 확인할 수 있다. 상기 뎁스 룩업 테이블 플래그는 잔여 뎁스 값을 부호화 또는 복호화 과정에서 뎁스 룩업 테이블이 이용되는지 여부를 나타내기 위해 부호화된 신택스이다. 상기 뎁스 룩업 테이블 플래그는 해당 비디오 영상이 포함된 레이어 또는 시점 별로 부호화될 수 있다. 또는, 상기 뎁스 룩업 테이블 플래그는 해당 비디오 영상이 포함된 시퀀스 또는 슬라이스 별로 부호화될 수도 있다.
도 5를 참조하면, 뎁스 룩업 테이블이 이용되는 것으로 확인된 경우, S510 단계에서 유도된 오프셋 값(DcOffset)과 뎁스 룩업 테이블을 이용하여 대표 잔여 뎁스 값을 유도할 수 있다(S530).
구체적으로, 뎁스 룩업 테이블을 이용하여 상기 오프셋 값(DcOffset)에 대응하는 대표 잔여 뎁스 값을 유도할 수 있다. 예를 들어, 대표 잔여 뎁스 값은 다음 수학식 4와 같이 유도될 수 있다.
수학식 4
Figure PCTKR2015005134-appb-M000004
상기 수학식 4에서 DltIdxToVal[]는 뎁스 룩업 테이블을 이용하여 인덱스를 뎁스 값으로 변환하는 함수를 의미하고, DltValToIdx[]는 뎁스 룩업 테이블을 이용하여 뎁스 값을 인덱스로 변환하는 함수를 의미한다.
먼저, 뎁스 룩업 테이블을 이용하여 뎁스 영상의 예측 뎁스 값(dcPred)을 이에 대응하는 제1 인덱스(DltValToIdx[dcPred])로 변환할 수 있다. 예를 들어, 뎁스 룩업 테이블에 정의된 뎁스 값들 중에서 상기 예측 뎁스 값(dcPred)과 동일한 뎁스 값 또는 상기 예측 뎁스 값(dcPred)과의 차이를 최소로 하는 뎁스 값을 선택하고, 상기 선택된 뎁스 값에 할당된 인덱스를 제1 인덱스로 결정할 수 있다. 여기서, 예측 뎁스 값(dcPred)은 복원된 뎁스 영상의 코너에 위치한 샘플들의 평균값으로 유도될 수도 있다. 이 경우, 상기 코너에 위치한 샘플들은 뎁스 영상 내의 상단좌측 코너 샘플, 상단우측 코너 샘플, 하단좌측 코너 샘플 및 하단우측 코너 샘플을 포함할 수 있다. 상기 변환된 제1 인덱스(DltValToIdx[dcPred])와 오프셋 값(DcOffset)을 더하여 제2 인덱스를 획득하고, 뎁스 룩업 테이블을 이용하여 제2 인덱스를 이에 대응하는 뎁스 값(이하, 복원 뎁스 값이라 함)으로 변환할 수 있다. 상기 복원 뎁스 값에서 상기 예측 뎁스 값(dcPred)를 뺀 값을 대표 잔여 뎁스 값(dcVal)으로 결정할 수 있다.
도 5를 참조하면, 뎁스 룩업 테이블이 이용되지 아니하는 것으로 확인된 경우, S510 단계에서 유도된 오프셋 값(DcOffset)을 이용하여 대표 잔여 뎁스 값을 유도할 수 있다(S540). 예를 들어, 유도된 오프셋 값(DcOffset)을 대표 잔여 뎁스 값으로 설정할 수 있다.
상기 S530 단계 또는 S540 단계에서 유도된 대표 잔여 뎁스 값을 이용하여 뎁스 영상을 복원할 수 있다(S550).
도 6은 본 발명이 적용되는 일실시예로서, 문맥 기반의 적응적 이진 산술 코딩(context-based adaptive binary arithmetic coding)에 기반한 엔트로피 디코딩을 통해 오프셋 절대값을 획득하는 방법을 도시한 것이다.
도 6을 참조하면, 문맥 기반의 적응적 이진 산술 코딩으로 부호화된 비트스트림에 대해서 정규 코딩 또는 우회 코딩 과정을 거쳐 빈 스트링(bin string)을 생성할 수 있다(S600).
여기서, 정규 코딩은 문맥 모델링을 사용하여 빈(bin)의 확률을 예측하는 적응적 이진 산술 코딩이며, 우회 코딩은 이진화된 빈 스트링을 그대로 비트스트림으로 출력하는 코딩을 의미할 수 있다. 문맥 모델링은 각 빈에 대한 확률 모델링을 의미하며, 현재 부호화된 빈의 값에 따라 확률이 업데이트될 수 있다. 상기 정규 코딩을 통해 부호화된 경우, 오프셋 절대값에 관한 문맥 모델링 즉, 각 비트의 발생 확률에 기반하여 빈 스트링을 생성할 수 있다.
S600 단계에서 생성된 빈 스트링에 대해 역-이진화(inverse-binarization)를 통해서 오프셋 절대값을 획득할 수 있다(S610).
여기서, 역-이진화는 인코더에서 수행된 상기 오프셋 절대값에 대한 이진화 과정의 역과정을 의미할 수 있다. 이진화 방법으로는 단항 이진 부호화(unary binarization), 절삭형 단항 이진 부호화(Truncated unary binarization), 단항/0차 지수 골룸 결합형 이진 부호화(Truncated unary/0th order exponential golomb binarization) 등이 이용될 수 있다.
상기 오프셋 절대값에 대한 이진화는 접두부 빈 스트링(prefix bin string)과 접미부 빈 스트링(suffix bin string)의 조합으로 수행될 수 있다. 여기서, 접두부 빈 스트링과 접미부 빈 스트링은 서로 상이한 이진화 방법을 통해 표현될 수 있다. 예를 들어, 접두부 빈 스트링은 절삭형 단항 이진 부호화를 사용할 수 있고, 접미부 빈 스트링은 0차 지수 골룸 이진화 부호화를 사용할 수 있다. 이하, 도 7 내지 도 9를 참조하여 접두부 빈 스트링을 구성하는 빈의 최대 개수(cMax)에 따른 오프셋 절대값의 이진화 과정을 살펴보도록 한다.
도 7 내지 도 9는 본 발명이 적용되는 일실시예로서, 빈의 최대 개수(cMax)에 따른 오프셋 절대값의 이진화 방법을 도시한 것이다.
도 7은 빈의 최대 개수(cMax)가 3으로 설정된 경우의 이진화 방법을 도시한 것이다. 도 7을 참조하면, 오프셋 절대값은 접두부 빈 스트링과 접미부 빈 스트링의 결합으로 표현되며, 접두부 빈 스트링과 접미부 빈 스트링은 절삭형 단항 이진 부호화와 0차 지수 골룸 이진화 부호화로 각각 이진화된다.
빈의 최대 개수(cMax)가 3으로 설정되고, 오프셋 절대값이 3인 경우, 접두부 빈 스트링은 111로, 접미부 빈 스트링은 0으로 표현될 수 있다. 오프셋 절대값이 3보다 큰 경우, 접두부 빈 스트링은 111로 고정되고, 접미부 빈 스트링은 오프셋 절대값과 빈의 최대 개수의 차이값을 0차 지수 골룸 이진화 부호화 방법에 따라 이진화하여 표현될 수 있다.
예를 들어, 오프셋 절대값에 관한 문맥 모델링을 통해서 111101의 빈 스트링이 생성되었다고 가정한다. 이때, 생성된 빈 스트링 111101을 빈의 최대 개수(cMax)에 기초하여 접두부 빈 스트링과 접미부 빈 스트링으로 구분할 수 있다. 여기서, 빈의 최대 개수(cMax)가 3으로 설정되어 있으므로, 접두부 빈 스트링은 111이고, 접미부 빈 스트링은 101이 될 것이다.
한편, 절삭형 단항 이진 부호화에 따라 이진화된 상기 접두부 빈 스트링 111에 대해 역-이진화를 수행하면 3을 획득하고, 0차 지수 골룸 이진화 부호화에 따라 이진화된 상기 접미부 빈 스트링 101에 대해 역-이진화를 수행하면 2를 획득할 수 있다. 상기 획득된 3과 2를 더하여 오프셋 절대값으로 5를 획득할 수 있다.
도 8은 빈의 최대 개수(cMax)가 5로 설정된 경우의 이진화 방법을 도시한 것이다. 도 8을 참조하면, 오프셋 절대값은 접두부 빈 스트링과 접미부 빈 스트링의 결합으로 표현되며, 접두부 빈 스트링과 접미부 빈 스트링은 절삭형 단항 이진 부호화와 0차 지수 골룸 이진화 부호화로 각각 이진화된다.
빈의 최대 개수(cMax)가 5로 설정되고, 오프셋 절대값이 5인 경우, 접두부 빈 스트링은 11111로, 접미부 빈 스트링은 0으로 표현될 수 있다. 오프셋 절대값이 5보다 큰 경우, 접두부 빈 스트링은 11111로 고정되고, 접미부 빈 스트링은 오프셋 절대값과 빈의 최대 개수의 차이값을 0차 지수 골룸 이진화 부호화 방법에 따라 이진화하여 표현될 수 있다.
예를 들어, 오프셋 절대값에 관한 문맥 모델링을 통해서 11111100의 빈 스트링이 생성되었다고 가정한다. 이때, 생성된 빈 스트링 11111100을 빈의 최대 개수(cMax)에 기초하여 접두부 빈 스트링과 접미부 빈 스트링으로 구분할 수 있다. 여기서, 빈의 최대 개수(cMax)가 5로 설정되어 있으므로, 접두부 빈 스트링은 11111이고, 접미부 빈 스트링은 100이 될 것이다.
한편, 절삭형 단항 이진 부호화에 따라 이진화된 상기 접두부 빈 스트링 11111에 대해 역-이진화를 수행하면 5를 획득하고, 0차 지수 골룸 이진화 부호화에 따라 이진화된 상기 접미부 빈 스트링 100에 대해 역-이진화를 수행하면 1을 획득할 수 있다. 상기 획득된 5와 1을 더하여 오프셋 절대값으로 6을 획득할 수 있다.
도 9는 빈의 최대 개수(cMax)가 7로 설정된 경우의 이진화 방법을 도시한 것이다. 도 9를 참조하면, 오프셋 절대값은 접두부 빈 스트링과 접미부 빈 스트링의 결합으로 표현되며, 접두부 빈 스트링과 접미부 빈 스트링은 절삭형 단항 이진 부호화와 0차 지수 골룸 이진화 부호화로 각각 이진화된다.
예를 들어, 빈의 최대 개수(cMax)가 7로 설정되고, 오프셋 절대값이 7인 경우, 접두부 빈 스트링은 1111111로, 접미부 빈 스트링은 0으로 표현될 수 있다. 오프셋 절대값이 7보다 큰 경우, 접두부 빈 스트링은 1111111로 고정되고, 접미부 빈 스트링은 오프셋 절대값과 빈의 최대 개수의 차이값을 0차 지수 골룸 이진화 부호화 방법에 따라 이진화하여 표현될 수 있다.
예를 들어, 오프셋 절대값에 관한 문맥 모델링을 통해서 11111111100의 빈 스트링이 생성되었다고 가정한다. 이때, 생성된 빈 스트링 11111111100을 빈의 최대 개수(cMax)에 기초하여 접두부 빈 스트링과 접미부 빈 스트링으로 구분할 수 있다. 여기서, 빈의 최대 개수(cMax)가 7로 설정되어 있으므로, 접두부 빈 스트링은 1111111이고, 접미부 빈 스트링은 100이 될 것이다.
한편, 절삭형 단항 이진 부호화에 따라 이진화된 상기 접두부 빈 스트링 11111에 대해 역-이진화를 수행하면 7을 획득하고, 0차 지수 골룸 이진화 부호화에 따라 이진화된 상기 접미부 빈 스트링 100에 대해 역-이진화를 수행하면 1을 획득할 수 있다. 상기 획득된 7과 1을 더하여 오프셋 절대값으로 8을 획득할 수 있다.
도 10은 본 발명이 적용되는 일실시예로서, 인트라 싱글 모드(intra single mode)에 기반하여 현재 뎁스 블록을 디코딩하는 방법을 도시한 것이다.
뎁스 영상은 텍스쳐 영상과 다르게 동일 또는 유사한 값으로 구성되는 경우가 있을 수 있다. 이 경우, 하나의 뎁스 샘플을 이용하여 현재 뎁스 블록의 복원/예측 뎁스 값을 획득할 수 있으며, 이를 인트라 싱글 모드라 부르기로 한다. 여기서, 하나의 뎁스 샘플로 복원된 주변 뎁스 샘플 또는 변이 벡터(disparity vector)로부터 유도된 뎁스 값 등이 이용될 수 있고, 하나의 뎁스 샘플을 특정하기 위해 별도의 인덱스 정보가 시그날링될 수 있다.
도 10을 참조하면, 비트스트림으로부터 현재 뎁스 블록에 관한 싱글 뎁스 인덱스(single depth index)를 획득할 수 있다(S1000).
현재 뎁스 블록이 인트라 싱글 모드로 부호화된 경우에 싱글 뎁스 인덱스를 시그날링할 수 있다. 상기 싱글 뎁스 인덱스는 현재 뎁스 블록의 복원/예측 뎁스 값을 유도하기 위해 사용되는 하나의 뎁스 샘플을 특정하는 정보이다. 예를 들어, 상기 싱글 뎁스 인덱스는 현재 뎁스 블록의 복원/예측 뎁스 값이 현재 뎁스 블록에 인접한 상단 이웃 블록의 복원된 뎁스 샘플을 이용하여 유도되는지 또는 현재 뎁스 블록에 인접한 좌측 이웃 블록의 복원된 뎁스 샘플을 이용하여 유도되는지 등을 특정할 수 있다.
도 10을 참조하면, S1000에서 획득된 싱글 뎁스 인덱스에 기초하여 복수의 후보 샘플들 중 어느 하나를 선택할 수 있다(S1010).
여기서, 복수의 후보 샘플들은 현재 뎁스 블록을 인트라 싱글 모드로 부호화/복호화하는데 이용 가능한 뎁스 샘플을 의미할 수 있다. 복수의 후보 샘플들에는 현재 뎁스 블록에 인접한 이웃 블록의 뎁스 샘플이 포함될 수 있다. 후보 샘플로 이용되는 이웃 블록의 뎁스 샘플은 이웃 블록에 속한 뎁스 샘플들 중 기-정의된 위치의 뎁스 샘플이 선택적으로 이용될 수 있으며, 이에 대해서는 도 11을 참조하여 자세히 살펴 보도록 한다.
또한, 현재 뎁스 블록은 현재 텍스쳐 블록 또는 현재 뎁스 블록에 관한 변이 벡터(disparity vector)로부터 유도된 뎁스 값을 이용하여 인트라 싱글 모드로 부호화될 수도 있으며, 이 경우 복수의 후보 샘플들은 변이 뎁스 후보자(이하, disparity derived depth candidate, DDD라 한다.)를 더 포함할 수도 있다. 상기 DDD에 해당하는 뎁스 값(Depth)은 다음 수학식 5와 같이 유도될 수 있다.
수학식 5
Figure PCTKR2015005134-appb-M000005
상기 수학식 5에서, w는 시점 간의 거리를 나타내고, DVx는 변이 벡터 (DVx, DVy)의 x 성분을 의미한다.
도 10을 참조하면, S1010에서 선택된 후보 샘플이 현재 뎁스 블록의 인트라 예측을 위해 가용한지 여부를 고려하여 현재 뎁스 블록의 복원/예측 뎁스 값을 획득할 수 있다(S1020).
특정 후보 샘플이 인트라 예측을 위해 가용하지 아니한 경우의 예로, 특정 후보 샘플이 뎁스 픽쳐의 외부에 존재하는 경우, 후보 샘플이 현재 뎁스 블록과 상이한 슬라이스 및/또는 타일에 존재하는 경우 또는 후보 샘플이 현재 뎁스 블록과 독립적 또는 병렬적 프로세싱 등의 이유로 아직 복호화되지 아니한 경우 등이 있을 수 있다.
만일 선택된 후보 샘플이 인트라 예측을 위해 가용한 경우, 선택된 후보 샘플의 값으로 현재 뎁스 블록에 속한 모든 샘플의 복원/예측 뎁스 값을 유도할 수 있다.
반면, 선택된 후보 샘플이 인트라 예측을 위해 가용하지 아니한 경우, 디폴트 오프셋(default offset)을 이용하여 현재 뎁스 블록에 속한 모든 샘플의 복원/예측 뎁스 값을 유도할 수 있다. 여기서, 디폴트 오프셋 값의 예로, 복호화 장치에 기-정의된 디폴트 값이 이용될 수 있고, 기-정의된 디폴트 값은 부호화된 텍스쳐 픽쳐 또는 뎁스 픽쳐의 비트 뎁스 값(BitDepth)에 기반하여 설정된 것일 수 있다. 또는, 가용한 다른 후보 샘플의 값에서 소정의 값을 더하거나 뺀 값이 디폴트 오?a셋 값으로 이용될 수도 있으며, 가용한 다른 후보 샘플은 스캔 순서 상 현재 뎁스 블록에 가장 가까운 샘플일 수 있다.
또한, 현재 뎁스 블록은 S1020에서 획득된 복원/예측 뎁스 값과 도 5에서 유도된 대표 잔여 뎁스 값을 이용하여 최종적으로 복원될 수도 있음은 물론이다. 본 실시예에서는 인트라 싱글 모드에 기반하여 현재 뎁스 블록을 복원하는 방법을 살펴 보았으나, 이에 한정되지 아니한다. 예를 들어, 현재 텍스쳐 블록의 경우에도 상술한 인트라 싱글 모드에 따라 주변의 텍스쳐 샘플들 중 어느 하나의 텍스쳐 샘플만을 이용하여 복원/예측 텍스쳐 값을 유도할 수 있다.
도 11은 본 발명이 적용되는 일실시예로서, 인트라 싱글 모드에 이용 가능한 복수의 후보 샘플들의 예시이다.
인트라 싱글 모드로 부호화된 현재 뎁스 블록은 공간적으로 인접한 이웃 블록의 뎁스 샘플들 중 기-정의된 위치의 뎁스 샘플을 이용할 수 있다.
도 11(a)에 도시된 바와 같이, 복수의 후보 샘플들은 현재 뎁스 블록을 기준으로 상단 이웃 블록의 뎁스 샘플, 좌측 이웃 블록의 뎁스 샘플 또는 좌-상단 이웃 블록의 뎁스 샘플 중 적어도 하나를 포함할 수 있다.
구체적으로, 후보 샘플로 이용되는 좌측 이웃 블록의 뎁스 샘플은 현재 뎁스 블록의 좌측에 접해있는 뎁스 샘플들 중 최-상단에 위치한 뎁스 샘플(A1) 또는 최-하단에 위치한 뎁스 샘플(A0) 중 적어도 하나를 포함할 수 있다. 또한, 후보 샘플로 이용되는 상단 이웃 블록의 뎁스 샘플은 현재 뎁스 블록의 상단에 접해있는 뎁스 샘플들 중 최-좌측에 위치한 뎁스 샘플(B1) 또는 최-우측에 위치한 뎁스 샘플(B0) 중 적어도 하나를 포함할 수 있다.
도 11(b)를 참조하면, 복수의 후보 샘플들은 현재 뎁스 블록을 기준으로 상단 이웃 블록의 뎁스 샘플, 좌측 이웃 블록의 뎁스 샘플, 좌-상단 이웃 블록의 뎁스 샘플, 우-상단 이웃 블록의 뎁스 샘플 또는 좌-하단 이웃 블록의 뎁스 샘플 중 적어도 하나를 포함할 수 있다.
구체적으로, 후보 샘플로 이용되는 좌측 이웃 블록의 뎁스 샘플은 현재 뎁스 블록의 좌측에 접해있는 뎁스 샘플들 중 최-하단에 위치한 뎁스 샘플(A1) 또는 최-하단에 위치한 뎁스 샘플(A1)의 하단에 위치한 뎁스 샘플(A0) 중 적어도 하나를 포함할 수 있다. 또한, 후보 샘플로 이용되는 상단 이웃 블록의 뎁스 샘플은 현재 뎁스 블록의 상단에 접해있는 뎁스 샘플들 중 최-우측에 위치한 뎁스 샘플(B1) 또는 최-우측에 위치한 뎁스 샘플(B1)의 우측에 위치한 뎁스 샘플(B0) 중 적어도 하나를 포함할 수 있다.
한편, 도 11에 도시되어 있지 아니하나, 현재 뎁스 블록의 좌측에 접해있는 뎁스 샘플들 중 중간에 위치한 뎁스 샘플이 후보 샘플로 이용될 수도 있고, 마찬가지로 현재 뎁스 블록의 상단에 접해있는 뎁스 샘플들 중 중간에 위치한 뎁스 샘플이 후보 샘플로 이용될 수도 있다.
상술한 복수의 후보 샘플들은 기-설정된 순서로 후보 리스트(candidate list)를 구성할 수도 있다. 예를 들어, 복수의 후보 샘플들은 A0->B0->B1->A1->B2의 순서로 후보 리스트에 배열될 수 있다. 또는, 변이 뎁스 후보자(DDD)가 공간적으로 인접한 후보 샘플들 보다 우선 순위를 가지고 배열될 수도 있다. 예를 들어, DDD->A0->B0->B1->A1->B2의 순서로 후보 리스트에 배열될 수 있다. 다만, 이에 한정되지 아니하며, 통상의 기술자가 용이하게 도출할 수 있는 범위 내에서 다양한 우선 순위를 가지고 후보 리스트를 구성할 수 있음은 물론이다.
도 12는 본 발명이 적용되는 일실시예로서, 복수의 후보 리스트에 기반하여 싱글 뎁스 인덱스를 부호화하는 방법에 관한 것이다.
상술한 복수의 후보 샘플들 중 일부 후보 샘플을 기반으로 제1 후보 리스트를 생성하고, 나머지 후보 샘플을 기반으로 제2 후보 리스트를 생성할 수 있다. 본 실시예에서는 제1 후보 샘플 그룹(DDD, A0, B0)을 이용하여 제1 후보 리스트를, 제2 후보 샘플 그룹(B1, A1, B2)을 이용하여 제2 후보 리스트를 생성하는 것을 살펴 보도록 한다. 다만, 이에 한정되지 아니하며, 각 후보 샘플 그룹에 속하는 후보 샘플의 개수 및/또는 종류는 통상의 기술자가 용이하게 도출할 수 있는 범위 내에서 다양하게 결정될 수 있음은 물론이다.
제1 후보 샘플 그룹에 속하는 DDD, A0, B0 중 적어도 하나가 가용인 경우에는 가용한 후보 샘플에 기초하여 제1 후보 리스트를 생성할 수 있다. 만일, DDD, A0, B0 중 가용한 후보 샘플이 없는 경우, 제2 후보 샘플 그룹을 이용하여 제2 후보 리스트를 추가적으로 생성할 수 있다. 이 경우도 마찬가지로 제2 후보 샘플 그룹에 속한 B1, A2, B2 중 가용한 후보 샘플에 기초하여 제2 후보 리스트를 생성할 수 있다.
도 12에 도시된 바와 같이, 부호화기는 현재 뎁스 블록을 인트라 싱글 모드로 부호화하는데 이용되는 최종 후보 샘플이 제1 후보 리스트에 포함되는 경우, 제1 후보 리스트에 관한 제1 싱글 뎁스 인덱스를 부호화할 수 있다. 즉, 최종 후보 샘플로 DDD가 이용되는 경우에는 제1 싱글 뎁스 인덱스로 0값을 부호화하고, A0가 이용되는 경우에는 제1 싱글 뎁스 인덱스로 1값을 부호화한다.
만일 현재 뎁스 블록을 인트라 싱글 모드로 부호화하는데 이용되는 최종 후보 샘플이 제2 후보 리스트에 포함되는 경우, 마찬가지로 부호화기는 제2 후보 리스트에 관한 제2 싱글 뎁스 인덱스를 부호화할 수 있다. 이 경우, B1, A1, B2 중 어느 하나를 특정하기 위해서 0, 1, 2의 값 중 어느 하나를 부호화할 수 있다.
추가적으로, 부호화기는 현재 뎁스 블록이 제2 후보 리스트를 참조하여 인트라 싱글 모드로 부호화됨을 나타내기 위해서 제1 싱글 뎁스 인덱스의 값을 소정의 상수값으로 부호화할 수 있다. 여기서, 소정의 상수값은 제1 후보 샘플 그룹에 포함되는 후보 샘플의 최대 개수와 동일한 값으로 결정될 수 있다. 따라서, 도 12에 도시된 바와 같이, 제1 후보 샘플 그룹에 포함되는 후보 샘플의 최대 개수는 3개이므로 제1 싱글 뎁스 인덱스의 값은 3으로 부호화될 수 있다. 제2 싱글 뎁스 인덱스는 제1 싱글 뎁스 인덱스의 값이 소정의 상수값으로 부호화된 경우에 한하여 제한적으로 부호화될 수도 있다.
또는, 현재 뎁스 블록이 제1 후보 리스트를 참조하는지, 아니면 제2 후보 리스트를 참조하는지를 특정하는 플래그를 부호화할 수도 있다. 해당 플래그의 값에 따라 제1 싱글 뎁스 인덱스 또는 제2 싱글 뎁스 인덱스가 선택적으로 시그날링될 수도 있다.
본 발명은 비디오 신호를 코딩하는데 이용될 수 있다.

Claims (15)

  1. 현재 뎁스 블록이 인트라 싱글 모드로 부호화된 경우, 비트스트림으로부터 상기 현재 뎁스 블록에 관한 싱글 뎁스 인덱스를 획득하는 단계: 여기서, 상기 인트라 싱글 모드는 하나의 뎁스 샘플을 이용하여 상기 현재 뎁스 블록에 속한 샘플들을 예측하는 모드임,
    상기 싱글 뎁스 인덱스에 기초하여, 상기 현재 뎁스 블록을 인트라 싱글 모드로 복호화하는데 이용 가능한 복수의 후보 샘플들 중 어느 하나를 선택하는 단계; 및
    상기 선택된 후보 샘플이 상기 현재 뎁스 블록의 인트라 예측을 위해 가용한지 여부를 고려하여 상기 현재 뎁스 블록을 복원하는 단계를 포함하는 다시점 비디오 신호 디코딩 방법.
  2. 제1항에 있어서, 상기 복수의 후보 샘플들은 상기 현재 뎁스 블록에 인접한 이웃 블록의 뎁스 샘플 또는 상기 현재 뎁스 블록에 대응하는 변이 벡터로부터 유도된 뎁스 값 중 적어도 하나를 포함하되,
    상기 이웃 블록은 상기 현재 뎁스 블록에 인접한 좌측 이웃 블록 또는 상단 이웃 블록 중 적어도 하나를 포함하고, 상기 이웃 블록의 뎁스 샘플은 상기 이웃 블록에 속한 복수의 뎁스 샘플들 중 기-정의된 위치의 샘플인 것을 특징으로 하는 다시점 비디오 신호 디코딩 방법.
  3. 제2항에 있어서, 상기 좌측 이웃 블록의 뎁스 샘플은 상기 현재 뎁스 블록의 좌측에 접해있는 뎁스 샘플들 중간에 위치한 뎁스 샘플이고, 상기 상단 이웃 블록의 뎁스 샘플은 상기 현재 뎁스 블록에 접해있는 뎁스 샘플들 중 중간에 위치한 뎁스 샘플인 것을 특징으로 하는 다시점 비디오 신호 디코딩 방법.
  4. 제1항에 있어서,
    상기 선택된 후보 샘플이 인트라 예측을 위해 가용한 경우, 상기 선택된 후보 샘플의 값으로 상기 현재 뎁스 블록을 복원하고,
    상기 선택된 후보 샘플이 인트라 예측을 위해 가용하지 아니한 경우, 디폴트 오프셋(default offset)을 이용하여 상기 현재 뎁스 블록을 복원하는 것을 특징으로 하는 다시점 비디오 신호 디코딩 방법.
  5. 현재 뎁스 블록이 인트라 싱글 모드로 부호화된 경우, 비트스트림으로부터 상기 현재 뎁스 블록에 관한 싱글 뎁스 인덱스를 획득하는 엔트로피 디코딩부; 여기서, 상기 인트라 싱글 모드는 하나의 뎁스 샘플을 이용하여 상기 현재 뎁스 블록에 속한 샘플들을 예측하는 모드임,
    상기 싱글 뎁스 인덱스에 기초하여, 상기 현재 뎁스 블록을 인트라 싱글 모드로 복호화하는데 이용 가능한 복수의 후보 샘플들 중 어느 하나를 선택하고, 상기 선택된 후보 샘플이 상기 현재 뎁스 블록의 인트라 예측을 위해 가용한지 여부를 고려하여 상기 현재 뎁스 블록을 복원하는 뎁스 영상 복원부를 포함하는 것을 특징으로 하는 다시점 비디오 신호 디코딩 장치.
  6. 제5항에 있어서, 상기 복수의 후보 샘플들은 상기 현재 뎁스 블록에 인접한 이웃 블록의 뎁스 샘플 또는 상기 현재 뎁스 블록에 대응하는 변이 벡터로부터 유도된 뎁스 값 중 적어도 하나를 포함하되,
    상기 이웃 블록은 상기 현재 뎁스 블록에 인접한 좌측 이웃 블록 또는 상단 이웃 블록 중 적어도 하나를 포함하고, 상기 이웃 블록의 뎁스 샘플은 상기 이웃 블록에 속한 복수의 뎁스 샘플들 중 기-정의된 위치의 샘플인 것을 특징으로 하는 다시점 비디오 신호 디코딩 장치.
  7. 제6항에 있어서, 상기 좌측 이웃 블록의 뎁스 샘플은 상기 현재 뎁스 블록의 좌측에 접해있는 뎁스 샘플들 중간에 위치한 뎁스 샘플이고, 상기 상단 이웃 블록의 뎁스 샘플은 상기 현재 뎁스 블록에 접해있는 뎁스 샘플들 중 중간에 위치한 뎁스 샘플인 것을 특징으로 하는 다시점 비디오 신호 디코딩 장치.
  8. 제7항에 있어서, 상기 뎁스 영상 복원부는,
    상기 선택된 후보 샘플이 인트라 예측을 위해 가용한 경우, 상기 선택된 후보 샘플의 값으로 상기 현재 뎁스 블록을 복원하고,
    상기 선택된 후보 샘플이 인트라 예측을 위해 가용하지 아니한 경우, 디폴트 오프셋(default offset)을 이용하여 상기 현재 뎁스 블록을 복원하는 것을 특징으로 하는 다시점 비디오 신호 디코딩 장치.
  9. 현재 뎁스 블록이 인트라 싱글 모드로 부호화된 경우, 상기 현재 뎁스 블록에 관한 싱글 뎁스 인덱스를 부호화하는 단계: 여기서, 상기 인트라 싱글 모드는 하나의 뎁스 샘플을 이용하여 상기 현재 뎁스 블록에 속한 샘플들을 예측하는 모드임,
    상기 싱글 뎁스 인덱스에 기초하여, 상기 현재 뎁스 블록을 인트라 싱글 모드로 부호화하는데 이용 가능한 복수의 후보 샘플들 중 어느 하나를 선택하는 단계; 및
    상기 선택된 후보 샘플이 상기 현재 뎁스 블록의 인트라 예측을 위해 가용한지 여부를 고려하여 상기 현재 뎁스 블록을 복원하는 단계를 포함하는 다시점 비디오 신호 인코딩 방법.
  10. 제9항에 있어서, 상기 복수의 후보 샘플들은 상기 현재 뎁스 블록에 인접한 이웃 블록의 뎁스 샘플 또는 상기 현재 뎁스 블록에 대응하는 변이 벡터로부터 유도된 뎁스 값 중 적어도 하나를 포함하되,
    상기 이웃 블록은 상기 현재 뎁스 블록에 인접한 좌측 이웃 블록 또는 상단 이웃 블록 중 적어도 하나를 포함하고, 상기 이웃 블록의 뎁스 샘플은 상기 이웃 블록에 속한 복수의 뎁스 샘플들 중 기-정의된 위치의 샘플인 것을 특징으로 하는 다시점 비디오 신호 인코딩 방법.
  11. 제10항에 있어서, 상기 좌측 이웃 블록의 뎁스 샘플은 상기 현재 뎁스 블록의 좌측에 접해있는 뎁스 샘플들 중간에 위치한 뎁스 샘플이고, 상기 상단 이웃 블록의 뎁스 샘플은 상기 현재 뎁스 블록에 접해있는 뎁스 샘플들 중 중간에 위치한 뎁스 샘플인 것을 특징으로 하는 다시점 비디오 신호 인코딩 방법.
  12. 제11항에 있어서,
    상기 선택된 후보 샘플이 인트라 예측을 위해 가용한 경우, 상기 선택된 후보 샘플의 값으로 상기 현재 뎁스 블록을 복원하고,
    상기 선택된 후보 샘플이 인트라 예측을 위해 가용하지 아니한 경우, 디폴트 오프셋(default offset)을 이용하여 상기 현재 뎁스 블록을 복원하는 것을 특징으로 하는 다시점 비디오 신호 인코딩 방법.
  13. 현재 뎁스 블록이 인트라 싱글 모드로 부호화된 경우, 상기 현재 뎁스 블록에 관한 싱글 뎁스 인덱스를 부호화하는 엔트로피 인코딩부; 여기서, 상기 인트라 싱글 모드는 하나의 뎁스 샘플을 이용하여 상기 현재 뎁스 블록에 속한 샘플들을 예측하는 모드임,
    상기 싱글 뎁스 인덱스에 기초하여, 상기 현재 뎁스 블록을 인트라 싱글 모드로 복호화하는데 이용 가능한 복수의 후보 샘플들 중 어느 하나를 선택하고, 상기 선택된 후보 샘플을 이용하여 상기 현재 뎁스 블록을 복원하는 뎁스 영상 복원부를 포함하는 것을 특징으로 하는 다시점 비디오 신호 인코딩 장치.
  14. 제13항에 있어서, 상기 복수의 후보 샘플들은 상기 현재 뎁스 블록에 인접한 이웃 블록의 뎁스 샘플 또는 상기 현재 뎁스 블록에 대응하는 변이 벡터로부터 유도된 뎁스 값 중 적어도 하나를 포함하되,
    상기 이웃 블록은 상기 현재 뎁스 블록에 인접한 좌측 이웃 블록 또는 상단 이웃 블록 중 적어도 하나를 포함하고, 상기 이웃 블록의 뎁스 샘플은 상기 이웃 블록에 속한 복수의 뎁스 샘플들 중 기-정의된 위치의 샘플인 것을 특징으로 하는 다시점 비디오 신호 인코딩 장치.
  15. 제14항에 있어서, 상기 좌측 이웃 블록의 뎁스 샘플은 상기 현재 뎁스 블록의 좌측에 접해있는 뎁스 샘플들 중간에 위치한 뎁스 샘플이고, 상기 상단 이웃 블록의 뎁스 샘플은 상기 현재 뎁스 블록에 접해있는 뎁스 샘플들 중 중간에 위치한 뎁스 샘플인 것을 특징으로 하는 다시점 비디오 신호 인코딩 장치.
PCT/KR2015/005134 2014-05-26 2015-05-22 다시점 비디오 신호 처리 방법 및 장치 WO2015182927A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140062973 2014-05-26
KR10-2014-0062973 2014-05-26

Publications (1)

Publication Number Publication Date
WO2015182927A1 true WO2015182927A1 (ko) 2015-12-03

Family

ID=54699204

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/005134 WO2015182927A1 (ko) 2014-05-26 2015-05-22 다시점 비디오 신호 처리 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20150136017A (ko)
WO (1) WO2015182927A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170037489A (ko) 2015-09-25 2017-04-04 주식회사 아이티엘 V2x를 위한 dm-rs 구성 방법 및 그 장치
FI3767906T3 (fi) 2015-09-25 2023-01-31 Laite dm-rs:n konfiguroimiseksi v2x:lle
WO2020140862A1 (en) 2018-12-30 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Conditional application of inter prediction with geometric partitioning in video processing
WO2020143742A1 (en) * 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Simplified context modeling for context adaptive binary arithmetic coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120128069A1 (en) * 2009-08-12 2012-05-24 Kazushi Sato Image processing apparatus and method
US20130028317A1 (en) * 2011-07-28 2013-01-31 Lsi Corporation Intra-mode search for video encoding
US20130259128A1 (en) * 2010-11-29 2013-10-03 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding images to minimize redundancy of intra-prediction mode
WO2014005248A1 (en) * 2012-07-02 2014-01-09 Qualcomm Incorporated Intra-coding of depth maps for 3d video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120128069A1 (en) * 2009-08-12 2012-05-24 Kazushi Sato Image processing apparatus and method
US20130259128A1 (en) * 2010-11-29 2013-10-03 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding images to minimize redundancy of intra-prediction mode
US20130028317A1 (en) * 2011-07-28 2013-01-31 Lsi Corporation Intra-mode search for video encoding
WO2014005248A1 (en) * 2012-07-02 2014-01-09 Qualcomm Incorporated Intra-coding of depth maps for 3d video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Y.-W. CHEN ET AL.: "Single depth intra mode for 3DHEVC.", JCT3V DOCUMENT JCT3V-H 0087, 29 March 2014 (2014-03-29), pages 1 - 3, XP055240286 *

Also Published As

Publication number Publication date
KR20150136017A (ko) 2015-12-04

Similar Documents

Publication Publication Date Title
WO2015142054A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2020036417A1 (ko) 히스토리 기반 움직임 벡터에 기반한 인터 예측 방법 및 그 장치
WO2015142057A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2018062921A1 (ko) 영상 코딩 시스템에서 블록 분할 및 인트라 예측 방법 및 장치
WO2018056603A1 (ko) 영상 코딩 시스템에서 조도 보상 기반 인터 예측 방법 및 장치
WO2016204360A1 (ko) 영상 코딩 시스템에서 조도 보상에 기반한 블록 예측 방법 및 장치
WO2016200043A1 (ko) 비디오 코딩 시스템에서 가상 참조 픽처 기반 인터 예측 방법 및 장치
WO2020017840A1 (ko) Dmvr에 기반하여 인터 예측을 수행하는 방법 및 장치
WO2013100635A1 (ko) 3차원 영상 부호화 방법 및 장치, 및 복호화 방법 및 장치
WO2012044124A2 (ko) 영상 부호화 방법과 복호화 방법 및 이를 이용한 영상 부호화 장치와 복호화 장치
WO2013165143A1 (ko) 멀티뷰 영상의 부호화 방법, 부호화 장치, 복호화 방법, 복호화 장치
WO2018056709A1 (ko) 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2016056822A1 (ko) 3d 비디오 코딩 방법 및 장치
WO2020009390A1 (ko) 영상 코딩 시스템에서 인터 예측에 따른 영상 처리 방법 및 장치
WO2019198997A1 (ko) 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
WO2016056821A1 (ko) 3d 비디오 코딩을 위한 움직임 정보 압축 방법 및 장치
WO2019194500A1 (ko) 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
WO2015057033A1 (ko) 3d 비디오 부호화/복호화 방법 및 장치
WO2016056782A1 (ko) 비디오 코딩에서 뎁스 픽처 코딩 방법 및 장치
WO2019112071A1 (ko) 영상 코딩 시스템에서 크로마 성분의 효율적 변환에 기반한 영상 디코딩 방법 및 장치
WO2016056754A1 (ko) 3d 비디오 부호화/복호화 방법 및 장치
WO2016003210A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2015182927A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2020076066A1 (ko) 신택스 디자인 방법 및 신택스를 이용하여 코딩을 수행하는 장치
WO2015199376A1 (ko) 다시점 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15800652

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 09/03/2017)

122 Ep: pct application non-entry in european phase

Ref document number: 15800652

Country of ref document: EP

Kind code of ref document: A1