WO2012161445A2 - 단거리 인트라 예측 단위 복호화 방법 및 복호화 장치 - Google Patents

단거리 인트라 예측 단위 복호화 방법 및 복호화 장치 Download PDF

Info

Publication number
WO2012161445A2
WO2012161445A2 PCT/KR2012/003746 KR2012003746W WO2012161445A2 WO 2012161445 A2 WO2012161445 A2 WO 2012161445A2 KR 2012003746 W KR2012003746 W KR 2012003746W WO 2012161445 A2 WO2012161445 A2 WO 2012161445A2
Authority
WO
WIPO (PCT)
Prior art keywords
prediction unit
intra prediction
prediction
size
unit
Prior art date
Application number
PCT/KR2012/003746
Other languages
English (en)
French (fr)
Other versions
WO2012161445A3 (ko
Inventor
권재철
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020110065209A external-priority patent/KR20130029130A/ko
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Publication of WO2012161445A2 publication Critical patent/WO2012161445A2/ko
Publication of WO2012161445A3 publication Critical patent/WO2012161445A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present invention relates to image processing technology, and more particularly, to an intra prediction method.
  • TTU International Telecommunications Union
  • MPEG-4 the next standard of the Motion Picture Experts Group (MPEG), is used for Internet-based video applications.
  • the ITUT-VCEG Video Coding Experts Group
  • JVT Joint Video Team
  • ITU-T H.264 / MPEG-4 part 10 ITU-T H.264 / MPEG-4 part 10
  • AVC Advanced Video Coding
  • JCT-VC Joint Collaborative Team on Video Coding
  • prediction of an image may be performed by using similarity between values of blocks, and a difference from an original image may be encoded. This is called intra prediction, and the efficiency of image coding may be increased by intra prediction.
  • a filter may be applied before performing intra prediction.
  • a filter is applied to reference pixel values and then the values to which the filter is applied are used for intra prediction.
  • the values may be used for intra prediction.
  • image encoding performance may be higher when performing intra prediction without applying a filter than performing intra prediction after applying a filter.
  • An object of the present invention is to provide a short range intra prediction unit decoding method that provides high prediction efficiency.
  • Another object of the present invention is to provide a short range intra prediction unit decoding apparatus providing high prediction efficiency.
  • One embodiment of the present invention is a short range intra prediction unit decoding method.
  • the method may further include determining an intra prediction mode of the second prediction unit using an intra prediction mode mapping table in which a first prediction unit is further divided into a plurality of second prediction units and rearranged based on the shape of the second prediction unit. And generating a prediction block of the second prediction unit based on the determined intra prediction mode of the second prediction unit.
  • the size of the second prediction unit may be N * N, hN * 2N or 2N * hN.
  • N is a natural number and represents the number of pixels, and h is 1/2.
  • the mapping table may be rearranged such that a smaller number of code words are allocated to the intra prediction mode as the prediction direction of the intra prediction mode is closer to a specific direction.
  • the specific direction may be a vertical direction when the size of the second prediction unit is 2N * hN, and may be a horizontal direction when the size of the second prediction unit is hN * 2N.
  • the mapping table may be formed by flag information input from the encoding apparatus or a look up table (LUT) stored in the decoding apparatus.
  • the second prediction unit only an intra prediction mode in one direction of the intra prediction mode in the upper direction of the second prediction unit and the intra prediction mode in the left direction of the second prediction unit may be used.
  • the number of intra prediction modes may be limited to a predetermined maximum mode number or less.
  • the method may include inversely scanning a transform coefficient of a residual signal input from an encoding apparatus using at least one of a zigzag direction, a vertical direction, and a vertical direction based on the shape of the second prediction unit. It may further include.
  • the inverse scan method may be in a vertical direction when the size of the second prediction unit is 2N * hN, and may be in a horizontal direction when the size of the second prediction unit is hN * 2N.
  • the method may further include applying a transform kernel of 2 * 2, 4 * 4, 8 * 8, 16 * 16, 32 * 32, or 64 * 64 size to the inversely scanned transform coefficients. It may further include.
  • the performing of the inverse transform may include dividing the transform coefficient into four square lower blocks and inverse transforming by applying a transform kernel to each of the lower blocks.
  • Another embodiment of the present invention is a short range intra prediction unit decoding apparatus.
  • the apparatus determines an intra prediction mode of the second prediction unit by using an intra prediction mode mapping table in which the first prediction unit is further divided into a plurality of second prediction units and rearranged based on the shape of the second prediction unit.
  • An intra prediction mode determiner and a prediction block generator configured to generate a prediction block of the second prediction unit based on the determined intra prediction mode of the second prediction unit.
  • the efficiency of intra prediction is increased, and the energy of the prediction error signal is reduced, thereby reducing the amount of transmission bits.
  • FIG. 1 is a block diagram illustrating a configuration of a video encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating a configuration of an intra prediction unit according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating a configuration of a video decoding apparatus according to an embodiment of the present invention.
  • FIG. 4 is a flowchart schematically illustrating a short range intra prediction unit encoding method according to an embodiment of the present invention.
  • FIG. 5 is a conceptual diagram schematically illustrating a prediction unit according to an embodiment of the present invention.
  • FIG. 6 is a conceptual diagram illustrating a reference pixel for a current prediction target block according to an embodiment of the present invention.
  • FIG. 7 is a conceptual diagram illustrating a prediction direction of an intra prediction mode for a luminance component and a mode value assigned to each prediction direction.
  • FIG. 8 is a conceptual diagram illustrating a transform coefficient C of n * m and m * n sizes according to an embodiment of the present invention.
  • FIG. 9 is a conceptual diagram schematically illustrating a method of scanning transform coefficients in the form of a 2D block having a size of 2N * hN.
  • FIG. 10 is a conceptual diagram schematically illustrating a method of scanning transform coefficients in the form of a two-dimensional block having a size of hN * 2N.
  • FIG. 11 is a flowchart schematically illustrating a short range intra prediction unit decoding method according to an embodiment of the present invention.
  • each component when each component is shown independently, it is for illustrating each characteristic function or aspect, and each component is not necessarily present separately or consist of one software unit. That is, two or more components may be combined into one component, or one component may be divided into a plurality of components to perform a function, and embodiments that do not depart from the spirit of the present invention are included in the scope of the present invention. will be.
  • the video encoding apparatus includes a picture splitter 110, an inter predictor 120, an intra predictor 125, a transformer 130, and a quantizer. 135, an inverse quantizer 140, an inverse transform unit 145, a deblocking filter 150, a memory 160, a reordering unit 165, and an entropy encoding unit 170.
  • the picture splitter 110 receives a current picture and splits the picture into one or more coding units.
  • the coding unit refers to one unit in which encoding is performed in the video encoding apparatus and may also be referred to as a coding unit (CU). Coding units may be hierarchically divided with depth information based on a quad tree structure. The largest coding unit is referred to as a largest coding unit (LCU), and the smallest coding unit is referred to as a smallest coding unit (SCU). In addition, the coding unit may have 8 ⁇ 8, 16 ⁇ 16, 32 ⁇ 32, and 64 ⁇ 64 sizes. In addition, the picture dividing unit 110 may divide the coding unit to generate a prediction unit and a transformation unit. The prediction unit may also be called a PU (Prediction Unit), and the transform unit may be called a TU (Transform Unit).
  • PU Prediction Unit
  • TU Transform Unit
  • the inter prediction unit 120 may perform motion estimation (ME) and motion compensation (MC).
  • the inter prediction unit 120 generates a prediction block based on at least one picture information of a previous picture or a subsequent picture of the current picture, which may also be referred to as inter prediction.
  • the inter prediction unit 120 is provided with the divided prediction target block and at least one reference block stored in the memory 160.
  • the inter predictor 120 performs motion estimation using the prediction target block and the reference block.
  • the inter prediction unit 120 generates motion information including a motion vector (MV), a reference block index, a prediction mode, and the like as a result of the motion estimation.
  • MV motion vector
  • the inter prediction unit 120 performs motion compensation using the motion information and the reference block. In this case, the inter prediction unit 120 generates and outputs a prediction block corresponding to the input block from the reference block.
  • the motion information is entropy coded to form a compressed bit stream and is transmitted from the video encoding apparatus to the video decoding apparatus.
  • the intra predictor 125 may generate a prediction block based on pixel information in the current picture. Intra prediction may also be referred to as intra prediction.
  • the intra prediction unit 125 receives a prediction target block and a reconstructed block previously encoded, decoded and reconstructed. However, the inputted reconstruction block is an image before passing through the deblocking filter unit.
  • the reconstruction block may be a previous prediction block.
  • FIG. 2 is a block diagram schematically illustrating a configuration of an intra prediction unit according to an embodiment of the present invention.
  • FIG. 2 includes a reference pixel generator 210, an intra prediction mode determiner 220, and a prediction block generator 230.
  • the reference pixel generator 210 generates a reference pixel for intra prediction. Pixels on the rightmost vertical line of the left block adjacent to the prediction target block and pixels on the bottom horizontal line of the upper block adjacent to the prediction block are used for generating the reference pixel. For example, if the size of the prediction target block is N, 2N pixels are used as reference pixels in respective left and top directions.
  • the reference pixel may be used as it is, or may be used after being filtered through an adaptive intra smoothing filter (AIS). In case of AIS filtering, information related to AIS filtering is signaled.
  • AIS adaptive intra smoothing filter
  • the intra prediction mode determiner 220 receives the prediction target block and the reconstruction block.
  • the intra prediction mode determiner 220 selects a mode that minimizes the amount of information to be encoded from the prediction modes using the input image and outputs the prediction mode information.
  • a predetermined cost function or a Hadamard transform may be used.
  • the prediction mode generator 230 receives the prediction mode information and the reference pixel.
  • the prediction block generator 230 generates prediction blocks by spatially predicting and compensating pixel values of the prediction target block by using prediction mode information and reference pixel values.
  • the prediction mode information is entropy coded to form a compressed bit stream together with image data and the like, and is transmitted from the video encoding apparatus to the video decoding apparatus.
  • the video decoding apparatus uses the prediction mode information when generating the prediction block.
  • a difference block is generated by a difference between a prediction target block and a prediction block generated in an inter or intra prediction mode, which is input to the transform unit 130.
  • the transformer 130 performs transform on the difference block in a transform unit (TU) to generate transform coefficients.
  • TU transform unit
  • the transform block having the transform unit has a quad tree structure within the maximum and minimum sizes, and thus is not dependent on a predetermined size.
  • Each transform block has a flag indicating whether the current block is divided into sub-blocks, and if the flag has a value of 1, the current transform block can be divided into four sub-blocks of the same size. have.
  • Discrete Cosine Transform may be used for the transformation.
  • the quantizer 135 may quantize the values converted by the transformer 130.
  • the quantization coefficient may change depending on the block or the importance of the image.
  • the quantized transform coefficient values may be provided to the reordering unit 165 and the inverse quantization unit 140.
  • the reordering unit 165 may change the quantized two-dimensional block transform coefficients into a one-dimensional vector transform coefficient through a scan in order to increase the efficiency of entropy encoding.
  • the reordering unit 165 may increase the entropy encoding efficiency by changing the scan order based on the probabilistic statistics.
  • the entropy encoder 170 entropy encodes the values obtained by the reordering unit 165, and the encoded information forms a compressed bit stream and is transmitted or stored through a network abstraction layer (NAL).
  • NAL network abstraction layer
  • the inverse quantization unit 140 receives a transform coefficient quantized by the quantization unit 135 to perform inverse quantization, which is inversely transformed by the inverse transform unit 145 to generate a reconstructed difference block.
  • the reconstructed differential block may be combined with the prediction block generated by the inter predictor 120 or the intra predictor 125 to generate a reconstructed block.
  • the reconstruction block is provided to the intra predictor 125 and the deblocking filter 150.
  • the deblocking filter 150 filters the reconstructed block to remove distortion between block boundaries occurring in the encoding and decoding process, and the filtered result is provided to an adaptive loop filter (ALF) 155.
  • ALF adaptive loop filter
  • the deblocking filter 150 may also be referred to as a deblocking filter (DF).
  • the ALF 155 performs filtering to minimize the error between the predicted block and the last reconstructed block.
  • the ALF 155 performs filtering based on a value obtained by comparing the reconstructed block filtered through the deblocking filter 150 with the current prediction target block, and the filter coefficient information of the ALF 155 is a slice header. Is transmitted from the encoding apparatus to the decoding apparatus.
  • the memory 160 may store a final reconstructed block obtained through the ALF 155, and the stored final reconstructed block may be provided to the inter predictor 120 that performs inter prediction.
  • FIGS. 4 to 10 More specific methods of short distance intra prediction (SDIP) encoding according to the present invention are discussed in more detail in FIGS. 4 to 10. Each step of the short range intra prediction unit encoding method described in FIGS. 4 to 10 may be performed within the corresponding configuration of FIGS. 1 and 2.
  • the video decoding apparatus includes an entropy decoder 310, a reordering unit 315, an inverse quantizer 320, an inverse transformer 325, an inter predictor 330, and an intra predictor 335. , Deblocking filter 340, ALF 345, and memory 350.
  • the entropy decoder 310 receives the compressed bit stream from the NAL.
  • the entropy decoding unit 310 entropy decodes the received bit stream, and entropy decodes the prediction mode, motion vector information, and the like when the bit stream is included in the bit stream.
  • the entropy decoded transform coefficients or differential signals are provided to the reordering unit 315.
  • the reordering unit 315 inverse scans the inverse scan to generate transform coefficients in the form of a two-dimensional block.
  • the inverse quantization unit 320 receives an entropy decoded and rearranged transform coefficient, and the inverse quantization unit 320 dequantizes it.
  • the inverse transformer 325 inverse transforms the inverse quantized transform coefficients to generate a difference block.
  • the difference block may be combined with the prediction block generated by the inter predictor 330 or the intra predictor 335 to generate a reconstructed block. That is, it can be said that generation of such a recovery block is performed in the adder.
  • the reconstruction block is provided to the intra predictor 335 and the deblocking filter 340.
  • the operations of the inter predictor 330 and the intra predictor 335 may be the same as the operations of the inter predictor 120 and the intra predictor 125 in the video encoding apparatus, respectively.
  • the deblocking filter 340 filters the reconstructed block to remove distortion between block boundaries occurring in the encoding and decoding process, and the filtered result is provided to an adaptive loop filter (ALF) 345.
  • the ALF 345 performs filtering to minimize the error between the predicted block and the last reconstructed block.
  • the memory 160 may store a final reconstructed block obtained through the ALF 345, and the stored final reconstructed block may be provided to the inter predictor 330 that performs inter prediction.
  • FIG. 11 A more specific method of short range intra prediction unit decoding according to the present invention is discussed in more detail in FIG. 11.
  • Each step of the short range intra prediction unit decoding method described in FIG. 11 may be performed within the corresponding configuration of FIG. 3.
  • FIG. 4 is a flowchart schematically illustrating a short range intra prediction unit encoding method according to an embodiment of the present invention.
  • a prediction unit refers to a basic unit in which intra prediction and inter prediction are performed, and therefore, the size of the prediction target block is the same as that of the current prediction unit.
  • a new prediction unit (PU) for the current prediction target block is input (S410).
  • the prediction unit is a basic unit for intra prediction and inter prediction.
  • the prediction unit is a block smaller than or equal to a coding unit (CU) and is not necessarily square, but may also be a rectangular block.
  • Intra prediction is usually performed in prediction units of 2N * 2N or N * N size.
  • N is a natural number and represents the number of pixels, and 2N * 2N and N * N represent sizes of prediction units of a prediction target block.
  • hN * 2N / 2N * as a prediction unit size that is further subdivided.
  • the prediction unit of the size of hN * 2N / 2N * hN is used, the directionality of the boundary surface in the block can be better reflected, and as a result, the energy of the prediction error signal is reduced, thereby reducing the amount of bits required for encoding, thereby encoding efficiency. This can increase.
  • FIG. 5 is a conceptual diagram schematically illustrating a prediction unit according to an embodiment of the present invention.
  • one coding unit 510 may be divided into prediction units having different sizes according to characteristics of an image.
  • FIG. 5 is a conceptual diagram illustrating a case where intra prediction is performed, and shows that one coding unit 510 is divided into a prediction unit 520.
  • the size of the prediction unit may be N * N 521, hN * 2N 522, and 2N * hN 523, respectively.
  • a prediction unit of size N * N may be used as a prediction unit only in the SCU, which is a minimum coding unit, in order to prevent duplication of calculation for calculating a prediction cost.
  • a 32 * 32 coding unit may be divided into 32 * 32, 16 * 16, 8 * 32, and 32 * 8 prediction units. Prediction unit sizes other than the 32 * 32 size may be split into a plurality of prediction units using the same method. Thus, when short-range intra prediction is used, coding units may be split into non-squares.
  • a reference pixel required for intra prediction is generated (S420).
  • FIG. 6 is a conceptual diagram illustrating a reference pixel for a current prediction target block according to an embodiment of the present invention.
  • the pixels 630 on the rightmost vertical line of the left block adjacent to the prediction target block 610 and the pixels 620 on the bottom horizontal line of the upper block adjacent to the prediction target block 610 are formed. Used to generate reference pixels.
  • the size of the prediction target block 610 is N * N, and the coordinate of the pixel at the top left of the prediction target block 610 is (0,0), and the right side is positive in the x-axis direction.
  • the bottom side is called the positive direction.
  • 2N pixels whose coordinates on the x-axis are -1 and the y-axis coordinates are 0 to 2N-1, and the 2N pixels whose y-axis coordinates are -1 and the x-axis coordinates are 0 to 2N-1 are the pixels Can be used as
  • the reference pixel may be used as it is or may be used after being filtered through an adaptive intra smoothing filter (AIS).
  • AIS adaptive intra smoothing filter
  • the reference pixel may be generated using previous prediction blocks closest to the prediction target block.
  • the size of the prediction target block 610 is hN * 2N, and the coordinate of the pixel in the upper left corner of the prediction target block 610 is (0,0), and the right side is positive in the x axis. On the y-axis, the bottom side is called the positive direction.
  • 4N pixels whose coordinates on the x-axis are -1 and the coordinates of the y-axis are from 0 to 4N-1, and 2hN pixels whose coordinates on the y-axis are -1 and the coordinates on the x-axis are 0 to 2hN-1 Can be used as Depending on the application or need, 4N pixels with coordinates of -1 in the x-axis and 0 to 4N-1 in the y-axis, and 4N pixels with coordinates of -1 in the y-axis and 0 to 4N-1 in the y-axis It may be used as a blemish pixel.
  • an intra prediction mode for the prediction block is determined (S430). Intra prediction mode determination is performed for each prediction unit. When short-range intra prediction is used, prediction mode determination may also be performed in prediction units of size hN * 2N / 2N * hN.
  • the relationship between the required bit rate and the amount of distortion may be considered in determining the optimal prediction mode.
  • the prediction mode determination method may vary depending on whether the RDO (Rate Distortion Optimization) is ON or not.
  • FIG. 7 is a conceptual diagram illustrating a prediction direction of an intra prediction mode for a luminance component and a mode value assigned to each prediction direction. 7 shows a plurality of intra prediction modes, each intra prediction mode having a different prediction direction. In addition, the number assigned to each intra prediction mode is called a mode value.
  • the prediction is performed in the vertical direction using the pixel value of the adjacent block, and when the mode value is 1, the prediction is performed in the horizontal direction.
  • the mode value is 2, also called DC mode, a prediction block is generated by an average of pixel values in the current prediction target block. In the other modes, prediction is performed using adjacent block pixel values according to the corresponding angle.
  • the intra prediction mode of the current prediction target block is determined from a plurality of intra prediction modes in which different mode values are assigned to each.
  • the number of intra prediction modes for the luma component according to the size of the prediction unit is shown in Table 1 below.
  • intra prediction modes having a mode value of 0 to 16 when the size of the prediction unit is 4 * 4, 17 intra prediction modes having a mode value of 0 to 16 may be used, and when the size of the prediction unit is 8 * 8, FIG. 7. In the 34 intra prediction modes having a mode value of 0 to 33 may be used.
  • the number of prediction modes for 2N * 2N block sizes is used as the number of prediction modes for blocks of size hN * 2N / 2N * hN.
  • 34 prediction modes may be used for a 2 * 8 block, as in an 8 * 8 block.
  • the direction may be stronger than when N * N. Therefore, as the prediction direction of the intra prediction mode is closer to the specific direction, the mode value may be reordered so that a smaller number of code words are assigned to the syntax element value representing the intra prediction mode information.
  • the image encoding apparatus may define a predetermined syntax element to transmit specific image encoding related information such as intra prediction mode information to the image decoding apparatus.
  • the defined syntax element values may be entropy encoded by the mapping table and transmitted to the image decoding apparatus.
  • the image encoding apparatus may generate a specific syntax element value indicating the intra prediction mode information.
  • the syntax element value may be mapped to a specific code word by a mapping table and entropy encoded using the code word.
  • the number of bits used for entropy encoding may be reduced by allocating a smaller number of codewords to specific syntax element values that frequently occur during entropy encoding. have.
  • the mode value of the intra prediction mode may be rearranged.
  • the mode values may be rearranged as shown in Table 2 below.
  • the pre-relocation mode value corresponds to each mode value shown in FIG. It is assumed that the number of bits of the code word corresponding to each intra prediction mode increases as the mode value of the intra prediction mode increases.
  • the vertical directionality is strong, there is a high probability that the number of occurrences of the intra prediction mode having a prediction direction close to the vertical direction is high. Therefore, if the code value having the smaller number of bits corresponds to the intra prediction mode having the prediction direction close to the vertical direction by rearranging the mode value, the number of bits for encoding may be reduced.
  • the pre-relocation mode values are arranged in the order close to the vertical direction, but the number of bits of the code words for the intra prediction mode close to the vertical direction may be larger than the intra prediction mode far from the vertical direction.
  • the intra prediction mode After relocation, the intra prediction mode has a smaller mode value as it is closer to the vertical direction, and thus may be mapped to a code word having a smaller number of bits. Therefore, the number of bits for encoding can be reduced.
  • the mode values may be rearranged as shown in Table 3 below.
  • the mapping table between the relocated mode value and the code word may be implemented based on a look up table (LUT) and stored in the encoding apparatus and the decoding apparatus.
  • flag information indicating an arrangement order of the mapping table, that is, information on mode value relocation may be included in the header of the frame and transmitted.
  • the number of prediction modes may be limited to a predetermined maximum number of modes or less.
  • information about the limitation of the number of prediction modes may be transmitted in a sequence parameter set (SPS) or in a picture unit.
  • SPS means header information which contains the information over encoding of the whole sequence.
  • a predicted block with prediction units of size hN * 2N / 2N * hN is likely to have an intra prediction mode biased in a particular direction, so that a smaller mode value is assigned to the intra prediction mode biased in a particular direction.
  • the number of available intra prediction modes in the current prediction unit is limited to 11, you can use 3 or 5 intra prediction modes with constant directionality in one direction without using all of the intra prediction modes. have.
  • the number of bits for encoding the intra prediction mode of the current prediction target block may be reduced, thereby increasing the coding efficiency.
  • the intra prediction mode 710 in the upper direction of the prediction target block has a mode value of 0, 21, 22 or 0, 21, 22 It may be limited to a mode having mode values of 11, 22.
  • the intra prediction mode 720 in the left direction of the prediction target block has a mode value of 1, 29, 39, or 1, 29, It may be limited to a mode having mode values of 39, 15, and 16.
  • the mode values may be rearranged as shown in Table 4 below.
  • the mode values may be rearranged as shown in Table 5 below.
  • the intra prediction mode may include a DC mode or a planar mode.
  • the DC mode is a mode having no directionality.
  • a prediction block is generated by an average of pixel values in the current prediction target block.
  • the DC mode may be mapped to number 3 or 2
  • the prediction mode may be mapped to number 5 or 2.
  • the planner mode is a non-directional prediction mode in which an average value is generated as a pixel value by performing interpolation in the horizontal and vertical directions. If planner mode is used, DC mode is not used. When the planner mode is used, a value of 1 may be assigned to the planar flag Planar_flag and the planar flag information may be transmitted to the decoder.
  • the intra prediction mode in one direction of the intra prediction mode 710 in the upper direction of the prediction target block or the intra prediction mode 720 in the left direction of the prediction target block may not be used for prediction.
  • the prediction mode in the horizontal direction may not be used (OFF), and in this case, the intra prediction mode 720 in the left direction may not be used.
  • the prediction mode in the vertical direction may not be used (OFF), and in this case, the intra prediction mode 710 in the upper direction may not be used.
  • this information may be transmitted to the decoding apparatus.
  • the mode values in the other direction may be rearranged in order.
  • the mode values may be rearranged as shown in Table 6 below.
  • the mode values may be rearranged as shown in Table 7 below.
  • the number of bits for encoding the intra prediction mode of the current prediction target block may decrease, thereby increasing the coding efficiency.
  • the uppermost prediction pixel and the leftmost prediction pixel may be filtered to increase the prediction efficiency.
  • the strength of the filtering can be applied more strongly the smaller the block size.
  • the remaining inner pixels of the current prediction target block may not be filtered.
  • the planner mode may be used instead of the DC mode, but the planner mode may not be used for the short range intra prediction.
  • the size of the prediction unit for the chroma component may also be N * N, hN * 2N or 2N * hN.
  • a prediction block for the prediction target block is generated using the intra prediction mode of the reference pixel and the current prediction target block (S440).
  • the prediction block may be predicted and generated according to the distance between the reference pixel and the pixel to be predicted through the reference pixel interpolation method.
  • the pixel value of the prediction target block and the pixel value of the prediction block are differentiated in pixel units to generate a residual signal, that is, a difference block (S450).
  • the difference block has a residual value which is a difference value between the prediction target block and the prediction block.
  • the difference block that is, the residual signal
  • the difference block is transform-coded by applying a transform kernel (S460).
  • the size of the transcoding kernel may be 2 * 2, 4 * 4, 8 * 8, 16 * 16, 32 * 32 or 64 * 64.
  • the transform coefficients are generated by the transform, and the transform coefficients are in the form of two-dimensional blocks.
  • the transform coefficient C for the n * n block may be calculated by the following equation.
  • C (n, n) is a matrix of n * n transform coefficients
  • T (n, n) is an n * n transform kernel matrix
  • B (n, n) is n * n magnitude Matrix for the difference block.
  • the transform coefficient C for a difference block of size m * n or n * m can be calculated in two ways.
  • One method is to divide a difference block of size m * n or n * m into four m * m blocks, and then apply a transform kernel to each to generate transform coefficients.
  • Another method is to generate transform coefficients by applying a transform kernel to a difference block of size m * n or n * m.
  • Block 810 represents a transform coefficient C of size n * m represented by a C (m, n) matrix
  • block 820 represents a transform coefficient C of size m * n represented by a C (n, m) matrix.
  • a transform coefficient block of size n * m may be represented by a matrix C (m, n) of m rows and n columns because width and height become n and m, respectively.
  • the blocks 810 and 820 may be divided into a lower block having a square size of m * m.
  • a differential block in the form of a rectangle having the size of m * n or n * m may be divided into four square subblocks having the size of m * m.
  • M * m transform kernels are applied to each of the lower blocks to generate m * m transform coefficients. If this process is repeated four times, the transform coefficients for the entire differential block are obtained.
  • Equation 2 The transformation may be represented by Equation 2 below.
  • C (m, m) is a matrix of transform coefficients of size m * m
  • T (m, m) is a transform kernel matrix of size m * m
  • B (m, m) is size of m * m size Matrix of lower blocks.
  • n * m transforms are applied to the n * m difference blocks (B (m, n)) by applying n * n transform kernels in the horizontal direction and m * m transform kernels in the vertical direction. Coefficients can be generated.
  • m * n transforms are applied to m * n-sized difference blocks (B (n, m)) by applying m * m-sized transform kernels in the horizontal direction and n * n-sized transform kernels in the vertical direction. Coefficients can be generated.
  • the transformation can be represented by the following equation.
  • C (m, n) is a matrix for transform coefficients of size n * m
  • B (m, n) is a matrix for difference blocks of size of n * m
  • T (m, m) is a transform kernel matrix of size m * m
  • T (n, n) is a transform kernel matrix of size of n * n
  • C (n, m) is a matrix for transform coefficients of size m * n
  • B (n, m) is a matrix for difference blocks of size m * n.
  • the generated transform coefficients are quantized (S470).
  • the difference block that is, the residual signal
  • the cost functions before and after the transform encoding can be compared, and the method of minimizing the cost is selected.
  • the type of the signal (difference block (residual signal) or transform coefficient) transmitted for the prediction target block may be transmitted to the decoding apparatus.
  • the transform coefficients are scanned (S480).
  • the transform coefficients in the form of two-dimensional blocks quantized by the scan may be changed to the transform coefficients in the one-dimensional vector form.
  • the conversion coefficient scan order may be zigzag or horizontal or vertical as in the conventional method.
  • FIG. 9 is a conceptual diagram schematically illustrating a method of scanning transform coefficients in the form of a 2D block having a size of 2N * hN.
  • Blocks having a size of 2N * hN that is, blocks in the horizontal direction, are likely to include texture of the horizontal component. Therefore, since the transform coefficients are likely to be distributed in the vertical direction, the scan order is the order shown in the method 910 of FIG. 9, and the methods 920, 930, and 930 may optionally be applied.
  • the scan method may be selected using RDO or other methods, and information about the scan method may be sent to the decoder.
  • FIG. 10 is a conceptual diagram schematically illustrating a method of scanning transform coefficients in the form of a two-dimensional block having a size of hN * 2N.
  • Blocks of size hN * 2N ie blocks in the vertical direction, are likely to contain texture of the vertical component. Therefore, since the transform coefficients are highly likely to be distributed in the horizontal direction, the scanning order is the order shown in the method 1010 of FIG. 10, and the methods 1020, 1030, and 1030 may optionally be applied.
  • the scan method may be selected using RDO or other methods, and information about the scan method may be sent to the decoder.
  • the scanned transform coefficients and the intra prediction mode of the current prediction target block are entropy encoded (S490).
  • the encoded information forms a compressed bit stream and may be transmitted or stored through a network abstraction layer (NAL).
  • NAL network abstraction layer
  • FIG. 11 is a flowchart schematically illustrating a short range intra prediction unit decoding method according to an embodiment of the present invention.
  • the current block to be decrypted is called a decoding object block.
  • the received bit stream is entropy decoded (S1110).
  • a block type is obtained from a variable length coding (VLC) table, and an intra prediction mode of the current decoding target block is calculated.
  • VLC variable length coding
  • the signal transmitted for the current decoding target block is a residual signal for the difference block or a transform coefficient.
  • a residual signal or a transform coefficient in the form of a one-dimensional vector for the differential block is obtained.
  • An inverse scan of the entropy decoded residual signal or transform coefficient is performed to generate a 2D block (S1120). At this time, a difference block is generated in the case of the residual signal, and a transform coefficient in the form of a two-dimensional block is generated in the case of the transform coefficient.
  • Inverse quantization is performed when the transform coefficient is generated (S1130).
  • the inverse quantized transform coefficients are inversely transformed, and a difference block for a residual signal is generated through inverse transform (S1140).
  • the inverse transform for a block of size n * n can be expressed by the following equation.
  • C (n, n) is a matrix of n * n transform coefficients
  • T (n, n) is an n * n transform kernel matrix
  • B (n, n) is n * n magnitude Matrix for the difference block.
  • the difference block is obtained through an inverse transform as shown in the above equation.
  • a difference block is obtained according to information indicating how the transform encoding is performed, that is, a flag value.
  • an m * m sized transform kernel is applied to generate a difference block sized m * m. If this process is repeated four times, a full differential block is obtained.
  • the inverse transform may be represented by the following equation.
  • C (m, m) is a matrix of transform coefficients of size m * m
  • T (m, m) is a transform kernel matrix of size m * m
  • B (m, m) is size of m * m size Matrix of lower blocks.
  • n * m transform coefficients (C (m, n))
  • n * m transform kernels are applied horizontally and m * m transform kernels are applied vertically.
  • a difference block can be generated.
  • m * n transform coefficients (C (n, m)
  • m * m transform kernels are applied horizontally and n * n transform kernels are applied vertically.
  • a difference block can be generated.
  • the transformation can be represented by the following equation.
  • C (m, n) is a matrix for transform coefficients of size n * m
  • B (m, n) is a matrix for difference blocks of size of n * m
  • T (m, m) is a transform kernel matrix of size m * m
  • T (n, n) is a transform kernel matrix of size of n * n
  • C (n, m) is a matrix for transform coefficients of size m * n
  • B (n, m) is a matrix for difference blocks of size m * n.
  • the values of 0 and 1 of the flag may be changed depending on the application or need.
  • a reference pixel is generated (S1150).
  • the pixels on the rightmost vertical line of the left block that is already decoded and reconstructed adjacent to the current decoding target block and the pixels on the bottom horizontal line of the upper block adjacent to the decoding target block are used for generating the reference pixel. .
  • AIS Adaptive Intra Smoothing
  • a prediction block for the decoding object block is generated using the reference pixel and the entropy decoded prediction mode of the current decoding object block (S1160).
  • the image encoding apparatus may generate a specific syntax element value indicating the intra prediction mode information.
  • the syntax element value may be mapped to a specific code word by a mapping table and entropy encoded using the code word.
  • the number of bits used for entropy encoding may be reduced by allocating a smaller number of codewords to a specific syntax element value frequently generated during entropy encoding.
  • the encoding apparatus may limit the prediction mode such as limiting the number of prediction modes of short-range intra prediction, not using a prediction mode in one direction, or rearranging the prediction modes. .
  • the mapping table between the restricted mode value and the code word may be implemented based on a look up table (LUT) and stored in the encoding apparatus and the decoding apparatus.
  • flag information indicating an arrangement order of the mapping table that is, information on mode value relocation may be included in the header of the frame and transmitted.
  • the decoding apparatus may form a mapping table using transmitted flag information or a lookup table stored in the encoding apparatus itself.
  • the decoding apparatus may determine the prediction mode for the decoding target block using this.
  • the mode values may be rearranged in the reverse order of the encoding apparatus.
  • the generation process of the prediction block is the same as the process used for determining the prediction mode and generating the prediction block at the encoder.
  • the pixel value of the prediction block and the pixel value of the difference block are added in units of pixels to generate a reproduced block, that is, a reconstruction block (S1170).

Abstract

단거리 인트라 예측 단위 복호화 방법 및 복호화 장치가 제공된다. 제1 예측 단위가 복수의 제2 예측 단위로 더 분할되고 제2 예측 단위의 형태를 기초로 재배치된 인트라 예측 모드 매핑 테이블을 이용하여 제2 예측 단위의 인트라 예측 모드를 결정한다. 결정된 제2 예측 단위의 인트라 예측 모드를 기초로 제2 예측 단위의 예측 블록을 생성한다. 본 발명에 따르면 인트라 예측 효율이 높아지며, 전송 비트량이 절감된다.

Description

단거리 인트라 예측 단위 복호화 방법 및 복호화 장치
본 발명은 영상 처리기술에 관한 것으로써, 보다 상세하게는 인트라 예측 방법에 관한 것이다.
최근 디지털 TV 등의 도래로 인해 방송 텔레비전 및 홈 엔터테인먼트(home entertainment) 분야의 기술이 급격하게 발전하고 있다. 이러한 분야의 기술은 비디오 압축 기술의 표준화(standardization)에 의해서 상용화되고 있다. 비디오 압축을 위해 ITU-T(International Telecommunications Union - Telecommunication) H.263 표준이 광범위하게 사용되고 있으며, MPEG(Motion Picture Experts Group)의 다음 표준인 MPEG-4가 인터넷 기반 비디오 어플리케이션을 위해 사용되고 있다.
H.263 표준 완성 이후, ITUT-VCEG(Video Coding Experts Group)는 H.263 표준에 부가적인 특징을 추가하기 위한 단기적 목표와 낮은 비트율의 시각 통신(visual communication)을 위한 새로운 표준을 개발하기 위한 장기적 목표가 경주되어 왔다. 2001년, MPEC과 VCEG의 전문가들로 이루어진 JVT(Joint Video Team)이 구성되었고, JVT에 의해 비디오 영상의 코딩을 위한 새로운 표준인 ITU-T H.264/MPEG-4 part 10의 표준화 작업이 진행되어 왔다. H.264 표준은 AVC(Advanced Video Coding)으로 불릴 수 있다. H.264/AVC의 기술적 목표는 코딩 효율의 현저한 향상, 손실 및 에러에 강인(robust)한 코딩 기술, 네트워크 친화적(network friendliness)인 코딩 기술, 낮은 지연 용량(latency capability) 및 정확한 매치 복호화(match decoding) 등이다.
H.264 표준 완성 이후, MPEC과 VCEG의 전문가들로 이루어진 JCT-VC(Joint Collaborative Team on Video Coding)가 구성되었고, JCT-VC에 의해 비디오 영상의 코딩을 위한 새로운 표준인 HEVC(High Efficiency Video Coding)에 대한 표준화 작업이 진행되고 있다. HEVC의 개략적인 목표는 H.264보다 좋은 부호화 효율을 유지함과 동시에 낮은 복잡도(complexity)를 달성하는 것이다.
영상 내에서 주변 화소(pixel)들은 대부분 비슷한 값을 가지며, 이는 H.264/AVC 표준의 최소 블록(block) 크기인 4×4 블록 또는 16×16 블록 및 HEVC 표준의 블록에 대해서도 마찬가지이다. 이와 같이 블록 간 값들의 유사성을 이용하여 영상에 대한 예측을 수행하고, 원본 영상과의 차이를 부호화할 수 있다. 이를 인트라 예측(intra prediction)이라 하며, 인트라 예측에 의해 영상 코딩의 효율을 높일 수 있다.
또한, 인트라 예측을 수행함에 있어서 인트라 예측 수행 이전에 필터가 적용될 수도 있다. 통상적으로 H.264/AVC 표준에서 인트라 예측을 수행할 때 참조 화소값들에 필터를 적용한 후 필터가 적용된 값들을 인트라 예측에 사용한다. 또한 HEVC 표준에서도 참조 화소값들에 필터가 적용된 후 그 값들이 인트라 예측에 사용될 수 있다. 그러나 경우에 따라서 필터를 적용한 후 인트라 예측을 수행하는 것보다 필터를 적용하지 않고 인트라 예측을 수행할 때 영상 부호화 성능이 더 높을 수 있다.
본 발명의 기술적 과제는 높은 예측 효율을 제공하는 단거리 인트라 예측 단위 복호화 방법을 제공함에 있다.
본 발명의 다른 기술적 과제는 높은 예측 효율을 제공하는 단거리 인트라 예측 단위 복호화 장치를 제공함에 있다.
본 발명의 일 실시 형태는 단거리 인트라 예측 단위 복호화 방법이다. 상기 방법은 제1 예측 단위가 복수의 제2 예측 단위로 더 분할되고 상기 제2 예측 단위의 형태를 기초로 재배치된 인트라 예측 모드 매핑 테이블을 이용하여 상기 제2 예측 단위의 인트라 예측 모드를 결정하는 단계 및 상기 결정된 제2 예측 단위의 인트라 예측 모드를 기초로 상기 제2 예측 단위의 예측 블록을 생성하는 단계를 포함한다.
상기 제2 예측 단위의 크기는 N*N, hN*2N 또는 2N*hN일 수 있다. 상기 N은 자연수로서 화소(pixel)의 수를 나타내며, 상기 h는 1/2이다.
상기 매핑 테이블은, 상기 인트라 예측 모드의 예측 방향이 특정 방향에 가까울 수록 상기 인트라 예측 모드에 더 작은 비트수의 코드 워드(code word)가 할당되도록 재배치될 수 있다.
상기 특정 방향은 상기 제2 예측 단위의 크기가 2N*hN일 때 수직 방향이고, 상기 제2 예측 단위의 크기가 hN*2N일 때 수평 방향일 수 있다.
상기 매핑 테이블은, 부호화 장치로부터 입력된 플래그 정보 또는 복호화 장치에 저장된 룩업 테이블(LUT: Look Up Table)에 의해 형성될 수 있다.
상기 제2 예측 단위의 형태에 따라 상기 제2 예측 단위 상단 방향의 인트라 예측 모드 및 상기 제2 예측 단위 좌측 방향의 인트라 예측 모드 중 한쪽 방향의 인트라 예측 모드만이 사용될 수 있다.
상기 인트라 예측 모드의 개수는 일정한 최대 모드 개수 이하로 제한될 수 있다.
상기 방법은 부호화 장치로부터 입력된 차분(residual) 신호에 대한 변환 계수를 상기 제2 예측 단위의 형태를 기초로 지그 재그 방향, 수형 방향, 수직 방향 중 적어도 하나의 방법을 사용하여 역스캔하는 단계를 더 포함할 수 있다.
상기 역스캔 방법은, 상기 제2 예측 단위의 크기가 2N*hN일 때 수직 방향이고, 상기 제2 예측 단위의 크기가 hN*2N일 때 수평 방향일 수 있다.
상기 방법은 상기 역스캔된 변환 계수에 대해 2*2, 4*4, 8*8, 16*16, 32*32 또는 64*64 크기의 변환 커널(kernel)을 적용하여 역변환을 수행하는 단계를 더 포함할 수 있다.
상기 역변환을 수행하는 단계는, 상기 변환 계수를 4개의 정방형의 하위 블록으로 분할하는 단계 및 상기 하위 블록 각각에 대해 변환 커널을 적용하여 역변환하는 단계를 포함할 수 있다.
본 발명의 다른 실시 형태는 단거리 인트라 예측 단위 복호화 장치이다. 상기 장치는 제1 예측 단위가 복수의 제2 예측 단위로 더 분할되고 상기 제2 예측 단위의 형태를 기초로 재배치된 인트라 예측 모드 매핑 테이블을 이용하여 상기 제2 예측 단위의 인트라 예측 모드를 결정하는 인트라 예측 모드 결정부 및 상기 결정된 제2 예측 단위의 인트라 예측 모드를 기초로 상기 제2 예측 단위의 예측 블록을 생성하는 예측 블록 생성부를 포함한다.
본 발명에 따르면 인트라 예측의 효율이 높아지며, 예측 오차 신호의 에너지가 감소되어 전송 비트량이 절감된다.
도 1은 본 발명이 적용되는 비디오 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 인트라 예측부의 구성을 개략적으로 나타내는 블록도이다.
도 3은 본 발명이 적용되는 비디오 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른 단거리 인트라 예측 단위 부호화 방법을 개략적으로 나타내는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 예측 단위를 개략적으로 나타내는 개념도이다.
도 6은 본 발명의 일 실시예에 따른 현재 예측 대상 블록에 대한 참조 화소를 나타내는 개념도이다.
도 7은 휘도 성분에 대한 인트라 예측 모드의 예측 방향 및 각 예측 방향에 할당된 모드값을 나타내는 개념도이다.
도 8은 본 발명의 실시예에 따른 n*m 및 m*n 크기의 변환 계수 C를 나타내는 개념도이다.
도 9는 2N*hN 크기를 가진 2차원 블록 형태의 변환 계수가 스캔되는 방법을 개략적으로 나타내는 개념도이다.
도 10은 hN*2N 크기를 가진 2차원 블록 형태의 변환 계수가 스캔되는 방법을 개략적으로 나타내는 개념도이다.
도 11은 본 발명의 실시예에 따른 단거리 인트라 예측 단위 복호화 방법을 개략적으로 나타내는 흐름도이다.
이하, 도면을 참조하여 본 발명이 상세히 설명된다. 도면에는 특정 실시예들이 예시되어 있으나, 이는 본 발명을 특정한 실시 형태에 한정하려는 것이 아니며, 본 발명의 사상에 포함되는 모든 변경, 균등물이 포함된다. 본 출원에서 “가지다”, “포함하다” 등의 용어는 명세서 상에 기재된 단계, 구성 등이 존재함을 나타내는 것이지, 하나 또는 그 이상의 다른 단계, 구성 등이나 그 조합 등의 존재 또는 부가 가능성을 의미하는 것이 아니다.
본 발명의 실시예에서 각 구성부들이 독립적으로 도시된 경우, 각각의 특징적인 기능 또는 양태를 나타내기 위한 것으로 각 구성부들이 반드시 분리되어 존재하거나 하나의 소프트웨어 단위로 이루어지는 것은 아니다. 즉, 둘 이상의 구성부들이 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수의 구성부로 나뉘어져 기능을 수행할 수 있으며, 본 발명의 본질에서 벗어나지 않는 실시예들은 본 발명의 권리범위에 포함된다 할 것이다.
도 1은 본 발명이 적용되는 비디오 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 1을 참조하면, 상기 비디오 부호화 장치는 픽쳐(picture) 분할부(110), 인터(inter) 예측부(120), 인트라(intra) 예측부(125), 변환부(130), 양자화부(135), 역양자화부(140), 역변환부(145), 디블록킹 필터(deblocking filter)(150), 메모리(160), 재정렬부(165) 및 엔트로피 부호화부(170)를 포함한다.
픽쳐 분할부(110)에는 현재 픽쳐가 입력되며, 이를 하나 이상의 부호화 단위로 분할할 수 있다. 부호화 단위는 비디오 부호화 장치에서 부호화가 수행되는 하나의 단위를 말하며, CU(Coding Unit)라고도 할 수 있다. 부호화 단위는 쿼드 트리 구조(Quad Tree Structure)를 기초로 깊이(depth) 정보를 가지고 계층적으로 분할될 수 있다. 가장 큰 크기의 부호화 단위는 최대 부호화 단위(LCU: Largest Coding Unit), 가장 작은 크기의 부호화 단위는 최소 부호화 단위(SCU: Smallest Coding Unit)이라 한다. 또한 부호화 단위는 8×8, 16×16, 32×32, 64×64 크기를 가질 수 있다. 또한 픽쳐 분할부(110)는 부호화 단위를 분할하여 예측 단위 및 변환 단위를 생성할 수 있다. 예측 단위는 PU(Prediction Unit), 변환 단위는 TU(Transform Unit)이라고도 할 수 있다.
인터 예측 모드에 있는 경우, 인터 예측부(120)는 움직임 추정(ME: Motion Estimation) 및 움직임 보상(MC: Motion Compensation)을 수행할 수 있다. 인터 예측부(120)는 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐 정보를 기초로 예측 블록을 생성하며 이를 화면 간 예측이라고도 할 수 있다.
인터 예측부(120)에는 분할된 예측 대상 블록 및 메모리(160)에 저장된 적어도 하나의 참조 블록이 제공된다. 인터 예측부(120)는 상기 예측 대상 블록 및 참조 블록을 이용하여 움직임 추정을 수행한다. 인터 예측부(120)는 움직임 추정의 결과로 움직임 벡터(MV: Motion Vector), 참조 블록 인덱스(index) 및 예측 모드 등을 포함한 움직임 정보(motion information)를 생성한다.
또한 인터 예측부(120)는 상기 움직임 정보 및 참조 블록을 이용하여 움직임 보상을 수행한다. 이 때, 인터 예측부(120)는 상기 참조 블록으로부터 입력 블록에 대응하는 예측 블록을 생성하여 출력한다.
상기 움직임 정보는 엔트로피 부호화되어 압축된 비트 스트림을 형성하여 비디오 부호화 장치에서 비디오 복호화 장치로 전송된다.
인트라 예측 모드의 경우, 인트라 예측부(125)는 현재 픽쳐 내의 화소 정보를 기초로 예측 블록을 생성할 수 있다. 인트라 예측은 화면 내 예측이라고도 할 수 있다. 인트라 예측 모드의 경우, 인트라 예측부(125)에는 예측 대상 블록 및 이전에 부호화되고 복호화되어 복원된 복원 블록이 입력된다. 다만, 입력되는 상기 복원 블록은 디블록킹 필터부를 거치기 전의 영상이다. 상기 복원 블록은 이전 예측 블록일 수 있다.
도 2는 본 발명의 일 실시예에 따른 인트라 예측부의 구성을 개략적으로 나타내는 블록도이다. 도 2를 참조하면, 도 2는 참조 화소 생성부(210), 인트라 예측 모드 결정부(220) 및 예측 블록 생성부(230)를 포함한다.
참조 화소 생성부(210)는 인트라 예측에 필요한 참조 화소를 생성한다. 예측 대상 블록에 인접한 좌측 블록의 맨 오른쪽 수직 라인상의 화소들과 예측 블록에 인접한 상단 블록의 맨 아래쪽 수평 라인상의 화소들이 참조 화소 생성에 사용된다. 예를 들어 예측 대상 블록의 크기가 N이라면, 좌측 및 상단 각 방향에서 2N개의 화소를 참조 화소로 사용한다. 참조 화소는 그대로 사용될 수도 있고, AIS(Adaptive Intra Smoothing filter)를 통해 필터링된 후 사용될 수도 있다. AIS 필터링되는 경우에는 AIS 필터링에 관련된 정보가 시그널링(signaling)된다.
인트라 예측 모드 결정부(220)는 상기 예측 대상 블록 및 상기 복원 블록이 입력된다. 인트라 예측 모드 결정부(220)는 상기 입력된 영상을 이용하여, 예측 모드 중에서 부호화될 정보의 양을 최소화시키는 모드를 선택하여 그 예측 모드 정보를 출력한다. 이 때 소정의 비용 함수(cost function) 또는 하다마드(Hadamard) 변환 등이 이용될 수 있다.
예측 블록 생성부(230)에는 상기 예측 모드 정보 및 상기 참조 화소가 입력된다. 상기 예측 블록 생성부(230)는 예측 모드 정보 및 참조 화소값을 사용함으로써, 예측 대상 블록의 화소값을 공간상 예측, 보상하여 예측 블록을 생성한다.
예측 모드 정보는 엔트로피 부호화되어 영상 데이터 등과 함께 압축된 비트 스트림을 형성하여 비디오 부호화 장치에서 비디오 복호화 장치로 전송된다. 비디오 복호화 장치는 예측 블록을 생성할 때 상기 예측 모드 정보를 사용한다.
다시 도 1을 참조하면, 예측 대상 블록 및 인터 또는 인트라 예측 모드에서 생성된 예측 블록의 차분에 의해 차분 블록이 생성되고, 이는 변환부(130)에 입력된다. 변환부(130)는 변환 단위(TU)로 차분 블록에 대해 변환을 수행하여 변환 계수를 생성한다.
변환 단위를 가지는 변환 블록은 최대 및 최소 크기 내에서 쿼드 트리 구조(quad tree structure)를 가지므로, 정해진 하나의 크기에 종속되지 않는다. 변환 블록마다 현재 블록이 하위 블록(sub-block)으로 나누어지는지 여부를 가리키는 플래그(flag)를 가지며, 플래그가 1의 값을 가지는 경우, 현재 변환 블록은 동일한 크기의 네 개의 하위 블록으로 나누어질 수 있다. 변환에는 이산 여현 변환(DCT: Discrete Cosine Transform)이 사용될 수 있다.
양자화부(135)는 변환부(130)에서 변환된 값들을 양자화할 수 있다. 블록에 따라 또는 영상의 중요도에 따라 양자화 계수는 변할 수 있다. 양자화된 변환 계수 값은 재정렬부(165) 및 역양자화부(140)에 제공될 수 있다.
재정렬부(165)는, 엔트로피 부호화의 효율을 높이기 위해, 스캔(scan)을 통하여 상기 양자화된 2차원의 블록 형태의 변환 계수를 1차원의 벡터 형태의 변환 계수로 변경할 수 있다. 재정렬부(165)는 확률적 통계를 기초로 스캔 순서를 달리 하여 엔트로피 부호화 효율을 높일 수 있다.
엔트로피 부호화부(170)는 재정렬부(165)에서 얻어진 값들을 엔트로피 부호화하며, 부호화된 정보들은 압축된 비트 스트림을 형성하여 네트워크 추상 계층(NAL: Network Abstraction Layer)을 통해 전송되거나 저장된다.
역양자화부(140)에는 양자화부(135)에서 양자화된 변환 계수가 입력되어 역양자화가 수행되며, 이는 역변환부(145)에서 역변환되어, 복원된 차분 블록이 생성된다. 복원된 차분 블록은 인터 예측부(120) 또는 인트라 예측부(125)에서 생성된 예측 블록과 합쳐져 복원 블록이 생성될 수 있다. 복원 블록은 인트라 예측부(125) 및 디블록킹 필터(150)에 제공된다.
디블록킹 필터(150)는 부호화 및 복호화 과정에서 발생하는 블록 경계 사이의 왜곡을 제거하기 위해, 복원 블록을 필터링하며, 필터링된 결과는 ALF(Adaptive Loop Filter)(155)에 제공된다. 디블록킹 필터(150)는 DF(Deblocking Filter)라고도 할 수 있다.
ALF(155)는 예측 대상 블록과 최종 복원 블록 사이의 에러를 최소화하기 위해 필터링을 수행한다. ALF(155)는 디블록킹 필터(150)를 통해 필터링된 복원 블록과 현재의 예측 대상 블록을 비교한 값을 기초로 필터링을 수행하며, ALF(155)의 필터 계수 정보는 슬라이스 헤더(slice header)에 실려 부호화 장치로부터 복호화 장치로 전송된다.
메모리(160)는 ALF(155)를 통해 얻어진 최종 복원 블록을 저장할 수 있고, 저장된 최종 복원 블록은 화면 간 예측을 수행하는 인터 예측부(120)에 제공될 수 있다.
본 발명에 따른 단거리 인트라 예측(SDIP: Short Distance Intra Prediction) 부호화의 더욱 구체적인 방법은 도 4 내지 도 10에서 더 상세히 논의된다. 도 4 내지 도 10에서 설명되는 단거리 인트라 예측 단위 부호화 방법의 각 단계는 도 1 및 도 2의 대응하는 구성 내에서 수행될 수 있다.
도 3은 본 발명이 적용되는 비디오 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 3을 참조하면, 상기 비디오 복호화 장치는 엔트로피 복호화부(310), 재정렬부(315), 역양자화부(320), 역변환부(325), 인터 예측부(330), 인트라 예측부(335), 디블록킹 필터(340), ALF(345) 및 메모리(350)를 포함한다.
엔트로피 복호화부(310)는 NAL로부터 압축된 비트 스트림을 수신한다. 엔트로피 복호화부(310)는 수신된 비트 스트림을 엔트로피 복호화하며, 예측 모드, 움직임 벡터 정보 등이 비트 스트림에 포함되는 경우 이를 함께 엔트로피 복호화한다. 엔트로피 복호화된 변환 계수 또는 차분 신호는 재정렬부(315)에 제공된다. 재정렬부(315)는 이를 역스캔(inverse scan)하여 2차원 블록 형태의 변환 계수를 생성한다.
역양자화부(320)에는 엔트로피 복호화 및 재정렬된 변환 계수가 입력되며 역양자화부(320)는 이를 역양자화한다. 역변환부(325)는 역양자화된 변환 계수를 역변환하여 차분 블록을 생성한다.
차분 블록은 인터 예측부(330) 또는 인트라 예측부(335)에서 생성된 예측 블록과 합쳐져 복원 블록이 생성될 수 있다. 즉, 이와 같은 복원 블록의 생성은 가산부에서 수행된다고 할 수 있다. 복원 블록은 인트라 예측부(335) 및 디블록킹 필터(340)에 제공된다.
인터 예측부(330) 및 인트라 예측부(335)의 동작은 각각 비디오 부호화 장치에서의 인터 예측부(120) 및 인트라 예측부(125)의 동작과 동일할 수 있다.
디블록킹 필터(340)는 부호화 및 복호화 과정에서 발생하는 블록 경계 사이의 왜곡을 제거하기 위해, 복원 블록을 필터링하며, 필터링된 결과는 ALF(Adaptive Loop Filter)(345)에 제공된다. ALF(345)는 예측 대상 블록과 최종 복원 블록 사이의 에러를 최소화하기 위해 필터링을 수행한다. 메모리(160)는 ALF(345)를 통해 얻어진 최종 복원 블록을 저장할 수 있고, 저장된 최종 복원 블록은 화면 간 예측을 수행하는 인터 예측부(330)에 제공될 수 있다.
본 발명에 따른 단거리 인트라 예측 단위 복호화의 더욱 구체적인 방법은 도 11에서 더 상세히 논의된다. 도 11에서 설명되는 단거리 인트라 예측 단위 복호화 방법의 각 단계는 도 3의 대응하는 구성 내에서 수행될 수 있다.
도 4는 본 발명의 실시예에 따른 단거리 인트라 예측 단위 부호화 방법을 개략적으로 나타내는 흐름도이다.
이하, 현재 예측되는 대상 블록을 예측 대상 블록이라 하고, 예측 대상 블록에 대해 예측이 수행되어 생성된 블록을 예측 블록이라 한다. 예측 단위(PU: Prediction Unit)는 인트라 예측 및 인터 예측이 수행되는 기본 단위를 말하며, 따라서 예측 대상 블록의 크기는 현재의 예측 단위의 크기와 동일하다.
도 4를 참조하면, 현재 예측 대상 블록에 대한 새로운 예측 단위(PU: Prediction Unit)가 입력된다(S410). 예측 단위는 인트라 예측과 인터 예측을 위한 기본 단위이다. 예측 단위는 부호화 단위(CU: Coding Unit)보다 작거나 같은 블록이며, 반드시 정방형일 필요는 없으며, 직사각형 형태의 블록일 수도 있다. 통상 인트라 예측은 2N*2N 또는 N*N 크기의 예측 단위로 수행된다. 여기서 N은 자연수로서 화소의 수를 나타내며, 2N*2N 및 N*N은 예측 대상 블록의 예측 단위의 크기를 나타낸다.
그러나 본 발명의 실시예에 따른 단거리 인트라 예측(SDIP: Short Distance Intra Prediction) 방법에서는, 인트라 예측의 효율을 높이기 위해 2N*2N의 예측 단위 외에 이를 더 세분화한 예측 단위 크기로써 hN*2N/2N*hN이 사용될 수 있다(여기서 h=1/2임). hN*2N/2N*hN의 크기의 예측 단위가 사용되는 경우, 블록 내의 경계면의 방향성이 보다 잘 반영될 수 있으며, 따라서 결과적으로 예측 오차 신호의 에너지가 감소되어 부호화에 필요한 비트량이 절감되어 부호화 효율이 증가할 수 있다.
도 5는 본 발명의 일 실시예에 따른 예측 단위를 개략적으로 나타내는 개념도이다.
단거리 인트라 예측(SDIP: Short Distance Intra Prediction)이 사용되는 경우, 휘도(luma) 성분의 파티션(partition), 즉 예측 단위의 크기는 2N*2N, N*N, hN*2N 또는 2N*hN이 될 수 있다. 여기서 h=1/2이다.
도 5를 참조하면, 하나의 부호화 단위(510)는 영상의 성질 등에 따라 서로 다른 크기의 예측 단위로 분할될 수 있다. 도 5는 화면 내 인트라 예측을 수행하는 경우를 나타낸 개념도로서, 하나의 부호화 단위(510)가 예측 단위(520)로 분할되는 것을 보여준다. 예측 단위의 크기는 각각 N*N(521), hN*2N(522), 2N*hN(523)가 될 수 있다. N*N 크기의 예측 단위는 예측 비용을 산출하기 위한 계산 중복을 방지하기 위해 최소 부호화 단위인 SCU에서만 예측 단위로 사용될 수도 있다.
예를 들어, 단거리 인트라 예측이 사용되는 경우, 32*32 크기의 부호화 단위는 32*32, 16*16, 8*32, 32*8의 예측 단위로 분할될 수 있다. 32*32 크기 외의 다른 예측 단위 크기의 경우도 동일한 방법을 사용해 복수의 예측 단위로 분할될 수 있다. 따라서 단거리 인트라 예측이 사용되는 경우, 부호화 단위가 비-정방형으로 분할될 수 있다.

다시 도 4를 참조하면, 인트라 예측에 필요한 참조 화소가 생성된다(S420).

도 6은 본 발명의 일 실시예에 따른 현재 예측 대상 블록에 대한 참조 화소를 나타내는 개념도이다.
도 6을 참조하면, 예측 대상 블록(610)에 인접한 좌측 블록의 맨 오른쪽 수직라인상의 화소들(630)과 예측 대상 블록(610)에 인접한 상단 블록의 맨 아래쪽 수평라인상의 화소들(620)이 참조 화소 생성에 사용된다.
예를 들어 예측 대상 블록(610)의 크기가 N*N이고, 예측 대상 블록(610)의 맨 왼쪽 상단의 화소의 좌표가 (0,0)이라 가정하고, x축 기준으로 오른쪽이 양의 방향, y축 기준으로 아래쪽이 양의 방향이라 한다. 이 때, x축의 좌표가 -1이고 y축의 좌표가 0부터 2N-1까지인 2N개의 화소들과 y축의 좌표가 -1이고 x축의 좌표가 0부터 2N-1까지인 2N개의 화소들이 참소 화소로 사용될 수 있다.
참조 화소는 그대로 사용될 수도 있고 AIS(Adaptive Intra Smoothing filter)를 통해 필터링된 후 사용될 수도 있다.
참조 화소가 AIS 필터링되는 경우에 필터 계수는 [1,2,1], [1,1,4,1,1] 중 하나가 사용될 수 있으며, 후자의 필터 계수를 사용하는 필터가 더 급격한(sharp) 경계면을 제공한다.
hN*2N, 2N*hN 크기의 예측 단위가 사용되는 경우에도 참조 화소는 예측 대상 블록에 가장 가까이 인접한 이전 예측 블록들을 이용하여 생성될 수 있다.
예를 들어 예측 대상 블록(610)의 크기가 hN*2N이고, 예측 대상 블록(610)의 맨 왼쪽 상단의 화소의 좌표가 (0,0)이라 가정하고, x축 기준으로 오른쪽이 양의 방향, y축 기준으로 아래쪽이 양의 방향이라 한다. 이 때, x축의 좌표가 -1이고 y축의 좌표가 0부터 4N-1까지인 4N개의 화소들과 y축의 좌표가 -1이고 x축의 좌표가 0부터 2hN-1까지인 2hN개의 화소들이 참소 화소로 사용될 수 있다. 적용 또는 필요에 따라 x축의 좌표가 -1이고 y축의 좌표가 0부터 4N-1까지인 4N개의 화소들과 y축의 좌표가 -1이고 x축의 좌표가 0부터 4N-1까지인 4N개의 화소들이 참소 화소로 사용될 수도 있다.

다시 도 4를 참조하면, 예측 대상 블록에 대한 인트라 예측 모드가 결정된다(S430). 인트라 예측 모드 결정은 예측 단위별로 수행된다. 단거리 인트라 예측이 사용되는 경우 hN*2N/2N*hN 크기의 예측 단위로도 예측 모드 결정이 수행될 수 있다.
예측 모드 결정의 일 실시예로서, 최적의 예측 모드를 결정함에 있어 소요 비트율과 왜곡량의 관계가 고려될 수 있다. 이 때 RDO(율-왜곡 최적화: Rate Distortion Optimization)가 수행되는 ON 상태인지, 수행되지 않는 OFF 상태인지에 따라 예측 모드 결정 방법이 달라질 수 있다.
도 7은 휘도 성분에 대한 인트라 예측 모드의 예측 방향 및 각 예측 방향에 할당된 모드값을 나타내는 개념도이다. 도 7은 복수의 인트라 예측 모드를 도시하며, 각각의 인트라 예측 모드는 서로 다른 예측 방향을 가진다. 또한 각각의 인트라 예측 모드에 할당된 번호는 모드값이라 한다.
도 7을 참조하면, 모드값이 0인 경우 인접 블록의 화소값을 사용하여 수직 방향으로 예측이 수행되며, 모드값이 1인 경우 수평 방향으로 예측이 수행된다. 모드값이 2인 경우는 DC 모드라고도 하며, 현재 예측 대상 블록 내의 화소값의 평균에 의해 예측 블록이 생성된다. 또한 나머지 모드의 경우, 해당 각도에 따라 인접 블록 화소값들을 이용하여 예측이 수행된다.
현재 예측 대상 블록의 인트라 예측 모드는 각각에 대해 서로 다른 모드값이 할당된 복수의 인트라 예측 모드 중에서 결정된다. 예측 단위의 크기에 따른 휘도(luma) 성분에 대한 상기 인트라 예측 모드의 개수는 아래의 표 1과 같다.
[표 1]
Figure PCTKR2012003746-appb-I000001

예를 들어, 도 7을 참조하면 예측 단위의 크기가 4*4인 경우, 모드값이 0 내지 16인 17개의 인트라 예측 모드가 사용될 수 있고, 예측 단위의 크기가 8*8인 경우, 도 7에서 모드값이 0 내지 33인 34개의 인트라 예측 모드가 사용될 수 있다.
단거리 인트라 예측이 사용되는 경우, hN*2N/2N*hN 크기의 블록에 대한 예측 모드의 개수로는 위 표 1에서 2N*2N 블록 크기에 대한 예측 모드의 개수가 사용된다. 예를 들어, 2*8 크기의 블록에 대해서는 8*8 크기의 블록에서와 같이 34개의 예측 모드가 사용될 수 있다.
예측 단위의 크기가 hN*2N/2N*hN일 때에는, N*N일 때보다 방향성이 강하게 나타날 수 있다. 따라서 인트라 예측 모드의 예측 방향이 특정 방향에 가까울수록 인트라 예측 모드 정보를 나타내는 구문 요소값에 더 작은 비트수의 코드 워드(code word)가 할당되도록 모드값이 재배치(reordering)될 수 있다.
영상 부호화 장치는 영상 복호화 장치에 인트라 예측 모드 정보 등 특정 영상 부호화 관련 정보를 전달하기 위해 소정의 구문 요소를 정의할 수 있다. 정의된 구문 요소 값들은 매핑 테이블에 의해 엔트로피 부호화되어 영상 복호화 장치에 전송될 수 있다.
영상 부호화 장치는 인트라 예측 모드 정보가 발생하면, 인트라 예측 모드 정보를 나타내는 특정한 구문 요소값을 생성할 수 있다. 구문 요소값은 매핑 테이블에 의해 특정한 코드 워드로 매핑될 수 있고, 코드 워드를 이용하여 엔트로피 부호화될 수 있다.
특정 구문 요소값의 발생 회수가 다른 구문 요소값보다 많이 발생하는 경우, 엔트로피 부호화 수행시 자주 발생하는 특정 구문 요소값에 더 작은 비트수의 코드 워드를 할당함으로써 엔트로피 부호화에 사용되는 비트수가 감소될 수 있다.
따라서 방향성이 강하게 나타나는 특정 예측 방향에 대한 인트라 예측 모드의 구문 요소값이 더 작은 비트수의 코드 워드에 매핑되면, 현재 예측 대상 블록의 인트라 예측 모드를 부호화하기 위한 비트수가 감소하여 부호화 효율이 증가할 수 있다. 이를 위해 인트라 예측 모드의 모드값이 재배치될 수 있다.
예를 들어, 일 실시예로 예측 단위의 크기가 2N*hN인 경우, 수직 방향성이 강하므로 아래 표 2와 같이 모드값이 재배치될 수 있다.
[표 2]
Figure PCTKR2012003746-appb-I000002

표 2를 참조하면, 재배치 전 모드값은 도 7에 도시된 각 모드값에 대응된다. 각 인트라 예측 모드에 대응하는 코드 워드의 비트수는 인트라 예측 모드의 모드값이 커질수록 커진다고 가정한다.
수직 방향성이 강하므로, 수직 방향에 가까운 예측 방향을 가진 인트라 예측 모드의 발생 회수가 많을 확률이 높다. 따라서 모드값을 재배치하여 수직 방향에 가까운 예측 방향을 가진 인트라 예측 모드에 더 작은 비트수를 가지는 코드 워드가 대응되도록 하면, 부호화를 위한 비트수가 감소될 수 있다.
재배치 전 모드값은 수직 방향에 가까운 순서로 배치되어 있으나, 수직 방향에 가까운 인트라 예측 모드에 대한 코드 워드의 비트수가, 수직 방향에서 멀리 있는 인트라 예측 모드보다 더 클 수 있다. 재배치 후 인트라 예측 모드는 수직 방향에 가까울수록 작은 모드값을 가지므로, 더 작은 비트수를 갖는 코드 워드에 매핑될 수 있다. 따라서 부호화를 위한 비트수가 감소될 수 있다.
만일, 예측 단위의 크기가 hN*2N이라면, 수평 방향성이 강하므로 아래 표 3과 같이 모드값이 재배치될 수 있다.
[표 3]
Figure PCTKR2012003746-appb-I000003

표 2에서 상술한 바와 같은 원리에 의해 표 3의 경우에도 부호화를 위한 비트수가 감소될 수 있다.
재배치되는 모드값과 코드 워드 사이의 매핑 테이블은 룩업 테이블(LUT: Look Up Table) 기반으로 구현되어 부호화 장치 및 복호화 장치에 저장되어 있을 수 있다. 또한 매핑 테이블의 배열 순서를 나타내는 플래그 정보, 즉 모드값 재배치에 관한 정보가 프레임의 헤더에 포함되어 전송될 수도 있다.

또한 예측 단위의 크기가 hN*2N/2N*hN일 때에는, N*N일 때보다 방향성이 강하게 나타날 수 있으므로 모든 인트라 예측 모드를 사용하여 현재 예측 대상 블록의 예측 모드를 결정할 필요는 없다. 따라서, 예측 단위의 크기로 hN*2N/2N*hN가 사용되는 경우, 예측 모드의 개수가 일정한 최대 모드 개수 이하로 제한될 수 있다. 예측 모드의 개수가 제한되는 경우에는 예측 모드 개수 제한에 관한 정보가 SPS(Sequence Parameter Set) 또는 픽쳐 단위로 전송될 수 있다. 여기서, SPS란 시퀀스 전체의 부호화에 걸쳐 있는 정보가 포함되어 있는 헤더(header) 정보를 말한다.
예를 들어, hN*2N/2N*hN 크기의 예측 단위를 갖는 예측 대상 블록은 특정 방향에 편중된 인트라 예측 모드를 가질 가능성이 크기 때문에 특정 방향에 편중된 인트라 예측 모드에 더 작은 모드값이 할당될 수 있다. 예를 들어, 현재 예측 단위에서 가용한 인트라 예측 모드의 수가 11개로 제한되는 경우라면, 전체 인트라 예측 모드를 모두 사용하지 않고 한쪽 방향에 대해 일정한 방향성을 가지는 3개 또는 5개의 인트라 예측 모드를 사용할 수 있다. 선택 가능한 인트라 예측 모드의 수를 제한함으로써 현재 예측 대상 블록의 인트라 예측 모드를 부호화하기 위한 비트수가 감소하여 부호화 효율이 증가할 수 있다.
한쪽 방향의 모드의 개수가 제한되는 경우의 예로써, 수직 방향성이 강한 경우에는 예측 대상 블록 상단 방향의 인트라 예측 모드(710)는 0, 21, 22번의 모드값을 갖는 모드 또는 0, 21, 22, 11, 22번의 모드값을 갖는 모드로 제한될 수 있다. 한쪽 방향의 모드의 개수가 제한되는 경우의 다른 예로써, 수평 방향성이 강한 경우에는 예측 대상 블록 좌측 방향의 인트라 예측 모드(720)가 1, 29, 39번의 모드값을 갖는 모드 또는 1, 29, 39, 15, 16번의 모드값을 갖는 모드로 제한될 수 있다.
본 발명의 일 실시예에 따르면, 예측 단위의 크기가 2N*hN일 때, 전술한 바와 같이 인트라 예측 모드의 개수가 제한된 경우, 모드값이 아래 표 4와 같이 재배치(reordering)될 수 있다.
[표 4]
Figure PCTKR2012003746-appb-I000004

본 발명의 다른 실시예로써 예측 단위의 크기가 hN*2N일 때, 상기와 같이 인트라 예측 모드의 개수가 제한된 경우, 모드값이 아래 표 5와 같이 재배치(reordering)될 수 있다.
[표 5]
Figure PCTKR2012003746-appb-I000005

인트라 예측 모드에는 DC 모드나 플래너(planar) 모드가 포함될 수 있다.
DC 모드는 방향성을 갖지 않는 모드이며, DC 모드에서는 현재 예측 대상 블록 내의 화소값의 평균에 의해 예측 블록이 생성된다. 예측 모드가 3개로 제한되는 경우, DC 모드는 3번 또는 2번에 매핑(mapping)될 수 있고, 예측 모드가 5개로 제한되는 경우에는 DC 모드가 5번 또는 2번에 매핑될 수 있다.
플래너 모드는 비방향성 예측 모드로써 수평, 수직 방향 등으로 보간(interpolation)을 수행하여 평균값을 화소값으로 생성할 수 있는 모드이다. 플래너 모드가 사용되는 경우, DC 모드는 사용되지 않는다. 플래너 모드가 사용되는 경우 일 실시예로 플래너 플래그(Planar_flag)에 1의 값이 부여되고 상기 플래너 플래그 정보가 복호화기로 전송될 수 있다.
예측 단위의 형태에 따라, 예측 대상 블록 상단 방향의 인트라 예측 모드(710) 또는 예측 대상 블록 좌측 방향의 인트라 예측 모드(720) 중 한쪽 방향의 인트라 예측 모드는 예측에 사용되지 않을 수 있다.
예를 들어, 예측 단위의 크기가 2N*hN일 때, 수평 방향의 예측 모드가 사용되지 않을 수 있고(OFF), 이 경우 좌측 방향의 인트라 예측 모드(720)는 사용되지 않을 수 있다. 마찬가지로 예측 단위의 크기가 hN*2N일 때, 수직 방향의 예측 모드가 사용되지 않을 수 있고(OFF), 이 경우 상단 방향의 인트라 예측 모드(710)는 사용되지 않을 수 있다. 한 쪽 방향의 예측 모드가 사용되지 않는 경우, 이러한 정보가 복호화 장치로 전송될 수 있다.
한 쪽 방향의 예측 모드가 사용되지 않는 경우에는 다른 방향의 모드값이 순서대로 재배치될 수 있다. 예를 들어, 본 발명의 일 실시예로 예측 단위의 크기가 2N*hN일 때, 모드값은 아래 표 6과 같이 재배치(reordering)될 수 있다.
[표 6]
Figure PCTKR2012003746-appb-I000006

본 발명의 다른 실시예로서 예측 단위의 크기가 hN*2N일 때, 모드값은 아래 표 7과 같이 재배치(reordering)될 수 있다.
[표 7]
Figure PCTKR2012003746-appb-I000007

한 쪽 방향의 예측 모드가 사용되지 않는 경우, 현재 예측 대상 블록의 인트라 예측 모드를 부호화하기 위한 비트수가 감소하여 부호화 효율이 증가할 수 있다.
DC 모드의 경우, 예측 효율을 높이기 위해 가장 위쪽의 예측 대상 화소와 가장 왼쪽의 예측 대상 화소들이 필터링될 수 있다. 필터링의 강도는 블록 크기가 작을수록 강하게 적용될 수 있다. 현재 예측 대상 블록의 나머지 내부 화소들은 필터링되지 않을 수 있다.
DC 모드 대신 플래너 모드가 사용될 수도 있으나, 단거리 인트라 예측의 경우 플래너 모드는 사용되지 않을 수 있다.
색차(chroma) 성분에 대한 예측 단위의 크기도 N*N, hN*2N 또는 2N*hN가 될 수 있다.

다시 도 4를 참조하면, 참조 화소 및 현재 예측 대상 블록의 인트라 예측 모드를 사용하여 예측 대상 블록에 대한 예측 블록이 생성된다(S440). 예측 블록은 참조 화소 보간 방법을 통해서 참조 화소와 예측될 화소의 거리에 따라 예측되어 생성될 수 있다.
예측 대상 블록의 화소값과 예측 블록의 화소값이 화소 단위로 차분되어 잔차(Residual) 신호, 즉 차분 블록이 생성된다(S450). 차분 블록은 예측 대상 블록과 예측 블록의 차이값인 잔차값(residual)을 가진다.
차분 블록, 즉 잔차(Residual) 신호는 변환 커널(kernel)을 적용하여 변환 부호화된다(S460). 변환 부호화 커널의 크기는 2*2, 4*4, 8*8, 16*16, 32*32 또는 64*64가 될 수 있다. 변환에 의해 변환 계수가 생성되며, 변환 계수는 2차원의 블록 형태이다. 예를 들어 n*n 블록에 대한 변환 계수 C는 다음 수학식에 의해 계산될 수 있다.
[수학식 1]
C(n,n)=T(n,n) x B(n,n) x T(n,n)T

여기서, C(n,n)은 n*n 크기의 변환 계수에 대한 행렬이고, T(n,n)은 n*n 크기의 변환 커널 행렬이고, B(n,n)은 n*n 크기의 차분 블록에 대한 행렬이다.
m*n 또는 n*m 크기의 차분 블록에 대한 변환 계수 C는 두 가지 방법으로 계산될 수 있다. 여기서, m=hN, n=2N, h=1/2이다. 하나는 m*n 또는 n*m 크기의 차분 블록을 4개의 m*m 블록으로 분할한 후 각각에 대해 변환 커널을 적용하여 변환 계수를 생성하는 방법이다. 다른 하나의 방법은 m*n 또는 n*m 크기의 차분 블록 자체에 대해 변환 커널을 적용하여 변환 계수를 생성하는 방법이다.
두 가지 방법 중 어떤 방법이 사용되었는지 여부는 소정의 플래그 정보를 통해 전송될 수 있다. 예를 들어 차분 블록의 크기가 m*n일 때 flag=1이면, m*n 블록이 4개의 정방형의 m*m 크기의 하위 블록(sub-block)으로 나뉘어졌음을, flag=0이면 m*n 또는 n*m크기의 차분 블록이 그대로 사용됨을 의미할 수 있다.
도 8은 본 발명의 실시예에 따른 n*m 및 m*n 크기의 변환 계수 C를 나타내는 개념도이다. 블록(810)은 C(m,n) 행렬로 나타내어지는 n*m 크기의 변환 계수 C를 나타내며, 블록(820)은 C(n,m) 행렬로 나타내어지는 m*n 크기의 변환 계수 C를 나타낸다. 예를 들어, n*m 크기의 변환 계수 블록은 폭(width), 높이(height)가 각각 n, m이 되므로 m행 n열의 행렬 C(m,n)으로 나타내어질 수 있다. 도 8을 참조하면, 블록(810, 820) 모두 m*m 크기의 정방형의 하위 블록으로 분할될 수 있음이 확인된다.
전자의 경우가 먼저 고려된다. (flag=1)
m*n 또는 n*m 크기를 갖는 직사각형(rectangular) 형태의 차분 블록이 m*m 크기를 갖는 4개의 정방형(square) 하위 블록으로 분할될 수 있다. 하위 블록 각각에 대해 m*m 크기의 변환 커널이 적용되어 m*m개의 변환 계수가 생성된다. 이와 같은 과정이 4회 반복되면 전체 차분 블록에 대한 변환 계수가 얻어진다.
상기 변환은 아래의 수학식 2에 의해 표현될 수 있다.
[수학식 2]
C(m,m)=T(m,m) x B(m,m) x T(m,m)T

여기서, C(m,m)은 m*m 크기의 변환 계수에 대한 행렬이고, T(m,m)은 m*m 크기의 변환 커널 행렬이고, B(m,m)은 m*m 크기의 하위 블록에 대한 행렬이다.
다음으로, 후자의 경우가 고려된다. (flag=0)
n*m 크기의 차분 블록(B(m,n))에 대해 수평 방향으로는 n*n 크기의 변환 커널을 적용하고, 수직 방향으로 m*m 크기의 변환 커널을 적용하여 n*m개의 변환 계수가 생성될 수 있다. m*n 크기의 차분 블록(B(n,m))에 대해 수평 방향으로는 m*m 크기의 변환 커널을 적용하고, 수직 방향으로 n*n 크기의 변환 커널을 적용하여 m*n개의 변환 계수가 생성될 수 있다.
상기 변환은 다음 수학식에 의해 표현될 수 있다.
[수학식 3]
C(m,n)=T(m,m) x B(m,n) x T(n,n)T
C(n,m)=T(n,n) x B(n,m) x T(m,m)T

여기서, C(m,n)은 n*m 크기의 변환 계수에 대한 행렬이고, B(m,n)은 n*m 크기의 차분 블록에 대한 행렬이다. T(m,m)은 m*m 크기의 변환 커널 행렬이고, T(n,n)은 n*n 크기의 변환 커널 행렬이다. 또한 C(n,m)은 m*n 크기의 변환 계수에 대한 행렬이고, B(n,m)은 m*n 크기의 차분 블록에 대한 행렬이다.
상기 변환에서 적용 또는 필요에 따라 전자에서 flag=0, 후자에서 flag=1이 될 수도 있다.

다시 도 4를 참조하면, 생성된 변환 계수는 양자화된다(S470).
차분 블록과 변환 계수 중 어떤 것이 전송되는 지는 RDO를 통해 결정될 수 있다. 예측이 잘 된 경우에는 변환 부호화 없이 차분 블록, 즉 잔차 신호가 그대로 전송될 수 있다. 변환 부호화 전/후의 비용 함수(cost function)가 비교될 수 있으며, 비용이 최소화되는 방법이 선택된다. 이 때, 예측 대상 블록에 대해 전송되는 신호의 타입(차분 블록(잔차 신호) 또는 변환 계수)이 복호화 장치로 전송될 수 있다.
변환 계수가 스캔(scan)된다(S480). 스캔에 의해 양자화된 2차원의 블록 형태의 변환 계수가 1차원의 벡터 형태의 변환 계수로 변경될 수 있다.
hN*2N/2N*hN 크기를 가진 직사각형 형태의 차분 블록이 4개의 hN*hN 정방형 하위 블록으로 나누어져 변환된 경우, 변환계수 스캔순서는 기존의 방법과 같이 지그재그 또는 수평, 수직방향일 수 있다.
도 9는 2N*hN 크기를 가진 2차원 블록 형태의 변환 계수가 스캔되는 방법을 개략적으로 나타내는 개념도이다.
2N*hN 크기를 가진 블록, 즉 수평 방향의 블록은 수평 성분의 텍스쳐(texture)를 포함할 가능성이 크다. 따라서 변환 계수는 수직 방향으로 분포될 가능성이 높으므로, 스캔 순서는 도 9의 방법(910)에서 나타나는 순서가 되고, 선택적으로 방법(920, 930, 930)이 적용될 수도 있다. 스캔 방법은 RDO 기타 다른 방법을 사용하여 선택될 수 있고, 스캔 방법에 관한 정보는 복호화기로 전송될 수 있다.
도 10은 hN*2N 크기를 가진 2차원 블록 형태의 변환 계수가 스캔되는 방법을 개략적으로 나타내는 개념도이다.
hN*2N 크기를 가진 블록, 즉 수직 방향의 블록은 수직 성분의 텍스쳐(texture)를 포함할 가능성이 크다. 따라서 변환 계수는 수평 방향으로 분포될 가능성이 높으므로, 스캔 순서는 도 10의 방법(1010)에서 나타나는 순서가 되고, 선택적으로 방법(1020, 1030, 1030)이 적용될 수도 있다. 스캔 방법은 RDO 기타 다른 방법을 사용하여 선택될 수 있고, 스캔 방법에 관한 정보는 복호화기로 전송될 수 있다.

다시 도 4를 참조하면, 스캔된 변환 계수와 현재 예측 대상 블록의 인트라 예측 모드가 엔트로피 부호화된다(S490). 부호화된 정보들은 압축된 비트 스트림을 형성하여 네트워크 추상 계층(NAL: Network Abstraction Layer)을 통해 전송되거나 저장될 수 있다.
도 11은 본 발명의 실시예에 따른 단거리 인트라 예측 단위 복호화 방법을 개략적으로 나타내는 흐름도이다. 이하, 현재 복호화되는 대상 블록을 복호화 대상 블록이라 한다.
도 11을 참조하면, 수신된 비트 스트림이 엔트로피 복호화된다(S1110). 이 때, VLC(variable length coding) 테이블로부터 블록 타입이 얻어지고, 현재 복호화 대상 블록의 인트라 예측 모드가 산출된다. 수신된 비트 스트림에 복호화에 필요한 보조 정보(side information)가 포함되는 경우 이들이 함께 엔트로피 복호화될 수도 있다.
또한 현재 복호화 대상 블록에 대해 전송되어 온 신호가 차분 블록에 대한 잔차 신호인지, 아니면 변환 계수인지에 관한 정보가 얻어진다. 그리고 현재 복호화 대상 블록에 대해, 차분 블록에 대한 잔차 신호나 1차원 벡터 형태의 변환 계수가 얻어진다.
엔트로피 복호화된 잔차 신호나 변환 계수를 역스캔(inverse scan)하여 2차원 블록을 생성한다(S1120). 이 때, 잔차 신호의 경우 차분 블록이 생성되고, 변환 계수의 경우, 2차원 블록 형태의 변환 계수가 생성된다.
변환 계수가 생성된 경우 역양자화가 수행된다(S1130). 역양자화된 변환 계수는 역변환되고, 역변환을 통해 잔차(residual) 신호에 대한 차분 블록이 생성된다(S1140). n*n 크기의 블록에 대한 역변환은 다음 수학식에 의해 표현될 수 있다.
[수학식 4]
B(n,n)=T(n,n) x C(n,n) x T(n,n)T

여기서, C(n,n)은 n*n 크기의 변환 계수에 대한 행렬이고, T(n,n)은 n*n 크기의 변환 커널 행렬이고, B(n,n)은 n*n 크기의 차분 블록에 대한 행렬이다. 상기 수학식과 같은 역변환을 통해 차분 블록이 얻어진다.
예측 단위의 크기가 hN*2N/2N*hN인 경우, 변환 부호화가 어떤 방법으로 수행되었는지 알려주는 정보, 즉 플래그(flag) 값에 따라 차분 블록이 얻어진다.
일 실시예로, flag=1인 경우 m*n 또는 n*m 크기의 블록이 4개의 정방형의 m*m 크기의 하위 블록(sub-block)으로 나뉘어졌음을 의미하고, flag=0인 경우 m*n 또는 n*m 크기의 블록이 그대로 사용됨을 의미한다.
flag=1, 즉 m*m(m=hN) 크기의 하위 블록(sub-block) 단위의 변환인 경우, 우선 m*n 또는 n*m 크기의 블록이 4개의 정방형의 m*m(m=hN) 크기의 하위 블록(sub-block)으로 나뉘어진다. 하위 블록 각각에 대해서는 m*m 크기의 변환 커널이 적용되어 m*m 크기의 차분 블록이 생성된다. 이와 같은 과정이 4회 반복되면 전체 차분 블록이 얻어진다.
상기 역변환은 다음 수학식에 의해 표현될 수 있다.
[수학식 5]
B(m,m)=T(m,m) x C(m,m) x T(m,m)T

여기서, C(m,m)은 m*m 크기의 변환 계수에 대한 행렬이고, T(m,m)은 m*m 크기의 변환 커널 행렬이고, B(m,m)은 m*m 크기의 하위 블록에 대한 행렬이다.
다음으로, flag=0일 때에는 m*n 또는 n*m 크기의 블록이 그대로 사용된다.
n*m 크기의 변환 계수(C(m,n))에 대해 수평 방향으로는 n*n 크기의 변환 커널을 적용하고, 수직 방향으로 m*m 크기의 변환 커널을 적용하여 n*m 크기의 차분 블록이 생성될 수 있다. m*n 크기의 변환 계수(C(n,m))에 대해 수평 방향으로는 m*m 크기의 변환 커널을 적용하고, 수직 방향으로 n*n 크기의 변환 커널을 적용하여 m*n 크기의 차분 블록이 생성될 수 있다.
상기 변환은 다음 수학식에 의해 표현될 수 있다.
[수학식 6]
B(m,n)=T(m,m) x C(m,n) x T(n,n)T
B(n,m)=T(n,n) x C(n,m) x T(m,m)T

여기서, C(m,n)은 n*m 크기의 변환 계수에 대한 행렬이고, B(m,n)은 n*m 크기의 차분 블록에 대한 행렬이다. T(m,m)은 m*m 크기의 변환 커널 행렬이고, T(n,n)은 n*n 크기의 변환 커널 행렬이다. 또한 C(n,m)은 m*n 크기의 변환 계수에 대한 행렬이고, B(n,m)은 m*n 크기의 차분 블록에 대한 행렬이다.
상기 역변환에서 적용 또는 필요에 따라 플래그의 0과 1의 값은 바뀌어서 사용될 수도 있다.
다시 도 11을 참조하면, 참조 화소가 생성된다(S1150).
부호화 단계에서와 마찬가지로, 현재 복호화 대상 블록에 인접한, 이미 복호화되어 복원된 좌측 블록의 맨 오른쪽 수직라인상의 화소들과 복호화 대상 블록에 인접한 상단 블록의 맨 아래쪽 수평라인상의 화소들이 참조 화소 생성에 사용된다.
참조 화소 생성시, 부호화기 측에서 사용된 참조 화소 생성 방법에 따라, 부호화기 측에서 AIS 필터링이 적용된 경우에는 복호화기 측에서도 AIS(Adaptive Intra Smoothing) 필터링이 수행된다. 또한 필터 타입 정보를 이용하여 [1,2,1]과 [1,1,4,1,1] 중 하나의 필터 계수가 선택된다.
참조 화소 및 현재 복호화 대상 블록의 엔트로피 복호화된 예측 모드를 사용하여 복호화 대상 블록에 대한 예측 블록이 생성된다(S1160).
도 7에서 상술한 바와 같이, 영상 부호화 장치는 인트라 예측 모드 정보가 발생하면, 인트라 예측 모드 정보를 나타내는 특정한 구문 요소값을 생성할 수 있다. 구문 요소값은 매핑 테이블에 의해 특정한 코드 워드로 매핑될 수 있고, 코드 워드를 이용하여 엔트로피 부호화될 수 있다.
특정 구문 요소값의 발생 회수가 다른 구문 요소값보다 많은 경우, 엔트로피 부호화 수행시 자주 발생하는 특정 구문 요소값에 더 작은 비트수의 코드 워드를 할당함으로써 엔트로피 부호화에 사용되는 비트수가 감소되도록 할 수 있다.
따라서 부호화 장치는, 엔트로피 부호화에 사용되는 비트수를 감소시키기 위해 단거리 인트라 예측의 예측 모드 개수를 제한되거나, 한쪽 방향의 예측 모드를 사용하지 않거나, 예측 모드를 재배치하는 등 예측 모드를 제한할 수 있다.
제한된 모드값과 코드 워드 사이의 매핑 테이블은 룩업 테이블(LUT: Look Up Table) 기반으로 구현되어 부호화 장치 및 복호화 장치에 저장되어 있을 수 있다. 또한 매핑 테이블의 배열 순서를 나타내는 플래그 정보, 즉 모드값 재배치에 관한 정보가 프레임의 헤더에 포함되어 전송될 수도 있다.
부호화 장치가 인트라 예측 모드를 제한한 경우, 복호화 장치는 전송된 플래그 정보 또는 부호화 장치 자체에 저장된 룩업 테이블을 이용하여 매핑 테이블을 형성할 수 있다. 복호화 장치는 이를 이용하여 복호화 대상 블록에 대한 예측 모드를 결정할 수 있다. 본 발명의 일 실시예로 부호화 장치와 역순으로 모드값이 재배치될 수 있다.
예측 블록의 생성 과정은 부호화기 측에서 예측 모드 결정 및 예측 블록 생성에 사용된 과정과 동일하다.
예측 블록의 화소값과 차분 블록의 화소값이 화소 단위로 더해져서 재생된 블록, 즉 복원 블록이 생성된다(S1170).
상기와 같이 2N*2N 크기 외에 더 세분화된 hN*2N, 2N*hN 크기의 예측 단위로 예측이 수행되는 경우, 인트라 예측의 효율이 높아진다. 또한 hN*2N, 2N*hN 크기의 예측 단위를 갖는 블록이 사용되는 경우, 예측 대상 블록 내의 경계면의 방향성이 보다 잘 반영될 수 있다. 따라서, 결과적으로 예측 오차 신호의 에너지가 감소되어 전송 비트량이 절감될 수 있다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로써 흐름도 또는 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 병렬적으로 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도 또는 흐름도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
이상에서 본 발명은 실시예를 참조하여 설명되었으나, 상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합이 기술될 수는 없지만, 당해 기술 분야에서 통상의 지식을 가진 당업자는 본 발명의 사상에서 벗어나지 않는 범위 내에서 본 발명에 대한 다양한 변경 또는 수정이 가능함을 이해할 수 있을 것이다.

Claims (22)

  1. 제1 예측 단위가 복수의 제2 예측 단위로 더 분할되고 상기 제2 예측 단위의 형태를 기초로 재배치된 인트라 예측 모드 매핑 테이블을 이용하여 상기 제2 예측 단위의 인트라 예측 모드를 결정하는 단계; 및
    상기 결정된 제2 예측 단위의 인트라 예측 모드를 기초로 상기 제2 예측 단위의 예측 블록을 생성하는 단계를 포함하는 단거리 인트라 예측 단위 복호화 방법.
  2. 제 1항에 있어서,
    상기 제2 예측 단위의 크기는 N*N, hN*2N 또는 2N*hN이고, 상기 N은 자연수로서 화소(pixel)의 수를 나타내며, 상기 h는 1/2인 단거리 인트라 예측 단위 복호화 방법.
  3. 제 1항에 있어서,
    상기 매핑 테이블은, 상기 인트라 예측 모드의 예측 방향이 특정 방향에 가까울 수록 상기 인트라 예측 모드에 더 작은 비트수의 코드 워드(code word)가 할당되도록 재배치된 것을 특징으로 하는 단거리 인트라 예측 단위 복호화 방법.
  4. 제 3항에 있어서,
    상기 특정 방향은 상기 제2 예측 단위의 크기가 2N*hN일 때 수직 방향이고, 상기 제2 예측 단위의 크기가 hN*2N일 때 수평 방향인 단거리 인트라 예측 단위 복호화 방법.
  5. 제 1항에 있어서,
    상기 매핑 테이블은, 부호화 장치로부터 입력된 플래그 정보 또는 복호화 장치에 저장된 룩업 테이블(LUT: Look Up Table)에 의해 형성되는 것을 특징으로 하는 인트라 예측 단위 복호화 방법.
  6. 제 1항에 있어서,
    상기 제2 예측 단위의 형태에 따라 상기 제2 예측 단위 상단 방향의 인트라 예측 모드 및 상기 제2 예측 단위 좌측 방향의 인트라 예측 모드 중 한쪽 방향의 인트라 예측 모드만이 사용되는 단거리 인트라 예측 단위 복호화 방법.
  7. 제 1항에 있어서,
    상기 인트라 예측 모드의 개수는 일정한 최대 모드 개수 이하로 제한되는 단거리 인트라 예측 단위 복호화 방법.
  8. 제 1항에 있어서,
    부호화 장치로부터 입력된 차분(residual) 신호에 대한 변환 계수를 상기 제2 예측 단위의 형태를 기초로 지그 재그 방향, 수형 방향, 수직 방향 중 적어도 하나의 방법을 사용하여 역스캔하는 단계를 더 포함하는 단거리 인트라 예측 단위 복호화 방법.
  9. 제 8항에 있어서,
    상기 역스캔 방법은, 상기 제2 예측 단위의 크기가 2N*hN일 때 수직 방향이고, 상기 제2 예측 단위의 크기가 hN*2N일 때 수평 방향인 단거리 인트라 예측 단위 복호화 방법.
  10. 제 8항에 있어서,
    상기 역스캔된 변환 계수에 대해 2*2, 4*4, 8*8, 16*16, 32*32 또는 64*64 크기의 변환 커널(kernel)을 적용하여 역변환을 수행하는 단계를 더 포함하는 단거리 인트라 예측 단위 복호화 방법.
  11. 제 10항에 있어서,
    상기 역변환을 수행하는 단계는,
    상기 변환 계수를 4개의 정방형의 하위 블록으로 분할하는 단계; 및
    상기 하위 블록 각각에 대해 변환 커널을 적용하여 역변환하는 단계를 포함하는 단거리 인트라 예측 단위 복호화 방법.
  12. 제1 예측 단위가 복수의 제2 예측 단위로 더 분할되고 상기 제2 예측 단위의 형태를 기초로 재배치된 인트라 예측 모드 매핑 테이블을 이용하여 상기 제2 예측 단위의 인트라 예측 모드를 결정하는 인트라 예측 모드 결정부; 및
    상기 결정된 제2 예측 단위의 인트라 예측 모드를 기초로 상기 제2 예측 단위의 예측 블록을 생성하는 예측 블록 생성부를 포함하는 단거리 인트라 예측 단위 복호화 장치.
  13. 제 12항에 있어서,
    상기 제2 예측 단위의 크기는 N*N, hN*2N 또는 2N*hN이고, 상기 N은 자연수로서 화소(pixel)의 수를 나타내며, 상기 h는 1/2인 단거리 인트라 예측 단위 복호화 장치.
  14. 제 12항에 있어서,
    상기 매핑 테이블은, 상기 인트라 예측 모드의 예측 방향이 특정 방향에 가까울 수록 상기 인트라 예측 모드에 더 작은 비트수의 코드 워드(code word)가 할당되도록 재배치된 것을 특징으로 하는 단거리 인트라 예측 단위 복호화 장치.
  15. 제 14항에 있어서,
    상기 특정 방향은 상기 제2 예측 단위의 크기가 2N*hN일 때 수직 방향이고, 상기 제2 예측 단위의 크기가 hN*2N일 때 수평 방향인 단거리 인트라 예측 단위 복호화 장치.
  16. 제 12항에 있어서,
    상기 매핑 테이블은, 부호화 장치로부터 입력된 플래그 정보 또는 복호화 장치에 저장된 룩업 테이블(LUT: Look Up Table)에 의해 형성되는 것을 특징으로 하는 인트라 예측 단위 복호화 장치.
  17. 제 12항에 있어서,
    상기 제2 예측 단위의 형태에 따라 상기 제2 예측 단위 상단 방향의 인트라 예측 모드 및 상기 제2 예측 단위 좌측 방향의 인트라 예측 모드 중 한쪽 방향의 인트라 예측 모드만이 사용되는 단거리 인트라 예측 단위 복호화 장치.
  18. 제 12항에 있어서,
    상기 인트라 예측 모드의 개수는 일정한 최대 모드 개수 이하로 제한되는 단거리 인트라 예측 단위 복호화 장치.
  19. 제 12항에 있어서,
    부호화 장치로부터 입력된 차분(residual) 신호에 대한 변환 계수를 상기 제2 예측 단위의 형태를 기초로 지그 재그 방향, 수형 방향, 수직 방향 중 적어도 하나의 방법을 사용하여 역스캔하는 역스캔부를 더 포함하는 단거리 인트라 예측 단위 복호화 장치.
  20. 제 19항에 있어서,
    상기 역스캔 방법은, 상기 제2 예측 단위의 크기가 2N*hN일 때 수직 방향이고, 상기 제2 예측 단위의 크기가 hN*2N일 때 수평 방향인 단거리 인트라 예측 단위 복호화 장치.
  21. 제 19항에 있어서,
    상기 역스캔된 변환 계수에 대해 2*2, 4*4, 8*8, 16*16, 32*32 또는 64*64 크기의 변환 커널(kernel)을 적용하여 역변환을 수행하는 역변환부를 더 포함하는 단거리 인트라 예측 단위 복호화 장치.
  22. 제 21항에 있어서,
    상기 역변환부는 상기 변환 계수를 4개의 정방형의 하위 블록으로 분할하고, 상기 하위 블록 각각에 대해 변환 커널을 적용하여 역변환하는 단거리 인트라 예측 단위 복호화 장치.
PCT/KR2012/003746 2011-05-20 2012-05-14 단거리 인트라 예측 단위 복호화 방법 및 복호화 장치 WO2012161445A2 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20110048129 2011-05-20
KR10-2011-0048129 2011-05-20
KR10-2011-0065209 2011-06-30
KR1020110065209A KR20130029130A (ko) 2011-05-20 2011-06-30 단거리 인트라 예측 단위 복호화 방법 및 복호화 장치

Publications (2)

Publication Number Publication Date
WO2012161445A2 true WO2012161445A2 (ko) 2012-11-29
WO2012161445A3 WO2012161445A3 (ko) 2013-01-17

Family

ID=47217852

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/003746 WO2012161445A2 (ko) 2011-05-20 2012-05-14 단거리 인트라 예측 단위 복호화 방법 및 복호화 장치

Country Status (1)

Country Link
WO (1) WO2012161445A2 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015057033A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 3d 비디오 부호화/복호화 방법 및 장치
WO2017105141A1 (ko) * 2015-12-17 2017-06-22 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
CN109845256A (zh) * 2016-10-14 2019-06-04 世宗大学校产学协力团 影像编码方法/装置、影像解码方法/装置以及保存有比特流的记录介质
WO2019194440A1 (ko) * 2018-04-02 2019-10-10 엘지전자 주식회사 인트라 예측 모드에 대한 룩업 테이블을 이용한 영상 코딩 방법 및 그 장치
CN111373749A (zh) * 2017-11-21 2020-07-03 交互数字Vc控股公司 视频编码和解码中的低复杂度双向帧内预测的方法和装置
US10863197B2 (en) 2016-12-23 2020-12-08 Huawei Technologies Co., Ltd. Intra-prediction apparatus for extending a set of predetermined directional intra-prediction modes
US10911776B2 (en) 2016-12-23 2021-02-02 Huawei Technologies Co., Ltd. Encoding apparatus for signaling an extension directional intra-prediction mode within a set of directional intra-prediction modes
US11025908B2 (en) 2016-12-23 2021-06-01 Huawei Technologies Co., Ltd. Intra-prediction apparatus for removing a directional intra-prediction mode from a set of predetermined directional intra-prediction modes

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100037180A (ko) * 2008-10-01 2010-04-09 에스케이 텔레콤주식회사 영상 부호화/복호화 방법 및 장치
KR20110018188A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20110018189A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100037180A (ko) * 2008-10-01 2010-04-09 에스케이 텔레콤주식회사 영상 부호화/복호화 방법 및 장치
KR20110018188A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20110018189A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015057033A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 3d 비디오 부호화/복호화 방법 및 장치
WO2017105141A1 (ko) * 2015-12-17 2017-06-22 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
US10742974B2 (en) 2015-12-17 2020-08-11 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device thereof
CN109845256B (zh) * 2016-10-14 2023-09-01 世宗大学校产学协力团 影像编码方法/装置、影像解码方法/装置以及保存有比特流的记录介质
CN109845256A (zh) * 2016-10-14 2019-06-04 世宗大学校产学协力团 影像编码方法/装置、影像解码方法/装置以及保存有比特流的记录介质
US11659174B2 (en) 2016-10-14 2023-05-23 Industry Academy Cooperation Foundation Of Sejong University Image encoding method/device, image decoding method/device and recording medium having bitstream stored therein
US10863197B2 (en) 2016-12-23 2020-12-08 Huawei Technologies Co., Ltd. Intra-prediction apparatus for extending a set of predetermined directional intra-prediction modes
US10911776B2 (en) 2016-12-23 2021-02-02 Huawei Technologies Co., Ltd. Encoding apparatus for signaling an extension directional intra-prediction mode within a set of directional intra-prediction modes
US11025908B2 (en) 2016-12-23 2021-06-01 Huawei Technologies Co., Ltd. Intra-prediction apparatus for removing a directional intra-prediction mode from a set of predetermined directional intra-prediction modes
US11716466B2 (en) 2016-12-23 2023-08-01 Huawei Technologies Co., Ltd. Intra-prediction apparatus for removing a directional intra-prediction mode from a set of predetermined directional intra-prediction modes
US11343537B2 (en) 2016-12-23 2022-05-24 Huawei Technologies Co., Ltd. Intra-prediction apparatus for extending a set of predetermined directional intra-prediction modes
US11483586B2 (en) 2016-12-23 2022-10-25 Huawei Technologies Co., Ltd. Encoding apparatus for signaling an extension directional intra-prediction mode within a set of directional intra-prediction modes
CN111373749A (zh) * 2017-11-21 2020-07-03 交互数字Vc控股公司 视频编码和解码中的低复杂度双向帧内预测的方法和装置
WO2019194440A1 (ko) * 2018-04-02 2019-10-10 엘지전자 주식회사 인트라 예측 모드에 대한 룩업 테이블을 이용한 영상 코딩 방법 및 그 장치
US11303929B2 (en) 2018-04-02 2022-04-12 Lg Electronics Inc. Image coding method using lookup table for intra prediction mode and apparatus therefor

Also Published As

Publication number Publication date
WO2012161445A3 (ko) 2013-01-17

Similar Documents

Publication Publication Date Title
US10880559B2 (en) Method for decoding chroma image using luma quantization
US10205944B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image
US9451279B2 (en) Method for decoding a moving picture
US9565446B2 (en) Apparatus for encoding a moving picture
US11785218B2 (en) Image decoding apparatus
EP3282705B1 (en) Method for decoding and apparatus for encoding an image through intra prediction
US20170041602A1 (en) Method and apparatus of deriving intra prediction mode using most probable mode group
WO2012161445A2 (ko) 단거리 인트라 예측 단위 복호화 방법 및 복호화 장치
US20150043648A1 (en) Image encoding/decoding apparatus and method to which filter selection by precise units is applied
KR102323427B1 (ko) 영상 부호화 방법 및 장치
EP3448028A1 (en) Apparatus for hierarchical data unit-based video encoding and decoding comprising quantization parameter prediction
KR102485470B1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
KR20200110442A (ko) 다중 부호 비트 숨기기 및 잔차 부호 예측을 조화시키기 위한 방법 및 장치
KR20130029130A (ko) 단거리 인트라 예측 단위 복호화 방법 및 복호화 장치
KR20190091235A (ko) 복원 블록을 생성하는 방법 및 장치
US9473789B2 (en) Apparatus for decoding a moving picture
KR20130027975A (ko) 인트라 예측 모드 부호화/복호화 방법 및 장치
KR20210145091A (ko) 영상 부호화 장치
KR20130027400A (ko) Ｄｃ 모드에서의 인트라 예측 방법 및 장치
KR20220045048A (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
CN114830643A (zh) 图像编码方法和图像解码方法
CN114830641A (zh) 图像编码方法和图像解码方法
CN114830645A (zh) 图像编码方法和图像解码方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12789974

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12789974

Country of ref document: EP

Kind code of ref document: A2