WO2013058542A1 - 영상 부호화/복호화 방법 및 그 장치 - Google Patents

영상 부호화/복호화 방법 및 그 장치 Download PDF

Info

Publication number
WO2013058542A1
WO2013058542A1 PCT/KR2012/008482 KR2012008482W WO2013058542A1 WO 2013058542 A1 WO2013058542 A1 WO 2013058542A1 KR 2012008482 W KR2012008482 W KR 2012008482W WO 2013058542 A1 WO2013058542 A1 WO 2013058542A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
transform
transformation
horizontal
prediction
Prior art date
Application number
PCT/KR2012/008482
Other languages
English (en)
French (fr)
Inventor
이배근
권재철
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020147010466A priority Critical patent/KR101533720B1/ko
Priority to CA2856198A priority patent/CA2856198C/en
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to MX2014004777A priority patent/MX2014004777A/es
Priority to PL408822A priority patent/PL230821B1/pl
Priority to KR1020147023492A priority patent/KR101550723B1/ko
Priority to KR1020147025590A priority patent/KR101550725B1/ko
Priority to CN201280061789.0A priority patent/CN104081775B/zh
Priority to KR1020157020440A priority patent/KR101857110B1/ko
Priority to AU2012326873A priority patent/AU2012326873B2/en
Priority to KR1020157020439A priority patent/KR101718954B1/ko
Priority to KR1020147025591A priority patent/KR101550726B1/ko
Priority to RU2014117487A priority patent/RU2606066C2/ru
Priority to KR1020157020441A priority patent/KR101880642B1/ko
Priority to IN3098DEN2014 priority patent/IN2014DN03098A/en
Priority to KR1020157020438A priority patent/KR101718953B1/ko
Priority to KR1020147023493A priority patent/KR101550724B1/ko
Priority to GB1407661.6A priority patent/GB2510078C/en
Priority to KR1020147028577A priority patent/KR101857109B1/ko
Priority to BR112014009403-9A priority patent/BR112014009403B1/pt
Priority to US14/353,288 priority patent/US9560384B2/en
Publication of WO2013058542A1 publication Critical patent/WO2013058542A1/ko
Priority to US14/604,981 priority patent/US9560385B2/en
Priority to AU2016201713A priority patent/AU2016201713B2/en
Priority to AU2016201699A priority patent/AU2016201699B2/en
Priority to AU2016247085A priority patent/AU2016247085B2/en
Priority to AU2016247083A priority patent/AU2016247083B2/en
Priority to US15/380,758 priority patent/US9661352B2/en
Priority to US15/380,801 priority patent/US9661346B2/en
Priority to US15/380,688 priority patent/US9661354B2/en
Priority to US15/489,784 priority patent/US9826251B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Definitions

  • the present invention relates to image processing, and more particularly, to a conversion method and apparatus.
  • HD images high definition (HD) images and ultra high definition (UHD) images
  • UHD images ultra high definition images
  • the data amount of the image data is increased. Accordingly, the transmission cost and the storage cost of the image data for providing a high resolution and high quality image are increased as compared with the conventional image data processing method.
  • High efficiency image compression techniques can be used to solve these problems caused by high resolution and high quality image data.
  • An entropy encoding / decoding method that performs encoding / decoding by assigning a shorter code to a signal having a higher frequency of occurrence or occurrence has been used.
  • An object of the present invention is to provide an image encoding method and apparatus for improving image encoding performance.
  • Another object of the present invention is to provide an image decoding method and apparatus capable of improving image decoding performance.
  • Another technical problem of the present invention is to provide a conversion method and apparatus for improving image encoding performance.
  • Another technical problem of the present invention is to provide an inverse transform method and apparatus for improving image decoding performance.
  • Another technical problem of the present invention is to provide a scanning method and apparatus for improving image encoding performance.
  • Another technical problem of the present invention is to provide an inverse scanning method and apparatus capable of improving image decoding performance.
  • One embodiment of the present invention is a video decoding method.
  • the method may further include receiving image information corresponding to a decoding target block, performing entropy decoding on the received image information, and based on the entropy decoded image information, among the plurality of transform skip mode candidates.
  • the method may include determining a transform skip mode (TSM) of a target block and performing inverse transform on the decoding target block based on the determined transform skip mode.
  • the plurality of transform skip mode candidates may include a 2D transform mode in which both horizontal transform and vertical transform are performed, a horizontal transform mode in which horizontal transform is performed, a vertical transform mode in which vertical transform is performed, and a non-conversion mode in which no transform is performed. It may include at least one of.
  • the image information may include information about a prediction mode corresponding to the decoding object block and a shape of a prediction unit (PU) corresponding to the decoding object block.
  • PU prediction unit
  • a codeword shorter than the horizontal transform mode may be allocated to the vertical conversion mode. Can be.
  • the plurality of transform skip mode candidates may be configured to exclude the vertical transform mode. It may include a 2D transform mode, the horizontal transform mode and the non-conversion mode.
  • the plurality of transform skip mode candidates may be configured to exclude the horizontal transform mode. It may include a 2D conversion mode, the vertical conversion mode and the non-conversion mode.
  • the transform skip mode candidate of may include the 2D transform mode, the horizontal transform mode, and the non-conversion mode except for the vertical transform mode.
  • the transform skip mode candidate may include the 2D transform mode, the vertical transform mode, and the non-transform mode except the horizontal transform mode.
  • the image information may include information about a prediction mode corresponding to the decoding object block and a prediction direction of a prediction unit corresponding to the decoding object block.
  • a codeword shorter than the horizontal transformation mode may be allocated to the vertical conversion mode.
  • the image decoding method may further include determining a scan mode for the decoding target block based on the determined transform skip mode and performing inverse scanning on the decoding target block based on the determined scan mode. Can be.
  • the scan mode determining step when the determined conversion skip mode is the horizontal conversion mode, the scan mode may be determined as a vertical scan mode.
  • the scan mode determining step when the determined conversion skip mode is the vertical conversion mode, the scan mode may be determined as a horizontal scan mode.
  • the apparatus may further include an entropy decoding unit configured to receive image information corresponding to a decoding target block and perform entropy decoding on the received image information and the entropy decoded image information.
  • the apparatus may include an inverse transform unit configured to determine a transform skip mode (TSM) of a target block and perform an inverse transform on the decoding target block based on the determined transform skip mode.
  • TSM transform skip mode
  • the plurality of transform skip mode candidates may include a 2D transform mode in which both horizontal transform and vertical transform are performed, a horizontal transform mode in which horizontal transform is performed, a vertical transform mode in which vertical transform is performed, and a non-conversion mode in which no transform is performed. It may include at least one of.
  • the method may further include generating a residual block corresponding to an encoding target block, determining a transform skip mode of the encoding target block among a plurality of transform skip mode candidates, and based on the determined transform skip mode.
  • the plurality of transform skip mode candidates may include a 2D transform mode in which both horizontal transform and vertical transform are performed, a horizontal transform mode in which horizontal transform is performed, a vertical transform mode in which vertical transform is performed, and a non-conversion mode in which no transform is performed. It may include at least one of.
  • the prediction mode corresponding to the encoding target block may be an inter mode, and in the transform skip mode determination step, the transform skip mode may be determined based on the shape of the prediction unit corresponding to the encoding target block.
  • the prediction mode corresponding to the encoding object block may be an SDIP mode, and in the transform skip mode determination step, the transform skip mode may be determined based on the shape of the prediction unit corresponding to the encoding object block.
  • the prediction mode corresponding to the encoding object block may be an intra mode, and in the transform skip mode determination step, the transformation skip mode may be determined based on a prediction direction of the prediction unit corresponding to the encoding object block.
  • the method may further include determining a scan mode for the encoding target block based on the determined transform skip mode, and performing scanning on the encoding target block based on the determined scan mode.
  • the apparatus may determine a transform skip mode of the encoding target block from a residual block generator that generates a residual block corresponding to the encoding target block and a plurality of transform skip mode candidates, and based on the determined transform skip mode.
  • the plurality of transform skip mode candidates may include a 2D transform mode in which both horizontal transform and vertical transform are performed, a horizontal transform mode in which horizontal transform is performed, a vertical transform mode in which vertical transform is performed, and a non-conversion mode in which no transform is performed. It may include at least one of.
  • image encoding performance may be improved.
  • image decoding performance can be improved.
  • image encoding / decoding performance may be improved.
  • image encoding / decoding performance can be improved.
  • FIG. 1 is a block diagram showing a configuration of a video encoder according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of a video decoder according to an embodiment.
  • FIG. 3 is a diagram schematically showing an embodiment of a conversion method according to a conversion mode.
  • FIG. 4 is a flowchart schematically illustrating an embodiment of a conversion process in an encoder according to the present invention.
  • FIG. 5 is a flowchart schematically illustrating an embodiment of an inverse transform process in a decoder according to the present invention.
  • FIG. 6 is a diagram for describing a method of determining a transform skip mode candidate and a method of assigning a codeword to a transform skip mode according to a PU type in an inter mode.
  • FIG. 7 is a diagram for describing a method of determining a transform skip mode candidate and a method of assigning a codeword to a transform skip mode according to a PU type in the SDIP.
  • FIG. 8 is a diagram for describing a method of allocating codewords to a transform skip mode according to a prediction direction in an intra mode.
  • FIG. 9 is a diagram schematically showing an embodiment of a transform coefficient scanning method according to a transform skip mode.
  • FIG. 10 is a flowchart schematically illustrating an encoding method according to an embodiment of the present invention.
  • FIG. 11 is a flowchart schematically illustrating a decoding method according to an embodiment of the present invention.
  • each of the components in the drawings described herein are shown independently for the convenience of description regarding different characteristic functions in the image encoder / decoder, and it is understood that each of the components is implemented in separate hardware or separate software. It does not mean. For example, two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations. Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • the video encoder includes a picture splitter 110, an inter predictor 120, an intra predictor 125, a transformer 130, a quantizer 135, an inverse quantizer 140, The inverse transform unit 145, the filter unit 150, the memory 155, the reordering unit 160, and the entropy encoding unit 165 may be included.
  • the picture dividing unit 110 may divide the input current picture into one or more coding units.
  • a coding unit is a unit in which coding is performed in a video encoder, and is hierarchically divided with depth information based on a quad tree structure. Can be.
  • the CU may have various sizes such as 8 ⁇ 8, 16 ⁇ 16, 32 ⁇ 32, and 64 ⁇ 64.
  • the largest size CU may be called LCU (Largest Coding Unit), and the smallest size CU may be called SCU (Smallest Coding Unit).
  • the picture division unit 110 may divide a CU to generate a prediction unit (PU) or a transform unit (TU).
  • the PU may be a block smaller than or equal to the CU, not necessarily square, or may be a rectangular block.
  • intra prediction may be performed in blocks of 2N * 2N or N * N size.
  • N is a natural number and represents the number of pixels
  • 2N * 2N and N * N may represent the size (and / or division mode) of the PU.
  • SDIP short distance intra prediction
  • hN * 2N / 2N * hN may be used as a prediction unit size in addition to the 2N * 2N prediction unit to increase the efficiency of intra prediction.
  • h 1/2).
  • the prediction unit of the size of hN * 2N / 2N * hN When the prediction unit of the size of hN * 2N / 2N * hN is used, the directionality of the boundary surface in the block can be better reflected, and as a result, the energy of the prediction error signal is reduced, thereby reducing the amount of bits required for encoding, thereby encoding efficiency. This can increase.
  • inter prediction may be performed in units of 2N * 2N, 2N * N, N * 2N, or N * N blocks.
  • N is a natural number and represents the number of pixels
  • 2N * 2N, 2N * N, N * 2N, and N * N may represent the size (and / or division mode) of the PU.
  • prediction may be performed in units of prediction units of 2NxnU, 2NxnD, nLx2N, or nRx2N in addition to 2N * 2N, 2N * N, N * 2N, or N * N prediction units.
  • 2NxnU, 2NxnD, nLx2N, and nRx2N may indicate the size (and / or split mode) of the PU.
  • the size of the PU In split mode of 2NxnU and 2NxnD, the size of the PU may be 2Nx (1/2) N or 2Nx (3/2) N, and in split mode of nLx2N and nRx2N, the size of the PU may be (1/2) Nx2N or (3 / 2) Nx2N.
  • the inter prediction unit 120 may perform motion estimation (ME) and motion compensation (MC).
  • the inter prediction unit 120 may generate a prediction block based on at least one picture information of a previous picture or a subsequent picture of the current picture.
  • the inter prediction unit 120 may perform motion estimation based on the divided prediction target block and at least one reference block stored in the memory unit 155.
  • the inter prediction unit 120 may generate motion information including a motion vector (MV), a reference block index, and a prediction mode as a result of the motion estimation.
  • MV motion vector
  • reference block index a reference block index
  • prediction mode a prediction mode as a result of the motion estimation.
  • the inter predictor 120 may perform motion compensation using the motion information and the reference block.
  • the inter prediction unit 120 may generate and output a prediction block corresponding to the input block from the reference block.
  • the intra prediction unit 125 may generate a prediction block based on pixel information in the current picture.
  • the intra predictor 125 may perform prediction on the current block based on the prediction target block and the reconstructed block that is previously transformed and quantized and then reconstructed.
  • the reconstruction block may be a reconstructed image before passing through the filter unit 150.
  • prediction of the prediction target block may be performed and a prediction block may be generated.
  • the residual block may be generated by the difference between the prediction target block and the generated prediction block.
  • the transformer 130 may generate transform coefficients by performing transform on the residual block for each TU.
  • the TU may have a tree structure within the range of the maximum size and the minimum size. Whether a current block is divided into sub-blocks for each TU may be indicated through a flag.
  • the transform unit 130 may perform a transformation based on a discrete cosine transform (DCT) and / or a discrete sine transform (DST).
  • DCT discrete cosine transform
  • DST discrete sine transform
  • the quantizer 135 may quantize the values converted by the transformer 130.
  • the quantization coefficient may change depending on the block or the importance of the image.
  • the quantized transform coefficient values may be provided to the reordering unit 160 and the inverse quantization unit 140.
  • the reordering unit 160 may align the transform coefficients of the quantized 2D block type into the transform coefficients of the 1D vector form through a scan in order to increase the efficiency of entropy encoding. In this case, the reordering unit 160 may increase the entropy coding efficiency by changing the scanning order based on the probabilistic statistics.
  • the entropy encoder 165 may entropy encode the values obtained by the reordering unit 160. In the entropy encoding process, a smaller number of codewords may be allocated to a syntax element value having a high frequency, and a larger number of codewords may be allocated to a syntax element value having a low frequency of occurrence. Accordingly, the size of the bit string for the symbols to be encoded may be reduced, thereby improving image encoding compression performance.
  • coding methods such as exponential golomb, context-adaptive variable length coding (CAVLC), and / or context-adaptive binary arithmetic coding (CABAC) may be used.
  • CABAC context-adaptive binary arithmetic coding
  • the encoded information forms a compressed bit stream and may be transmitted or stored through a network abstraction layer (NAL).
  • NAL network abstraction layer
  • the inverse quantizer 140 may inverse quantize transform coefficients quantized by the quantizer 135, and the inverse transformer 145 may inverse transform the inverse quantized transform coefficients to generate a reconstructed residual block.
  • the reconstructed residual block may be combined with the predicted block generated by the inter predictor 120 or the intra predictor 125 to generate a reconstructed block.
  • the reconstruction block may be provided to the intra predictor 125 and the filter 150.
  • the filter unit 150 may apply a deblocking filter, a sample adaptive offset (SAO), and / or an adaptive loop filter (ALF) to the reconstructed residual block.
  • the deblocking filter may filter the reconstructed block to remove distortion between block boundaries occurring in the encoding and decoding process.
  • SAO is a loop filter process that restores the offset difference from the original image on a pixel-by-pixel basis for the residual block to which the deblocking filter is applied. Offsets applied through the SAO may include a band offset, an edge offset, and the like.
  • the band offset may divide the pixel into 32 bands according to intensity, and apply the offset by dividing the 32 bands into two band groups of 16 bands at the edge and 16 bands at the center.
  • the ALF may perform filtering to minimize an error between the predicted block and the last reconstructed block.
  • the ALF may perform filtering based on a value obtained by comparing a reconstructed block filtered through a deblocking filter with a current predicted block, and the filter coefficient information of the ALF is included in a slice header and transmitted from the encoder to the decoder. Can be.
  • the memory 155 may store a final reconstructed block that has passed through the filter unit 150, and the stored final reconstructed block may be provided to the inter predictor 120 that performs inter prediction.
  • the video decoder includes an entropy decoder 210, a reordering unit 215, an inverse quantizer 220, an inverse transform unit 225, an inter predictor 230, an intra predictor 235, and a filter.
  • the unit 240 and the memory 245 may be included.
  • the entropy decoder 210 may receive a compressed bit stream from the NAL.
  • the entropy decoder 210 may entropy decode the received bit stream, and entropy decode the prediction bit, motion vector information, and the like when the bit stream is included in the bit stream.
  • fewer bits of codewords may be allocated to syntax element values having a high frequency, and more bits of codewords may be allocated to syntax element values with a low frequency of occurrence. Therefore, the size of the bit string for the symbols to be encoded may be reduced, thereby improving image decoding performance.
  • the entropy decoded transform coefficient or residual signal may be provided to the reordering unit 215.
  • the reordering unit 215 may inverse scan the decoded transform coefficients or the residual signal to generate transform coefficients in the form of a 2D block.
  • the inverse quantization unit 220 may inverse quantize the rearranged transform coefficients.
  • the inverse transform unit 225 may inverse transform the inverse quantized transform coefficients to generate a residual block.
  • the residual block may be combined with the prediction block generated by the inter predictor 230 or the intra predictor 235 to generate a reconstructed block.
  • the reconstruction block may be provided to the intra predictor 235 and the filter 240. Since the operations of the inter predictor 230 and the intra predictor 235 are the same as or similar to the operations of the inter predictor 120 and the intra predictor 125 in the video encoder, they will be omitted here.
  • the filter unit 240 may apply a deblocking filter, SAO and / or ALF to the reconstruction block.
  • the deblocking filter may filter the reconstructed block to remove distortion between block boundaries occurring in the encoding and decoding process.
  • SAO is applied to the deblocking filtered reconstructed block on a pixel basis to reduce the difference from the original image.
  • the ALF may perform filtering on the reconstructed block on which the SAO process is performed in order to minimize an error between the prediction target block and the last reconstructed block.
  • the memory 245 may store a final reconstruction block obtained through the filter unit 240, and the stored final reconstruction block may be provided to the inter prediction unit 230 that performs inter prediction.
  • a block may mean a unit of image encoding and decoding. Accordingly, in the present specification, a block may mean a coding unit (CU), a prediction unit (PU), a transform unit (TU), or the like, in some cases.
  • the encoding / decoding object block may be used in the present specification to include both a transform / inverse transform object block when the transform / inverse transform is performed and a predictive block when prediction is performed.
  • the encoder may perform transform on the residual block for each TU, and the decoder may generate the reconstructed residual block by inverse transforming the inverse quantized transform coefficients.
  • an inverse transform may be referred to as a 'transformation', and such division may be easily performed by those skilled in the art.
  • the encoder and the decoder may perform a 2D transform including both a vertical transform and a horizontal transform.
  • the vertical conversion or the horizontal conversion may be omitted, and the entire conversion process may be omitted for the sparse signal. This conversion method can reduce the complexity in the decoder and can improve the coding efficiency.
  • a conversion mode in which both horizontal transformation and vertical transformation are performed is referred to as a '2D transformation mode'.
  • a transformation mode in which vertical transformation is omitted and only horizontal transformation is performed is referred to as a "horizontal transformation mode”
  • a transformation mode in which horizontal transformation is omitted and only vertical transformation is performed is referred to as a "vertical transformation mode”.
  • a conversion mode in which both horizontal and vertical conversions are omitted is called a "non-conversion mode.”
  • the 'non-transform mode' may also be referred to as 'transform bypass mode'.
  • FIG. 3 is a diagram schematically showing an embodiment of a conversion method according to a conversion mode.
  • the square blocks shown in each of 310 to 340 of FIG. 3 represent a conversion target block.
  • the transform target block may correspond to a TU and / or a CU.
  • arrows illustrated in each of 310 to 330 of FIG. 3 may indicate a conversion direction.
  • both the vertical transform and the horizontal transform may be performed on the transform target block. Therefore, the conversion mode illustrated in 310 of FIG. 3 may correspond to a 2D conversion mode.
  • the vertical transformation may be omitted and only the horizontal transformation may be performed.
  • the conversion mode illustrated in 320 of FIG. 3 may correspond to a horizontal conversion mode. In this case, since the transformation is performed on a row rather than a column, the transformation method in the horizontal transformation mode may also be referred to as 'transform on rows only'.
  • horizontal transformation may be omitted and only vertical transformation may be performed. Therefore, the conversion mode illustrated in 330 of FIG. 3 may correspond to the vertical conversion mode.
  • the transformation method in the vertical transformation mode may also be referred to as 'transform on rows only'.
  • the transform may not be performed on the transform target block. Accordingly, the conversion mode illustrated at 340 of FIG. 3 may correspond to a non-conversion mode.
  • each of the above-described conversion modes may be referred to as a Transfrom Skip Mode (TSM). That is, the transform skip mode may include a 2D transform mode, a horizontal transform mode, a vertical transform mode, and a non-conversion mode. Therefore, the 2D transform mode, the horizontal transform mode, the vertical transform mode, and / or the non-transform mode may be used as a transform skip mode candidate for the transform target block.
  • TSM Transfrom Skip Mode
  • At least one of the 2D transform mode, the horizontal transform mode, the vertical transform mode, and the non-transform mode may be used as a transform skip mode candidate for the transform target block.
  • one transform skip mode selected from a plurality of transform skip mode candidates may be applied to one transform target block.
  • the encoder may select a transform skip mode having the smallest cost value in terms of rate-distortion optimization among a plurality of transform skip mode candidates.
  • the encoder may perform transform on the transform target block based on the selected transform skip mode. That is, the encoder may apply one of the 2D transform mode, the horizontal transform mode, the vertical transform mode, and the non-transform mode to the transform target block according to the selected transform skip mode.
  • the encoder may encode information about the selected transform skip mode and transmit the encoded information to the decoder.
  • the transform skip mode may be determined in units of CUs or in units of TUs. In this case, when the transform skip mode is determined in CU units, the information may be transmitted in CU units. When the transform skip mode is determined in TU units, the information may be transmitted in units of TUs.
  • the information about the transform skip mode may be transmitted to the decoder through a transform skip mode index.
  • the transform skip mode index may mean an index indicating a transform skip mode applied to the transform target block among transform skip mode candidates.
  • the transform skip mode index may be assigned an index value according to the transform skip mode.
  • the 2D transform mode, the horizontal transform mode, the vertical transform mode, and the non-conversion mode may correspond to different index values.
  • the decoder may receive and decode information about a transform skip mode (eg, an encoded transform skip mode index) from the encoder.
  • the decoder may derive the transform skip mode applied to the transform target block based on the decoded information.
  • the decoder may perform transform on the transform target block based on the derived transform skip mode. That is, the decoder may apply one of the 2D transform mode, the horizontal transform mode, the vertical transform mode, and the non-transform mode to the transform target block according to the derived transform skip mode.
  • FIG. 4 is a flowchart schematically illustrating an embodiment of a conversion process in an encoder according to the present invention.
  • the encoder may determine a transform skip mode for a transform target block among a plurality of transform skip mode candidates (S410).
  • the plurality of transform skip mode candidates may be at least one of a 2D transform mode, a horizontal transform mode, a vertical transform mode, and a non-conversion mode.
  • the encoder may select a transform skip mode having the smallest cost value in terms of rate-distortion optimization among the plurality of transform skip mode candidates.
  • a specific embodiment of a method of determining a transform skip mode candidate will be described later.
  • the encoder may perform transform on the transform target block based on the determined transform skip mode (S420). That is, the encoder may apply one of the 2D transform mode, the horizontal transform mode, the vertical transform mode, and the non-transform mode to the transform target block according to the selected transform skip mode.
  • the encoder may encode information about a transform skip mode applied to the transform target block and transmit the encoded information to the decoder.
  • the information may be transmitted to the decoder through a transform skip mode index.
  • the encoder may allocate a short codeword to a transform skip mode with a high frequency of occurrence and a long codeword to a transform skip mode with a low frequency of occurrence, in consideration of the occurrence probability of the transform skip mode. A specific embodiment of the method for allocating a codeword in the transform skip mode will be described later.
  • FIG. 5 is a flowchart schematically illustrating an embodiment of an inverse transform process in a decoder according to the present invention.
  • the decoder may receive and decode a bitstream including information about a transform skip mode (eg, an encoded transform skip mode index) from the encoder.
  • a transform skip mode eg, an encoded transform skip mode index
  • a short codeword may be assigned to a transform skip mode with a high frequency of occurrence
  • a long codeword may be assigned to a transform skip mode with a low frequency of occurrence.
  • the decoder may derive a transform skip mode for an inverse transform target block from among a plurality of transform skip mode candidates (S510).
  • the plurality of transform skip mode candidates may be at least one of a 2D transform mode, a horizontal transform mode, a vertical transform mode, and a non-conversion mode.
  • the decoder can also use the same transform skip mode candidate as in the encoder.
  • the decoder may derive the transform skip mode for the inverse transform target block based on the decoded information (information about the transform skip mode. For example, the decoded transform skip mode index).
  • the decoded information information about the transform skip mode. For example, the decoded transform skip mode index.
  • the decoder may perform inverse transform on the inverse transform target block based on the derived transform skip mode (S520). That is, the decoder may apply one of the 2D transform mode, the horizontal transform mode, the vertical transform mode, and the non-transform mode to the inverse transform target block according to the selected transform skip mode.
  • the encoder and the decoder may use all of the 2D transform mode, the horizontal transform mode, the vertical transform mode, and the non-transform mode as the transform skip mode candidates.
  • 2D transform mode and / or transform skip mode index corresponding to 2D transform mode
  • horizontal transform mode and / or transform skip mode index corresponding to horizontal transform mode
  • vertical transform mode and / or vertical transform
  • Different codewords may be assigned to the transform skip mode index corresponding to the mode and the non-converted mode (and / or the transform skip mode index corresponding to the non-converted mode).
  • the encoder may allocate a short codeword to a transform skip mode with a high frequency of occurrence and a long codeword to a transform skip mode with a low frequency of occurrence, in consideration of the occurrence probability of the transform skip mode as described above.
  • Table 1 below shows an embodiment of a method of allocating codewords to a transform skip mode.
  • TS0 represents a 2D conversion mode.
  • TS1 indicates a horizontal conversion mode and TS2 indicates a vertical conversion mode.
  • TS3 represents the non-conversion mode.
  • the horizontal transformation mode and the vertical transformation mode may correspond to the 1D transformation mode.
  • the codeword '1' may be assigned to the 2D conversion mode.
  • the codeword '01' is allocated to the horizontal conversion mode
  • the codeword '001' is assigned to the vertical conversion mode
  • the codeword '000' is assigned to the non-transformation mode according to the frequency of occurrence.
  • the quantization matrix may be applied in the same manner as in the 2D transform mode.
  • the encoder and the decoder may perform scaling on the values of the rows and / or columns in which the transformation is omitted, which may be represented by Equation 1 below.
  • x may mean a value of an element present in a row and / or a column in which a transformation is omitted
  • y may mean a scaled value.
  • scaling may indicate a scaling factor.
  • 'Offset' may indicate an offset value applied in the scaling process
  • 'shift' may indicate a bit shift value applied in the scaling process.
  • 'offset' and 'shift' may each have the same value as the offset value and the bit shift value applied when the transformation is not omitted (for example, in the 2D transformation mode).
  • the scaling factor applied to the encoder and the decoder may be a value determined depending on the size of the TU.
  • the scaling factor value according to the size of the TU may be set as shown in Table 2 as an embodiment.
  • N (and / or N ⁇ N) may indicate the size of the TU
  • scale may indicate a scaling factor.
  • the scaling factor value applied when the size of the TU is 8x8 may be 181.
  • the PU is not necessarily square, but may be a rectangular block.
  • the PU in the inter mode, may have a size (and / or shape) of 2N * N, N * 2N, 2NxnU, 2NxnD, nLx2N or nRx2N.
  • the PU when SDIP is applied, may have a size (and / or shape) of 2N * (1/2) N, (1/2) N * 2N.
  • the encoder and the decoder may improve encoding / decoding performance by not using a transform skip mode having a small probability of occurrence as a transform skip mode candidate.
  • the encoder may improve encoding / decoding performance by allocating a short codeword to a transform skip mode having a low probability of occurrence. Accordingly, a method of determining a transform skip mode candidate according to the size (and / or shape) of a PU and a method of assigning a codeword to the transform skip mode according to the size (and / or shape) of a PU may be provided.
  • FIG. 6 is a diagram for describing a method of determining a transform skip mode candidate and a method of assigning a codeword to a transform skip mode according to a PU type in an inter mode.
  • FIG. 6 schematically illustrates the size (and / or shape) of a PU in inter mode.
  • one coding unit 610 may be divided into PUs having different sizes according to characteristics of an image.
  • 6 is a diagram illustrating a case where inter prediction is performed and shows that one coding unit 610 is divided into a plurality of PUs 620.
  • the size (and / or shape) of the PU in the inter mode is 2N * 2N 621, 2N * N 622, N * 2N 623, N * N 624, 2NxnU 625, and 2NxnD 626, respectively.
  • nLx2N 627 or nRx2N 628 the N * N 624 size (and / or shape) PU may be used only in the SCU, which is a minimum coding unit, in order to prevent calculation duplication for calculating the prediction cost.
  • the occurrence probability of the horizontal transform mode and the vertical transform mode in the inter mode may vary depending on the shape of the PU. Accordingly, the codewords allocated to the transform skip mode (and / or the transform skip mode index) may be determined differently according to the type of the PU. That is, codewords allocated to the transform skip mode (and / or the transform skip mode index) may be determined based on the type of the PU.
  • the energy compaction effect of the horizontal transformation may be smaller than the energy compression effect of the vertical transformation. Therefore, in this case, the occurrence probability of the vertical transformation mode may be higher than the occurrence probability of the horizontal transformation mode.
  • Table 1 shows an embodiment of a method of allocating codewords to a transform skip mode when the PU is N * 2N 623.
  • TS0 represents the 2D conversion mode.
  • TS1 indicates a horizontal conversion mode and TS2 indicates a vertical conversion mode.
  • TS3 represents the non-conversion mode.
  • the horizontal transformation mode and the vertical transformation mode may correspond to the 1D transformation mode.
  • the codeword '001' may be allocated to the horizontal transformation mode and the codeword '01' may be allocated to the vertical transformation mode.
  • the shape of the PU is N * 2N 623
  • a codeword shorter than the horizontal transform mode may be assigned to the vertical transform mode. Can be.
  • the present invention is not limited thereto.
  • the shape of the PU is N * 2N 623 as well as the nLx2N 627 or nRx2N 628
  • the occurrence probability of the vertical transform mode may be higher than that of the horizontal transform mode. Therefore, even in this case, a codeword shorter than the horizontal conversion mode may be allocated to the vertical conversion mode.
  • the probability of occurrence of the horizontal transform mode may be higher than the probability of occurrence of the vertical transform mode. Therefore, in this case, a codeword shorter than the vertical transformation mode may be allocated to the horizontal transformation mode.
  • the type of PU is 2N * N 622, 2NxnU 625, and 2NxnD 626, the same codeword allocation scheme as in the embodiment of Table 1 may be used.
  • the number of transform skip mode candidates may be determined differently according to the type of the PU. That is, the transform skip mode candidate for the transform target block may be determined based on the shape of the PU corresponding to the transform target block.
  • the shape of the PU when the shape of the PU is 2N * N 622, since the energy compression effect of the vertical transform is smaller than the energy compression effect of the horizontal transform, the probability of occurrence of the vertical transform mode is higher than that of the horizontal transform mode. Can be small. Therefore, when the shape of the PU is 2N * N 622, 2D transform mode, horizontal transform mode and non-transform mode except the vertical transform mode may be used as transform skip mode candidates for the transform target block.
  • the transform skip mode applied to the transform target block may be one of a 2D transform mode, a horizontal transform mode, and a non-conversion mode. Table 4 below shows an embodiment of a method of allocating codewords to a transform skip mode when the 2D transform mode, the horizontal transform mode, and the non-transform mode are used as transform skip mode candidates.
  • TS0 represents a 2D conversion mode
  • TS1 represents a horizontal conversion mode
  • TS3 represents a non-conversion mode.
  • the horizontal transformation mode may correspond to the 1D transformation mode.
  • the 2D transform mode, the horizontal transform mode, and the non-transform mode may be used as the transform skip mode candidates.
  • Table 4 described above has been described based on the case where the shape of the PU is 2N * N (622), the present invention is not limited thereto.
  • the probability of occurrence of the vertical transform mode may be smaller than that of the horizontal transform mode. Therefore, even in this case, 2D transform mode, horizontal transform mode, and non-transform mode except vertical transform mode may be used as transform skip mode candidates for the transform target block.
  • the shape of the PU when the shape of the PU is N * 2N 623, since the energy compression effect of the horizontal transform is smaller than the energy compression effect of the vertical transform, the probability of occurrence of the horizontal transform mode is higher than that of the vertical transform mode. Can be small. Therefore, when the shape of the PU is N * 2N 623, the 2D transform mode, the vertical transform mode, and the non-transform mode except for the horizontal transform mode may be used as transform skip mode candidates for the transform target block.
  • the transform skip mode applied to the transform target block may be one of a 2D transform mode, a vertical transform mode, and a non-conversion mode. Table 5 below shows an embodiment of a method of allocating codewords to a transform skip mode when a 2D transform mode, a vertical transform mode, and a non-transform mode are used as transform skip mode candidates.
  • TS0 represents a 2D conversion mode
  • TS2 represents a vertical conversion mode
  • TS3 represents a non-conversion mode
  • the vertical transformation mode may correspond to the 1D transformation mode.
  • the 2D transform mode, the vertical transform mode, and the non-conversion mode may be used as the transform skip mode candidates.
  • the present invention is not limited thereto.
  • the shape of the PU is N * 2N 623 as well as the nLx2N 627 or nRx2N 628
  • the occurrence probability of the horizontal transform mode may be smaller than that of the vertical transform mode. Therefore, even in this case, the 2D transform mode, the vertical transform mode, and the non-transform mode except for the horizontal transform mode may be used as the transform skip mode candidates for the transform target block.
  • the number of bits used for encoding a transform skip mode (and / or a transform skip mode index) may be reduced. Therefore, the encoding / decoding performance can be improved.
  • FIG. 7 is a diagram for describing a method of determining a transform skip mode candidate and a method of assigning a codeword to a transform skip mode according to a PU type in the SDIP.
  • FIG. 7 schematically illustrates the size (and / or shape) of a PU in SDIP.
  • one coding unit 710 may be divided into PUs having different sizes according to characteristics of an image.
  • FIG. 7 is a diagram illustrating a case where SDIP is applied and shows that one coding unit 710 is divided into a plurality of PUs 720.
  • the size (and / or shape) of the PU in SDIP is 2N * 2N (721), N * N (723), (1/2) N * 2N (725) or 2N * (1/2) N (727), respectively.
  • a PU of size N * N 723 (and / or shape) may be used only in an SCU that is a minimum coding unit in order to prevent duplication of calculation for calculating a prediction cost.
  • the number of transform skip mode candidates may be determined differently according to the type of the PU. That is, the transform skip mode candidate for the transform target block may be determined based on the shape of the PU corresponding to the transform target block.
  • the shape of the PU when the shape of the PU is 2N * (1/2) N 727, since the energy compression effect of the vertical transform is smaller than the energy compression effect of the horizontal transform, the probability of occurrence of the vertical transform mode is horizontal. It may be less than the probability of occurrence of the mode. Therefore, when the shape of the PU is 2N * (1/2) N 727, the 2D transform mode, the horizontal transform mode, and the non-transform mode except for the vertical transform mode may be used as transform skip mode candidates for the transform target block. have.
  • the transform skip mode applied to the transform target block may be one of a 2D transform mode, a horizontal transform mode, and a non-conversion mode.
  • the 2D transform mode, the horizontal transform mode, and the non-transform mode are used as the transform skip mode candidates, embodiments of the method for allocating codewords to the transform skip mode have been described above in Table 4, and thus descriptions thereof will be omitted.
  • the shape of the PU is (1/2) N * 2N 725
  • the probability of occurrence of the horizontal transform mode is vertical. It may be less than the probability of occurrence of the mode. Therefore, when the shape of the PU is (1/2) N * 2N (725), 2D transform mode, vertical transform mode, and non-transform mode except the horizontal transform mode may be used as transform skip mode candidates for the transform target block.
  • the transform skip mode applied to the transform target block may be one of a 2D transform mode, a vertical transform mode, and a non-conversion mode.
  • the 2D transform mode, the vertical transform mode, and the non-transform mode are used as transform skip mode candidates, embodiments of a method of allocating codewords to the transform skip mode have been described above in Table 5, and thus descriptions thereof will be omitted.
  • the number of bits used for encoding a transform skip mode (and / or a transform skip mode index) may be reduced. Therefore, the encoding / decoding performance can be improved.
  • FIG. 8 is a diagram for describing a method of allocating codewords to a transform skip mode according to a prediction direction in an intra mode.
  • the encoder and the decoder may generate a prediction block by performing intra prediction based on pixel information in the current picture.
  • Intra prediction may be performed according to the intra prediction mode of the prediction target block.
  • the intra prediction mode may include a DC mode, a planar mode, a vertical mode, a horizontal mode, an angular mode, and the like.
  • DC mode and planner mode are non-directional modes, and the other modes are directional modes.
  • the angular mode may mean a directional prediction mode except for the vertical mode and the horizontal mode.
  • each intra prediction mode has a different prediction direction.
  • the number assigned to each intra prediction mode may be referred to as a mode value.
  • an intra prediction mode having a mode value of 0 may be called a planner mode.
  • planner mode reference pixels to be used for prediction of pixel values of the prediction pixel may be determined based on the position of the prediction pixel located in the prediction block, and the prediction value of the prediction pixel may be derived based on the determined reference pixel. Can be.
  • the mode value is 1, it may be called a DC mode, and a prediction block may be generated by an average of pixel values of pixels located around the prediction target block.
  • the mode value is 26
  • prediction may be performed in the vertical direction based on pixel values of neighboring blocks. Therefore, the intra prediction mode having the mode value of 26 may also be called a vertical mode.
  • the prediction may be performed in the horizontal direction based on the pixel values of the neighboring blocks. Therefore, the intra prediction mode having the mode value of 10 may also be called a horizontal mode. In the other modes, prediction may be performed based on pixel values of neighboring blocks according to the corresponding angles.
  • the occurrence probability of the horizontal transform mode and the vertical transform mode may vary depending on the intra prediction mode (and / or the prediction direction) of the PU corresponding to the transform target block. Therefore, the codewords allocated to the transform skip mode (and / or transform skip mode index) according to the intra prediction mode (and / or prediction direction) of the PU may be determined differently. That is, the codeword assigned to the transform skip mode (and / or transform skip mode index) may be determined based on the intra prediction mode (and / or prediction direction) of the PU corresponding to the transform target block.
  • the energy compression effect of the horizontal transform may be smaller than the energy compression effect of the vertical transform. Therefore, in this case, the occurrence probability of the vertical transformation mode may be higher than the occurrence probability of the horizontal transformation mode.
  • Table 1 since a codeword of '01' is assigned to the horizontal transform mode and a codeword of '001' is assigned to the vertical transform mode, a longer codeword is assigned to the transform skip mode with a high probability of occurrence. do. Therefore, when the intra prediction mode of the PU is the vertical mode, the coding performance can be improved by resetting the codewords allocated to the horizontal transform mode and the codewords allocated to the vertical transform mode.
  • the intra prediction mode of the PU is the vertical mode
  • the probability of occurrence of the vertical transform mode may be higher than that of the horizontal transform mode, and thus a codeword shorter than the horizontal transform mode may be allocated to the vertical transform mode. Since an embodiment in which a codeword shorter than the horizontal transform mode is allocated to the vertical transform mode is similar to that in the embodiment of Table 3, it will be omitted here.
  • the intra prediction mode of the PU corresponding to the transform target block is the horizontal mode
  • the occurrence probability of the horizontal transform mode may be higher than that of the vertical transform mode. Therefore, in this case, a codeword shorter than the vertical transformation mode may be allocated to the horizontal transformation mode.
  • the same codeword allocation scheme as in the embodiment of Table 1 may be used.
  • FIG. 9 is a diagram schematically showing an embodiment of a transform coefficient scanning method according to a transform skip mode.
  • FIG. 9 illustrates an embodiment of a horizontal scan 910 method, a vertical scan 920 method, and a zigzag scan 930 method. Although only the scanning method (and / or scan order) for the 4x4 block is shown in FIG. 9, the present invention is not limited thereto and may be applied regardless of the size of the block.
  • reverse scanning may be referred to as 'scanning' in some cases for convenience of description. Such division may be easily made by those skilled in the art.
  • the encoder may perform the scanning to sort the transform coefficients in the form of a quantized two-dimensional block into transform coefficients in the form of a one-dimensional vector.
  • the decoder may generate transform coefficients in the form of a 2D block by scanning the transform coefficients in the form of a decoded 1D vector.
  • the encoder and the decoder may determine the scanning method (and / or scanning order) based on the transform skip mode. That is, according to an embodiment of the present invention, a scanning method (and / or scanning order) may be applied differently according to a transform skip mode for a transform target block.
  • a vertical scan method 920 may be applied to the transform target block.
  • the conversion skip mode is the vertical conversion mode
  • FIG. 10 is a flowchart schematically illustrating an encoding method according to an embodiment of the present invention.
  • the encoder may generate a residual block corresponding to the current block (S1010).
  • the encoder may generate a prediction block corresponding to the current block by performing inter prediction and / or intra prediction on the current block.
  • the encoder may generate a residual signal, that is, a residual block by dividing the pixel value of the current block and the pixel value of the prediction block in units of pixels.
  • the encoder may perform transform on the residual signal, that is, the residual block (S1020).
  • the encoder can transform code the residual signal by applying a transform kernel, and the size of the transform code kernel can be 2 * 2, 4 * 4, 8 * 8, 16 * 16, 32 * 32, or 64 * 64. have.
  • the transform coefficient C for the n * n block may be calculated by Equation 2 below.
  • C (n, n) is a matrix of n * n transform coefficients
  • T (n, n) is an n * n transform kernel matrix
  • B (n, n) is n * n magnitude Matrix for the residual block.
  • the encoder may perform quantization on the generated transform coefficients.
  • the encoder can compare the cost function before and after the transform encoding, and can select a method of minimizing the cost. In this case, the encoder may transmit information on the type (residual signal or transform coefficient) of a signal transmitted for the current block to the decoding apparatus.
  • the encoder may perform scanning on transform coefficients (S1030).
  • the encoder may determine the scanning method (and / or scan order) based on the transform skip mode. Since a specific embodiment of the method of determining the scan order based on the transform skip mode has been described above, a description thereof will be omitted.
  • the encoder may perform entropy encoding on the scanned transform coefficients and the auxiliary information (eg, inter prediction mode information of the current block) (S1040).
  • the coded information forms a compressed bitstream and may be transmitted or stored through a network abstraction layer (NAL).
  • NAL network abstraction layer
  • the encoding method is described based on a flowchart as a series of steps, but the present invention is not limited thereto. Some steps in the embodiment of FIG. 10 may occur in a different order or in parallel with other steps than described above. In addition, other steps may be included in the steps shown in the flowchart, and one or more steps in the flowchart of FIG. 10 may be deleted without affecting the scope of the present invention.
  • FIG. 11 is a flowchart schematically illustrating a decoding method according to an embodiment of the present invention.
  • the decoder may perform entropy decoding on the bitstream received from the encoder (S1110).
  • the decoder may derive the prediction mode and the residual signal of the current block based on a variable length coding (VLC) table and / or CABAC.
  • VLC variable length coding
  • CABAC CABAC
  • the decoder can obtain information on whether the received signal for the current block is a residual signal or a transform coefficient, and obtain a transform signal in the form of a residual signal or a one-dimensional vector for the current block. If the received bitstream includes side information necessary for decoding, they may be entropy decoded together.
  • the decoder may generate a 2D block by performing inverse scanning on the entropy decoded residual signal or transform coefficient (S1120).
  • a residual block may be generated in the case of the residual signal
  • a transform coefficient in the form of a 2D block may be generated in the case of the transform coefficient.
  • the decoder may perform inverse quantization on the generated transform coefficients.
  • the decoder may determine a scanning method (and / or scan order) based on the transform skip mode. Since a specific embodiment of the method of determining the scan order based on the transform skip mode has been described above, a description thereof will be omitted.
  • the decoder may generate a residual block by performing inverse transform on the inverse quantized transform coefficients (S1130).
  • the inverse transformation process can be represented by the following equation (3).
  • the decoder may generate a reconstruction block based on the generated residual block (S1140). As described above, the decoder may generate a prediction block corresponding to the decoding object block by performing inter prediction and / or intra prediction on the decoding object block. In this case, the decoder may generate a reconstruction block by adding the pixel value of the prediction block and the pixel value of the residual block in units of pixels.
  • the decoding method is described based on a flowchart as a series of steps, but the present invention is not limited thereto. In the embodiment of FIG. 11, some steps may occur in a different order or in parallel with other steps than described above. In addition, other steps may be included in the steps shown in the flowchart, and one or more steps in the flowchart of FIG. 11 may be deleted without affecting the scope of the present invention.

Abstract

본 발명에 따른 영상 복호화 방법은, 복호화 대상 블록에 대응하는 영상 정보를 수신하는 단계, 수신된 영상 정보에 대해 엔트로피 복호화를 수행하는 단계, 엔트로피 복호화된 영상 정보를 기반으로, 복수의 변환 스킵 모드 후보 중에서 복호화 대상 블록의 변환 스킵 모드를 결정하는 단계 및 결정된 변환 스킵 모드를 기반으로 복호화 대상 블록에 대한 역변환을 수행하는 단계를 포함한다.

Description

영상 부호화/복호화 방법 및 그 장치
본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 변환 방법 및 장치에 관한 것이다.
최근 다양한 분야에서 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 증가하고 있다.
고해상도, 고품질의 영상을 제공하기 위해서는 영상 데이터의 데이터량이 증가한다. 따라서, 기존의 영상 데이터 처리 방식과 비교할 때 고해상도, 고품질의 영상을 제공하기 위한 영상 데이터의 전송 비용과 저장 비용은 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 고효율의 영상 압축 기술들이 활용될 수 있다.
영상 데이터를 압축하는 기술로서 현재 픽쳐에 포함된 픽셀 값을 다른 픽처로부터 예측하는 인터 예측(Inter Prediction) 방법, 현재 픽쳐 픽셀 값을 현재 픽쳐의 다른 픽셀의 정보를 이용해서 예측하는 인트라 예측(Intra Prediction) 방법, 발생 빈도 혹은 출현 빈도가 높은 신호일수록 짧은 부호를 할당해서 부호화/복호화를 수행하는 엔트로피 부호화/복호화 방법 등 다양한 기술이 이용되고 있다.
본 발명의 기술적 과제는 영상 부호화 성능을 향상시킬 수 있는 영상 부호화 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 영상 복호화 성능을 향상시킬 수 있는 영상 복호화 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 부호화 성능을 향상시킬 수 있는 변환 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 복호화 성능을 향상시킬 수 있는 역변환 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 부호화 성능을 향상시킬 수 있는 스캐닝 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 복호화 성능을 향상시킬 수 있는 역스캐닝 방법 및 장치를 제공함에 있다.
본 발명의 일 실시 형태는 영상 복호화 방법이다. 상기 방법은, 복호화 대상 블록에 대응하는 영상 정보를 수신하는 단계, 상기 수신된 영상 정보에 대해 엔트로피 복호화를 수행하는 단계, 상기 엔트로피 복호화된 영상 정보를 기반으로, 복수의 변환 스킵 모드 후보 중에서 상기 복호화 대상 블록의 변환 스킵 모드(Transform Skip Mode: TSM)를 결정하는 단계 및 상기 결정된 변환 스킵 모드를 기반으로 상기 복호화 대상 블록에 대한 역변환을 수행하는 단계를 포함할 수 있다. 여기서, 상기 복수의 변환 스킵 모드 후보는, 수평 변환과 수직 변환이 모두 수행되는 2D 변환 모드, 수평 변환이 수행되는 수평 변환 모드, 수직 변환이 수행되는 수직 변환 모드 및 변환이 수행되지 않는 비변환 모드 중에서 적어도 하나를 포함할 수 있다.
상기 영상 정보는, 상기 복호화 대상 블록에 대응되는 예측 모드 및 상기 복호화 대상 블록에 대응되는 예측 유닛(Prediction Unit: PU)의 형태에 관한 정보를 포함할 수 있다.
상기 복호화 대상 블록에 대응되는 예측 모드가 인터 모드이고 상기 복호화 대상 블록에 대응되는 예측 유닛의 형태가 Nx2N(N은 자연수)인 경우, 상기 수직 변환 모드에는 상기 수평 변환 모드보다 짧은 코드워드가 할당될 수 있다.
상기 복호화 대상 블록에 대응되는 예측 모드가 인터 모드이고 상기 복호화 대상 블록에 대응되는 예측 유닛의 형태가 2NxN(N은 자연수)인 경우, 상기 복수의 변환 스킵 모드 후보는, 상기 수직 변환 모드를 제외한 상기 2D 변환 모드, 상기 수평 변환 모드 및 상기 비변환 모드를 포함할 수 있다.
상기 복호화 대상 블록에 대응되는 예측 모드가 인터 모드이고 상기 복호화 대상 블록에 대응되는 예측 유닛의 형태가 Nx2N(N은 자연수)인 경우, 상기 복수의 변환 스킵 모드 후보는, 상기 수평 변환 모드를 제외한 상기 2D 변환 모드, 상기 수직 변환 모드 및 상기 비변환 모드를 포함할 수 있다.
상기 복호화 대상 블록에 대응되는 예측 모드가 SDIP(Short Distance Intra Prediction) 모드이고 상기 복호화 대상 블록에 대응되는 예측 유닛의 형태가 2Nx(1/2)N(N은 2 이상의 자연수)인 경우, 상기 복수의 변환 스킵 모드 후보는, 상기 수직 변환 모드를 제외한 상기 2D 변환 모드, 상기 수평 변환 모드 및 상기 비변환 모드를 포함할 수 있다.
상기 복호화 대상 블록에 대응되는 예측 모드가 SDIP(Short Distance Intra Prediction) 모드이고 상기 복호화 대상 블록에 대응되는 예측 유닛의 형태가 (1/2)Nx2N(N은 2 이상의 자연수)인 경우, 상기 복수의 변환 스킵 모드 후보는, 상기 수평 변환 모드를 제외한 상기 2D 변환 모드, 상기 수직 변환 모드 및 상기 비변환 모드를 포함할 수 있다.
상기 영상 정보는, 상기 복호화 대상 블록에 대응되는 예측 모드 및 상기 복호화 대상 블록에 대응되는 예측 유닛의 예측 방향에 관한 정보를 포함할 수 있다.
상기 복호화 대상 블록에 대응되는 예측 모드가 인트라 모드이고 상기 복호화 대상 블록에 대응되는 예측 유닛의 예측 방향이 수직 방향인 경우, 상기 수직 변환 모드에는 상기 수평 변환 모드보다 짧은 코드워드가 할당될 수 있다.
상기 영상 복호화 방법은, 상기 결정된 변환 스킵 모드를 기반으로 상기 복호화 대상 블록에 대한 스캔 모드를 결정하는 단계 및 상기 결정된 스캔 모드를 기반으로 상기 복호화 대상 블록에 대한 역스캐닝을 수행하는 단계를 더 포함할 수 있다.
상기 스캔 모드 결정 단계에서는, 상기 결정된 변환 스킵 모드가 상기 수평 변환 모드인 경우, 상기 스캔 모드를 수직 스캔 모드로 결정할 수 있다.
상기 스캔 모드 결정 단계에서는, 상기 결정된 변환 스킵 모드가 상기 수직 변환 모드인 경우, 상기 스캔 모드를 수평 스캔 모드로 결정할 수 있다.
본 발명의 다른 실시 형태는 영상 복호화 장치이다. 상기 장치는, 복호화 대상 블록에 대응하는 영상 정보를 수신하고 상기 수신된 영상 정보에 대해 엔트로피 복호화를 수행하는 엔트로피 복호화부 및 상기 엔트로피 복호화된 영상 정보를 기반으로, 복수의 변환 스킵 모드 후보 중에서 상기 복호화 대상 블록의 변환 스킵 모드(Transform Skip Mode: TSM)를 결정하고, 상기 결정된 변환 스킵 모드를 기반으로 상기 복호화 대상 블록에 대한 역변환을 수행하는 역변환부를 포함할 수 있다. 여기서, 상기 복수의 변환 스킵 모드 후보는, 수평 변환과 수직 변환이 모두 수행되는 2D 변환 모드, 수평 변환이 수행되는 수평 변환 모드, 수직 변환이 수행되는 수직 변환 모드 및 변환이 수행되지 않는 비변환 모드 중에서 적어도 하나를 포함할 수 있다.
본 발명의 또 다른 실시 형태는 영상 부호화 방법이다. 상기 방법은, 부호화 대상 블록에 대응되는 잔차 블록(residual block)을 생성하는 단계, 복수의 변환 스킵 모드 후보 중에서 상기 부호화 대상 블록의 변환 스킵 모드를 결정하는 단계 및 상기 결정된 변환 스킵 모드를 기반으로 상기 잔차 블록에 대해 변환을 수행하는 단계를 포함할 수 있다. 여기서, 상기 복수의 변환 스킵 모드 후보는, 수평 변환과 수직 변환이 모두 수행되는 2D 변환 모드, 수평 변환이 수행되는 수평 변환 모드, 수직 변환이 수행되는 수직 변환 모드 및 변환이 수행되지 않는 비변환 모드 중에서 적어도 하나를 포함할 수 있다.
상기 부호화 대상 블록에 대응되는 예측 모드는 인터 모드일 수 있고, 상기 변환 스킵 모드 결정 단계에서는, 상기 부호화 대상 블록에 대응되는 예측 유닛의 형태를 기반으로 상기 변환 스킵 모드를 결정할 수 있다.
상기 부호화 대상 블록에 대응되는 예측 모드는 SDIP 모드일 수 있고, 상기 변환 스킵 모드 결정 단계에서는, 상기 부호화 대상 블록에 대응되는 예측 유닛의 형태를 기반으로 상기 변환 스킵 모드를 결정할 수 있다.
상기 부호화 대상 블록에 대응되는 예측 모드는 인트라 모드일 수 있고, 상기 변환 스킵 모드 결정 단계에서는, 상기 부호화 대상 블록에 대응되는 예측 유닛의 예측 방향을 기반으로 상기 변환 스킵 모드를 결정할 수 있다.
상기 방법은, 상기 결정된 변환 스킵 모드를 기반으로 상기 부호화 대상 블록에 대한 스캔 모드를 결정하는 단계 및 상기 결정된 스캔 모드를 기반으로 상기 부호화 대상 블록에 대한 스캐닝을 수행하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 실시 형태는 영상 부호화 장치이다. 상기 장치는, 부호화 대상 블록에 대응되는 잔차 블록(residual block)을 생성하는 잔차 블록 생성부 및 복수의 변환 스킵 모드 후보 중에서 상기 부호화 대상 블록의 변환 스킵 모드를 결정하고, 상기 결정된 변환 스킵 모드를 기반으로 상기 잔차 블록에 대해 변환을 수행하는 변환부를 포함할 수 있다. 여기서, 상기 복수의 변환 스킵 모드 후보는, 수평 변환과 수직 변환이 모두 수행되는 2D 변환 모드, 수평 변환이 수행되는 수평 변환 모드, 수직 변환이 수행되는 수직 변환 모드 및 변환이 수행되지 않는 비변환 모드 중에서 적어도 하나를 포함할 수 있다.
본 발명에 따른 영상 부호화 방법에 의하면, 영상 부호화 성능이 향상될 수 있다.
본 발명에 따른 영상 복호화 방법에 의하면, 영상 복호화 성능이 향상될 수 있다.
본 발명에 따른 변환/역변환 방법에 의하면, 영상 부호화/복호화 성능이 향상될 수 있다.
본 발명에 따른 스캐닝/역스캐닝 방법에 의하면, 영상 부호화/복호화 성능이 향상될 수 있다.
도 1은 본 발명이 적용되는 비디오 부호화기의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 비디오 복호화기의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 변환 모드에 따른 변환 방식의 실시예를 개략적으로 나타내는 도면이다.
도 4는 본 발명에 따른 부호화기에서의 변환 과정의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 5는 본 발명에 따른 복호화기에서의 역변환 과정의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 6은 인터 모드에서의 PU 형태에 따라, 변환 스킵 모드 후보를 결정하는 방법 및 변환 스킵 모드에 코드워드를 할당하는 방법을 설명하기 위한 도면이다.
도 7은 SDIP에서의 PU 형태에 따라, 변환 스킵 모드 후보를 결정하는 방법 및 변환 스킵 모드에 코드워드를 할당하는 방법을 설명하기 위한 도면이다.
도 8은 인트라 모드에서의 예측 방향에 따라 변환 스킵 모드에 코드워드를 할당하는 방법을 설명하기 위한 도면이다.
도 9는 변환 스킵 모드에 따른 변환 계수 스캐닝 방법의 실시예를 개략적으로 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 부호화 방법을 개략적으로 나타내는 흐름도이다.
도 11은 본 발명의 실시예에 따른 복호화 방법을 개략적으로 나타내는 흐름도이다.
본 명세서에서 설명되는 도면상의 각 구성들은 영상 부호화/복호화기에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명이 적용되는 비디오 부호화기의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 1을 참조하면, 상기 비디오 부호화기는 픽쳐 분할부(110), 인터 예측부(120), 인트라 예측부(125), 변환부(130), 양자화부(135), 역양자화부(140), 역변환부(145), 필터부(150), 메모리(155), 재정렬부(160) 및 엔트로피 부호화부(165)를 포함할 수 있다.
픽쳐 분할부(110)는 입력된 현재 픽쳐를 하나 이상의 부호화 단위로 분할할 수 있다. 부호화 유닛(Coding Unit: CU, 이하 ‘CU’라 함)은 비디오 부호화기에서 부호화가 수행되는 하나의 단위로서, 쿼드 트리 구조(Quad Tree Structure)를 기초로 깊이(depth) 정보를 가지고 계층적으로 분할될 수 있다. CU는 8×8, 16×16, 32×32, 64×64 등 다양한 크기를 가질 수 있다. 가장 큰 크기의 CU는 LCU(Largest Coding Unit)로 불릴 수 있으며, 가장 작은 크기의 CU는 SCU(Smallest Coding Unit)로 불릴 수 있다.
또한 픽쳐 분할부(110)는 CU를 분할하여 예측 유닛(Prediction Unit: PU, 이하 ‘PU’라 함)과 변환 유닛(Transdorm Unit: TU, 이하 ‘TU’라 함)을 생성할 수 있다. PU는 CU보다 작거나 같은 블록일 수 있고, 반드시 정방형일 필요는 없으며, 직사각형 형태의 블록일 수도 있다.
통상 인트라 예측은 2N*2N 또는 N*N 크기의 블록 단위로 수행될 수 있다. 여기서 N은 자연수로서 픽셀의 수를 나타내며, 2N*2N 및 N*N은 PU의 크기(및/또는 분할 모드)를 나타낼 수 있다. 그러나, SDIP(Short Distance Intra Prediction: 단거리 인트라 예측) 방법에서는, 인트라 예측의 효율을 높이기 위해 2N*2N의 예측 유닛 외에 이를 더 세분화한 예측 유닛 크기로서 hN*2N/2N*hN이 사용될 수 있다(여기서 h=1/2임). hN*2N/2N*hN의 크기의 예측 단위가 사용되는 경우, 블록 내의 경계면의 방향성이 보다 잘 반영될 수 있으며, 따라서 결과적으로 예측 오차 신호의 에너지가 감소되어 부호화에 필요한 비트량이 절감되어 부호화 효율이 증가할 수 있다.
또한, 인터 예측은 2N*2N, 2N*N, N*2N 또는 N*N 크기의 블록 단위로 수행될 수 있다. 여기서 N은 자연수로서 픽셀의 수를 나타내며, 2N*2N, 2N*N, N*2N 및 N*N은 PU의 크기(및/또는 분할 모드)를 나타낼 수 있다. 또한, 인터 예측에서는 인터 예측의 효율을 높이기 위해 2N*2N, 2N*N, N*2N 또는 N*N의 예측 유닛 외에 2NxnU, 2NxnD, nLx2N 또는 nRx2N의 예측 유닛 단위로 예측이 수행될 수도 있다. 여기서, 2NxnU, 2NxnD, nLx2N 및 nRx2N는 PU의 크기(및/또는 분할 모드)를 나타낼 수 있다. 2NxnU 및 2NxnD의 분할 모드에서는 PU의 크기가 2Nx(1/2)N 또는 2Nx(3/2)N일 수 있고, nLx2N 및 nRx2N의 분할 모드에서는 PU의 크기가 (1/2)Nx2N 또는 (3/2)Nx2N일 수 있다.
인터 예측(Inter Prediction) 모드에 있는 경우, 인터 예측부(120)는 움직임 추정(ME: Motion Estimation) 및 움직임 보상(MC: Motion Compensation)을 수행할 수 있다. 인터 예측부(120)는 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐 정보를 기초로 예측 블록을 생성할 수 있다.
인터 예측부(120)는 분할된 예측 대상 블록 및 메모리부(155)에 저장된 적어도 하나의 참조 블록을 기반으로 움직임 추정을 수행할 수 있다. 인터 예측부(120)는 움직임 추정의 결과로서 움직임 벡터(MV: Motion Vector), 참조 블록 인덱스 및 예측 모드 등을 포함한 움직임 정보(motion information)를 생성할 수 있다.
또한 인터 예측부(120)는 상기 움직임 정보 및 참조 블록을 이용하여 움직임 보상을 수행할 수 있다. 이 때, 인터 예측부(120)는 상기 참조 블록으로부터 입력 블록에 대응하는 예측 블록을 생성하여 출력할 수 있다.
인트라 예측(Intra Prediction) 모드의 경우, 인트라 예측부(125)는 현재 픽쳐 내의 픽셀 정보를 기초로 예측 블록을 생성할 수 있다. 인트라 예측 모드의 경우, 인트라 예측부(125)는 예측 대상 블록과 이전에 변환 및 양자화된 후 복원된 복원 블록을 기반으로 현재 블록에 대한 예측을 수행할 수 있다. 상기 복원 블록은 필터부(150)를 거치기 전의 복원된 영상일 수 있다.
상술한 바와 같이 인터 모드 또는 인트라 모드에서는 예측 대상 블록에 대한 예측이 수행되고 예측 블록이 생성될 수 있다. 이 때, 예측 대상 블록 및 생성된 예측 블록의 차분에 의해 잔차 블록이 생성될 수 있다.
변환부(130)는 TU 별로 잔차 블록에 대해 변환을 수행하여 변환 계수를 생성할 수 있다. TU는 최대 크기와 최소 크기의 범위 내에서 트리 구조(tree structure)를 가질 수 있다. TU 별로 현재 블록이 하위 블록(sub-block)으로 나누어지는지는 지시자(flag)를 통해 지시될 수 있다. 변환부(130)는 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform) 등을 기반으로 변환을 수행할 수 있다.
양자화부(135)는 변환부(130)에서 변환된 값들을 양자화할 수 있다. 블록에 따라 또는 영상의 중요도에 따라 양자화 계수는 변할 수 있다. 양자화된 변환 계수 값은 재정렬부(160) 및 역양자화부(140)에 제공될 수 있다.
재정렬부(160)는, 엔트로피 부호화의 효율을 높이기 위해, 스캔(scan)을 통하여 상기 양자화된 2차원 블록 형태의 변환 계수를 1차원 벡터 형태의 변환 계수로 정렬할 수 있다. 이때, 재정렬부(160)는 확률적 통계를 기초로 스캔 순서를 달리 하여 엔트로피 부호화 효율을 높일 수 있다.
엔트로피 부호화부(165)는 재정렬부(160)에서 얻어진 값들을 엔트로피 부호화할 수 있다. 엔트로피 부호화 과정에서는 발생 빈도가 높은 구문 요소 값에 더 적은 비트수의 코드워드가 할당될 수 있고, 발생 빈도가 낮은 구문 요소 값에 더 많은 비트수의 코드워드가 할당될 수 있다. 따라서, 부호화 대상 심볼들에 대한 비트열의 크기가 감소되어 영상 부호화 압축 성능이 높아질 수 있다. 엔트로피 부호화를 위해서는 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding) 및/또는 CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 부호화 방법이 사용될 수 있다. 부호화된 정보들은 압축된 비트 스트림을 형성하여 네트워크 추상 계층(NAL: Network Abstraction Layer)을 통해 전송되거나 저장될 수 있다.
역양자화부(140)는 양자화부(135)에서 양자화된 변환 계수를 역양자화할 수 있고, 역변환부(145)는 역양자화된 변환 계수를 역변환해서 복원된 잔차 블록을 생성할 수 있다. 복원된 잔차 블록은 인터 예측부(120) 또는 인트라 예측부(125)에서 생성된 예측 블록과 합쳐져 복원 블록이 생성될 수 있다. 복원 블록은 인트라 예측부(125) 및 필터부(150)에 제공될 수 있다.
필터부(150)는 복원된 잔차 블록에 디블록킹 필터(Deblocking Filter), SAO(Sample Adaptive Offset) 및/또는 ALF(Adaptive Loop Filter) 등을 적용할 수 있다. 디블록킹 필터는 부호화 및 복호화 과정에서 발생하는 블록 경계 사이의 왜곡을 제거하기 위해, 복원 블록을 필터링할 수 있다. SAO는 디블록킹 필터가 적용된 잔차 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원해주는 루프 필터 처리 과정이다. SAO를 통해서 적용되는 오프셋으로는 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등이 있을 수 있다. 밴드 오프셋은 픽셀을 세기(intensity)에 따른 32개의 밴드로 구분하고, 32 개 밴드를 가장 자리의 16개 밴드와 중심부 16개 밴드의 두 밴드 그룹으로 나누어 오프셋을 적용할 수 있다. ALF는 예측 대상 블록과 최종 복원 블록 사이의 에러를 최소화하기 위해 필터링을 수행할 수 있다. ALF는 디블록킹 필터를 통해 필터링된 복원 블록과 현재의 예측 대상 블록을 비교한 값을 기초로 필터링을 수행할 수 있으며, ALF의 필터 계수 정보는 슬라이스 헤더(slice header)에 실려 부호화기로부터 복호화기로 전송될 수 있다.
메모리(155)는 필터부(150)를 거친 최종 복원 블록을 저장할 수 있고, 저장된 최종 복원 블록은 인터 예측을 수행하는 인터 예측부(120)에 제공될 수 있다.

도 2는 비디오 복호화기의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 2를 참조하면, 비디오 복호화기는 엔트로피 복호화부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 인터 예측부(230), 인트라 예측부(235), 필터부(240) 및 메모리(245)를 포함할 수 있다.
엔트로피 복호화부(210)는 NAL로부터 압축된 비트 스트림을 수신할 수 있다. 엔트로피 복호화부(210)는 수신된 비트 스트림을 엔트로피 복호화할 수 있고, 예측 모드, 움직임 벡터 정보 등이 비트 스트림에 포함되는 경우 이를 함께 엔트로피 복호화할 수 있다. 엔트로피 복호화 방법이 적용되는 경우, 발생 빈도가 높은 구문 요소 값에 더 적은 비트수의 코드워드가 할당될 수 있고, 발생 빈도가 낮은 구문 요소 값에 더 많은 비트수의 코드워드가 할당될 수 있다. 따라서, 부호화 대상 심볼들에 대한 비트열의 크기가 감소되어 영상 복호화 성능이 높아질 수 있다.
엔트로피 복호화된 변환 계수 또는 잔차 신호는 재정렬부(215)에 제공될 수 있다. 재정렬부(215)는 복호화된 변환 계수 또는 잔차 신호를 역스캔(inverse scan)하여 2차원 블록 형태의 변환 계수를 생성할 수 있다.
역양자화부(220)는 재정렬된 변환 계수를 역양자화할 수 있다. 역변환부(225)는 역양자화된 변환 계수를 역변환하여 잔차 블록을 생성할 수 있다.
잔차 블록은 인터 예측부(230) 또는 인트라 예측부(235)에서 생성된 예측 블록과 합쳐져 복원 블록이 생성될 수 있다. 복원 블록은 인트라 예측부(235) 및 필터부(240)에 제공될 수 있다. 인터 예측부(230) 및 인트라 예측부(235)의 동작은 각각 비디오 부호화기에서의 인터 예측부(120) 및 인트라 예측부(125)의 동작과 동일하거나 유사하므로, 여기서는 생략하기로 한다.
필터부(240)는 복원 블록에 디블록킹 필터, SAO 및/또는 ALF 등을 적용할 수 있다. 디블록킹 필터는 부호화 및 복호화 과정에서 발생하는 블록 경계 사이의 왜곡을 제거하기 위해, 복원 블록을 필터링할 수 있다. SAO는 디블록킹 필터링된 복원 블록에 픽셀 단위로 적용되어 원본 영상과의 차이를 줄일 수 있다. 또한, ALF는 예측 대상 블록과 최종 복원 블록 사이의 에러를 최소화하기 위해 SAO 과정이 수행된 복원 블록에 필터링을 수행할 수 있다.
메모리(245)는 필터부(240)를 통해 얻어진 최종 복원 블록을 저장할 수 있고, 저장된 최종 복원 블록은 인터 예측을 수행하는 인터 예측부(230)에 제공될 수 있다.
이하, 블록은 영상 부호화 및 복호화의 단위를 의미할 수 있다. 따라서, 본 명세서에서 블록은 경우에 따라 부호화 유닛(CU: Coding Unit), 예측 유닛(PU: Prediction Unit), 변환 유닛(TU: Transform Unit) 등을 의미할 수도 있다. 또한, 본 명세서에서 부호화/복호화 대상 블록은, 변환/역변환이 수행되는 경우의 변환/역변환 대상 블록 및 예측이 수행되는 경우의 예측 대상 블록 등을 모두 포함하는 의미로 사용될 수 있다.

도 1 및 도 2의 실시예에서 상술한 바와 같이, 부호화기는 TU 별로 잔차 블록에 대해 변환을 수행할 수 있으며, 복호화기는 역양자화된 변환 계수를 역변환함으로써 복원된 잔차 블록을 생성할 수 있다. 이하, 본 명세서에서는 설명의 편의상 경우에 따라 역변환이 ‘변환’으로 지칭될 수도 있으며, 이와 같은 구분은 당해 기술 분야에서 통상의 지식을 가진 자라면 용이하게 할 수 있을 것이다.
이 때, 부호화기 및 복호화기는 수직 변환(vertical transform) 및 수평 변환(horizontal transform)을 모두 포함하는 2D 변환을 수행할 수 있다. 그러나, 수직 방향의 신호와 수평 방향의 신호의 특성이 서로 크게 다른 경우에는, 수직 변환 또는 수평 변환이 생략될 수 있으며, 스파스(sparse) 신호에 대해서는 변환 과정 전체가 생략될 수도 있다. 이러한 변환 방법은 복호화기에서의 복잡도를 감소시킬 수 있고, 부호화 효율을 향상시킬 수 있다.
이하, 본 명세서에서는 수평 변환과 수직 변환이 모두 수행되는 변환 모드는‘2D 변환 모드’라 한다. 또한, 수직 변환이 생략되고 수평 변환만이 수행되는 변환 모드는 ‘수평 변환 모드’라 하고, 수평 변환이 생략되고 수직 변환만이 수행되는 변환 모드는 ‘수직 변환 모드’라 한다. 그리고, 수평 변환과 수직 변환이 모두 생략되는 변환 모드는 ‘비변환 모드’라 한다. 여기서, ‘비변환 모드’는 ‘변환 바이패스(transform bypass) 모드’로도 불릴 수 있다.

도 3은 변환 모드에 따른 변환 방식의 실시예를 개략적으로 나타내는 도면이다.
도 3의 310 내지 340 각각에 도시된 정방형 블록은 변환 대상 블록을 나타낸다. 여기서, 상기 변환 대상 블록은 TU 및/또는 CU에 해당될 수 있다. 또한, 도 3의 310 내지 330 각각에 도시된 화살표는 변환 방향을 나타낼 수 있다.
도 3의 310에서는 변환 대상 블록에 대해 수직 변환 및 수평 변환이 모두 수행될 수 있다. 따라서, 도 3의 310에 도시된 변환 모드는 2D 변환 모드에 해당될 수 있다. 또한, 도 3의 320에서는 수직 변환이 생략되고 수평 변환만이 수행될 수 있다. 따라서, 도 3의 320에 도시된 변환 모드는 수평 변환 모드에 해당될 수 있다. 이 경우에는 열(column)이 아닌 행(row)에 대해서 변환이 수행되므로, 수평 변환 모드에서의 변환 방식은 ‘행 변환(transform on rows only)’으로도 불릴 수 있다. 도 3의 330에서는 수평 변환이 생략되고 수직 변환만이 수행될 수 있다. 따라서, 도 3의 330에 도시된 변환 모드는 수직 변환 모드에 해당될 수 있다. 이 경우에는 행(row)이 아닌 열(column)에 대해서 변환이 수행되므로, 수직 변환 모드에서의 변환 방식은 ‘열 변환(transform on rows only)’으로도 불릴 수 있다. 도 3의 340의 실시예에서는 변환 대상 블록에 대해 변환이 수행되지 않을 수 있다. 따라서, 도 3의 340에 도시된 변환 모드는 비변환 모드에 해당될 수 있다.
상술한 각각의 변환 모드에서는 수직 변환 및/또는 수평 변환이 생략되거나 또는 생략되지 않을 수 있다. 따라서, 상술한 각각의 변환 모드는 변환 스킵 모드(Transfrom Skip Mode: TSM)로 불릴 수 있다. 즉, 변환 스킵 모드에는 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드가 있을 수 있다. 따라서, 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및/또는 비변환 모드는 변환 대상 블록에 대한 변환 스킵 모드 후보로 사용될 수 있다.
일 실시예로, 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드 중에서 적어도 하나는 변환 대상 블록에 대한 변환 스킵 모드 후보로 사용될 수 있다. 이 때, 하나의 변환 대상 블록에는 복수의 변환 스킵 모드 후보 중에서 선택된 하나의 변환 스킵 모드가 적용될 수 있다. 부호화기는 복수의 변환 스킵 모드 후보 중에서 율-왜곡 최적화(Rate-Distortion Optimization) 관점에서 가장 작은 비용 값을 갖는 변환 스킵 모드를 선택할 수 있다. 이 때, 부호화기는 선택된 변환 스킵 모드를 기반으로 변환 대상 블록에 대한 변환을 수행할 수 있다. 즉, 부호화기는 선택된 변환 스킵 모드에 따라, 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드 중에서 하나를 변환 대상 블록에 적용할 수 있다.
또한, 부호화기는 선택된 변환 스킵 모드에 관한 정보를 부호화하여 복호화기로 전송할 수 있다. 변환 스킵 모드는 CU 단위로 결정되거나 또는 TU 단위로 결정될 수 있다. 이 때, 변환 스킵 모드가 CU 단위로 결정되는 경우에는 CU 단위로 상기 정보가 전송될 수 있고, 변환 스킵 모드가 TU 단위로 결정되는 경우에는 TU 단위로 상기 정보가 전송될 수 있다.
일례로, 상기 변환 스킵 모드에 관한 정보는, 변환 스킵 모드 인덱스(transform skip mode index)를 통해 복호화기로 전송될 수 있다. 여기서 변환 스킵 모드 인덱스는 변환 스킵 모드 후보 중에서, 변환 대상 블록에 대해 적용되는 변환 스킵 모드를 지시하는 인덱스를 의미할 수 있다. 상기 변환 스킵 모드 인덱스에는 변환 스킵 모드에 따라 인덱스 값이 할당될 수 있다. 이 때, 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드는 서로 다른 인덱스 값에 대응될 수 있다.
복호화기는 부호화기로부터 변환 스킵 모드에 관한 정보(예를 들어, 부호화된 변환 스킵 모드 인덱스)를 수신하여 복호화할 수 있다. 이 때, 복호화기는 복호화된 정보를 기반으로 변환 대상 블록에 적용되는 변환 스킵 모드를 도출할 수 있다. 그리고 복호화기는 도출된 변환 스킵 모드를 기반으로 변환 대상 블록에 대한 변환을 수행할 수 있다. 즉, 복호화기는 도출된 변환 스킵 모드에 따라, 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드 중에서 하나를 변환 대상 블록에 적용할 수 있다.

도 4는 본 발명에 따른 부호화기에서의 변환 과정의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 4를 참조하면, 부호화기는 복수의 변환 스킵 모드 후보 중에서 변환 대상 블록에 대한 변환 스킵 모드를 결정할 수 있다(S410). 여기서, 상기 복수의 변환 스킵 모드 후보는 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드 중에서 적어도 하나일 수 있다. 이 때, 부호화기는 복수의 변환 스킵 모드 후보 중에서 율-왜곡 최적화 관점에서 가장 작은 비용 값을 갖는 변환 스킵 모드를 선택할 수 있다. 변환 스킵 모드 후보를 결정하는 방식의 구체적인 실시예는 후술하기로 한다.
다시 도 4를 참조하면, 부호화기는 결정된 변환 스킵 모드를 기반으로 변환 대상 블록에 대한 변환을 수행할 수 있다(S420). 즉, 부호화기는 선택된 변환 스킵 모드에 따라, 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드 중에서 하나를 변환 대상 블록에 적용할 수 있다.
또한, 부호화기는 변환 대상 블록에 적용되는 변환 스킵 모드에 관한 정보를 부호화하여 복호화기로 전송할 수 있다. 일례로 상기 정보는 변환 스킵 모드 인덱스를 통해 복호화기로 전송될 수 있다. 이 때, 상술한 바와 같이 부호화기는 변환 스킵 모드의 발생 확률을 고려하여, 발생 빈도가 높은 변환 스킵 모드에 짧은 코드워드를 할당하고 발생 빈도가 낮은 변환 스킵 모드에 긴 코드워드를 할당할 수 있다. 변환 스킵 모드에 코드워드를 할당하는 방법의 구체적인 실시예는 후술하기로 한다.

도 5는 본 발명에 따른 복호화기에서의 역변환 과정의 일 실시예를 개략적으로 나타내는 흐름도이다.
복호화기는 부호화기로부터 변환 스킵 모드에 관한 정보(예를 들어, 부호화된 변환 스킵 모드 인덱스)를 포함한 비트스트림을 수신하여 복호화할 수 있다. 부호화기로부터 수신된 비트스트림에서, 발생 빈도가 높은 변환 스킵 모드에는 짧은 코드워드가 할당되어 있을 수 있으며, 발생 빈도가 낮은 변환 스킵 모드에는 긴 코드워드가 할당되어 있을 수 있다. 변환 스킵 모드에 코드워드를 할당하는 방법의 구체적인 실시예는 후술하기로 한다.
도 5를 참조하면, 복호화기는 복수의 변환 스킵 모드 후보 중에서 역변환 대상 블록에 대한 변환 스킵 모드를 도출할 수 있다(S510). 여기서, 상기 복수의 변환 스킵 모드 후보는 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드 중에서 적어도 하나일 수 있다. 또한 복호화기는 부호화기에서와 동일한 변환 스킵 모드 후보를 사용할 수 있다. 이 때, 복호화기는 복호화된 정보(변환 스킵 모드에 관한 정보. 예를 들어, 복호화된 변환 스킵 모드 인덱스)를 기반으로 역변환 대상 블록에 대한 변환 스킵 모드를 도출할 수 있다. 변환 스킵 모드 후보를 결정하는 방식의 구체적인 실시예는 후술하기로 한다.
다시 도 5를 참조하면, 복호화기는 도출된 변환 스킵 모드를 기반으로 역변환 대상 블록에 대한 역변환을 수행할 수 있다(S520). 즉, 복호화기는 선택된 변환 스킵 모드에 따라, 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드 중에서 하나를 역변환 대상 블록에 적용할 수 있다.

한편, 일 실시예로 도 4 및 도 5의 실시예에서, 부호화기 및 복호화기는 2D 변환 모드, 수평 변환 모드, 수직 변환 모드 및 비변환 모드 모두를 변환 스킵 모드 후보로 사용할 수 있다. 이 때, 2D 변환 모드(및/또는 2D 변환 모드에 대응되는 변환 스킵 모드 인덱스), 수평 변환 모드(및/또는 수평 변환 모드에 대응되는 변환 스킵 모드 인덱스), 수직 변환 모드(및/또는 수직 변환 모드에 대응되는 변환 스킵 모드 인덱스) 및 비변환 모드(및/또는 비변환 모드에 대응되는 변환 스킵 모드 인덱스)에는 서로 다른 코드워드가 할당될 수 있다. 이 경우, 부호화기는 상술한 바와 같이 변환 스킵 모드의 발생 확률을 고려하여, 발생 빈도가 높은 변환 스킵 모드에 짧은 코드워드를 할당하고 발생 빈도가 낮은 변환 스킵 모드에 긴 코드워드를 할당할 수 있다. 다음 표 1은 변환 스킵 모드에 코드워드를 할당하는 방법의 일 실시예를 나타낸다.
[표 1]
Figure PCTKR2012008482-appb-I000001

표 1의 실시예에서, TS0은 2D 변환 모드를 나타낸다. 또한, TS1은 수평 변환 모드를 나타내고 TS2는 수직 변환 모드를 나타낸다. 그리고, TS3는 비변환 모드를 나타낸다. 여기서, 수평 변환 모드 및 수직 변환 모드는 모두 1D 변환 모드에 해당될 수 있다.
표 1을 참조하면, 일례로 2D 변환 모드의 발생 빈도가 가장 높은 경우에 2D 변환 모드에는 코드워드 ‘1’이 할당될 수 있다. 또한, 발생 빈도에 따라 수평 변환 모드에는 코드워드 ‘01’이 할당되고, 수직 변환 모드에는 코드워드 ‘001’이 할당되고, 비변환 모드에는 코드워드 ‘000’이 할당될 수 있다.
변환 스킵 모드에 따라 수직 변환 및/또는 수평 변환이 생략되는 경우에도, 양자화 매트릭스(quantization matrix)는 2D 변환 모드에서와 동일하게 적용될 수 있다. 또한, 이 경우 부호화기 및 복호화기는 변환이 생략된 행(row) 및/또는 열(column)의 값에 대해 스케일링(scaling)을 수행할 수 있으며, 이는 다음 수학식 1에 의해 나타내어질 수 있다.
[수학식 1]
y = (x*scale + offset) >> shift

여기서, x는 변환이 생략된 행 및/또는 열에 존재하는 성분(element)의 값을 의미하고, y는 스케일링된 값을 의미할 수 있다. 또한, ‘scaling’은 스케일링 팩터(scaling factor)를 나타낼 수 있다. ‘offset’은 스케일링 과정에서 적용되는 오프셋 값을 나타내고, ‘shift’는 스케일링 과정에서 적용되는 비트 이동 값을 나타낼 수 있다. 여기서, ‘offset’ 및 ‘shift’는 각각, 변환이 생략되지 않는 경우(예를 들어, 2D 변환 모드인 경우) 적용되는 오프셋 값 및 비트 이동 값과 동일한 값을 가질 수 있다.
또한, 수학식 1의 실시예에서 부호화기 및 복호화기에 적용되는 스케일링 팩터는, TU의 크기에 따라 종속적으로 결정되는 값일 수 있다. TU의 크기에 따른 스케일링 팩터 값은 일 실시예로 다음 표 2와 같이 설정될 수 있다.
[표 2]
Figure PCTKR2012008482-appb-I000002

여기서, N(및/또는 NxN)은 TU의 크기를 나타낼 수 있고, scale은 스케일링 팩터를 나타낼 수 있다. 일례로, 표 2의 실시예에서 TU의 크기가 8x8인 경우에 적용되는 스케일링 팩터 값은 181일 수 있다.

한편, 상술한 바와 같이 PU는 반드시 정방형일 필요는 없으며, 직사각형 형태의 블록일 수도 있다. 예를 들어, 인터 모드에서 PU는 2N*N, N*2N, 2NxnU, 2NxnD, nLx2N 또는 nRx2N의 크기(및/또는 형태)를 가질 수 있다. 또한, SDIP가 적용되는 경우, PU는 2N*(1/2)N, (1/2)N*2N의 크기(및/또는 형태)를 가질 수 있다. 이러한 경우에는 특정 변환 스킵 모드의 발생 확률이 작을 수 있으므로, 부호화기 및 복호화기는 발생 확률이 작은 변환 스킵 모드를 변환 스킵 모드 후보로 사용하지 않음으로써 부호화/복호화 성능을 향상시킬 수 있다. 또한, 이러한 경우 부호화기는 발생 확률이 작은 변환 스킵 모드에 짧은 코드워드를 할당함으로써, 부호화/복호화 성능을 향상시킬 수도 있다. 따라서, PU의 크기(및/또는 형태)에 따라 변환 스킵 모드 후보를 결정하는 방법 및 PU의 크기(및/또는 형태)에 따라 변환 스킵 모드에 코드워드를 할당하는 방법이 제공될 수 있다.

도 6은 인터 모드에서의 PU 형태에 따라, 변환 스킵 모드 후보를 결정하는 방법 및 변환 스킵 모드에 코드워드를 할당하는 방법을 설명하기 위한 도면이다.
도 6은 인터 모드에서의 PU의 크기(및/또는 형태)를 개략적으로 도시한다. 도 6을 참조하면, 하나의 부호화 단위(610)는 영상의 성질 등에 따라 서로 다른 크기의 PU로 분할될 수 있다. 도 6은 인터 예측이 수행되는 경우를 나타내는 도면으로서, 하나의 부호화 단위(610)가 복수의 PU(620)로 분할되는 것을 보여준다. 인터 모드에서 PU의 크기(및/또는 형태)는 각각 2N*2N(621), 2N*N(622), N*2N(623), N*N(624), 2NxnU(625), 2NxnD(626), nLx2N(627) 또는 nRx2N(628)이 될 수 있다. 여기서, N*N(624) 크기(및/또는 형태)의 PU는 예측 비용을 산출하기 위한 계산 중복을 방지하기 위해 최소 부호화 단위인 SCU에서만 사용될 수도 있다.
한편, 인터 모드에서 수평 변환 모드 및 수직 변환 모드의 발생 확률은 PU의 형태에 따라 달라질 수 있다. 따라서, PU의 형태에 따라 변환 스킵 모드(및/또는 변환 스킵 모드 인덱스)에 할당되는 코드워드는 다르게 정해질 수 있다. 즉, 변환 스킵 모드(및/또는 변환 스킵 모드 인덱스)에 할당되는 코드워드는 PU의 형태를 기반으로 결정될 수 있다.
일 실시예로, PU의 형태가 N*2N(623)인 경우에는, 수평 변환의 에너지 압축(energy compaction) 효과가 수직 변환의 에너지 압축 효과보다 작을 수 있다. 따라서, 이 경우에는 수직 변환 모드의 발생 확률이 수평 변환 모드의 발생 확률보다 높을 수 있다. 상술한 표 1의 실시예에서는 수평 변환 모드에 ‘01’의 코드워드가 할당되고 수직 변환 모드에 ‘001’의 코드워드가 할당되어 있으므로, 발생 확률이 높은 변환 스킵 모드에 더 긴 코드워드가 할당된다. 따라서, PU의 형태가 N*2N(623)인 경우에는, 수평 변환 모드에 할당되는 코드워드 및 수직 변환 모드에 할당되는 코드워드를 재설정함으로써, 부호화 성능이 향상될 수 있다. 다음 표 3은 PU의 형태가 N*2N(623)인 경우 변환 스킵 모드에 코드워드를 할당하는 방법의 실시예를 나타낸다.
[표 3]
Figure PCTKR2012008482-appb-I000003

표 3의 실시예에서, TS0은 2D 변환 모드를 나타낸다. 또한, TS1은 수평 변환 모드를 나타내고 TS2는 수직 변환 모드를 나타낸다. 그리고, TS3는 비변환 모드를 나타낸다. 여기서, 수평 변환 모드 및 수직 변환 모드는 모두 1D 변환 모드에 해당될 수 있다.
표 3을 참조하면, 수평 변환 모드에는 코드워드 ‘001’이 할당되고, 수직 변환 모드에는 코드워드 ‘01’이 할당될 수 있다. 상술한 바와 같이, PU의 형태가 N*2N(623)인 경우에는 수직 변환 모드의 발생 확률이 수평 변환 모드의 발생 확률보다 높을 수 있으므로, 수직 변환 모드에 수평 변환 모드보다 짧은 코드워드가 할당될 수 있다.
상술한 표 3의 실시예는 PU의 형태가 N*2N(623)인 경우를 기준으로 서술되었으나, 본 발명은 이에 한정되는 것은 아니다. 예를 들어, PU의 형태가 N*2N(623)인 경우뿐만 아니라 nLx2N(627) 또는 nRx2N(628)인 경우에도, 수직 변환 모드의 발생 확률은 수평 변환 모드의 발생 확률보다 높을 수 있다. 따라서, 이 경우에도 수직 변환 모드에는 수평 변환 모드보다 짧은 코드워드가 할당될 수 있다.
반면, PU의 형태가 2N*N(622), 2NxnU(625) 및 2NxnD(626)인 경우에는, 수평 변환 모드의 발생 확률이 수직 변환 모드의 발생 확률보다 높을 수 있다. 따라서, 이 경우에는 수평 변환 모드에 수직 변환 모드보다 짧은 코드워드가 할당될 수 있다. 일례로, PU의 형태가 2N*N(622), 2NxnU(625) 및 2NxnD(626)인 경우에는, 상술한 표 1의 실시예에서와 같은 코드워드 할당 방식이 사용될 수 있다.
한편, 상술한 바와 같이 인터 모드에서 수평 변환 모드 및 수직 변환 모드의 발생 확률은 PU의 형태에 따라 달라질 수 있으므로, 변환 스킵 모드 후보의 개수가 PU의 형태에 따라 다르게 정해질 수도 있다. 즉, 변환 대상 블록에 대한 변환 스킵 모드 후보는 상기 변환 대상 블록에 대응되는 PU의 형태를 기반으로 결정될 수 있다.
일 실시예로, PU의 형태가 2N*N(622)인 경우에는, 수직 변환의 에너지 압축 효과가 수평 변환의 에너지 압축 효과보다 작으므로, 수직 변환 모드의 발생 확률이 수평 변환 모드의 발생 확률보다 작을 수 있다. 따라서, PU의 형태가 2N*N(622)인 경우에는, 수직 변환 모드를 제외한 2D 변환 모드, 수평 변환 모드 및 비변환 모드가 변환 대상 블록에 대한 변환 스킵 모드 후보로 사용될 수 있다. 이 경우 변환 대상 블록에 적용되는 변환 스킵 모드는 2D 변환 모드, 수평 변환 모드 및 비변환 모드 중에서 하나일 수 있다. 다음 표 4는 2D 변환 모드, 수평 변환 모드 및 비변환 모드가 변환 스킵 모드 후보로 사용되는 경우 변환 스킵 모드에 코드워드를 할당하는 방법의 실시예를 나타낸다.
[표 4]
Figure PCTKR2012008482-appb-I000004

표 4의 실시예에서, TS0은 2D 변환 모드를 나타내고, TS1은 수평 변환 모드를 나타내며, TS3는 비변환 모드를 나타낸다. 여기서, 수평 변환 모드는 1D 변환 모드에 해당될 수 있다. 표 4를 참조하면, PU의 형태가 2N*N(622)인 경우에는 2D 변환 모드, 수평 변환 모드 및 비변환 모드가 변환 스킵 모드 후보로 사용될 수 있다.
상술한 표 4의 실시예는 PU의 형태가 2N*N(622)인 경우를 기준으로 서술되었으나, 본 발명은 이에 한정되는 것은 아니다. 예를 들어, PU의 형태가 2N*N(622)인 경우뿐만 아니라 2NxnU(625) 및 2NxnD(626)인 경우에도, 수직 변환 모드의 발생 확률은 수평 변환 모드의 발생 확률보다 작을 수 있다. 따라서, 이 경우에도 수직 변환 모드를 제외한 2D 변환 모드, 수평 변환 모드 및 비변환 모드가 변환 대상 블록에 대한 변환 스킵 모드 후보로 사용될 수 있다.
다른 실시예로, PU의 형태가 N*2N(623)인 경우에는, 수평 변환의 에너지 압축 효과가 수직 변환의 에너지 압축 효과보다 작으므로, 수평 변환 모드의 발생 확률이 수직 변환 모드의 발생 확률보다 작을 수 있다. 따라서, PU의 형태가 N*2N(623)인 경우에는, 수평 변환 모드를 제외한 2D 변환 모드, 수직 변환 모드 및 비변환 모드가 변환 대상 블록에 대한 변환 스킵 모드 후보로 사용될 수 있다. 이 경우 변환 대상 블록에 적용되는 변환 스킵 모드는 2D 변환 모드, 수직 변환 모드 및 비변환 모드 중에서 하나일 수 있다. 다음 표 5는 2D 변환 모드, 수직 변환 모드 및 비변환 모드가 변환 스킵 모드 후보로 사용되는 경우 변환 스킵 모드에 코드워드를 할당하는 방법의 실시예를 나타낸다.
[표 5]
Figure PCTKR2012008482-appb-I000005

표 5의 실시예에서, TS0은 2D 변환 모드를 나타내고, TS2는 수직 변환 모드를 나타내며, TS3는 비변환 모드를 나타낸다. 여기서, 수직 변환 모드는 1D 변환 모드에 해당될 수 있다. 표 5를 참조하면, PU의 형태가 N*2N(623)인 경우에는 2D 변환 모드, 수직 변환 모드 및 비변환 모드가 변환 스킵 모드 후보로 사용될 수 있다.
상술한 표 5의 실시예는 PU의 형태가 N*2N(623)인 경우를 기준으로 서술되었으나, 본 발명은 이에 한정되는 것은 아니다. 예를 들어, PU의 형태가 N*2N(623)인 경우뿐만 아니라 nLx2N(627) 또는 nRx2N(628)인 경우에도, 수평 변환 모드의 발생 확률은 수직 변환 모드의 발생 확률보다 작을 수 있다. 따라서, 이 경우에도 수평 변환 모드를 제외한 2D 변환 모드, 수직 변환 모드 및 비변환 모드가 변환 대상 블록에 대한 변환 스킵 모드 후보로 사용될 수 있다.
상술한 표 3 내지 표 5의 실시예에서는, 변환 스킵 모드(및/또는 변환 스킵 모드 인덱스)를 부호화하기 위해 사용되는 비트 수가 감소될 수 있다. 따라서, 부호화/복호화 성능이 향상될 수 있다.

도 7은 SDIP에서의 PU 형태에 따라, 변환 스킵 모드 후보를 결정하는 방법 및 변환 스킵 모드에 코드워드를 할당하는 방법을 설명하기 위한 도면이다.
도 7은 SDIP에서의 PU의 크기(및/또는 형태)를 개략적으로 도시한다. 도 7을 참조하면, 하나의 부호화 단위(710)는 영상의 성질 등에 따라 서로 다른 크기의 PU로 분할될 수 있다. 도 7은 SDIP가 적용되는 경우를 나타내는 도면으로서, 하나의 부호화 단위(710)가 복수의 PU(720)로 분할되는 것을 보여준다. SDIP에서 PU의 크기(및/또는 형태)는 각각 2N*2N(721), N*N(723), (1/2)N*2N(725) 또는 2N*(1/2)N(727) 이 될 수 있다. 여기서, N*N(723) 크기(및/또는 형태)의 PU는 예측 비용을 산출하기 위한 계산 중복을 방지하기 위해 최소 부호화 단위인 SCU에서만 사용될 수도 있다.
한편, SDIP에서 수평 변환 모드 및 수직 변환 모드의 발생 확률은 PU의 형태에 따라 달라질 수 있으므로, 변환 스킵 모드 후보의 개수가 PU의 형태에 따라 다르게 정해질 수 있다. 즉, 변환 대상 블록에 대한 변환 스킵 모드 후보는 상기 변환 대상 블록에 대응되는 PU의 형태를 기반으로 결정될 수 있다.
일 실시예로, PU의 형태가 2N*(1/2)N(727)인 경우에는, 수직 변환의 에너지 압축 효과가 수평 변환의 에너지 압축 효과보다 작으므로, 수직 변환 모드의 발생 확률이 수평 변환 모드의 발생 확률보다 작을 수 있다. 따라서, PU의 형태가 2N*(1/2)N(727)인 경우에는, 수직 변환 모드를 제외한 2D 변환 모드, 수평 변환 모드 및 비변환 모드가 변환 대상 블록에 대한 변환 스킵 모드 후보로 사용될 수 있다. 이 경우 변환 대상 블록에 적용되는 변환 스킵 모드는 2D 변환 모드, 수평 변환 모드 및 비변환 모드 중에서 하나일 수 있다. 2D 변환 모드, 수평 변환 모드 및 비변환 모드가 변환 스킵 모드 후보로 사용되는 경우 변환 스킵 모드에 코드워드를 할당하는 방법의 실시예는 표 4에서 상술한 바 있으므로, 여기서는 생략하기로 한다.
다른 실시예로, PU의 형태가 (1/2)N*2N(725)인 경우에는, 수평 변환의 에너지 압축 효과가 수직 변환의 에너지 압축 효과보다 작으므로, 수평 변환 모드의 발생 확률이 수직 변환 모드의 발생 확률보다 작을 수 있다. 따라서, PU의 형태가 (1/2)N*2N(725)인 경우에는, 수평 변환 모드를 제외한 2D 변환 모드, 수직 변환 모드 및 비변환 모드가 변환 대상 블록에 대한 변환 스킵 모드 후보로 사용될 수 있다. 이 경우 변환 대상 블록에 적용되는 변환 스킵 모드는 2D 변환 모드, 수직 변환 모드 및 비변환 모드 중에서 하나일 수 있다. 2D 변환 모드, 수직 변환 모드 및 비변환 모드가 변환 스킵 모드 후보로 사용되는 경우 변환 스킵 모드에 코드워드를 할당하는 방법의 실시예는 표 5에서 상술한 바 있으므로, 여기서는 생략하기로 한다.
상술한 실시예에서는, 변환 스킵 모드(및/또는 변환 스킵 모드 인덱스)를 부호화하기 위해 사용되는 비트 수가 감소될 수 있다. 따라서, 부호화/복호화 성능이 향상될 수 있다.

도 8은 인트라 모드에서의 예측 방향에 따라 변환 스킵 모드에 코드워드를 할당하는 방법을 설명하기 위한 도면이다.
도 1 및 도 2의 실시예에서 상술한 바와 같이, 부호화기 및 복호화기는 현재 픽쳐 내의 픽셀 정보를 기초로 인트라 예측을 수행하여 예측 블록을 생성할 수 있다. 인트라 예측은 예측 대상 블록의 인트라 예측 모드에 따라 수행될 수 있다. 인트라 예측 모드에는 DC 모드, 플래너(planar) 모드, 수직(vertical) 모드, 수평(horizontal) 모드, 앵귤러 모드 등이 있을 수 있다. DC 모드 및 플래너 모드는 비방향성 모드이고, 나머지 모드들은 방향성 모드이다. 여기서, 앵귤러 모드는 수직 모드 및 수평 모드를 제외한 방향성(directional) 예측 모드를 의미할 수 있다.
도 8은 인트라 예측 모드의 예측 방향 및 각 예측 방향에 할당된 모드 값을 도시한다. 도 8의 실시예에서 각각의 인트라 예측 모드는 서로 다른 예측 방향을 가진다. 또한 각각의 인트라 예측 모드에 할당된 번호는 모드 값으로 불릴 수 있다.
도 8을 참조하면, 모드 값이 0인 인트라 예측 모드는 플래너 모드로 불릴 수 있다. 플래너 모드에서는 예측 대상 블록 내에 위치한 예측 대상 픽셀의 위치를 기반으로, 상기 예측 대상 픽셀의 픽셀 값 예측에 사용될 참조 픽셀들이 결정될 수 있고, 결정된 참조 픽셀을 기반으로 상기 예측 대상 픽셀의 예측 값이 도출될 수 있다. 모드 값이 1인 경우는 DC 모드로 불릴 수 있으며, 예측 대상 블록 주변에 위치한 픽셀들의 픽셀 값 평균에 의해 예측 블록이 생성될 수 있다. 또한, 모드 값이 26인 경우 주변 블록의 픽셀 값을 기반으로 수직 방향으로 예측이 수행될 수 있다. 따라서, 모드 값이 26인 인트라 예측 모드는 수직 모드(vertical mode)로도 불릴 수 있다. 모드 값이 10인 경우(수평 모드의 경우) 주변 블록의 픽셀 값을 기반으로 수평 방향으로 예측이 수행될 수 있다. 따라서, 모드 값이 10인 인트라 예측 모드는 수평 모드(horizontal mode)로도 불릴 수 있다. 그리고 나머지 모드의 경우, 해당 각도에 따라 주변 블록의 픽셀 값들을 기반으로 예측이 수행될 수 있다.
수평 변환 모드 및 수직 변환 모드의 발생 확률은 변환 대상 블록에 대응되는 PU의 인트라 예측 모드(및/또는 예측 방향)에 따라 달라질 수 있다. 따라서, PU의 인트라 예측 모드(및/또는 예측 방향)에 따라 변환 스킵 모드(및/또는 변환 스킵 모드 인덱스)에 할당되는 코드워드는 다르게 정해질 수 있다. 즉, 변환 스킵 모드(및/또는 변환 스킵 모드 인덱스)에 할당되는 코드워드는 변환 대상 블록에 대응되는 PU의 인트라 예측 모드(및/또는 예측 방향)를 기반으로 결정될 수 있다.
일 실시예로, PU의 인트라 예측 모드가 수직 모드인 경우에는, 수평 변환의 에너지 압축 효과가 수직 변환의 에너지 압축 효과보다 작을 수 있다. 따라서, 이 경우에는 수직 변환 모드의 발생 확률이 수평 변환 모드의 발생 확률보다 높을 수 있다. 상술한 표 1의 실시예에서는 수평 변환 모드에 ‘01’의 코드워드가 할당되고 수직 변환 모드에 ‘001’의 코드워드가 할당되어 있으므로, 발생 확률이 높은 변환 스킵 모드에 더 긴 코드워드가 할당된다. 따라서, PU의 인트라 예측 모드가 수직 모드인 경우에는, 수평 변환 모드에 할당되는 코드워드 및 수직 변환 모드에 할당되는 코드워드를 재설정함으로써, 부호화 성능이 향상될 수 있다. 즉, PU의 인트라 예측 모드가 수직 모드인 경우에는 수직 변환 모드의 발생 확률이 수평 변환 모드의 발생 확률보다 높을 수 있으므로, 수직 변환 모드에 수평 변환 모드보다 짧은 코드워드가 할당될 수 있다. 수직 변환 모드에 수평 변환 모드보다 짧은 코드워드가 할당되는 경우의 실시예는 표 3의 실시예에서와 유사하므로, 여기서는 생략하기로 한다.
반면, 변환 대상 블록에 대응되는 PU의 인트라 예측 모드가 수평 모드인 경우에는, 수평 변환 모드의 발생 확률이 수직 변환 모드의 발생 확률보다 높을 수 있다. 따라서, 이 경우에는 수평 변환 모드에 수직 변환 모드보다 짧은 코드워드가 할당될 수 있다. 일례로, 변환 대상 블록에 대응되는 PU의 인트라 예측 모드가 수평 모드인 경우에는, 상술한 표 1의 실시예에서와 같은 코드워드 할당 방식이 사용될 수 있다.

도 9는 변환 스킵 모드에 따른 변환 계수 스캐닝 방법의 실시예를 개략적으로 나타내는 도면이다.
도 9는 수평 스캔(910) 방식, 수직 스캔(920) 방식 및 지그재그 스캔(930) 방식의 실시예를 도시한다. 비록 도 9에는 4x4 블록에 대한 스캐닝 방법(및/또는 스캔 순서)만이 도시되어 있지만, 본 발명은 이에 한정되는 것은 아니며 블록의 크기에 관계 없이 적용될 수 있다.
이하, 도 9의 실시예에서는 설명의 편의상 경우에 따라 역스캐닝이 ‘스캐닝’으로 지칭될 수도 있다. 이와 같은 구분은 당해 기술 분야에서 통상의 지식을 가진 자라면 용이하게 할 수 있을 것이다.
도 1에서 상술한 바와 같이, 부호화기는 엔트로피 부호화의 효율을 높이기 위해, 스캐닝(scanning)을 수행하여 양자화된 2차원 블록 형태의 변환 계수를 1차원 벡터 형태의 변환 계수로 정렬할 수 있다. 또한 도 2에서 상술한 바와 같이, 복호화기는 복호화된 1차원 벡터 형태의 변환 계수에 대해 스캐닝을 수행함으로써 2차원 블록 형태의 변환 계수를 생성할 수 있다.
이 때, 부호화기 및 복호화기는 변환 스킵 모드를 기반으로 스캐닝 방법(및/또는 스캐닝 순서)을 결정할 수 있다. 즉, 본 발명의 실시예에 따르면 변환 대상 블록에 대한 변환 스킵 모드에 따라 스캐닝 방법(및/또는 스캐닝 순서)가 서로 다르게 적용될 수 있다.
일 실시예로, 변환 스킵 모드가 수평 변환 모드인 경우에는 잔차 신호가 수직 방향으로 많이 남아 있을 확률이 높다. 따라서, 변환 대상 블록에 대한 변환 스킵 모드가 수평 변환 모드인 경우에는, 상기 변환 대상 블록에 대해 수직 스캔(vertical scan) 방식(920)이 적용될 수 있다. 또한, 변환 스킵 모드가 수직 변환 모드인 경우에는 잔차 신호가 수평 방향으로 많이 남아 있을 확률이 높다. 따라서, 변환 대상 블록에 대한 변환 스킵 모드가 수직 변환 모드인 경우에는, 상기 변환 대상 블록에 대해 수평 스캔(horizontal scan) 방식(910)이 적용될 수 있다. 수평 변환 모드 및 수직 변환 모드를 제외한 나머지 변환 스킵 모드에서는 지그재그 스캔(zigzag scan) 방식(930)을 기반으로 스캐닝이 수행될 수 있다.

도 10은 본 발명의 실시예에 따른 부호화 방법을 개략적으로 나타내는 흐름도이다.
도 10을 참조하면, 부호화기는 현재 블록에 대응되는 잔차 블록을 생성할 수 있다(S1010). 상술한 바와 같이, 부호화기는 현재 블록에 대해 인터 예측 및/또는 인트라 예측을 수행함으로써, 현재 블록에 대응되는 예측 블록을 생성할 수 있다. 이 때, 부호화기는 현재 블록의 픽셀 값과 예측 블록의 픽셀 값을 픽셀 단위로 차분하여 잔차(residual) 신호, 즉 잔차 블록을 생성할 수 있다.
다시 도 10을 참조하면, 부호화기는 잔차 신호, 즉 잔차 블록에 대해 변환을 수행할 수 있다(S1020). 부호화기는 변환 커널(kernel)을 적용하여 잔차 신호를 변환 부호화할 수 있으며, 변환 부호화 커널의 크기는 2*2, 4*4, 8*8, 16*16, 32*32 또는 64*64일 수 있다. 일 실시예로 n*n 블록에 대한 변환 계수 C는 다음 수학식 2에 의해 계산될 수 있다.
[수학식 2]
C(n,n)=T(n,n) x B(n,n) x T(n,n)T

여기서, C(n,n)은 n*n 크기의 변환 계수에 대한 행렬이고, T(n,n)은 n*n 크기의 변환 커널 행렬이고, B(n,n)은 n*n 크기의 잔차 블록에 대한 행렬이다.
변환 과정에 의해 변환 계수가 생성되면, 부호화기는 생성된 변환 계수에 대한 양자화를 수행할 수 있다.
잔차 블록과 변환 계수 중 어떤 것이 전송되는 지는 RDO를 통해 결정될 수 있다. 예측이 잘 된 경우에는 변환 부호화 없이 잔차 블록, 즉 잔차 신호가 그대로 전송될 수 있다. 부호화기는 변환 부호화 전/후의 비용 함수(cost function)를 비교할 수 있으며, 비용이 최소화되는 방법을 선택할 수 있다. 이 때, 부호화기는 현재 블록에 대해 전송하는 신호의 타입(잔차 신호 또는 변환 계수)에 대한 정보를 복호화 장치로 전송할 수 있다.
변환 과정의 구체적인 실시예들은 상술한 바 있으므로, 여기서는 생략하기로 한다.
다시 도 10을 참조하면, 부호화기는 변환 계수에 대한 스캐닝을 수행할 수 있다(S1030). 이 때, 상술한 바와 같이, 부호화기는 변환 스킵 모드를 기반으로 스캐닝 방법(및/또는 스캔 순서)를 결정할 수 있다. 변환 스킵 모드를 기반으로 스캔 순서를 결정하는 방법의 구체적인 실시예는 상술한 바 있으므로, 여기서는 생략하기로 한다.
스캐닝이 수행되면, 부호화기는 스캐닝된 변환 계수 및 보조 정보(예를 들어, 현재 블록의 인터 예측 모드 정보)에 대한 엔트로피 부호화를 수행할 수 있다(S1040). 부호화된 정보들은 압축된 비트스트림을 형성하여 네트워크 추상 계층(NAL: Network Abstraction Layer)을 통해 전송되거나 저장될 수 있다.
도 10의 실시예에서, 부호화 방법은 일련의 단계로서 흐름도를 기초로 설명되고 있으나, 본 발명은 이에 한정되는 것은 아니다. 도 10의 실시예에서 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 병렬적으로 발생할 수도 있다. 또한, 흐름도에 나타내어진 단계들에 다른 단계가 포함될 수도 있으며, 도 10의 흐름도에서 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수도 있다.

도 11은 본 발명의 실시예에 따른 복호화 방법을 개략적으로 나타내는 흐름도이다.
도 11을 참조하면, 복호화기는 부호화기로부터 수신된 비트스트림에 대해 엔트로피 복호화를 수행할 수 있다(S1110). 일례로, 복호화기는 VLC(variable length coding) 테이블 및/또는 CABAC을 기반으로 현재 블록의 예측 모드 및 잔차 신호를 도출할 수 있다. 복호화기는 현재 블록에 대해 수신된 신호가 잔차 신호인지 아니면 변환 계수인지에 관한 정보를 얻을 수 있고, 현재 블록에 대해 잔차 신호나 1차원 벡터 형태의 변환 계수를 얻을 수 있다. 수신된 비트스트림에 복호화에 필요한 보조 정보(side information)가 포함되는 경우, 이들이 함께 엔트로피 복호화될 수도 있다.
다시 도 11을 참조하면, 복호화기는 엔트로피 복호화된 잔차 신호나 변환 계수에 대해 역스캐닝을 수행함으로써, 2차원 블록을 생성할 수 있다(S1120). 이 때, 잔차 신호의 경우 잔차 블록이 생성되고, 변환 계수의 경우 2차원 블록 형태의 변환 계수가 생성될 수 있다. 변환 계수가 생성된 경우 복호화기는 생성된 변환 계수에 대해 역양자화를 수행할 수 있다.
한편, 상술한 바와 같이, 역스캐닝을 수행함에 있어, 복호화기는 변환 스킵 모드를 기반으로 스캐닝 방법(및/또는 스캔 순서)를 결정할 수 있다. 변환 스킵 모드를 기반으로 스캔 순서를 결정하는 방법의 구체적인 실시예는 상술한 바 있으므로, 여기서는 생략하기로 한다.
다시 도 11을 참조하면, 복호화기는 역양자화된 변환 계수에 대해 역변환을 수행함으로써 잔차 블록을 생성할 수 있다(S1130). 역변환 과정은 다음 수학식 3에 의해 나타내어질 수 있다.
[수학식 3]
B(n,n)=T(n,n) x C(n,n) x T(n,n)T

역변환 과정의 구체적인 실시예들은 상술한 바 있으므로, 여기서는 생략하기로 한다.
잔차 블록이 생성되면, 복호화기는 생성된 잔차 블록을 기반으로 복원 블록을 생성할 수 있다(S1140). 상술한 바와 같이, 복호화기는 복호화 대상 블록에 대해 인터 예측 및/또는 인트라 예측을 수행함으로써, 복호화 대상 블록에 대응되는 예측 블록을 생성할 수 있다. 이 때, 복호화기는 예측 블록의 픽셀값과 잔차 블록의 픽셀값을 픽셀 단위로 더하여 복원 블록을 생성할 수 있다.
도 11의 실시예에서, 복호화 방법은 일련의 단계로서 흐름도를 기초로 설명되고 있으나, 본 발명은 이에 한정되는 것은 아니다. 도 11의 실시예에서 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 병렬적으로 발생할 수도 있다. 또한, 흐름도에 나타내어진 단계들에 다른 단계가 포함될 수도 있으며, 도 11의 흐름도에서 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수도 있다.

상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로써 흐름도 또는 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 병렬적으로 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도 또는 흐름도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
이상에서 본 발명은 실시예를 참조하여 설명되었으나, 상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합이 기술될 수는 없지만, 당해 기술 분야에서 통상의 지식을 가진 당업자는 본 발명의 사상에서 벗어나지 않는 범위 내에서 본 발명에 대한 다양한 변경 또는 수정이 가능함을 이해할 수 있을 것이다.

Claims (19)

  1. 복호화 대상 블록에 대응하는 영상 정보를 수신하는 단계;
    상기 수신된 영상 정보에 대해 엔트로피 복호화를 수행하는 단계;
    상기 엔트로피 복호화된 영상 정보를 기반으로, 복수의 변환 스킵 모드 후보 중에서 상기 복호화 대상 블록의 변환 스킵 모드(Transform Skip Mode: TSM)를 결정하는 단계; 및
    상기 결정된 변환 스킵 모드를 기반으로 상기 복호화 대상 블록에 대한 역변환을 수행하는 단계를 포함하되,
    상기 복수의 변환 스킵 모드 후보는,
    수평 변환과 수직 변환이 모두 수행되는 2D 변환 모드, 수평 변환이 수행되는 수평 변환 모드, 수직 변환이 수행되는 수직 변환 모드 및 변환이 수행되지 않는 비변환 모드 중에서 적어도 하나를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  2. 제 1항에 있어서,
    상기 영상 정보는,
    상기 복호화 대상 블록에 대응되는 예측 모드 및 상기 복호화 대상 블록에 대응되는 예측 유닛(Prediction Unit: PU)의 형태에 관한 정보를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  3. 제 2항에 있어서,
    상기 복호화 대상 블록에 대응되는 예측 모드가 인터 모드이고 상기 복호화 대상 블록에 대응되는 예측 유닛의 형태가 Nx2N(N은 자연수)인 경우,
    상기 수직 변환 모드에는 상기 수평 변환 모드보다 짧은 코드워드가 할당되는 것을 특징으로 하는 영상 복호화 방법.
  4. 제 2항에 있어서,
    상기 복호화 대상 블록에 대응되는 예측 모드가 인터 모드이고 상기 복호화 대상 블록에 대응되는 예측 유닛의 형태가 2NxN(N은 자연수)인 경우,
    상기 복수의 변환 스킵 모드 후보는,
    상기 수직 변환 모드를 제외한 상기 2D 변환 모드, 상기 수평 변환 모드 및 상기 비변환 모드를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  5. 제 2항에 있어서,
    상기 복호화 대상 블록에 대응되는 예측 모드가 인터 모드이고 상기 복호화 대상 블록에 대응되는 예측 유닛의 형태가 Nx2N(N은 자연수)인 경우,
    상기 복수의 변환 스킵 모드 후보는,
    상기 수평 변환 모드를 제외한 상기 2D 변환 모드, 상기 수직 변환 모드 및 상기 비변환 모드를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  6. 제 2항에 있어서,
    상기 복호화 대상 블록에 대응되는 예측 모드가 SDIP(Short Distance Intra Prediction) 모드이고 상기 복호화 대상 블록에 대응되는 예측 유닛의 형태가 2Nx(1/2)N(N은 2 이상의 자연수)인 경우,
    상기 복수의 변환 스킵 모드 후보는,
    상기 수직 변환 모드를 제외한 상기 2D 변환 모드, 상기 수평 변환 모드 및 상기 비변환 모드를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  7. 제 2항에 있어서,
    상기 복호화 대상 블록에 대응되는 예측 모드가 SDIP(Short Distance Intra Prediction) 모드이고 상기 복호화 대상 블록에 대응되는 예측 유닛의 형태가 (1/2)Nx2N(N은 2 이상의 자연수)인 경우,
    상기 복수의 변환 스킵 모드 후보는,
    상기 수평 변환 모드를 제외한 상기 2D 변환 모드, 상기 수직 변환 모드 및 상기 비변환 모드를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  8. 제 1항에 있어서,
    상기 영상 정보는,
    상기 복호화 대상 블록에 대응되는 예측 모드 및 상기 복호화 대상 블록에 대응되는 예측 유닛의 예측 방향에 관한 정보를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  9. 제 8항에 있어서,
    상기 복호화 대상 블록에 대응되는 예측 모드가 인트라 모드이고 상기 복호화 대상 블록에 대응되는 예측 유닛의 예측 방향이 수직 방향인 경우,
    상기 수직 변환 모드에는 상기 수평 변환 모드보다 짧은 코드워드가 할당되는 것을 특징으로 하는 영상 복호화 방법.
  10. 제 1항에 있어서,
    상기 결정된 변환 스킵 모드를 기반으로 상기 복호화 대상 블록에 대한 스캔 모드를 결정하는 단계; 및
    상기 결정된 스캔 모드를 기반으로 상기 복호화 대상 블록에 대한 역스캐닝을 수행하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  11. 제 10항에 있어서,
    상기 스캔 모드 결정 단계에서는,
    상기 결정된 변환 스킵 모드가 상기 수평 변환 모드인 경우,
    상기 스캔 모드를 수직 스캔 모드로 결정하는 것을 특징으로 하는 영상 복호화 방법.
  12. 제 10항에 있어서,
    상기 스캔 모드 결정 단계에서는,
    상기 결정된 변환 스킵 모드가 상기 수직 변환 모드인 경우,
    상기 스캔 모드를 수평 스캔 모드로 결정하는 것을 특징으로 하는 영상 복호화 방법.
  13. 복호화 대상 블록에 대응하는 영상 정보를 수신하고 상기 수신된 영상 정보에 대해 엔트로피 복호화를 수행하는 엔트로피 복호화부; 및
    상기 엔트로피 복호화된 영상 정보를 기반으로, 복수의 변환 스킵 모드 후보 중에서 상기 복호화 대상 블록의 변환 스킵 모드(Transform Skip Mode: TSM)를 결정하고, 상기 결정된 변환 스킵 모드를 기반으로 상기 복호화 대상 블록에 대한 역변환을 수행하는 역변환부를 포함하되,
    상기 복수의 변환 스킵 모드 후보는,
    수평 변환과 수직 변환이 모두 수행되는 2D 변환 모드, 수평 변환이 수행되는 수평 변환 모드, 수직 변환이 수행되는 수직 변환 모드 및 변환이 수행되지 않는 비변환 모드 중에서 적어도 하나를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  14. 부호화 대상 블록에 대응되는 잔차 블록(residual block)을 생성하는 단계;
    복수의 변환 스킵 모드 후보 중에서 상기 부호화 대상 블록의 변환 스킵 모드를 결정하는 단계; 및
    상기 결정된 변환 스킵 모드를 기반으로 상기 잔차 블록에 대해 변환을 수행하는 단계를 포함하되,
    상기 복수의 변환 스킵 모드 후보는,
    수평 변환과 수직 변환이 모두 수행되는 2D 변환 모드, 수평 변환이 수행되는 수평 변환 모드, 수직 변환이 수행되는 수직 변환 모드 및 변환이 수행되지 않는 비변환 모드 중에서 적어도 하나를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  15. 제 14항에 있어서,
    상기 부호화 대상 블록에 대응되는 예측 모드는 인터 모드이고,
    상기 변환 스킵 모드 결정 단계에서는,
    상기 부호화 대상 블록에 대응되는 예측 유닛의 형태를 기반으로 상기 변환 스킵 모드를 결정하는 것을 특징으로 하는 영상 부호화 방법.
  16. 제 14항에 있어서,
    상기 부호화 대상 블록에 대응되는 예측 모드는 SDIP 모드이고,
    상기 변환 스킵 모드 결정 단계에서는,
    상기 부호화 대상 블록에 대응되는 예측 유닛의 형태를 기반으로 상기 변환 스킵 모드를 결정하는 것을 특징으로 하는 영상 부호화 방법.
  17. 제 14항에 있어서,
    상기 부호화 대상 블록에 대응되는 예측 모드는 인트라 모드이고,
    상기 변환 스킵 모드 결정 단계에서는,
    상기 부호화 대상 블록에 대응되는 예측 유닛의 예측 방향을 기반으로 상기 변환 스킵 모드를 결정하는 것을 특징으로 하는 영상 부호화 방법.
  18. 제 14항에 있어서,
    상기 결정된 변환 스킵 모드를 기반으로 상기 부호화 대상 블록에 대한 스캔 모드를 결정하는 단계; 및
    상기 결정된 스캔 모드를 기반으로 상기 부호화 대상 블록에 대한 스캐닝을 수행하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  19. 부호화 대상 블록에 대응되는 잔차 블록(residual block)을 생성하는 잔차 블록 생성부; 및
    복수의 변환 스킵 모드 후보 중에서 상기 부호화 대상 블록의 변환 스킵 모드를 결정하고, 상기 결정된 변환 스킵 모드를 기반으로 상기 잔차 블록에 대해 변환을 수행하는 변환부를 포함하되,
    상기 복수의 변환 스킵 모드 후보는,
    수평 변환과 수직 변환이 모두 수행되는 2D 변환 모드, 수평 변환이 수행되는 수평 변환 모드, 수직 변환이 수행되는 수직 변환 모드 및 변환이 수행되지 않는 비변환 모드 중에서 적어도 하나를 포함하는 것을 특징으로 하는 영상 부호화 장치.
PCT/KR2012/008482 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치 WO2013058542A1 (ko)

Priority Applications (29)

Application Number Priority Date Filing Date Title
KR1020147023493A KR101550724B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
IN3098DEN2014 IN2014DN03098A (ko) 2011-10-17 2012-10-17
MX2014004777A MX2014004777A (es) 2011-10-17 2012-10-17 Metodo y aparato para codoficar/decodificar imagenes.
PL408822A PL230821B1 (pl) 2011-10-17 2012-10-17 Sposób i urządzenie do kodowania/dekodowania obrazu
KR1020147023492A KR101550723B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020147025590A KR101550725B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
CN201280061789.0A CN104081775B (zh) 2011-10-17 2012-10-17 用于图像编码/解码的方法和装置
KR1020157020440A KR101857110B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
AU2012326873A AU2012326873B2 (en) 2011-10-17 2012-10-17 Method and apparatus for encoding/decoding image
KR1020157020439A KR101718954B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
CA2856198A CA2856198C (en) 2011-10-17 2012-10-17 Method and apparatus for encoding/decoding image
RU2014117487A RU2606066C2 (ru) 2011-10-17 2012-10-17 Способ и устройство для кодирования/декодирования видеоданных
KR1020157020441A KR101880642B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020147010466A KR101533720B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020147025591A KR101550726B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
KR1020157020438A KR101718953B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
GB1407661.6A GB2510078C (en) 2011-10-17 2012-10-17 Method and apparatus for encoding/decoding image
KR1020147028577A KR101857109B1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치
BR112014009403-9A BR112014009403B1 (pt) 2011-10-17 2012-10-17 Método para descodificar um sinal de vídeo.
US14/353,288 US9560384B2 (en) 2011-10-17 2012-10-17 Method and apparatus for encoding/decoding image
US14/604,981 US9560385B2 (en) 2011-10-17 2015-01-26 Method and apparatus for encoding/decoding image
AU2016201713A AU2016201713B2 (en) 2011-10-17 2016-03-17 Method and Apparatus For Encoding/Decoding Image
AU2016201699A AU2016201699B2 (en) 2011-10-17 2016-03-17 Method and Apparatus for Encoding/Decoding Image
AU2016247085A AU2016247085B2 (en) 2011-10-17 2016-10-19 Method and Apparatus for Encoding/Decoding Image
AU2016247083A AU2016247083B2 (en) 2011-10-17 2016-10-19 Method and Apparatus for Encoding/Decoding Image
US15/380,758 US9661352B2 (en) 2011-10-17 2016-12-15 Method and apparatus for encoding/decoding image
US15/380,801 US9661346B2 (en) 2011-10-17 2016-12-15 Method and apparatus for encoding/decoding image
US15/380,688 US9661354B2 (en) 2011-10-17 2016-12-15 Method and apparatus for encoding/decoding image
US15/489,784 US9826251B2 (en) 2011-10-17 2017-04-18 Method and apparatus for encoding/decoding image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110106107 2011-10-17
KR10-2011-0106107 2011-10-17

Related Child Applications (5)

Application Number Title Priority Date Filing Date
US14/353,288 A-371-Of-International US9560384B2 (en) 2011-10-17 2012-10-17 Method and apparatus for encoding/decoding image
US14/604,981 Continuation US9560385B2 (en) 2011-10-17 2015-01-26 Method and apparatus for encoding/decoding image
US15/380,688 Continuation US9661354B2 (en) 2011-10-17 2016-12-15 Method and apparatus for encoding/decoding image
US15/380,758 Continuation US9661352B2 (en) 2011-10-17 2016-12-15 Method and apparatus for encoding/decoding image
US15/380,801 Continuation US9661346B2 (en) 2011-10-17 2016-12-15 Method and apparatus for encoding/decoding image

Publications (1)

Publication Number Publication Date
WO2013058542A1 true WO2013058542A1 (ko) 2013-04-25

Family

ID=48141112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/008482 WO2013058542A1 (ko) 2011-10-17 2012-10-17 영상 부호화/복호화 방법 및 그 장치

Country Status (12)

Country Link
US (6) US9560384B2 (ko)
KR (10) KR101857109B1 (ko)
CN (9) CN107257457B (ko)
AU (5) AU2012326873B2 (ko)
BR (1) BR112014009403B1 (ko)
CA (1) CA2856198C (ko)
GB (5) GB2510078C (ko)
IN (1) IN2014DN03098A (ko)
MX (2) MX2014004777A (ko)
PL (1) PL230821B1 (ko)
RU (5) RU2646307C1 (ko)
WO (1) WO2013058542A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015012600A1 (ko) * 2013-07-23 2015-01-29 성균관대학교 산학협력단 영상 부호화/복호화 방법 및 장치
KR20150011787A (ko) * 2013-07-23 2015-02-02 성균관대학교산학협력단 영상 부호화/복호화 방법 및 장치

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857755B (zh) * 2011-07-01 2016-12-14 华为技术有限公司 确定变换块尺寸的方法和设备
CN107959857B (zh) * 2011-10-18 2022-03-01 株式会社Kt 视频信号解码方法
GB2518823A (en) * 2013-09-25 2015-04-08 Sony Corp Data encoding and decoding
US10405000B2 (en) * 2014-11-21 2019-09-03 Vid Scale, Inc. One-dimensional transform modes and coefficient scan order
EP3340632B1 (en) * 2015-08-19 2021-08-11 LG Electronics Inc. Method and device for processing video signals
US10042942B2 (en) * 2015-10-30 2018-08-07 Sap Se Transforms using column dictionaries
ES2817100B1 (es) * 2016-03-28 2022-04-13 Kt Corp Metodo y aparato para procesar senales de video
ES2908214T3 (es) * 2016-06-24 2022-04-28 Kt Corp Filtración adaptativa de muestras de referencia para intra predicción usando líneas de píxeles distantes
US11190770B2 (en) * 2016-07-05 2021-11-30 Kt Corporation Method and apparatus for processing video signal
WO2018044088A1 (ko) * 2016-08-31 2018-03-08 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN117412037A (zh) * 2016-08-31 2024-01-16 株式会社Kt 用于处理视频信号的方法和设备
CN114501006A (zh) 2016-09-20 2022-05-13 株式会社Kt 视频解码方法、视频编码方法和比特流解码装置
WO2019027241A1 (ko) * 2017-07-31 2019-02-07 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102385399B1 (ko) * 2017-08-04 2022-04-11 엘지전자 주식회사 비디오 압축을 위한 변환을 구성하는 방법 및 장치
CN110049322B (zh) * 2018-01-15 2021-02-05 北京金山云网络技术有限公司 模式选择的方法、装置、电子设备及存储介质
WO2019194420A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 변환 인디케이터에 기반한 영상 코딩 방법 및 그 장치
FR3086485A1 (fr) * 2018-09-21 2020-03-27 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image.
KR20210057189A (ko) * 2019-01-12 2021-05-20 주식회사 윌러스표준기술연구소 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치
US11418811B2 (en) * 2019-03-12 2022-08-16 Apple Inc. Method for encoding/decoding image signal, and device therefor
KR20220019257A (ko) * 2019-07-10 2022-02-16 엘지전자 주식회사 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치
KR20220097520A (ko) * 2020-01-10 2022-07-07 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
US20230036126A1 (en) * 2020-01-10 2023-02-02 Lg Electronics Inc. Image coding method based on transform, and device therefor
JP7451722B2 (ja) * 2020-01-10 2024-03-18 エルジー エレクトロニクス インコーポレイティド 変換に基づく画像コーディング方法及びその装置
CN113709476B (zh) * 2020-06-05 2022-12-23 杭州海康威视数字技术股份有限公司 编码方法、解码方法、装置及机器可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007516640A (ja) * 2003-09-07 2007-06-21 マイクロソフト コーポレーション インターレース・ビデオの符号化および復号
JP2009194617A (ja) * 2008-02-14 2009-08-27 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
KR20090099234A (ko) * 2008-03-17 2009-09-22 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20090129939A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
US20040125204A1 (en) 2002-12-27 2004-07-01 Yoshihisa Yamada Moving picture coding apparatus and moving picture decoding apparatus
JP4447197B2 (ja) * 2002-01-07 2010-04-07 三菱電機株式会社 動画像符号化装置および動画像復号装置
US7620106B2 (en) 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7606308B2 (en) 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7623574B2 (en) 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US8014450B2 (en) 2003-09-07 2011-09-06 Microsoft Corporation Flexible range reduction
US7577200B2 (en) 2003-09-07 2009-08-18 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
US7369709B2 (en) 2003-09-07 2008-05-06 Microsoft Corporation Conditional lapped transform
US7092576B2 (en) 2003-09-07 2006-08-15 Microsoft Corporation Bitplane coding for macroblock field/frame coding type information
US7782954B2 (en) 2003-09-07 2010-08-24 Microsoft Corporation Scan patterns for progressive video content
US8625680B2 (en) 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
US7852919B2 (en) 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8345754B2 (en) 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7822123B2 (en) 2004-10-06 2010-10-26 Microsoft Corporation Efficient repeat padding for hybrid video sequence with arbitrary video resolution
US8009739B2 (en) 2003-09-07 2011-08-30 Microsoft Corporation Intensity estimation/compensation for interlaced forward-predicted fields
US7577198B2 (en) 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
US8085844B2 (en) 2003-09-07 2011-12-27 Microsoft Corporation Signaling reference frame distances
US8107531B2 (en) 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US7317839B2 (en) 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7609762B2 (en) 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US7688894B2 (en) 2003-09-07 2010-03-30 Microsoft Corporation Scan patterns for interlaced video content
US8213779B2 (en) 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
US7839930B2 (en) 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
US8582659B2 (en) 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7616692B2 (en) 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
MXPA06002495A (es) 2003-09-07 2006-06-20 Microsoft Corp Capa de porcion en codificador/descodificador (codec) de video.
US7961786B2 (en) 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US7924921B2 (en) 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
CN100401780C (zh) * 2004-05-07 2008-07-09 美国博通公司 在视频解码器中动态选择变换尺寸的方法和系统
KR100619041B1 (ko) * 2004-07-22 2006-09-01 삼성전자주식회사 비디오 동기화 장치 및 비디오 동기화 방법
CN101040533B (zh) * 2004-10-13 2010-10-06 汤姆逊许可公司 复杂性可伸缩的视频编码和解码方法和设备
US20060104521A1 (en) * 2004-11-15 2006-05-18 Shu-Wen Teng Image processing devices and methods
CN1777283A (zh) * 2004-12-31 2006-05-24 上海广电（集团）有限公司 一种基于微块的视频信号编/解码方法
KR100703770B1 (ko) 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
KR100750145B1 (ko) 2005-12-12 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
CN101137047B (zh) * 2006-08-29 2010-09-15 昆山杰得微电子有限公司 一种通过有效残差系数分析提高编码效率的方法
KR100927733B1 (ko) * 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
WO2008035842A1 (en) * 2006-09-20 2008-03-27 Electronics And Telecommunications Research Institute Apparatus and method for encoding and decoding using alternative converter according to the correlation of residual signal
EP2103147A4 (en) * 2006-12-07 2011-01-19 Qualcomm Inc RATE CONTROL AND VIDEO COMPRESSION PER LINE
CN101601300B (zh) * 2006-12-14 2012-07-18 汤姆逊许可公司 用自适应增强层预测对位深度可分级视频数据进行编码和/或解码的方法和设备
US8488668B2 (en) 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
US8654833B2 (en) * 2007-09-26 2014-02-18 Qualcomm Incorporated Efficient transformation techniques for video coding
CN101415121B (zh) * 2007-10-15 2010-09-29 华为技术有限公司 一种自适应的帧预测的方法及装置
KR101291196B1 (ko) 2008-01-25 2013-07-31 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
CN101309401B (zh) * 2008-07-10 2010-08-04 上海富瀚微电子有限公司 一种快速的先进视频编码率计算方法及其装置
KR20100020441A (ko) 2008-08-12 2010-02-22 엘지전자 주식회사 비디오 신호 처리 방법
KR20100027384A (ko) * 2008-09-02 2010-03-11 삼성전자주식회사 예측 모드 결정 방법 및 장치
EP2382777A4 (en) * 2009-01-27 2012-08-15 Thomson Licensing METHOD AND DEVICE FOR TRANSFORMATION SELECTION IN VIDEO CODING AND DECODING
JP5700970B2 (ja) * 2009-07-30 2015-04-15 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 画像シーケンスを表す符号化データストリームの復号方法と画像シーケンスの符号化方法
EP2299717A1 (en) 2009-09-10 2011-03-23 Thomson Licensing Method and apparatus for image encoding using Hold-MBs, and method and apparatus for image decoding using Hold-MBs
US20110090954A1 (en) * 2009-10-21 2011-04-21 Cohen Robert A Video Codes with Directional Transforms
US20110090952A1 (en) * 2009-10-21 2011-04-21 Cohen Robert A Directional Transforms for Video and Image Coding
KR101457894B1 (ko) * 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
CN101710994B (zh) * 2009-12-17 2012-12-26 无锡中星微电子有限公司 一种用于视频解码的方法和系统
US8315310B2 (en) * 2010-01-08 2012-11-20 Research In Motion Limited Method and device for motion vector prediction in video transcoding using full resolution residuals
US8885714B2 (en) 2010-01-14 2014-11-11 Texas Instruments Incorporated Method and system for intracoding in video encoding
US8559511B2 (en) * 2010-03-30 2013-10-15 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for video coding by ABT-based just noticeable difference model
CN101841713B (zh) * 2010-04-30 2012-12-05 西安电子科技大学 降低编码码率的视频编码方法及系统
CN101895756B (zh) * 2010-07-15 2012-10-31 北京大学 视频图像块的编码、解码、重构方法及系统
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
GB2492333B (en) * 2011-06-27 2018-12-12 British Broadcasting Corp Video encoding and decoding using transforms

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007516640A (ja) * 2003-09-07 2007-06-21 マイクロソフト コーポレーション インターレース・ビデオの符号化および復号
JP2009194617A (ja) * 2008-02-14 2009-08-27 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
KR20090099234A (ko) * 2008-03-17 2009-09-22 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20090129939A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015012600A1 (ko) * 2013-07-23 2015-01-29 성균관대학교 산학협력단 영상 부호화/복호화 방법 및 장치
KR20150011787A (ko) * 2013-07-23 2015-02-02 성균관대학교산학협력단 영상 부호화/복호화 방법 및 장치
CN105684442A (zh) * 2013-07-23 2016-06-15 成均馆大学校产学协力团 用于编码/解码图像的方法和装置
KR101709775B1 (ko) 2013-07-23 2017-02-23 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법 및 장치
KR101741037B1 (ko) 2013-07-23 2017-06-15 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법 및 장치
KR101769427B1 (ko) 2013-07-23 2017-08-18 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법 및 장치
KR101802957B1 (ko) 2013-07-23 2017-12-05 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법 및 장치
KR101837040B1 (ko) 2013-07-23 2018-03-09 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법 및 장치
CN105684442B (zh) * 2013-07-23 2020-02-21 英迪股份有限公司 用于编码/解码图像的方法
US10645399B2 (en) 2013-07-23 2020-05-05 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding image

Also Published As

Publication number Publication date
CN107493479A (zh) 2017-12-19
CN107257475B (zh) 2020-04-21
RU2016140545A (ru) 2018-12-14
CN107257457A (zh) 2017-10-17
GB201713541D0 (en) 2017-10-04
AU2016247083B2 (en) 2018-10-18
CN107257475A (zh) 2017-10-17
CN107360421A (zh) 2017-11-17
KR101533720B1 (ko) 2015-07-03
RU2646307C1 (ru) 2018-03-02
CA2856198C (en) 2017-08-29
CN107483930B (zh) 2020-03-06
AU2016201699A1 (en) 2016-04-07
KR101550723B1 (ko) 2015-09-07
KR101857109B1 (ko) 2018-05-11
KR101857110B1 (ko) 2018-05-11
KR20150091430A (ko) 2015-08-10
CN105100805A (zh) 2015-11-25
RU2648607C1 (ru) 2018-03-26
AU2016201713A1 (en) 2016-04-07
US9661346B2 (en) 2017-05-23
KR20140077928A (ko) 2014-06-24
GB2551290B (en) 2018-09-19
GB2551087A (en) 2017-12-06
RU2715031C2 (ru) 2020-02-21
US20170099502A1 (en) 2017-04-06
CN107483930A (zh) 2017-12-15
US9826251B2 (en) 2017-11-21
AU2012326873A1 (en) 2014-05-22
CN107343204A (zh) 2017-11-10
US20170099504A1 (en) 2017-04-06
CN104378640A (zh) 2015-02-25
MX339392B (es) 2016-05-25
IN2014DN03098A (ko) 2015-05-15
AU2016247083A1 (en) 2016-11-10
AU2016201713B2 (en) 2017-07-20
KR20150091431A (ko) 2015-08-10
GB2510078C (en) 2019-10-16
RU2648605C1 (ru) 2018-03-26
MX2014004777A (es) 2014-07-30
KR20140135243A (ko) 2014-11-25
GB2551086B (en) 2018-09-19
GB201713539D0 (en) 2017-10-04
KR20150091432A (ko) 2015-08-10
AU2016247085B2 (en) 2018-10-18
US9560385B2 (en) 2017-01-31
KR101880642B1 (ko) 2018-07-20
CN107493479B (zh) 2020-05-12
GB2551290A (en) 2017-12-13
PL408822A1 (pl) 2015-07-20
US20150139306A1 (en) 2015-05-21
KR20140116974A (ko) 2014-10-06
GB2551087B (en) 2018-09-19
GB2551088A (en) 2017-12-06
RU2016140545A3 (ko) 2019-12-26
CN104081775A (zh) 2014-10-01
CN107343204B (zh) 2019-10-15
CN105100805B (zh) 2018-05-11
KR101718954B1 (ko) 2017-03-22
US9661354B2 (en) 2017-05-23
CN104081775B (zh) 2017-09-12
GB2510078A (en) 2014-07-23
KR20140116973A (ko) 2014-10-06
KR101550724B1 (ko) 2015-09-07
RU2014117487A (ru) 2015-11-27
CN104378640B (zh) 2017-11-24
AU2016247085A1 (en) 2016-11-10
KR101550725B1 (ko) 2015-09-07
GB2551086A (en) 2017-12-06
CN107257457B (zh) 2020-04-21
US20140269915A1 (en) 2014-09-18
KR20140111043A (ko) 2014-09-17
CA2856198A1 (en) 2013-04-25
PL230821B1 (pl) 2018-12-31
US20170099503A1 (en) 2017-04-06
KR101550726B1 (ko) 2015-09-07
GB201713548D0 (en) 2017-10-04
KR20150091433A (ko) 2015-08-10
US20170223380A1 (en) 2017-08-03
GB2510078B (en) 2018-04-25
RU2606066C2 (ru) 2017-01-10
US9560384B2 (en) 2017-01-31
GB201713557D0 (en) 2017-10-04
BR112014009403A2 (pt) 2017-04-18
BR112014009403B1 (pt) 2022-09-13
KR20140111042A (ko) 2014-09-17
AU2016201699B2 (en) 2017-07-20
KR101718953B1 (ko) 2017-03-22
GB201407661D0 (en) 2014-06-18
GB2551088B (en) 2018-09-19
US9661352B2 (en) 2017-05-23
AU2012326873B2 (en) 2015-12-24
CN107360421B (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
KR101880642B1 (ko) 영상 부호화/복호화 방법 및 그 장치
KR101845074B1 (ko) 영상 부호화/복호화 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12841697

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2856198

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: MX/A/2014/004777

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: P.408822

Country of ref document: PL

Ref document number: 408822

Country of ref document: PL

ENP Entry into the national phase

Ref document number: 20147010466

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14353288

Country of ref document: US

ENP Entry into the national phase

Ref document number: 1407661

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20121017

WWE Wipo information: entry into national phase

Ref document number: 1407661.6

Country of ref document: GB

ENP Entry into the national phase

Ref document number: 2014117487

Country of ref document: RU

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014009403

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 2012326873

Country of ref document: AU

Date of ref document: 20121017

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 12841697

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: IDP00201507895

Country of ref document: ID

WWE Wipo information: entry into national phase

Ref document number: IDP00201607193

Country of ref document: ID

Ref document number: IDP00201607194

Country of ref document: ID

Ref document number: IDP00201607198

Country of ref document: ID

ENP Entry into the national phase

Ref document number: 112014009403

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140417