WO2017209455A2 - 비디오 신호의 부호화 또는 복호화 방법 및 장치 - Google Patents

비디오 신호의 부호화 또는 복호화 방법 및 장치 Download PDF

Info

Publication number
WO2017209455A2
WO2017209455A2 PCT/KR2017/005497 KR2017005497W WO2017209455A2 WO 2017209455 A2 WO2017209455 A2 WO 2017209455A2 KR 2017005497 W KR2017005497 W KR 2017005497W WO 2017209455 A2 WO2017209455 A2 WO 2017209455A2
Authority
WO
WIPO (PCT)
Prior art keywords
transform
block
motion vector
prediction
square
Prior art date
Application number
PCT/KR2017/005497
Other languages
English (en)
French (fr)
Other versions
WO2017209455A3 (ko
Inventor
한종기
이재영
Original Assignee
세종대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170035361A external-priority patent/KR102426131B1/ko
Priority claimed from KR1020170048441A external-priority patent/KR102345458B1/ko
Priority claimed from KR1020170060576A external-priority patent/KR102378803B1/ko
Priority to CN202210049739.6A priority Critical patent/CN114222141A/zh
Priority to CN202210049201.5A priority patent/CN114222139A/zh
Priority to US16/305,214 priority patent/US11736712B2/en
Application filed by 세종대학교 산학협력단 filed Critical 세종대학교 산학협력단
Priority to CN201780033620.7A priority patent/CN109417638B/zh
Priority to CN202210049407.8A priority patent/CN114222140A/zh
Priority to CN202210049050.3A priority patent/CN114222138A/zh
Priority to CN202210048882.3A priority patent/CN114222137A/zh
Publication of WO2017209455A2 publication Critical patent/WO2017209455A2/ko
Publication of WO2017209455A3 publication Critical patent/WO2017209455A3/ko
Priority to US18/341,460 priority patent/US20230336769A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Definitions

  • the present invention relates to a method and apparatus for encoding or decoding a video signal, and more particularly, to a method and apparatus for encoding or decoding a video signal for improving coding efficiency.
  • HD high definition
  • UHD ultra high definition
  • Video compression techniques include spatial prediction and / or temporal prediction to reduce or eliminate redundancy inherent in video sequences.
  • a video frame or slice may be divided into blocks. Each block may be further divided.
  • Blocks in an intra coded I frame or slice are encoded using spatial prediction with respect to reference samples in neighboring blocks in the same frame or slice.
  • Blocks in an inter coded P or B frame or slice may use spatial prediction for reference samples in neighboring blocks in the same frame or slice, or temporal prediction for reference samples in another reference frame.
  • Spatial or temporal prediction generates a predictive block for the block to be coded. Residual data represents the pixel difference between the original block to be coded and the prediction block.
  • the current block encodes an image using a forward coding block (CU) and a transform block (TU) of the same size, and the transform blocks are applied to the coding block in a quadtree partition structure based on the size of each coding block or prediction block.
  • CU forward coding block
  • TU transform block
  • the prediction mode and the prediction information should be transmitted for each coding block, unnecessary information may be transmitted according to the type of the image to reduce coding efficiency.
  • there is a disadvantage in that the characteristics of the image corresponding to the coding block and the characteristic of the residual signal generated according to the prediction mode cannot be considered.
  • coding units having various sizes can be encoded in consideration of spatial resolution and block characteristics of an image.
  • the header bit amount required for encoding is increased, but the prediction is precisely performed, so that the bit amount required for encoding the quantization error and the transform coefficient is reduced.
  • a large coding unit may increase coding efficiency.
  • a prediction error tends not to increase as compared with the case where a small coding unit is used to predict.
  • a large coding unit is used to save the amount of transmission bits. May be efficient.
  • motion prediction is used to remove temporal redundancy between successive pictures.
  • the motion of the current block is predicted using a plurality of reference pictures, and motion compensation is performed to generate a predicted block.
  • the motion information includes at least one reference picture index and at least one motion vector.
  • the current block may perform bidirectional prediction to form a predictive motion vector list of the current block, and may use the same to transmit a differential motion vector, which is a difference value from the motion vector of the current block, to the decoder.
  • the predictive motion vector lists including the predictive motion vectors for each direction are independent of each other.
  • the correlation between the motion information of the current block and the motion information of one or more adjacent blocks increases. Therefore, according to the conventional compression method described above, when the size of the picture is larger than the high quality picture and various sizes are used for motion prediction and motion compensation, the compression efficiency of the motion information is reduced.
  • An object of the present invention is to provide an apparatus for encoding and decoding a video signal that improves coding efficiency by using coding blocks and transform blocks having various shapes according to an image.
  • Another object of the present invention is to provide a method of determining a coding order of a transform block capable of improving coding efficiency according to an intra prediction mode of a current block, and a method and apparatus for encoding and decoding a video signal performing the same. It is.
  • An object of the present invention is to provide a video signal decoding method and apparatus thereof for improving coding efficiency of intra prediction using various shaped transform blocks.
  • another object of the present invention is to provide a method and apparatus for decoding a video signal that can improve coding efficiency by coding a transform coefficient group in a low frequency region before a high frequency region.
  • An object of the present invention is to provide a method and apparatus for constructing a prediction motion vector list that improves coding efficiency of inter prediction by using high correlation information in bidirectional prediction of a current block.
  • another object of the present invention is to provide a method and apparatus for constructing a predictive motion vector list capable of improving coding efficiency according to whether reference pictures for bidirectional prediction of a current block are identical.
  • a method of decoding a video signal including: setting a structure of a coding block constituting a current image; Setting a structure of transform blocks corresponding to the coding block; And generating a prediction signal using the transform blocks, wherein the coding block includes any one or more of a square block and a non-square block.
  • the transform block includes at least one of a square transform block and a non-square transform block of the same size or smaller size of the coding block.
  • the square transform block may be a transform block having a quart tree structure
  • the non-square transform block may be a transform block having a non-square binary tree structure or a non-square quart tree structure.
  • the method may further include receiving transform block partitioning information indicating a shape and a size of the transform block.
  • the transform block may be divided to include any one or more of a non-square transform sub-square and a square transform sub-block, further comprising the step of subdividing the transform block into sub transform blocks; When re-divided into transform blocks, the prediction signal may be generated for each sub transform block.
  • the sub transform blocks may include at least one of a non-square sub transform block and a square sub transform block.
  • the first mode area having an angle of 90 ° or more and less than 180 ° in the direction of the intra prediction mode of the current block, 180 ° or more and less than 225 ° Determining which mode region belongs to a second mode region having an angle and a third region having an angle of 45 degrees or more and less than 90 degrees; And variably determining a coding order of the transform block based on a mode region to which the intra prediction mode belongs.
  • the transform block may be coded in the order from the lower left to the upper right, and if the transform block is a square transform block, the lower left, lower right, upper left, And may be coded in the order of the upper right, and if the transform block is a square transform block, it may be coded in the order of the lower left, upper left, lower right, and upper right.
  • the transform block may be coded in the order of left to right, and if the transform block is a horizontally divided non-square transform block, the transform block may be coded in order from the bottom to the top. have.
  • the transform block may be coded in the order from the upper right to the lower left, and if the transform block is a square transform block, the upper right, upper left, lower right, and It may be coded in the order of the lower left, and if the transform block is a square transform block, it may be coded in the order of the upper right, lower right, upper left, and lower left.
  • the transform block is a vertically divided non-square transform block, it may be coded in the order of right to left, and if the transform block is a horizontally divided non-square transform block, it may be coded in the order of the top to the bottom. have.
  • an apparatus for decoding a video signal the block setting unit configured to set a structure of a coding block constituting a current image and to set a structure of transform blocks corresponding to the coding block. ; And a prediction signal generator configured to generate a prediction signal using the transform blocks, wherein the coding block and the transform block include at least one of a square block and a non-square block.
  • the prediction signal generator may code the transform blocks according to a variable coding order according to which mode region among the mode regions in which the intra prediction mode of the coding block is classified according to the prediction direction.
  • a method of decoding a video signal the method for scanning a transform block including a plurality of transform coefficient groups, wherein at least one transform region included in the transform block is selected.
  • the transform coefficient group in the low frequency region may be scanned before the transform coefficient group in the high frequency region.
  • the transform region information may be received from an encoder or obtained from at least one of a sequence parameter set (SPS) and a slice header.
  • the transform region information may be obtained by a method determined in a decoder.
  • the method may further include determining whether the transform block is a non-square block. The determining may be performed based on the horizontal length and the vertical length of the transform block.
  • a decoding apparatus for a video signal comprising: a transform region information obtaining unit obtaining transform region information indicating at least one transform region included in a transform block; And a transform coefficient group scan unit configured to sequentially scan a plurality of transform coefficient groups included in the transform region for each of the at least one transform region based on the transform region information.
  • a method of constructing a predictive motion vector list comprising: obtaining a motion vector for a first direction of a current block; And setting at least one predicted motion vector candidate in at least one second direction constituting the predicted motion vector list in the second direction using the motion vector for the first direction.
  • the predicted motion vector candidate of the at least one second direction may be set by copying a motion vector for the first direction, and the picture information of the reference picture for the first direction and the reference picture for the second direction are the same. It can have In addition, the predictive motion vector candidates in the second direction may be assigned to the indexes in the order having the smallest codeword.
  • the predicted motion vector candidate in the second direction may be set by scaling the motion vector for the first direction based on picture information, and the reference picture for the first direction and the second direction Picture information of the reference picture may be different.
  • the predictive motion vector candidates in the second direction may be assigned to the indexes in the order having the smallest codeword.
  • a device for constructing a predictive motion vector list including: a motion vector obtaining unit obtaining a motion vector with respect to a first direction of a current block; And a second direction prediction motion vector list setting unit configured to set at least one prediction motion vector candidate in at least one second direction constituting the prediction motion vector list in the two directions using the motion vector for the first direction.
  • the second direction prediction motion vector list setting unit may include: a first prediction motion vector candidate setting unit configured to set at least one prediction motion vector candidate in the second direction by using the motion vector for the first direction; And a second prediction motion vector candidate setting unit for setting at least one prediction motion vector candidate in the second direction using spatial and temporal neighboring blocks of the current block.
  • the predictive motion vector candidate in the second direction obtained by the first predictive motion vector candidate setting unit may be set by copying a motion vector for the first direction, and the reference picture for the first direction and the second The picture information of the reference picture for the direction may be the same.
  • the predictive motion vector candidate in the second direction obtained by the first predictive motion vector candidate setting unit may be set by scaling a motion vector for the first direction based on picture information, and refer to the first direction. Picture information of a picture and a reference picture with respect to the second direction may be different.
  • the prediction motion vector candidates in the second direction obtained by the first prediction motion vector candidate setting unit may be allocated to the indexes in the order of having the smallest codeword.
  • an apparatus for encoding and decoding a video signal which improves coding efficiency by using a non-square coding block and a non-square transform block according to an image.
  • the transform block when a transform block is a non-square block, the transform block is divided into at least one transform region including some of a plurality of transform coefficient groups, and the transform coefficient groups included in the transform region are sequentially scanned.
  • the present invention provides a method and apparatus for decoding a video signal that improves coding efficiency of intra prediction.
  • the present invention provides a method and apparatus for decoding a video signal which can improve coding efficiency by coding.
  • inter-prediction is performed by using a motion vector in a first direction of a current block for performing bidirectional prediction in setting up at least one prediction motion vector candidate in constructing a prediction motion vector list for a second direction.
  • the present invention provides a method and apparatus for constructing a predictive motion vector list that uses information having high time correlation to improve coding efficiency of inter prediction.
  • the present invention provides a method and apparatus for constructing a predictive motion vector list capable of increasing coding efficiency by using at least one predictive motion vector candidate in construction.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus according to an embodiment of the present invention.
  • FIG. 3 illustrates a coding block of a current block according to a general method.
  • 4A-4C illustrate examples of non-square coding blocks of a current block according to an embodiment of the present invention.
  • 5A-6D illustrate examples of transform blocks for the current coding block, according to one embodiment of the invention.
  • FIG. 7A to 10 illustrate examples of sub transform blocks according to an embodiment of the present invention.
  • FIG. 11 illustrates a coding order and a method of a transform block according to a general method.
  • 12A to 12C illustrate examples of transform blocks according to an embodiment of the present invention.
  • FIG 13 illustrates mode regions to which an intra prediction mode belongs, according to an embodiment of the present invention.
  • FIGS. 14A and 14B illustrate a coding order of transform blocks when an intra prediction mode of a current block belongs to a first mode region
  • FIGS. 15A to 15C illustrate one embodiment of the present invention.
  • the intra prediction mode of the current block belongs to the second mode region
  • the coding order of transform blocks is shown.
  • FIGS. 16A to 16C illustrate an intra prediction mode of the current block according to an embodiment of the present invention.
  • belonging to the mode region indicates the coding order of the transform blocks.
  • 17A to 19C illustrate various examples of an order of coding a square and a non-square transform block by applying a coding order of a transform block considering an intra prediction mode according to an embodiment of the present invention.
  • 20 is for explaining the structure of a general transform block.
  • 21 is for explaining a transform coefficient group constituting a general 16x16 transform block.
  • FIG. 22 illustrates a transform coefficient group and a transform scan method of the transform coefficient group according to a general method.
  • 23A to 23D illustrate a transform coefficient group according to a general method and types of scan methods of the transform coefficient group.
  • 24A and 24B illustrate an example of applying a general scan method to a transform block according to an embodiment of the present invention.
  • 25 illustrates an example in which a general scan method is applied to transform coefficients of a 16x8 transform block.
  • 26 is a flowchart illustrating a method of scanning transform coefficient groups according to an embodiment of the present invention.
  • FIG. 27 illustrates an apparatus for scanning a group of transform coefficients according to an embodiment of the present invention.
  • 28A and 28B illustrate a method of scanning a transform coefficient group for a non-square transform block according to an embodiment of the present invention.
  • 29A to 30D are examples for describing various methods of scanning transform coefficient groups for non-square transform blocks according to an embodiment of the present invention.
  • FIG. 31 is a diagram for describing a location of obtaining a prediction motion vector candidate (MVP candidate) of a current block according to a general method.
  • 32 to 33B illustrate a method of constructing a prediction motion vector list of a current block according to a general method.
  • 34 is a flowchart illustrating a method of constructing a predictive motion vector list according to an embodiment of the present invention.
  • 35 is a flowchart illustrating an apparatus for constructing a predictive motion vector list according to an embodiment of the present invention.
  • 36 and 37 illustrate a flowchart and a configuration apparatus for a method of constructing a predictive motion vector list according to another embodiment of the present invention.
  • 38A and 38B illustrate a method of constructing a predictive motion vector list according to an embodiment of the present invention.
  • 39 is a flowchart illustrating a method of constructing a predictive motion vector list according to another embodiment of the present invention.
  • first, second, etc. are used herein to describe various components, members, parts, regions, and / or parts, these components, members, parts, regions, and / or parts may be used in these terms. It is obvious that it should not be limited by. These terms are only used to distinguish one component, member, part, region, or portion from another region or portion. Accordingly, the first component, member, part, region, or portion, described below, may refer to the second component, member, component, region, or portion without departing from the teachings of the present invention. In addition, and / or the term includes a combination of a plurality of related items or any item of a plurality of related items.
  • a component When a component is referred to as being “connected” or “connected” to another component, it is not only directly connected to or connected to the other component, but also between any of the above components and the other component. It should be understood including the presence of other components in the document. However, if a component is referred to as being “directly connected” or “directly connected” to another component, there is no other component in the middle and the above component and the other component are directly connected or connected. It should be understood.
  • FIG. 1 is a block diagram schematically illustrating an image encoding apparatus according to an embodiment of the present invention.
  • the image encoding apparatus 100 may include a picture splitter 105, an inter prediction unit 110, an intra prediction unit 115, a transform unit 120, a quantization unit 125, and a rearrangement unit. 130, an entropy encoder 135, an inverse quantizer 140, an inverse transformer 145, a filter 150, and a memory 155.
  • each of the components shown in FIG. 1 is independently illustrated to represent different characteristic functions in the image encoding apparatus, and does not mean that each component is composed of separate hardware or one software component unit.
  • each component is included as an individual component for convenience of description, and at least two of the components are combined to form one component, or one component is divided into a plurality of components to provide a function. Can be done.
  • Embodiments in which each of these components are integrated or separated may be included in the scope of the present invention without departing from the essential aspects of the present invention.
  • the picture dividing unit 105 may divide the input picture into at least one processing unit.
  • the processing unit may be a prediction block (PU), a transform block (TU), or a coding block (CU).
  • PU prediction block
  • TU transform block
  • CU coding block
  • the prediction block may be represented by a prediction unit, a transform block by a transform unit, and an encoding or decoding block by a coding unit or decoding unit.
  • the picture divider 105 divides a picture into a combination of a plurality of coding blocks, prediction blocks, and transform blocks, and generates one picture based on a predetermined criterion (eg, a cost function).
  • a picture may be encoded by selecting a combination of a coding block, a prediction block, and a transform block.
  • one picture may be divided into a plurality of coding blocks.
  • one picture may split the coding block using a recursive tree structure such as a quad tree structure or a binary tree structure, and one picture or a maximum size coding block.
  • a coding block divided into other coding blocks may be divided with as many child nodes as the number of divided coding blocks.
  • coding blocks that are no longer split may be leaf nodes. For example, if it is assumed that only square division is possible for one coding block, one coding block may be divided into four coding blocks, for example.
  • the coding block, the prediction block, and / or the transform block are not limited to symmetric partitioning at the time of partitioning, but are also capable of asymmetric partitioning and two partitioning as well as four partitioning.
  • the number of such divisions is exemplary only, and the present invention is not limited thereto.
  • a method and apparatus for encoding and decoding a video signal using non-square blocks that are asymmetrically divided into coding blocks and transform blocks will be described with reference to FIGS. 3 to 19C.
  • the prediction block may also be divided in the form of at least one square or non-square of the same size in one coding block, and any of the prediction blocks divided in one coding block One prediction block may be split to have a different shape and size from another prediction block.
  • the coding block and the prediction block may be the same. That is, the prediction may be performed based on the divided coding block without distinguishing the coding block and the prediction block.
  • the prediction unit may include an inter prediction unit 110 that performs inter prediction and an intra prediction unit 115 that performs intra prediction.
  • an image signal is not encoded as it is, but an image is predicted by using a specific region inside a picture that is already encoded and decoded, and a residual value between the original image and the predicted image is encoded.
  • prediction mode information and motion vector information used for prediction may be encoded by the entropy encoder 135 together with the residual value and transmitted to the decoder.
  • the prediction block 110 may not generate a prediction block through the prediction units 110 and 115, but may encode the original block as it is and transmit it to the decoding unit.
  • the prediction units 110 and 115 determine whether to perform inter-prediction or intra-prediction on the prediction block, and predict the prediction, such as an inter prediction mode, a motion vector, and a reference picture. Specific information according to each method may be determined. In this case, the processing unit in which the prediction is performed, the prediction method, and the detailed processing unit may be different. For example, although the prediction mode and the prediction method are determined according to the prediction block, the performance of the prediction may be performed according to the transform block.
  • the prediction units 110 and 115 may perform prediction on the processing unit of the picture divided by the picture dividing unit 105 to generate a prediction block composed of the predicted samples.
  • the picture processing unit in the prediction units 110 and 115 may be a coding block unit, a transform block unit, or a prediction block unit.
  • the inter prediction unit 110 may predict the prediction block based on information of at least one or more pictures of a previous picture or a subsequent picture of the current picture, and in some cases, predict the prediction block based on information of some region in which coding is completed in the current picture.
  • the block can be predicted.
  • the inter prediction unit 110 may include a reference picture interpolator, a motion predictor, and a motion compensator.
  • the information of the one or more pictures used for prediction in the inter prediction unit 110 may be information of pictures that have already been encoded and decoded, and may be information of pictures that have been modified and stored in an arbitrary manner. have.
  • a picture modified and stored by the above-described method may be a picture obtained by enlarging or reducing a picture that has been encoded and decoded, or may be a picture in which the brightness of all pixel values in the picture is modified or the color format is modified. It may be.
  • the reference picture interpolator may receive reference picture information from the memory 155 and generate pixel information of an integer pixel or less in the reference picture.
  • pixel information of less than or equal to an integer may be generated in units of 1/4 pixels using a DCT-based 8-tap interpolation filter having different coefficients of the filter.
  • pixel information of less than an integer may be generated in units of 1/8 pixels by using a DCT-based 4-tap interpolation filter having different filter coefficients.
  • the type of the filter and the unit for generating pixel information below the integer are not limited thereto, and the unit for generating pixel information below the integer using various interpolation filters may be determined.
  • the motion predictor may perform motion prediction based on the reference picture interpolated by the reference picture interpolator.
  • Various methods can be used to calculate the motion vector.
  • the motion vector may have a motion vector value of an integer pixel unit or 1/4 or 1/8 pixel unit based on the interpolated pixel.
  • the motion prediction unit may predict the prediction unit of the current block by using a different motion prediction method.
  • the motion prediction method may include various methods including a merge method, an advanced motion vector prediction (AMVP) method, and a skip method.
  • AMVP advanced motion vector prediction
  • the information including the index of the reference picture selected by the inter prediction unit 110, the motion vector predictor (MVP), and the residual signal may be entropy coded and transmitted to the decoder.
  • the intra prediction unit 115 may generate a prediction block based on reference pixel information around a current block which is pixel information in a current picture. If the neighboring blocks of the prediction block are blocks that perform inter prediction, that is, when the reference pixel is a pixel that performs inter prediction, the intra prediction is performed on the reference pixels included in the block that performs the inter prediction. It may be used by substituting the reference pixel information of the block which performed.
  • the unavailable reference pixel has been used in place of a reference pixel of at least one of the available peripheral pixels or assigned a predetermined sample value.
  • an intra prediction mode may be implemented so that an intra prediction may be performed using an available reference pixel area rather than a reference pixel area that is not available when coding a transform block.
  • the coding order of transform blocks can be changed in various ways. Detailed description thereof will be described later.
  • the intra prediction unit 115 may use the most probable intra prediction mode (MPM) obtained from neighboring blocks to encode the intra prediction mode.
  • MPM most probable intra prediction mode
  • the most probable intra picture prediction mode list (MPM List) composed of the most probable intra picture prediction modes may be configured in various ways.
  • the processing unit in which the prediction is performed may differ from the processing unit in which the prediction method and the specific content are determined.
  • the prediction mode may be determined in a prediction unit (PU), and the prediction may be performed in the prediction unit, and the prediction mode may be determined in the prediction unit, but the prediction may be performed in a transformation unit (TU).
  • the prediction mode may be determined in units of coding blocks (CUs), and the prediction unit may be performed in units of the coding block because the coding block unit and the prediction unit are the same.
  • the prediction modes of the intra prediction may include 65 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planar mode.
  • the number of the 67 inter prediction modes is exemplary only, and the present invention is not limited thereto, and the intra prediction may be performed in more directional or non-directional modes in order to predict in various ways.
  • the intra prediction may generate a prediction block after applying a filter to the reference pixel.
  • whether to apply a filter to the reference pixel may be determined according to the intra prediction mode and / or size of the current block.
  • the prediction unit PU may be determined in various sizes and shapes from a coding unit CU that is no longer split.
  • the prediction unit may have a size equal to 2N ⁇ 2N, 2N ⁇ N, N ⁇ 2N, or N ⁇ N.
  • the prediction unit may have a size equal to 2N ⁇ 2N or N ⁇ N (where N is an integer), but the intra prediction may be performed not only in the forward size but also in the shape of the non-forward size.
  • the N ⁇ N prediction unit may be set to apply only in a specific case.
  • an intra prediction unit having a size such as N ⁇ mN, mN ⁇ N, 2N ⁇ mN, or mN ⁇ 2N (m is a fraction or an integer) may be further defined and used.
  • a residual value (residual block or residual signal) between the prediction block generated by the intra prediction unit 115 and the original block may be input to the transform unit 120.
  • prediction mode information and interpolation filter information used for prediction may be encoded by the entropy encoder 135 along with the residual value and transmitted to the decoder.
  • the transform unit 120 converts the residual block including residual value information of the original block and the prediction unit generated through the prediction units 110 and 115 as a transform unit, to a discrete cosine transform (DCT) and a discrete sine transform (DST). Can be transformed using a transformation method such as Karhunen Loeve Transform (KLT). Whether DCT, DST or KLT is applied to transform the residual block may be determined based on intra prediction mode information of the prediction unit used to generate the residual block.
  • a transformation method such as Karhunen Loeve Transform (KLT). Whether DCT, DST or KLT is applied to transform the residual block may be determined based on intra prediction mode information of the prediction unit used to generate the residual block.
  • the transform block in the transform unit 120 may be a TU, a square structure, a non-square structure, a square quad tree structure, a non-square quad tree ) Or a binary tree structure.
  • the size of the transform unit may be determined within a range of a predetermined maximum and minimum size.
  • one transform block may be further divided into sub transform blocks, wherein the sub transform blocks may have a square structure, a non-square structure, a square quad tree structure, and a square quad. It may have a tree (non-square quad tree) structure or a binary tree (binary tree) structure.
  • the quantization unit 125 may generate quantization coefficients by quantizing the residual values transformed by the transformer 120.
  • the converted residual values may be values converted into a frequency domain.
  • the quantization coefficient may be changed according to a transformation unit or the importance of an image, and the value calculated by the quantization unit 125 may be provided to the inverse quantization unit 140 and the reordering unit 130.
  • the reordering unit 130 may rearrange the quantization coefficients provided from the quantization unit 125.
  • the reordering unit 130 may improve the coding efficiency of the entropy encoder 135 by rearranging the quantization coefficients.
  • the reordering unit 130 may rearrange the quantization coefficients in the form of a two-dimensional block into a one-dimensional vector form through a coefficient scanning method.
  • the coefficient scanning method which scan method is used may be determined according to the size of the transform unit and the intra prediction mode.
  • the coefficient scanning method may include a zig-zag scan, a vertical scan for scanning two-dimensional block shape coefficients in a column direction, and a horizontal scan for scanning two-dimensional block shape coefficients in a row direction.
  • the reordering unit 130 may increase the entropy coding efficiency in the entropy encoder 135 by changing the order of coefficient scanning based on probabilistic statistics of coefficients transmitted from the quantization unit.
  • the entropy encoder 135 may perform entropy encoding on the quantized coefficients rearranged by the reordering unit 130.
  • Entropy coding may use various coding methods, such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Content-Adaptive Binary Arithmetic Coding (CABAC).
  • the entropy encoder 135 may include quantization coefficient information, block type information, prediction mode information, division unit information, prediction unit information, and transmission unit information of the coding unit received from the reordering unit 130 and the prediction units 110 and 115. Various information such as motion vector information, reference picture information, interpolation information of blocks, and filtering information may be encoded. In addition, in an embodiment, the entropy encoder 135 may apply a constant change to a parameter set or syntax to be transmitted when necessary.
  • the inverse quantization unit 140 inversely quantizes the quantized values in the quantization unit 125, and the inverse transformer 145 inversely changes the inverse quantized values in the inverse quantization unit 140.
  • the residual values generated by the inverse quantizer 140 and the inverse transformer 145 may be combined with the prediction blocks predicted by the predictors 110 and 115 to generate a reconstructed block.
  • the image composed of the generated reconstruction blocks may be a motion compensation image or an MC (Motion Compensated Picture).
  • the motion compensation image may be input to the filter unit 150.
  • the filter unit 150 may include a deblocking filter unit, an offset correction unit (SAO), and an adaptive loop filter unit (ALF).
  • the motion compensation image may be deblocked.
  • the deblocking filter may be input to the offset corrector to correct the offset.
  • the picture output from the offset correction unit may be input to the adaptive loop filter unit and pass through an ALF filter, and the picture passing through the filter may be transmitted to the memory 155.
  • the deblocking filter unit may remove distortion in a block generated at a boundary between blocks in the reconstructed picture.
  • it may be determined whether to apply a deblocking filter to the current block based on the pixels included in several columns or rows included in the block.
  • a strong filter or a weak filter may be applied according to the required deblocking filtering strength.
  • horizontal filtering and vertical filtering may be performed in parallel when vertical filtering and horizontal filtering are performed.
  • the offset correction unit may correct the offset with respect to the original image on a pixel-by-pixel basis for the residual block to which the deblocking filter is applied.
  • the pixels included in the image are divided into a predetermined number of regions, and then a region to be offset is determined and an offset is applied to the region (Band Offset) or an edge of each pixel. It may be applied in the form of an edge offset in consideration of information.
  • the filtering unit 150 may not apply filtering to the reconstructed block used for inter prediction.
  • the adaptive loop filter may be performed only when high efficiency is applied based on a value obtained by comparing the filtered reconstructed image with the original image. After dividing the pixels included in the image into a predetermined group, one filter to be applied to the group may be determined and filtering may be performed for each group. For information related to whether to apply the ALF, a luminance signal may be transmitted for each coding unit (CU), and the shape and filter coefficient of an ALF filter to be applied may vary according to each block. In addition, the same type (fixed form) of the ALF filter may be applied regardless of the characteristics of the block to be applied.
  • ALF adaptive loop filter
  • the memory 155 may store the reconstructed block or the picture calculated by the filter unit 150.
  • the reconstructed block or picture stored in the memory 155 may be provided to the inter prediction unit 110 or the intra prediction unit 115 that performs inter prediction.
  • the pixel values of the reconstructed blocks used in the intra prediction unit 115 may be data to which the deblocking filter unit, the offset correction unit, and the adaptive loop filter unit are not applied.
  • the image decoding apparatus 200 may include an entropy decoder 210, a reordering unit 215, an inverse quantization unit 220, an inverse transform unit 225, an inter prediction unit 230, and an intra prediction.
  • the unit 235 includes a filter unit 240 and a memory 245.
  • the input bitstream may be decoded in a reverse process of a procedure in which image information is processed by the encoding apparatus.
  • VLC variable length coding
  • CAVLC CAVLC
  • the entropy decoder 210 may also be used in the encoding apparatus. Entropy decoding can be performed by implementing the same VLC table as the used VLC table.
  • CABAC CABAC is used to perform entropy encoding in the encoding apparatus
  • CABAC CABAC
  • CABAC CABAC
  • the entropy decoder 210 provides information for generating a prediction block among the decoded information to the inter prediction unit 230 and the intra prediction unit 235, and a residual value of which the entropy decoding is performed by the entropy decoding unit. May be input to the reordering unit 215.
  • the reordering unit 215 may reorder the entropy decoded bitstream by the entropy decoding unit 210 based on a method of reordering the image encoder.
  • the reordering unit 215 may receive the information related to the coefficient scanning performed by the encoding apparatus and perform the rearrangement through a reverse scanning method based on the scanning order performed by the encoding apparatus.
  • the inverse quantization unit 220 may perform inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
  • the inverse transform unit 225 may perform inverse DCT, inverse DST, or inverse KLT on a DCT, DST, or KLT performed by the transform unit of the encoding apparatus, on the quantization result performed by the image encoding apparatus.
  • the inverse transform may be performed based on a transmission unit determined by the encoding apparatus or a division unit of an image.
  • the transform unit of the encoding apparatus may selectively perform DCT, DST, or KLT according to the information such as the prediction method, the size of the current block, and the prediction direction, and the inverse transform unit 225 of the decoding apparatus may use the transform unit of the encoding apparatus.
  • An inverse transform method may be determined based on the performed conversion information to perform inverse transform.
  • the prediction units 230 and 235 may generate the prediction block based on the information related to the prediction block generation provided by the entropy decoding unit 210 and the previously decoded block and / or picture information provided by the memory 245.
  • the reconstruction block may be generated using the prediction block generated by the predictors 230 and 235 and the residual block provided by the inverse transform unit 225.
  • the method of concrete prediction performed by the predictors 230 and 235 may be the same as the method of prediction performed by the predictors 110 and 115 of the encoding apparatus.
  • the prediction units 230 and 235 may include a prediction unit determination unit (not shown), an inter prediction unit 230, and an intra prediction unit 235.
  • the prediction unit discrimination unit receives various information such as prediction unit information input from the entropy decoding unit 210, prediction mode information of the intra prediction method, and motion prediction related information of the inter prediction method, and predicts the prediction block in the current coding block. It may be determined whether the prediction block performs inter prediction or intra prediction.
  • the inter prediction unit 230 based on information included in at least one of a previous picture or a subsequent picture of the current picture including the current prediction block, using information necessary for inter prediction of the current prediction block provided by the image encoder. For example, inter prediction may be performed on the current prediction block.
  • a prediction picture for the current block may be generated by selecting a reference picture with respect to the current block and selecting a reference block having the same size as the current block.
  • information of neighboring blocks of the current picture may be used.
  • the prediction block for the current block may be generated based on the information of the neighboring block using methods such as a skip mode, a merge mode, and an advanced motion vector prediction (AMVP).
  • AMVP advanced motion vector prediction
  • the prediction block may be generated in an integer number of samples or less, such as 1/2 pixel sample unit and 1/4 pixel sample unit.
  • the motion vector may also be expressed in units of integer pixels or less.
  • the luminance pixel may be expressed in units of 1/4 pixels
  • the chrominance pixel may be expressed in units of 1/8 pixels.
  • Motion information including a motion vector and a reference picture index required for inter-screen prediction of the current block may be derived in response to a skip flag, a merge flag, and the like received from the encoding apparatus.
  • the intra prediction unit 235 may generate a prediction block based on pixel information in the current picture.
  • the prediction unit is a prediction unit that performs the intra prediction
  • the intra prediction may be performed based on the intra prediction mode information of the prediction unit provided by the image encoder.
  • the neighboring blocks of the prediction unit are blocks that perform inter-screen prediction, that is, when the reference pixel is a pixel that performs inter-screen prediction
  • the intra-prediction of the reference pixels included in the block on which the inter-screen prediction is performed It may be used by substituting the reference pixel information of the block which performed.
  • the unavailable reference pixel has been used as a substitute for at least one reference pixel among available peripheral pixel values or by assigning a predetermined sample value.
  • an intra prediction mode may be implemented so that an intra prediction may be performed using an available reference pixel area rather than a reference pixel area that is not available when coding a transform block.
  • the coding order of transform blocks can be changed in various ways. Detailed description thereof will be described later.
  • the intra prediction unit 235 may use the most probable intra prediction mode (MPM) obtained from neighboring blocks to encode the intra prediction mode.
  • the most probable intra picture prediction mode may use the intra picture prediction mode of the spatial neighboring block of the current block.
  • the processing unit in which the prediction is performed in the on-screen prediction unit 235 may differ from the processing unit in which the prediction method and the details are determined.
  • the prediction mode may be determined in the prediction unit, and prediction may be performed in the prediction unit.
  • the prediction mode may be determined in the prediction unit, and the intra prediction may be performed in the transform unit.
  • the prediction block PU may be determined in various sizes and shapes from the coding block CU which is no longer split.
  • a prediction block may have a size equal to 2N x 2N or N x N (where N is an integer), but not only the forward size but also N x mN, mN x N
  • Intra-prediction may also be performed with 2N ⁇ mN or mN ⁇ 2N where m is a fraction or an integer.
  • the N ⁇ N prediction unit may be set to apply only in a specific case.
  • the transform block may also be determined in various sizes and shapes.
  • the transform block may have a size equal to 2N x 2N or N x N (where N is an integer), but not only such forward size but also N x mN, mN x N, 2N x mN Intra prediction can also be performed with mN ⁇ 2N (m is a fraction or an integer).
  • the N ⁇ N prediction unit may be set to apply only in a specific case.
  • the transform block is a square structure, a non-square structure, a square quad tree structure, a non-square quad tree structure, or a binary tree ( binary block) may be one of blocks having a structure.
  • the size of the transform block may be determined within a range of predetermined maximum and minimum sizes.
  • one transform block may be divided into sub transform blocks, in which case the sub transform blocks also have a square structure, a non-square structure, a square quad tree structure, and a ratio. It may be divided into a non-square quad tree structure or a binary tree structure.
  • the intra prediction unit 235 may include an adaptive intra smoothing (AIS) filter unit, a reference pixel interpolator unit, and a DC filter unit.
  • the AIS filter unit performs filtering on a reference pixel of a current block and determines whether to apply a filter according to a prediction mode of a current prediction unit.
  • AIS filtering may be performed on the reference pixel of the current block by using the prediction mode of the prediction unit and the AIS filter information provided by the image encoder.
  • the prediction mode of the current block is a mode in which AIS filtering is not performed, the AIS filter unit may not be applied to the current block.
  • the reference pixel interpolation unit may generate a reference pixel of an integer value or less by interpolating the reference pixel when the prediction mode of the prediction unit is an prediction unit that performs intra prediction based on the sample value interpolated with the reference pixel. have.
  • the prediction mode of the current prediction unit is a prediction mode that generates a prediction block without interpolating the reference pixel
  • the reference pixel may not be interpolated.
  • the DC filter unit may generate the prediction block through filtering when the prediction mode of the current block is the DC mode.
  • the reconstructed block and / or picture may be provided to the filter unit 240.
  • the filter unit 240 may include a deblocking filter unit, an offset correction unit, and / or an adaptive loop filter unit in the reconstructed block and / or picture.
  • the deblocking filter may receive information indicating whether a deblocking filter is applied to a corresponding block or picture from the image encoder and information indicating whether a strong filter or a weak filter is applied when the deblocking filter is applied.
  • the deblocking filter unit may receive the deblocking filter related information provided by the image encoder and perform deblocking filtering on the corresponding block in the image decoder.
  • the offset correction unit may perform offset correction on the reconstructed image based on the type of offset correction and offset value information applied to the image during encoding.
  • the adaptive loop filter unit may be applied as a coding unit on the basis of information such as whether to apply the adaptive loop filter provided from the encoder and coefficient information of the adaptive loop filter. Information related to the adaptive loop filter may be provided in a specific parameter set.
  • the memory 245 may store the reconstructed picture or block and use it as a reference picture or reference block later, and may provide the reconstructed picture to the output unit.
  • bitstream input to the decoding apparatus may be input to the entropy decoding unit through a parsing step.
  • the entropy decoding unit may perform a parsing process.
  • coding may be interpreted as encoding or decoding in some cases, and information includes all values, parameters, coefficients, elements, flags, and the like. Can be understood.
  • the term 'picture' or 'picture' generally refers to a unit representing a single image in a specific time zone, and 'slice' or 'frame' refers to a picture in actual coding of a video signal. It is a unit constituting a part, and may be used interchangeably with a picture if necessary.
  • 'Pixel', 'pixel' or 'pel' represents the minimum unit that constitutes one image.
  • 'sample' may be used.
  • the sample may be divided into a luminance (Luma) and a color difference (Chroma) component, but may be generally used as a term including both of them.
  • the color difference component represents a difference between predetermined colors and is generally composed of Cb and Cr.
  • 'Unit' refers to a basic unit of image processing or a specific position of an image, such as the above-described coding unit, prediction unit, and transformation unit, and in some cases, terms such as 'block' or 'area' And can be used interchangeably. Also, a block may be used as a term indicating a set of samples or transform coefficients composed of M columns and N rows.
  • FIG. 3 illustrates a coding block for a current block according to the prior art.
  • an image corresponding to the current block 10 may be encoded or decoded using square coding blocks 11, 12, 13, and 14 of the same size.
  • the actual image is divided into four square coding blocks. Since CU0 11 and CU2 13, which are non-existent coding blocks, must also be encoded or decoded, prediction mode and prediction information for CU0 11 and CU2 13 must also be transmitted. Such a method can reduce coding efficiency because there is a lot of information to be transmitted regardless of the characteristics of the image of the block.
  • a coding block according to an embodiment of the present invention may include not only a square coding block but also a non-square coding block.
  • 4A through 4C illustrate examples of non-square coding blocks of a current block according to an embodiment of the present invention.
  • a coding block may include a non-square coding block.
  • prediction modes and prediction information may be independently determined and transmitted for each coding block.
  • the non-square coding block may include a vertical non-square coding block in the longitudinal direction longer than the horizontal direction and a horizontal non-square coding block in the horizontal direction longer than the longitudinal direction. have.
  • coding blocks 21 to 27 for coding a current block show an example including coding blocks 21, 24, and 25 having a vertical non-square shape.
  • a vertical non-square coding block may have a size of 16 x 32 (21) or a size of 8 x 32 (24, 25), but in the present invention, the ratio of the horizontal and vertical size of the coding block is It is not limited.
  • the vertical non-square coding blocks may be used when the image corresponding to the current block has a large change in the vertical direction compared to the horizontal direction.
  • the coding blocks 31 to 37 for coding the current block show an example including coding blocks 31, 34, and 35 having a non-square shape in the horizontal direction.
  • a horizontal non-square coding block may have a size of 32 x 16 (31) or a size of 32 x 8 (34, 35), but in the present invention, the ratio of the horizontal and vertical size of the coding block is It is not limited.
  • the horizontal non-square coding blocks may be used when the image corresponding to the current block has a large change in the horizontal direction compared to the vertical direction.
  • the method of determining which direction of the non-square coding block is used for the current block is not limited in the present invention, and also does not limit the maximum and minimum sizes of the non-square coding block.
  • the number of non-square coding blocks and the ratio between the horizontal length and the vertical length are not limited, and the current block may be divided into 1: N.
  • the current coding block CU may be used as the prediction block PU as it is.
  • the coding block CU may be a non-forward block as well as the shape of the forward block as in the general method, and the current block including the coding blocks CU may have a 1: N split structure.
  • the current coding block CU may be equally used as both the prediction block PU and the transform block TU, and in this case, as described above, the current block including the current coding block
  • the structure may be divided using a structure divided into square blocks, a structure divided into non-square blocks, and a structure divided into 1: N.
  • a coding tree unit includes square coding blocks CB0 to CB4, CB8, CB9, CB11, CB12, and CB15 of various sizes, and non-square coding blocks CB5 to CB7 of various sizes. , CB10, CB13, CB14, CB17 to CB19).
  • Transform blocks based on the size of each coding block or prediction block may be subdivided into quadtree splitting structures. For example, when splitting one transform block into a quadtree structure, the transform block is divided into four square subtransforms. It may be divided into blocks.
  • the coding method of the video signal according to an embodiment of the present invention may use not only the non-square coding block but also the non-square transform block and the non-square sub transform block as transform blocks.
  • 5A-6C illustrate examples of transform blocks for a current coding block, according to one embodiment of the invention.
  • 5A and 5B are examples of the configuration of an initial transform block for an N ⁇ N square current coding block (not shown), and
  • FIGS. 6A to 6C are configurations of an initial transform block for a non-square current coding block. It represents.
  • the transform block constituting the current coding block may include a square transform block and a non-square transform block.
  • the transform block can transform the residual signal into the frequency domain using a transform matrix.
  • a square coding block may be configured as one square transform block 41 or four square transform blocks 42 to 45 as a configuration of an initial transform block.
  • two non-square transform blocks 46 to 48 or four non-square transform blocks 51 to 58 may be configured as initial transform blocks.
  • the two non-square transform blocks may be vertical non-square transform blocks 46, 47 of size N / 2 x N or horizontal non-square transform blocks 48, 49 of size N x N / 2.
  • the four non-square transform blocks may be vertical non-square transform blocks 51 to 54 having an N / 4 ⁇ N size or horizontal non-square transform blocks 55 to 58 having an N ⁇ N / 4 size. have.
  • the initial transform block may be configured not only of the square transform block but also of the non-square transform block. Although two or four non-square transform blocks are illustrated above, the size and number of non-square transform blocks are not limited thereto.
  • the transform block configuration of the current coding block may be differently determined according to the direction of the intra prediction mode. For example, if the current coding block uses the intra prediction mode in the vertical direction, the current transform is performed using the decoded reference samples at the top by using a horizontally divided non-square transform block as the transform block for the current coding block. The block can then generate the prediction signal.
  • the transform block constituting the current coding block may be a square transform block and a transform block. It may include a non-square transform block.
  • the coding block may be non-square coding blocks 60a and 60b having different horizontal lengths (A) and vertical lengths (B).
  • A horizontal lengths
  • B vertical lengths
  • a square transform block or a non-square transform block may be used to divide the coding block evenly.
  • N a x a sized square transform blocks 61 may be used as an initial transform block configuration for the non-square coding blocks 60a and 60b.
  • a which is the horizontal and vertical length of the square transform block 61, may be equal to the smaller of the horizontal and vertical lengths of the non-square coding block.
  • the horizontal and vertical lengths of the square transform block 61 may be calculated from a higher parameter or obtained through a predetermined method.
  • M (where M is an integer) M non-square transform blocks 62 to 65 may be used as a configuration of an initial transform block for the non-square coding blocks 60a and 60b.
  • the non-square transform block 62, 63 may be the same size as the non-square coding block 60a, or may be a non-square transform block 64, 65 of a smaller size than the non-square coding block 60a, 60b. It may be.
  • the horizontal length a and the vertical length b of the non-square transform blocks 62 and 63 may be set equal to the horizontal and vertical lengths of the coding blocks 60a and 60b.
  • the horizontal and vertical lengths of the non-square transform blocks 64 and 65 may be calculated from higher parameters or obtained through a predetermined method.
  • M non-square or square transform blocks 66 and 67 having a quadtree structure may be used as a configuration of an initial transform block for the non-square coding blocks 60a and 60b.
  • the non-square or square transform blocks 66 and 67 are blocks having a smaller size than the non-square coding blocks, and may be used when the size of the non-square coding block does not correspond to one transform block.
  • the transform blocks having the quadtree structure are described, but the number of the non-square or square transform blocks 66 and 67 is not limited thereto.
  • the transform block constituting the current coding block can be divided into sub transform blocks of smaller size.
  • Each of the sub transform blocks may generate transform coefficients by performing independent transform processes, and may have various shapes and sizes.
  • the partitioning method may be differently determined based on the size and shape of the upper transform block before being divided into the sub transform blocks, and may have a different shape independently of the shape of the upper transform block.
  • 7A to 10 illustrate an example of a sub transform block according to an embodiment of the present invention.
  • 7A to 7D illustrate examples of sub-transform blocks of the transform block when the transform block is a square transform block
  • FIGS. 8A to 8D illustrate sub transform blocks of the transverse block when the transform block is a vertical non-square transform block
  • 9A to 9D show examples of sub transform blocks for a transverse non-square transform block.
  • 10 shows a transform block composed of various sub transform blocks.
  • the square transform block 70 may be divided in various ways to generate the sub transform blocks 71a to 74d. Can be.
  • the square transform block 70 may be divided into four sub transform blocks 71a to 71d in a square using a square quadtree splitting method (FIG. 7B), and may be divided into vertical or horizontal directions using a binary tree splitting method. It can be divided into non-square two sub-conversion blocks 72a to 72d (FIG. 7C).
  • the non-square quadtree splitting method may be divided into four non-square sub-conversion blocks 73a to 73h in the vertical or horizontal direction (FIG. 7D).
  • the number and size of the sub-conversion blocks to be divided are merely examples and are not limited to the description of the present invention.
  • the non-square transform block 80 may use various methods.
  • the sub conversion blocks 81a to 84d may be generated by dividing by.
  • the non-square transform block 80 may be divided into four sub transform blocks 81a through 81d in a square using a square quadtree partitioning method (FIG. 8B), and four or more sub transform blocks (not shown). It can be divided into In this case, the horizontal and vertical lengths of the square sub transform blocks may be the same as the shorter length (A in FIG.
  • the non-square transform block 80 may be divided into sub transform blocks according to the square division method as shown in FIG. 8B.
  • the non-square transform block 80 may be divided into two non-square vertical sub-transition blocks 82a to 82d using a binary tree partitioning method.
  • the non-square transform block 80 may be divided into four non-square sub transform blocks 83a to 83d using the non-square quadtree partitioning method.
  • the number and size of the sub-conversion blocks to be divided are merely examples and are not limited to the description of the present invention.
  • the non-square transform block 90 when the current transform block is a non-square transform block 90 having a size A (width length) x B (length), as shown in FIG. 9A, the non-square transform block 90 may be implemented in various ways.
  • the sub conversion blocks 91a to 94d may be generated by dividing by.
  • the non-square transform block 90 may be divided into four sub transform blocks 91a through 91d in a square using a square quadtree splitting method (FIG. 9B), and four or more sub transform blocks (not shown). It can be divided into In this case, the horizontal and vertical lengths of the square sub transform blocks may be the same as the shorter length (B in FIG.
  • the non-square transform block 90 may be divided into sub transform blocks according to the square division method as shown in FIG. 9B.
  • the non-square transform block 90 may be divided into two non-square vertical sub-transition blocks 92a through 92d using a binary tree splitting method.
  • the non-square transform block 90 may be divided into four non-square sub transform blocks 93a to 93d by using the non-square quadtree partitioning method.
  • the number and size of the sub-conversion blocks to be divided are merely examples and are not limited to the description of the present invention.
  • FIG. 10 shows an example of transforming a current coding block by using a division method as shown in FIGS. 7A to 9D.
  • a square transform block not only a square transform block but also a non-square transform block may be applied to the current coding block, and the square or non-square transform block may be divided into a square sub transform block as well as a non-square sub transform block.
  • Such transform block application and division into sub transform blocks may be applied in combination with one or more of the methods as shown in FIGS. 7A to 9D.
  • the shape and number of transform blocks or the shape and number of sub transform blocks are not limited to the examples of the present invention.
  • the transform block is decoded using a raster scan method, and reference samples used to generate the prediction signal are determined according to the direction of the intra prediction mode. .
  • each of the transform blocks TU0 to TU3 always generates a prediction signal using only reference samples located to the left of the transform block.
  • the first transform block TU0 which first generates the prediction signal among the transform blocks, generates the prediction signal using the first reference sample region 111 located in the transform block.
  • 111 may be comprised of reference samples available and / or reference samples that are not available.
  • some pixels of the first transform block TU1 also constitute the second reference sample region 112 for the second transform block TU1, and thus, the second reference sample region 112 may be used. It can be seen that is composed of some pixels of the first transform block TU0, i.e., the available reference samples, which are decoded samples.
  • the third transform block TU2 that generates the prediction signal uses the pixels located on the left side of the third transform block TU2 as reference samples, the decoded first transform block TU0 and the second transform block. Since the pixels of TU1 are not used, the third reference sample region 113 used for prediction may be composed of reference samples that are not available.
  • the fourth transform block TU3 decodes some pixels of the third transform block TU2 to constitute the fourth reference sample region 114 for the fourth transform block TU3, so that the fourth reference sample region 114 is decoded. It can be seen that the samples consist of some pixels of the third transform block TU2, that is, the available reference samples.
  • the coding method of the video signal according to an embodiment of the present invention can increase coding efficiency by variably determining the coding order of transform blocks according to the direction of the intra prediction mode of the current coding block.
  • 12A to 12C illustrate examples of transform blocks according to an embodiment of the present invention.
  • transform blocks according to an embodiment of the present invention may have a structure in which four transform blocks having the same size are composed of two lines (FIG. 12A), and It may be a structure listed horizontally or vertically (FIGS. 12B and 12C).
  • the transform blocks may be subdivided into smaller sub transform blocks, and the sub transform blocks may have a structure as shown in FIGS. 12A to 12C.
  • the present invention proposes a method for variably determining the coding order of transform blocks in consideration of which mode region the intra prediction mode of the current block corresponding to the transform blocks belongs to.
  • the intra prediction mode may be first divided according to the prediction direction. 13 illustrates mode regions to which an intra prediction mode belongs according to an embodiment of the present invention.
  • intra-prediction modes having directionality may be divided into first mode areas and third mode areas 131 to 133 according to prediction directions.
  • intra prediction modes having an angle of 90 ° to 180 ° except for the horizontal and vertical intra prediction modes are intra prediction modes that constitute the first mode area 131.
  • the second mode area may be an intra prediction mode having a horizontal prediction mode and an angle of 180 ° to 225 °
  • the third mode area may be an intra prediction mode having a vertical prediction mode and an angle of 45 ° to 90 ° It may be a prediction mode.
  • the coding order of the transform blocks may be variably determined according to the mode region to which the transform blocks belong.
  • 14A and 14B illustrate a coding order of transform blocks when an intra prediction mode of a current block belongs to a first mode region according to an embodiment of the present invention.
  • the coding order of transform blocks when belonging to the first mode region is the same as the coding order of conventional transform blocks.
  • 14A illustrates a coding order when the transform blocks have an N ⁇ N structure, and may be coded in the order of TB0, TB1, TB2, and TB3.
  • 14B illustrates a coding order when the transform blocks are non-square transform blocks in the vertical direction and the horizontal direction, and are coded in order from left to right and from top to bottom. For example, it may be coded in the order of TB4, TB5, TB6, TB7, TB8, TB9, and TB10.
  • FIGS. 15A and 15B illustrate a coding order of transform blocks in which an intra prediction mode belongs to a second mode region according to an embodiment of the present invention.
  • the plurality of transform blocks may be coded in the order of the lower left to the upper right, and the transform blocks having an N ⁇ N structure may be coded as shown in FIGS. 15A and 15B.
  • FIG. 15A it may be coded in the order of TB3, TB0, and TB1 from TB2 located at the lower left, and may be coded in order of TB0, TB3, and TB1 from TB2 located at the lower left with reference to FIG. 15B. Can be.
  • the vertical and horizontal non-square transform blocks may be coded in order from left to right and from bottom to top.
  • TB5 and TB6 may be coded from TB4 located on the left side
  • TB9, TB8, and TB7 may be coded from TB10 located on the lower right side.
  • FIGS. 16A and 16B illustrate a coding order of transform blocks in which an intra prediction mode belongs to a third mode region according to an embodiment of the present invention.
  • the plurality of transform blocks may be coded in the order of the upper right to the lower left, and the transform blocks having an N ⁇ N structure may be coded as shown in FIGS. 16A and 16B.
  • FIG. 16A it may be coded in the order of TB0, TB3, and TB2 from TB1 located in the upper right corner, and may be coded in the order of TB3, TB0, and TB2 from TB1 located in the upper right corner referring to FIG. 16B.
  • the vertical and horizontal non-square transform blocks may be coded in order from right to left and from top to bottom.
  • TB8, TB9, and TB10 are sequentially coded down from TB7 located at the upper right side, and in the order of TB6, TB5, and TB4 located at the right side of the left vertical non-square transform blocks. Can be coded.
  • the coding order of transform blocks is variably determined in consideration of the shape of the divided mode region and the transform block in consideration of the direction of the intra prediction mode of the current block, so that the available reference of the neighboring blocks from which each transform block is decoded Since the prediction signal may be generated using the samples, the coding efficiency may be improved.
  • the transform blocks determined according to the mode region to which the intra prediction mode of the current coding block corresponding to the transform blocks belongs may belong. Coding order is shown in Table 1 below.
  • FIG. 17A to 17C illustrate examples of coding sequences of square and non-square transform blocks constituting a current block by using the coding order of transform blocks described in Table 1.
  • FIG. 17A illustrates a coding order of transform blocks for a current block when the intra prediction mode of the current block belongs to the first mode region
  • FIG. 17B illustrates a case where the intra prediction mode of the current block belongs to the second mode region.
  • 17 illustrates a coding order of transform blocks for a current block
  • FIG. 17C illustrates a coding order of transform blocks for a current block when the intra prediction mode of the current block belongs to a third mode region.
  • the transform blocks when the intra prediction mode of the current block belongs to the first mode region, the transform blocks may be coded in the order of the upper left to the lower right as in the general coding order, regardless of the shape of the transform block.
  • the transform block when the intra prediction mode of the current block belongs to the second mode region, since the transform block uses reference samples belonging to the lower left block when generating the prediction signal, coding the transform block in the order from the lower left to the upper right Encoding efficiency can be improved.
  • FIG. 17B in coding the current block in the order of the lower left to the upper right, a method of coding the lower block, the lower right, the upper left, and the upper right may be selected.
  • coding the transform block in the order from the upper right to the lower left improves coding efficiency since the transform block uses reference samples belonging to the upper right side when generating the prediction signal. You can. Referring to FIG. 17C, a method of coding may be selected in the order of the upper right, upper left, lower right, and lower left.
  • the coding order of the transform block considering the intra prediction mode may be determined as shown in Table 2 below.
  • FIG. 18A to 18C illustrate examples of coding sequences of square and non-square transform blocks constituting the current block by using the coding order of transform blocks described in Table 2.
  • FIG. 18A illustrates a coding order of transform blocks for a current block when the intra prediction mode of the current block belongs to the first mode region
  • FIG. 18B illustrates a current order when the intra prediction mode of the current block is the second mode region
  • 18C illustrates a coding order of transform blocks for a block.
  • FIG. 18C illustrates a coding order of transform blocks for a current block when the intra prediction mode of the current block is a third mode region.
  • the transform blocks when the intra prediction mode of the current block belongs to the first mode region, the transform blocks may be coded in the order of the upper left to the lower right as in the general coding order, regardless of the shape of the transform block.
  • the intra prediction mode of the current block belongs to the second mode region, since the transform block uses reference samples belonging to the lower left block when generating the prediction signal, coding the transform block in the order from the lower left to the upper right is encoding. The efficiency can be improved.
  • FIG. 18B in coding the current block in the order of the bottom left to the top right, a method of coding the bottom block, the top left, the bottom right, and the top right may be selected.
  • coding the transform block in the order from the upper right to the lower left improves coding efficiency since the transform block uses reference samples belonging to the upper right side when generating the prediction signal. You can. Referring to FIG. 18C, a method of coding may be selected in the order of the upper right, lower right, upper left, and lower left.
  • the coding order of transform blocks according to this mode region is not limited to the above example, but may be determined by a combination of the above examples.
  • 19A to 19C illustrate coding orders of transform blocks when the coding order of transform blocks for each mode region described with reference to FIGS. 17A to 18C is cross-selected.
  • FIG. 19A illustrates a coding order of transform blocks for a current block when the intra prediction mode of the current block belongs to the first mode region
  • FIG. 19B illustrates a current order when the intra prediction mode of the current block is the second mode region
  • 19 illustrates a coding order of transform blocks for a block
  • FIG. 19C illustrates a coding order of transform blocks for a current block when the intra prediction mode of the current block is a third mode region.
  • the coding order of the transform blocks may be determined from the upper left to the lower right as described with reference to FIGS. 17A and 18A.
  • the transform blocks may be coded in the order of the lower left, the lower right, the upper left, and the upper right according to the coding order determined with reference to FIG. 17B, and refer to FIG. 19C.
  • the transform blocks may be coded in the order of the upper right, lower right, upper left, and lower left according to the coding order described with reference to FIG. 18C.
  • the coding order of the second mode region and the third mode region may be determined in the coding order described with reference to FIGS. 18B and 17C.
  • the transform blocks for the current block generate a prediction signal using a combination of various coding orders determined according to the intra prediction mode of the current block, thereby improving coding efficiency.
  • 20 and 21 illustrate a structure of a transform block and a transform coefficient group for constituting a 16x16 transform block according to a general method.
  • one coding block CB may include a plurality of transform blocks TB0, TB1,..., TB12.
  • the plurality of transform blocks may include transform blocks having various shapes and / or sizes.
  • the transform block may comprise a square shaped block and a non-square shaped block, wherein the transform block is a square quad tree structure, a non-square quad tree structure, or a binary tree. It may be one of the blocks having a binary tree structure.
  • the transform block 210 may include at least one transform coefficient group CG0, CG1,..., CG15.
  • the transform block 210 may be a 16x16 block, and the transform coefficient group included in the transform block may be 4x4. That is, a 16 ⁇ 16 transform block may include 16 4 ⁇ 4 transform coefficient groups, and the index of the transform coefficient group may follow the transform coefficient scan order as shown in FIG. 21.
  • FIG. 22 illustrates a transform coefficient group and a transform scan method of the transform coefficient group according to a general method.
  • the transform coefficient group scan order of the transform block 220 may be the same as the scan order of the transform coefficients.
  • the transform block 220 is 8x8 in size
  • the transform coefficient group is 4x4 in size
  • the up-right diagonal scanning method is used for the transform block 20.
  • the transform coefficient group applies the same scan method as the transform coefficient.
  • the transform coefficients are scanned from the transform coefficients 15 to 0 included in the transform coefficient group CG3 on the lower right side of the transform block 220 by the up-right diagonal method, and then the transform coefficient group on the upper right side.
  • the transform coefficients included in the transform coefficient group may be scanned in the same order as the transform coefficient group CG1 at the lower left and the transform coefficient group CG0 at the upper left.
  • 23A to 23D illustrate various examples of a transform coefficient group and a scan method of the transform coefficient group according to a general method.
  • 23A to 23C illustrate a method of scanning transform coefficient groups in an intra prediction mode
  • FIG. 23D illustrates a method of scanning transform coefficient groups in an inter prediction mode.
  • an up-right diagonal scan (FIG. 23A) scanning from the bottom right to the top left in the case of intra prediction, from right to left and from bottom to top Horizontal scan (FIG. 23B) scanning with and vertical scan (FIG. 23C) scanning from the bottom to the top and from the right to the left can be used.
  • FIG. 23D in the case of inter prediction, only an up-right diagonal scanning method may be used.
  • the scanning method of the transform coefficient group in the intra prediction may be determined according to the intra prediction mode.
  • the intra prediction mode is an intra prediction mode index 6 to 14 that is a prediction in the horizontal direction
  • a transform coefficient group may be scanned using a vertical scan method, and the intra prediction mode is a prediction in the vertical direction.
  • a horizontal scan method may be used, and an up-right diagonal scan method may be used for the remaining intra-picture prediction modes.
  • 24A and 24B illustrate an example of applying a general scan method to a transform block according to an embodiment of the present invention.
  • the current transform block TB1 230a is a non-square block and has a size of 8 ⁇ 16
  • the conventional method when it is applied as a method of scanning transform coefficient groups and transform coefficients, it may be selected from three scan methods. Can be.
  • the up-right scan method, the vertical scan method, and the horizontal scan method are applied from the left in the illustrated example of scanning the transform coefficient group by applying the three existing scan methods to the current transform block 230a. To scan a group of transform coefficients.
  • the current transform block TB2 230b is a non-square block and has a size of 16 ⁇ 8
  • the conventional method when it is applied as a method of scanning transform coefficient groups and transform coefficients, it may be selected from three scan methods. Can be.
  • the up-right scan method, the vertical scan method, and the horizontal scan method are applied from the left in the illustrated example of scanning the transform coefficient group by applying the three existing scan methods to the current transform block 230a. To scan a group of transform coefficients.
  • 25 illustrates an example in which a general scan method is applied to transform coefficients of a 16x8 transform block.
  • the horizontal scan method may be applied to the transform coefficient and the transform coefficient group.
  • a plurality of transform coefficient groups including a plurality of transform coefficients may be scanned in units of each transform coefficient group. After the transform coefficients included in the transform coefficient group at the bottom right of the transform blocks are scanned in a horizontal method, the transform coefficients included in the transform coefficient group located at the left of the transform coefficient group at the bottom right are called. You can scan in a regental way. Then, in the same manner, even the transform coefficient group unit may be scanned in a horizontal manner.
  • a method of scanning transform scan coefficients divides a transform block into transform regions that are upper regions including a plurality of transform scan coefficients, and scans the transform scan coefficients for each of the divided transform regions It may include.
  • 26 and 27 illustrate a flowchart and an apparatus illustrating a method of scanning transform coefficient groups according to an embodiment of the present invention.
  • a transform unit representing a transform region for dividing a plurality of transform coefficient groups included in a transform block into at least one partition by the transform region information acquisition unit 240 to scan the transform coefficient group.
  • Area information may be obtained (S10).
  • the transform block can have various sizes and / or shapes. In one embodiment, the transform block may be a non-square shaped transform block.
  • the transform region information may divide the transform block into at least one region, and each transform region may include a plurality of transform coefficient groups. It goes without saying that the transform coefficient group includes a plurality of transform coefficients.
  • the transform region information may be information received from an encoder.
  • the transform region information may be obtained from at least one of a sequence parameter set (SPS) and a slice header, and the present invention is not limited thereto and does not limit in what form and at what level of syntax. If not, the information received from the encoder may be.
  • SPS sequence parameter set
  • the transform region information may be obtained by a predetermined method in a decoding apparatus.
  • the transform region information may be obtained by calculating the width and length of the transform region based on the width and length of the transform block to determine the size and number of the transform regions.
  • the transform region information may determine the size and number of transform regions by dividing the smaller length of the transform block by the block size of the transform coefficient group.
  • the length, shape, and number of the width and length of the transform region indicated by the transform region information may follow a method determined by the decoding apparatus, and are not limited to the above-described example.
  • the transform coefficient group scan unit 250 may scan a plurality of transform coefficient groups in at least one transform region divided based on the transform region information.
  • the transform coefficient group scan unit 250 may include a first transform region scan unit 251 and a second transform region scan unit 252 to scan transform coefficient groups of the divided transform regions.
  • the transform region scan unit is not limited to the first transform region scan unit 251 and the second transform region scan unit 252, and may be included to correspond to the number of transform regions in which the transform block is divided.
  • the first transform region scanr 251 may scan a plurality of transform coefficient groups included in the first transform region among the plurality of transform regions divided based on the transform region information (S20). Thereafter, the second transform region scanr 252 may scan a plurality of transform coefficient groups included in the second transform region. If three or more transform region scan units are included, the transform coefficient groups included in the transform region are sequentially scanned.
  • the first transform region scan unit 251 may include transform coefficient groups of a lower frequency region than the second transform region scan unit 252.
  • the scan order is determined such that the transform coefficient groups in the low frequency region are scanned before the transform coefficient groups in the high frequency region, whereby the transform coefficient groups in the high frequency region are coded and transmitted first.
  • the transform coefficient groups in the low frequency region have a large scan order index, thereby eliminating the disadvantage of deteriorating coding efficiency.
  • the transform region information before acquiring the transform region information, it may be first determined whether the transform block is a non-square block.
  • the transform coefficient group corresponding to the high frequency region is scanned first compared to the transform coefficient group corresponding to the low frequency region to hinder coding efficiency, which may occur frequently when the transform block is a non-square block. Therefore, before acquiring the transform region information, it may be first determined whether the current transform block is a non-square block.
  • various methods may be adopted to determine whether the transform block is a non-square block. For example, it may be determined whether the transform block is a non-square block by comparing the horizontal length and the vertical length of the transform block. Alternatively, the information about the size and shape of the transform block may be determined based on any one or more of partition information, direction information, ⁇ , ⁇ , and pixel information of the transform block received from the encoding apparatus or acquired by the decoding apparatus. Can be.
  • the transform block type information may be received from an encoding apparatus, but may be calculated based on at least one of split information, direction information, pixel information, and horizontal and vertical information of the transform block.
  • the transform block is determined to be a non-square block in this manner, the transform coefficient group included in the transform region may be scanned for each transform region of the transform block by the method described above with reference to FIGS. 26 and 27.
  • 28A and 28B illustrate a method of scanning a transform coefficient group for a non-square transform block according to an embodiment of the present invention.
  • the non-square transform blocks 260a and 260b of the present invention may have a horizontal length A and a vertical length B.
  • FIG. The non-square transform blocks 260a and 260b having an AxB size may include a plurality of transform coefficient groups and may be divided into transform block regions having a size of ⁇ x ⁇ .
  • ⁇ and ⁇ represent the number of transform coefficient groups included in a transform block. That is, an area of size ⁇ x ⁇ may represent an area having ⁇ transform coefficient groups in the horizontal direction and ⁇ transform coefficient groups in the vertical direction.
  • the conversion region information may include information about the ⁇ and ⁇ .
  • the conversion area information may include information indicating the horizontal and vertical sizes of the conversion area. For example, when the non-square transform block 260a has a size of 8x16, ⁇ x ⁇ representing the structure of the transform region may be 2x2, and the size of the transform region dividing the transform block 260a may be 8x8.
  • Such transform region information may be calculated in an upper parameter or a previous decoding process, and may be simply calculated from a number obtained by dividing the smaller length of the horizontal and vertical lengths of the non-square transform block by the size of the transform coefficient block.
  • the method of acquiring the transform region information in the present invention is not limited thereto.
  • 29A to 30D illustrate various methods of scanning transform coefficient groups for non-square transform blocks according to an embodiment of the present invention.
  • a transform coefficient group when the transform block 270 is divided into transform regions having a small side length of the transform block may be scanned in various ways. As shown in FIG. 29A, when the transform block 270 has a size of 16 ⁇ 32, each of the transform regions CG Region 0 and CG Region 1 271 and 272 may have a size of 16 ⁇ 16.
  • the transform block 270 may sequentially scan a transform coefficient group included in each transform region for each transform region. For example, as illustrated in FIG. 29B, when the transform block 270 is scanned by the up-write scan method, the 32nd transform coefficient group CG 31 included in the second transform region CG Region 1 at the bottom thereof may be used. The 17th transform coefficient group CG 16 is sequentially scanned from, and the first transform coefficient group CG 0 is sequentially scanned from the 16th transform coefficient group CG 15 included in the first transform region CG Region 0. Can be.
  • the case in which the transform block is divided into two transform regions and the vertical scan method and the horizontal scan method are applied to the transform block is the same as that shown in FIGS. 29C and 29D.
  • a transform coefficient group when the transform block 280 is divided into transform regions having a small side length of the transform block 280 may be scanned in various ways. As shown in FIG. 30A, when the transform block 280 has a size of 32 ⁇ 16, each of the transform regions CG Region 0 and CG Region 1 281 and 282 may have a size of 16 ⁇ 16.
  • the transform block 280 may sequentially scan the transform coefficient group included in each transform region for each transform region. For example, as shown in FIG. 30B, when the transform block 280 is scanned by the up-write scan method, the transform block 280 may be formed from the 32nd transform coefficient group CG 31 included in the second transform region 282 on the right side. 17 transform coefficient groups CG 16 are sequentially scanned according to the upwrite scheme, and then the first transform coefficient group CG 0 is deleted from the 16th transform coefficient group CG 15 included in the first transform region CG Region 0. Can be scanned in turn. In addition, as shown in FIG.
  • the seventeenth transform coefficient group from the thirty-second transform coefficient group CG 31 included in the second transform region 282 on the right side. (CG 16) may be sequentially scanned according to the vertical method, and then the first transform coefficient group CG 0 may be sequentially scanned from the 16th transform coefficient group CG 15 included in the first transform region CG Region 0. have.
  • the case in which the transform block is divided into two transform regions and the horizontal scan method is applied to the transform block is the same as that shown in FIG. 30D.
  • the transform coefficient group in the low frequency region is scanned and transmitted before the transform coefficient group in the high frequency region. Therefore, coding efficiency can be improved.
  • FIG. 31 is a diagram for describing a location of obtaining a prediction motion vector candidate (MVP candidate) of a current block according to a general method.
  • the current block uses motion information of spatial neighboring blocks A0, A1, B0, and B1 and motion information of temporal neighboring blocks T0 and T1.
  • the motion information of the spatial neighboring block may be determined using motion information of one of the neighboring blocks located to the left of the current block and motion information of one of the neighboring blocks located above the current block.
  • motion information of a temporal neighboring block may be determined using motion information of a neighboring block located at a lower right side of the current block or motion information of a block located at the same position as the current block within a reference image to which the current block refers. .
  • the motion information of the spatial neighboring block may search for motion information by scanning A0-> A1-> scaled A0-> scaled A1 with respect to neighboring blocks located to the left of the current block. Subsequently, motion information is searched while scanning the neighboring blocks located above the current block in the order of B0-> B1-> B2.
  • the current block scans A0 and A1 blocks, but the reference picture to which the current block refers is different from the reference picture referenced by the motion information of the AO and A1 blocks, the current block fits to the reference picture to be referred to.
  • the motion information of the scaled AO and A1 blocks can be used.
  • the motion information of the temporal neighboring block is scanned in the order of T0 and T1, and even in this case, the motion vector of the temporal neighboring block can be used by scaling to the image referenced by the current block.
  • Advanced Motion Vector Prediction may use two prediction motion vectors.
  • the motion information of the spatial neighboring block is scanned and input into the predicted motion vector list (AMVP list). If the list is not filled up in this process, the motion information of the temporal neighboring block may be scanned to fill the list. If the same motion information is input to the predictive motion vector list when scanning the motion information of the neighboring block, the duplicated motion information is deleted.
  • the prediction motion vector list may be completed by filling (0,0) with the unfilled list.
  • 32 to 33B illustrate a method of constructing a prediction motion vector list of a current block according to a general method.
  • a motion vector may be obtained from the reference picture 301 for the first direction, and the motion vector from the reference picture 302 for the second direction. Can be obtained.
  • a prediction motion vector list (AMVP list) for inter-screen prediction of the current block may include at least one prediction motion vector candidate (MVP candidate) in each direction. Subsequently, the difference value between the predicted motion vector selected from the predicted motion vector candidates in the predicted motion vector list and the motion vector of the current block may be calculated to obtain a differential motion vector and may be encoded.
  • the selected one prediction motion vector may be selected that the highest coding efficiency among the prediction motion vector candidates included in the prediction motion vector list.
  • the selected prediction motion vector may be encoded in the form of index information indicating the same and transmitted together with the differential motion vector.
  • FIG. 33A illustrates a method of constructing a predictive motion vector list of a current block according to a general method when the reference images 320a and 330a in both directions referenced by the current block 310 are the same, and FIG. 33B is a current block.
  • FIG. 33B is a current block.
  • a reference image 320a that the current block 310 refers to in the first direction for inter-screen prediction and a reference image 330a that refer to the second direction may be the same as POC 8.
  • MV L0 and the second direction L1 which are motion vectors with respect to the first direction L0 of the current block 310 are the same.
  • MV L1 which is the motion vector for
  • the prediction motion vector list of the current block according to the general method does not reflect this, and independently obtains motion information from neighboring blocks of the current block for each direction to form a prediction motion vector list as shown in Table 3 below.
  • AMVP_L0 Predicted motion vector list in the first direction
  • AMVP_L1 Predicted motion vector list in the second direction
  • AMVP_L1 0
  • MV_A0 L0 (4,1)
  • MV_A0 L1 (1,1)
  • One MV_Col L0 (0,1)
  • MV_Col L1 (0,1)
  • the motion vectors for each direction are likely to be similar.
  • the motion vector MV L0 for the first direction of the current block 310 and the motion vector MV L1 for the second direction are represented by (2,1) and (2,2), respectively. Similarity can be seen.
  • the predictive motion vector list for each direction is independently configured.
  • the motion vectors of neighboring blocks of the current block 310 having a low correlation with the motion vector MV L1 for the second direction are used.
  • the coding efficiency of the motion vector MV L1 relative to may be lowered.
  • the current block 310 is a prediction motion vector according to a general method even when the reference picture 320b in the first direction and the reference picture 330b in the second direction that the current block 310 refers to are different.
  • the prediction motion vector list for each direction may be configured independently.
  • the constructed predictive motion vector list is shown in Table 4 below.
  • AMVP_L0 Predicted motion vector list in the first direction
  • AMVP_L1 Predicted motion vector list in the second direction
  • AMVP_L1 0
  • MV_A1 L0 (-2, -3)
  • MV_A1 L1 (0,6)
  • One MV_B0 L0 (-1, -11)
  • MV_B0 L1 (-2,11)
  • the reference picture 320b in the first direction and the reference picture 330b in the second direction with respect to the current block 310 are not the same, since the pictures are referenced by the current block 310, the reference pictures 320b do not depend on the distance and the degree of association of the reference pictures. Therefore, it is not possible to exclude the possibility that the motion vectors for each direction are similar. However, as mentioned above, according to the general predictive motion vector list construction method, the predictive motion vector list for each direction is independently configured.
  • the motion vector MV L0 for the first direction and the motion vector MV L1 for the second direction are (-5, -8) and (4,10), respectively, and are shown in Table 2 below.
  • the predicted motion vector list may be constructed as described.
  • the differential motion vectors MVD L0 and MVD L1 transmitted to the decoding apparatus may be (-3, -5) and (6, -1), respectively.
  • the predictive motion vector list for the second direction when the predictive motion vector list for the second direction is used, motion information of neighboring blocks of the current block is used, so that the reference picture in the second direction is larger than the current picture.
  • the correlation is relatively high with the reference picture in the first direction, the coding efficiency of the motion vector may be lowered.
  • a method and apparatus for constructing an AMBP list when a current block performs bidirectional prediction, uses a motion vector with respect to a first direction in a second direction. It is proposed to construct a predictive motion vector list.
  • 34 and 35 illustrate a flowchart and an apparatus for explaining a method of constructing a predictive motion vector list according to an embodiment of the present invention.
  • the predictive motion vector list (AMVP list) constructing unit 700 includes a first direction predicting motion vector list setting unit 710, a motion vector obtaining unit 720, and a second direction predicting motion.
  • the vector list setting unit 730 may be included.
  • the first direction prediction motion vector list setting unit 710 may set the prediction motion vector list AMBP_L0 in the first direction.
  • the predicted motion vector list in the first direction may be configured as a prediction motion vector candidate (MVP Candidate) in the first direction obtained from motion information of temporal and spatial neighboring blocks of the current block.
  • the prediction motion vector list in the first direction may include two or more prediction motion vector candidates, and an index indicating each prediction motion vector candidate may be given.
  • the predicted motion vector list in the first direction may be configured according to the method described with reference to FIG. 3, but the present invention is not limited thereto.
  • the motion information acquisition unit 720 may acquire a motion vector MV L0 for the first direction (S40).
  • the motion vector may follow a method of acquiring a motion vector by a current block in inter-prediction of a conventional video codec, but the present invention is not limited thereto.
  • the second direction prediction motion vector list setting unit 730 may set the prediction motion vector list AMBP_L1 in the second direction (S50). At least one or more of the predicted motion vector candidates in the second direction constituting the predicted motion vector list in the second direction may be set using the motion vector MV L0 for the first direction.
  • the predicted motion vector candidate in the second direction set using the motion vector for the first direction may be set by copying the motion vector for the first direction as it is or in the first direction. It may be set by modifying the motion vector for various ways such as scaling.
  • the predicted motion vector candidate in the second direction may be included in the predicted motion vector list AMBP_L1 in the second direction.
  • the motion vectors for the first direction and the motion vectors MV L0 and MV L1 for the second direction obtained in both directions are similar. Likely to do. Therefore, when acquiring at least one prediction motion vector candidate in at least one second direction using the motion vector MV L0 for the first direction, the differential motion vector for the second direction having a smaller value than that of the conventional method is obtained.
  • MVD L1 can be encoded and transmitted.
  • the second direction prediction motion vector list setting unit 730 simultaneously obtains the prediction motion vector candidates in at least one or more second directions using the motion vectors of the temporal neighboring block and the spatial neighboring block of the current block.
  • the prediction motion vector list AMFP_L1 of the second direction may be configured together with the predicted motion vector candidates of the second direction obtained by using the motion vector for the direction.
  • the number of prediction motion vector candidates in the second direction set using the motion vector for the first direction and the predicted motion vector candidates in the second direction set by the general method, the acquisition order, and the predicted motion vector candidates.
  • the index allocation method for these fields is not limited.
  • 36 and 37 illustrate a flowchart and a configuration apparatus for a method of constructing a predictive motion vector list according to another embodiment of the present invention.
  • a motion vector of a first direction of a current block may be obtained (S40).
  • the acquisition of the motion vector for the first direction may be performed regardless of the order of constructing the predicted motion vector list in the first direction. It may be performed after obtaining a motion vector for the first direction through the prediction motion vector list construction in the first direction, or obtained through information received independently of the prediction motion vector list configuration in the first direction.
  • the present invention is not limited thereto.
  • the second direction prediction motion vector list setting unit 730 includes a first prediction motion vector candidate setting unit 731 and a second prediction motion vector candidate setting unit 732.
  • the first predictive motion vector candidate setting unit 731 sets first predictive motion vector candidates, and the first predictive motion vector candidates use the predictive motion in the second direction by using the motion vector MV L0 for the first direction.
  • the predictive motion vector candidates configured as the predictive motion vector candidates constituting the vector list may be used (S41).
  • the first predictive motion vector candidate may be at least one predictive motion vector candidate.
  • the first prediction motion vector candidate may have the highest correlation with the motion vector of the current block among the prediction motion vector candidates. Therefore, when constructing the first prediction motion vector list, coding efficiency can be improved by allocating the first prediction motion vector candidate to an index having the smallest codeword. In one embodiment, when there are at least two first predictive motion vector candidates, the first predictive motion vector candidate may increase the coding efficiency by allocating indexes in the order of having the smallest codewords.
  • the second prediction motion vector candidate setting unit 732 also uses the spatial and temporal neighboring blocks of the current block, regardless of the order, independently of the first prediction motion vector candidate setting unit 731, to predict the motion vector in the second direction.
  • At least one prediction motion vector candidate constituting the list may be set (S42).
  • the at least one prediction motion vector candidate may be referred to as a second prediction motion vector candidate.
  • the second prediction motion vector candidate may be obtained by a method of obtaining the general prediction motion vector described with reference to FIG. 3 to form a prediction motion vector list (AMVP_L1) in a second direction together with the first prediction motion vector candidate. have.
  • AMVP_L1 prediction motion vector list
  • the number, acquisition order, and index allocation method of the first predictive motion vector candidate and the second predictive motion vector candidate when constructing the predictive motion vector list for the second direction are not limited, Any way you can.
  • the method and apparatus for constructing the predictive motion vector list according to an embodiment of the present invention may include, when the current block performs bidirectional inter-prediction, at least one or more of the predictive motion vector candidates in the second direction in the first direction. Coding efficiency can be improved by obtaining using a motion vector for.
  • 38A and 38B illustrate a method of constructing a predictive motion vector list according to an embodiment of the present invention.
  • a motion vector for the first direction (MV L0 ) can be used to construct the predictive motion vector list in the second direction.
  • MV L0 (2,1)
  • the first prediction motion vector candidate may have the shortest codeword among the indices constituting the prediction motion vector list in the second direction, but the present invention is not limited thereto, and the prediction motion vector in the second direction is not limited thereto. You can assign to any index in the list.
  • motion information of a first direction is used to construct a predicted motion vector list in a second direction under the same condition that an image referenced by the current block 310 in each direction is bidirectionally predicted.
  • the differential motion vector in the second direction to be transmitted may be (2,1).
  • the motion vector for the first direction is used as the first prediction motion vector candidate in the second direction
  • the differential motion vector in the second direction may be (0,1).
  • Table 5 The structure of the AMVP list according to an embodiment of the present invention is shown in Table 5 below.
  • AMVP_L0 Predicted motion vector list in the first direction
  • AMVP_L1 Predicted motion vector list in the second direction
  • AMVP_L1 0
  • MV_A1 L0 (-2, -3)
  • MV L0 (2,1)
  • One MV_B0 L0 (-1, -11)
  • MV_B0 L1 (-2,11)
  • the first prediction motion vector for the second direction is set using the motion vector for the first direction.
  • the method of constructing the predictive motion vector list may encode and transmit a differential motion vector (MVD) smaller than the conventional method.
  • MV L0 is used to set a first prediction motion vector candidate constituting the prediction motion vector list in the second direction.
  • the first prediction motion vector candidate may be obtained by further using the motion vector for the first direction using reference picture information such as a POC of a reference picture for the first direction and a reference picture for the second direction.
  • the first of the current block 310 is the first picture.
  • the motion vector MVL0 for the direction is (5,8), as shown in Table 6, the first prediction motion vector in the second direction may be scaled based on the POC (-5,8).
  • AMVP_L0 Predicted motion vector list in the first direction
  • AMVP_L1 Predicted motion vector list in the second direction
  • MV_A1 L0 (-2, -3)
  • Scaled_MV L0 (5,8)
  • One MV_B0 L0 (-1, -11)
  • MV_B0 L1 (-2,11)
  • the differential motion information MVD L1 in the second direction to be transmitted may be (6, -1).
  • the differential motion vector MVD L1 in the second direction may be ( ⁇ 1,2).
  • the motion vector MV L0 for the first direction and the motion vector MV L1 for the second direction have a high correlation. Therefore, a method of constructing the predictive motion vector list of the present invention for setting the first predictive motion vector MV L1 in the second direction by scaling the motion vector for the first direction based on the POC (Scaled_MV L0 ) is conventional. Since a differential motion vector (MVD L1 ) that is relatively smaller than the method can be encoded and transmitted, coding efficiency can be improved.
  • the first prediction motion vector candidate may have the shortest codeword among the indices constituting the prediction motion vector list in the second direction, but the present invention is not limited thereto.
  • the present invention discloses a method of scaling a motion vector for a first direction based on a POC as a first prediction motion vector candidate in a second direction, the scaling method is not limited thereto.
  • a motion vector MV L0 for a first direction is obtained (S40).
  • the motion vector for the first direction may be obtained using a predictive motion vector candidate and a differential motion vector of the predictive motion vector list of the first direction received from the encoder at the decoder, or may be received from an encoder. It does not limit the method of obtaining the motion vector for the first direction.
  • the picture information POC ref _ L0 of the reference picture for the first direction used for the bidirectional prediction of the current block is the same as the picture information POC ref _ L1 of the reference picture for the second direction (S60).
  • whether the first and second reference pictures are the same may be determined based on picture information such as a POC.
  • the first prediction motion vector candidate constituting the prediction motion vector list (AMVP_L1) in the second direction may be set (S70).
  • the first predictive motion vector candidate may be at least one predictive motion vector candidate.
  • at least one second prediction motion vector candidate MVP_L1_N constituting the prediction motion vector list in the second direction may be set according to a general method (S80).
  • the index allocation method is not limited when constructing a vector list.
  • the first prediction motion vector candidate (MVP_L1_0) constituting the prediction motion vector list in the second direction As a scaled value Scaled_MV L0 , a motion vector with respect to the first direction may be set (S90).
  • the first predictive motion vector candidate may be at least one predictive motion vector candidate.
  • at least one second prediction motion vector candidate (MVP_L1_N) constituting the prediction motion vector list in the second direction may be set according to a general method (S95).
  • the first prediction motion vector candidate in the second direction and the second prediction motion vector candidate in the second direction acquired in a general manner and the second prediction direction are set to scale values of the motion vector for the first direction.
  • the index allocation method is not limited when constructing the predictive motion vector list.
  • the AMVP list constructed according to the above method uses a motion vector with respect to the first direction having a high correlation in inter prediction, when constructing a prediction motion vector list in the second direction, thereby improving coding efficiency of inter prediction. It is possible to provide a method for constructing a vector list.
  • the prediction in the second direction is performed by considering whether one or more of picture information of the reference picture for the first direction and the reference picture for the second direction are the same and the distance between the reference pictures and the current picture. Coding efficiency may be increased by setting at least one predictive motion vector candidate constituting the motion vector list.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 신호의 복호화 방법 및 이의 장치에 관한 것이다. 본 발명의 일 실시예에 따른 복호화 방법은, 현재 영상을 구성하는 코딩 블록의 구조를 설정하는 단계; 상기 코딩 블록에 대응하는 변환 블록들의 구조를 설정하는 단계; 및 상기 변환 블록들을 이용하여 예측 신호를 생성하는 단계를 포함하고, 상기 코딩 블록은 정방형(square) 블록 및 비정방형(non-square) 블록 중 어느 하나 이상을 포함한다.

Description

비디오 신호의 부호화 또는 복호화 방법 및 장치
본 발명은 비디오 신호의 부호화 또는 복호화 방법 및 장치에 관한 것으로서, 더욱 상세하게는, 코딩 효율을 향상시키는 비디오 신호의 부호화 또는 복호화 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비하여 상대적으로 데이터량이 증가하기 때문에, 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용하여 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위하여 고효율의 영상 압축 기술들이 활용될 수 있다.
비디오 압축 기술들은 비디오 시퀀스들에 고유한 리던던시를 감소 또는 제거하기 위해 공간 예측 및/또는 시간 예측을 포함한다. 블록 기반 비디오 코딩에 있어서, 비디오 프레임 또는 슬라이스는 블록들로 분할될 수 있다. 각각의 블록은 추가적으로 분할될 수 있다. 인트라 코딩된 I 프레임 또는 슬라이스에서의 블록들은 동일 프레임 또는 슬라이스에서의 이웃 블록들에서의 참조 샘플에 대한 공간 예측을 이용하여 인코딩된다. 인터 코딩된 P 또는 B 프레임 또는 슬라이스에서의 블록들은 동일 프레임 또는 슬라이스에서의 이웃 블록들에서의 참조 샘플에 대한 공간 예측, 또는 다른 참조 프레임에서의 참조 샘플에 대한 시간 예측을 이용할 수도 있다. 공간 또는 시간 예측은 코딩될 블록에 대한 예측 블록을 발생시킨다. 잔여 데이터는 코딩될 원 블록과 예측 블록 사이의 픽셀 차이를 나타낸다.
일반적으로 현재 블록은 동일한 크기의 정방향 코딩 블록(CU) 및 변환 블록(TU)를 이용하여 영상을 부호화하며, 각 코딩 블록 또는 예측 블록 크기를 기반으로 변환 블록들은 쿼드트리 분할 구조로 코딩 블록에 적용된다. 그러나, 이러한 정방향 코딩 블록을 이용하는 경우, 코딩 블록마다 예측 모드 및 예측 정보를 전송하여야 하므로 영상의 종류에 따라 불필요한 정보를 전송하여 부호화 효율을 저하시킬 수 있다. 또한, 코딩 블록에 해당하는 영상의 특성과 예측 모드에 따라 발생하는 잔차 신호의 특성을 고려하지 못하는 단점이 있다.
또한, 일반적인 비디오 코덱에서는 다양한 크기의 코딩 유닛을 이용함으로써, 영상의 공간 해상도 및 블록 특성을 효과적으로 고려하여 부호화할 수 있다. 일반적으로 영상의 해상도가 작거나 화소값들이 국지적으로 크게 변화하는 경우에는 작은 크기의 코딩 유닛들을 이용하여 화면내 및 화면간 예측을 수행하는 것이 효율적일 수 있다. 이와 같이, 작은 크기의 코딩 유닛을 이용하는 경우, 부호화에 필요한 헤더 비트량은 증가하지만, 상대적으로 예측이 정밀하게 이루어져 양자화 에러와 변환 계수의 부호화에 필요한 비트량이 감소하는 장점이 있다.
반대로, 영상의 공간 해상도가 크거나 화소값들의 변화가 적은 영역에서는 큰 코딩 유닛을 이용하는 것이 부호화 효율을 높일 수 있다. 이 경우, 큰 코딩 유닛을 이용하여도 작은 코딩 유닛을 이용하여 예측하는 경우에 비하여 예측 오차가 크게 증가하지 않는 경향이 있으므로 이러한 블록들을 부호화하는 경우, 큰 코딩 유닛을 이용하여 전송 비트량을 절약하는 것이 효율적일 수 있다. 그러나, 종래의 다양한 코딩 유닛을 이용하더라도 높은 해상도를 갖는 다양한 이미지를 효율적으로 코딩하기 어려운 단점이 있다.
코딩 효율을 향상시키기 위한 비디오 압축 기술들에서는, 연속되는 픽쳐들 간의 시간적 중복성을 제거하기 위하여 모션 예측이 이용된다. 시간적 중복성을 검출하기 위하여, 복수 개의 참조 픽쳐들을 사용하여 현재 블록의 움직임을 예측하고, 모션보상을 수행하여 예측 블록을 생성한다. 모션정보는 적어도 하나의 참조 픽쳐 인덱스와 적어도 하나의 모션 벡터를 포함한다.
또한, 모션정보를 획득하기 위하여 현재 블록은 양 방향 예측을 수행하여 현재 블록의 예측 모션 벡터 리스트를 구성하고, 이를 이용하여 현재 블록의 모션 벡터와의 차분값인 차분 모션 벡터를 디코더로 전송할 수 있다. 이 경우, 각 방향에 대한 예측 모션 벡터들을 포함하는 예측 모션 벡터 리스트는 서로 독립적이다. 그러나, 다양한 사이즈들이 화면간 예측에 사용되면서 현재 블록의 모션정보와 하나 이상의 인접 블록들의 모션정보들 사이의 연관성이 증가하게 된다. 따라서, 상술된 종래의 압축 방법에 따르면, 픽쳐의 사이즈가 고화질 픽쳐보다 커지고 모션 예측 및 모션보상을 위하여 다양한 사이즈가 이용되는 경우, 모션정보의 압축 효율이 떨어지게 된다.
본 발명이 해결하고자 하는 과제는 영상에 따라 다양한 모양의 코딩 블록 및 변환 블록을 이용함으로써 코딩 효율을 향상시키는 비디오 신호의 부호화 및 복호화 장치를 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 다른 과제는 현재 블록의 화면 내 예측 모드에 따라 코딩 효율을 높일 수 있는 변환 블록의 코딩 순서를 결정하는 방법 및 이를 수행하는 비디오 신호의 부호화 및 복호화 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 다양한 모양의 변환 블록을 이용하여 화면내 예측의 코딩 효율을 향상시키는 비디오 신호의 복호화 방법 및 이의 장치를 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 다른 과제는 고주파 영역보다 저주파 영역의 변환 계수 그룹을 먼저 코딩함으로써, 코딩 효율을 높일 수 있는 비디오 신호의 복호화 방법 및 이의 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 현재 블록의 양방향 예측시 상관도가 높은 정보를 이용함으로써 화면간 예측의 코딩 효율을 향상시키는 예측 모션 벡터 리스트의 구성 방법 및 구성 장치를 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 다른 과제는 현재 블록의 양방향 예측을 위한 참조 픽쳐들의 동일여부에 따라 코딩 효율을 높일 수 있는 예측 모션 벡터 리스트를 구성하는 방법 및 이의 장치를 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 비디오 신호의 복호화 방법은, 현재 영상을 구성하는 코딩 블록의 구조를 설정하는 단계; 상기 코딩 블록에 대응하는 변환 블록들의 구조를 설정하는 단계; 및 상기 변환 블록들을 이용하여 예측 신호를 생성하는 단계를 포함하고, 상기 코딩 블록은 정방형(square) 블록 및 비정방형(non-square) 블록 중 어느 하나 이상을 포함한다.
상기 변환 블록은 상기 코딩 블록의 동일한 크기 또는 작은 크기의 정방형(square) 변환 블록 및 비정방형(non-square) 변환 블록 중 어느 하나 이상을 포함한다.
일 실시예에서, 상기 정방형 변환 블록은 쿼트트리 구조를 갖는 변환 블록일 수 있고, 상기 비정방형 변환 블록은 비정방형 바이너리트리 구조 또는 비정방형 쿼트트리 구조를 갖는 변환 블록일 수 있다. 또한, 상기 변환 블록의 모양 및 크기를 나타내는 변환 블록 분할 정보를 수신하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 변환 블록은 비정방형 변환 서브 블록 및 정방형 변환 서브 블록 중 어느 하나 이상을 포함하여 분할될 수 있고, 상기 변환 블록을 서브 변환 블록들로 재분할하는 단계를 더 포함하며, 상기 서브 변환 블록들로 재분할되는 경우, 상기 예측 신호는 상기 서브 변환 블록별로 생성될 수 있다. 또한, 상기 서브 변환 블록들은 비정방형 서브 변환 블록 및 정방형 서브 변환 블록 중 어느 하나 이상을 포함할 수 있다.
일 실시예에서, 상기 현재 블록이 화면내 예측을 수행하는 경우, 상기 현재 블록의 화면내 예측 모드의 방향이 90˚이상 180˚미만의 각도를 갖는 제 1 모드 영역, 180˚이상 225˚ 미만의 각도를 갖는 제 2 모드 영역, 및 45˚이상 90˚미만의 각도를 갖는 제 3 영역 중 어느 모드 영역에 속하는지 판단하는 단계; 및 상기 화면내 예측 모드이 속하는 모드 영역에 기초하여 상기 변환 블록의 코딩 순서를 가변적으로 결정하는 단계를 더 포함할 수 있다.
상기 화면내 예측 모드의 방향이 제 2 모드 영역인 경우, 상기 변환 블록은 좌측 하단으로부터 우측 상단 방향순으로 코딩될 수 있고, 상기 변환 블록이 정방형 변환 블록이면, 좌측 하단, 우측 하단, 좌측 상단, 및 우측 상단의 순서로 코딩될 수 있으며, 상기 변환 블록이 정방형 변환 블록이면, 좌측 하단, 좌측 상단, 우측 하단, 및 우측 상단의 순서로 코딩될 수 있다.
또한, 상기 변환 블록이 세로로 분할된 비정방형 변환 블록이면, 좌측으로부터 우측의 순서로 코딩될 수 있고, 상기 변환 블록이 가로로 분할된 비정방형 변환 블록이면, 하단으로부터 상단의 순서로 코딩될 수 있다.
상기 화면내 예측 모드의 방향이 제 3 영역 모드인 경우, 상기 변환 블록은 우측 상단으로부터 좌측 하단 순서로 코딩될 수 있고, 상기 변환 블록이 정방형 변환 블록이면, 우측 상단, 좌측 상단, 우측 하단, 및 좌측 하단의 순서로 코딩될 수 있으며, 상기 변환 블록이 정방형 변환 블록이면, 우측 상단, 우측 하단, 좌측 상단, 및 좌측 하단의 순서로 코딩될 수 있다.
또한, 상기 변환 블록이 세로로 분할된 비정방형 변환 블록이면, 우측으로부터 좌측의 순서로 코딩될 수 있고, 상기 변환 블록이 가로로 분할된 비정방형 변환 블록이면, 상단으로부터 하단의 순서로 코딩될 수 있다.
상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 비디오 신호의 복호화 장치는, 현재 영상을 구성하는 코딩 블록의 구조를 설정하고, 상기 코딩 블록에 대응하는 변환 블록들의 구조를 설정하는 블록 설정부; 및 상기 변환 블록들을 이용하여 예측 신호를 생성하는 예측 신호 생성부를 포함하고, 상기 코딩 블록 및 상기 변환 블록은 정방형(square) 블록 및 비정방형(non-square) 블록 중 어느 하나 이상을 포함하며, 상기 예측 신호 생성부는 상기 코딩 블록의 화면내 예측 모드를 예측 방향에 따라 구분한 모드 영역들 중 어느 모드 영역에 속하는지에 따라 가변적인 코딩 순서에 따라 상기 변환 블록들을 코딩할 수 있다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 비디오 신호의 복호화 방법은, 복수 개의 변환 계수 그룹을 포함하는 변환 블록을 스캔하는 방법에 있어서, 상기 변환 블록에 포함되는 적어도 하나 이상의 변환 영역을 나타내는 변환 영역 정보를 획득하는 단계; 상기 변환 영역 정보에 기초하여 제 1 변환 영역에 포함되는 복수 개의 변환 계수 그룹을 스캔하는 단계; 상기 변환 블록 내의 제 2 변환 영역에 포함되는 복수 개의 변환 계수 그룹을 스캔하는 단계를 포함한다.
상기 복수 개의 변환 계수 그룹은 저주파 영역의 변환 계수 그룹이 고주파 영역의 변환 계수 그룹보다 선행하여 스캔될 수 있다.
일 실시예에서, 상기 변환 영역 정보는 인코더로부터 수신되거나 시퀀스 파라미터 셋(SPS) 및 슬라이스 헤더 중 적어도 하나 이상으로부터 획득될 수 있다. 또한, 상기 변환 영역 정보는 복호화기에서 기결정된 방법으로 획득될 수 있다.
상기 변환 영역 정보를 획득하는 단계 이전에, 상기 변환 블록이 비정방형 블록인지 판단하는 단계를 더 포함할 수 있다. 상기 판단하는 단계는 상기 변환 블록의 가로의 길이 및 세로의 길이에 기초하여 수행될 수 있다.
상기 다른 과제를 해결하기 위한 본 발명의 일 실시예에 따른 비디오 신호의 복호화 장치는, 변환 블록에 포함되는 적어도 하나 이상의 변환 영역을 나타내는 변환 영역 정보를 획득하는 변환 영역 정보 획득부; 및 상기 변환 영역 정보에 기초하여 상기 적어도 하나 이상의 변환 영역별로 상기 변환 영역에 포함되는 복수 개의 변환 계수 그룹을 차례로 스캔하는 변환 계수 그룹 스캔부를 포함할 수 있다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 예측 모션 벡터 리스트의 구성 방법은, 현재 블록의 제 1 방향에 대한 모션 벡터를 획득하는 단계; 및 상기 제 1 방향에 대한 모션 벡터를 이용하여 상기 제 2 방향의 예측 모션 벡터 리스트를 구성하는 적어도 하나 이상의 제 2 방향의 예측 모션 벡터 후보자를 설정하는 단계를 포함한다.
상기 적어도 하나 이상의 제 2 방향의 예측 모션 벡터 후보자는 상기 제 1 방향에 대한 모션 벡터를 복사하여 설정될 수 있고, 상기 제 1 방향에 대한 참조 픽쳐와 상기 제 2 방향에 대한 참조 픽쳐가 동일한 픽쳐 정보를 가질 수 있다. 또한, 상기 제 2 방향의 예측 모션 벡터 후보자는 가장 작은 코드워드를 갖는 순서로 인덱스에 할당될 수 있다.
일 실시예에서, 상기 제 2 방향의 예측 모션 벡터 후보자는 상기 제 1 방향에 대한 모션 벡터를 픽쳐 정보에 기초하여 스케일링하여 설정될 수 있고, 상기 제 1 방향에 대한 참조 픽쳐와 상기 제 2 방향에 대한 참조 픽쳐의 픽쳐 정보가 상이할 수 있다. 또한, 상기 제 2 방향의 예측 모션 벡터 후보자는 가장 작은 코드워드를 갖는 순서로 인덱스에 할당될 수 있다.
상기 적어도 하나 이상의 제 2 방향의 예측 모션 벡터 후보자를 설정하는 단계 이전에, 상기 제 1 방향에 대한 참조 픽쳐 및 상기 제 2 방향에 대한 참조 픽쳐의 픽쳐 정보가 동일한지 여부를 판단하는 단계를 더 포함한다.
상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 예측 모션 벡터 리스트의 구성 장치는 현재 블록의 제 1 방향에 대한 모션 벡터를 획득하는 모션 벡터 획득부; 및 상기 제 1 방향에 대한 모션 벡터를 이용하여 상기 2 방향의 예측 모션 벡터 리스트를 구성하는 적어도 하나 이상의 제 2 방향의 예측 모션 벡터 후보자를 설정하는 제 2 방향 예측 모션 벡터 리스트 설정부를 포함한다.
상기 제 2 방향 예측 모션 벡터 리스트 설정부는, 상기 제 1 방향에 대한 모션 벡터를 이용하여 적어도 하나 이상의 상기 제 2 방향의 예측 모션 벡터 후보자를 설정하는 제 1 예측 모션 벡터 후보자 설정부; 및 상기 현재 블록의 공간적 및 시간적 이웃 블록들을 이용하여 적어도 하나 이상의 상기 제 2 방향의 예측 모션 벡터 후보자를 설정하는 제 2 예측 모션 벡터 후보자 설정부를 포함한다.
상기 제 1 예측 모션 벡터 후보자 설정부에서 획득되는 상기 제 2 방향의 예측 모션 벡터 후보자는 상기 제 1 방향에 대한 모션 벡터를 복사하여 설정될 수 있고, 상기 제 1 방향에 대한 참조 픽쳐와 상기 제 2 방향에 대한 참조 픽쳐의 픽쳐 정보가 동일할 수 있다.
상기 제 1 예측 모션 벡터 후보자 설정부에서 획득되는 상기 제 2 방향의 예측 모션 벡터 후보자는 상기 제 1 방향에 대한 모션 벡터를 픽쳐 정보에 기초하여 스케일링하여 설정될 수 있고, 상기 제 1 방향에 대한 참조 픽쳐와 상기 제 2 방향에 대한 참조 픽쳐의 픽쳐 정보가 상이할 수 있다. 또한, 상기 제 1 예측 모션 벡터 후보자 설정부에서 획득되는 상기 제 2 방향의 예측 모션 벡터 후보자는 가장 작은 코드워드를 갖는 순서로 인덱스에 할당될 수 있다.
본 발명의 실시예에 따르면, 영상에 따라 비정방형 코딩 블록 및 비정방형 변환 블록을 이용함으로써 부호화 효율을 향상시키는 비디오 신호의 부호화 및 복호화 장치를 제공하는 것이다.
또한, 본 발명의 다른 실시예에 따르면, 현재 블록의 화면 내 예측 모드의 방향에 따라 변환 블록의 코딩 순서를 변경함으로써, 고해상도의 영상을 부호화 및 복호화할 수 있고, 코딩 효율을 증가시킬 수 있는 변환 블록의 코딩 순서를 결정하는 방법 및 이를 수행하는 비디오 신호의 복호화 방법 및 장치를 제공하는 것이다.
본 발명의 실시예에 따르면, 변환 블록이 비정방형 블록인 경우 상기 변환 블록을 복수 개의 변환 계수 그룹 중 일부를 포함하는 적어도 하나 이상의 변환 영역으로 분할하여 상기 변환 영역 내에 포함된 변환 계수 그룹들을 차례로 스캔함으로써, 화면내 예측의 코딩 효율을 향상시키는 비디오 신호의 복호화 방법 및 이의 장치를 제공하는 것이다.
또한, 본 발명의 다른 실시예에 따르면, 변환 블록을 적어도 하나 이상의 변환 영역으로 분할하고, 상기 분할된 변환 영역 내에 포함된 변환 계수 그룹들을 차례로 스캔함으로써, 고주파 영역보다 저주파 영역의 변환 계수 그룹을 먼저 코딩함으로써 코딩 효율을 높일 수 있는 비디오 신호의 복호화 방법 및 이의 장치를 제공하는 것이다.
본 발명의 실시예에 따르면, 양방향 예측을 수행하는 현재 블록의 제 1 방향의 모션 벡터를 제 2 방향에 대한 예측 모션 벡터 리스트 구성시 적어도 하나 이상의 예측 모션 벡터 후보자의 설정시 이용함으로써, 화면간 예측시 상관도가 높은 정보를 이용하게 되어 화면간 예측의 코딩 효율을 향상시키는 예측 모션 벡터 리스트의 구성 방법 및 구성 장치를 제공하는 것이다.
또한, 본 발명의 다른 실시예에 따르면, 현재 블록의 양방향 예측을 위한 참조 픽쳐들의 동일 여부를 판단하고, 동일 여부에 따라 제 1 방향에 대한 모션 벡터를 다양한 방법으로 제 2 방향의 예측 모션 벡터 리스트 구성시 적어도 하나 이상의 예측 모션 벡터 후보자로 사용함으로써, 코딩 효율을 높일 수 있는 예측 모션 벡터 리스트를 구성하는 방법 및 이의 장치를 제공하는 것이다.
도 1은 본 발명의 일 실시예에 따른 비디오 부호화 장치를 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 복호화 장치를 개략적으로 나타낸 블록도이다.
도 3은 일반적인 방법에 따른 현재 블록의 코딩 블록을 설명하기 위한 것이다.
도 4a 내지 도 4c 는 본 발명의 일 실시예에 따른 현재 블록의 비정방형 코딩 블록들의 예시를 나타내는 것이다.
도 5a 내지 도 6d 는 본 발명의 일 실시예에 따른 현재 코딩 블록을 위한 변환 블록들의 예시를 나타내는 것이다.
도 7a 내지 도 10 은 본 발명의 일 실시예에 따른 서브 변환 블록들의 예시를 나타내는 것이다.
도 11은 일반적인 방법에 따른 변환 블록의 코딩 순서 및 방법을 설명하기 위한 것이다.
도 12a 내지 도 12c 는 본 발명의 일 실시예에 따른 변환 블록들의 예시를 나타내는 것이다.
도 13는 본 발명의 일 실시예에 따른 화면 내 예측 모드가 속하는 모드 영역들을 나타내는 것이다.
도 14a 및 도 14b 는 본 발명의 일 실시예에 따른 현재 블록의 화면내 예측 모드가 제 1 모드 영역에 속하는 경우 변환 블록들의 코딩 순서를 나타내는 것이고, 도 15a 내지 도 15c 는 본 발명의 일 실시예에 따른 현재 블록의 화면내 예측 모드가 제 2 모드 영역에 속하는 경우 변환 블록들의 코딩 순서를 나타내는 것이며, 도 16a 내지 도 16c 는 본 발명의 일 실시예에 따른 현재 블록의 화면내 예측 모드가 제 3 모드 영역에 속하는 경우 변환 블록들의 코딩 순서를 나타내는 것이다.
도 17a 내지 도 19c 는 본 발명의 일 실시예에 따른 화면내 예측 모드를 고려한 변환 블록의 코딩 순서를 적용하여 정방형 및 비정방형 변환 블록을 코딩하는 순서의 다양한 예시를 나타내는 것이다.
도 20은 일반적인 변환 블록의 구조를 설명하기 위한 것이다.
도 21은 일반적인 16x16 변환 블록을 구성하는 변환 계수 그룹을 설명하기 위한 것이다.
도 22는 일반적인 방법에 따른 변환 계수 그룹 및 상기 변환 계수 그룹의 변환 스캔 방법을 설명하기 위한 것이다.
도 23a 내지 도 23d는 일반적인 방법에 따른 변환 계수 그룹 및 상기 변환 계수 그룹의 스캔 방법의 종류를 설명하기 위한 것이다.
도 24a 및 도 24b는 본 발명의 일 실시예에 따른 변환 블록에 일반적인 스캔 방법을 적용한 예를 설명하기 위한 것이다.
도 25는 16x8 변환 블록의 변환 계수에 대하여 일반적인 스캔 방법을 적용한 예를 설명하기 위한 것이다.
도 26은 본 발명의 일 실시예에 따른 변환 계수 그룹을 스캔하는 방법을 나타내는 순서도이다.
도 27은 본 발명의 일 실시예에 따른 변환 계수 그룹을 스캔하는 장치를 도시한 것이다.
도 28a 및 도 28b는 본 발명의 일 실시예에 따른 비정방형 변환 블록을 위한 변환 계수 그룹을 스캔하는 방법을 설명하기 위한 것이다.
도 29a 내지 도 30d는 본 발명의 일 실시예에 따른 비정방형 변환 블록을 위한 변환 계수 그룹을 스캔하는 다양한 방법을 설명하기 위한 예이다.
도 31은 일반적인 방법에 따른 현재 블록의 예측 모션 벡터 후보자(MVP candidate)를 획득하는 위치를 설명하기 위한 것이다.
도 32 내지 도 33b는 일반적인 방법에 따른 현재 블록의 예측 모션 벡터 리스트를 구성하는 방법을 설명하기 위한 것이다.
도 34는 본 발명의 일 실시예에 따른 예측 모션 벡터 리스트를 구성하는 방법을 설명하기 위한 순서도이다.
도 35는 본 발명의 일 실시예에 따른 예측 모션 벡터 리스트를 구성하는 장치를 설명하기 위한 순서도이다.
도 36 및 도 37은 본 발명의 다른 실시예에 따른 예측 모션 벡터 리스트를 구성하는 방법에 대한 순서도 및 구성 장치를 나타내는 것이다.
도 38a 및 도 38b는 본 발명의 일 실시예에 따른 예측 모션 벡터 리스트를 구성하는 방법을 설명하기 위한 것이다.
도 39는 본 발명의 또 다른 실시예에 따른 예측 모션 벡터 리스트를 구성하는 방법을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
또한, 도면에서 각 유닛의 두께나 크기는 설명의 편의 및 명확성을 위하여 과장된 것이며, 도면상에서 동일 부호는 동일한 요소를 지칭한다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.
본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이, 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다 (comprise)" 및/또는 "포함하는 (comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.
본 명세서에서 제 1, 제 2 등의 용어가 다양한 구성요소, 부재, 부품, 영역, 및/또는 부분들을 설명하기 위하여 사용되지만, 이들 구성요소, 부재, 부품, 영역, 및/또는 부분들은 이들 용어에 의해 한정되어서는 안됨은 자명하다. 이들 용어는 하나의 구성요소, 부재, 부품, 영역 또는 부분을 다른 영역 또는 부분과 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제 1 구성요소, 부재, 부품, 영역 또는 부분은 본 발명의 가르침으로부터 벗어나지 않고서도 제 2 구성요소, 부재, 부품, 영역 또는 부분을 지칭할 수 있다. 또한, 및/또는 용어는 복수의 관련되어 기재되는 항목들의 조합 또는 복수의 관련되어 기재되는 항목들 중의 어느 항목을 포함한다.
어느 구성요소가 다른 구성요소에 "연결되어" 있거나 "접속되어" 있다고 언급되는 경우에는, 상기 다른 구성요소에 직접적으로 연결되어 있거나 접속되어 있는 경우 뿐만 아니라, 상기 어느 구성요소와 상기 다른 구성요소 사이에 다른 구성요소가 존재하는 경우를 포함하여 이해되어야 한다. 그러나, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있거나 "직접 접속되어" 있다고 지칭되는 경우에는, 중간에 다른 구성요소가 존재하지 아니하고 상기 어느 구성요소와 상기 다른 구성요소가 직접 연결 또는 접속된 것으로 이해되어야 할 것이다.
이하, 본 발명의 실시예들은 본 발명의 이상적인 실시예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 부재들의 크기와 형상은 설명의 편의와 명확성을 위하여 과장될 수 있으며, 실제 구현시, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명의 실시예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니된다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 나타낸 블록도이다.
도 1을 참조하면, 영상 부호화 장치(100)는 픽처 분할부(105), 화면간 예측부(110), 화면내 예측부(115), 변환부(120), 양자화부(125), 재정렬부(130), 엔트로피 부호화부(135), 역양자화부(140), 역변환부(145), 필터부(150) 및 메모리(155)를 포함한다.
도 1에 나타난 각 구성요소들은 영상 부호화 장치에서 서로 다른 특징적인 기능들을 나타내기 위하여 독립적으로 도시한 것이며, 각 구성요소들이 분리된 하드웨어나 각각 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성요소는 설명의 편의상 각각의 구성요소로 나열하여 포함한 것으로 각 구성요소 중 적어도 두 개의 구성요소가 합쳐져 하나의 구성요소로 이루어지거나, 하나의 구성요소가 복수개의 구성요소로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성요소가 통합된 실시예 또는 분리된 실시예도 본 발명의 본질적인 측면에서 벗어나지 않는 한 본 발명의 권리범위에 포함될 수 있다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위로 분할할 수 있다. 상기 처리 단위는 예측 블록(Prediction Unit, 이하 'PU'라 함)일 수 있고, 변환 블록(Transform Unit, 이하 'TU'라 함)일 수도 있으며, 코딩 블록(Coding Unit, 이하 'CU'라 함)일 수도 있다. 다만, 본 명세서에서는 설명의 편의를 위해, 예측 블록을 예측 단위, 변환 블록을 변환 단위, 부호화 또는 복호화 블록을 부호화 단위 또는 복호화 단위로 표현할 수도 있다.
일 실시예에서, 픽처 분할부(105)는 하나의 픽처에 대하여 복수의 부호화 블록, 예측 블록, 및 변환 블록의 조합으로 분할하고, 소정의 기준(예를 들어, 비용 함수)에 기초하여 하나의 부호화 블록, 예측 블록, 및 변환 블록의 조합을 선택하여 픽처를 부호화할 수 있다.
예를 들어, 하나의 픽처는 복수 개의 코딩 블록으로 분할될 수 있다. 일 실시예에서, 하나의 픽처는 쿼드 트리 구조(Quad Tree Structure) 또는 바이너리 트리 구조와 같은 재귀적인 트리 구조를 사용하여 상기 코딩 블록을 분할할 수 있으며, 하나의 영상 또는 최대 크기 코딩 블록(largest coding unit)를 루트로 하여 다른 코딩 블록으로 분할되는 코딩 블록은 분할된 코딩 블록의 개수만큼의 자식 노드를 가지고 분할될 수 있다. 이러한 과정을 통하여 더 이상 분할되지 아니하는 코딩 블록은 리프 노드가 될 수 있다. 예를 들어, 하나의 코딩 블록에 대하여 정방형 분할만이 가능하다고 가정한 경우에는 하나의 코딩 블록은 예를 들어, 4 개의 코딩 블록으로 분할될 수 있다.
그러나, 본 발명에서는 상기 코딩 블록, 예측 블록 및/또는 변환 블록은 분할 시 대칭 분할에 한정하지 아니하고, 비대칭 분할(Asymmetric Partition)도 가능하며 4 개의 분할 뿐만 아니라 2 개의 분할도 가능하다. 그러나, 이러한 분할 개수는 예시적일 뿐 본 발명이 이에 한정되는 것은 아니다. 이와 같이, 코딩 블록 및 변환 블록으로 비대칭 분할된 비정방형(non-square) 블록을 이용하는 비디오 신호의 부호화 및 복호화 방법 및 장치에 대하여 도 3 내지 도 19c를 참조하여 설명하기로 한다.
예측 블록도 하나의 코딩 블록 내에서 동일한 크기의 적어도 하나의 정방형(square) 또는 비정방형(non-square) 등의 형태를 가지고 분할된 것일 수 있고, 하나의 코딩 블록 내에서 분할된 예측 블록 중 어느 하나의 예측 블록이 다른 하나의 예측 블록과 상이한 형태와 크기를 가지도록 분할될 수도 있다. 일 실시예에서는, 코딩 블록과 예측 블록이 동일할 수 있다. 즉, 코딩 블록과 예측 블록을 구분하지 아니하고, 분할된 코딩 블록을 기준으로 예측이 수행될 수도 있다.
예측부는 화면간 예측(inter prediction)을 수행하는 화면간 예측부(110) 및 화면내 예측(intra prediction)을 수행하는 화면내 예측부(115)를 포함할 수 있다. 코딩 효율을 높이기 위하여, 영상 신호를 그대로 부호화하는 것이 아니라, 이미 부호화 및 복호화가 완료된 픽처 내부의 특정 영역을 이용하여 영상을 예측하고, 원래의 영상과 예측 영상 사이의 레지듀얼 값을 부호화한다. 또한, 예측을 위하여 사용된 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 부호화부(135)에서 부호화되어 복호화부에 전달될 수 있다. 특정한 부호화 모드를 이용하는 경우에는 예측부(110, 115)를 통하여 예측 블록을 생성하지 아니하고, 원본 블록을 그대로 부호화하여 복호화부에 전송하는 것도 가능하다.
일 실시예에서, 예측부(110, 115)는 예측 블록에 대하여 화면간 예측을 수행할 것인지 화면내 예측을 수행할 것인지를 결정하고, 화면간 예측 모드, 움직임 벡터, 및 참조 픽쳐와 같은 상기 예측 방법 각각에 따른 구체적인 정보들을 결정할 수 있다. 이 경우, 예측이 수행되는 처리 단위와 예측 방법, 그리고 세부 처리 단위는 각각 다를 수 있다. 예를 들어, 예측 모드와 예측 방법은 예측 블록에 따라 결정되더라도, 예측의 수행은 변환 블록에 따라 수행될 수 있다.
예측부(110, 115)는, 픽처 분할부(105)에서 분할된 픽처의 처리 단위에 대하여 예측을 수행하여 예측된 샘플로 구성되는 예측 블록을 생성할 수 있다. 예측부(110, 115)에서의 픽처 처리 단위는 코딩 블록 단위일 수 있고, 변환 블록 단위일 수도 있으며, 예측 블록 단위일 수도 있다.
화면간 예측부(110)는 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나 이상의 픽처의 정보를 기초로 예측 블록을 예측할 수 있고, 경우에 따라 현재 픽처 내의 코딩이 완료된 일부 영역의 정보를 기초로 예측 블록을 예측할 수 있다. 화면간 예측부(110)는 참조 픽처 보간부, 움직임 예측부, 및 움직임 보상부를 포함할 수 있다.
일 실시예에서, 화면간 예측부(110)에서 예측을 위하여 이용되는 상기 하나 이상의 픽처의 정보는 이미 부호화 및 복호화가 진행된 픽처들의 정보일 수 있고, 임의의 방법으로 변형되어 저장된 픽처들의 정보일 수 있다. 예를 들어, 상기 임의의 방법으로 변형되어 저장된 픽처는 부호화 및 복호화가 진행된 픽처를 확대 또는 축소한 픽처일 수 있고, 또는 픽처 내의 모든 픽셀 값의 밝기를 변형시키거나, 칼라 포맷을 변형시킨 픽처일 수도 있다.
참조 픽처 보간부는 메모리(155)로부터 참조 픽처 정보를 제공받아 참조 픽처에서 정수 픽셀 이하의 픽셀 정보를 생성할 수 있다. 휘도 픽셀의 경우, 필터의 계수를 달리하는 DCT 기반의 8-탭 보간 필터(DCT-based Interpolation Filter)를 이용하여 1/4 픽셀 단위로 정수 이하의 픽셀 정보를 생성할 수 있다. 색차 신호의 경우에는 필터의 계수를 달리하는 DCT 기반의 4-탭 보간 필터(DCT-based Interpolation Filter)를 이용하여 1/8 픽셀 단위로 정수 이하의 픽셀 정보를 생성할 수 있다. 그러나, 필터의 종류 및 정수 이하의 픽셀 정보를 생성하는 단위는 이에 한정되지는 아니하고, 다양한 보간 필터를 이용하여 정수 이하의 픽셀 정보를 생성하는 단위가 결정될 수 있을 것이다.
움직임 예측부는 상기 참조 픽처 보간부에 의하여 보간된 참조 픽처를 기초로 하여 움직임 예측을 수행할 수 있다. 움직임 벡터를 산출하기 위하여 다양한 방법이 사용될 수 있다. 움직임 벡터는 보간된 픽셀을 기초로 하여 정수 픽셀 단위 또는 1/4 또는 1/8 픽셀 단위의 움직임 벡터값을 가질 수 있다. 일 실시예에서는, 움직임 예측부에서 움직임 예측 방법을 다르게 하여 현재 블록의 예측 단위를 예측할 수 있다. 상기 움직임 예측 방법은 머지(Merge) 방법, AMVP(Advanced Motion Vector Prediction) 방법, 및 스킵(Skip) 방법을 포함하여 다양한 방법이 사용될 수 있다. 이와 같이, 화면간 예측부(110)에서 선택된 참조 픽처의 인덱스, 움직임 벡터 예측자(MVP), 레지듀얼 신호를 포함하는 정보들은 엔트로피 코딩되어 복호화기로 전송될 수 있다.
화면내 예측부(115)는 화면간 예측과 달리 현재 픽처 내의 픽셀 정보인 현재 블록 주변의 참조 픽셀 정보들을 기초로 하여 예측 블록을 생성할 수 있다. 상기 예측 블록의 주변 블록들은 화면간 예측을 수행한 블록인 경우, 즉, 참조 픽셀이 화면간 예측을 수행한 픽셀인 경우에는 화면간 예측을 수행한 블록에 포함되는 참조 픽셀을 주변의 화면내 예측을 수행한 블록의 참조 픽셀 정보로 대체하여 사용할 수도 있다.
상기 참조 픽셀이 이용 가능하지 아니하는 경우(unavailable)에는 이를 이용 가능하도록 설정하는 것이 선행되어야 한다. 일반적으로 이와 같은 경우, 상기 이용 가능하지 아니한 참조 픽셀은 이용 가능한(available) 주변 화소들 중 적어도 하나의 참조 픽셀로 대체하여 사용되거나 기설정된 샘플값을 할당하여 이용해왔다.
그러나, 이러한 이용 가능하지 아니한 참조 픽셀에 이용 가능한 참조 픽셀을 복사하여 이용하는 방법은, 현재 영상의 복호화시 화면내 예측 부호화 효율을 저하시키는 문제점이 발생할 수 있다. 본 발명의 다양한 실시예에 따르면, 이러한 문제점을 해결하기 위하여, 변환 블록의 코딩시 이용 가능하지 아니한 참조 픽셀 영역보다는 이용 가능한 참조 픽셀 영역을 이용해 화면 내 예측을 수행할 수 있도록, 화면 내 예측 모드의 방향에 따라 변환 블록들의 코딩 순서를 다양한 방법으로 변경할 수 있다. 이와 관련한 자세한 설명은 후술하기로 한다.
또한, 화면내 예측부(115)는 화면내 예측 모드를 부호화하기 위하여 이웃 블록들로부터 획득한 가장 가능성 있는 화면내 예측 모드(MPM : Most Probable mode)를 이용할 수 있다. 본 발명의 다양한 실시예에 따르면, 상기 가장 가능성 있는 화면내 예측 모드들로 구성되는 가장 가능성 있는 화면내 예측 모드 리스트(MPM List)는 다양한 방법으로 구성될 수 있다.
화면내 예측부(115)가 화면내 예측을 수행하는 경우에도 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 서로 다를 수 있다. 예를 들어, 예측 모드가 예측 단위(PU)로 정해져서 상기 예측 단위로 예측이 수행될 수도 있고, 예측 모드는 예측 단위로 정해지되 예측의 수행은 변환 단위(TU)로 수행될 수도 있다. 일 실시예에서, 예측 모드가 코딩 블록(CU) 단위로 결정되고, 상기 코딩 블록 단위와 예측 단위가 동일하여 상기 코딩 블록 단위로 예측이 수행될 수도 있다.
화면내 예측의 예측 모드는 65개의 방향성 예측 모드 및 적어도 2 개 이상의 비방향성 모드를 포함할 수 있다. 상기 비방향성 모드는 DC 예측 모드 및 플래너 모드(Planar Mode)를 포함할 수 있다. 상기 67개의 화면간 예측 모드의 개수는 예시적일 뿐, 본 발명이 이에 한정되는 것은 아니며, 다양한 방법으로 예측하기 위하여 더 많은 방향성 또는 비방향성 모드로 화면내 예측을 수행할 수 있다.
일 실시예에서, 화면내 예측은 참조 픽셀에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이 경우, 상기 참조 픽셀에 필터를 적용할지 여부는 현재 블록의 화면내 예측 모드 및/또는 크기에 따라 결정될 수 있다.
예측 단위(PU)는 더 이상 분할되지 않는 코딩 유닛(CU)으로부터 다양한 사이즈 및 형태로 결정될 수 있다. 예를 들어, 화면간 예측의 경우 예측 단위는 2N x 2N, 2N x N, N x 2N 또는 N x N와 같은 크기를 가질 수 있다. 화면내 예측의 경우 예측 단위는 2N x 2N 또는 N x N (N은 정수)와 같은 크기를 가질 수 있으나, 이와 같은 정방향 크기 뿐만 아니라 비정방향 크기 모양으로도 화면내 예측을 수행할 수 있다. 이 경우, N x N 크기의 예측 단위는 특정한 경우에만 적용하도록 설정할 수도 있다. 또한, 상술한 크기의 예측 단위 이외에도, N x mN, mN x N, 2N x mN 또는 mN x 2N (m은 분수 또는 정수임) 와 같은 크기를 갖는 화면내 예측 단위를 더 정의하여 사용할 수도 있다.
화면내 예측부(115)에서 생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(120)에 입력될 수 있다. 또한, 예측을 위하여 사용되는 예측 모드 정보, 보간 필터 정보 등은 레지듀얼 값과 함께 엔트로피 부호화부(135)에서 부호화되어 복호화기로 전달될 수 있다.
변환부(120)는 변환 단위로 원본 블록과 예측부(110, 115)를 통하여 생성된 예측 단위의 레지듀얼 값 정보를 포함하는 레지듀얼 블록을 DCT(Discrete Cosine Transform), DST(Discrete Sine Transform), KLT(Karhunen Loeve Transform)과 같은 변환 방법을 이용하여 변환시킬 수 있다. 레지듀얼 블록을 변환하기 위하여 DCT, DST 또는 KLT 를 적용할지는 레지듀얼 블록을 생성하기 위하여 사용된 예측 단위의 화면내 예측 모드 정보를 기초로 결정할 수 있다.
변환부(120)에서의 변환 블록은 TU일 수 있고, 정방형(square) 구조, 비정방형(non-square) 구조, 정방형 쿼드 트리(square quad tree) 구조, 비정방형 쿼드 트리(non-square quad tree) 구조 또는 바이너리 트리(binary tree) 구조를 가질 수 있다. 일 실시예에서, 변환 단위의 크기는 소정의 최대 및 최소 크기의 범위 내에서 정해질 수 있다. 또한, 하나의 변환 블록은 서브 변환 블록으로 더 분할될 수 있으며, 상기 서브 변환 블록들은 정방형(square) 구조, 비정방형(non-square) 구조, 정방형 쿼드 트리(square quad tree) 구조, 비정방형 쿼드 트리(non-square quad tree) 구조 또는 바이너리 트리(binary tree) 구조를 가질 수 있다.
양자화부(125)는 변환부(120)에서 변환된 레지듀얼 값들을 양자화하여 양자화 계수를 생성할 수 있다. 일 실시예에서, 상기 변환된 레지듀얼 값들은 주파수 영역으로 변환된 값일 수 있다. 상기 양자화 계수는 변환 단위에 따라 또는 영상의 중요도에 따라 변경될 수 있으며, 양자화부(125)에서 산출된 값은 역양자화부(140) 및 재정렬부(130)에 제공될 수 있다.
재정렬부(130)는 양자화부(125)로부터 제공된 양자화 계수를 재정렬할 수 있다. 재정렬부(130)는 상기 양자화 계수를 재정렬함으로써 엔트로피 부호화부(135)에서의 부호화 효율을 향상시킬 수 있다. 재정렬부(130)는 계수 스캐닝(Coefficient Scanning) 방법을 통하여 2차원 블록 형태의 양자화 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 상기 계수 스캐닝 방법은 변환 단위의 크기 및 화면내 예측 모드에 따라 어떠한 스캔 방법이 사용될지 여부가 결정될 수 있다. 상기 계수 스캐닝 방법은 지그-재그 스캔, 2차원의 블록 형태의 계수를 열 방향으로 스캔하는 수직 스캔, 및 2차원의 블록 형태 계수를 행 방향으로 스캔하는 수평 스캔을 포함할 수 있다. 일 실시예에서, 재정렬부(130)는 양자화부에서 전송되는 계수들의 확률적인 통계를 기반으로 계수 스캐닝의 순서를 변경함으로써 엔트로피 부호화부(135)에서의 엔트로피 부호화 효율을 높일 수도 있다.
엔트로피 부호화부(135)는 재정렬부(130)에 의하여 재정렬된 양자화 계수들에 대한 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Content-Adaptive Binary Arithmetic Coding)과 같은 다양한 부호화 방법을 이용할 수 있다.
엔트로피 부호화부(135)는 재정렬부(130) 및 예측부(110, 115)로부터 전달받은 코딩 유닛의 양자화 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, 예측 유닛 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보와 같은 다양한 정보를 부호화할 수 있다. 또한, 일 실시예에서 엔트로피 부호화부(135)는 필요한 경우에, 전송하는 파라미터 셋 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(140)는 양자화부(125)에서 양자화된 값들을 역양자화하고, 역변환부(145)는 역양자화부(140)에서 역양자화된 값들을 역변화한다. 역양자화부(140) 및 역변환부(145)에서 생성된 레지듀얼 값은 예측부(110,115)에서 예측된 예측 블록과 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다. 상기 생성된 복원 블록들로 구성된 영상은 움직임 보상 영상 또는 MC 영상(Motion Compensated Picture)일 수 있다.
상기 움직임 보상 영상은 필터부(150)에 입력될 수 있다. 필터부(150)는 디블록킹 필터부, 오프셋 보정부(Sample Adaptive Offset, SAO), 및 적응적 루프 필터부(Adaptive Loop Filter, ALF)를 포함할 수 있으며, 요약하자면, 상기 움직임 보상 영상는 디블록킹 필터부에서 디블록킹 필터가 적용되어 블록킹 잡음(blocking artifact)를 감소 또는 제거 시킨 후, 오프셋 보정부에 입력되어 오프셋을 보정시킬 수 있다. 상기 오프셋 보정부에서 출력된 픽처는 상기 적응적 루프 필터부에 입력되어 ALF(Adaptive Loop Filter) 필터를 통과하며, 상기 필터를 통과한 픽처는 메모리(155)로 전송될 수 있다.
필터부(150)에 대하여 구체적으로 설명하면, 상기 디블록킹 필터부는 복원된 픽처에서 블록 간의 경계에 생성된 블록 내의 왜곡을 제거할 수 있다. 디블록킹을 수행할지 여부를 판단하기 위해서는 블록에 포함된 몇 개의 열 또는 행에 포함된 픽셀을 기초로 현재 블록에 디블록킹 필터를 적용할지 여부를 판단할 수 있다. 블록에 디블록킹 필터를 적용하는 경우, 필요한 디블록킹 필터링 강도에 따라 강한 필터(Strong Filter) 또는 약한 필터(Weak Filter)를 적용할 수 있다. 또한, 디블록킹 필터를 적용함에 있어 수직 필터링 및 수평 필터링 수행시 수평 방향 필터링 및 수직 방향 필터링이 병행 처리되도록 할 수 있다.
오프셋 보정부는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋을 보정할 수 있다. 특정 픽처에 대한 오프셋을 보정하기 위하여 영상에 포함된 픽셀을 일정한 수의 영역으로 구분한 후, 오프셋을 수행할 영역을 결정하고, 해당 영역에 오프셋을 적용하는 방법(Band Offset) 또는 각 픽셀의 에지 정보를 고려하여 오프셋을 적용하는 방법(Edge Offset)의 형태로 적용될 수 있다. 그러나, 일 실시예에서 화면간 예측에 사용되는 복원 블록에 대하여는 필터부(150)에서 필터링을 적용하지 아니할 수 있다.
적응적 루프 필터부(Adaptive Loop Filter, ALF)는 필터링한 복원 영상과 원래의 영상을 비교한 값을 기초로, 고효율을 적용하는 경우에만 수행될 수 있다. 영상에 포함된 픽셀을 소정의 그룹으로 나눈 후, 해당 그룹에 적용될 하나의 필터를 결정하여 그룹마다 차별적으로 필터링을 수행할 수 있다. 상기 ALF를 적용할지 여부에 관련된 정보는 휘도 신호는 부호화 단위(Coding Unit, CU) 별로 전송될 수 있고, 각각의 블록에 따라 적용될 ALF 필터의 모양 및 필터 계수는 달라질 수 있다. 또한, 적용 대상 블록의 특성에 관계없이 동일한 형태(고정된 형태)의 ALF 필터가 적용될 수도 있다.
메모리(155)는 필터부(150)을 통하여 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(155)에 저장된 복원 블록 또는 픽처는 화면간 예측을 수행하는 화면간 예측부(110) 또는 화면내 예측부(115)에 제공될 수 있다. 화면내 예측부(115)에서 사용되는 복원 블록들의 화소값은 디블록킹 필터부, 오프셋 보정부, 및 적응적 루프 필터부가 적용되지 아니한 데이터들 일 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 나타낸 블록도이다. 도 2 를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 화면간 예측부(230), 화면내 예측부(235), 필터부(240), 메모리(245)를 포함한다.
영상 부호화 장치로부터 영상 비트스트림이 입력되는 경우, 입력된 비트스트림은 부호화 장치에서 영상 정보가 처리된 절차의 역과정으로 복호화될 수 있다. 예를 들어, 영상 부호화 장치에서 엔트로피 부호화를 수행하기 위하여 CAVLC와 같은 가변 길이 부호화(Variable Length Coding: VLC, 이하 'VLC'라 함)가 사용된 경우에는, 엔트로피 복호화부(210)도 부호화 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 복호화를 수행할 수 있다. 또한, 부호화 장치에서 엔트로피 부호화를 수행하기 위하여 CABAC을 이용한 경우에는 엔트로피 복호화부(210)에서 이에 대응하여 CABAC을 이용한 엔트로피 복호화를 수행할 수 있다.
엔트로피 복호화부(210)에서는 복호화된 정보 중 예측 블록을 생성하기 위한 정보를 화면간 예측부(230) 및 화면내 예측부(235)로 제공하고, 엔트로피 복호화부에서 엔트로피 복호화가 수행된 레지듀얼 값은 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 복호화부(210)에서 엔트로피 복호화된 비트스트림을 영상 부호화기에서 재정렬한 방법을 기초로 재정렬할 수 있다. 재정렬부(215)는 부호화 장치에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 부호화 장치에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통하여 재정렬을 수행할 수 있다.
역양자화부(220)는 부호화 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다. 역변환부(225)는 영상 부호화 장치에서 수행된 양자화 결과에 대하여, 부호화 장치의 변환부가 수행한 DCT, DST, 또는 KLT 에 대해 역DCT, 역DST, 또는 역KLT를 수행할 수 있다. 역변환은 부호화 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 인코딩 장치의 변환부에서는 예측 방법, 현재 블록의 크기 및 예측 방향과 같은 정보에 따라 DCT, DST, 또는 KLT를 선택적으로 수행할 수 있고, 복호화 장치의 역변환부(225)는 부호화 장치의 변환부에서 수행된 변환 정보를 기초로 역변환 방법이 결정되어 역변환을 수행할 수 있다.
예측부(230, 235)는 엔트로피 복호화부(210)에서 제공된 예측 블록 생성과 관련된 정보와 메모리(245)에서 제공된 이전에 복호화된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다. 복원 블록은 예측부(230, 235)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용하여 생성될 수 있다. 예측부(230, 235)에서 수행하는 구체적인 예측의 방법은 부호화 장치의 예측부(110, 115)에서 수행되는 예측의 방법과 동일할 수 있다.
예측부(230, 235)는 예측 단위 판별부(미도시), 화면간 예측부(230), 및 화면내 예측부(235)를 포함할 수 있다. 예측 단위 판별부는 엔트로피 복호화부(210)에서 입력되는 예측 단위 정보, 화면내 예측 방법의 예측 모드 정보, 화면간 예측 방법의 움직임 예측 관련 정보와 같은 다양한 정보를 입력 받아, 현재 코딩 블록에서의 예측 블록을 구분하고, 예측 블록이 화면간 예측을 수행하는지 아니면 화면내 예측을 수행하는지 여부를 판별할 수 있다.
화면간 예측부(230)는 영상 부호화기에서 제공된 현재 예측 블록의 화면간 예측에 필요한 정보를 이용하여 현재 예측 블록이 포함된 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 예측 블록에 대한 화면간 예측을 수행할 수 있다.
구체적으로 화면간 예측에서는 현재 블록에 대하여, 참조 픽처를 선택하고 현재 블록과 동일한 크기의 참조 블록을 선택하여 현재 블록에 대한 예측 블록을 생성할 수 있다. 이 때, 참조 픽처의 정보를 이용하기 위하여, 현재 픽처의 주변 블록들의 정보를 이용할 수 있다. 예를 들어, 스킵(skip) 모드, 머지(merge) 모드, 및 AMVP(Advanced Motion Vector Prediction)와 같은 방법을 이용하여 주변 블록의 정보에 기반하여 현재 블록에 대한 예측 블록을 생성할 수 있다.
예측 블록은 1/2 픽셀 샘플 단위와 1/4 픽셀 샘플 단위와 같이 정수 이하의 샘플 단위로 생성될 수 있다. 이 경우, 움직임 벡터 역시 정수 픽셀 이하의 단위로 표현될 수 있다. 예를 들어, 휘도 픽셀에 대해서는 1/4 픽셀 단위로, 색차 픽셀에 대하여는 1/8 픽셀 단위로 표현될 수 있다.
현재 블록의 화면간 예측에 필요한 움직임 벡터 및 참조 픽처 인덱스를 포함하는 움직임 정보는 부호화 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
화면내 예측부(235)는 현재 픽처 내의 픽셀 정보를 기초로 예측 블록을 생성할 수 있다. 예측 단위가 화면내 예측을 수행한 예측 단위인 경우에는 영상 부호화기에서 제공된 예측 단위의 화면내 예측 모드 정보를 기초로 화면내 예측을 수행할 수 있다. 상기 예측 단위의 주변 블록들은 화면간 예측을 수행한 블록인 경우, 즉, 참조 픽셀이 화면간 예측을 수행한 픽셀인 경우에는 화면간 예측을 수행한 블록에 포함되는 참조 픽셀을 주변의 화면내 예측을 수행한 블록의 참조 픽셀 정보로 대체하여 사용할 수도 있다.
상기 참조 픽셀이 이용 가능하지 아니하는 경우(unavailable)에는 이를 이용 가능하도록 설정하는 것이 선행되어야 한다. 일반적으로 이와 같은 경우, 상기 이용 가능하지 아니한 참조 픽셀은 이용 가능한(available) 주변 화소값들 중 적어도 하나의 참조 픽셀로 대체하여 사용되거나 기설정된 샘플값을 할당하여 이용해왔다.
그러나, 이러한 이용 가능하지 아니한 참조 픽셀에 이용 가능한 참조 픽셀을 복사하여 이용하는 방법은, 현재 영상의 복호화시 화면내 예측 부호화 효율을 저하시키는 문제점이 발생할 수 있다. 본 발명의 다양한 실시예에 따르면, 이러한 문제점을 해결하기 위하여, 변환 블록의 코딩시 이용 가능하지 아니한 참조 픽셀 영역보다는 이용 가능한 참조 픽셀 영역을 이용해 화면 내 예측을 수행할 수 있도록, 화면 내 예측 모드의 방향에 따라 변환 블록들의 코딩 순서를 다양한 방법으로 변경할 수 있다. 이와 관련된 자세한 설명은 후술하기로 한다.
또한, 화면내 예측부(235)는 화면내 예측 모드를 부호화하기 위하여 이웃 블록들로부터 획득한 가장 가능성 있는 화면내 예측 모드(MPM: Most Probable Mode)을 이용할 수 있다. 일 실시예에서, 상기 가장 가능성 있는 화면내 예측 모드는 현재 블록의 공간적 이웃 블록의 화면내 예측 모드를 이용할 수 있다.
일 실시예에서, 화면내 예측부(235)에서 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 서로 다를 수 있다. 예를 들어, 예측 단위로 예측 모드가 정해져 예측 단위로 예측이 수행될 수 있고, 예측 단위로 예측 모드가 정해지고 변환 단위로 화면내 예측이 수행될 수도 있다.
이 경우, 예측 블록(PU)은 더 이상 분할되지 않는 코딩 블록(CU)으로부터 다양한 사이즈 및 형태로 결정될 수 있다. 예를 들어, 화면내 예측의 경우 예측 블록은 2N x 2N 또는 N x N (N은 정수)와 같은 크기를 가질 수 있으나, 이와 같은 정방향 크기 뿐만 아니라 비정방향 크기 모양인 N x mN, mN x N, 2N x mN 또는 mN x 2N (m은 분수 또는 정수임)으로도 화면내 예측을 수행할 수 있다. 이 경우, N x N 크기의 예측 단위는 특정한 경우에만 적용하도록 설정할 수도 있다.
또한, 변환 블록(TU)도 다양한 사이즈 및 형태로 결정될 수 있다. 예를 들어, 변환 블록은 2N x 2N 또는 N x N (N은 정수)와 같은 크기를 가질 수 있으나, 이와 같은 정방향 크기 뿐만 아니라 비정방향 크기 모양인 N x mN, mN x N, 2N x mN 또는 mN x 2N (m은 분수 또는 정수임)으로도 화면내 예측을 수행할 수 있다. 이 경우, N x N 크기의 예측 단위는 특정한 경우에만 적용하도록 설정할 수도 있다. 일 실시예에서, 변환 블록은 정방형(square) 구조, 비정방형(non-square) 구조, 정방형 쿼드 트리(square quad tree) 구조, 비정방형 쿼드 트리(non-square quad tree) 구조, 또는 바이너리 트리(binary tree) 구조로 갖는 블록들 중 하나일 수 있다. 일 실시예에서, 변환 블록의 크기는 소정의 최대 및 최소 크기의 범위 내에서 정해질 수 있다. 또한, 하나의 변환 블록은 서브 변환 블록으로 분할될 수 있으며, 이 경우 상기 서브 변환 블록들도 정방형(square) 구조, 비정방형(non-square) 구조, 정방형 쿼드 트리(square quad tree) 구조, 비정방형 쿼드 트리(non-square quad tree) 구조, 또는 바이너리 트리(binary tree) 구조로 분할될 수 있다.
화면내 예측부(235)에는 AIS(Adaptive Intra Smoothing) 필터부, 참조 픽셀 보간부, DC 필터부를 포함할 수 있다. 상기 AIS 필터부는 현재 블록의 참조 픽셀에 필터링을 수행하는 부분으로써 현재 예측 단위의 예측 모드에 따라 필터의 적용 여부를 결정하여 적용할 수 있다. 영상 부호화기에서 제공된 예측 단위의 예측 모드 및 AIS 필터 정보를 이용하여 현재 블록의 참조 픽셀에 AIS 필터링을 수행할 수 있다. 현재 블록의 예측 모드가 AIS 필터링을 수행하지 아니하는 모드인 경우에는, 상기 AIS 필터부는 현재 블록에 적용되지 아니할 수 있다.
참조 픽셀 보간부는 예측 단위의 예측 모드가 참조 픽셀을 보간한 샘플값을 기초로 화면내 예측을 수행하는 예측 단위인 경우에, 참조 픽셀을 보간하여 정수값 이하의 픽셀 단위의 참조 픽셀을 생성할 수 있다. 현재 예측 단위의 예측 모드가 참조 픽셀을 보간하지 아니하고 예측 블록을 생성하는 예측 모드인 경우, 참조 픽셀은 보간되지 아니할 수 있다. DC 필터부는 현재 블록의 예측 모드가 DC 모드인 경우에 필터링을 통하여 예측 블록을 생성할 수 있다.
복원된 블록 및/또는 픽처는 필터부(240)로 제공될 수 있다. 필터부(240)는 복원된 블록 및/또는 픽처에 디블록킹 필터부, 오프셋 보정부(Sample Adaptive Offset) 및/또는 적응적 루프 필터부를 포함할 수 있다. 상기 디블록킹 필터부는 영상 부호화기로부터 해당 블록 또는 픽처에 디블록킹 필터가 적용되었는지 여부를 나타내는 정보 및 디블록킹 필터가 적용된 경우 강한 필터 또는 약한 필터를 적용하였는지를 나타내는 정보를 제공받을 수 있다. 상기 디블록킹 필터부는 영상 부호화기에서 제공된 디블록킹 필터 관련 정보를 제공받고, 영상 복호화기에서 해당 블록에 대한 디블록킹 필터링을 수행할 수 있다.
상기 오프셋 보정부는 부호화시 영상에 적용된 오프셋 보정의 종류 및 오프셋 값 정보 등을 기초로 복원된 영상에 오프셋 보정을 수행할 수 있다. 상기 적응적 루프 필터부는 부호화기로부터 제공된 적응적 루프 필터의 적용 여부에 관한 정보, 적응적 루프 필터의 계수 정보와 같은 정보들을 기초로 부호화 단위로 적용될 수 있다. 상기 적응적 루프 필터와 관련된 정보들은 특정 파라미터 셋(parameter set)에 포함되어 제공될 수 있다.
메모리(245)는 복원된 픽처 또는 블록을 저장하여 이후에 참조 픽처 또는 참조 블록으로 사용할 수 있고, 또한 복원된 픽처를 출력부로 제공할 수 있다.
본 명세서에서는 설명의 편의를 위하여 생략하였지만, 복호화 장치에 입력되는 비트스트림은 파싱(parsing) 단계를 거쳐 엔트로피 복호화부로 입력될 수 있다. 또한, 엔트로피 복호화부에서 파싱 과정을 수행하도록 할 수 있다.
본 명세서에서 코딩은 경우에 따라 부호화 또는 복호화로 해석될 수 있고, 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements), 플래그(flag) 등을 모두 포함하는 것으로 이해될 수 있다. '화면' 또는 '픽처(picture)'는 일반적으로 특정 시간대의 하나의 영상을 나타내는 단위를 의미하며, '슬라이스(slice)', '프레임(frame)' 등은 실제 비디오 신호의 코딩에 있어서 픽처의 일부를 구성하는 단위이며, 필요에 따라서는 픽처와 서로 혼용되어 사용될 수 있다.
'픽셀(pixel)', '픽셀' 또는 'pel'은 하나의 영상을 구성하는 최소의 단위를 나타낸다. 또한, 특정한 픽셀의 값을 나타내는 용어로서, '샘플(sample)'을 사용할 수 있다. 샘플은 휘도(Luma) 및 색차(Chroma) 성분으로 나누어질 수 있으나, 일반적으로는 이를 모두 포함하는 용어로 사용될 수 있다. 상기에서 색차 성분은 정해진 색상들 간의 차이를 나타내는 것으로 일반적으로 Cb 및 Cr로 구성된다.
'유닛(unit)'은 상술한 부호화 유닛, 예측 유닛, 변환 유닛과 같이 영상 처리의 기본 단위 또는 영상의 특정 위치를 지칭하며, 경우에 따라서는 '블록' 또는 '영역(area)'등의 용어와 서로 혼용하여 사용될 수 있다. 또한, 블록은 M개의 열과 N개의 행으로 구성된 샘플들 또는 변환 계수(transform coefficient)들의 집합을 나타내는 용어로 사용될 수도 있다.
도 3은 종래 기술에 따른 현재 블록에 대한 코딩 블록을 설명하기 위한 것이다.
도 3을 참조하면, 현재 블록(10)에 해당하는 영상은 동일한 크기의 정방형(square) 코딩 블록들(11, 12, 13, 14)을 이용하여 부호화 또는 복호화될 수 있다. 예를 들어, 현재 블록(10)의 영상이 현재 블록 내에서 한쪽에 치우쳐 정방형 코딩 블록들 중 CU1(12) 및 CU3(14)에만 위치하는 경우에도, 4 개의 정방형 코딩 블록으로 분할되어 실제 영상이 존재하지 아니하는 코딩 블록인 CU0(11) 및 CU2(13)도 부호화 또는 복호화 하여야 하므로, 상기 CU0(11) 및 CU2(13)에 대한 예측 모드 및 예측 정보도 전송하여야 한다. 이와 같은 방법은, 해당 블록의 영상의 특징과는 관계없이 전송하여야 하는 정보들이 많기 때문에 부호화 효율을 저하시킬 수 있다. 이러한 문제점을 해결하기 위하여 본 발명의 일 실시예에 따른 코딩 블록은 정방형 코딩 블록 뿐만 아니라, 비정방형(non-square) 코딩 블록을 포함할 수 있다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 현재 블록의 비정방형 코딩 블록들의 예시를 나타내는 것이다.
도 4a 내지 도 4c에 나타난 바와 같이, 코딩 블록은 비정방형 코딩 블록을 포함할 수 있다. 또한, 각 코딩 블록마다 예측 모드와 예측 정보들은 독립적으로 결정되어 전송될 수 있다. 일 실시예에서, 상기 비정방형 코딩 블록은 가로 방향보다 세로 방향의 길이가 더 긴 세로 방향의 비정방형 코딩 블록 및 세로 방향보다 가로 방향의 길이가 더 긴 가로 방향의 비정방형 코딩 블록을 포함할 수 있다.
먼저 도 4a를 참조하면, 현재 블록을 코딩하기 위한 코딩 블록(21 내지 27)은 세로 방향의 비정방형 모양의 코딩 블록들(21, 24, 25)을 포함하는 예시를 나타낸다. 예를 들어, 세로 방향의 비정방형 코딩 블록은 16 x 32 의 크기를 갖거나(21) 8 x 32 의 크기를 가질 수 있으나(24, 25), 본 발명에서 코딩 블록의 가로 및 세로 크기 비율은 제한되지 아니한다. 일 실시예에서, 세로 방향의 비정방형 모양의 코딩 블록들은 현재 블록에 해당하는 영상이 가로 방향에 비하여 세로 방향으로 변화가 큰 경우 이용될 수 있다.
또한, 도 4b를 참조하면, 현재 블록을 코딩하기 위한 코딩 블록(31 내지 37)은 가로 방향의 비정방형 모양의 코딩 블록들(31, 34, 35)을 포함하는 예시를 나타낸다. 예를 들어, 가로 방향의 비정방형 코딩 블록은 32 x 16 의 크기를 갖거나(31) 32 x 8 의 크기를 가질 수 있으나(34, 35), 본 발명에서 코딩 블록의 가로 및 세로 크기 비율은 제한되지 아니한다. 일 실시예에서, 가로 방향의 비정방형 모양의 코딩 블록들은 현재 블록에 해당하는 영상이 세로 방향에 비하여 가로 방향으로 변화가 큰 경우 이용될 수 있다. 그러나, 이는 예시일 뿐, 현재 블록을 위하여 어느 방향의 비정방형 코딩 블록을 이용하는지 여부의 결정 방법은 본 발명에서 제한하지 아니하며, 비정방형 코딩 블록의 최대 및 최소 크기도 제한하지 아니한다. 또한, 비정방형 코딩 블록의 개수 및 가로 길이와 세로 길이와의 비율도 제한하지 아니하며, 현재 블록은 1:N 으로도 분할될 수 있다.
일 실시예에서는, 현재 코딩 블록(CU)에 대응되는 예측 블록(PU)을 별도로 설정하는 것이 아니라 현재 코딩 블록(CU)이 그대로 예측 블록(PU)으로 이용될 수 있다. 이 경우에도 코딩 블록(CU)은 일반적인 방법과 같이 정방향 블록의 모양 뿐만 아니라, 비정방향 블록일 수 있고, 상기 코딩 블록(CU)들을 포함하는 현재 블록은 1:N 분할 구조를 갖는 것도 가능하다. 또한, 다른 실시예에서는, 현재 코딩 블록(CU)이 예측 블록(PU) 및 변환 블록(TU)으로 모두 동일하게 이용될 수도 있으며, 이 경우에도 상술한 바와 같이 현재 코딩 블록을 포함하는 현재 블록이 정방형 블록들로 분할되는 구조, 비정방형 블록들로 분할되는 구조, 및 1:N 로 분할되는 구조들을 이용하여 분할될 수 있다.
도 4c를 참조하면, 코딩 트리 블록(Coding Tree Unit, CTU)은 다양한 크기의 정방형 코딩 블록(CB0 내지 CB4, CB8, CB9, CB11, CB12, CB15) 및 다양한 크기의 비정방형 코딩 블록(CB5 내지 CB7, CB10, CB13, CB14, CB17 내지 CB19)을 포함할 수 있다. 이와 같이, 정방형 코딩 블록 뿐만 아니라 비정방형 코딩 블록을 이용하여 현재 블록을 코딩함으로써, 불필요한 예측 모드 및 예측 정보의 전송을 감소시킴으로써 코딩 효율을 향상시킬 수 있다.
종래의 비디오 신호의 코딩에 있어서, 코딩 블록으로서 정방형 블록만을 이용할 뿐 아니라, 변환 블록으로서도 정방형 변환 블록만을 사용하였다. 각 코딩 블록 또는 예측 블록의 크기에 기초하는 변환 블록들은 쿼드트리 분할 구조로 재분할 될 수 있으며, 예를 들어, 하나의 변환 블록을 쿼드트리 구조로 분할하는 경우, 상기 변환 블록은 4 개의 정방형 서브 변환 블록들로 분할될 수 있다. 이러한 정방형 변환 블록들만 이용하는 종래의 코딩 방법은 코딩 블록에 해당하는 영상의 특성과 예측 모드에 따라 발생되는 잔차 신호의 특성을 고려하기 어려운 점이 있다. 따라서, 본 발명의 일 실시예에 따른 비디오 신호의 코딩 방법은 비정방형 코딩 블록 뿐 아니라, 변환 블록으로서 비정방형 변환 블록 및 비정방형 서브 변환 블록을 이용할 수 있다.
도 5a 내지 도 6c는 본 발명의 일 실시예에 따른 현재 코딩 블록을 위한 변환 블록들의 예시를 나타내는 것이다. 도 5a 및 도 5b는 N x N 크기의 정방형의 현재 코딩 블록(미도시)에 대한 초기 변환 블록의 구성의 예시이고, 도 6a 내지 도 6c는 비정방형의 현재 코딩 블록에 대한 초기 변환 블록의 구성을 나타내는 것이다.
정방형의 현재 코딩 블록에 대하여 하나 또는 다수의 변환 블록들을 이용하는 경우, 현재 코딩 블록을 구성하는 변환 블록은 정방형 변환 블록 및 비정방형 변환 블록을 포함할 수 있다. 상기 변환 블록은 변환 매트릭스를 이용하여 잔차 신호를 주파수 영역으로 변환할 수 있다.
도 5a를 참조하면, 정방형 코딩 블록은 초기 변환 블록의 구성으로서 하나의 정방형 변환 블록(41) 또는 4 개의 정방형 변환 블록들(42 내지 45)로 구성될 수 있다. 또한, 도 5b를 참조하면, 정방형 코딩 블록을 이용하는 경우에는 초기 변환 블록으로서 2 개의 비정방형 변환 블록(46 내지 48) 또는 4 개의 비정방형 변환 블록(51 내지 58)으로 구성될 수 있다. 상기 2 개의 비정방형 변환 블록은 N/2 x N 크기의 세로 방향의 비정방형 변환 블록(46, 47) 또는 N x N/2 크기의 가로 방향의 비정방형 변환 블록(48, 49)일 수 있고, 상기 4 개의 비정방형 변환 블록은 N/4 x N 크기의 세로 방향의 비정방형 변환 블록(51 내지 54) 또는 N x N/4 크기의 가로 방향의 비정방형 변환 블록(55 내지 58)일 수 있다.
이와 같이, 정방형 코딩 블록을 위한 변환 블록을 구성하는 경우, 정방형 변환 블록 뿐만 아니라, 비정방형 변환 블록으로 초기 변환 블록을 구성할 수 있다. 앞서 2 개 또는 4 개의 비정방형 변환 블록을 예시하였으나, 본 발명에서 비정방형 변환 블록의 크기 및 개수는 이에 한정되지 아니한다. 또한, 현재 코딩 블록이 화면내 예측을 수행하는 경우, 화면 내 예측 모드의 방향성에 따라 현재 코딩 블록의 변환 블록 구성을 상이하게 결정할 수 있다. 예를 들면, 현재 코딩 블록이 수직 방향의 화면 내 예측 모드를 이용하는 경우에는 현재 코딩 블록에 대한 변환 블록으로서 가로로 분할된 비정방형 변환 블록을 이용함으로써, 상단의 복호된 참조 샘플들을 이용하여 현재 변환 블록이 예측 신호를 생성할 수 있게 된다.
도 6a 내지 도 6d를 참조하는 일 실시예에 따르면, 비정방형의 현재 코딩 블록(미도시)에 대하여 하나 또는 다수의 변환 블록들을 이용하는 경우에도, 현재 코딩 블록을 구성하는 변환 블록은 정방형 변환 블록 및 비정방형 변환 블록을 포함할 수 있다.
도 6a를 참조하면, 본 발명에서 코딩 블록은 가로 길이(A)와 세로 길이(B)가 상이한 비정방형 코딩 블록(60a, 60b)일 수 있다. 이 경우, 현재 비정방형의 코딩 블록을 하나 또는 다수의 변환 블록들로 초기 구성할 때, 코딩 블록을 균등하게 분할하기 위하여 정방형 변환 블록을 이용하거나 비정방형 변환 블록을 이용할 수 있다.
도 6b를 참조하면, 비정방형 코딩 블록(60a, 60b)을 위한 초기 변환 블록 구성으로서 N 개의 a x a 크기의 정방형 변환 블록(61)이 이용될 수 있다. 이 경우, 정방형 변환 블록(61)의 가로 및 세로 길이인 a 는 비정방형 코딩 블록의 가로 및 세로 길이 중 작은 길이와 동일할 수 있다. 일 실시예에서는, 정방형 변환 블록(61)의 가로 및 세로 길이를 상위 파라미터로부터 계산하거나 기설정된 방법을 통하여 획득할 수 있다.
도 6c를 참조하면, 비정방형 코딩 블록(60a, 60b)을 위한 초기 변환 블록의 구성으로서 M (여기서 M은 정수)개의 비정방형 변환 블록(62 내지 65)이 이용될 수 있다. 상기 비정방형 변환 블록(62, 63)은 비정방형 코딩 블록(60a)와 동일한 크기일 수 있고, 또는, 비정방형 코딩 블록(60a, 60b) 보다 작은 크기의 비정방형 변환 블록(64, 65)일 수도 있다. 일 실시예에서, 비정방형 변환 블록(62, 63)의 가로 길이(a) 및 세로 길이(b)는 코딩 블록(60a, 60b)의 가로 및 세로 길이와 동일하게 설정될 수 있다. 다른 실시예에서는, 비정방형 변환 블록(64, 65)의 가로 및 세로 길이를 상위 파라미터로부터 계산하거나 기설정된 방법을 통하여 획득할 수 있다.
또한, 도 6d를 참조하면, 비정방형 코딩 블록(60a, 60b)을 위한 초기 변환 블록의 구성으로서 쿼드트리 구조의 M 개의 비정방형 또는 정방형 변환 블록(66, 67)이 이용될 수 있다. 상기 비정방형 또는 정방형 변환 블록(66, 67)은 비정방형 코딩 블록보다 작은 크기의 블록으로서 상기 비정방형 코딩 블록의 크기가 커 변환 블록 하나로 대응되지 아니하는 경우, 이용될 수 있다. 본 발명에서는 쿼드트리 구조의 변환 블록들에 대하여 설명하지만, 상기 비정방형 또는 정방형 변환 블록(66, 67)의 개수는 이에 한정되지 아니한다.
현재 코딩 블록을 구성하는 변환 블록은 더 작은 크기의 서브 변환 블록들로 분할될 수 있다. 상기 서브 변환 블록들은 각각 독립적인 변환 과정을 수행하여 변환 계수를 생성할 수 있으며, 다양한 모양 및 크기를 가질 수 있다. 또한, 상기 서브 변환 블록들로 분할되기 이전의 상위 변환 블록의 크기 및 모양에 기초하여 분할 방법을 다르게 결정할 수 있고, 상기 상위 변환 블록의 모양와 독립적으로 상이한 모양을 가질 수 있다.
도 7a 내지 도 10 은 본 발명의 일 실시예에 따른 서브 변환 블록의 예시를 나타내는 것이다. 도 7a 내지 도 7d는 변환 블록이 정방형 변환 블록인 경우 상기 변환 블록의 서브 변환 블록들의 예시를 나타낸 것이고, 도 8a 내지 도 8d는 변환 블록이 세로 방향의 비정방형 변환 블록인 경우, 서브 변환 블록들의 예시를 나타낸 것이며, 도 9a 내지 도 9d는 가로 방향의 비정방형 변환 블록에 대한 서브 변환 블록들의 예시를 나타낸 것이다. 또한, 도 10은 여러가지 서브 변환 블록들로 구성된 변환 블록을 나타낸 것이다.
도 7a 내지 도 7d를 참조하면, 현재 변환 블록이 N x N 크기의 정방형 변환 블록(70)인 경우, 정방형 변환 블록(70)은 다양한 방법으로 분할되어 서브 변환 블록(71a 내지 74d)를 생성할 수 있다. 정방형 변환 블록(70)은 정방형 쿼드트리 분할 방법을 이용하여 정방형의 4 개의 서브 변환 블록들(71a 내지 71d)로 분할될 수 있고(도 7b), 바이너리트리 분할 방법을 이용하여 세로 또는 가로 방향의 비정방형 2 개의 서브 변환 블록들(72a 내지 72d)로 분할될 수 있다(도 7c). 일 실시예서는, 비정방형 쿼드트리 분할 방법을 이용하여 세로 또는 가로 방향의 4 개의 비정방형 서브 변환 블록(73a 내지 73h)로 분할될 수 있다(도 7d). 분할되는 상기 서브 변환 블록들의 개수 및 크기는 일 예시일 뿐, 본 발명의 설명에 한정되지 아니한다.
도 8a 내지 도 8d를 참조하면, 도 8a와 같이 현재 변환 블록이 A(가로 길이) x B(세로 길이) 크기의 비정방형 변환 블록(80)인 경우, 비정방형 변환 블록(80)은 다양한 방법으로 분할되어 서브 변환 블록(81a 내지 84d)를 생성할 수 있다. 비정방형 변환 블록(80)은 정방형 쿼드트리 분할 방법을 이용하여 정방형의 4 개의 서브 변환 블록들(81a 내지 81d)로 분할될 수 있고(도 8b), 4 개 이상의 서브 변환 블록들(미도시)로 분할될 수 있다. 이 경우, 정방형 서브 변환 블록들의 가로 및 세로의 길이는 비정방형 변환 블록(80)의 가로 및 세로 길이 중 짧은 길이(도 8a에서는 A)와 동일할 수 있으나, 본 발명은 이에 한정되지 아니한다. 비정방형 변환 블록(80)의 세로 길이(B)가 가로 길이(A)의 정수 배인 경우, 비정방형 변환 블록(80)은 도 8b와 같은 정방형 분할 방법에 따라 서브 변환 블록으로 분할될 수 있다.
도 8c를 참조하면, 비정방형 변환 블록(80)은 바이너리트리 분할 방법을 이용하여 세로 또는 가로 방향의 비정방형 2 개의 서브 변환 블록들(82a 내지 82d)로 분할될 수 있다. 도 8d를 참조하면, 비정방형 쿼드트리 분할 방법을 이용하여 비정방형 변환 블록(80)은 4 개의 비정방형 서브 변환 블록(83a 내지 83d)로 분할될 수 있다. 분할되는 상기 서브 변환 블록들의 개수 및 크기는 일 예시일 뿐, 본 발명의 설명에 한정되지 아니한다.
도 9a 내지 도 9d를 참조하면, 도 9a와 같이 현재 변환 블록이 A(가로 길이) x B(세로 길이) 크기의 비정방형 변환 블록(90)인 경우, 비정방형 변환 블록(90)은 다양한 방법으로 분할되어 서브 변환 블록(91a 내지 94d)를 생성할 수 있다. 비정방형 변환 블록(90)은 정방형 쿼드트리 분할 방법을 이용하여 정방형의 4 개의 서브 변환 블록들(91a 내지 91d)로 분할될 수 있고(도 9b), 4 개 이상의 서브 변환 블록들(미도시)로 분할될 수 있다. 이 경우, 정방형 서브 변환 블록들의 가로 및 세로의 길이는 비정방형 변환 블록(90)의 가로 및 세로 길이 중 짧은 길이(도 9a에서는 B)와 동일할 수 있으나, 본 발명은 이에 한정되지 아니한다. 비정방형 변환 블록(90)의 가로 길이(A)가 세로 길이(B)의 정수 배인 경우, 비정방형 변환 블록(90)은 도 9b와 같은 정방형 분할 방법에 따라 서브 변환 블록으로 분할될 수 있다.
도 9c를 참조하면, 비정방형 변환 블록(90)은 바이너리트리 분할 방법을 이용하여 세로 또는 가로 방향의 비정방형 2 개의 서브 변환 블록들(92a 내지 92d)로 분할될 수 있다. 도 9d를 참조하면, 비정방형 쿼드트리 분할 방법을 이용하여 비정방형 변환 블록(90)은 4 개의 비정방형 서브 변환 블록(93a 내지 93d)로 분할될 수 있다. 분할되는 상기 서브 변환 블록들의 개수 및 크기는 일 예시일 뿐, 본 발명의 설명에 한정되지 아니한다.
도 10은 도 7a 내지 도 9d에 나타난 바와 같은 분할 방법을 이용하여 현재 코딩 블록을 변환한 예시를 나타낸 것이다. 도 10에 따르면, 현재 코딩 블록은 정방형 변환 블록 뿐만 아니라, 비정방형 변환 블록이 적용될 수 있고, 상기 정방형 또는 비정방형 변환 블록은 정방형 서브 변환 블록 뿐만 아니라 비정방형 서브 변환 블록으로도 분할될 수 있다. 이러한 변환 블록 적용 및 서브 변환 블록으로의 분할은 도 7a 내지 도 9d에서 도시한 바와 같은 방법 중 하나 또는 그 이상을 조합하여 적용될 수 있다. 또한, 변환 블록의 모양 및 개수 또는 서브 변환 블록의 모양 및 개수는 본 발명의 예시에 한정되지 아니함은 마찬가지이다.
일반적으로 현재 블록이 화면내 예측을 수행하는 경우, 래스터 스캔(raster scan) 방법을 이용하여 변환 블록을 복호화하며, 화면내 예측 모드의 방향에 따라 예측 신호를 생성하기 위하여 이용되는 참조 샘플들이 결정된다.
도 11은 일반적인 방법에 따른 변환 블록의 코딩 순서 및 방법을 설명하기 위한 것이다. 도 11을 참조하면, 현재 블록의 화면내 예측 모드의 방향이 2 내지 10 번인 경우, 각 변환 블록들(TU0 내지 TU3)은 언제나 상기 변환 블록의 좌측에 위치하는 참조 샘플만을 이용하여 예측 신호를 생성하게 된다. 이 경우, 변환 블록들 중 가장 먼저 예측 신호를 생성하는 제 1 변환 블록(TU0)은 변환 블록에 위치하는 제 1 참조 샘플 영역(111)을 이용하여 예측 신호를 생성하는데, 제 1 참조 샘플 영역(111)은 이용 가능한 참조 샘플 및/또는 이용 가능하지 아니한 참조 샘플들로 구성될 수 있다. 이후, 제 2 변환 블록(TU1)도 제 1 변환 블록(TU0)의 일부 픽셀들이 제 2 변환 블록(TU1)을 위한 제 2 참조 샘플 영역(112)을 구성하므로, 제 2 참조 샘플 영역(112)은 복호된 샘플들인 제 1 변환 블록(TU0)의 일부 픽셀들, 즉, 이용 가능한 참조 샘플들로 구성됨을 알 수 있다.
그 후 예측 신호를 생성하는 제 3 변환 블록(TU2)은 제 3 변환 블록(TU2)의 좌측에 위치하는 픽셀들을 참조 샘플로서 이용하기 때문에, 복호된 제 1 변환 블록(TU0) 및 제 2 변환 블록(TU1)의 픽셀들을 이용하지 아니하므로 예측을 위해 이용되는 제 3 참조 샘플 영역(113)은 이용 가능하지 아니한 참조 샘플들로 구성될 수 있다. 제 4 변환 블록(TU3)은 제 3 변환 블록(TU2)의 일부 픽셀들이 제 4 변환 블록(TU3)을 위한 제 4 참조 샘플 영역(114)을 구성하므로, 제 4 참조 샘플 영역(114)은 복호된 샘플들인 제 3 변환 블록(TU2)의 일부 픽셀들, 즉, 이용 가능한 참조 샘플들로 구성됨을 알 수 있다.
이와 같이, 종래의 코딩 순서에 따라 변환 블록으로부터 예측 신호를 생성하는 경우, 화면내 예측 모드의 방향에 따라 이용 가능하지 아니한 참조 샘플들을 이용하여 예측 신호를 생성하는 경우들이 발생할 수 있다. 따라서, 본 발명의 일실시예에 따른 비디오 신호의 코딩 방법은 현재 코딩 블록의 화면내 예측 모드의 방향에 따라 변환 블록들의 코딩 순서를 가변적으로 결정함으로써 부호화 효율을 높일 수 있다.
도 12a 내지 도 12c는 본 발명의 일 실시예에 따른 변환 블록들의 예시를 나타내는 것이다.
도 12a 내지 도 12c 를 참조하면, 본 발명의 일 실시예에 따른 변환 블록들은 동일한 크기의 4 개의 변환 블록들이 2 개의 라인으로 구성되어 있는 구조일 수 있고(도 12a), 동일한 크기의 변환 블록들이 가로 또는 세로로 나열된 구조일 수 있다(도 12b 및 도 12c). 상기 변환 블록들은 더 작은 크기의 서브 변환 블록들로 재분할될 수 있고, 재분할시 서브 변환 블록들의 구조도 도 12a 내지 도 12c에 나타난 바와 같은 구조를 가질 수 있다.
현재 블록의 화면내 예측 모드를 고려하지 아니하고 변환 블록들을 코딩하면 각 변환 블록의 예측 신호 생성시 복호되지 아니한 주변 블록들을 이용할 수 있다. 이 경우, 상기 예측 신호 생성을 위하여 이용되는 참조 샘플들은 이용 가능하지 아니한(unavailable) 샘플들일 수 있으므로, 주변의 이용 가능한 샘플값들이 복사된 상기 이용 가능하지 아니한 샘플들을 이용하게 되어 부호화 효율이 좋지 아니할 수 있다. 따라서, 본 발명에서는 변환 블록들에 대응하는 현재 블록의 화면내 예측 모드가 어떤 모드 영역에 속하는지를 고려하여 변환 블록의 코딩 순서를 가변적으로 결정하는 방법을 제안한다.
변환 블록들의 코딩 순서를 화면내 예측 모드에 따라 가변적으로 결정하기 위하여 먼저 화면내 예측 모드를 예측 방향에 따라 구분할 수 있다. 도 13은 본 발명의 일 실시예에 따른 화면내 예측 모드가 속하는 모드 영역들을 나타내는 것이다.
도 13을 참조하면, 방향성을 갖는 화면내 예측 모드들은 예측 방향에 따라 제 1 모드 영역 내지 제 3 모드 영역(131 내지 133)으로 구분할 수 있다. 도 13에 나타난 화면내 예측 모드 중 가로 방향 및 세로 방향의 화면내 예측 모드를 제외한 90˚ 내지 180˚의 각도를 갖는 화면내 예측 모드들은 제 1 모드 영역(131)을 구성하는 화면내 예측 모드일 수 있다. 제 2 모드 영역은 가로 방향의 예측 모드 및 180˚ 내지 225˚의 각도를 갖는 화면내 예측 모드일 수 있으며, 제 3 모드 영역은 세로 방향의 예측 모드 및 45˚ 내지 90˚의 각도를 갖는 화면내 예측 모드일 수 있다. 이와 같이 구분된 모드 영역에 기초하여 변환 블록들이 속하는 모드 영역에 따라 변환 블록들의 코딩 순서를 가변적으로 결정할 수 있다.
도 14a 및 도 14b는 본 발명의 일 실시예에 따른 현재 블록의 화면내 예측 모드가 제 1 모드 영역에 속하는 경우 변환 블록들의 코딩 순서를 나타내는 것이다. 제 1 모드 영역에 속하는 경우의 변환 블록들의 코딩 순서는 종래의 변환 블록들의 코딩 순서와 동일하다. 도 14a는 변환 블록들이 N x N 구조를 갖는 경우 코딩 순서를 나타나며, TB0, TB1, TB2, TB3 순으로 코딩될 수 있다. 도 14b는 변환 블록들이 세로 방향 및 가로 방향의 비정방형 변환 블록인 경우 코딩 순서를 나타내며, 좌측으로부터 우측으로, 상단으로부터 하단으로의 순서로 코딩된다. 예를 들어, TB4, TB5, TB6, TB7, TB8, TB9, 및 TB10 의 순서로 코딩될 수 있다.
도 15a 내지 도 15c 는 본 발명의 일실시예에 따른 화면내 예측 모드가 제 2 모드 영역에 속하는 변환 블록들의 코딩 순서를 나타내는 것이다. 상기 복수 개의 변환 블록들은 좌측 하단으로부터 우측 상단의 순서로 코딩될 수 있으며, N x N 구조를 갖는 변환 블록들은 도 15a 및 도 15b에 나타난 바와 같이 코딩될 수 있다. 도 15a를 참조하면, 좌측 하단에 위치하는 TB2 로부터 TB3, TB0, 및 TB1의 순서로 코딩될 수 있고, 도 15b를 참조하면 좌측 하단에 위치하는 TB2 로부터 TB0, TB3, 및 TB1의 순서로 코딩될 수 있다.
또한, 세로 및 가로 방향의 비정방형 변환 블록들은 좌측으로부터 우측으로, 하단으로부터 상단의 순서로 코딩될 수 있다. 도 15c를 참조하면, 좌측에 위치하는 TB4로부터 TB5, TB6이 코딩되고, 우측 하단에 위치하는 TB10로부터 TB9, TB8, 및 TB7 순서로 코딩될 수 있다.
도 16a 내지 도 16c 는 본 발명의 일실시예에 따른 화면내 예측 모드가 제 3 모드 영역에 속하는 변환 블록들의 코딩 순서를 나타내는 것이다. 상기 복수 개의 변환 블록들은 우측 상단으로부터 좌측 하단의 순서로 코딩될 수 있으며, N x N 구조를 갖는 변환 블록들은 도 16a 및 도 16b에 나타난 바와 같이 코딩될 수 있다. 도 16a를 참조하면, 우측 상단에 위치하는 TB1 로부터 TB0, TB3, 및 TB2의 순서로 코딩될 수 있고, 도 16b를 참조하면 우측 상단에 위치하는 TB1 로부터 TB3, TB0, 및 TB2의 순서로 코딩될 수 있다.
또한, 세로 및 가로 방향의 비정방형 변환 블록들은 우측으로부터 좌측으로, 상단으로부터 하단의 순서로 코딩될 수 있다. 도 16c를 참조하면, 우측 상단에 위치하는 TB7로부터 아래로 TB8, TB9, 및 TB10 이 차례로 코딩되고, 좌측의 세로 방향의 비정방형 변환 블록들 중 우측에 위치하는 TB6, TB5, 및 TB4 의 순서로 코딩될 수 있다.
이와 같이, 현재 블록의 화면내 예측 모드의 방향을 고려하여 구분된 모드 영역 및 변환 블록의 모양을 고려하여 가변적으로 변환 블록의 코딩 순서를 결정함으로써, 각 변환 블록이 복호화된 주변 블록의 이용 가능한 참조 샘플들을 이용하여 예측 신호를 생성할 수 있으므로 부호화 효율이 향상될 수 있다.
일 실시예에서, 변환 블록들이 앞서 설명한 도 12a 내지 도 12c와 같은 유형의 구조를 갖는 경우, 상기 변환 블록들에 해당하는 현재 코딩 블록의 화면내 예측 모드가 속하는 모드 영역에 따라 결정되는 변환 블록들의 코딩 순서는 하기 표 1과 같다.
변환 블록 구조 유형 화면 내 예측 모드 영역
영역 1 영역 2 영역 3
유형 1(도 12a) TB0->TB1->TB2->TB3 TB2->TB3->TB0->TB1 TB1->TB0->TB3->TB2
유형 2(도 12b) TB0->TB1->…->TBN TB0->TB1->…->TBN TBN->…->TB1->TB1
유형 3(도 12c) TB0->TB1->…->TBN TBN->…->TB1->TB1 TB0->TB1->…->TBN
도 17a 내지 도 17c는 표 1에 기재된 변환 블록의 코딩 순서를 이용하여 현재 블록을 구성하고 있는 정방형 및 비정방형 변환 블록들의 코딩 순서를 나타내는 예시이다. 도 17a는 현재 블록의 화면내 예측 모드가 제 1 모드 영역에 속하는 경우의 현재 블록에 대한 변환 블록들의 코딩 순서를 나타내는 것이고, 도 17b는 현재 블록의 화면내 예측 모드가 제 2 모드 영역에 속하는 경우 현재 블록에 대한 변환 블록들의 코딩 순서를 나타내는 것이며, 도 17c는 현재 블록의 화면내 예측 모드가 제 3 모드 영역에 속하는 경우 현재 블록에 대한 변환 블록들의 코딩 순서를 나타내는 것이다.
도 17a를 참조하면, 현재 블록의 화면내 예측 모드가 제 1 모드 영역에 속하는 경우에는 변환 블록의 모양에 관계없이 변환 블록들은 일반적인 코딩 순서와 마찬가지로 좌측 상단으로부터 우측 하단의 순서로 코딩될 수 있다. 또한, 현재 블록의 화면내 예측 모드가 제 2 모드 영역에 속하는 경우에는 변환 블록이 예측 신호 생성시 좌측 하단 블록에 속하는 참조 샘플들을 이용하므로, 좌측 하단으로부터 우측 상단의 순서로 변환 블록을 코딩하는 것이 부호화 효율을 향상시킬 수 있다. 도 17b를 참조하면, 현재 블록은 좌측 하단으로부터 우측 상단의 순서로 코딩함에 있어서, 좌측 하단, 우측 하단, 좌측 상단, 및 우측 상단의 순서로 코딩하는 방법을 선택할 수 있다.
현재 블록의 화면내 예측 모드가 제 3 모드 영역에 속하는 경우에는 변환 블록이 예측 신호 생성시 우측 상단에 속하는 참조 샘플들을 이용하므로 우측 상단으로부터 좌측 하단의 순서로 변환 블록을 코딩하는 것이 부호화 효율을 향상시킬 수 있다. 도 17c를 참조하면, 이 중 우측 상단, 좌측 상단, 우측 하단, 및 좌측 하단의 순서로 코딩하는 방법을 선택할 수 있다.
다른 실시예에서는, 화면내 예측 모드를 고려하는 변환 블록의 코딩 순서를 하기 표 2와 같이 결정할 수 있다.
변환 블록 구조 유형 화면 내 예측 모드 영역
제 1 모드 영역 제 2 모드 영역 제 3 모드 영역
유형 1(도 12a) TB0->TB1->TB2->TB3 TB2->TB0->TB3->TB1 TB1->TB0->TB3->TB2
유형 2(도 12b) TB0->TB1->…->TBN TB0->TB1->…->TBN TBN->…->TB1->TB1
유형 3(도 12c) TB0->TB1->…->TBN TBN->…->TB1->TB1 TB0->TB1->…->TBN
도 18a 내지 도 18c는 표 2에 기재된 변환 블록의 코딩 순서를 이용하여 현재 블록을 구성하고 있는 정방형 및 비정방형 변환 블록들의 코딩 순서를 나타내는 예시이다. 도 18a는 현재 블록의 화면내 예측 모드가 제 1 모드 영역에 속하는 경우의 현재 블록에 대한 변환 블록들의 코딩 순서를 나타내는 것이고, 도 18b는 현재 블록의 화면내 예측 모드가 제 2 모드 영역인 경우 현재 블록에 대한 변환 블록들의 코딩 순서를 나타내는 것이며, 도 18c는 현재 블록의 화면내 예측 모드가 제 3 모드 영역인 경우 현재 블록에 대한 변환 블록들의 코딩 순서를 나타내는 것이다.
도 18a를 참조하면, 현재 블록의 화면내 예측 모드가 제 1 모드 영역에 속하는 경우에는 변환 블록의 모양에 관계없이 변환 블록들은 일반적인 코딩 순서와 마찬가지로 좌측 상단으로부터 우측 하단의 순서로 코딩될 수 있다. 또한, 현재 블록의 화면내 예측 모드가 제 2 모드 영역에 속하는 경우에는 변환 블록이 예측 신호 생성시 좌측 하단 블록에 속하는 참조 샘플들을 이용하므로 좌측 하단으로부터 우측 상단의 순서로 변환 블록을 코딩하는 것이 부호화 효율을 향상시킬 수 있다. 도 18b를 참조하면, 현재 블록은 좌측 하단으로부터 우측 상단의 순서로 코딩함에 있어서, 좌측 하단, 좌측 상단, 우측 하단, 및 우측 상단의 순서로 코딩하는 방법을 선택할 수 있다.
현재 블록의 화면내 예측 모드가 제 3 모드 영역에 속하는 경우에는 변환 블록이 예측 신호 생성시 우측 상단에 속하는 참조 샘플들을 이용하므로 우측 상단으로부터 좌측 하단의 순서로 변환 블록을 코딩하는 것이 부호화 효율을 향상시킬 수 있다. 도 18c를 참조하면, 이 중 우측 상단, 우측 하단, 좌측 상단, 및 좌측 하단의 순서로 코딩하는 방법을 선택할 수 있다.
이러한 모드 영역에 따른 변환 블록들의 코딩 순서는 상기 예시에 한정되는 것이 아니라, 상기 예시들의 조합으로 결정되는 것도 가능하다.
도 19a 내지 도 19c는 도 17a 내지 도 18c를 참조하여 설명한 모드 영역별 변환 블록들의 코딩 순서를 교차적으로 선택한 경우 변환 블록들의 코딩 순서를 나타낸 것이다.
도 19a는 현재 블록의 화면내 예측 모드가 제 1 모드 영역에 속하는 경우의 현재 블록에 대한 변환 블록들의 코딩 순서를 나타내는 것이고, 도 19b는 현재 블록의 화면내 예측 모드가 제 2 모드 영역인 경우 현재 블록에 대한 변환 블록들의 코딩 순서를 나타내는 것이며, 도 19c는 현재 블록의 화면내 예측 모드가 제 3 모드 영역인 경우 현재 블록에 대한 변환 블록들의 코딩 순서를 나타내는 것이다.
제 1 모드 영역인 경우 변환 블록들의 코딩 순서는 도 17a 및 도 18a를 참조하여 설명한 바와 같이 좌측 상단으로부터 우측 하단으로 결정될 수 있다. 제 2 모드 영역인 경우, 도 19b를 참조하면, 도 17b를 참조하여 결정된 코딩 순서에 따라 좌측 하단, 우측 하단, 좌측 상단, 및 우측 상단의 순서로 변환 블록들을 코딩할 수 있고, 도 19c를 참조하면, 현재 블록의 화면내 예측 모드가 제 3 모드 영역인 경우 도 18c를 참조하여 설명한 코딩 순서에 따라 우측 상단, 우측 하단, 좌측 상단, 및 좌측 하단의 순서로 변환 블록들을 코딩할 수 있다. 다른 실시예에서는, 제 2 모드 영역 및 제 3 모드 영역의 코딩 순서를 도 18b 및 도 17c를 참조하여 설명한 코딩 순서로 결정할 수도 있다. 이와 같이, 현재 블록에 대한 변환 블록들은 상기 현재 블록의 화면내 예측 모드에 따라 결정되는 다양한 코딩 순서의 조합을 이용하여 예측 신호를 생성함으로써, 부호화 효율을 향상시킬 수 있게 된다.
도 20 및 도 21는 일반적인 방법에 따른 변환 블록의 구조 및 16x16 변환 블록을 구성하기 위한 변환 계수 그룹을 설명하기 위한 것이다.
도 20을 참조하면, 하나의 코딩 블록(CB)은 복수 개의 변환 블록들(TB0, TB1,...,TB12)을 포함할 수 있다. 상기 복수 개의 변환 블록들은 다양한 모양 및/또는 크기를 갖는 변환 블록들을 포함할 수 있다. 상기 변환 블록은 정방형 모양의 블록 및 비정방형 모양의 블록을 포함할 수 있고, 상기 변환 블록은 정방형 쿼드 트리(square quad tree) 구조, 비정방형 쿼드 트리(non-square quad tree) 구조, 또는 바이너리 트리(binary tree) 구조로 갖는 블록들 중 하나일 수 있다.
도 21을 참조하면, 변환 블록(210)은 적어도 하나 이상의 변환 계수 그룹(CG0,CG1,...,CG15)을 포함할 수 있다. 예를 들어, 변환 블록(210)이 16x16 크기의 블록이고, 상기 변환 블록에 포함되는 변환 계수 그룹의 크기는 4x4 일 수 있다. 즉, 16x16 크기의 변환 블록은 16 개의 4x4 크기의 변환 계수 그룹을 포함할 수 있으며, 상기 변환 계수 그룹의 인덱스는 도 21에 나타낸 바와 같은 변환 계수 스캔 순서를 따를 수 있다.
도 22는 일반적인 방법에 따른 변환 계수 그룹 및 상기 변환 계수 그룹의 변환 스캔 방법을 설명하기 위한 것이다.
도 22를 참조하면, 일반적으로는 변환 블록(220)의 변환 계수 그룹 스캔 순서는 변환 계수의 스캔 순서와 동일할 수 있다. 예를 들면, 변환 블록(220)이 8x8 크기이고, 변환 계수 그룹의 크기가 4x4 크기의 블록이며, 변환 블록(20)에 대하여 업-라이트 다이아고날(Up-right diagonal) 스캔 방법을 사용하는 경우, 변환 계수 그룹은 변환 계수와 동일한 스캔 방법을 적용한다. 도 22에서 나타낸 바와 같이, 변환 블록(220)의 우측 하단의 변환 계수 그룹인 CG3에 포함된 변환 계수 15 부터 0까지 업-라이트 다이아고날 방법으로 변환 계수를 스캔하고, 이후 우측 상단의 변환 계수 그룹인 CG2에 대하여 동일한 방법으로 변환 계수를 스캔한 후, 좌측 하단의 변환 계수 그룹 CG1, 좌측 상단의 변환 계수 그룹 CG0의 순서로 상기 변환 계수 그룹에 포함된 변환 계수들을 동일한 방법으로 스캔할 수 있다.
도 23a 내지 도 23d는 일반적인 방법에 따른 변환 계수 그룹 및 상기 변환 계수 그룹의 스캔 방법의 다양한 예를 설명하기 위한 것이다. 도 23a 내지 도 23c는 화면내 예측 모드에서의 변환 계수 그룹의 스캔 방법을 나타내며, 도 23d는 화면간 예측 모드에서 변환 계수 그룹의 스캔 방법을 나타낸다.
도 23a 내지 도 23c를 참조하면, 화면내 예측의 경우 우측 하단으로부터 좌측 상단 순서로 스캔하는 업-라이트 다이아고날 스캔(Up-right diagonal scan, 도 23a), 우측으로부터 좌측으로, 하단으로부터 상단의 방향으로 스캔하는 호리젠탈 스캔(Horizontal scan, 도 23b), 및 하단으로부터 상단으로, 우측으로부터 좌측의 방향으로 스캔하는 버티칼 스캔(Vertical scan, 도 23c) 방법들을 이용할 수 있다. 도 23d를 참조하면, 화면간 예측의 경우는 업-라이트 다이아고날 스캔 방법만을 이용할 수 있다.
일 실시예에서, 화면내 예측에서의 변환 계수 그룹의 스캔 방법은 화면내 예측 모드에 따라 결정될 수 있다. 예를 들어, 화면내 예측 모드가 가로 방향으로의 예측인 화면내 예측 모드 인덱스 6 내지 14인 경우는 버티컬 스캔 방법을 이용하여 변환 계수 그룹이 스캔될 수 있고, 화면내 예측 모드가 세로 방향의 예측인 인덱스 22 내지 30인 경우에는 호리젠탈 스캔 방법이 이용되며, 나머지 화면내 예측 모드에 대해서는 업-라이트 다이아고날 스캔 방법이 이용될 수 있다.
최근까지의 비디오 코딩에서는 변환 블록으로 항상 정방향 변환 블록을 고려하고 있다. 그러므로, 변환 계수 그룹 및 상기 변환 계수 그룹 내의 변환 계수의 스캔 방법으로도 정방향 변환 블록에 적합하도록 설계되어왔다. 그러나, 변환 블록을 비정방형 변환 블록을 이용하는 경우에는 기존의 변환 계수 그룹 및 변환 계수의 스캔 방법을 적용하는 경우 코딩 효율이 저하될 수 있다. 따라서, 이하 도 24a 내지 도 30d에서는 본 발명의 일 실시예에 따른 코딩 효율을 개선할 수 있는 변환 계수 그룹을 스캔하는 방법에 대하여 설명하기로 한다.
도 24a 및 도 24b는 본 발명의 일 실시예에 따른 변환 블록에 일반적인 스캔 방법을 적용한 예를 설명하기 위한 것이다.
도 24a를 참조하면, 현재 변환 블록 TB1 (230a)이 비정방형 블록이고, 8x16 의 크기를 갖는 경우에 변환 계수 그룹 및 변환 계수를 스캔하는 방법으로 기존의 방법을 적용하면 3 가지 스캔 방법 중 선택될 수 있다. 예를 들면, 현재 변환 블록(230a)에 기존의 3 가지 스캔 방법을 적용하여 변환 계수 그룹을 스캔하는 도시한 예 중에 좌측으로부터 업-라이트 스캔 방법, 버티컬 스캔 방법, 및 호리젠탈 스캔 방법을 적용하여 변환 계수 그룹을 스캔할 수 있다.
도 24b를 참조하면, 현재 변환 블록 TB2 (230b)가 비정방형 블록이고, 16x8 의 크기를 갖는 경우에 변환 계수 그룹 및 변환 계수를 스캔하는 방법으로 기존의 방법을 적용하면 3 가지 스캔 방법 중 선택될 수 있다. 예를 들면, 현재 변환 블록(230a)에 기존의 3 가지 스캔 방법을 적용하여 변환 계수 그룹을 스캔하는 도시한 예 중에 좌측으로부터 업-라이트 스캔 방법, 버티컬 스캔 방법, 및 호리젠탈 스캔 방법을 적용하여 변환 계수 그룹을 스캔할 수 있다.
도 25는 16x8 변환 블록의 변환 계수에 대하여 일반적인 스캔 방법을 적용한 예를 설명하기 위한 것이다.
도 25를 참조하면, 현재 변환 블록 TB2(230b)에 호리젠탈 스캔 방법을 적용하는 경우 변환 계수 및 변환 계수 그룹은 동일한 스캔 방법인 호리젠탈 방식이 적용될 수 있다. 예를 들면, 복수 개의 변환 계수를 포함하는 복수 개의 변환 계수 그룹은 각 변환 계수 그룹 단위로 스캔될 수 있다. 변환 블록 중 가장 우측 하단에 있는 변환 계수 그룹에 포함된 변환 계수들을 호리젠탈 방식으로 스캔한 후, 상기 가장 우측 하단에 있는 변환 계수 그룹의 좌측에 위치하는 변환 계수 그룹에 포함된 변환 계수들을 호리젠탈 방식으로 스캔할 수 있다. 이후 동일한 방식으로 상기 변환 계수 그룹 단위에서도 호리젠탈 방식으로 스캔될 수 있다.
이러한 변환 과정을 통하여 레지듀얼 신호의 대부분의 에너지는 좌측 상단의 DC 영역으로 모일 수 있다. 그러므로, 엔트로피 코딩의 효율을 위하여는 저주파 영역의 변환 계수 및/또는 변환 계수 그룹들이 작은 값의 스캔 순서를 나타내는 인덱스를 갖는 것이 효율적일 수 있다. 그러나, 비정방형 변환 블록에 대하여 도 25a 내지 도 26에서 나타난 바와 같은 일반적인 변환 계수 그룹의 스캔 순서를 적용하는 경우 저주파 영역의 변환 계수 그룹 이전에 고주파 영역의 변환 계수 그룹이 먼저 코딩될 수 있으므로 코딩 효율이 떨어질 수 있다.
그러므로, 본 발명의 일 실시예에 따른 변환 스캔 계수의 스캔 방법은 변환 블록을 복수 개의 변환 스캔 계수를 포함하는 상위 영역인 변환 영역으로 분할하고, 상기 분할된 변환 영역별로 변환 스캔 계수를 스캔하는 방법을 포함할 수 있다.
도 26 및 도 27은 본 발명의 일 실시예에 따른 변환 계수 그룹을 스캔하는 방법을 나타내는 순서도 및 장치를 나타내는 것이다.
도 26 및 도 27을 참조하면, 변환부는 변환 계수 그룹을 스캔하기 위하여 변환 영역 정보 획득부(240)에서 변환 블록에 포함되는 복수 개의 변환 계수 그룹을 적어도 하나 이상의 구획으로 분할하는 변환 영역을 나타내는 변환 영역 정보를 획득할 수 있다(S10). 상기 변환 블록은 다양한 크기 및/또는 모양을 가질 수 있다. 일 실시예에서, 상기 변환 블록은 비정방형 모양의 변환 블록일 수 있다.
상기 변환 영역 정보는 상기 변환 블록을 적어도 하나 이상의 영역으로 분할할 수 있으며, 각 변환 영역은 복수 개의 변환 계수 그룹을 포함할 수 있다. 상기 변환 계수 그룹은 복수 개의 변환 계수들을 포함하는 것은 물론이다. 또한, 상기 변환 영역 정보는 인코더로부터 수신되는 정보일 수 있다. 예를 들면, 상기 변환 영역 정보는 시퀀스 파라미터 셋(SPS) 및 슬라이스 헤더 중 적어도 하나 이상으로부터 획득될 수 있으며, 본 발명은 이에 한정되지는 아니하고 어떠한 형태로 어떠한 레벨의 신택스에 포함되어 있는지를 한정하지 아니하고 인코더로부터 수신된 정보이면 무방하다
일 실시예에서, 상기 변환 영역 정보는 복호화 장치에서 기결정된 방법으로 획득될 수 있다. 예를 들면, 상기 변환 영역 정보는 변환 블록의 가로 길이 및 세로 길이를 바탕으로 변환 영역의 가로 길이 및 세로 길이를 산출하여 변환 영역의 크기 및 개수를 결정함으로써 획득될 수 있다. 또는, 상기 변환 영역 정보는 변환 블록의 가로 및 세로 길이 중 작은 길이를 변환 계수 그룹의 블록 크기로 나눔으로써 변환 영역의 크기 및 개수를 결정할 수도 있다. 이러한 상기 변환 영역 정보가 나타내는 변환 영역의 가로 및 세로의 길이, 모양, 및 개수는 복호화 장치에서 결정된 방법을 따를 수 있으며, 상술한 예에 한정되지 아니한다.
이후, 변환 계수 그룹 스캔부(250)는 상기 변환 영역 정보에 기초하여 분할된 적어도 하나 이상의 변환 영역 내의 복수 개의 변환 계수 그룹을 스캔할 수 있다. 변환 계수 그룹 스캔부(250)는 분할된 변환 영역들의 변환 계수 그룹들을 스캔하기 위하여, 제 1 변환 영역 스캔부(251) 및 제 2 변환 영역 스캔부(252)를 포함할 수 있다. 상기 변환 영역 스캔부는 제 1 변환 영역 스캔부(251) 및 제 2 변환 영역 스캔부(252)에 한정되지 아니하며, 상기 변환 블록이 분할된 변환 영역의 개수에 대응하여 포함될 수 있다.
먼저, 제 1 변환 영역 스캔부(251)는 상기 변환 영역 정보에 기초하여 분할된 복수 개의 변환 영역 중 제 1 변환 영역에 포함되는 복수 개의 변환 계수 그룹들을 스캔할 수 있다(S20). 이후, 제 2 변환 영역 스캔부(252)가 제 2 변환 영역에 포함되는 복수 개의 변환 계수 그룹들을 스캔할 수 있다. 만일 변환 영역 스캔부가 세 개 이상 포함되는 경우에는, 차례로 변환 영역에 포함되는 변환 계수 그룹들을 스캔한다 할 것이다.
일 실시예에서, 제 1 변환 영역 스캔부(251)는 제 2 변환 영역 스캔부(252)보다 저주파 영역의 변환 계수 그룹들을 포함할 수 있다. 이와 같이, 본 발명의 변환 계수 그룹들의 스캔 방법은 저주파 영역의 변환 계수 그룹들이 고주파 영역의 변환 계수 그룹들보다 먼저 스캔되도록 스캔 오더가 결정됨으로써, 고주파 영역의 변환 계수 그룹이 먼저 코딩되어 전송되고, 저주파 영역의 변환 계수 그룹들이 큰 값의 스캔 오더 인덱스를 갖아 코딩 효율을 저해시키는 단점을 해소할 수 있게 된다.
또한, 일 실시예에서는 변환 영역 정보를 획득하기 이전에 상기 변환 블록이 비정방형 블록인지 여부를 먼저 판단할 수 있다. 고주파 영역에 해당하는 변환 계수 그룹이 저주파 영역에 해당하는 변환 계수 그룹이 비하여 먼저 스캔되어 코딩 효율을 저해시키는 것은, 변환 블록이 비정방형 블록인 경우 빈번하게 발생할 수 있다. 그러므로, 변환 영역 정보를 획득하기 이전에 현재 변환 블록이 비정방형 블록인지 여부를 먼저 판단할 수 있다.
일 실시예에서, 상기 변환 블록이 비정방형 블록인지 판단하기 위하여 다양한 방법을 채택할 수 있다. 예를 들면, 상기 변환 블록의 가로 길이 및 세로 길이를 비교함으로써 상기 변환 블록이 비정방형 블록인지 판단할 수 있다. 또는, 상기 변환 블록의 크기 및 모양에 대한 정보를 부호화 장치로부터 수신하거나 복호화 장치에서 기획득된 상기 변환 블록의 분할 정보, 방향 정보, α, β및 픽셀 정보 중 어느 하나 이상을 기초로 하여 판단될 수 있다.
또한, 상기 변환 블록의 타입을 나타내는 변환 블록 타입 정보에 기초하여 판단될 수도 있다. 상기 변환 블록 타입 정보는 부호화 장치로부터 수신될 수도 있으나, 복호화 장치에서 상기 변환 블록의 분할 정보, 방향 정보, 픽셀 정보, 및 가로 길이와 세로 길이 정보 중 어느 하나 이상을 기초로 하여 산출될 수도 있다. 이와 같은 방법으로 상기 변환 블록이 비정방형 블록으로 판단되는 경우, 도 26 및 도 27을 참조하여 상술한 방법으로 변환 블록의 변환 영역별로 상기 변환 영역에 포함된 변환 계수 그룹을 스캔할 수 있다.
도 28a 및 도 28b는 본 발명의 일 실시예에 따른 비정방형 변환 블록을 위한 변환 계수 그룹을 스캔하는 방법을 설명하기 위한 것이다.
도 28a를 참조하면, 본 발명의 비정방형 변환 블록(260a, 260b)은 가로 길이(A) 및 세로 길이(B)를 가질 수 있다. AxB 크기를 갖는 비정방형 변환 블록(260a, 260b)은 복수 개의 변환 계수 그룹을 포함하며, αxβ 크기의 변환 블록 영역으로 분할될 수 있다. 상기 α 및 β는 변환 블록에 포함되는 변환 계수 그룹의 수를 나타낸다. 즉, αxβ 크기의 영역은 가로 방향에 대하여 α 개의 변환 계수 그룹이 있고, 세로 방향에 대하여 β 개의 변환 계수 그룹이 있는 영역을 나타낼 수 있다. 일 실시예에서, 변환 영역 정보는 상기 α 및 β에 대한 정보를 포함할 수 있다. 또한, 변환 영역 정보는 변환 영역의 가로 및 세로 크기를 나타내는 정보를 포함할 수 있다. 예를 들면, 비정방형 변환 블록(260a)이 8x16 의 크기를 갖는 경우, 변환 영역의 구조를 나타내는 αxβ 는 2x2 이고, 변환 블록(260a)을 분할하는 변환 영역의 크기는 8x8 일 수 있다.
이러한 변환 영역 정보는 상위 파라미터나 이전의 복호화 과정에서 산출될 수 있고, 간단하게는, 비정방형 변환 블록의 가로 및 세로 길이 중 작은 길이를 변환 계수 블록의 크기로 나눈 수로부터 산출될 수 있다. 그러나, 본 발명에서 변환 영역 정보를 획득하는 방법은 이에 제한되지 아니한다.
도 28b를 참조하면, 복수 개의 변환 영역으로 분할된 변환 블록(260a, 260b)은, 각 변환 영역마다 상위 파라미터 또는 상위 과정으로부터 결정된 스캔 방법을 적용하여 변환 계수 그룹을 스캔할 수 있다. 예를 들어, 16x8의 크기를 갖는 변환 블록(260b)가 8x8 의 크기를 갖는 변환 영역(αxβ = 2x2)으로 분할되고, 업-라이트 스캔 방법으로 변환 영역 및 변환 계수 그룹이 스캔되는 경우, CG Region 1 내의 변환 계수 그룹이 먼저 업-라이트 스캔 방법으로 스캔되고, 이후 CG Region 0 내의 변환 계수 그룹이 업-라이트 스캔 방법으로 스캔될 수 있다.
도 29a 내지 도 30d는 본 발명의 일 실시예에 따른 비정방형 변환 블록을 위한 변환 계수 그룹을 스캔하는 다양한 방법을 설명하기 위한 것이다.
도 29a 내지 도 30d를 참조하면, 변환 블록(270)이 변환 블록의 작은 변 길이를 갖는 변환 영역으로 분할된 경우의 변환 계수 그룹은 다양한 방법으로 스캔될 수 있다. 도 29a에서 나타난 바와 같이, 변환 블록(270)이 16x32 의 크기를 갖는 경우, 각각의 변환 영역 CG Region 0, CG Region 1 (271, 272)은 16x16 의 크기를 가질 수 있다. 여기서 가로 및 세로 방향으로의 변환 계수 그룹(CG)의 개수를 나타내는 α 및 β는 α=β=4 일 수 있다.
일 실시예에서, 변환 블록(270)은 변환 영역별로 각각의 변환 영역에 포함된 변환 계수 그룹을 차례로 스캔할 수 있다. 예를 들면, 도 29b에 나타난 바와 같이, 변환 블록(270)이 업-라이트 스캔 방법으로 스캔되는 경우에는 하단의 제 2 변환 영역(CG Region 1)에 포함된 제 32 변환 계수 그룹(CG 31)으로부터 제 17 변환 계수 그룹(CG 16)이 차례로 스캔되고, 이후 제 1 변환 영역(CG Region 0)에 포함된 제 16 변환 계수 그룹(CG 15)으로부터 제 1 변환 계수 그룹(CG 0)이 차례로 스캔될 수 있다. 또한, 변환 블록이 두 개의 변환 영역으로 분할되고, 버티컬 스캔 방법 및 호리젠탈 스캔 방법을 상기 변환 블록에 적용하는 경우는 도 29c 및 도 29d에 나타난 것과 동일하다.
도 30a 내지 도 30d를 참조하면, 변환 블록(280)이 변환 블록(280)의 작은 변 길이를 갖는 변환 영역으로 분할된 경우의 변환 계수 그룹은 다양한 방법으로 스캔될 수 있다. 도 30a에서 나타난 바와 같이, 변환 블록(280)이 32x16 의 크기를 갖는 경우, 각각의 변환 영역 CG Region 0, CG Region 1 (281, 282)은 16x16 의 크기를 가질 수 있다. 여기서 가로 및 세로 방향으로의 변환 계수 그룹(CG)의 개수를 나타내는 α 및 β는 α=β=4 일 수 있다.
일 실시예에서, 변환 블록(280)은 변환 영역별로 각각의 변환 영역에 포함된 변환 계수 그룹을 차례로 스캔할 수 있다. 예를 들면, 도 30b에 나타난 바와 같이, 변환 블록(280)이 업-라이트 스캔 방법으로 스캔되는 경우에는 우측의 제 2 변환 영역(282)에 포함된 제 32 변환 계수 그룹(CG 31)으로부터 제 17 변환 계수 그룹(CG 16)이 업라이트 방식에 따라 차례로 스캔되고, 이후 제 1 변환 영역(CG Region 0)에 포함된 제 16 변환 계수 그룹(CG 15)으로부터 제 1 변환 계수 그룹(CG 0)이 차례로 스캔될 수 있다. 또한, 도 30c에 나타난 바와 같이, 변환 블록(280)이 버티컬 스캔 방법으로 스캔되는 경우에는 우측의 제 2 변환 영역(282)에 포함된 제 32 변환 계수 그룹(CG 31)으로부터 제 17 변환 계수 그룹(CG 16)이 버티컬 방식에 따라 차례로 스캔되고, 이후 제 1 변환 영역(CG Region 0)에 포함된 제 16 변환 계수 그룹(CG 15)으로부터 제 1 변환 계수 그룹(CG 0)이 차례로 스캔될 수 있다. 변환 블록이 두 개의 변환 영역으로 분할되고, 호리젠탈 스캔 방법을 상기 변환 블록에 적용하는 경우는 도 30d에 나타난 것과 동일하다.
이와 같이 변환 블록을 복수 개의 변환 계수 그룹을 포함하는 적어도 하나 이상의 변환 영역으로 분할하고 상기 변환 영역별로 스캔하는 방법에 따르면, 저주파 영역의 변환 계수 그룹을 고주파 영역의 변환 계수 그룹보다 먼저 스캔하여 전송하게 되므로 코딩 효율을 높일 수 있다.
도 31은 일반적인 방법에 따른 현재 블록의 예측 모션 벡터 후보자(MVP candidate)를 획득하는 위치를 설명하기 위한 것이다.
도 31을 참조하면, 예측 모션 벡터 리스트(MVP list)를 구성하기 위하여 현재 블록은 공간적 이웃 블록(A0, A1, B0, B1)의 모션 정보와 시간적 이웃 블록(T0, T1)의 모션 정보를 이용할 수 있다. 공간적 이웃 블록의 모션 정보는 현재 블록의 좌측에 위치하는 주변 블록들 중 1 개의 모션 정보 및 현재 블록의 상측에 위치하는 주변 블록들 중 1 개의 모션 정보를 이용하여 결정될 수 있다. 또한, 시간적 이웃 블록의 모션 정보는 현재 블록의 우측 하단에 위치하는 주변 블록의 모션 정보 또는 현재 블록이 참조하려는 참조 영상의 내부에 현재 블록과 동일한 위치에 있는 블록의 모션 정보를 이용하여 결정될 수 있다.
공간적 이웃 블록의 모션 정보는 현재 블록의 좌측에 위치하는 주변 블록들에 대하여 A0-> A1-> 스케일링된 A0-> 스케일링된 A1 의 순서로 스캔하면서 모션 정보를 탐색할 수 있다. 이후, 현재 블록의 상측에 위치하는 주변 블록들에 대하여 B0-> B1-> B2 순서로 스캔하면서 모션 정보를 탐색한다. 일 실시예에서, 현재 블록이 A0 및 A1 블록을 스캔하였으나 상기 현재 블록이 참조하려는 참조 영상과 AO 및 A1 블록의 모션 정보가 참조하는 참조 영상이 다른 경우, 현재 블록이 참조하려는 참조 영상에 맞도록 스케일링된 AO 및 A1 블록의 모션 정보를 이용할 수 있다.
시간적 이웃 블록의 모션 정보는 T0 및 T1의 순서로 스캔하며, 이 경우에도 시간적 이웃 블록의 모션 벡터는 현재 블록이 참조하는 영상으로 스케일링하여 이용될 수 있다.
일 실시예에서, AMVP(Advanced Motion Vector Prediction)는 2 개의 예측 모션 벡터를 사용할 수 있다. 먼저 공간적 이웃 블록의 모션 정보를 스캔하여 예측 모션 벡터 리스트(AMVP list)에 입력하고 이 과정에서 리스트가 다 채워지지 않는 경우에는 시간적 이웃 블록의 모션 정보를 스캔하여 리스트를 채울 수 있다. 만일 이웃 블록의 모션 정보 스캔시 동일한 모션 정보가 예측 모션 벡터 리스트에 입력되는 경우에는, 중복되는 모션 정보는 삭제된다. 이러한 과정을 통하여 시간적 및 공간적 이웃 블록의 모션 정보 스캔이 끝났음에도 불구하고 예측 모션 벡터 리스트를 다 채우지 못하는 경우에는 채워지지 아니한 리스트에 (0,0)을 채워서 예측 모션 벡터 리스트를 완성할 수 있다.
도 32 내지 도 33b는 일반적인 방법에 따른 현재 블록의 예측 모션 벡터 리스트를 구성하는 방법을 설명하기 위한 것이다.
도 32를 참조하면, 현재 블록(CB)이 양방향 예측을 수행하는 경우 제 1 방향에 대한 참조 픽쳐(301)로부터 모션 벡터를 획득할 수 있고, 제 2 방향에 대한 참조 픽쳐(302)로부터 모션 벡터를 획득할 수 있다. 도 32의 하단에 나타난 바와 같이, 현재 블록의 화면간 예측을 위한 예측 모션 벡터 리스트(AMVP list)는 각 방향마다 적어도 하나 이상의 예측 모션 벡터 후보자(MVP candidate)를 포함하여 구성될 수 있다. 이후, 상기 예측 모션 벡터 리스트에 있는 예측 모션 벡터 후보자 중 선택된 하나의 예측 모션 벡터와 현재 블록의 모션 벡터 사이의 차분값을 계산하여 차분 모션 벡터를 획득하여 이를 부호화할 수 있다.
일 실시예에서, 상기 선택된 하나의 예측 모션 벡터는 상기 예측 모션 벡터 리스트에 포함된 예측 모션 벡터 후보자들 가운데 가장 부호화 효율이 높은 것이 선택될 수 있다. 상기 선택된 예측 모션 벡터는 이를 나타내는 인덱스 정보의 형태로 부호화되어 상기 차분 모션 벡터와 함께 전송될 수 있다.
도 33a 는 현재 블록(310)이 참조하는 양 방향의 참조 영상(320a, 330a)이 동일한 경우의 일반적인 방법에 따른 현재 블록의 예측 모션 벡터 리스트를 구성하는 방법을 설명하는 것이고, 도 33b는 현재 블록(310)이 참조하는 양 방향의 참조 영상(320b, 330b)이 상이한 경우 일반적인 방법에 따른 현재 블록의 예측 모션 벡터 리스트를 구성하는 방법을 설명하는 것이다.
도 33a를 참조하면, 현재 블록(310)이 화면간 예측을 위하여 제 1 방향으로 참조하는 참조 영상(320a)과 제 2 방향으로 참조하는 참조 영상(330a)은 POC 8로 동일할 수 있다. 이와 같이, 현재 블록(310)이 참조하는 양 방향의 참조 영상(320a, 330a)이 동일한 경우, 현재 블록(310)의 제 1 방향(L0)에 대한 모션 벡터인 MVL0와 제 2 방향(L1)에 대한 모션 벡터인 MVL1은 매우 유사할 수 있다. 그러나, 일반적인 방법에 따른 현재 블록의 예측 모션 벡터 리스트는 이를 반영하지 아니하고, 각 방향에 대하여 독립적으로 현재 블록의 이웃 블록으로부터 모션 정보를 획득하여 하기 표 3 과 같이 예측 모션 벡터 리스트를 구성한다.
인덱스 제 1 방향의 예측 모션 벡터 리스트(AMVP_L0) 제 2 방향의 예측 모션 벡터 리스트(AMVP_L1)
0 MV_A0L0=(4,1) MV_A0L1=(1,1)
1 MV_ColL0=(0,1) MV_ColL1=(0,1)
현재 블록(310)에 대한 제 1 방향의 참조 픽쳐(320a)와 제 2 방향의 참조 픽쳐(330a)가 동일한 경우는 각 방향에 대한 모션 벡터가 유사할 가능성이 높다. 도 32a를 다시 참조하면, 현재 블록(310)의 제 1 방향에 대한 모션 벡터(MVL0) 및 제 2 방향에 대한 모션 벡터(MVL1)가 각각 (2,1) 및 (2,2) 로 유사함을 확인할 수 있다. 그러나, 앞서 언급한 바와 같이 일반적인 예측 모션 벡터 리스트 구성 방법에 의하면 각 방향에 대한 예측 모션 벡터 리스트는 독립적으로 구성된다.
그러므로, 제 2 방향의 예측 모션 벡터 리스트를 구성하기 위하여 상대적으로 제 2 방향에 대한 모션 벡터(MVL1)와 상관도가 낮은 현재 블록(310)의 이웃 블록들의 모션 벡터를 이용하게 되어 제 2 방향에 대한 모션 벡터(MVL1)의 부호화 효율이 낮아질 수 있다. 그러나, 일반적인 방법에 따른 예측 모션 벡터 리스트는 각 방향에 대하여 독립적으로 리스트를 구성하고, 상기 리스트 중 선택된 예측 모션 벡터와 각 방향의 모션 벡터와의 차분값을 나타내는 차분 모션 벡터인 MVDL0=(2,0) 및 MVDL1=(2,1)을 획득하여 복호화 장치로 전송할 수 있다.
도 33b를 참조하면, 현재 블록(310)은 현재 블록(310)이 참조하는 제 1 방향의 참조 픽쳐(320b)와 제 2 방향의 참조 픽쳐(330b)가 상이한 경우에도 일반적인 방법에 따라 예측 모션 벡터 리스트를 구성함에 있어서 각 방향에 대한 예측 모션 벡터 리스트는 독립적으로 구성될 수 있다. 구성된 예측 모션 벡터 리스트는 하기 표 4와 같다.
인덱스 제 1 방향의 예측 모션 벡터 리스트(AMVP_L0) 제 2 방향의 예측 모션 벡터 리스트(AMVP_L1)
0 MV_A1L0=(-2,-3) MV_A1L1=(0,6)
1 MV_B0L0=(-1,-11) MV_B0L1=(-2,11)
현재 블록(310)에 대한 제 1 방향의 참조 픽쳐(320b)와 제 2 방향의 참조 픽쳐(330b)가 동일하지 않더라도, 현재 블록(310)이 참조하는 픽쳐들이므로 참조 픽쳐들의 거리 및 연관도에 따라 각 방향에 대한 모션 벡터가 유사할 가능성을 배제할 수 없다. 그러나, 앞서 언급한 바와 같이 일반적인 예측 모션 벡터 리스트 구성 방법에 의하면 각 방향에 대한 예측 모션 벡터 리스트는 독립적으로 구성된다.
도 33b에 나타난 바와 같이, 제 1 방향에 대한 모션 벡터(MVL0) 및 제 2 방향에 대한 모션 벡터(MVL1)가 각각 (-5,-8) 및 (4,10)이고, 표 2 에 기재된 바와 같이 예측 모션 벡터 리스트가 구성될 수 있다. 이 경우, 예측 모션 벡터로 각각 AMVP_L0_0 및 AMVP_L1_1이 선택되면, 복호화 장치로 전송되는 차분 모션 벡터(MVDL0, MVDL1)는 각각 (-3,-5) 및 (6,-1)일 수 있다.
이와 같이, 일반적인 방법으로 예측 모션 벡터 리스트를 구성하는 경우, 제 2 방향에 대한 예측 모션 벡터 리스트를 구성할 때 현재 블록의 이웃 블록들의 모션 정보를 이용함으로써, 제 2 방향의 참조 픽쳐가 현재 픽쳐보다 제 1 방향의 참조 픽쳐와 상대적으로 상관도가 높은 경우, 오히려 모션 벡터의 부호화 효율이 낮아질 수 있다.
그러므로, 본 발명의 일실시예에 따른 예측 모션 벡터 리스트(AMVP List)를 구성하는 방법 및 장치는, 현재 블록이 양방향 예측을 수행하는 경우, 제 1 방향에 대한 모션 벡터를 이용하여 제 2 방향의 예측 모션 벡터 리스트를 구성하는 것을 제안한다.
도 34 및 도 35는 본 발명의 일 실시예에 따른 예측 모션 벡터 리스트를 구성하는 방법을 설명하기 위한 순서도 및 장치를 나타내는 것이다.
도 34 및 도 35를 참조하면, 예측 모션 벡터 리스트(AMVP 리스트) 구성부(700)는 제 1 방향 예측 모션 벡터 리스트 설정부(710), 모션 벡터 획득부(720), 및 제 2 방향 예측 모션 벡터 리스트 설정부(730)를 포함할 수 있다. 제 1 방향 예측 모션 벡터 리스트 설정부(710)는 제 1 방향의 예측 모션 벡터 리스트(AMVP_L0)를 설정할 수 있다. 상기 제 1 방향의 예측 모션 벡터 리스트는 현재 블록의 시간적 및 공간적 이웃 블록들의 모션 정보들로부터 획득된 제 1 방향의 예측 모션 벡터 후보자(MVP Candidate)로 구성될 수 있다. 상기 제 1 방향의 예측 모션 벡터 리스트는 2 개 이상의 예측 모션 벡터 후보자들을 포함할 수 있으며, 각 예측 모션 벡터 후보자를 나타내는 인덱스가 부여될 수 있다. 상기 제 1 방향의 예측 모션 벡터 리스트는 도 3을 참조하여 설명한 방법에 따라 구성될 수 있으나, 본 발명은 이에 한정되지는 아니한다. 또한, 모션 정보 획득부(720)는 제 1 방향에 대한 모션 벡터(MVL0)를 획득할 수 있다(S40). 상기 모션 벡터는 종래의 비디오 코덱의 화면간 예측시, 현재 블록이 모션 벡터를 획득하는 방법을 따를 수 있으나, 본 발명은 이에 한정되지 아니한다.
이후, 제 2 방향 예측 모션 벡터 리스트 설정부(730)는 제 2 방향의 예측 모션 벡터 리스트(AMVP_L1)를 설정할 수 있다(S50). 상기 제 2 방향의 예측 모션 벡터 리스트를 구성하는 제 2 방향의 예측 모션 벡터 후보자 중 적어도 하나 이상은 상기 제 1 방향에 대한 모션 벡터(MVL0)를 이용하여 설정될 수 있다. 일 실시예에서, 상기 제 1 방향에 대한 모션 벡터를 이용하여 설정되는 상기 제 2 방향의 예측 모션 벡터 후보자는 상기 제 1 방향에 대한 모션 벡터를 그대로 카피하여 설정될 수도 있고, 상기 제 1 방향에 대한 모션 벡터를 스케일링과 같은 다양한 방법으로 수정하여 설정될 수도 있다. 또한, 상기 제 2 방향의 예측 모션 벡터 후보자는 상기 제 2 방향의 예측 모션 벡터 리스트(AMVP_L1)에 포함될 수 있다.
현재 블록의 양방향 예측에 이용되는 참조 픽쳐는 서로 상관도가 높을 가능성이 높으므로, 양방향에서 획득되는 제 1 방향에 대한 모션 벡터 및 제 2 방향에 대한 모션 벡터(MVL0, MVL1)들도 유사할 가능성이 높다. 따라서, 상기 제 1 방향에 대한 모션 벡터(MVL0)를 이용하여 적어도 하나 이상의 제 2 방향의 예측 모션 벡터 후보자를 획득하는 경우, 종래의 방법에 비하여 작은 값의 제 2 방향에 대한 차분 모션 벡터(MVDL1)를 부호화하여 전송하는 것이 가능하게 된다.
또한, 제 2 방향 예측 모션 벡터 리스트 설정부(730)는 동시에 상기 현재 블록의 시간적 이웃 블록 및 공간적 이웃 블록의 모션 벡터를 이용하여 적어도 하나 이상의 제 2 방향의 예측 모션 벡터 후보자를 획득함으로써 상기 제 1 방향에 대한 모션 벡터를 이용하여 획득되는 제 2 방향의 예측 모션 벡터 후보자들과 함께 제 2 방향의 예측 모션 벡터 리스트(AMVP_L1)를 구성할 수 있다. 본 발명에서 상기 제 1 방향에 대한 모션 벡터를 이용하여 설정되는 제 2 방향의 예측 모션 벡터 후보자와 일반적인 방법으로 설정되는 제 2 방향의 예측 모션 벡터 후보자들의 개수, 획득 순서, 및 상기 예측 모션 벡터 후보자들에 대한 인덱스 할당 방법은 제한되지 아니한다.
도 36 및 도 37은 본 발명의 다른 실시예에 따른 예측 모션 벡터 리스트를 구성하는 방법에 대한 순서도 및 구성 장치를 나타내는 것이다.
도 36을 참조하면, 먼저 도 34 및 도 35를 참조하여 설명한 바와 같이, 먼저 현재 블록의 제 1 방향에 대한 모션 벡터를 획득할 수 있다(S40). 상기 제 1 방향에 대한 모션 벡터의 획득은 제 1 방향의 예측 모션 벡터 리스트를 구성하는 순서와 관계없이 이루어질 수 있다. 상기 제 1 방향의 예측 모션 벡터 리스트 구성을 통하여 상기 제 1 방향에 대한 모션 벡터를 획득한 이후에 수행될 수도 있고, 상기 제 1 방향의 예측 모션 벡터 리스트 구성과 독립적으로 수신되는 정보를 통하여 획득할 수도 있으며, 본 발명은 이에 한정되지 아니한다.
도 36와 함께 도 37을 참조하면, 제 2 방향 예측 모션 벡터 리스트 설정부(730)는 제 1 예측 모션 벡터 후보자 설정부(731) 및 제 2 예측 모션 벡터 후보자 설정부(732)를 포함한다. 제 1 예측 모션 벡터 후보자 설정부(731)는 제 1 예측 모션 벡터 후보자들을 설정하며, 상기 제 1 예측 모션 벡터 후보자들은 제 1 방향에 대한 모션 벡터(MVL0)를 이용하여 제 2 방향의 예측 모션 벡터 리스트를 구성하는 예측 모션 벡터 후보자로서 설정된 예측 모션 벡터 후보자들일 수 있다(S41). 상기 제 1 예측 모션 벡터 후보자는 적어도 하나 이상의 예측 모션 벡터 후보자일 수 있다.
상기 제 1 예측 모션 벡터 후보자는 예측 모션 벡터 후보자 중 현재 블록의 모션 벡터와 가장 상관도가 클 수 있다. 따라서, 상기 제 1 예측 모션 벡터 리스트를 구성시 가장 작은 코드워드를 갖는 인덱스에 상기 제 1 예측 모션 벡터 후보자를 할당함으로써 코딩 효율을 높일 수 있다. 일 실시예에서, 상기 제 1 예측 모션 벡터 후보자가 적어도 두 개 이상이면 상기 제 1 예측 모션 벡터 후보자는 작은 코드워드를 갖는 순으로 인덱스를 할당하여 코딩 효율을 높일 수 있다.
제 2 예측 모션 벡터 후보자 설정부(732)도 제 1 예측 모션 벡터 후보자 설정부(731)와 독립적으로 순서와 관계없이, 상기 현재 블록의 공간적 및 시간적 이웃 블록들을 이용하여 제 2 방향의 예측 모션 벡터 리스트를 구성하는 적어도 하나 이상의 예측 모션 벡터 후보자들을 설정할 수 있다(S42). 상기 적어도 하나 이상의 예측 모션 벡터 후보자들은 제 2 예측 모션 벡터 후보자라고 지칭할 수 있다. 상기 제 2 예측 모션 벡터 후보자는 도 3을 참조하여 설명한 일반적인 예측 모션 벡터를 획득하는 방법으로 획득되어, 상기 제 1 예측 모션 벡터 후보자와 함께 제 2 방향의 예측 모션 벡터 리스트(AMVP_L1)를 구성할 수 있다. 이 경우, 상기 제 2 방향에 대한 예측 모션 벡터 리스트의 구성시 상기 제 1 예측 모션 벡터 후보자 및 상기 제 2 예측 모션 벡터 후보자의 개수, 획득 순서, 및 인덱스 할당 방법은 제한되지 아니하며, 당업자가 실시할 수 있는 방법이면 무방하다.
이와 같이, 본 발명의 일 실시예에 따른 예측 모션 벡터 리스트의 구성 방법 및 장치는, 현재 블록이 양방향 화면간 예측을 수행하는 경우, 제 2 방향의 예측 모션 벡터 후보자 중 적어도 하나 이상을 제 1 방향에 대한 모션 벡터를 이용하여 획득함으로써 코딩 효율을 향상시킬 수 있다.
도 38a 및 도 38b는 본 발명의 일 실시예에 따른 예측 모션 벡터 리스트를 구성하는 방법을 설명하기 위한 것이다.
도 38a를 참조하면, 현재 블록(310)이 양방향 예측을 수행하고, 제 1 방향 및 제 2 방향에 대하여 참조하는 픽쳐(340a,350a)가 POC=8로 동일한 경우, 제 1 방향에 대한 모션 벡터(MVL0)를 제 2 방향의 예측 모션 벡터 리스트의 구성에 이용할 수 있다. 예를 들면, 현재 블록의 제 1 방향에 대한 모션 벡터(MVL0)이 (2,1)인 경우, 제 2 방향의 제 1 예측 모션 벡터 후보자로서 MVL0=(2,1)을 설정할 수 있다. 일 실시예에서, 상기 제 1 예측 모션 벡터 후보자는 제 2 방향의 예측 모션 벡터 리스트를 구성하는 인덱스 중 가장 짧은 코드워드를 가질 수 있으나, 본 발명은 이에 한정되지 아니하고, 제 2 방향의 예측 모션 벡터 리스트 중 어느 인덱스에 대하여 할당해도 무방하다.
도 38a와 함께 도 33a를 참조하면, 현재 블록(310)이 양방향 예측시 각 방향에 대하여 참조하는 영상이 동일한 조건하에서, 제 2 방향의 예측 모션 벡터 리스트를 구성하기 위하여 제 1 방향에 대한 모션 정보와 독립적으로 현재 블록의 이웃 블록들로부터 모션 정보를 획득하여 구성하는 경우에는 전송하여야 하는 제 2 방향의 차분 모션 벡터는 (2,1) 일 수 있다. 그러나, 제 2 방향의 제 1 예측 모션 벡터 후보자로서 제 1 방향에 대한 모션 벡터를 이용하는 경우에는 제 2 방향의 차분 모션 벡터는 (0,1) 일 수 있다. 본 발명의 일 실시예에 따른 AMVP 리스트의 구성은 하기 표 5와 같다.
인덱스 제 1 방향의 예측 모션 벡터 리스트(AMVP_L0) 제 2 방향의 예측 모션 벡터 리스트(AMVP_L1)
0 MV_A1L0=(-2,-3) MVL0=(2,1)
1 MV_B0L0=(-1,-11) MV_B0L1=(-2,11)
이와 같이, 제 1 방향에 대한 모션 벡터와 제 2 방향에 대한 모션 벡터는 상관도가 높기 때문에, 제 1 방향에 대한 모션 벡터를 이용하여 제 2 방향의 제 1 예측 모션 벡터를 설정하는 본 발명의 예측 모션 벡터 리스트를 구성하는 방법은 기존의 방법보다 작은 차분 모션 벡터(MVD)를 부호화하여 전송할 수 있다.
도 38b는 현재 블록(310)이 양방향 예측을 수행하고, 제 1 방향에 대하여 참조하는 픽쳐(340b)가 제 2 방향에 대하여 참조하는 픽쳐(350b)와 상이한 경우, 제 1 방향에 대한 모션 벡터(MVL0)를 이용하여 제 2 방향의 예측 모션 벡터 리스트를 구성하는 제 1 예측 모션 벡터 후보자로 설정하는 방법을 나타내는 것이다. 상기 제 1 예측 모션 벡터 후보자는 상기 제 1 방향에 대한 모션 벡터를 상기 제 1 방향에 대한 참조 픽쳐 및 상기 제 2 방향에 대한 참조 픽쳐의 POC와 같은 참조 픽쳐 정보를 더 이용하여 획득될 수 있다. 예를 들면, 현재 블록(310)의 제 1 방향에 대한 참조 픽쳐(340b)가 POC=8이고, 제 2 방향에 대한 참조 픽쳐(350b)가 POC=12이며, 현재 블록(310)의 제 1 방향에 대한 모션 벡터(MVL0)이 (5,8)인 경우, 하기 표 6과 같이 제 2 방향의 제 1 예측 모션 벡터는 POC를 기반으로 스케일링된 (-5,8)일 수 있다.
인덱스 제 1 방향의 예측 모션 벡터 리스트(AMVP_L0) 제 2 방향의 예측 모션 벡터 리스트(AMVP_L1)
0 MV_A1L0=(-2,-3) Scaled_MVL0=(5,8)
1 MV_B0L0=(-1,-11) MV_B0L1=(-2,11)
도 38b와 함께 도 33b를 참조하면, 현재 블록(310)이 양방향 예측시 각 방향에 대하여 참조하는 영상이 상이한 조건하에서, 제 2 방향의 예측 모션 벡터 리스트(AMVP_L1)를 구성하기 위하여 제 1 방향에 대한 모션 정보와 독립적으로 현재 블록의 이웃 블록들로부터 모션 정보를 획득하여 구성하여야 하는 경우에는 전송하여야 하는 제 2 방향의 차분 모션 정보(MVDL1)는 (6,-1) 일 수 있다. 그러나, 제 1 예측 모션 벡터 후보자로서 스케일링된 제 1 방향에 대한 모션 벡터(Scaled_MVL0)를 이용하는 경우에는 제 2 방향의 차분 모션 벡터(MVDL1)는 (-1,2) 일 수 있다.
이와 같이, 제 1 방향에 대한 모션 벡터(MVL0)와 제 2 방향에 대한 모션 벡터(MVL1)는 상관도가 높다. 그러므로, POC를 기반으로 제 1 방향에 대한 모션 벡터를 스케일링하여(Scaled_MVL0) 제 2 방향의 제 1 예측 모션 벡터(MVL1)를 설정하는 본 발명의 예측 모션 벡터 리스트를 구성하는 방법은 기존의 방법보다 상대적으로 작은 차분 모션 벡터(MVDL1)를 부호화하여 전송할 수 있으므로, 코딩 효율을 향상시킬 수 있다. 일 실시예에서, 코딩 효율을 향상시키기 위하여 상기 제 1 예측 모션 벡터 후보자는 제 2 방향의 예측 모션 벡터 리스트를 구성하는 인덱스 중 가장 짧은 코드워드를 가질 수 있으나, 본 발명은 이에 한정되지 아니한다. 본 발명에서는 제 2 방향의 제 1 예측 모션 벡터 후보자로서 POC 기반으로 제 1 방향에 대한 모션 벡터를 스케일링하는 방법에 대하여 개시하고 있으나, 스케일링하는 방법은 이에 한정되지 아니한다.
도 39는 본 발명의 또 다른 실시예에 따른 예측 모션 벡터 리스트를 구성하는 방법을 나타내는 순서도이다. 도 39를 참조하면, 현재 블록의 AMVP 리스트를 구성하기 위하여, 먼저 제 1 방향에 대한 모션 벡터(MVL0)를 획득한다(S40). 상기 제 1 방향에 대한 모션 벡터는 복호화기에서 부호화기로부터 수신된 제 1 방향의 예측 모션 벡터 리스트의 예측 모션 벡터 후보자 및 차분 모션 벡터를 이용하여 획득되거나, 인코더로부터 수신될 수도 있으며, 본 발명은 상기 제 1 방향에 대한 모션 벡터를 획득하는 방법을 제한하지 아니한다.
이후, 현재 블록의 양방향 예측에 이용되는 제 1 방향에 대한 참조 픽쳐의 픽쳐 정보(POCref _L0)와 제 2 방향에 대한 참조 픽쳐의 픽쳐 정보(POCref _L1)가 동일한지 여부를 판단한다(S60). 예를 들면, 상기 제 1 및 제 2 참조 픽쳐들의 동일 여부는 POC와 같은 픽쳐 정보를 기반으로 판단될 수 있다.
만일 상기 제 1 방향에 대한 참조 픽쳐 및 상기 제 2 방향에 대한 참조 픽쳐의 픽쳐 정보가 동일한 경우(S60의 Yes), 제 2 방향의 예측 모션 벡터 리스트(AMVP_L1)를 구성하는 제 1 예측 모션 벡터 후보자(MVP_L1_0)로서 상기 제 1 방향에 대한 모션 벡터(MVL0)가 설정될 수 있다(S70). 상기 제 1 예측 모션 벡터 후보자는 적어도 하나 이상의 예측 모션 벡터 후보자일 수 있다. 또한, 상기 제 2 방향의 예측 모션 벡터 리스트를 구성하는 적어도 하나 이상의 제 2 예측 모션 벡터 후보자(MVP_L1_N)는 일반적인 방법에 따라 설정될 수 있다(S80). 상기 제 1 방향에 대한 모션 벡터를 카피하여 설정된 상기 제 2 방향의 제 1 예측 모션 벡터 후보자와 일반적인 방법으로 획득되는 상기 제 2 방향의 제 2 예측 모션 벡터 후보자의 획득 순서 및 제 2 방향의 예측 모션 벡터 리스트 구성시 인덱스 할당 방법은 제한되지 아니한다.
만일 상기 제 1 방향에 대한 참조 픽쳐 및 상기 제 2 방향에 대한 참조 픽쳐의 픽쳐 정보가 상이한 경우(S60의 Yes), 제 2 방향의 예측 모션 벡터 리스트를 구성하는 제 1 예측 모션 벡터 후보자(MVP_L1_0)로서 상기 제 1 방향에 대한 모션 벡터가 스케일링된 값(Scaled_MVL0)이 설정될 수 있다(S90). 상기 제 1 예측 모션 벡터 후보자는 적어도 하나 이상의 예측 모션 벡터 후보자일 수 있다. 또한, 상기 제 2 방향의 예측 모션 벡터 리스트를 구성하는 적어도 하나 이상의 제 2 예측 모션 벡터 후보자(MVP_L1_N)는 일반적인 방법에 따라 설정될 수 있다(S95). 상기 제 1 방향에 대한 모션 벡터를 스케일링한 값으로 설정된 상기 제 2 방향의 제 1 예측 모션 벡터 후보자와 일반적인 방법으로 획득되는 상기 제 2 방향의 제 2 예측 모션 벡터 후보자의 획득 순서 및 제 2 방향의 예측 모션 벡터 리스트 구성시 인덱스 할당 방법은 제한되지 아니한다.
상기 방법에 따라 구성되는 AMVP 리스트는 화면간 예측시 상관도가 높은 제 1 방향에 대한 모션 벡터를 제 2 방향의 예측 모션 벡터 리스트 구성시 이용하게 되므로, 화면간 예측의 코딩 효율을 향상시킨 예측 모션 벡터 리스트의 구성 방법을 제공할 수 있다. 또한, 양방향 예측시 제 1 방향에 대한 참조 픽쳐 및 제 2 방향에 대한 참조 픽쳐의 픽쳐 정보가 동일한지 여부 및 상기 참조 픽쳐들과 현재 픽쳐 사이의 거리 중 어느 하나 이상을 고려하여 제 2 방향의 예측 모션 벡터 리스트를 구성하는 적어도 하나 이상의 예측 모션 벡터 후보자를 설정함으로써 코딩 효율을 높일 수 있다.
이상에서 설명한 본 발명이 전술한 실시예 및 첨부된 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

Claims (54)

  1. 현재 영상을 구성하는 코딩 블록의 구조를 설정하는 단계;
    상기 코딩 블록에 대응하는 변환 블록들의 구조를 설정하는 단계; 및
    상기 변환 블록들을 이용하여 예측 신호를 생성하는 단계를 포함하고,
    상기 코딩 블록은 정방형(square) 블록 및 비정방형(non-square) 블록 중 어느 하나 이상을 포함하는 비디오 신호의 복호화 방법.
  2. 제 1 항에 있어서,
    상기 변환 블록은 상기 코딩 블록의 동일한 크기 또는 작은 크기의 정방형(square) 변환 블록 및 비정방형(non-square) 변환 블록 중 어느 하나 이상을 포함하는 비디오 신호의 복호화 방법.
  3. 제 2 항에 있어서,
    상기 정방형 변환 블록은 쿼트트리 구조를 갖는 변환 블록인 비디오 신호의 복호화 방법.
  4. 제 2 항에 있어서,
    상기 비정방형 변환 블록은 비정방형 바이너리트리 구조 또는 비정방형 쿼트트리 구조를 갖는 변환 블록인 비디오 신호의 복호화 방법.
  5. 제 2 항에 있어서,
    상기 변환 블록은 비정방형 변환 서브 블록 및 정방형 변환 서브 블록 중 어느 하나 이상을 포함하여 분할된 비디오 신호의 복호화 방법.
  6. 제 1 항에 있어서,
    상기 변환 블록의 모양 및 크기를 나타내는 변환 블록 분할 정보를 수신하는 단계를 더 포함하는 비디오 신호의 복호화 방법.
  7. 제 1 항에 있어서,
    상기 변환 블록을 서브 변환 블록들로 재분할하는 단계를 더 포함하며,
    상기 서브 변환 블록들로 재분할되는 경우, 상기 예측 신호는 상기 서브 변환 블록별로 생성되는 비디오 신호의 복호화 방법.
  8. 제 7 항에 있어서,
    상기 서브 변환 블록들은 비정방형 서브 변환 블록 및 정방형 서브 변환 블록 중 어느 하나 이상을 포함하는 비디오 신호의 복호화 방법.
  9. 제 2 항에 있어서,
    상기 현재 블록이 화면내 예측을 수행하는 경우, 상기 현재 블록의 화면내 예측 모드의 방향이 90˚이상 180˚미만의 각도를 갖는 제 1 모드 영역, 180˚이상 225˚ 미만의 각도를 갖는 제 2 모드 영역, 및 45˚이상 90˚미만의 각도를 갖는 제 3 영역 중 어느 모드 영역에 속하는지 판단하는 단계; 및
    상기 화면내 예측 모드가 속하는 모드 영역에 기초하여 상기 변환 블록의 코딩 순서를 가변적으로 결정하는 단계를 더 포함하는 비디오 신호의 복호화 방법.
  10. 제 9 항에 있어서,
    상기 화면내 예측 모드의 방향이 제 2 모드 영역인 경우, 상기 변환 블록은 좌측 하단으로부터 우측 상단 방향순으로 코딩되는 비디오 신호의 복호화 방법.
  11. 제 10 항에 있어서,
    상기 변환 블록이 정방형 변환 블록이면, 좌측 하단, 우측 하단, 좌측 상단, 및 우측 상단의 순서로 코딩되는 비디오 신호의 복호화 방법.
  12. 제 10 항에 있어서,
    상기 변환 블록이 정방형 변환 블록이면, 좌측 하단, 좌측 상단, 우측 하단, 및 우측 상단의 순서로 코딩되는 비디오 신호의 복호화 방법.
  13. 제 10 항에 있어서,
    상기 변환 블록이 세로로 분할된 비정방형 변환 블록이면, 좌측으로부터 우측의 순서로 코딩되는 비디오 신호의 복호화 방법.
  14. 제 10 항에 있어서,
    상기 변환 블록이 가로로 분할된 비정방형 변환 블록이면, 하단으로부터 상단의 순서로 코딩되는 비디오 신호의 복호화 방법.
  15. 제 9 항에 있어서,
    상기 화면내 예측 모드의 방향이 제 3 영역 모드인 경우, 상기 변환 블록은 우측 상단으로부터 좌측 하단 순서로 코딩되는 비디오 신호의 복호화 방법.
  16. 제 15 항에 있어서,
    상기 변환 블록이 정방형 변환 블록이면, 우측 상단, 좌측 상단, 우측 하단, 및 좌측 하단의 순서로 코딩되는 비디오 신호의 복호화 방법.
  17. 제 15 항에 있어서,
    상기 변환 블록이 정방형 변환 블록이면, 우측 상단, 우측 하단, 좌측 상단, 및 좌측 하단의 순서로 코딩되는 비디오 신호의 복호화 방법.
  18. 제 15 항에 있어서,
    상기 변환 블록이 세로로 분할된 비정방형 변환 블록이면, 우측으로부터 좌측의 순서로 코딩되는 비디오 신호의 복호화 방법.
  19. 제 15 항에 있어서,
    상기 변환 블록이 가로로 분할된 비정방형 변환 블록이면, 상단으로부터 하단의 순서로 코딩되는 비디오 신호의 복호화 방법.
  20. 제 1 항에 있어서,
    상기 코딩 블록은 상기 코딩 블록에 대응하는 예측 블록으로 설정되는 비디오 신호의 복호화 방법.
  21. 제 1 항에 있어서,
    상기 코딩 블록은 상기 코딩 블록에 대응하는 예측 블록 및 상기 변환 블록으로 설정되는 비디오 신호의 복호화 방법.
  22. 현재 영상을 구성하는 코딩 블록의 구조를 설정하고, 상기 코딩 블록에 대응하는 변환 블록들의 구조를 설정하는 블록 설정부; 및
    상기 변환 블록들을 이용하여 예측 신호를 생성하는 예측 신호 생성부를 포함하고,
    상기 코딩 블록 및 상기 변환 블록은 정방형(square) 블록 및 비정방형(non-square) 블록 중 어느 하나 이상을 포함하며,
    상기 예측 신호 생성부는 상기 코딩 블록의 화면내 예측 모드를 예측 방향에 따라 구분한 모드 영역들 중 어느 모드 영역에 속하는지에 따라 가변적인 코딩 순서에 따라 상기 변환 블록들을 코딩하는 비디오 신호의 복호화 장치.
  23. 복수 개의 변환 계수 그룹을 포함하는 변환 블록을 스캔하는 방법에 있어서,
    상기 변환 블록에 포함되는 적어도 하나 이상의 변환 영역을 나타내는 변환 영역 정보를 획득하는 단계;
    상기 변환 영역 정보에 기초하여 제 1 변환 영역에 포함되는 복수 개의 변환 계수 그룹을 스캔하는 단계;
    상기 변환 블록 내의 제 2 변환 영역에 포함되는 복수 개의 변환 계수 그룹을 스캔하는 단계를 포함하는 비디오 신호의 복호화 방법.
  24. 제 23 항에 있어서,
    상기 복수 개의 변환 계수 그룹은 저주파 영역의 변환 계수 그룹이 고주파 영역의 변환 계수 그룹보다 선행하여 스캔되는 비디오 신호의 복호화 방법.
  25. 제 23 항에 있어서,
    상기 변환 영역 정보는 인코더로부터 수신되는 비디오 신호의 복호화 방법.
  26. 제 23 항에 있어서,
    상기 변환 영역 정보는 시퀀스 파라미터 셋(SPS) 및 슬라이스 헤더 중 적어도 하나 이상으로부터 획득되는 비디오 신호의 복호화 방법.
  27. 제 23 항에 있어서,
    상기 변환 영역 정보는 복호화기에서 기결정된 방법으로 획득되는 비디오 신호의 복호화 방법.
  28. 제 23 항에 있어서,
    상기 변환 영역 정보를 획득하는 단계 이전에,
    상기 변환 블록이 비정방형 블록인지 판단하는 단계를 더 포함하는 비디오 신호의 복호화 방법.
  29. 제 28 항에 있어서,
    상기 판단하는 단계는 상기 변환 블록의 가로의 길이 및 세로의 길이에 기초하여 수행되는 비디오 신호의 복호화 방법.
  30. 제 28 항에 있어서,
    상기 판단하는 단계는 상기 변환 블록의 타입을 나타내는 변환 블록 타입 정보에 기초하여 수행되는 비디오 신호의 복호화 방법.
  31. 변환 블록에 포함되는 적어도 하나 이상의 변환 영역을 나타내는 변환 영역 정보를 획득하는 변환 영역 정보 획득부; 및
    상기 변환 영역 정보에 기초하여 상기 적어도 하나 이상의 변환 영역별로 상기 변환 영역에 포함되는 복수 개의 변환 계수 그룹을 차례로 스캔하는 변환 계수 그룹 스캔부를 포함하는 비디오 신호의 복호화 장치.
  32. 제 31 항에 있어서,
    상기 변환 계수 그룹 스캔부는 상기 변환 영역에 포함되는 상기 복수 개의 변환 계수 그룹을 저주파 영역의 변환 계수 그룹부터 고주파 영역의 변환 계수 그룹으로 차례로 스캔하는 비디오 신호의 복호화 장치.
  33. 제 31 항에 있어서,
    상기 변환 계수 그룹 스캔부는 상기 적어도 하나 이상의 변환 영역별로 상기 변환 계수 그룹을 스캔하는 제 1 변환 영역 스캔부; 및 제 2 변환 영역 스캔부를 포함하는 비디오 신호의 복호화 장치.
  34. 제 31 항에 있어서,
    상기 변환 영역 정보 획득부는 인코더로부터 상기 변환 영역 정보를 수신하는 비디오 신호의 복호화 장치.
  35. 제 31 항에 있어서,
    상기 변환 영역 정보 획득부는 시퀀스 파라미터 셋(SPS) 및 슬라이스 헤더 중 적어도 하나 이상으로부터 상기 변환 영역 정보를 획득하는 비디오 신호의 복호화 장치.
  36. 제 31 항에 있어서,
    상기 변환 영역 정보 획득부는 상기 복호화 장치에서 기결정된 방법으로 상기 변환 영역 정보를 획득하는 비디오 신호의 복호화 장치.
  37. 제 31 항에 있어서,
    상기 변환 블록의 타입이 비정방형 모양인지 판단하는 변환 블록 타입 판단부를 더 포함하는 비디오 신호의 복호화 장치.
  38. 제 37 항에 있어서,
    상기 변환 블록 판단부는 상기 변환 블록의 가로 길이 및 세로 길이에 기초하여 상기 변환 블록의 타입을 판단하는 비디오 신호의 복호화 장치.
  39. 제 37 항에 있어서,
    상기 변환 블록 판단부는 상기 변환 블록의 타입을 나타내는 변환 블록 타입 정보에 기초하여 상기 변환 블록의 타입을 판단하는 비디오 신호의 복호화 장치.
  40. 현재 블록의 제 1 방향에 대한 모션 벡터를 획득하는 단계; 및
    상기 제 1 방향에 대한 모션 벡터를 이용하여 상기 2 방향의 예측 모션 벡터 리스트를 구성하는 적어도 하나 이상의 제 2 방향의 예측 모션 벡터 후보자를 설정하는 단계를 포함하는 예측 모션 벡터 리스트를 구성하는 방법.
  41. 제 40 항에 있어서,
    상기 적어도 하나 이상의 제 2 방향의 예측 모션 벡터 후보자는 상기 제 1 방향에 대한 모션 벡터를 복사하여 설정되는 예측 모션 벡터 리스트를 구성하는 방법.
  42. 제 41 항에 있어서,
    상기 제 1 방향에 대한 참조 픽쳐와 상기 제 2 방향에 대한 참조 픽쳐가 동일한 픽쳐 정보를 갖는 예측 모션 벡터 리스트를 구성하는 방법.
  43. 제 41 항에 있어서,
    상기 제 2 방향의 예측 모션 벡터 후보자는 가장 작은 코드워드를 갖는 순서로 인덱스에 할당되는 예측 모션 벡터 리스트를 구성하는 방법.
  44. 제 40 항에 있어서,
    상기 제 2 방향의 예측 모션 벡터 후보자는 상기 제 1 방향에 대한 모션 벡터를 픽쳐 정보에 기초하여 스케일링하여 설정되는 예측 모션 벡터 리스트를 구성하는 방법.
  45. 제 44 항에 있어서,
    상기 제 1 방향에 대한 참조 픽쳐와 상기 제 2 방향에 대한 참조 픽쳐의 픽쳐 정보가 상이한 예측 모션 벡터 리스트를 구성하는 방법.
  46. 제 44 항에 있어서,
    상기 제 2 방향의 예측 모션 벡터 후보자는 가장 작은 코드워드를 갖는 순서로 인덱스에 할당되는 예측 모션 벡터 리스트를 구성하는 방법.
  47. 제 40 항에 있어서,
    상기 적어도 하나 이상의 제 2 방향의 예측 모션 벡터 후보자를 설정하는 단계 이전에,
    상기 제 1 방향에 대한 참조 픽쳐 및 상기 제 2 방향에 대한 참조 픽쳐의 픽쳐 정보가 동일한지 여부를 판단하는 단계를 더 포함하는 예측 모션 벡터 리스트를 구성하는 방법.
  48. 현재 블록의 제 1 방향에 대한 모션 벡터를 획득하는 모션 벡터 획득부; 및
    상기 제 1 방향에 대한 모션 벡터를 이용하여 상기 2 방향의 예측 모션 벡터 리스트를 구성하는 적어도 하나 이상의 제 2 방향의 예측 모션 벡터 후보자를 설정하는 제 2 방향 예측 모션 벡터 리스트 설정부를 포함하는 예측 모션 벡터 리스트의 구성 장치.
  49. 제 48 항에 있어서,
    상기 제 2 방향 예측 모션 벡터 리스트 설정부는,
    상기 제 1 방향에 대한 모션 벡터를 이용하여 적어도 하나 이상의 상기 제 2 방향의 예측 모션 벡터 후보자를 설정하는 제 1 예측 모션 벡터 후보자 설정부; 및
    상기 현재 블록의 공간적 및 시간적 이웃 블록들을 이용하여 적어도 하나 이상의 상기 제 2 방향의 예측 모션 벡터 후보자를 설정하는 제 2 예측 모션 벡터 후보자 설정부를 포함하는 예측 모션 벡터 리스트의 구성 장치.
  50. 제 49 항에 있어서,
    상기 제 1 예측 모션 벡터 후보자 설정부에서 획득되는 상기 제 2 방향의 예측 모션 벡터 후보자는 상기 제 1 방향에 대한 모션 벡터를 복사하여 설정되는 예측 모션 벡터 리스트의 구성 장치.
  51. 제 50 항에 있어서,
    상기 제 1 방향에 대한 참조 픽쳐와 상기 제 2 방향에 대한 참조 픽쳐의 픽쳐 정보가 동일한 예측 모션 벡터 리스트의 구성 장치.
  52. 제 49 항에 있어서,
    상기 제 1 예측 모션 벡터 후보자 설정부에서 획득되는 상기 제 2 방향의 예측 모션 벡터 후보자는 상기 제 1 방향에 대한 모션 벡터를 픽쳐 정보에 기초하여 스케일링하여 설정되는 예측 모션 벡터 리스트의 구성 장치.
  53. 제 52 항에 있어서,
    상기 제 1 방향에 대한 참조 픽쳐와 상기 제 2 방향에 대한 참조 픽쳐의 픽쳐 정보가 상이한 예측 모션 벡터 리스트의 구성 장치.
  54. 제 49 항에 있어서,
    상기 제 1 예측 모션 벡터 후보자 설정부에서 획득되는 상기 제 2 방향의 예측 모션 벡터 후보자는 가장 작은 코드워드를 갖는 순서로 인덱스에 할당되는 예측 모션 벡터 리스트의 구성 장치.
PCT/KR2017/005497 2016-05-28 2017-05-26 비디오 신호의 부호화 또는 복호화 방법 및 장치 WO2017209455A2 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN202210048882.3A CN114222137A (zh) 2016-05-28 2017-05-26 构成预测运动矢量列表的方法
CN202210049050.3A CN114222138A (zh) 2016-05-28 2017-05-26 视频信号的解码装置
CN202210049407.8A CN114222140A (zh) 2016-05-28 2017-05-26 视频信号的解码方法
CN202210049201.5A CN114222139A (zh) 2016-05-28 2017-05-26 视频信号的解码方法
US16/305,214 US11736712B2 (en) 2016-05-28 2017-05-26 Method and apparatus for encoding or decoding video signal
CN202210049739.6A CN114222141A (zh) 2016-05-28 2017-05-26 视频信号的解码方法及视频信号的解码装置
CN201780033620.7A CN109417638B (zh) 2016-05-28 2017-05-26 视频信号的编码或解码方法及装置
US18/341,460 US20230336769A1 (en) 2016-05-28 2023-06-26 Method and Apparatus for Encoding or Decoding Video Signal

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
KR10-2016-0066015 2016-05-28
KR20160066015 2016-05-28
KR20160075723 2016-06-17
KR20160075787 2016-06-17
KR10-2016-0075787 2016-06-17
KR10-2016-0075723 2016-06-17
KR10-2017-0035361 2017-03-21
KR1020170035361A KR102426131B1 (ko) 2016-06-17 2017-03-21 비디오 신호의 부호화 또는 복호화 방법 및 장치
KR10-2017-0048441 2017-04-14
KR1020170048441A KR102345458B1 (ko) 2016-05-28 2017-04-14 예측 모션 벡터 리스트를 구성하는 방법 및 이의 장치
KR1020170060576A KR102378803B1 (ko) 2016-06-17 2017-05-16 비디오 신호의 복호화 방법 및 이의 장치
KR10-2017-0060576 2017-05-16

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/305,214 A-371-Of-International US11736712B2 (en) 2016-05-28 2017-05-26 Method and apparatus for encoding or decoding video signal
US18/341,460 Continuation US20230336769A1 (en) 2016-05-28 2023-06-26 Method and Apparatus for Encoding or Decoding Video Signal

Publications (2)

Publication Number Publication Date
WO2017209455A2 true WO2017209455A2 (ko) 2017-12-07
WO2017209455A3 WO2017209455A3 (ko) 2018-02-15

Family

ID=60477623

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/005497 WO2017209455A2 (ko) 2016-05-28 2017-05-26 비디오 신호의 부호화 또는 복호화 방법 및 장치

Country Status (3)

Country Link
US (1) US20230336769A1 (ko)
CN (6) CN114222139A (ko)
WO (1) WO2017209455A2 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020060261A1 (ko) * 2018-09-20 2020-03-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020057556A1 (zh) * 2018-09-20 2020-03-26 杭州海康威视数字技术股份有限公司 运动信息候选者列表构建方法、装置及可读存储介质
CN112673628A (zh) * 2018-09-19 2021-04-16 富士通株式会社 影像编码装置、影像编码方法、影像编码程序、影像解码装置、影像解码方法和影像解码程序
KR20210057101A (ko) * 2018-09-13 2021-05-20 후아웨이 테크놀러지 컴퍼니 리미티드 모션 정보를 예측하는 디코딩 방법 및 디코딩 장치
RU2792110C2 (ru) * 2018-06-11 2023-03-16 Ханвха Текуин Ко., Лтд. Способ и устройство кодирования/декодирования остаточных коэффициентов
US11818354B2 (en) 2018-06-19 2023-11-14 Hanwha Techwin Co., Ltd. Method and an apparatus for encoding/decoding residual coefficient
CN112119637B (zh) * 2018-05-17 2024-03-22 松下电器（美国）知识产权公司 编码装置、解码装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112021006238A2 (pt) * 2018-10-12 2021-07-06 Guangdong Oppo Mobile Telecommunications Corp Ltd método de decodificação de vídeo e método de codificação de vídeo
US11943478B2 (en) * 2019-09-19 2024-03-26 Telefonaktiebolaget Lm Ericsson (Publ) Allowing a matrix based intra prediction block to have multiple transform blocks
CN114786014A (zh) * 2022-02-28 2022-07-22 北京邮电大学 一种视频压缩方法及装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR930003964B1 (ko) * 1990-08-31 1993-05-17 삼성전자 주식회사 화상신호의 전송 및 저장시 데이타의 감축 효율을 높이기 위한 부호화방식
US5253055A (en) * 1992-07-02 1993-10-12 At&T Bell Laboratories Efficient frequency scalable video encoding with coefficient selection
BRPI0720806B1 (pt) * 2007-01-18 2023-03-28 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Corrente de dados de vídeo de qualidade escalonável
US9635368B2 (en) * 2009-06-07 2017-04-25 Lg Electronics Inc. Method and apparatus for decoding a video signal
CN102577393B (zh) * 2009-10-20 2015-03-25 夏普株式会社 运动图像编码装置、运动图像解码装置、运动图像编码/解码系统、运动图像编码方法及运动图像解码方法
EP2947878B1 (en) * 2010-04-23 2017-02-15 M&K Holdings Inc. Apparatus for encoding an image
US9398308B2 (en) * 2010-07-28 2016-07-19 Qualcomm Incorporated Coding motion prediction direction in video coding
KR101238012B1 (ko) * 2010-11-30 2013-02-27 광주과학기술원 예측 움직임 벡터 부호화 방법 및 이를 수행하는 부호화 장치
US9414056B2 (en) * 2011-01-13 2016-08-09 Samsung Electronics Co., Ltd. Video-encoding method and apparatus for same and video-decoding method and apparatus for same using a selective scan mode
US11102494B2 (en) * 2011-03-03 2021-08-24 Electronics And Telecommunication Research Institute Method for scanning transform coefficient and device therefor
US10397577B2 (en) * 2011-03-08 2019-08-27 Velos Media, Llc Inverse scan order for significance map coding of transform coefficients in video coding
US9445093B2 (en) * 2011-06-29 2016-09-13 Qualcomm Incorporated Multiple zone scanning order for video coding
EP2727355A1 (en) * 2011-06-29 2014-05-07 Motorola Mobility LLC Methods and system for using a scan coding pattern during intra coding
US9807426B2 (en) * 2011-07-01 2017-10-31 Qualcomm Incorporated Applying non-square transforms to video data
US9392301B2 (en) * 2011-07-01 2016-07-12 Qualcomm Incorporated Context adaptive entropy coding for non-square blocks in video coding
US20140133559A1 (en) * 2011-07-05 2014-05-15 Electronics And Telecommunications Research Institute Method for encoding image information and method for decoding same
US9756360B2 (en) * 2011-07-19 2017-09-05 Qualcomm Incorporated Coefficient scanning in video coding
KR101600615B1 (ko) * 2011-07-22 2016-03-14 구글 테크놀로지 홀딩스 엘엘씨 비디오 코딩에서 직사각형 변환을 스캐닝하기 위한 장치 및 방법
AU2012291454B2 (en) * 2011-08-03 2016-11-17 Sun Patent Trust Video encoding method, video encoding apparatus, video decoding method, video decoding apparatus, and video encoding/decoding apparatus
CN103650501B (zh) * 2011-08-25 2017-10-27 太阳专利托管公司 使用瓦片编码方案对视频进行编码、提取和解码的方法和装置
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
AU2011236109B2 (en) * 2011-10-18 2015-02-19 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
US9247254B2 (en) * 2011-10-27 2016-01-26 Qualcomm Incorporated Non-square transforms in intra-prediction video coding
US20130114692A1 (en) * 2011-11-04 2013-05-09 Texas Instruments Incorporated Simplified Coefficient Scans for Non-Square Transforms (NSQT) in Video Coding
US10104399B2 (en) * 2012-01-13 2018-10-16 Hfi Innovation Inc. Method and apparatus for unification of coefficient scan of 8X8 transform units in HEVC
AU2012200319B2 (en) * 2012-01-19 2015-11-26 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
WO2013109124A1 (ko) * 2012-01-19 2013-07-25 삼성전자 주식회사 쌍방향 예측 및 블록 병합을 제한하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
EP2618570B1 (en) * 2012-01-20 2017-12-13 BlackBerry Limited Method and devices for context set selection
EP2618572B1 (en) * 2012-01-20 2016-08-24 BlackBerry Limited Multiple sign bit hiding within a transform unit
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
WO2014053518A1 (en) * 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
WO2014110651A1 (en) * 2013-01-16 2014-07-24 Blackberry Limited Transform coefficient coding for context-adaptive binary entropy coding of video
WO2014110652A1 (en) * 2013-01-16 2014-07-24 Blackberry Limited Context determination for entropy coding of run-length encoded transform coefficients
JP6188344B2 (ja) * 2013-02-14 2017-08-30 Kddi株式会社 走査順生成装置、動画像符号化装置、動画像復号装置、走査順生成方法、およびプログラム
US11223832B2 (en) * 2014-07-24 2022-01-11 Qualcomm Incorporated Methods and apparatus for encoding video data using block palettes and sub-block and pixel scanning orders
US11736712B2 (en) * 2016-05-28 2023-08-22 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding or decoding video signal

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112119637B (zh) * 2018-05-17 2024-03-22 松下电器（美国）知识产权公司 编码装置、解码装置
RU2792110C2 (ru) * 2018-06-11 2023-03-16 Ханвха Текуин Ко., Лтд. Способ и устройство кодирования/декодирования остаточных коэффициентов
US11818354B2 (en) 2018-06-19 2023-11-14 Hanwha Techwin Co., Ltd. Method and an apparatus for encoding/decoding residual coefficient
KR20210057101A (ko) * 2018-09-13 2021-05-20 후아웨이 테크놀러지 컴퍼니 리미티드 모션 정보를 예측하는 디코딩 방법 및 디코딩 장치
KR102701208B1 (ko) * 2018-09-13 2024-08-29 후아웨이 테크놀러지 컴퍼니 리미티드 모션 정보를 예측하는 디코딩 방법 및 디코딩 장치
CN112673628A (zh) * 2018-09-19 2021-04-16 富士通株式会社 影像编码装置、影像编码方法、影像编码程序、影像解码装置、影像解码方法和影像解码程序
CN112673628B (zh) * 2018-09-19 2024-03-26 富士通株式会社 影像编码装置及方法、影像解码装置及方法、记录介质
WO2020060261A1 (ko) * 2018-09-20 2020-03-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020057556A1 (zh) * 2018-09-20 2020-03-26 杭州海康威视数字技术股份有限公司 运动信息候选者列表构建方法、装置及可读存储介质
CN110933439A (zh) * 2018-09-20 2020-03-27 杭州海康威视数字技术股份有限公司 运动信息候选者列表构建方法、装置及可读存储介质
CN110933439B (zh) * 2018-09-20 2022-05-31 杭州海康威视数字技术股份有限公司 运动信息候选者列表构建方法、装置及可读存储介质
US11800099B2 (en) 2018-09-20 2023-10-24 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image, and recording medium for storing bitstream

Also Published As

Publication number Publication date
CN114222138A (zh) 2022-03-22
CN114222139A (zh) 2022-03-22
US20230336769A1 (en) 2023-10-19
CN114222141A (zh) 2022-03-22
CN114222140A (zh) 2022-03-22
CN109417638A (zh) 2019-03-01
CN114222137A (zh) 2022-03-22
CN109417638B (zh) 2022-02-08
WO2017209455A3 (ko) 2018-02-15

Similar Documents

Publication Publication Date Title
WO2017209455A2 (ko) 비디오 신호의 부호화 또는 복호화 방법 및 장치
WO2018056703A1 (ko) 비디오 신호 처리 방법 및 장치
WO2017222325A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018212577A1 (ko) 비디오 신호 처리 방법 및 장치
WO2019164031A1 (ko) 영상 코딩 시스템에서 블록 분할 구조에 따른 영상 디코딩 방법 및 장치
WO2018106047A1 (ko) 비디오 신호 처리 방법 및 장치
WO2017164645A2 (ko) 비디오 신호 부호화/복호화 방법 및 장치
WO2017043949A1 (ko) 비디오 신호 처리 방법 및 장치
WO2019225993A1 (ko) 비디오 신호 처리 방법 및 장치
WO2019066524A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020096425A1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2018212579A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020004979A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2016159610A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020096427A1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2018056701A1 (ko) 비디오 신호 처리 방법 및 장치
WO2019235891A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018044089A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018066958A1 (ko) 비디오 신호 처리 방법 및 장치
WO2017069505A1 (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2016048092A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018093184A1 (ko) 비디오 신호 처리 방법 및 장치
WO2016064123A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018182184A1 (ko) 부호화 트리 유닛 및 부호화 유닛의 처리를 수행하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
WO2019182329A1 (ko) 영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17806948

Country of ref document: EP

Kind code of ref document: A2

122 Ep: pct application non-entry in european phase

Ref document number: 17806948

Country of ref document: EP

Kind code of ref document: A2