WO2012023817A2 - 영상 부호화/복호화 장치 및 방법, 및 참조픽처 인덱싱 장치 및 방법 - Google Patents

영상 부호화/복호화 장치 및 방법, 및 참조픽처 인덱싱 장치 및 방법 Download PDF

Info

Publication number
WO2012023817A2
WO2012023817A2 PCT/KR2011/006087 KR2011006087W WO2012023817A2 WO 2012023817 A2 WO2012023817 A2 WO 2012023817A2 KR 2011006087 W KR2011006087 W KR 2011006087W WO 2012023817 A2 WO2012023817 A2 WO 2012023817A2
Authority
WO
WIPO (PCT)
Prior art keywords
reference picture
picture
priority
pictures
candidates
Prior art date
Application number
PCT/KR2011/006087
Other languages
English (en)
French (fr)
Other versions
WO2012023817A3 (ko
Inventor
송진한
임정연
문주희
이영렬
김해광
전병우
한종기
이주옥
박형미
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to US13/817,408 priority Critical patent/US9602813B2/en
Priority claimed from KR1020110082181A external-priority patent/KR101449679B1/ko
Publication of WO2012023817A2 publication Critical patent/WO2012023817A2/ko
Publication of WO2012023817A3 publication Critical patent/WO2012023817A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • Embodiments of the present invention relate to an image encoding / decoding apparatus and method, and a reference picture indexing apparatus. More specifically, in the encoding of a B picture, the encoding of a P picture, the inter prediction encoding, and the like, the quantization parameter, the partition type of the block to be encoded currently, the size of the block to be currently encoded, the size of the current picture and the reference picture, according to the current block to be encoded.
  • the present invention relates to an image encoding apparatus and method for adaptively indexing a reference picture in consideration of SAD, etc., and to selecting a practically optimal reference picture for a block or an arbitrary unit to be currently encoded, and a reference picture indexing apparatus and method. .
  • an adaptive reference is made by considering a quantization parameter, a partition type of a current decoding block, a size of a current decoding block, a SAD of a current picture and a reference picture, and the like.
  • the present invention relates to an image decoding apparatus and a method for increasing a reconstruction efficiency of a current block by selecting a picture and reconstructing a current block.
  • Moving Picture Experts Group (MPEG) and Video Coding Experts Group (VCEG) have developed video compression techniques that are superior and superior to the existing MPEG-4 Part 2 and H.263 standards.
  • the new standard is called H.264 / AVC (Advanced Video Coding) and was jointly released as MPEG-4 Part 10 AVC and ITU-T Recommendation H.264.
  • one picture is divided into predetermined image processing units, for example, blocks of a predetermined size, and each image is interlaced or inter prediction is used. Encode the block of.
  • the optimal encoding mode is selected in consideration of the data size and the degree of distortion of the block, and the block is encoded according to the selected mode.
  • Inter prediction is a method of compressing an image by removing temporal redundancy between pictures
  • a motion estimation encoding method is a representative example.
  • the motion estimation encoding estimates the motion of the current picture in units of blocks using at least one reference picture and predicts each block based on the motion estimation result.
  • the motion estimation encoding searches for a block most similar to the current block in a predetermined search range of the reference picture by using a predetermined evaluation function.
  • a similar block is found, only the residual data between the current block and the similar block in the reference picture is encoded and transmitted, thereby increasing the compression ratio of the data.
  • FIG. 1 is a diagram illustrating a method of predicting blocks of a current picture using a plurality of reference pictures according to the related art.
  • a plurality of pictures 120, 130, and 140 may be referred to in order to predict blocks 112, 114, and 116 included in P (n) 110, which is a current picture.
  • Picture P (n-1) 120 is the picture immediately preceding the current picture, which is the closest picture in time to the current picture, and is shown in picture P (n-2) 130 and picture P (n-3) 140.
  • the time interval with the current picture increases.
  • the reference blocks 122, 132, and 142 used to predict blocks of the current picture are respectively It may be blocks existing in different pictures.
  • the prediction is performed by referring to pictures that are temporally preceded by the current picture 110.
  • the current picture 110 is a B-picture (Bi-directional Predictive Picture)
  • it is temporal than the current picture.
  • the preceding pictures as well as temporally following pictures may also be used for prediction of the current picture 110.
  • Predict blocks 112, 114, and 116 of the current picture 110 to generate respective residual blocks, and then encode residual blocks, motion vectors, and reference picture indices of each of the blocks 112, 114, and 116, respectively.
  • the blocks included in the current picture 110 may be encoded.
  • the reference picture index is information for specifying which reference picture among a plurality of reference pictures is used in inter prediction.
  • existing video encoding methods using hierarchical B-pictures include MPEG-1, MPEG-2, MPEG-4 Part 2 Visual, MPEG-4 Part 10 AVC, or ITU-T H.264.
  • the B-picture that predicts motion in the existing bidirectional direction to add temporal scalability in the same way as the block-by-motion motion compensation temporal filtering (MCTF) method. It is a method of encoding by performing prediction hierarchically using.
  • FIG. 2 is a diagram illustrating a coding structure of a general hierarchical B picture.
  • a picture that can be used as a reference picture is set in units of a group of picture (GOP).
  • the reference picture index is indexed according to the distance between the pictures for each picture unit according to the number of pictures that can be used as the reference picture.
  • the pictures that can be used as the reference picture are I, P, and B pictures, and the b picture is not used as the reference picture.
  • I, P, and B pictures are encoded as reference pictures among pictures encoded before the current picture, and reference picture indexing is performed in order of closest picture to the current picture.
  • picture coding order is 0-> 8-> 4-> 2-> 1-> 3-> 6-> 5-> 7-> 16-> 12-> 10-> 9-> 11-> 14-> 13-> 15. Therefore, when picture 7 is encoded, pictures 0, 1, 2, 3, 4, 5, 6, and 8 are encoded, and pictures that can be used as reference pictures are I pictures 0 and P, which are pictures. 8, B pictures 2, 4, and 6. Accordingly, the indexes may be indexed according to the direction of the reference picture according to the distance between the pictures 0, 2, 4, 6, 8 and 7, and may be represented as shown in Table 1 below.
  • the method of indexing the reference picture is to find the reference picture by indexing the candidates of the same reference picture identically, the reference picture having the most efficient coding efficiency is not selected for the current block or any unit. There is a problem that may not.
  • An image encoding apparatus and method and a reference picture indexing apparatus and method according to an embodiment of the present invention have been devised to solve the above-described problems, and include a current block to be encoded in encoding of B picture, P picture encoding, inter prediction encoding, and the like.
  • the quantization parameter the partition type of the current block to be encoded, the size of the block to be currently encoded, the SAD of the current picture and the reference picture, and adaptively index the reference block to the current block or any unit
  • An object of the present invention is to provide an apparatus and method for encoding an image and a reference picture indexing apparatus and method for selecting a substantially optimal reference picture.
  • An object of the present invention is to provide an image decoding apparatus and method for selecting a picture and reconstructing a current block to increase the reconstruction efficiency of the current block.
  • An image encoding / decoding apparatus for achieving the above object, to determine the priority according to the current block for the candidates of the reference pictures in order to estimate the motion vector of the current block, and to the determined priority
  • An image encoder for adaptively indexing a reference picture based on the same, and transmitting index information of the reference picture;
  • an image decoder configured to determine a priority according to the current block for candidates of the reference pictures to decode the current block, and to reconstruct the current block to be decoded using index information extracted from the bitstream based on the determined priority. It is characterized by.
  • an apparatus for encoding an image comprising: an image encoder configured to determine a motion vector of a current block and predictively encode the current block using the determined motion vector; And a reference picture indexer for determining the priority according to the current block for candidates of the reference pictures to estimate the motion vector, and adaptively indexing the reference picture based on the determined priority.
  • a reference picture indexing apparatus for achieving the above object is a candidate reference picture setting unit for setting candidates of reference pictures in a reference picture indexing apparatus indexing a reference picture to estimate a motion vector. ; A priority determining unit for determining candidates of the reference pictures set by the candidate reference picture setting unit according to a block to be currently encoded; And a reference picture indexing unit adaptively indexing the reference picture according to the block to be currently encoded based on the priority determined by the priority determining unit. And an index encoder which encodes an index of the reference picture indexed by the reference picture indexing unit.
  • the candidate reference picture setting unit may set candidates of the reference pictures in the B picture coding structure.
  • the candidate reference picture setting unit may set candidates of the reference pictures in the P picture encoding structure.
  • the candidate reference picture setting unit may set candidates of the reference pictures in any coding unit using inter prediction.
  • the priority determiner may include a quantization parameter for the candidates of the reference pictures, a partition type of a block to be currently encoded, a size of a block to be currently encoded, a sum of absorptive difference (SAD) of the current picture and the reference picture, a distance between the pictures, and the SSE. (Sum of Square Error), the priority may be determined based on at least one of the direction of the reference picture, the interpolation resolution of the reference picture, and the encoding resolution of the reference picture.
  • SAD absorptive difference
  • the priority determiner may determine the priority of the candidates of the reference pictures based on the quantization parameter when the division type of the block to be currently encoded is greater than or equal to a set size, and, if smaller than the set size, the distance between the current picture and the reference picture.
  • the priority may be determined based on the following.
  • the priority determiner may determine the priority of the candidates of the reference pictures from the order in which the SAD between the current picture is the smallest.
  • the priority determiner may perform reference picture indexing without distinguishing between the L0 direction and the L1 direction when the reference pictures are configured with the B picture encoding structure or when encoding by bi-prediction in inter prediction.
  • An image decoding apparatus for achieving the above object decodes index information extracted from a bitstream, determines a priority according to a current block to be decoded for candidates of reference pictures, and based on the determined priority and index information.
  • a reference picture indexer for determining a reference picture;
  • an image decoder for reconstructing the current block based on the determined reference picture.
  • the reference picture indexer may include a quantization parameter for the candidates of the reference pictures, the partition type of the current decoding block, the size of the current decoding block, the SAD of the current picture and the reference picture, the distance between the pictures, and the sum of square error (SSE).
  • the priority may be determined based on at least one of the direction of the reference picture, the interpolation resolution of the reference picture, and the encoding resolution of the reference picture.
  • a reference picture indexing apparatus used for an image decoder, comprising: a candidate reference picture setting unit configured to set candidates of reference pictures; A priority determining unit for determining candidates of reference pictures set by the candidate reference picture setting unit, according to a current block to be decoded; A reference picture indexing unit for adaptively indexing the reference picture according to the current block to be decoded based on the priority determined by the priority determining unit; And an index information extracting unit which decodes index information extracted from the bitstream, wherein the reference picture is determined based on the index of the indexed reference picture and the decoded index information.
  • the candidate reference picture setting unit may set candidates of the reference pictures in a B picture coding structure.
  • the candidate reference picture setting unit may set candidates of the reference pictures in the P picture encoding structure.
  • the candidate reference picture setting unit may set candidates of the reference pictures in a coding structure using inter prediction.
  • the priority determiner may include a quantization parameter for the candidates of the reference pictures, a partition type of the current block to be decoded, a size of the current block to be decoded, a sum of absolute difference (SAD) of the current picture and the reference picture, a distance between the pictures, and the SSE. (Sum of Square Error), the priority may be determined based on at least one of the direction of the reference picture, the interpolation resolution of the reference picture, and the encoding resolution of the reference picture.
  • SAD sum of absolute difference
  • the priority may be determined based on at least one of the direction of the reference picture, the interpolation resolution of the reference picture, and the encoding resolution of the reference picture.
  • the priority determiner determines the priority based on the quantization parameter when the division type of the current block to be decoded with respect to the candidates of the reference pictures is greater than or equal to the set size, and, if smaller than the set size, the distance between the current picture and the reference picture.
  • the priority may be determined based on the following.
  • the priority determiner may determine the priority of the candidates of the reference pictures from the order in which the SAD between the current picture is the smallest.
  • an image encoding / decoding method determines a priority of a candidate of reference pictures according to a current block in order to estimate a motion vector of a current block, and determines the priority according to the determined priority.
  • candidates of a reference picture may be encoded in units of slices, pictures, or pictures.
  • the priority of the reference picture candidate may be encoded in units of a slice, an image, or a picture.
  • the reference picture indexing method for indexing a reference picture to estimate a motion vector comprising the steps of: setting a candidate of the reference pictures; Determining a priority according to a block to be currently encoded with respect to candidates of the set reference pictures; Adaptively indexing a reference picture according to a block to be currently encoded based on the determined priority; And encoding the index of the indexed reference picture.
  • candidates of the reference pictures may be set in the B picture encoding structure.
  • candidates of the reference pictures may be set in the P picture encoding structure.
  • the reference picture candidate setting step may set candidates of the reference pictures in any unit using inter prediction.
  • the prioritization step may include a quantization parameter for the candidates of the reference pictures, a partition type of a block to be currently encoded, a size of a block to be currently encoded, a SAD of a current picture and a reference picture, a distance between pictures, and a sum of square error. ),
  • the priority may be determined based on at least one of the direction of the reference picture, the interpolation resolution of the reference picture, and the encoding resolution of the reference picture.
  • the priority determining step determines the priority based on the quantization parameter when the partition type of the block to be currently encoded is greater than or equal to the candidate size of the reference pictures, and when the size is smaller than the size, the priority of the current picture and the reference picture is determined. Priorities may be determined based on distance.
  • the prioritizing step may determine the priority of the candidates of the reference pictures from the order in which the SAD with the current picture is the smallest.
  • reference picture indexing may be performed without distinguishing between the L0 direction and the L1 direction.
  • An image decoding method for achieving the above object includes decoding an index information extracted from a bitstream; Adaptively determining, according to a current block to decode priorities for candidates of reference pictures based on any criteria; And reconstructing the current block based on the reference picture corresponding to the determined priority.
  • the prioritization step may include a quantization parameter for the candidates of the reference pictures, the partition type of the current decoding block, the size of the current decoding block, the SAD of the current picture and the reference picture, the distance between the pictures, and the sum of square error. ),
  • the priority may be determined based on at least one of the direction of the reference picture, the interpolation resolution of the reference picture, and the encoding resolution of the reference picture.
  • An image encoding apparatus and method and a reference picture indexing apparatus and method may include a quantization parameter and a block to be currently encoded according to a current block to be encoded in encoding B pictures, P picture encoding, inter prediction encoding, and the like.
  • the optimal optimal reference picture can be selected for the current block or any unit. do.
  • the apparatus and method for decoding an image according to an embodiment of the present invention may include a quantization parameter, a partition type of a current decoding block, a size of a current decoding block, and a current block according to a current block to be decoded based on index information extracted from a bitstream.
  • FIG. 1 is a diagram illustrating a method of predicting blocks of a current picture using a plurality of reference pictures according to the related art.
  • FIG. 2 is a diagram illustrating an example of a hierarchical B picture coding structure.
  • FIG. 3 is a diagram schematically illustrating an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram schematically showing an example of a reference picture indexing encoding apparatus according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of an IPPP encoding structure.
  • FIG. 6 is a flowchart illustrating an image encoding method according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a reference picture indexing method according to an embodiment of the present invention.
  • FIG. 8 is a diagram schematically illustrating an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 9 is a diagram schematically showing an example of a reference picture indexing apparatus according to another embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • the image encoding apparatus 300 is an apparatus for encoding an image, and may include a reference picture indexer 310 and an image encoder 320.
  • the reference picture indexer 310 determines the priority of the candidates of the reference pictures according to the current block in order to estimate the motion vector of the current block to be encoded, and adaptively indexes the reference picture based on the determined priority. .
  • the reference picture indexer 310 will be described in detail with reference to FIG. 4 in a later process.
  • the image encoder 320 determines a current motion vector that is a motion vector of the current block, and predictively encodes the current block by using the determined current motion vector. In this way, the current block is predictively encoded to generate image data.
  • the image encoder 320 may include a predictor, a subtracter, a transformer and a quantizer, an encoder, and an inverse quantizer and an inverse transformer. and an inverse quantizer, an adder, a deblocking filter, a memory, and the like.
  • the predictor determines the current motion vector by estimating the motion of the current block and generates a predicted block by compensating the motion of the current block using the current motion vector, and the subtractor subtracts the current block and the predicted block.
  • a residual block is generated, and a transformer and a quantizer transform and quantize the residual block to generate a quantized transform coefficient, and the encoder generates image data by encoding the quantized transform coefficient.
  • the inverse quantizer and the inverse transformer reconstruct the residual block by inverse quantization and inverse transformation of the quantized transform coefficients
  • the adder reconstructs the current block by adding the prediction block and the reconstructed residual block, and the reconstructed current block is deblocked.
  • the deblocking filter is filtered by a deblocking filter, accumulated in units of pictures in a memory, stored as a reference picture, and used to predict the next block or the next picture.
  • FIG. 4 is a diagram schematically illustrating an example of a reference picture indexing apparatus according to an embodiment of the present invention.
  • the reference picture indexing apparatus according to an embodiment of the present invention may be implemented by the reference picture indexer 310 of the image encoding apparatus 300 described above with reference to FIG. 3.
  • the reference picture indexing apparatus according to an embodiment of the present invention will be referred to as a reference picture indexer 310.
  • the reference picture indexer 310 may include a candidate reference picture setting unit 312, a priority determining unit 314, a reference picture indexing unit 316, and an index encoder 318.
  • the candidate reference picture setting unit 312 sets candidates of the reference pictures.
  • the candidate reference picture setting unit 312 may set candidates of the reference pictures in a hierarchical B picture coding structure. That is, for scalable video coding (SVC), a hierarchical B picture coding structure that supports temporal scalability may be adopted.
  • the hierarchical B picture encoding technique is a temporal decomposition structure for supporting various temporal resolutions and is based on a closed loop structure and has a decomposition level according to the temporal hierarchy.
  • temporal hierarchical properties can be obtained by inserting B pictures between I / P pictures that are key pictures. As illustrated in FIG.
  • N may be represented as an integer and may be encoded into a bitstream having a total of (N + 1) temporal resolutions.
  • the size of the GOP is not limited to the above description, and various modifications are possible.
  • the priority determiner 314 determines the priority of the candidates of the reference pictures set by the candidate reference picture setter 312 according to the block to be currently encoded.
  • the priority determiner 314 may include at least one of a quantization parameter, a partition type of a block to be currently encoded, a size of a block to be currently encoded, and a sum of absorptive difference (SAD) of the current picture and the reference picture with respect to candidates of the reference pictures.
  • the priority may be determined based on the following.
  • the reference picture indexing unit 316 adaptively indexes the reference picture according to the block to be currently encoded based on the priority determined by the priority determining unit 314. For example, for candidates of reference pictures configured with a hierarchical B picture coding structure as shown in FIG. 2, the quantization parameter of the I picture is 22, the quantization parameter of the P picture is 24, the quantization parameter of the B picture is 23, b Assuming that the quantization parameter of the picture is 26, the priority determiner 314 may determine the priority based on the quantization parameter. In this case, if the current picture to be encoded is No. 7 and four reference pictures are selected, the reference picture indexing unit 316 may index the reference picture as shown in Table 2 below.
  • any unit using a quantization parameter lower than the quantization parameter used in the block or any unit to be currently encoded is It can be used as a reference picture, and the indexing of the candidates can also be based on quantization parameters or any criteria.
  • the priority determiner 314 determines the priority of the candidates of the reference pictures based on the quantization parameter when the division type of the block to be currently encoded is greater than or equal to the set size. Priority may be determined based on the distance of the picture. For example, for candidates of reference pictures configured with a hierarchical B-picture encoding structure as shown in FIG. 2, the priority is determined based on a quantization parameter when the size is 16x16 or more based on the partition type of the block to be currently encoded.
  • the reference picture indexing unit 316 may adaptively index the reference picture as shown in Table 3 according to the size of the current block to be encoded.
  • the priority determiner 314 may determine the priorities of candidates of the reference pictures in the order in which the SAD with the current picture is the smallest. For example, when priority is determined based on a picture including a block to be currently encoded and SAD with respect to candidates of reference pictures set to a hierarchical B-picture encoding structure as shown in FIG. 2, the picture to be currently encoded is 7 times. Assuming that No. 7 and SAD are in the order of 4, 0, 8, 2, and 5, the reference picture indexing unit 316 has a higher priority on a picture having a smaller SAD between the picture that is already encoded and the picture to be currently encoded. As shown in Table 4, the reference picture may be indexed.
  • the reference picture is indexed by determining the priority of the reference picture with respect to the reference picture candidates of the hierarchical B picture coding structure.
  • the same method may be applied to a general coding structure other than the hierarchical B picture coding structure.
  • the candidate reference picture setting unit 312 sets the candidates of the reference pictures in the IPPP encoding structure as shown in FIG. 5 and, as described above, the current block to be encoded using any criteria in arbitrary units.
  • the reference picture may be indexed adaptively according to the present invention.
  • the reference picture indexing unit 316 may select and index the reference picture as shown in Table 5.
  • any unit using a quantization parameter lower than the quantization parameter used in the block or any unit to be currently encoded is It can be used as a reference picture, and the indexing of the candidates can also be based on quantization parameters or any criteria.
  • the priority is determined based on a quantization parameter when the size is 16x16 blocks or more based on the partition type of the current block to be encoded. If the priority is determined based on the distance between pictures in the case of 16x8 or 8x16 blocks or less, the value of the quantization parameter is the same as described above, assuming that the current picture to be encoded is 5 and the size of the current block is 8x8.
  • the reference picture indexing unit 316 may adaptively index the reference picture as shown in Table 6 according to the size of the current block to be encoded.
  • the priority of the candidates of the reference pictures set to the IPPP encoding structure as shown in FIG. 5 is determined based on the picture including the block to be currently encoded and the SAD, the picture to be currently encoded is 5, and 5 and SAD are determined.
  • the reference picture indexing unit 316 refers to a picture having a small SAD between a picture that is already coded and a picture to be currently encoded with high priority, as shown in Table 7 below. The picture can be indexed.
  • the index encoder 318 determines the index of the reference picture in an arbitrary manner. Can be encoded.
  • the priority determiner 314 may encode the index of the reference picture having the highest priority.
  • various methods such as truncated Exp-Golomb coding, Unary coding, fixed length coding, and contextual coding may be used. For example, the case of using fixed length coding may be applied as shown in Table 8.
  • binarization may be performed by any method as shown in Table 8, and then arithmetic coding may be performed using an arbitrary context.
  • binarization is the process of making the reference index binary. Any context may be used differently for each bit index or reference index of neighboring blocks.
  • FIG. 6 is a flowchart illustrating an image encoding method according to an embodiment of the present invention.
  • the image encoding method according to the embodiment of the present invention may be executed by the image encoding apparatus 300 of FIG. 3.
  • the candidate reference picture setting unit 312 sets candidates of reference pictures using a hierarchical B picture encoding structure or an IPPP encoding structure (S601).
  • the candidate reference picture setting unit 312 may set candidates of the reference pictures in a B picture encoding structure, a P picture encoding structure, or an encoding structure using inter prediction.
  • the priority determiner 314 determines the priority of the candidates of the reference pictures set by the candidate reference picture setting unit 312 according to the block to be currently encoded (S603).
  • the priority of the candidates of the reference pictures may be determined based on at least one of a quantization parameter, a partition type of a current encoding block, a size of a block to be currently encoded, and a SAD of the current picture and the reference picture.
  • the priority determiner 314 determines the priority of the candidates of the reference pictures based on the quantization parameter when the division type of the block to be currently encoded is greater than or equal to the set size. Priority may be determined based on the distance of the picture.
  • the priority determiner 314 may determine the priority of candidates of the reference pictures from the order in which the SAD with the current picture is the smallest.
  • the reference picture indexing unit 316 adaptively indexes the reference picture according to the block to be currently encoded based on the priority determined by the priority determining unit 314 (S605).
  • the index encoder 318 encodes the index of the reference picture by the reference picture indexer 318 and transmits the index to the image decoding apparatus 800 through the bitstream.
  • the image encoder 320 may determine a motion vector of the current block based on the indexed reference picture (S607). In this case, the image encoder 320 may determine the motion vector of the current block with respect to the reference picture having the highest priority.
  • the image encoder 320 predictively encodes the current block by using the determined motion vector (S609).
  • FIG. 7 is a flowchart illustrating a reference picture indexing method according to an embodiment of the present invention.
  • the candidate reference picture setting unit 312 sets candidates of reference pictures using a hierarchical B picture coding structure or an IPPP coding structure (S701).
  • the priority determiner 314 determines the priority of the candidates of the reference pictures set by the candidate reference picture setting unit 312 according to the block to be currently encoded (S703).
  • the priority of the candidates of the reference pictures may be determined based on at least one of a quantization parameter, a partition type of a current encoding block, a size of a block to be currently encoded, and a SAD of the current picture and the reference picture.
  • the priority determiner 314 determines the priority of the candidates of the reference pictures based on the quantization parameter when the division type of the block to be currently encoded is greater than or equal to the set size. Priority may be determined based on the distance of the picture.
  • the priority determiner 314 may determine the priority of candidates of the reference pictures from the order in which the SAD with the current picture is the smallest.
  • the reference picture indexing unit 316 adaptively indexes the reference picture according to the block to be currently encoded based on the priority determined by the priority determining unit 314 (S705).
  • the index of the reference picture is encoded by the index encoder 318 and transmitted to the image decoding apparatus 800 in a bitstream.
  • an image decoding apparatus may include a reference picture indexer 810 and an image decoder 820.
  • the reference picture indexer 810 decodes the index information extracted from the bitstream, determines the priority according to the current block to be decoded for the candidates of the reference pictures, and decodes based on the determined priority and the decoded index information. Adaptively determine the reference picture for the current block. For example, when the image encoding apparatus 300 encodes an image by adaptively indexing a reference picture according to a current block based on a quantization parameter, the reference picture indexer 810 may determine index information received from a bitstream. The reference picture corresponding to the decoded index information from the indexed reference picture may be determined in the same manner as the reference picture indexing method performed by the image encoding apparatus 300.
  • the priority determiner 810 is received from the bitstream.
  • the reference picture may be determined in the same manner as the above-described method based on the index information.
  • the priority determiner 810 is included in a slice header or an arbitrary header and transmitted. It is preferable to select the reference picture based on the index information of the referred reference pictures.
  • the priority determiner 810 determines the priority of the reference picture or indexes the candidates of the reference pictures based on at least one of the quantization parameter, the partition type of the current decoding block, and the size of the current decoding block.
  • a reference picture can be selected based on the information.
  • the image decoder 820 reconstructs the current block based on the reference picture corresponding to the priority of the reference picture determined by the reference picture indexer 810.
  • the process of reconstructing the current block with respect to the reference picture follows a general decoding process, and a detailed description thereof will be omitted.
  • FIG. 9 is a diagram schematically illustrating a reference picture indexing apparatus according to another embodiment of the present invention.
  • the reference picture indexing apparatus according to the embodiment of the present invention may be used as the reference picture indexer 810 of FIG. 8.
  • the reference picture indexing apparatus 810 may include a candidate reference picture setting unit 812, a priority determining unit 814, a reference picture indexing unit 816, and an index information extraction unit 818. .
  • the candidate reference picture setting unit 812 sets candidates of reference pictures for the current block to be decoded.
  • the candidate reference picture setting unit 812 may set candidates of the reference pictures in a B picture encoding structure, a P picture encoding structure, or an encoding structure using inter prediction.
  • the priority determiner 814 determines the priorities of the current pictures to be decoded with respect to the candidates of the reference pictures set by the candidate reference picture setting unit 812. At this time, the priority determiner 814 is based on information including at least one of the quantization parameter, the partition type of the current block to be decoded, the size of the current block to be decoded, the current picture and the SAD of the reference picture with respect to the candidates of the reference pictures. To determine the priority. In addition, the priority determiner 814 determines the priority based on the quantization parameter when the partition type of the current block to be decoded with respect to the candidates of the reference pictures is greater than or equal to the set size. Priority may be determined based on the distance of the picture. In addition, the priority determiner 814 may determine the priority of candidates of the reference pictures from the order in which the SAD with the current picture is the smallest.
  • the reference picture indexing unit 816 adaptively indexes the reference picture according to the current block to be decoded based on the priority determined by the priority determining unit 814.
  • the index information extractor 818 extracts and decodes index information from the bitstream received from the image encoding apparatus 300.
  • the reference picture indexing apparatus 810 determines the reference picture from candidates of the reference pictures in response to the index information decoded by the index information extractor 818.
  • the priority determiner 810 decodes the index information extracted from the bitstream (S1001).
  • the priority determiner 810 adaptively determines the priority of the candidates of the reference pictures according to the current block to be decoded based on the decoded index information (S1003). For example, when the image encoding apparatus 300 encodes an image by adaptively indexing a reference picture according to a current block based on a quantization parameter, the priority determiner 810 may apply to index information received from a bitstream.
  • the reference picture may be determined based on the same method as the reference picture indexing method performed by the image encoding apparatus 300.
  • the priority determiner 810 is received from the bitstream.
  • the reference picture may be determined in the same manner based on the index information.
  • the priority determiner 810 is included in a slice header or an arbitrary header and transmitted. It is preferable to select the reference picture based on the index information of the referred reference pictures.
  • the priority determiner 810 determines the priority of the reference picture or indexes the candidates of the reference pictures based on at least one of the quantization parameter, the partition type of the current decoding block, and the size of the current decoding block.
  • a reference picture can be selected based on the information.
  • the image decoder 820 reconstructs the current block based on the reference picture corresponding to the priority of the reference picture determined by the priority determiner 810 (S1005).
  • reference picture indexing in case of reference pictures configured with a B picture coding structure or when encoding by bi-prediction in inter prediction, reference picture indexing (hereinafter referred to as integrated reference picture indexing) may be performed without distinguishing between the L0 direction and the L1 direction.
  • integrated reference picture indexing For example, assuming that the I picture has a quantization parameter of 22, the P picture has a quantization parameter of 26, and the B picture has a quantization parameter of 30 with respect to candidates of reference pictures set to a hierarchical B picture coding structure as shown in FIG.
  • the priority determiner 314 may determine the priority based on the quantization parameter, the distance between the pictures, and the direction of the reference picture. In this case, if the picture to be encoded currently is 5 and 4 reference pictures are selected, the reference picture indexing unit 316 may index the reference picture as shown in Table 9 below.
  • the image encoding apparatus 300 should encode whether or not bidirectional prediction is performed.
  • a reference picture index is encoded by referring to Table 9.
  • a reference picture index may be encoded with reference to Table 9, or a reference picture index may be encoded with reference to Table 2. This is the same for the hierarchical P picture coding structure.
  • the image encoding apparatus 300 may encode information indicating that the integrated reference picture indexing is used in a slice header, a picture header, a sequence header, and the like.
  • the integrated reference picture indexing may be used in the same way.
  • the integrated reference picture indexing may not be used, and in the case of the b picture that is not used as the reference picture, the integrated reference picture indexing may be used.
  • the integrated reference picture indexing may be used, and in the case of the B picture, the integrated reference picture indexing may not be used.
  • the image encoding apparatus 300 and the image decoding apparatus 800 may perform reference picture indexing through the priority determining units 314 and 814 having the same function.
  • a header of a picture The reference picture indexing table can be encoded in the slice header and the like.
  • the criteria of the priority determiners 314 and 814 may include distances between pictures other than the quantization parameter, SAD, sum of square error (SSE), direction of the reference picture, interpolation resolution of the reference picture, encoding resolution of the reference picture, and the like. It is available.
  • priorities of the reference pictures configured with the hierarchical B picture coding structure as shown in FIG. 2 may be determined based on the direction of the reference picture and the distance between the pictures. In this case, if the current picture to be encoded is 5 and 4 reference pictures are selected, the reference picture indexing unit 316 may index the reference pictures as shown in Tables 10, 11, and 12.
  • the L0 direction has a high priority.
  • the L1 direction has a high priority.
  • the reference picture indexing unit 316 of the image encoding apparatus 300 and the reference picture indexing unit 816 of the image decoding apparatus 800 may perform the indexing of the reference picture in the same manner.
  • the index encoder 318 encodes the index of the reference picture indexed by the reference picture indexing unit 316, and the index information extractor 818 decodes the index information extracted from the bitstream.
  • the index encoder 318 encodes the index of the reference picture indexed by the reference picture indexer 316 or the index information extractor 818 with reference to Table 8.
  • a bitstream in which the index encoder 318 encodes an index of the reference picture indexed by the reference picture indexer 316 using a context, or the index information extractor 818 is extracted from the bitstream.
  • different contexts may be used.
  • L0 refers to Table 13 in which the index encoder 318 encodes the index of the reference picture indexed by the reference picture indexer 316, or the index information extractor 818 is extracted from the bitstream. Decode the index information extracted from the bitstream, and L1 refers to Table 14, the index encoder 318 encodes the index of the reference picture indexed by the reference picture indexing unit 316, or index information extractor ( 818 may decode index information extracted from the bitstream extracted from the bitstream.
  • the index encoder 318 encodes the index of the reference picture indexed by the reference picture indexer 316 using the context, or the index information extractor 818 is extracted from the bitstream extracted from the bitstream. Even when index information is decoded, L0 using Table 13 and L1 using Table 14 may use different contexts.
  • the quantization parameter in the encoding of a B picture, the encoding of a P picture, the encoding using inter prediction, and the like, the quantization parameter, the partitioned form of the current block to be encoded, and the block to be currently encoded according to the current block to be encoded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 부호화/복호화 장치 및 방법, 및 참조픽처 인덱싱 장치 및 방법이 개시된다. 본 발명의 실시예에 따른 참조픽처 인덱싱 장치는, 움직임 벡터를 추정하기 위하여 참조 픽처를 인덱싱하는 참조 픽처 인덱싱 장치에 있어서, 참조 픽처들의 후보들을 설정하는 후보 참조픽처 설정부; 후보 참조픽처 설정부에 의해 설정된 참조 픽처들의 후보들에 대하여, 현재 부호화할 블록에 따른 우선순위를 결정하는 우선순위 결정부; 및 우선순위 결정부에 의해 결정된 우선순위에 기초하여 현재 부호화할 블록에 따라 적응적으로 참조 픽처를 인덱싱하는 참조픽처 인덱싱부를 포함하는 것을 특징으로 한다.

Description

영상 부호화/복호화 장치 및 방법, 및 참조픽처 인덱싱 장치 및 방법
본 발명의 실시예는 영상 부호화/복호화 장치 및 방법, 및 참조픽처 인덱싱 장치에 관한 것이다. 보다 상세하게는, B 픽처의 부호화, P 픽처의 부호화, 인터 예측 부호화 등에 있어서 부호화할 현재 블록에 따라 양자화 파라미터, 현재 부호화할 블록의 분할 형태, 현재 부호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD 등을 고려하여 적응적으로 참조 픽처를 인덱스함으로써, 현재 부호화할 블록 또는 임의의 단위에 대하여 실질적인 최적의 참조 픽처를 선택할 수 있도록 하는 영상 부호화 장치 및 방법, 및 참조픽처 인덱싱 장치 및 방법에 관한 것이다. 또한, 비트스트림으로부터 추출한 인덱스 정보에 기초하여 복호화할 현재 블록에 따라 양자화 파라미터, 현재 복호화할 블록의 분할 형태, 현재 복호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD 등을 고려하여 적응적으로 참조 픽처를 선택하여 현재 블록을 복원함으로써, 현재 블록에 대한 복원 효율을 높일 수 있는 영상 복호화 장치 및 방법에 관한 것이다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)는 기존의 MPEG-4 Part 2와 H.263 표준안보다 더욱 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced Video Coding)라고 하며, MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동 발표되었다.
이와 같은 영상 압축 방식에서는 영상을 부호화하기 위해서 하나의 픽처(picture)를 소정의 영상 처리 단위 예를 들어, 소정 크기의 블록으로 나누고 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)을 이용해서 각각의 블록을 부호화한다. 이때, 데이터 크기 및 블록의 왜곡 정도를 고려하여 최적의 부호화 모드를 선택하고, 선택된 모드에 따라 블록을 부호화한다.
인터 예측은 픽처들 사이의 시간적인 중복성을 제거하여 영상을 압축하는 방법으로 움직임 추정 부호화 방법이 대표적인 예이다. 움직임 추정 부호화는 적어도 하나의 참조 픽처를 이용하여 현재 픽처의 움직임을 블록 단위로 추정하고, 움직임 추정 결과에 기초하여 각각의 블록을 예측한다.
현재 블록의 예측을 위해 움직임 추정 부호화에서는 소정의 평가 함수를 이용하여 현재 블록과 가장 유사한 블록을 참조 픽처의 정해진 검색 범위에서 검색한다. 유사한 블록이 검색되면, 현재 블록과 참조 픽처 내의 유사한 블록 사이의 잔차(residual) 데이터만 부호화하여 전송함으로써 데이터의 압축률을 높인다.
도 1은 종래의 기술에 따른 복수의 참조 픽처를 이용하여 현재 픽처의 블록들을 예측하는 방법을 설명하기 위해 도시한 도면이다. 도 1을 참조하면, 현재 픽처인 P(n)(110)에 포함된 블록들(112, 114, 116)을 예측하기 위해, 복수의 픽처들(120, 130, 140)을 참조할 수 있다. 픽처 P(n-1)(120)는 현재 픽처의 바로 이전 픽처로서 현재 픽처에 시간적으로 가장 인접한 픽처이고, 픽처 P(n-2)(130) 및 픽처 P(n-3)(140)로 갈수록 현재 픽처와의 시간 간격은 커진다.
P(n)에 포함된 블록들(112, 114, 116)을 예측 부호화하기 위해서 복수의 참조 픽처를 검색하므로, 현재 픽처의 블록들을 예측하는데 이용되는 참조 블록들(122, 132 및 142)은 각각 서로 다른 픽처에 존재하는 블록들일 수 있다. 도 1에서는 현재 픽처(110)보다 시간적으로 선행하는 픽처들을 참조하여 예측을 수행하는 경우를 예로서 설명하였으나, 현재 픽처(110)가 B 픽처(Bi-directional Predictive Picture)인 경우에는 현재 픽처보다 시간적으로 선행하는 픽처들은 물론 시간적으로 후행하는 픽처들도 현재 픽처(110)의 예측에 이용될 수 있다.
현재 픽처(110)의 블록들(112, 114 및 116)을 예측하여 각각의 잔차 블록을 생성하며, 그런 다음 블록들(112, 114 및 116) 각각의 잔차 블록, 움직임 벡터 및 참조 픽처 인덱스를 부호화함으로써 현재 픽처(110)에 포함된 블록들을 부호화할 수 있다. 여기서, 참조 픽처 인덱스는 인터 예측에서 복수의 참조 픽처들 중 어떠한 참조 픽처가 이용되는지를 특정하기 위한 정보이다.
한편, 계층적 B-픽처(Hierarchical B-picture)를 이용한 기존의 동영상 부호화 방법은 MPEG-1, MPEG-2, MPEG-4 Part 2 Visual, MPEG-4 Part 10 AVC 또는 ITU-T H.264 등 기존의 동영상 국제 표준에서 사용되는 블록 단위 동영상 부호화 기법에서 블록 단위 MCTF(Motion Compensated Temporal Filtering) 방식과 같은 방식으로 시간적 스케일러빌리티(Temporal Scalability) 기능을 추가하기 위해 기존의 양방향에서 움직임을 예측하는 B 픽처를 이용해 계층적(Hierarchical)으로 예측을 수행하여 부호화하는 방식이다.
도 2는 일반적인 계층적 B 픽처의 부호화 구조를 설명하기 위해 도시한 도면이다. 일반적인 계층적 B 픽처의 부호화 방법은 도 2에 도시한 바와 같이 B를 7장 사용하는 계층적 B 픽처의 부호화 구조의 경우, 참조 픽처로 사용할 수 있는 픽처를 GOP(Group Of Picture) 단위로 설정해 두고 참조 픽처로 사용할 수 있는 픽처들 중에서 참조 픽처로 둘 수 있는 개수에 따라서 픽처 단위마다 픽처간의 거리로 참조 픽처 인덱 인덱싱을 한다. 여기서, 참조 픽처로 사용할 수 있는 픽처는 I, P, B 픽처이며, b 픽처는 참조 픽처로 사용하지 않는다. 따라서, 현재 부호화할 픽처보다 먼저 부호화된 픽처들 중에서 I, P, B 픽처들을 참조 픽처로 하고, 현재 부호화할 픽처와 가까운 순서대로 참조 픽처 인덱싱을 한다. 참조 픽처로 4개를 두고 현재 부호화할 픽처가 7번 픽처라고 하면, 픽처의 부호화 순서는 0 -> 8 -> 4 -> 2 -> 1 -> 3 -> 6 -> 5 -> 7 -> 16 -> 12 -> 10 -> 9 -> 11 -> 14 -> 13 -> 15 … 이므로, 7번 픽처를 부호화할 경우에 0, 1, 2, 3, 4, 5, 6, 8번 픽처들이 부호화된 상태이며, 참조 픽처로 사용할 수 있는 픽처는 I 픽처인 0번, P 픽처인 8번, B 픽처인 2, 4, 6번이다. 따라서, 0, 2, 4, 6, 8번 픽처와 7번 픽처의 거리에 따라 참조 픽처의 방향 별로 인덱싱하여 표 1과 같이 나타낼 수 있다.
표 1
Figure PCTKR2011006087-appb-T000001
그런데, 이와 같은 참조 픽처를 인덱싱하는 방법은 동일한 참조 픽처들의 후보들을 동일하게 인덱싱하여 참조 픽처를 찾는 것이기 때문에, 현재 부호화할 블록 또는 임의의 단위에 대하여 실질적으로 부호화 효율이 가장 좋은 참조 픽처가 선택되지 않을 수도 있다는 문제점이 있다.
본 발명의 실시예에 따른 영상 부호화 장치 및 방법, 및 참조픽처 인덱싱 장치 및 방법은 전술한 문제점을 해결하기 위하여 창안된 것으로서, B 픽처의 부호화, P 픽처 부호화, 인터 예측 부호화 등에 있어서 부호화할 현재 블록에 따라 양자화 파라미터, 현재 부호화할 블록의 분할 형태, 현재 부호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD 등을 고려하여 적응적으로 참조 블록을 인덱스함으로써, 현재 부호화할 블록 또는 임의의 단위에 대하여 실질적인 최적의 참조 픽처를 선택할 수 있도록 하는 영상 부호화 장치 및 방법, 및 참조픽처 인덱싱 장치 및 방법을 제공하는 것을 목적으로 한다.
또한, 비트스트림으로부터 추출한 인덱스 정보에 기초하여 복호화할 현재 블록에 따라 양자화 파라미터, 현재 복호화할 블록의 분할 형태, 현재 복호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD 등을 고려하여 적응적으로 참조 픽처를 선택하여 현재 블록을 복원함으로써, 현재 블록에 대한 복원 효율을 높일 수 있는 영상 복호화 장치 및 방법을 제공하는 것을 목적으로 한다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 부호화/복호화 장치는, 현재블록의 움직임벡터를 추정하기 위하여 참조 픽처들의 후보들에 대해 현재블록에 따른 우선순위를 결정하고, 결정된 우선순위에 기초하여 적응적으로 참조 픽처를 인덱싱하며, 참조 픽처의 인덱스 정보를 전송하는 영상 부호화기; 및 현재 블록을 복호화하기 위하여 참조 픽처들의 후보들에 대해 현재블록에 따른 우선순위를 결정하고 결정된 우선순위에 기초하여 비트스트림으로부터 추출되는 인덱스 정보를 이용하여 복호화할 현재블록을 복원하는 영상 복호화기를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 부호화 장치는, 현재블록의 움직임벡터를 결정하고, 결정되는 움직임벡터를 이용하여 현재블록을 예측 부호화하는 영상 부호화기; 및 움직임벡터를 추정하기 위하여 참조 픽처들의 후보들에 대해 현재블록에 따른 우선순위를 결정하고, 결정된 우선순위에 기초하여 적응적으로 참조 픽처를 인덱싱하는 참조픽처 인덱스기를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 참조픽처 인덱싱 장치는, 움직임 벡터를 추정하기 위하여 참조 픽처를 인덱싱하는 참조픽처 인덱싱 장치에 있어서, 참조 픽처들의 후보들을 설정하는 후보 참조픽처 설정부; 후보 참조픽처 설정부에 의해 설정된 참조 픽처들의 후보들에 대하여, 현재 부호화할 블록에 따른 우선순위를 결정하는 우선순위 결정부; 및 우선순위 결정부에 의해 결정된 우선순위에 기초하여 현재 부호화할 블록에 따라 적응적으로 참조 픽처를 인덱싱하는 참조픽처 인덱싱부; 참조픽처 인덱싱부에 의해 인덱싱된 참조픽처의 인덱스를 부호화하는 인덱스 부호화부를 포함하는 것을 특징으로 한다.
여기서, 후보 참조픽처 설정부는, B 픽처 부호화 구조로 참조 픽처들의 후보들을 설정할 수 있다.
또는, 후보 참조픽처 설정부는, P 픽처부호화 구조로 참조 픽처들의 후보들을 설정할 수도 있다.
또는, 후보 참조픽처 설정부는, 인터 예측을 사용하는 임의의 부호화 단위로 참조 픽처들의 후보들을 설정할 수도 있다.
또한, 우선순위 결정부는, 참조 픽처들의 후보들에 대하여 양자화 파라미터, 현재 부호화할 블록의 분할 형태, 현재 부호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD(Sum of Absolute Difference), 픽처 간의 거리, SSE(Sum of Square Error), 참조 픽처의 방향, 참조 픽처의 보간 해상도, 참조 픽처의 부호화 해상도 중의 적어도 하나에 기초하여 우선순위를 결정할 수 있다.
또한, 우선순위 결정부는, 참조 픽처들의 후보들에 대하여 현재 부호화할 블록의 분할 형태가 설정된 크기 이상인 경우에는 양자화 파라미터를 기준으로 우선순위를 결정하고, 설정된 크기보다 작은 경우에는 현재 픽처와 참조 픽처의 거리에 기초하여 우선순위를 결정할 수 있다.
또한, 우선순위 결정부는, 참조 픽처들의 후보들에 대하여 현재 픽처와의 사이의 SAD가 가장 작은 순서로부터 우선순위를 결정할 수 있다.
상기 우선순위 결정부는, B 픽처 부호화 구조로 설정된 참조 픽처들의 경우 또는 인터 예측에서 양방향 예측으로 부호화 하는 경우, L0 방향과 L1 방향의 구분 없이 참조 픽처 인덱싱을 할 수 있다.
전술한 목적을 달성하기 위한 영상 복호화 장치는, 비트스트림으로부터 추출되는 인덱스 정보를 복호화하며, 참조 픽처들의 후보들에 대해 복호화할 현재블록에 따른 우선순위를 결정하고, 결정된 우선순위 및 인덱스 정보에 기초하여 참조픽처를 결정하는 참조픽처 인덱스기; 및 결정된 참조 픽처에 기초하여 상기 현재블록을 복원하는 영상 복호화기를 포함하는 것을 특징으로 한다.
여기서, 참조픽처 인덱스기는, 참조 픽처들의 후보들에 대하여 양자화 파라미터, 현재 복호화할 블록의 분할 형태, 현재 복호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD, 픽처 간의 거리, SSE(Sum of Square Error), 참조 픽처의 방향, 참조 픽처의 보간 해상도, 참조 픽처의 부호화 해상도 중의 적어도 하나에 기초하여 우선순위를 결정할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 참조 픽처 인덱싱 장치의 다른 실시예는, 영상 복호화기에 이용되는 참조 픽처 인덱싱 장치에 있어서, 참조 픽처들의 후보들을 설정하는 후보 참조픽처 설정부; 후보 참조픽처 설정부에 의해 설정된 참조 픽처들의 후보들에 대하여, 복호화할 현재블록에 따른 우선순위를 결정하는 우선순위 결정부; 우선순위 결정부에 의해 결정된 우선순위에 기초하여 복호화할 현재블록에 따라 적응적으로 참조 픽처를 인덱싱하는 참조픽처 인덱싱부; 및 비트스트림으로부터 추출되는 인덱스 정보를 복호화하는 인덱스 정보 추출부를 포함하며, 인덱싱된 참조 픽처의 인덱스 및 복호된 인덱스 정보에 기초하여 참조픽처를 결정하는 것을 특징으로 한다.
여기서, 후보 참조픽처 설정부는, B 픽처 부호화 구조로 상기 참조 픽처들의 후보들을 설정할 수 있다.
또한, 후보 참조픽처 설정부는, P 픽처 부호화 구조로 참조 픽처들의 후보들을 설정할 수 있다.
또한, 후보 참조픽처 설정부는, 인터 예측을 사용하는 부호화 구조로 참조 픽처들의 후보들을 설정할 수 있다.
또한, 우선순위 결정부는, 참조 픽처들의 후보들에 대하여 양자화 파라미터, 복호화할 현재블록의 분할 형태, 복호화할 현재블록의 크기, 현재 픽처와 참조 픽처의 SAD(Sum of Absolute Difference), 픽처 간의 거리, SSE(Sum of Square Error), 참조 픽처의 방향, 참조 픽처의 보간 해상도, 참조 픽처의 부호화 해상도 중의 적어도 하나에 기초하여 우선순위를 결정할 수 있다.
또한, 우선순위 결정부는, 참조 픽처들의 후보들에 대하여 복호화할 현재블록의 분할 형태가 설정된 크기 이상인 경우에는 양자화 파라미터를 기준으로 우선순위를 결정하고, 설정된 크기보다 작은 경우에는 현재 픽처와 참조 픽처의 거리에 기초하여 우선순위를 결정할 수 있다.
또한, 우선순위 결정부는, 참조 픽처들의 후보들에 대하여 현재 픽처와의 사이의 SAD가 가장 작은 순서로부터 우선순위를 결정할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 부호화/복호화 방법은, 현재블록의 움직임벡터를 추정하기 위하여 참조 픽처들의 후보들에 대해 현재블록에 따른 우선순위를 결정하고, 결정된 우선순위에 기초하여 적응적으로 참조 픽처를 인덱싱하며, 참조 픽처의 인덱스 정보를 전송하는 단계; 및 참조 픽처들의 후보들에 대한 우선순위를 복호화할 현재블록에 따라 적응적으로 결정하며, 결정된 우선순위에 대응하는 비트스트림으로부터 추출되는 인덱스 정보에 기초하여 복호화할 상기 현재블록을 복원하는 단계를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 부호화 방법은, 참조 픽처들의 후보를 설정하는 단계; 움직임벡터를 추정하기 위하여 참조 픽처들의 후보에 대해 현재블록에 따른 우선순위를 결정하는 단계; 결정된 우선순위에 기초하여 적응적으로 참조 픽처를 인덱싱하는 단계; 인덱싱한 참조 픽처에 기초하여 현재블록의 움직임벡터를 결정하는 단계; 및 결정되는 움직임벡터를 이용하여 현재블록을 예측 부호화하는 단계를 포함하는 것을 특징으로 한다.
영상 부호화 방법은, 참조 픽처의 후보를 Slice, 영상, 또는 픽처 단위로 부호화할 수 있다. 또한, 참조 픽처 후보의 우선순위를 Slice, 영상, 또는 픽처 단위로 부호화할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 참조픽처 인덱싱 방법은, 움직임 벡터를 추정하기 위하여 참조 픽처를 인덱싱하는 참조픽처 인덱싱 방법에 있어서, 참조 픽처들의 후보를 설정하는 단계; 설정된 참조 픽처들의 후보에 대하여, 현재 부호화할 블록에 따른 우선순위를 결정하는 단계; 결정된 우선순위에 기초하여 현재 부호화할 블록에 따라 적응적으로 참조 픽처를 인덱싱하는 단계; 및 인덱싱된 참조픽처의 인덱스를 부호화하는 단계를 포함하는 것을 특징으로 한다.
여기서, 참조픽처 후보 설정단계는, B 픽처 부호화 구조로 참조 픽처들의 후보들을 설정할 수 있다.
또한, 참조픽처 후보 설정단계는, P 픽처 부호화 구조로 참조 픽처들의 후보들을 설정할 수도 있다.
또한, 참조픽처 후보 설정단계는, 인터 예측을 사용하는 임의의 단위로 참조 픽처들의 후보들을 설정할 수도 있다. 또한, 우선순위 결정단계는, 참조 픽처들의 후보에 대하여 양자화 파라미터, 현재 부호화할 블록의 분할 형태, 현재 부호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD, 픽처 간의 거리, SSE(Sum of Square Error), 참조 픽처의 방향, 참조 픽처의 보간 해상도, 참조 픽처의 부호화 해상도 중의 적어도 하나에 기초하여 우선순위를 결정할 수 있다.
또한, 우선순위 결정단계는, 참조 픽처들의 후보에 대하여 현재 부호화할 블록의 분할 형태가 설정된 크기 이상인 경우에는 양자화 파라미터를 기준으로 우선순위를 결정하고, 설정된 크기보다 작은 경우에는 현재 픽처와 참조 픽처의 거리에 기초하여 우선순위를 결정할 수 있다.
또한, 우선순위 결정단계는, 참조 픽처들의 후보들에 대하여 현재 픽처와의 사이의 SAD가 가장 작은 순서로부터 우선순위를 결정할 수 있다.
상기 우선순위 결정단계는, B 픽처 부호화 구조로 설정된 참조 픽처들의 경우 또는 인터 예측에서 양방향 예측으로 부호화 하는 경우, L0 방향과 L1 방향의 구분 없이 참조 픽처 인덱싱을 할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 복호화 방법은, 비트스트림으로부터 추출되는 인덱스 정보를 복호화하는 단계; 임의의 기준에 기초하여 참조 픽처들의 후보들에 대한 우선순위를 복호화할 현재블록에 따라 적응적으로 결정하는 단계; 및 결정된 우선순위에 대응하는 참조 픽처에 기초하여 현재블록을 복원하는 단계를 포함하는 것을 특징으로 한다.
여기서, 우선순위 결정단계는, 참조 픽처들의 후보들에 대하여 양자화 파라미터, 현재 복호화할 블록의 분할 형태, 현재 복호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD, 픽처 간의 거리, SSE(Sum of Square Error), 참조 픽처의 방향, 참조 픽처의 보간 해상도, 참조 픽처의 부호화 해상도 중의 적어도 하나에 기초하여 우선순위를 결정할 수 있다.
본 발명의 실시예에 따른 영상 부호화 장치 및 방법, 및 참조픽처 인덱상 장치 및 방법은, B 픽처의 부호화, P 픽처 부호화, 인터 예측 부호화 등에 있어서 부호화할 현재 블록에 따라 양자화 파라미터, 현재 부호화할 블록의 분할 형태, 현재 부호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD 등을 고려하여 적응적으로 참조 블록을 인덱스함으로써, 현재 부호화할 블록 또는 임의의 단위에 대하여 실질적인 최적의 참조 픽처를 선택할 수 있도록 한다.
또한, 본 발명의 실시예에 따른 영상 복호화 장치 및 방법은, 비트스트림으로부터 추출한 인덱스 정보에 기초하여 복호화할 현재 블록에 따라 양자화 파라미터, 현재 복호화할 블록의 분할 형태, 현재 복호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD 등을 고려하여 적응적으로 참조 블록을 선택하여 현재 블록을 복원함으로써, 현재 블록에 대한 복원 효율을 높일 수 있도록 한다.
도 1은 종래의 기술에 따른 복수의 참조 픽처를 이용하여 현재 픽처의 블록들을 예측하는 방법을 설명하기 위해 도시한 도면이다.
도 2는 계층적 B 픽처 부호화 구조의 예를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 참조픽처 인덱싱 부호화 장치의 예를 개략적으로 도시한 도면이다.
도 5는 IPPP 부호화 구조의 예를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 부호화 방법을 나타낸 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 참조픽처 인덱싱 방법을 나타낸 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 도시한 도면이다.
도 9는 본 발명의 다른 실시예에 따른 참조픽처 인덱싱 장치의 예를 개략적으로 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 영상 복호화 방법을 나타낸 흐름도이다.
[부호의 설명]
300: 영상 부호화 장치
310: 참조픽처 인덱스기
320: 영상 부호화기
312: 후보 참조픽처 설정부
314: 우선순위 결정부
316: 참조픽처 인덱싱부
도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 도면이다. 본 발명의 일 실시예에 따른 영상 부호화 장치(300)는 영상을 부호화하는 장치로서, 참조픽처 인덱스기(310)와 영상 부호화기(320)를 포함하여 구성될 수 있다.
참조픽처 인덱스기(310)는 부호화하고자 하는 현재 블록의 움직임벡터를 추정하기 위하여 참조 픽처들의 후보들에 대해 현재 블록에 따른 우선순위를 결정하고, 결정된 우선순위에 기초하여 적응적으로 참조 픽처를 인덱싱한다. 참조 픽처 인덱스기(310)에 대해서는 후술하는 과정에서 도 4를 통해 상세히 설명한다.
영상 부호화기(320)는 현재블록의 움직임벡터인 현재 움직임벡터를 결정하고, 결정된 현재 움직임벡터를 이용하여 현재블록을 예측 부호화한다. 이와 같이 현재 블록이 예측 부호화되어 영상 데이터가 생성된다.
이를 위해, 영상 부호화기(320)는 예측기(Predictor), 감산기(Subtracter), 변환기 및 양자화기(Transformer and Quantizer), 부호화기(Encoder)를 포함하여 구성될 수 있으며, 역 양자화기 및 역 변환기(Inverse Transformer and Inverse Quantizer), 가산기(Adder), 디블로킹 필터(Deblocking Filter), 메모리(Memory) 등을 추가로 포함할 수 있다. 여기서, 예측기는 현재 블록의 움직임을 추정하여 현재 움직임 벡터를 결정하고 현재 움직임 벡터를 이용하여 현재 블록의 움직임을 보상하여 예측 블록(Predicted Block)을 생성하며, 감산기는 현재 블록과 예측 블록을 감산하여 잔여 블록(Residual Block)을 생성하며, 변환기 및 양자화기는 잔여 블록을 변환 및 양자화하여 양자화된 변환 계수(Quantized Transform Coefficient)를 생성하며, 부호화기는 양자화된 변환 계수를 부호화하여 영상 데이터를 생성한다. 또한, 역 양자화기 및 역 변환기는 양자화된 변환 계수를 역 양자화 및 역 변환하여 잔여 블록을 복원하고 가산기는 예측 블록과 복원되는 잔여 블록을 가산하여 현재 블록을 복원하며, 복원된 현재 블록은 디블로킹 필터(Deblocking Filter)에 의해 디블로킹 필터링되어 메모리에 픽처 단위로 누적되어 참조 픽처로서 저장되고 다음 블록 또는 다음 픽처를 예측하는 데 활용된다. 영상 부호화기(320)의 각 구성요소에 대한 구체적인 설명은 본 발명의 요지를 벗어나는 것이므로, 여기서는 그 상세한 설명은 생략한다.
도 4는 본 발명의 일 실시예에 따른 참조픽처 인덱싱 장치의 예를 개략적으로 도시한 도면이다. 본 발명의 일 실시예에 따른 참조픽처 인덱싱 장치는, 도 3을 통해 전술한 영상 부호화 장치(300)의 참조픽처 인덱스기(310)로 구현될 수 있다. 이하에서는 설명의 편의를 위해, 본 발명의 일 실시예에 따른 참조픽처 인덱싱 장치를 참조픽처 인덱스기(310)라 명명한다.
참조픽처 인덱스기(310)는 후보 참조픽처 설정부(312), 우선순위 결정부(314), 참조픽처 인덱싱부(316) 및 인덱스 부호화부(318)를 구비할 수 있다.
후보 참조픽처 설정부(312)는 참조 픽처들의 후보들을 설정한다. 이때, 후보 참조픽처 설정부(312)는 계층적 B 픽처 부호화 구조로 참조 픽처들의 후보들을 설정할 수 있다. 즉, 스케일러블 비디오 부호화(SVC: Scalable Video Coding)를 위하여, 시간 계위성(Temporal Scalability)을 지원하는 계층적 B 픽처 부호화 구조를 채택할 수 있다. 계층적 B 픽처 부호화 기술은 다양한 시간 해상도를 지원하기 위한 시간 분해 구조로 폐루프(closed loop) 구조를 기반으로 하며, 시간 계위에 따른 분해 레벨(decomposition level)을 갖는다. 스케일러블 비디오 부호화의 계층적 B 픽처 부호화는 주화면(key picture)인 I/P 픽처 사이에 B 픽처를 삽입함으로써 시간 계위성을 얻을 수 있다. 후보 참조픽처 설정부(312)는 도 2에 도시한 바와 같이, GOP의 크기가 8(=2N, N=3)인 계층적 B 픽처 부호화 구조로 GOP 구조를 설정할 수 있다. 여기서 N은 정수로 나타낼 수 있으며 총 (N+1)개의 시간 해상도를 가지는 비트스트림으로 부호화할 수 있다. 그러나, GOP의 크기는 기재한 설명에 한정되는 것이 아니며, 다양한 변형이 가능하다.
우선순위 결정부(314)는 후보 참조픽처 설정부(312)에 의해 설정된 참조 픽처들의 후보들에 대하여, 현재 부호화할 블록에 따른 우선순위를 결정한다. 이때, 우선순위 결정부(314)는 참조 픽처들의 후보들에 대하여 양자화 파라미터, 현재 부호화할 블록의 분할 형태, 현재 부호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD(Sum of Absolute Difference) 중의 적어도 하나에 기초하여 우선순위를 결정할 수 있다.
참조픽처 인덱싱부(316)는 우선순위 결정부(314)에 의해 결정된 우선순위에 기초하여 현재 부호화할 블록에 따라 적응적으로 참조 픽처를 인덱싱한다. 예를 들어, 도 2와 같은 계층적 B 픽처 부호화 구조로 설정된 참조 픽처들의 후보들에 대하여 I 픽처의 양자화 파라미터는 22이고, P 픽처의 양자화 파라미터는 24이며, B 픽처의 양자화 파라미터는 23이고, b 픽처의 양자화 파라미터는 26이라고 가정하면, 우선순위 결정부(314)는 양자화 파라미터를 기준으로 우선순위를 결정할 수 있다. 이때, 현재 부호화할 픽처가 7번이며 4장의 참조 픽처를 선택한다고 하면, 참조픽처 인덱싱부(316)는 표 2와 같이 참조 픽처를 인덱싱할 수 있다.
표 2
Figure PCTKR2011006087-appb-T000002
여기서, L1 방향의 경우에 원칙적으로 8번 픽처만을 참조 픽처로 사용할 수 있지만, 부호화의 효율을 높이기 위하여 이미 부호화된 0, 6, 4번 픽처를 참조 픽처로 사용할 수 있다.
또는, 블록 혹은 임의의 단위 즉, 픽처 단위가 아닌 임의의 단위로 다른 양자화 파라미터를 사용하여 부호화한다면, 현재 부호화할 블록 또는 임의의 단위로 사용되는 양자화 파라미터보다 낮은 양자화 파라미터를 사용하는 임의의 단위는 참조 픽처로 사용할 수 있으며, 그 후보들의 인덱싱도 양자화 파라미터 또는 임의의 기준으로 할 수 있다.
또한, 우선순위 결정부(314)는 참조 픽처들의 후보들에 대하여 현재 부호화할 블록의 분할 형태가 설정된 크기 이상인 경우에는 양자화 파라미터를 기준으로 우선순위를 결정하고, 설정된 크기보다 작은 경우에는 현재 픽처와 참조 픽처의 거리에 기초하여 우선순위를 결정할 수 있다. 예를 들어, 도 2와 같은 계층적 B 픽처 부호화 구조로 설정된 참조 픽처들의 후보들에 대하여 현재 부호화할 블록의 분할 형태를 기준으로 하여 그 크기가 16x16 블록 이상인 경우에는 양자화 파라미터를 기준으로 우선순위를 결정하며, 16x8 또는 8x16 블록 이하인 경우에는 픽처 간의 거리에 기초하여 우선순위를 결정하는 경우, 양자화 파라미터의 값은 전술한 바와 동일하며, 부호화할 현재 픽처는 7번이며 현재 블록의 크기가 8x8이라고 가정하면, 참조픽처 인덱싱부(316)는 부호화할 현재 블록의 크기에 따라 표 3과 같이 적응적으로 참조 픽처를 인덱싱할 수 있다.
표 3
Figure PCTKR2011006087-appb-T000003
여기서, L1 방향의 경우에 원칙적으로 8번 픽처만을 참조 픽처로 사용할 수 있지만, 부호화의 효율을 높이기 위하여 이미 부호화된 6, 4, 2번 픽처를 참조 픽처로 사용할 수 있다.
또한, 우선순위 결정부(314)는 참조 픽처들의 후보들에 대하여 현재 픽처와의 사이의 SAD가 가장 작은 순서로 우선순위를 결정할 수도 있다. 예를 들어, 도 2와 같은 계층적 B 픽처 부호화 구조로 설정된 참조 픽처들의 후보들에 대하여 현재 부호화할 블록을 포함하는 픽처와 SAD를 기준으로 우선순위를 결정하는 경우, 현재 부호화할 픽처가 7번이며 7번과 SAD가 작은 순서가 4, 0, 8, 2, 5번이라고 가정하면, 참조픽처 인덱싱부(316)는 이미 부호화된 픽처와 현재 부호화할 픽처 사이의 SAD가 작은 픽처를 우선순위가 높은 것으로 보아 표 4와 같이 참조 픽처를 인덱싱할 수 있다.
표 4
Figure PCTKR2011006087-appb-T000004
여기서, L1 방향의 경우에 원칙적으로 8번 픽처만을 참조 픽처로 사용할 수 있지만, 부호화의 효율을 높이기 위하여 이미 부호화된 4, 0, 2번 픽처를 참조 픽처로 사용할 수 있다.
위에서는 계층적 B 픽처 부호화 구조의 참조 픽처 후보들에 대해 참조 픽처의 우선순위를 결정하여 참조 픽처를 인덱싱하는 것으로 설명하였지만, 계층적 B 픽처 부호화 구조가 아닌 일반적인 부호화 구조의 경우에도 동일한 방법이 적용될 수 있다. 예를 들어, 후보 참조픽처 설정부(312)는 도 5에 도시한 바와 같은 IPPP 부호화 구조로 참조 픽처들의 후보를 설정하고, 전술한 바와 같이 임의의 단위로 임의의 기준을 이용해서 부호화할 현재 블록에 따라 적응적으로 참조 픽처를 인덱싱할 수 있다.
예를 들어, 도 5와 같은 IPPP 부호화 구조에서 양자화 파라미터를 기준으로 4장의 참조 픽처를 인덱싱하는 경우, I 픽처의 양자화 파라미터는 22, P 픽처의 양자화 파라미터는 23과 24를 번갈아 가며 부호화하고, 현재 부호화할 픽처가 5번이라고 하면, 참조픽처 인덱싱부(316)는 표 5와 같이 참조 픽처를 선택하여 인덱싱할 수 있다.
표 5
Figure PCTKR2011006087-appb-T000005
또는, 블록 혹은 임의의 단위 즉, 픽처 단위가 아닌 임의의 단위로 다른 양자화 파라미터를 사용하여 부호화한다면, 현재 부호화할 블록 또는 임의의 단위로 사용되는 양자화 파라미터보다 낮은 양자화 파라미터를 사용하는 임의의 단위는 참조 픽처로 사용할 수 있으며, 그 후보들의 인덱싱도 양자화 파라미터 또는 임의의 기준으로 할 수 있다.
또는, 도 5와 같은 IPPP 부호화 구조로 설정된 참조 픽처들의 후보들에 대하여, 예를 들어 현재 부호화할 블록의 분할 형태를 기준으로 하여 그 크기가 16x16 블록 이상인 경우에는 양자화 파라미터를 기준으로 우선순위를 결정하며, 16x8 또는 8x16 블록 이하인 경우에는 픽처 간의 거리에 기초하여 우선순위를 결정하는 경우, 양자화 파라미터의 값은 전술한 바와 동일하며, 부호화할 현재 픽처는 5번이며 현재 블록의 크기가 8x8이라고 가정하면, 참조픽처 인덱싱부(316)는 부호화할 현재 블록의 크기에 따라 표 6과 같이 적응적으로 참조 픽처를 인덱싱할 수 있다.
표 6
Figure PCTKR2011006087-appb-T000006
또는, 도 5와 같은 IPPP 부호화 구조로 설정된 참조 픽처들의 후보들에 대하여 현재 부호화할 블록을 포함하는 픽처와 SAD를 기준으로 우선순위를 결정하는 경우, 현재 부호화할 픽처가 5번이며 5번과 SAD가 작은 순서가 3, 0, 4, 2번이라고 가정하면, 참조픽처 인덱싱부(316)는 이미 부호화된 픽처와 현재 부호화할 픽처 사이의 SAD가 작은 픽처를 우선순위가 높은 것으로 보아 표 7과 같이 참조 픽처를 인덱싱할 수 있다.
표 7
Figure PCTKR2011006087-appb-T000007
전술한 방법에 따라 임의의 단위로 참조 픽처의 후보와 그 후보들에 대한 인덱싱을 적응적으로 한 후 최적의 참조 픽처가 결정되면, 인덱스 부호화부(318)는 해당 참조 픽처의 인덱스를 임의의 방법으로 부호화할 수 있다. 예를 들어, 우선순위 결정부(314)에 의해 우선순위가 가장 높은 참조 픽처의 인덱스를 부호화할 수 있다. 임의의 방법으로는 truncated Exp-Golomb coding, Unary coding, Fixed length coding, Context를 이용한 coding 등 다양한 방법이 사용될 수 있다. 예를 들어, Fixed length coding을 사용하는 경우는 표 8과 같이 적용될 수 있다.
표 8
Figure PCTKR2011006087-appb-T000008
또한, 예를 들어 컨텍스트(context)를 이용한 산술 부호화를 하는 경우에는 먼저 임의의 방법으로 표 8과 같이 이진화(binarization)한 후 임의의 컨텍스트를 사용하여 산술 부호화 할 수 있다. 여기서, 이진화는 참조 인덱스를 바이너리(binary)로 만드는 과정이다. 임의의 컨텍스트는 비트(bit)의 위치 또는 주변 블록의 참조 인덱스별로 달리 사용할 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 부호화 방법을 나타낸 흐름도이다. 본 발명의 실시예에 따른 영상 부호화 방법은 도 3의 영상 부호화 장치(300)에 의해 실행될 수 있다.
도면을 참조하면, 후보 참조픽처 설정부(312)는 계층적 B 픽처 부호화 구조 또는 IPPP 부호화 구조 등으로 참조 픽처들의 후보들을 설정한다(S601). 후보 참조픽처 설정부(312)는 B 픽처 부호화 구조, P 픽처 부호화 구조 또는 인터 예측을 사용하는 부호화 구조로 참조 픽처들의 후보를 설정할 수도 있다.
우선순위 결정부(314)는 후보 참조픽처 설정부(312)에 의해 설정된 참조 픽처들의 후보들에 대하여, 현재 부호화할 블록에 따른 우선순위를 결정한다(S603). 이때, 참조 픽처들의 후보들에 대하여 양자화 파라미터, 현재 부호화할 블록의 분할 형태, 현재 부호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD 중의 적어도 하나에 기초하여 우선순위를 결정할 수 있다. 또한, 우선순위 결정부(314)는 참조 픽처들의 후보들에 대하여 현재 부호화할 블록의 분할 형태가 설정된 크기 이상인 경우에는 양자화 파라미터를 기준으로 우선순위를 결정하고, 설정된 크기보다 작은 경우에는 현재 픽처와 참조 픽처의 거리에 기초하여 우선순위를 결정할 수도 있다. 또한, 우선순위 결정부(314)는 참조 픽처들의 후보들에 대하여 현재 픽처와의 사이의 SAD가 가장 작은 순서로부터 우선순위를 결정할 수도 있다.
참조픽처 인덱싱부(316)는 우선순위 결정부(314)에 의해 결정된 우선순위에 기초하여 현재 부호화할 블록에 따라 적응적으로 참조 픽처를 인덱싱한다(S605).
인덱스 부호화부(318)는 참조픽처 인덱싱부(318)에 의한 참조픽처의 인덱스를 부호화하여 비트스트림을 통해 영상 복호화 장치(800)에 전송한다.
영상 부호화기(320)는 인덱싱된 참조 픽처에 기초하여 현재 블록의 움직임 벡터를 결정할 수 있다(S607). 이때, 영상 부호화기(320)는 우선순위가 가장 높은 참조 픽처에 대하여 현재 블록의 움직임 벡터를 결정할 수 있다.
또한, 영상 부호화기(320)는 결정되는 움직임 벡터를 이용하여 현재 블록을 예측 부호화한다(S609).
도 7은 본 발명의 일 실시예에 따른 참조픽처 인덱싱 방법을 나타낸 흐름도이다.
도면을 참조하면, 후보 참조픽처 설정부(312)는 계층적 B 픽처 부호화 구조 또는 IPPP 부호화 구조 등으로 참조 픽처들의 후보들을 설정한다(S701).
우선순위 결정부(314)는 후보 참조픽처 설정부(312)에 의해 설정된 참조 픽처들의 후보들에 대하여, 현재 부호화할 블록에 따른 우선순위를 결정한다(S703). 이때, 참조 픽처들의 후보들에 대하여 양자화 파라미터, 현재 부호화할 블록의 분할 형태, 현재 부호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD 중의 적어도 하나에 기초하여 우선순위를 결정할 수 있다. 또한, 우선순위 결정부(314)는 참조 픽처들의 후보들에 대하여 현재 부호화할 블록의 분할 형태가 설정된 크기 이상인 경우에는 양자화 파라미터를 기준으로 우선순위를 결정하고, 설정된 크기보다 작은 경우에는 현재 픽처와 참조 픽처의 거리에 기초하여 우선순위를 결정할 수도 있다. 또한, 우선순위 결정부(314)는 참조 픽처들의 후보들에 대하여 현재 픽처와의 사이의 SAD가 가장 작은 순서로부터 우선순위를 결정할 수도 있다.
참조픽처 인덱싱부(316)는 우선순위 결정부(314)에 의해 결정된 우선순위에 기초하여 현재 부호화할 블록에 따라 적응적으로 참조 픽처를 인덱싱한다(S705). 참조픽처의 인덱스는 인덱스 부호화부(318)에 의해 부호화되어 비트스트림으로 영상 복호화 장치(800)로 전송된다.
도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 도시한 도면이다. 도면을 참조하면, 본 발명의 실시예에 따른 영상 복호화 장치는 참조픽처 인덱스기(810) 및 영상 복호화기(820)를 구비할 수 있다.
참조픽처 인덱스기(810)는 비트스트림으로부터 추출되는 인덱스 정보를 복호화하며, 참조 픽처들의 후보들에 대해 복호화할 현재블록에 따른 우선순위를 결정하고, 결정된 우선순위 및 복호된 인덱스 정보에 기초하여 복호화할 현재블록에 대한 참조픽처를 적응적으로 결정한다. 예를 들어, 영상 부호화 장치(300)가 양자화 파라미터를 기준으로 현재 블록에 따라 적응적으로 참조 픽처를 인덱싱하여 영상을 부호화한 경우, 참조픽처 인덱스기(810)는 비트스트림으로부터 수신되는 인덱스 정보를 복호화하고, 영상 부호화 장치(300)에서 수행된 참조 픽처 인덱싱 방법과 동일한 방법으로 인덱싱된 참조 픽처로부터 복호된 인덱스 정보에 대응하는 참조픽처를 결정할 수 있다. 또한, 영상 부호화 장치(300)가 현재 부호화할 블록의 분할 형태를 기준으로 현재 블록에 따라 적응적으로 참조 픽처를 인덱싱하여 영상을 부호화한 경우, 우선순위 결정부(810)는 비트스트림으로부터 수신되는 인덱스 정보에 기초하여 전술한 방법과 동일한 방법으로 참조 픽처를 결정할 수 있다. 또한, 영상 부호화 장치(300)가 현재 픽처와 참조 픽처 사이의 SAD를 기준으로 참조 픽처를 인덱싱하여 영상을 부호화한 경우에는, 우선순위 결정부(810)는 슬라이스 헤더 또는 임의의 헤더에 포함되어 전송된 참조 픽처들의 인덱스 정보에 기초하여 참조 픽처를 선택하는 것이 바람직하다. 이와 같이, 우선순위 결정부(810)는 참조 픽처들의 후보들에 대하여 양자화 파라미터, 현재 복호화할 블록의 분할 형태, 현재 복호화할 블록의 크기 중의 적어도 하나에 기초하여 참조 픽처의 우선순위를 결정하거나, 인덱스 정보에 기초하여 참조 픽처를 선택할 수 있다.
영상 복호화기(820)는 참조픽처 인덱스기(810)에 의해 결정된 참조 픽처의 우선순위에 대응하는 참조 픽처에 기초하여 현재 블록을 복원한다. 참조 픽처에 대하여 현재 블록을 복원하는 과정은 일반적인 복호화 과정을 따르며, 이에 대한 상세한 설명은 생략한다.
도 9는 본 발명의 다른 실시예에 따른 참조픽처 인덱싱 장치를 개략적으로 도시한 도면이다. 본 발명의 실시예에 따른 참조픽처 인덱싱 장치는 도 8의 참조픽처 인덱스기(810)로 이용될 수도 있다.
도면을 참조하면, 참조픽처 인덱싱 장치(810)는 후보 참조픽처 설정부(812), 우선순위 결정부(814), 참조픽처 인덱싱부(816) 및 인덱스정보 추출부(818)를 구비할 수 있다.
후보 참조픽처 설정부(812)는 복호화하고자 하는 현재블록에 대하여 참조픽처들의 후보를 설정한다. 이때, 후보 참조픽처 설정부(812)는 B 픽처 부호화 구조, P 픽처 부호화 구조 또는 인터 예측을 사용하는 부호화 구조로 참조 픽처들의 후보를 설정할 수 있다.
우선순위 결정부(814)는 후보 참조픽처 설정부(812)에 의해 설정된 참조 픽처들의 후보들에 대하여, 복호화할 현재블록에 따른 우선순위를 결정한다. 이때, 우선순위 결정부(814)는 참조픽처들의 후보들에 대하여 양자화 파라미터, 복호화할 현재블록의 분할 형태, 복호화할 현재블록의 크기, 현재 픽처와 참조 픽처의 SAD 중의 적어도 하나를 포함하는 정보에 기초하여 우선순위를 결정할 수 있다. 또한, 우선순위 결정부(814)는 참조픽처들의 후보들에 대하여 복호화할 현재블록의 분할형태가 설정된 크기 이상인 경우에는 양자화 파라미터를 기준으로 우선순위를 결정하고, 설정된 크기보다 작은 경우에는 현재 픽처와 참조 픽처의 거리에 기초하여 우선순위를 결정할 수도 있다. 또한, 우선순위 결정부(814)는 참조 픽처들의 후보들에 대하여 현재 픽처와의 사이의 SAD가 가장 작은 순서로부터 우선순위를 결정할 수도 있다.
참조픽처 인덱싱부(816)는 우선순위 결정부(814)에 의해 결정된 우선순위에 기초하여 복호화할 현재블록에 따라 적응적으로 참조픽처를 인덱싱한다.
인덱스정보 추출부(818)는 영상 부호화 장치(300)로부터 수신한 비트스트림으로부터 인덱스 정보를 추출하여 복호화한다.
이때, 본 발명의 실시예에 따른 참조픽처 인덱싱 장치(810)는 인덱스정보 추출부(818)에 의해 복호화된 인덱스정보에 대응하여 참조픽처들의 후보들로부터 참조픽처를 결정한다.
도 10 본 발명의 일 실시예에 따른 영상 복호화 방법을 나타낸 흐름도이다. 도면을 참조하면, 우선순위 결정부(810)는 비트스트림으로부터 추출되는 인덱스 정보를 복호화한다(S1001). 또한, 우선순위 결정부(810)는 복호화된 인덱스 정보에 기초하여 참조 픽처들의 후보들에 대한 우선순위를 복호화할 현재블록에 따라 적응적으로 결정한다(S1003). 예를 들어, 영상 부호화 장치(300)가 양자화 파라미터를 기준으로 현재 블록에 따라 적응적으로 참조 픽처를 인덱싱하여 영상을 부호화한 경우, 우선순위 결정부(810)는 비트스트림으로부터 수신되는 인덱스 정보에 기초하여 영상 부호화 장치(300)에서 수행된 참조 픽처 인덱싱 방법과 동일한 방법으로 참조 픽처를 결정할 수 있다. 또한, 영상 부호화 장치(300)가 현재 부호화할 블록의 분할 형태를 기준으로 현재 블록에 따라 적응적으로 참조 픽처를 인덱싱하여 영상을 부호화한 경우, 우선순위 결정부(810)는 비트스트림으로부터 수신되는 인덱스 정보에 기초하여 동일한 방법으로 참조 픽처를 결정할 수 있다. 또한, 영상 부호화 장치(300)가 현재 픽처와 참조 픽처 사이의 SAD를 기준으로 참조 픽처를 인덱싱하여 영상을 부호화한 경우에는, 우선순위 결정부(810)는 슬라이스 헤더 또는 임의의 헤더에 포함되어 전송된 참조 픽처들의 인덱스 정보에 기초하여 참조 픽처를 선택하는 것이 바람직하다. 이와 같이, 우선순위 결정부(810)는 참조 픽처들의 후보들에 대하여 양자화 파라미터, 현재 복호화할 블록의 분할 형태, 현재 복호화할 블록의 크기 중의 적어도 하나에 기초하여 참조 픽처의 우선순위를 결정하거나, 인덱스 정보에 기초하여 참조 픽처를 선택할 수 있다.
영상 복호화기(820)는 우선순위 결정부(810)에 의해 결정된 참조 픽처의 우선순위에 대응하는 참조 픽처에 기초하여 현재 블록을 복원한다(S1005).
본 발명의 제 2 실시예에 따르면 B 픽처 부호화 구조로 설정된 참조 픽처들의 경우 또는 인터 예측에서 양방향 예측으로 부호화 하는 경우 L0 방향과 L1 방향의 구분 없이 참조 픽처 인덱싱(이하 통합 참조 픽처 인덱싱)을 할 수도 있다. 예를 들어, 도 2와 같은 계층적 B 픽처 부호화 구조로 설정된 참조 픽처들의 후보들에 대하여 I 픽처는 양자화 파라미터는 22이고, P 픽처의 양자화 파라미터는 26이고, B 픽처의 양자화 파라미터는 30이라고 가정하면, 우선순위 결정부(314)는 양자화 파라미터, 픽처간의 거리, 참조 픽처의 방향을 기준으로 우선순위를 결정할 수도 있다. 이때, 현재 부호화할 픽처가 5번이며 4장의 참조 픽처를 선택한다고 하면, 참조 픽처 인덱싱부(316)는 표 9와 같이 참조 픽처를 인덱싱 할 수 있다.
표 9
Figure PCTKR2011006087-appb-T000009
이때 영상 부호화 장치(300)에서는 양방향 예측인지 아닌지를 부호화 해야 한다. 양방향 예측이 아닌 경우, 표 9를 참조하여 참조 픽처 인덱스를 부호화한다. 양방향 예측인 경우에도 표 9를 참조하여 참조 픽처 인덱스를 부호화 할 수도 있고, 표 2를 참조하여 참조 픽처 인덱스를 부호화 할 수도 있다. 이는 계층적 P 픽처 부호화 구조도 동일하다.
또한, 영상 부호화 장치(300)에서는 통합 참조 픽처 인덱싱을 사용한다는 정보를 슬라이스 헤더, 픽처 헤더, 시퀀스 헤더 등에 부호화 할 수 있으며, 부호화 하지 않는 경우, 영상 부호화 장치(300)와 영상 복호화 장치(800)가 B 픽처인 경우에는 통합 참조 픽처 인덱싱을 동일하게 사용할 수 있다. 또는 계층적 B 픽처 구조인 경우 참조 픽처로 사용되는 B 픽처의 경우에는 통합 참조 픽처 인덱싱을 사용하지 않고, 참조 픽처로 사용되지 않는 b 픽처의 경우에는 통합 참조 픽처 인덱싱을 사용할 수 있다. 또는 b 픽처의 경우에는 통합 참조 픽처 인덱싱을 사용하고, B 픽처의 경우에는 통합 참조 픽처 인덱싱을 사용하지 않을 수도 있다.
또한, 영상 부호화 장치(300)와 영상 복호화 장치(800)가 동일한 기능의 우선순위 결정부(314, 814)를 통해 참조 픽처 인덱싱을 수행할 수 있으며, 영상 부호화 장치(300)에서는 픽처의 헤더, 슬라이스 헤더 등에 참조 픽처 인덱싱 표를 부호화 할 수 있다.
이때, 우선순위 결정부(314, 814)의 기준은 양자화 파라미터 이외의 픽처 간의 거리, SAD, SSE(Sum of Square Error), 참조 픽처의 방향, 참조 픽처의 보간 해상도, 참조 픽처의 부호화 해상도 등을 이용할 수 있다. 예를 들어, 도 2와 같은 계층적 B 픽처 부호화 구조로 설정된 참조 픽처들의 후보들에 대하여 참조 픽처의 방향과 픽처간의 거리를 기준으로 우선 순위를 결정할 수 있다. 이 때, 현재 부호화할 픽처가 5번이며 4장의 참조 픽처를 선택한다고 하면, 참조 픽처 인덱싱부(316)는 표 10, 표 11, 표 12와 같이 참조 픽처를 인덱싱 할 수 있다.
표 10
Figure PCTKR2011006087-appb-T000010
표 10의 경우 L0 방향이 우선 순위가 높은 경우이다.
표 11
Figure PCTKR2011006087-appb-T000011
표 11의 경우 L1 방향이 우선 순위가 높은 경우이다.
표 12
Figure PCTKR2011006087-appb-T000012
표 12의 경우 픽처 간의 거리가 동일하면 L0 방향이 우선 순위가 높은 경우이다.
이와 같은 경우들은 영상 부호화 장치(300)의 참조 픽처 인덱싱부(316)과 영상 복호화 장치(800)의 참조 픽처 인덱싱부(816)가 동일한 방법으로 참조픽처의 인덱싱 수행이 가능하다.
또한, 인덱스 부호화부(318)가 참조픽처 인덱싱부(316)에 의해 인덱싱된 참조 픽처의 인덱스를 부호화하는 방법과, 및 인덱스 정보 추출부(818)가 비트스트림으로부터 추출되는 인덱스 정보를 복호화하는 방법에 있어서, 픽처 별로 통합 참조 픽처 인덱싱을 사용하는 경우와 사용하지 않는 경우는 서로 다른 방법을 각각 사용할 수 있다. 예를 들어, 통합 참조 픽처 인덱싱을 사용하는 경우는 표 8을 참조하여 인덱스 부호화부(318)가 참조픽처 인덱싱부(316)에 의해 인덱싱된 참조 픽처의 인덱스를 부호화하거나, 인덱스 정보 추출부(818)가 비트스트림으로부터 추출되는 비트스트림으로부터 추출되는 인덱스 정보를 복호화하고, 통합 참조 픽처 인덱싱을 사용하지 않는 경우에는 본 발명의 제 1 실시예에서 상세히 설명한 바와 같이 참조 픽처를 인덱싱하고, 표 13을 참조하여 부호화/복호화할 수 있다.
표 13
Figure PCTKR2011006087-appb-T000013
또한, 컨텍스트(context)를 이용하여 인덱스 부호화부(318)가 참조픽처 인덱싱부(316)에 의해 인덱싱된 참조 픽처의 인덱스를 부호화하거나, 인덱스 정보 추출부(818)가 비트스트림으로부터 추출되는 비트스트림으로부터 추출되는 인덱스 정보를 복호화하는 경우도 표 8을 사용하는 경우와 표 13을 사용하는 경우에 서로 다른 컨텍스트를 이용할 수 있다.
또한, 통합 참조 픽처 인덱싱을 사용하지 않는 경우에는 L0와 L1의 부호화/복호화를 달리 할 수 있다. 예를 들어, L0는 표 13을 참조하여 인덱스 부호화부(318)가 참조픽처 인덱싱부(316)에 의해 인덱싱된 참조 픽처의 인덱스를 부호화하거나, 인덱스 정보 추출부(818)가 비트스트림으로부터 추출되는 비트스트림으로부터 추출되는 인덱스 정보를 복호화하하고, L1은 표 14를 참조하여 인덱스 부호화부(318)가 참조픽처 인덱싱부(316)에 의해 인덱싱된 참조 픽처의 인덱스를 부호화하거나, 인덱스 정보 추출부(818)가 비트스트림으로부터 추출되는 비트스트림으로부터 추출되는 인덱스 정보를 복호화 할 수 있다.
표 14
Figure PCTKR2011006087-appb-T000014
이때, 컨텍스트를 이용하여 인덱스 부호화부(318)가 참조픽처 인덱싱부(316)에 의해 인덱싱된 참조 픽처의 인덱스를 부호화하거나, 인덱스 정보 추출부(818)가 비트스트림으로부터 추출되는 비트스트림으로부터 추출되는 인덱스 정보를 복호화를 하는 경우에도 표 13을 이용하는 L0와 표 14를 이용하는 L1이 서로 다른 컨텍스트를 사용할 수도 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예는, B 픽처의 부호화, P 픽처의 부호화, 인터 예측을 이용한 부호화 등에 있어서 부호화할 현재 블록에 따라 양자화 파라미터, 현재 부호화할 블록의 분할 형태, 현재 부호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD 등을 고려하여 적응적으로 참조 블록을 인덱스함으로써, 현재 부호화할 블록 또는 임의의 단위에 대하여 실질적인 최적의 참조 픽처를 선택할 수 있도록 하며, 비트스트림으로부터 추출한 인덱스 정보에 기초하여 복호화할 현재 블록에 따라 양자화 파라미터, 현재 복호화할 블록의 분할 형태, 현재 복호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD 등을 고려하여 적응적으로 참조 블록을 선택하여 현재 블록을 복원함으로써, 현재 블록에 대한 복원 효율을 높일 수 있도록 하는 효과를 발생하는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2010년 08월 18일 한국에 출원한 특허출원번호 제 10-2010-0079591 호 및 2011년 8월 18일에 한국에 출원한 특허출원번호 제 10-2011-0082181 호에 대해 미국 특허법 119(a)조(35 U.S.C
Figure PCTKR2011006087-appb-I000001
119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (35)

  1. 영상 부호화/복호화 장치에 있어서,
    현재블록의 움직임벡터를 추정하기 위하여 참조 픽처들의 후보들에 대해 상기 현재블록에 따른 우선순위를 결정하고, 결정된 상기 우선순위에 기초하여 적응적으로 참조 픽처를 인덱싱하며, 상기 참조 픽처의 인덱스 정보를 전송하는 영상 부호화기; 및
    상기 현재블록을 복호화하기 위하여 참조 픽처들의 후보들에 대해 대상블록에 따른 우선순위를 결정하고, 결정된 상기 우선순위에 기초하여 비트스트림으로부터 추출되는 상기 인덱스 정보를 이용하여 복호화할 상기 현재블록을 복원하는 영상 복호화기
    를 포함하는 것을 특징으로 하는 영상 부호화/복호화 장치.
  2. 영상 부호화 장치에 있어서,
    현재블록의 움직임벡터를 결정하고, 결정되는 상기 움직임벡터를 이용하여 상기 현재블록을 예측 부호화하는 영상 부호화기; 및
    상기 움직임벡터를 추정하기 위하여 참조 픽처들의 후보들에 대해 상기 현재블록에 따른 우선순위를 결정하고, 결정된 상기 우선순위에 기초하여 적응적으로 참조 픽처를 인덱싱하는 참조픽처 인덱스기
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  3. 움직임 벡터를 추정하기 위하여 참조 픽처를 인덱싱하는 참조 픽처 인덱싱 장치에 있어서,
    참조 픽처들의 후보들을 설정하는 후보 참조픽처 설정부;
    상기 후보 참조픽처 설정부에 의해 설정된 상기 참조 픽처들의 후보들에 대하여, 현재 부호화할 블록에 따른 우선순위를 결정하는 우선순위 결정부;
    상기 우선순위 결정부에 의해 결정된 우선순위에 기초하여 상기 현재 부호화할 블록에 따라 적응적으로 참조 픽처를 인덱싱하는 참조픽처 인덱싱부; 및
    상기 참조픽처 인덱싱부에 의해 인덱싱된 참조 픽처의 인덱스를 부호화하는 인덱스 부호화부
    를 포함하는 것을 특징으로 하는 참조 픽처 인덱싱 장치.
  4. 제 3항에 있어서,
    상기 후보 참조픽처 설정부는,
    B 픽처 부호화 구조로 상기 참조 픽처들의 후보들을 설정하는 것을 특징으로 하는 참조 픽처 인덱싱 장치.
  5. 제 3항에 있어서,
    상기 후보 참조픽처 설정부는,
    P 픽처 부호화 구조로 상기 참조 픽처들의 후보들을 설정하는 것을 특징으로 하는 참조 픽처 인덱싱 장치.
  6. 제 3항에 있어서,
    상기 후보 참조픽처 설정부는,
    인터 예측을 사용하는 부호화 구조로 상기 참조 픽처들의 후보들을 설정하는 것을 특징으로 하는 참조 픽처 인덱싱 장치.
  7. 제 3항에 있어서,
    상기 우선순위 결정부는,
    상기 참조 픽처들의 후보들에 대하여 양자화 파라미터, 상기 현재 부호화할 블록의 분할 형태, 상기 현재 부호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD(Sum of Absolute Difference), 픽처 간의 거리, SSE(Sum of Square Error), 참조 픽처의 방향, 참조 픽처의 보간 해상도, 참조 픽처의 부호화 해상도 중의 적어도 하나에 기초하여 우선순위를 결정하는 것을 특징으로 하는 참조 픽처 인덱싱 장치.
  8. 제 3항에 있어서,
    상기 우선순위 결정부는,
    상기 참조 픽처들의 후보들에 대하여 상기 현재 부호화할 블록의 분할 형태가 설정된 크기 이상인 경우에는 양자화 파라미터를 기준으로 우선순위를 결정하고, 상기 설정된 크기보다 작은 경우에는 현재 픽처와 참조 픽처의 거리에 기초하여 우선순위를 결정하는 것을 특징으로 하는 참조 픽처 인덱싱 장치.
  9. 제 3항에 있어서,
    상기 우선순위 결정부는,
    상기 참조 픽처들의 후보들에 대하여 현재 픽처와의 사이의 SAD가 가장 작은 순서로부터 우선순위를 결정하는 것을 특징으로 하는 참조 픽처 인덱싱 장치.
  10. 제 3항에 있어서,
    상기 우선순위 결정부는,
    B 픽처 부호화 구조로 설정된 참조 픽처들의 경우 또는 인터 예측에서 양방향 예측으로 부호화 하는 경우, L0 방향과 L1 방향의 구분 없이 참조 픽처 인덱싱을 하는 것을 특징으로 하는 참조 픽처 인덱싱 장치.
  11. 영상 복호화 장치에 있어서,
    비트스트림으로부터 추출되는 인덱스 정보를 복호화하며, 참조 픽처들의 후보들에 대해 복호화할 현재블록에 따른 우선순위를 결정하고, 결정된 상기 우선순위 및 상기 인덱스 정보에 기초하여 참조픽처를 결정하는 참조픽처 인덱스기; 및
    결정된 상기 참조 픽처에 기초하여 상기 현재블록을 복원하는 영상 복호화기
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  12. 제 11항에 있어서,
    상기 참조픽처 인덱스기는,
    상기 참조 픽처들의 후보들에 대하여 양자화 파라미터, 상기 현재 복호화할 블록의 분할 형태, 상기 현재 복호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD, 픽처 간의 거리, SSE(Sum of Square Error), 참조 픽처의 방향, 참조 픽처의 보간 해상도, 참조 픽처의 부호화 해상도 중의 적어도 하나에 기초하여 우선순위를 결정하는 것을 특징으로 하는 영상 복호화 장치.
  13. 영상 복호화기에 이용되는 참조 픽처 인덱싱 장치에 있어서,
    참조 픽처들의 후보들을 설정하는 후보 참조픽처 설정부;
    상기 후보 참조픽처 설정부에 의해 설정된 상기 참조 픽처들의 후보들에 대하여, 복호화할 현재블록에 따른 우선순위를 결정하는 우선순위 결정부;
    상기 우선순위 결정부에 의해 결정된 우선순위에 기초하여 상기 복호화할 현재블록에 따라 적응적으로 참조 픽처를 인덱싱하는 참조픽처 인덱싱부; 및
    비트스트림으로부터 추출되는 인덱스 정보를 복호화하는 인덱스 정보 추출부
    를 포함하며,
    상기 인덱싱된 참조 픽처의 인덱스 및 상기 복호된 인덱스 정보에 기초하여 참조픽처를 결정하는 것을 특징으로 하는 참조 픽처 인덱싱 장치.
  14. 제 13항에 있어서,
    상기 후보 참조픽처 설정부는,
    B 픽처 부호화 구조로 상기 참조 픽처들의 후보들을 설정하는 것을 특징으로 하는 참조 픽처 인덱싱 장치.
  15. 제 13항에 있어서,
    상기 후보 참조픽처 설정부는,
    P 픽처 부호화 구조로 상기 참조 픽처들의 후보들을 설정하는 것을 특징으로 하는 참조 픽처 인덱싱 장치.
  16. 제 13항에 있어서,
    상기 후보 참조픽처 설정부는,
    인터 예측을 사용하는 부호화 구조로 상기 참조 픽처들의 후보들을 설정하는 것을 특징으로 하는 참조 픽처 인덱싱 장치.
  17. 제 13항에 있어서,
    상기 우선순위 결정부는,
    상기 참조 픽처들의 후보들에 대하여 양자화 파라미터, 상기 복호화할 현재블록의 분할 형태, 상기 복호화할 현재블록의 크기, 현재 픽처와 참조 픽처의 SAD(Sum of Absolute Difference), 픽처 간의 거리, SSE(Sum of Square Error), 참조 픽처의 방향, 참조 픽처의 보간 해상도, 참조 픽처의 부호화 해상도 중의 적어도 하나에 기초하여 우선순위를 결정하는 것을 특징으로 하는 참조 픽처 인덱싱 장치.
  18. 제 13항에 있어서,
    상기 우선순위 결정부는,
    상기 참조 픽처들의 후보들에 대하여 상기 복호화할 현재블록의 분할 형태가 설정된 크기 이상인 경우에는 양자화 파라미터를 기준으로 우선순위를 결정하고, 상기 설정된 크기보다 작은 경우에는 현재 픽처와 참조 픽처의 거리에 기초하여 우선순위를 결정하는 것을 특징으로 하는 참조 픽처 인덱싱 장치.
  19. 제 13항에 있어서,
    상기 우선순위 결정부는,
    상기 참조 픽처들의 후보들에 대하여 현재 픽처와의 사이의 SAD가 가장 작은 순서로부터 우선순위를 결정하는 것을 특징으로 하는 참조 픽처 인덱싱 장치.
  20. 영상 부호화/복호화 방법에 있어서,
    현재블록의 움직임벡터를 추정하기 위하여 참조 픽처들의 후보들에 대해 상기 현재블록에 따른 우선순위를 결정하고, 결정된 상기 우선순위에 기초하여 적응적으로 참조 픽처를 인덱싱하며, 상기 참조 픽처의 인덱스 정보를 전송하는 단계; 및
    상기 현재블록을 복호화하기 위하여 참조 픽처들의 후보들에 대해 대상블록에 따른 우선순위를 결정하고, 결정된 상기 우선순위에 기초하여 비트스트림으로부터 추출되는 상기 인덱스 정보를 이용하여 복호화할 상기 현재블록을 복원하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화/복호화 방법.
  21. 영상 부호화 방법에 있어서,
    참조 픽처들의 후보를 설정하는 단계;
    움직임벡터를 추정하기 위하여 상기 참조 픽처들의 후보에 대해 현재블록에 따른 우선순위를 결정하는 단계;
    결정된 상기 우선순위에 기초하여 적응적으로 참조 픽처를 인덱싱하는 단계;
    인덱싱한 상기 참조 픽처에 기초하여 상기 현재블록의 움직임벡터를 결정하는 단계; 및
    결정되는 상기 움직임벡터를 이용하여 상기 현재블록을 예측 부호화하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  22. 제 21항에 있어서,
    상기 참조 픽처의 후보를 Slice, 영상, 또는 픽처 단위로 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  23. 제 21항에 있어서,
    상기 참조 픽처 후보의 우선순위를 Slice, 영상, 또는 픽처 단위로 부호화하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  24. 움직임 벡터를 추정하기 위하여 참조 픽처를 인덱싱하는 참조 픽처 인덱싱 방법에 있어서,
    참조 픽처들의 후보를 설정하는 단계;
    설정된 상기 참조 픽처들의 후보에 대하여, 현재 부호화할 블록에 따른 우선순위를 결정하는 단계;
    결정된 상기 우선순위에 기초하여 상기 현재 부호화할 블록에 따라 적응적으로 참조 픽처를 인덱싱하는 단계; 및
    인덱싱된 상기 참조픽처의 인덱스를 부호화하는 단계
    를 포함하는 것을 특징으로 하는 참조 픽처 인덱싱 방법.
  25. 제 24항에 있어서,
    상기 참조픽처 후보 설정단계는,
    B 픽처 부호화 구조로 상기 참조 픽처들의 후보들을 설정하는 것을 특징으로 하는 참조 픽처 인덱싱 방법.
  26. 제 24항에 있어서,
    상기 참조픽처 후보 설정단계는,
    P 픽처 부호화 구조로 상기 참조 픽처들의 후보들을 설정하는 것을 특징으로 하는 참조 픽처 인덱싱 방법.
  27. 제 24항에 있어서,
    상기 참조픽처 후보 설정단계는,
    인터 예측 부호화 구조로 상기 참조 픽처들의 후보들을 설정하는 것을 특징으로 하는 참조 픽처 인덱싱 방법.
  28. 제 24항에 있어서,
    상기 우선순위 결정단계는,
    상기 참조 픽처들의 후보에 대하여 양자화 파라미터, 상기 현재 부호화할 블록의 분할 형태, 상기 현재 부호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD, 픽처 간의 거리, SSE(Sum of Square Error), 참조 픽처의 방향, 참조 픽처의 보간 해상도, 참조 픽처의 부호화 해상도 중의 적어도 하나에 기초하여 우선순위를 결정하는 것을 특징으로 하는 참조 픽처 인덱싱 방법.
  29. 제 24항에 있어서,
    상기 우선순위 결정단계는,
    상기 참조 픽처들의 후보에 대하여 상기 현재 부호화할 블록의 분할 형태가 설정된 크기 이상인 경우에는 양자화 파라미터를 기준으로 우선순위를 결정하고, 상기 설정된 크기보다 작은 경우에는 현재 픽처와 참조 픽처의 거리에 기초하여 우선순위를 결정하는 것을 특징으로 하는 참조 픽처 인덱싱 방법.
  30. 제 24항에 있어서,
    상기 우선순위 결정단계는,
    상기 참조 픽처들의 후보들에 대하여 현재 픽처와의 사이의 SAD가 가장 작은 순서로부터 우선순위를 결정하는 것을 특징으로 하는 참조 픽처 인덱싱 방법.
  31. 제 24항에 있어서,
    상기 우선순위 결정단계는,
    B 픽처 부호화 구조로 설정된 참조 픽처들의 경우 또는 인터 예측에서 양방향 예측으로 부호화 하는 경우, L0 방향과 L1 방향의 구분 없이 참조 픽처 인덱싱을 하는 것을 특징으로 하는 참조 픽처 인덱싱 방법.
  32. 영상 복호화 방법에 있어서,
    비트스트림으로부터 추출되는 인덱스 정보를 복호화하는 단계;
    상기 인덱스 정보에 기초하여 참조 픽처들의 후보들에 대한 우선순위를 복호화할 현재블록에 따라 적응적으로 결정하는 단계; 및
    결정된 상기 우선순위에 대응하는 참조 픽처에 기초하여 상기 현재블록을 복원하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  33. 제 32항에 있어서,
    상기 우선순위 결정단계는,
    상기 참조 픽처들의 후보들에 대하여 양자화 파라미터, 상기 현재 복호화할 블록의 분할 형태, 상기 현재 복호화할 블록의 크기, 현재 픽처와 참조 픽처의 SAD, 픽처 간의 거리, SSE(Sum of Square Error), 참조 픽처의 방향, 참조 픽처의 보간 해상도, 참조 픽처의 부호화 해상도 중의 적어도 하나에 기초하여 우선순위를 결정하는 것을 특징으로 하는 영상 복호화 방법.
  34. 제 32항에 있어서
    상기 참조 픽처의 후보를 Slice, 영상, 또는 픽처 단위로 상기 비트스트림에서 추출하는 것을 특징으로 하는 영상 복호화 방법.
  35. 제 32항에 있어서
    상기 참조 픽처 후보의 우선순위를 Slice, 영상, 또는 픽처 단위로 상기 비트스트림에서 추출하는 것을 특징으로 하는 영상 복호화 방법.
PCT/KR2011/006087 2010-08-18 2011-08-18 영상 부호화/복호화 장치 및 방법, 및 참조픽처 인덱싱 장치 및 방법 WO2012023817A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/817,408 US9602813B2 (en) 2010-08-18 2011-08-18 Image encoding/decoding device and method, and reference picture indexing device and method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20100079591 2010-08-18
KR10-2010-0079591 2010-08-18
KR1020110082181A KR101449679B1 (ko) 2010-08-18 2011-08-18 영상 부호화/복호화 장치 및 방법, 및 참조픽처 인덱싱 장치 및 방법
KR10-2011-0082181 2011-08-18

Publications (2)

Publication Number Publication Date
WO2012023817A2 true WO2012023817A2 (ko) 2012-02-23
WO2012023817A3 WO2012023817A3 (ko) 2012-05-31

Family

ID=45605573

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/006087 WO2012023817A2 (ko) 2010-08-18 2011-08-18 영상 부호화/복호화 장치 및 방법, 및 참조픽처 인덱싱 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2012023817A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104919803A (zh) * 2013-01-15 2015-09-16 夏普株式会社 具有信令的视频解码器
US9560369B2 (en) 2012-09-28 2017-01-31 Lg Electronics Inc. Video decoding method and apparatus using the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010084661A (ko) * 2000-02-28 2001-09-06 구자홍 움직임 추정 방법 및 장치
KR20050028025A (ko) * 2002-07-15 2005-03-21 톰슨 라이센싱 에스.에이. 비디오 신호 데이터 디코더 및 디코딩 방법
KR20050078257A (ko) * 2005-07-21 2005-08-04 엘지전자 주식회사 동영상 코딩 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010084661A (ko) * 2000-02-28 2001-09-06 구자홍 움직임 추정 방법 및 장치
KR20050028025A (ko) * 2002-07-15 2005-03-21 톰슨 라이센싱 에스.에이. 비디오 신호 데이터 디코더 및 디코딩 방법
KR20050078257A (ko) * 2005-07-21 2005-08-04 엘지전자 주식회사 동영상 코딩 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9560369B2 (en) 2012-09-28 2017-01-31 Lg Electronics Inc. Video decoding method and apparatus using the same
US9848200B2 (en) 2012-09-28 2017-12-19 Lg Electronics Inc. Video decoding method and apparatus using the same
US10390032B2 (en) 2012-09-28 2019-08-20 Lg Electronics Inc. Video decoding method and apparatus using the same
US10567783B2 (en) 2012-09-28 2020-02-18 Lg Electronics Inc. Video decoding method and apparatus using the same
US11259038B2 (en) 2012-09-28 2022-02-22 Lg Electronics Inc. Video decoding method and apparatus using the same
US12069283B2 (en) 2012-09-28 2024-08-20 Lg Electronics Inc. Video decoding method and apparatus using the same
CN104919803A (zh) * 2013-01-15 2015-09-16 夏普株式会社 具有信令的视频解码器
US9674524B2 (en) 2013-01-15 2017-06-06 Huawei Technologies Co., Ltd. Video decoder with signaling
CN104919803B (zh) * 2013-01-15 2017-09-12 华为技术有限公司 一种用于解码视频比特流的方法
US10027978B2 (en) 2013-01-15 2018-07-17 Huawei Technologies Co., Ltd. Video decoder with signaling
US10230979B2 (en) 2013-01-15 2019-03-12 Huawei Technologies Co., Ltd. Video decoder with signaling

Also Published As

Publication number Publication date
WO2012023817A3 (ko) 2012-05-31

Similar Documents

Publication Publication Date Title
KR101449679B1 (ko) 영상 부호화/복호화 장치 및 방법, 및 참조픽처 인덱싱 장치 및 방법
WO2011149291A2 (ko) 비디오 신호의 처리 방법 및 장치
WO2010050706A2 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2013109039A1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2012081879A1 (ko) 인터 예측 부호화된 동영상 복호화 방법
WO2012023763A2 (ko) 인터 예측 부호화 방법
WO2017052000A1 (ko) 영상 코딩 시스템에서 움직임 벡터 정제 기반 인터 예측 방법 및 장치
WO2010114283A9 (ko) 비디오 신호 처리 방법 및 장치
WO2019147079A1 (ko) 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
WO2013002549A2 (ko) 영상 부호화/복호화 방법 및 장치
WO2011062392A2 (ko) 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011031030A2 (ko) 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011145819A2 (ko) 영상 부호화/복호화 장치 및 방법
WO2013069932A1 (ko) 영상의 부호화 방법 및 장치, 및 복호화 방법 및 장치
WO2012011672A2 (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
WO2011090313A2 (ko) 이전 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 이용하는 영상 부호화, 복호화 방법 및 장치
WO2011068331A2 (ko) 비디오 인코딩 장치 및 그 인코딩 방법, 비디오 디코딩 장치 및 그 디코딩 방법, 및 거기에 이용되는 방향적 인트라 예측방법
WO2012099440A2 (ko) 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
WO2012015275A2 (ko) 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2013002550A2 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
WO2011108879A2 (ko) 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법
WO2011111954A2 (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012021040A2 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
WO2011071316A2 (ko) 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법
WO2011053054A9 (ko) 움직임 벡터 해상도 제한을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11818417

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase in:

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13817408

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OL LOSS OF RIGHTS (EPO FORM 1205A DATED 03-06-2013)

122 Ep: pct application non-entry in european phase

Ref document number: 11818417

Country of ref document: EP

Kind code of ref document: A2