WO2012081894A1 - 참조 유닛 결정 방법 및 장치 - Google Patents

참조 유닛 결정 방법 및 장치 Download PDF

Info

Publication number
WO2012081894A1
WO2012081894A1 PCT/KR2011/009598 KR2011009598W WO2012081894A1 WO 2012081894 A1 WO2012081894 A1 WO 2012081894A1 KR 2011009598 W KR2011009598 W KR 2011009598W WO 2012081894 A1 WO2012081894 A1 WO 2012081894A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
candidate
units
encoding
identifier
Prior art date
Application number
PCT/KR2011/009598
Other languages
English (en)
French (fr)
Inventor
임성창
김휘용
정세윤
조숙희
김종호
이하현
이진호
최진수
김진웅
안치득
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP24155657.0A priority Critical patent/EP4340362A2/en
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to EP19172185.1A priority patent/EP3554078A1/en
Priority to EP21213733.5A priority patent/EP3985979B1/en
Priority to JP2013543110A priority patent/JP5668149B2/ja
Priority to CN201180067417.4A priority patent/CN103348681B/zh
Priority to EP11848474.0A priority patent/EP2654302B1/en
Priority to US13/991,243 priority patent/US9288491B2/en
Publication of WO2012081894A1 publication Critical patent/WO2012081894A1/ko
Priority to US14/046,025 priority patent/US20140037001A1/en
Priority to US15/011,090 priority patent/US10425653B2/en
Priority to US16/535,991 priority patent/US11252424B2/en
Priority to US17/568,678 priority patent/US11843795B2/en
Priority to US18/475,817 priority patent/US20240022747A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present invention relates to image processing, and more particularly, to an inter prediction method and apparatus.
  • an inter prediction technique for predicting a pixel value included in a current picture from a previous and / or subsequent picture in time, and for predicting a pixel value included in a current picture using pixel information in the current picture.
  • An intra prediction technique an entropy encoding technique of allocating a short code to a symbol with a high frequency of appearance and a long code to a symbol with a low frequency of appearance may be used.
  • An object of the present invention is to provide an image encoding method and apparatus for improving image encoding / decoding efficiency.
  • Another object of the present invention is to provide an image decoding method and apparatus for improving image encoding / decoding efficiency.
  • Another object of the present invention is to provide an inter prediction method and apparatus for improving image encoding / decoding efficiency.
  • Another technical problem of the present invention is to provide a method and apparatus for determining a reference unit capable of increasing image encoding / decoding efficiency.
  • One embodiment of the present invention is an inter prediction method.
  • the method includes selecting a candidate unit from the restored neighboring units, generating a candidate unit set for a decoding target unit using the selected candidate unit, and configuring the generated candidate unit set. Determining a reference unit among the candidate units and performing inter prediction on the decoding target unit using the determined reference unit, wherein the reconstructed neighboring unit is an upper end adjacent to an upper end of the decoding target unit; A peripheral unit, a left peripheral unit adjacent to the left side of the decoding target unit, an upper right corner unit located at the upper right corner of the decoding target unit, an upper left corner unit located at the upper left corner of the decoding target unit, and the decoding target unit And a lower left corner unit located at the lower left corner.
  • the upper peripheral unit, the left peripheral unit, the upper right corner unit, the upper left corner unit, and the lower left corner unit may be selected as the candidate unit.
  • the upper peripheral unit and the left peripheral unit may be selected as the candidate unit.
  • a unit having a length of a boundary adjacent to the decoding target unit having a predetermined threshold value or more may be selected as the candidate unit.
  • a unit having a size equal to or greater than a predetermined threshold value may be selected as the candidate unit among the restored neighboring units.
  • a unit having a depth value less than or equal to a predetermined threshold value may be selected as the candidate unit among the restored neighboring units.
  • the restored neighbor unit selects the candidate unit based on a relative length between boundaries adjacent to the decoding target unit, a relative size between the restored neighbor units, or a relative depth value between the restored neighbor units. You can choose.
  • the candidate unit may be selected using at least one of an encoding parameter of the decoding target unit and an encoding parameter of the restored peripheral unit, and the encoding parameter of the decoding target unit and the restored peripheral
  • the coding parameters of the unit may be at least one of a motion vector, a reference picture list, a reference picture index, a prediction direction, and a motion vector predictor. It may include.
  • the first encoding parameter of the decoding object unit includes a first reference picture list and a first reference picture index
  • the selecting of the candidate unit further includes selecting a unit having a second encoding parameter as the candidate unit.
  • the second encoding parameter may include at least one of a second reference picture list identical to the first reference picture list and a second reference picture index identical to the first reference picture index.
  • a unit having the same reference picture as that of the reference picture of the decoding target unit may be selected as the candidate unit.
  • the candidate unit selection step only a unit encoded by inter prediction may be selected as the candidate unit.
  • the candidate unit set may be generated by using the selected candidate unit and the collocated unit together, and the co-located unit is included in a reference picture for the decoding target unit.
  • the unit may be a unit at the same spatial location as the decoding target unit.
  • a predetermined fixed number of units may be selected as the candidate unit.
  • the predetermined fixed number of units may be selected based on the sameness between the encoding parameter of the decoding target unit and the encoding parameter of the reconstructed neighboring unit, and the encoding parameter of the decoding target unit and the reconstructed neighboring unit may be selected.
  • the encoding parameters may each include at least one of a motion vector, a reference picture list, a reference picture index, a prediction direction, and a motion vector predictor.
  • the predetermined fixed number of units may be selected based on the identity between the reference picture of the decoding target unit and the reference picture of the reconstructed neighboring unit.
  • the selecting of the candidate unit may include receiving an encoding parameter identifier, decoding the received encoding parameter identifier, and selecting the candidate unit based on an encoding parameter value assigned to the decoded encoding parameter identifier.
  • the encoding parameter value assigned to the encoding parameter identifier may include a length of a boundary in which the restored peripheral unit is adjacent to the encoding target unit, a size of the restored peripheral unit, and a depth value of the restored peripheral unit. It may be at least one of.
  • the determining of the reference unit may include receiving a reference unit identifier, decoding the received reference unit identifier, and determining the reference unit using the decoded reference unit identifier.
  • the unit identifier may be an identifier indicating a unit determined as a reference unit among the candidate units constituting the candidate unit set.
  • the codeword length assigned to the reference unit identifier may be shorter as the probability that the unit indicated by the reference unit identifier is determined as the reference unit is high.
  • the generating of the candidate unit set may further include arranging the candidate units in the order of high probability of being determined as the reference unit, and in the determining of the reference unit, the first unit among the sorted candidate units is determined. Can be determined as a reference unit.
  • the candidate unit set generating step only one unit having the highest probability of being determined as the reference unit among the candidate units may be included in the candidate unit set, and in the reference unit determining step, the candidate unit set included in the candidate unit set One unit may be determined as the reference unit.
  • image encoding / decoding efficiency can be improved.
  • the image decoding method According to the image decoding method according to the present invention, the image encoding / decoding efficiency can be improved.
  • image encoding / decoding efficiency can be improved.
  • image encoding / decoding efficiency can be improved.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • 3 is a conceptual diagram schematically illustrating an embodiment in which one unit is divided into a plurality of sub-units.
  • FIG. 4 is a flowchart schematically illustrating an embodiment of a method of determining a reference unit in an encoder.
  • FIG. 5 is a conceptual diagram schematically illustrating an embodiment of a method for generating a candidate unit set.
  • FIG. 6 is a conceptual diagram schematically illustrating another embodiment of a method for generating a candidate unit set.
  • FIG. 7 is a conceptual diagram schematically illustrating still another embodiment of a method of generating a candidate unit set.
  • FIG. 8 is a conceptual diagram schematically illustrating still another embodiment of a method of generating a candidate unit set.
  • FIG. 9 is a conceptual diagram schematically illustrating still another embodiment of a method of generating a candidate unit set.
  • FIG. 10 is a conceptual diagram schematically illustrating an embodiment of a method of determining an order in which candidate units are included in a candidate unit set.
  • FIG. 11 is a conceptual diagram schematically illustrating a method of determining a reference unit in an encoder according to an embodiment of the present invention.
  • FIG. 12 is a conceptual diagram schematically illustrating a method of determining a reference unit in an encoder according to another embodiment of the present invention.
  • FIG. 13 is a conceptual diagram schematically illustrating a method of determining a reference unit in an encoder according to another embodiment of the present invention.
  • FIG. 14 is a flowchart schematically illustrating an embodiment of a method of determining a reference unit in a decoder.
  • 15 is a conceptual diagram schematically illustrating a method of determining a reference unit in a decoder according to an embodiment of the present invention.
  • 16 is a conceptual diagram schematically illustrating a method of determining a reference unit in a decoder according to another embodiment of the present invention.
  • 17 is a conceptual diagram schematically illustrating a method of determining a reference unit in a decoder according to another embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • each component shown in the embodiments of the present invention are shown independently to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit.
  • each component is included in each component for convenience of description, and at least two of the components may be combined into one component, or one component may be divided into a plurality of components to perform a function.
  • Integrated and separate embodiments of the components are also included within the scope of the present invention without departing from the spirit of the invention.
  • the components may not be essential components for performing essential functions in the present invention, but may be optional components for improving performance.
  • the present invention can be implemented including only the components essential for implementing the essentials of the present invention except for the components used for improving performance, and the structure including only the essential components except for the optional components used for improving performance. Also included in the scope of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
  • the image encoding apparatus 100 may include a motion predictor 111, a motion compensator 112, an intra predictor 120, a switch 115, a subtractor 125, and a converter 130. And a quantization unit 140, an entropy encoding unit 150, an inverse quantization unit 160, an inverse transform unit 170, an adder 175, a filter unit 180, and a reference picture buffer 190.
  • the image encoding apparatus 100 may encode an input image in an intra mode or an inter mode and output a bitstream.
  • Intra prediction means intra prediction and inter prediction means inter prediction.
  • the switch 115 may be switched to intra, and in the inter mode, the switch 115 may be switched to inter.
  • the image encoding apparatus 100 may generate a prediction block for an input block of an input image and then encode a residual between the input block and the prediction block.
  • the intra predictor 120 may generate a prediction block by performing spatial prediction using pixel values of blocks that are already encoded around the current block.
  • the motion predictor 111 may obtain a motion vector by searching for a region that best matches an input block in the reference image stored in the reference picture buffer 190 during the motion prediction process.
  • the motion compensator 112 may generate a prediction block by performing motion compensation using the motion vector.
  • the motion vector is a two-dimensional vector used for inter prediction, and may indicate an offset between the current encoding / decoding target image and the reference image.
  • the subtractor 125 may generate a residual block by the difference between the input block and the generated prediction block.
  • the transform unit 130 may output a transform coefficient by performing a transform on the residual block.
  • the quantization unit 140 may output the quantized coefficient by quantizing the input transform coefficient according to the quantization parameter.
  • the entropy encoder 150 may output a bit stream by performing entropy encoding based on the values calculated by the quantizer 140 or the encoding parameter values calculated in the encoding process.
  • the entropy encoder 150 may use an encoding method such as exponential golomb, context-adaptive variable length coding (CAVLC), or context-adaptive binary arithmetic coding (CABAC) for entropy encoding.
  • CAVLC context-adaptive variable length coding
  • CABAC context-adaptive binary arithmetic coding
  • the image encoding apparatus Since the image encoding apparatus according to the embodiment of FIG. 1 performs inter prediction encoding, that is, inter prediction encoding, the currently encoded image needs to be decoded and stored to be used as a reference image. Accordingly, the quantized coefficients are inversely quantized by the inverse quantizer 160 and inversely transformed by the inverse transformer 170. The inverse quantized and inverse transformed coefficients are added to the prediction block by the adder 175 and a reconstruction block is generated.
  • the reconstruction block passes through the filter unit 180, and the filter unit 180 applies at least one or more of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) to the reconstruction block or the reconstruction picture. can do.
  • the filter unit 180 may be referred to as an adaptive in-loop filter.
  • the deblocking filter can remove block distortion generated at the boundary between blocks.
  • SAO can add an appropriate offset to the pixel value to compensate for coding errors.
  • the ALF may perform filtering based on a value obtained by comparing the reconstructed image with the original image.
  • the reconstructed block that has passed through the filter unit 180 may be stored in the reference picture buffer 190.
  • FIG. 2 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • the image decoding apparatus 200 may include an entropy decoder 210, an inverse quantizer 220, an inverse transformer 230, an intra predictor 240, a motion compensator 250, and an adder ( 255, a filter unit 260, and a reference picture buffer 270.
  • the image decoding apparatus 200 may receive a bitstream output from the encoder and perform decoding in an intra mode or an inter mode, and output a reconstructed image, that is, a reconstructed image.
  • the switch In the intra mode, the switch may be switched to intra, and in the inter mode, the switch may be switched to inter.
  • the image decoding apparatus 200 may obtain a residual block from the input bitstream, generate a prediction block, and then add the residual block and the prediction block to generate a reconstructed block, that is, a reconstruction block.
  • the entropy decoder 210 may entropy decode the input bitstream according to a probability distribution to generate symbols including symbols in the form of quantized coefficients.
  • the entropy decoding method is similar to the entropy coding method described above.
  • the entropy decoding method When the entropy decoding method is applied, a small number of bits are allocated to a symbol having a high probability of occurrence and a large number of bits are allocated to a symbol having a low probability of occurrence, whereby the size of the bit string for each symbol is increased. Can be reduced. Therefore, the compression performance of image decoding can be improved through an entropy decoding method.
  • the quantized coefficient is inversely quantized by the inverse quantizer 220 and inversely transformed by the inverse transformer 230, and as a result of the inverse quantization / inverse transformation of the quantized coefficient, a residual block may be generated.
  • the intra predictor 240 may generate a prediction block by performing spatial prediction using pixel values of blocks that are already encoded around the current block.
  • the motion compensator 250 may generate a predictive block by performing motion compensation using the reference image stored in the motion vector and the reference picture buffer 270.
  • the residual block and the prediction block may be added through the adder 255, and the added block may pass through the filter unit 260.
  • the filter unit 260 may apply at least one or more of the deblocking filter, SAO, and ALF to the reconstructed block or the reconstructed picture.
  • the filter unit 260 may output a reconstructed image, that is, a reconstructed image.
  • the reconstructed picture may be stored in the reference picture buffer 270 and used for inter prediction.
  • a unit means a unit of image encoding and decoding.
  • a coding or decoding unit refers to a divided unit when an image is divided and encoded or decoded.
  • a block, a coding unit (CU), an encoding block, and a prediction unit (PU) are used.
  • One unit may be further divided into smaller sub-units.
  • the prediction unit refers to a basic unit that is a unit of performing prediction and / or motion compensation.
  • the prediction unit may be divided into a plurality of partitions, and each partition may be called a prediction unit partition.
  • each of the plurality of partitions may be a basic unit that is a unit of performing prediction and / or motion compensation.
  • each partition in which the prediction unit is divided may also be called a prediction unit.
  • the encoder and the decoder may perform prediction and / or motion compensation on an encoding / decoding target unit.
  • the encoding / decoding target unit may mean a prediction unit and / or a prediction unit partition.
  • the encoder and the decoder may improve the encoding / decoding efficiency by using the motion vector of the reconstructed neighbor unit.
  • the reconstructed neighboring unit is a unit that has already been encoded or decoded and reconstructed, and is a unit adjacent to the encoding / decoding target unit, a unit located at the upper right corner of the encoding / decoding target unit, and located at the upper left corner of the encoding / decoding target unit. It may include a unit located in the lower left corner of the unit and / or encoding / decoding target unit.
  • the encoder and the decoder may use the reconstructed motion vector of the neighboring unit as the motion vector of the encoding / decoding target unit.
  • the encoder since the motion vector of the reconstructed neighboring unit is used in the encoding / decoding target unit, the encoder may not encode the motion vector for the encoding / decoding target unit. Therefore, the amount of bits transmitted to the decoder can be reduced, and the coding efficiency can be improved.
  • the inter prediction mode may include a skip mode and / or a direct mode.
  • the encoder may use an identifier and / or an index indicating which unit of the reconstructed neighboring unit is used.
  • the inter prediction mode in which the identifier and / or index is used may be called a merge mode.
  • the encoder when the encoder encodes a motion vector of the encoding target unit after performing prediction and / or compensation by using the motion vector of the encoding target unit, the encoder may perform a motion vector between the motion vector of the encoding target unit and the reconstructed neighboring unit.
  • a motion vector difference can be generated.
  • the encoder may encode the generated motion vector difference and transmit the encoded motion vector difference to the decoder.
  • the decoder may decode the motion vector difference and derive the motion vector of the decoding target unit through the sum of the decoded motion vector difference and the motion vector of the reconstructed neighboring unit.
  • Such an inter prediction method may be referred to as a motion vector prediction (MVP).
  • MVP motion vector prediction
  • the encoder may use an identifier and / or an index indicating which unit of the reconstructed neighboring unit is used.
  • MVP in which the identifier and / or index is additionally used, may be called Advanced Motion Vector Prediction (AMVP).
  • AMVP Advanced Motion Vector Prediction
  • a reference unit is determined among the reconstructed neighboring units, and the motion vector of the determined reference unit is used to predict and / or the current encoding / decoding target unit.
  • the reference unit refers to a unit used for prediction and / or motion compensation of the encoding / decoding target unit.
  • the encoder and the decoder may use encoding parameters of the reference unit when performing inter prediction and / or motion compensation on the current encoding / decoding target unit.
  • the encoding parameter may include information that may be inferred in the encoding or decoding process as well as information encoded by the encoder and transmitted to the decoder, such as a syntax element, and refers to information required when encoding or decoding an image. do.
  • the coding parameter may include, for example, values and / or statistics such as inter prediction mode, motion information, coded block pattern (CBP), block size, block division information, and the like.
  • motion information refers to parameters necessary for inter prediction and motion compensation.
  • the motion information may include at least one of a reference picture list, a reference picture index, a motion vector, a prediction direction, and a motion vector predictor.
  • the reference picture list is a list composed of a plurality of reference pictures used for inter prediction
  • the reference picture index indicates a reference picture used for inter prediction of the encoding / decoding target unit among the reference pictures included in the reference picture list. Index.
  • Two reference picture lists may be used for inter prediction, one may be referred to as reference picture list 0 and the other may be referred to as reference picture list 1.
  • the prediction direction included in the motion information may be information indicating which reference picture list is used in inter prediction. That is, the prediction direction may indicate whether reference picture list 0 is used, reference picture list 1 is used, or whether both reference picture list 0 and reference picture list 1 are used.
  • the motion vector predictor may mean a motion vector of a unit that is a prediction candidate and / or a unit that is a prediction candidate when the encoder and the decoder predict the motion vector.
  • the block division information may include information about a depth of a unit.
  • the depth information may indicate the number and / or degree of division of the unit.
  • 3 is a conceptual diagram schematically illustrating an embodiment in which one unit is divided into a plurality of sub-units.
  • One unit may be hierarchically divided with depth information based on a tree structure.
  • Each divided subunit may have depth information. Since the depth information indicates the number and / or degree of division of the unit, the depth information may include information about the size of the sub-unit.
  • the highest node may be called a root node and may have the smallest depth value. At this time, the highest node may have a depth of level 0 and may represent the first unit that is not divided.
  • a lower node having a depth of level 1 may indicate a unit in which the first unit is divided once, and a lower node having a depth of level 2 may indicate a unit in which the first unit is divided twice.
  • unit 320 corresponding to node a in 320 of FIG. 3 may be a unit divided once in an initial unit and may have a depth of level 1.
  • a leaf node of level 3 may indicate a unit in which the first unit is divided three times.
  • the unit d corresponding to the node d in 320 of FIG. 3 may be a unit divided three times in the first unit and may have a depth of level 3.
  • FIG. the leaf node at level 3, which is the lowest node, may have the deepest depth.
  • the encoder and the decoder when the encoder and the decoder perform inter prediction and / or motion compensation using the skip mode, the direct mode, the merge mode, the MVP, the AMVP, and the like, the encoder and the decoder determine the reference unit among the reconstructed neighboring units, The motion vector of the reference unit can be used.
  • the reconstructed peripheral units adjacent to the encoding / decoding target unit may have different characteristics, for example, the characteristic may be represented by an encoding parameter of each of the reconstructed peripheral units. Therefore, the encoder and the decoder need to efficiently use the coding parameters of the video when determining and encoding / decoding the reference unit.
  • one picture may include units of various sizes and units of various depths. Accordingly, in order to increase encoding / decoding performance, a method of determining a reference unit in consideration of a variety of sizes and / or depths of units may be provided.
  • FIG. 4 is a flowchart schematically illustrating an embodiment of a method of determining a reference unit in an encoder.
  • the encoder may generate a candidate unit set by using the reconstructed neighboring unit (S410).
  • a candidate unit set means a set of reference unit candidates.
  • a reference unit used for prediction and / or motion compensation of the current encoding target unit may be determined among the reference unit candidates.
  • the candidate unit may have the same meaning as the reference unit candidate.
  • the encoder may select candidate units from the reconstructed neighboring units by a predetermined criterion and / or method.
  • the encoder may use the encoding parameter of the encoding target unit and / or the encoding parameter of the reconstructed neighboring unit to reflect the characteristic of the image.
  • the encoder may include and / or insert the selected candidate unit into the candidate unit set to generate the candidate unit set. Specific embodiments of the method for generating a candidate unit set will be described later.
  • the encoder may determine a reference unit used for prediction and / or motion compensation of the current encoding target unit from among candidate units included in the generated candidate unit set (S420).
  • the encoder may perform inter prediction on the encoding target unit by using the determined reference unit.
  • the encoder may use a skip mode, a direct mode, a merge mode, an MVP, an AMVP, or the like in performing inter prediction and / or motion compensation. Specific embodiments of the reference unit determination method will be described later.
  • the encoder may encode the reference unit identification information and transmit it to the decoder (S430).
  • the reference unit identification information may include an encoding parameter identifier, a reference unit identifier, and the like. A specific embodiment of the method for encoding reference unit identification information will be described later.
  • FIG. 5 is a conceptual diagram schematically illustrating an embodiment of a method for generating a candidate unit set.
  • the encoder may select units adjacent to the encoding target unit and units located at a corner of the encoding target unit from among the reconstructed neighboring units as candidate units and include the candidate unit in the candidate unit set.
  • the encoding target unit on which inter prediction and / or motion compensation is performed may be a prediction unit.
  • the unit adjacent to the upper end of the encoding target unit is called the upper peripheral unit
  • the unit adjacent to the left of the encoding target unit is called the left peripheral unit.
  • the unit located in the upper right corner of the encoding target unit is called the upper right corner unit
  • the unit located in the upper left corner of the encoding target unit is called the upper left corner unit
  • the unit located in the lower left corner of the encoding target unit is called the lower left corner unit.
  • the encoder selects a left peripheral unit (A), a top peripheral unit (B), a top right corner unit (C), a top left corner unit (D), and a bottom left corner unit (E). It can be selected as a candidate unit included in the unit set.
  • the generated candidate unit set may be configured as ⁇ A, B, C, D, E ⁇ .
  • the encoder includes a left peripheral unit (A, B, C), a top peripheral unit (D, E, F), an upper right corner unit (G), an upper left corner unit (H), and a lower left corner.
  • the corner unit M can be selected as a candidate unit included in the candidate unit set.
  • the generated candidate unit set may be configured as ⁇ H, D, E, F, G, A, B, C, M ⁇ .
  • the encoder may select only a specific unit as a candidate unit from the left neighboring units. For example, the encoder may select only the unit located at the bottom of the left peripheral units as a candidate unit. The encoder may also select only a specific unit as a candidate unit from the upper peripheral units. For example, the encoder may select only the rightmost unit among the upper peripheral units as a candidate unit.
  • the candidate unit set generated at 520 of FIG. 5 may be ⁇ H, F, G, C, M ⁇ .
  • FIG. 6 is a conceptual diagram schematically illustrating another embodiment of a method for generating a candidate unit set.
  • the encoder may select units adjacent to the left side of the encoding target unit and units adjacent to the top of the encoding target unit as candidate units among the reconstructed neighboring units, and include the candidate units in the candidate unit set.
  • the encoder may select the left peripheral unit A and the upper peripheral unit B as candidate units included in the candidate unit set.
  • the generated candidate unit set may be configured as ⁇ A, B ⁇ .
  • the encoder may select left peripheral units A, B, and C, and top peripheral units D, E, and F as candidate units included in a candidate unit set.
  • the generated candidate unit set may be composed of ⁇ D, E, F, A, B, C ⁇ .
  • FIG. 7 is a conceptual diagram schematically illustrating still another embodiment of a method of generating a candidate unit set.
  • the size of the encoding target unit X is 16x16
  • the size of the C, D, H, and M units is 8x8, and the size of the remaining units is 4x4.
  • the encoder may select units adjacent to the left side of the encoding target unit and units adjacent to the top of the encoding target unit as candidate units among the reconstructed neighboring units.
  • the encoder may select, as a candidate unit, only those units having a boundary length greater than or equal to a predetermined length from among the left neighboring units and the upper neighboring units as the candidate unit, and include the candidate unit in the candidate unit set.
  • the predetermined length may be a positive integer.
  • the boundary between the encoding target unit and the reconstructed neighboring unit is called an adjacent boundary.
  • the encoder may select only units having a length of at least 8 adjacent to an encoding target unit as a candidate unit. Since the C and D units have a size of 8x8 and the length of the boundary between the encoding target unit and the C and D units adjacent to each other is 8, the C and D units may be selected as candidate units included in the candidate unit set. On the other hand, since the A, B, E, and F units have a size of 4x4, and the encoding target unit and the A, B, E, and F units have an adjacent boundary length of 4, they may not be selected as candidate units included in the candidate unit set. connect. At this time, in one embodiment, the generated candidate unit set may be ⁇ C, D ⁇ .
  • the encoder may select candidate units included in the candidate unit set based on the relative lengths of the adjacent boundary of the left peripheral units and the adjacent boundary of the upper peripheral units. That is, the encoder may select candidate units by comparing adjacent boundary lengths of units adjacent to the encoding target unit with each other.
  • the encoder may only select the latter units having a relatively long length of the adjacent boundary. Can be included in a set.
  • the encoder only candidates the latter units having a relatively short length of the adjacent boundary. Can be included in a set.
  • FIG. 8 is a conceptual diagram schematically illustrating still another embodiment of a method of generating a candidate unit set.
  • the size of the encoding target unit X is 16x16
  • C, D, H, and M units are 8x8, and the remaining units are 4x4.
  • the encoder may select units adjacent to the encoding target unit and units located at the corner of the encoding target unit as candidate units among the reconstructed neighboring units.
  • the encoder may select only units having a predetermined size or more as a candidate unit from among units adjacent to the encoding target unit and units located at the corner of the encoding target unit and include the candidate unit in the candidate unit set.
  • the predetermined size may be m * n (m is a positive integer, n is a positive integer).
  • the encoder may select only units having a size of 8x8 or more as candidate units. Since the C, D, H, and M units have a size of 8 ⁇ 8, they may be selected as candidate units included in the candidate unit set. On the other hand, since A, B, E, F, and G units have a size of 4 ⁇ 4, they may not be selected as candidate units included in the candidate unit set.
  • the generated candidate unit set may be configured as ⁇ C, D, H, M ⁇ .
  • the encoder may select a candidate unit included in the candidate unit set based on the relative sizes of the reconstructed neighboring units. That is, the encoder may select the candidate unit by comparing the size of the reconstructed neighboring units with each other. For example, if there are reconstructed neighboring units of size 8x8 and reconstructed neighboring units of size 16x16, the encoder may include only the latter units of relatively large size in the candidate unit set.
  • FIG. 9 is a conceptual diagram schematically illustrating still another embodiment of a method of generating a candidate unit set.
  • the depth value of the encoding target unit X is 0, the depth values of the C, D, H, and M units are 1, and the depth values of the remaining units are 2.
  • the encoder may select units adjacent to the encoding target unit and units located at the corner of the encoding target unit as candidate units among the reconstructed neighboring units.
  • the encoder may select only units having a predetermined depth or less as a candidate unit from among units adjacent to the encoding target unit and units located at a corner of the encoding target unit and include the candidate unit in the candidate unit set.
  • the predetermined depth may be n (n is a positive integer).
  • the encoder may select only units having a depth of 1 or less as candidate units. Since the C, D, H, and M units have a depth of 1, they may be selected as candidate units included in the candidate unit set. On the other hand, since A, B, E, F, and G units have a depth of 2, they may not be selected as candidate units included in the candidate unit set.
  • the generated candidate unit set may be configured as ⁇ H, D, C, M ⁇ .
  • the encoder may select a candidate unit included in the candidate unit set based on the relative depths of the reconstructed neighboring units. That is, the encoder may select the candidate unit by comparing the depths of the reconstructed neighboring units with each other. For example, if there are reconstructed neighboring units having a depth of 0 and reconstructed neighboring units having a depth of 2, the encoder may include only the former units having a relatively small depth value in the candidate unit set.
  • the encoder may select a candidate unit included in the candidate unit set by using the encoding parameter of the encoding target unit and / or the encoding parameter of the reconstructed neighboring unit.
  • the encoder may select the candidate unit using the encoding parameter relation between the encoding target unit and the reconstructed neighboring unit, or may select the candidate unit using only the encoding parameter of the reconstructed neighboring unit.
  • the encoder determines whether the motion information of the reconstructed neighboring unit and the motion information of the encoding target unit are the same, and then selects only the units having the same motion information as the encoding target unit among the reconstructed neighboring units as candidate units. It may be included in a candidate unit set.
  • the motion information may be at least one of a motion vector, a reference picture list, a reference picture index, a prediction direction, and a motion vector predictor.
  • the encoder determines whether the motion information of the reconstructed neighboring unit and the motion information of the encoding target unit are similar, and then selects only units having the motion information similar to the encoding target unit from the reconstructed neighboring units as candidate units. It may be included in a candidate unit set.
  • the motion information may be at least one of a motion vector, a reference picture list, a reference picture index, a prediction direction, and a motion vector predictor. When the motion information of the reconstructed neighboring unit and the motion information of the encoding target unit are not completely identical but satisfy a predetermined criterion, they may be determined to be similar to each other.
  • Embodiments when the motion information of the reconstructed neighboring unit and the motion information of the encoding target unit are similar are as follows. For example, when the size difference of each component of the motion vector of the reconstructed neighboring unit and the motion vector of the encoding target unit is less than a predetermined size in units of integer pixels, the motion information of the reconstructed neighboring unit and the motion information of the encoding target unit are It can be determined to be similar.
  • the predetermined size may be any natural number and / or positive real number, for example, one.
  • the motion information of the reconstructed neighbor unit and the motion information of the encoding target unit may be determined to be similar.
  • the motion information of the reconstructed neighboring unit and the motion information of the encoding target unit may be determined to be similar. have.
  • the encoder may not select units encoded by intra prediction among the reconstructed neighboring units as candidate units.
  • the encoder may not include the units encoded by the intra prediction in the candidate unit set.
  • the encoder may select only units encoded by inter prediction among the reconstructed neighboring units as candidate units and include the candidate units in the candidate unit set.
  • the encoder may determine whether there is a residual signal for the reconstructed neighboring unit, and then select a unit having no residual signal among the reconstructed neighboring units as a candidate unit and include the candidate unit in the candidate unit set.
  • the presence or absence of the residual signal may be determined through values of a coded block pattern (CBP) and / or a coded block flag (CBF), which are syntax elements for the presence or absence of a residual signal.
  • CBP coded block pattern
  • CBF coded block flag
  • the number of candidate units included in the candidate unit set may be limited to a predetermined number (for example, N).
  • N may represent a positive integer greater than zero.
  • the encoder may select only N units among the reconstructed neighboring units as candidate units using a predetermined criterion.
  • the predetermined criterion may include a degree of adjacency to the unit to be encoded, a degree of adjacency to the boundary of the unit to be encoded, a relative and / or absolute length of the boundary adjacent to the unit to be encoded, a relative and / or absolute size of the restored neighboring unit, There may be a relative and / or absolute depth value of the reconstructed neighboring unit, an encoding / decoding order of the reconstructed neighboring unit, and / or an identity / similarity between the encoding parameter of the encoding target unit and the encoding parameter of the reconstructed neighboring unit.
  • Embodiments in which the encoding parameters of the reconstructed neighboring unit and the encoding parameters of the encoding target unit are similar have been described above.
  • the encoding parameter of the reconstructed neighboring unit and the encoding target unit use the same reference picture, it may be determined that the encoding parameter of the reconstructed neighboring unit and the encoding parameter of the encoding target unit are similar.
  • the number of candidate units included in the candidate unit set may be two.
  • the encoder may select two units as candidate units in order of the length of the boundary adjacent to the encoding target unit among the reconstructed neighboring units and include them in the candidate unit set.
  • the number of candidate units included in the candidate unit set may be three.
  • the reconstructed neighboring units may have the same motion information.
  • the encoder may select, as candidate units, three units reconstructed later in encoding / decoding order from among reconstructed neighboring units having the same motion information, and include them in the candidate unit set.
  • the candidate units included in the candidate unit set may be arranged in order of high probability of being determined as a reference unit for the encoding target unit. That is, the encoder may preferentially include and / or insert into a candidate unit set a unit having a high probability of being determined as a reference unit for the encoding target unit. In this case, as the candidate unit having a high probability of being determined as the reference unit, the encoder may increase a coding efficiency by allocating a reference unit identifier having a short codeword.
  • FIG. 10 is a conceptual diagram schematically illustrating an embodiment of a method of determining an order in which candidate units are included in a candidate unit set.
  • the encoder may select units adjacent to the left side of the encoding target unit and units adjacent to the upper end of the encoding target unit as candidate units among the reconstructed neighboring units and include the candidate units in the candidate unit set.
  • the encoder may include the selected candidate units in the candidate unit set in the encoding / decoding order.
  • the encoder may preferentially include a candidate unit having a fast encoding / decoding order into a candidate unit set. Since units adjacent to the current encoding target unit (X) may be encoded / decoded in the order of D-> E-> F-> A-> B-> C, the generated candidate unit set includes ⁇ D, E, F, A, B, C ⁇ .
  • the encoder may arrange the candidate units included in the candidate unit set in the order of the length of the boundary adjacent to the encoding target unit. That is, the encoder may preferentially include and / or insert a candidate unit having a long length of a boundary adjacent to the encoding target unit into the candidate unit set.
  • the encoder may arrange the candidate units included in the candidate unit set in the order of decreasing depth values. That is, the encoder may preferentially include and / or insert a candidate unit having a small depth value in the candidate unit set.
  • the encoder may select a candidate unit included in the candidate unit set from the reconstructed neighboring blocks.
  • the candidate unit selected from the reconstructed neighboring blocks may be referred to as a spatial candidate unit.
  • the encoder may select a unit at the same spatial position as the encoding target unit among the units in the reference picture as a candidate unit and include it in the candidate unit set.
  • a unit located at the same spatial position as the encoding target unit among the units in the reference picture is referred to as a collocated unit and / or a collocated block.
  • the candidate unit selected from the units in the reference picture may be referred to as a temporal candidate unit.
  • the encoder may use an encoding parameter identifier for the reconstructed neighboring unit.
  • candidate units included in the candidate unit set may be selected using the encoding parameter identifier.
  • the encoding parameter in which the encoding parameter identifier is used may include, for example, the length of the boundary between the encoding target unit and the reconstructed peripheral unit, the size of the reconstructed peripheral unit, and the depth value of the reconstructed peripheral unit.
  • a predetermined value may be assigned to the encoding parameter identifier.
  • the encoder may select, as a candidate unit, a unit having an encoding parameter having the same value as the value assigned to the encoding parameter identifier among the reconstructed neighboring units.
  • the encoder may select, as a candidate unit, a unit having a coding parameter having a value larger than the value assigned to the coding parameter identifier among the reconstructed neighboring units.
  • the encoder may select a unit having a coding parameter having a value smaller than the value assigned to the coding parameter identifier as a candidate unit.
  • an encoding parameter identifier is used for the length of the boundary between the encoding target unit and the reconstructed neighboring unit.
  • the encoding parameter identifier may be represented by log2_unit_boundary_length.
  • the encoder may select, as a candidate unit, only those units whose boundary length adjacent to the encoding target unit larger than the predetermined length among the reconstructed neighboring units are included in the candidate unit set.
  • the predetermined length is 8
  • a value of 3 may be assigned to the encoding parameter identifier log2_unit_boundary_length.
  • the encoder may select only units having an adjacent boundary length larger than the value assigned to the encoding parameter identifier as a candidate unit and include in the candidate unit set.
  • the encoder may encode the encoding parameter identifier to which the value of 3 is assigned and transmit the encoded parameter identifier to the decoder.
  • the encoder may determine a reference unit used for prediction and / or motion compensation of the current encoding target unit among candidate units included in the generated candidate unit set.
  • FIG. 11 is a conceptual diagram schematically illustrating a method of determining a reference unit in an encoder according to an embodiment of the present invention.
  • the encoder may determine, from among the candidate units included in the candidate unit set, a candidate unit representing the optimal coding efficiency in terms of rate-distortion, as a reference unit.
  • the encoder may use encoding parameters (eg, motion information, etc.) of candidate units included in the candidate unit set for inter prediction and motion compensation.
  • the encoder may determine, as a reference unit, a candidate unit that shows an optimal encoding efficiency from the rate-distortion point of view using the encoding parameter.
  • rate distortion optimization RDO
  • the encoder may encode and transmit a reference unit identifier indicating which candidate unit among the candidate units included in the candidate unit set is determined as the reference unit.
  • the reference unit identifier may indicate the order and / or location in the candidate unit set of candidate units determined to be the reference unit.
  • the reference unit identifier may indicate a coding order difference from an encoding target unit to a reference unit.
  • each of the candidate units in the candidate unit set may be assigned a reference unit index, and the reference unit index may be used as the reference unit identifier.
  • the candidate unit set may be configured as ⁇ A, B, C, D, E, F ⁇ according to one embodiment.
  • each candidate unit may be assigned a reference unit index, for example, 0 may be assigned to A, 1 to B, 2 to C, 3 to D, 4 to E, and 5 to F. have.
  • the encoder may encode and transmit the reference unit index to the decoder, and the decoder may receive and decode the encoded reference unit index.
  • the value of the reference unit index transmitted to the decoder may be 1.
  • the decoder may determine unit B as a reference unit by using the value of the reference unit index.
  • FIG. 12 is a conceptual diagram schematically illustrating a method of determining a reference unit in an encoder according to another embodiment of the present invention.
  • the order of encoding / decoding is H-> D-> K-> L-> E-> F-> N-> O-> G-> P-> I-> A->. Assume J-> B-> C-> M.
  • the encoder may arrange candidate units included in the candidate unit set in order of high probability of being determined as a reference unit. In this case, the encoder may determine the first candidate unit as the reference unit among the candidate units included in the candidate unit set.
  • the encoder may select units adjacent to an encoding target unit as candidate units.
  • the selected candidate units may be A, B, C, D, E, F.
  • the encoder may sort the selected candidate units according to an encoding / decoding order. For example, the encoder may preferentially include a unit encoded late in the encoding order in the candidate unit set.
  • the candidate unit set may be configured as ⁇ C, B, A, F, E, D ⁇ .
  • the encoder may determine the first candidate unit C in the candidate unit set as the reference unit. In this case, the candidate unit having the smallest encoding order difference from the encoding target unit may be determined as the reference unit.
  • the encoder and the decoder may determine the reference unit without a separate reference unit identifier. Therefore, the encoder may not encode the reference unit identifier and may not transmit the reference unit identifier to the decoder.
  • FIG. 13 is a conceptual diagram schematically illustrating a method of determining a reference unit in an encoder according to another embodiment of the present invention.
  • the encoder may select units adjacent to an encoding target unit as candidate units.
  • the selected candidate units may be A, D, E, and F.
  • the number of candidate units included in the candidate unit set may be limited to a predetermined number, and the predetermined number may be one.
  • the encoder may generate a candidate unit set by selecting only one unit having the highest probability of being selected as the reference unit among the reconstructed neighboring units. For example, the encoder may compare the sizes of the reconstructed neighboring units with each other and select only the relatively largest unit (eg, unit A) as a candidate unit.
  • the candidate unit set may be configured as ⁇ A ⁇ , and the number of candidate units constituting the candidate unit set may be one.
  • the encoder and the decoder may determine the candidate unit as the reference unit.
  • the encoder and the decoder may determine the reference unit without a separate reference unit identifier. Therefore, the encoder may not encode the reference unit identifier and may not transmit the reference unit identifier to the decoder.
  • the encoder may encode the reference unit identification information and transmit it to the decoder.
  • the reference unit identification information may include at least one of an encoding parameter identifier and a reference unit identifier.
  • the encoder may use an encoding parameter identifier for the reconstructed neighboring unit.
  • candidate units included in the candidate unit set may be selected using the encoding parameter identifier.
  • a predetermined value may be assigned to the encoding parameter identifier.
  • the encoder may select, as a candidate unit, a unit having an encoding parameter having the same value as the value assigned to the encoding parameter identifier among the reconstructed neighboring units.
  • the encoder may select, as a candidate unit, a unit having a coding parameter having a value larger than the value assigned to the coding parameter identifier among the reconstructed neighboring units.
  • the encoder may select a unit having a coding parameter having a value smaller than the value assigned to the coding parameter identifier as a candidate unit.
  • the encoder may encode the encoding parameter identifier.
  • the encoded encoding parameter identifier may be transmitted to the decoder.
  • the encoder may use encoding parameters of candidate units included in the candidate unit set for inter prediction and motion compensation.
  • the encoder may determine, as a reference unit, a candidate unit that shows an optimal encoding efficiency from the rate-distortion point of view using the encoding parameter.
  • the encoder may encode and transmit a reference unit identifier indicating which candidate unit among the candidate units included in the candidate unit set is determined as the reference unit.
  • the reference unit identifier may indicate the order and / or location in the candidate unit set of candidate units determined to be the reference unit.
  • the reference unit identifier may indicate a coding order difference from an encoding target unit to a reference unit.
  • each of the candidate units in the candidate unit set may be assigned a reference unit index, and the reference unit index may be used as the reference unit identifier.
  • the decoder may receive and decode the encoded reference unit identifier.
  • the decoder may determine the reference unit using the decoded reference unit identifier.
  • the encoder and the decoder may determine the reference unit without a separate reference unit identifier. In this case, the encoder may omit encoding of the reference unit identifier.
  • FIG. 14 is a flowchart schematically illustrating an embodiment of a method of determining a reference unit in a decoder.
  • the decoder may receive and decode reference unit identification information from an encoder (S1410).
  • the reference unit identification information transmitted from the encoder may include at least one of an encoding parameter identifier and a reference unit identifier.
  • the decoder may select candidate units included in the candidate unit set by using an encoding parameter identifier included in the reference unit identification information.
  • a predetermined value may be assigned to the encoding parameter identifier.
  • the decoder may select, as a candidate unit, a unit having an encoding parameter having the same value as the value assigned to the encoding parameter identifier among the reconstructed neighboring units.
  • the decoder may select, as a candidate unit, a unit having a coding parameter having a value larger than the value assigned to the coding parameter identifier among the reconstructed neighboring units.
  • the decoder may select a unit having a coding parameter having a value smaller than the value assigned to the coding parameter identifier as a candidate unit.
  • the value assigned to the encoding parameter identifier may be the same value as the value of the encoding parameter and / or encoding parameter identifier used in the encoder.
  • the decoder may decode the reference unit identifier coded by the encoder.
  • the reference unit identifier may indicate which candidate unit among the candidate units included in the candidate unit set is determined as the reference unit.
  • the reference unit identifier may indicate the order and / or location in the candidate unit set of candidate units determined to be the reference unit.
  • the reference unit identifier may indicate a decoding order difference from the decoding target unit to the reference unit.
  • each of the candidate units in the candidate unit set may be assigned a reference unit index, and the reference unit index may be used as the reference unit identifier.
  • the decoder may use the decoded reference unit identifier in determining the reference unit in the candidate unit set.
  • the encoder and the decoder may determine the reference unit without a separate reference unit identifier. In this case, since the encoder may not transmit the reference unit identifier, the decoder may not decode the reference unit identifier.
  • the decoder may generate a candidate unit set by using the reconstructed neighboring unit (S1420).
  • the decoder may select candidate units from the reconstructed neighboring units by predetermined criteria and / or methods. In this case, the decoder may use the encoding parameter of the decoding target unit and / or the encoding parameter of the reconstructed neighboring unit to reflect the characteristic of the image. The decoder may include and / or insert the selected candidate unit into the candidate unit set to generate the candidate unit set.
  • the decoder may generate the candidate unit set through the same process as in the encoder. Since the candidate unit set generation process in the encoder has been described above, a detailed description of the candidate unit set generation process in the decoder will be omitted.
  • the decoder may determine a reference unit used for prediction and / or motion compensation of the current decoding target unit from among candidate units included in the generated candidate unit set (S1430).
  • the decoder may use the decoded reference unit identification information in the reference unit determination process.
  • the decoder may perform inter prediction on the encoding target unit by using the determined reference unit. Specific embodiments of the reference unit determination method will be described later.
  • 15 is a conceptual diagram schematically illustrating a method of determining a reference unit in a decoder according to an embodiment of the present invention.
  • the decoder may determine a reference unit used for inter prediction and motion compensation of the decoding target unit from among candidate units included in the candidate unit set using the decoded reference unit identifier.
  • the reference unit identifier may indicate the order and / or location in the candidate unit set of candidate units determined to be the reference unit.
  • the reference unit identifier may indicate a decoding order difference from the decoding target unit to the reference unit.
  • each of the candidate units in the candidate unit set may be assigned a reference unit index, and the reference unit index may be used as the reference unit identifier.
  • a candidate unit set may be configured as ⁇ A, B, C, D, E, F ⁇ according to one embodiment.
  • each candidate unit may be assigned a reference unit index, for example, 0 may be assigned to A, 1 to B, 2 to C, 3 to D, 4 to E, and 5 to F. have.
  • the decoder may determine unit C as the reference unit by using the value of the reference unit index.
  • FIG. 16 is a conceptual diagram schematically illustrating a method of determining a reference unit in a decoder according to another embodiment of the present invention.
  • the sequence in which the neighboring units reconstructed in FIG. 16 are decoded is H-> D-> K-> L-> E-> F-> N-> O-> G-> P-> I-> A-> J- Assume> B-> C-> M.
  • the decoder may arrange candidate units included in the candidate unit set in order of high probability of being determined as a reference unit. In this case, the decoder may determine the first candidate unit as the reference unit among the candidate units included in the candidate unit set.
  • the decoder may select units adjacent to a decoding target unit as candidate units.
  • the selected candidate units may be A, B, C, D, E, F.
  • the decoder may sort the selected candidate units according to the decoding order.
  • the decoder may preferentially include a unit decoded late in decoding order in the candidate unit set.
  • the candidate unit set may be configured as ⁇ C, B, A, F, E, D ⁇ .
  • the decoder can determine the first candidate unit C in the candidate unit set as the reference unit.
  • the candidate unit having the smallest decoding order difference from the decoding target unit may be determined as the reference unit.
  • the encoder and the decoder may determine the reference unit without a separate reference unit identifier. In this case, since the encoder may not transmit the reference unit identifier to the decoder, the decoder may not decode the reference unit identifier.
  • 17 is a conceptual diagram schematically illustrating a method of determining a reference unit in a decoder according to another embodiment of the present invention.
  • the decoder may select units adjacent to a decoding target unit as candidate units.
  • the selected candidate units may be A, D, E, and F.
  • the number of candidate units included in the candidate unit set may be limited to a predetermined number, and the predetermined number may be one.
  • the decoder may generate a candidate unit set by selecting only one unit having the highest probability of being selected as the reference unit among the reconstructed neighboring units. For example, the decoder may compare the sizes of the reconstructed neighboring units with each other and select only the relatively largest unit (eg, unit A) as a candidate unit.
  • the candidate unit set may be configured as ⁇ A ⁇ , and the number of candidate units constituting the candidate unit set may be one.
  • the encoder and the decoder may determine the candidate unit as the reference unit.
  • the encoder and the decoder may determine the reference unit without a separate reference unit identifier. Therefore, since the encoder may not transmit the reference unit identifier to the decoder, the decoder may not decode the reference unit identifier.
  • the methods are described based on a flowchart as a series of steps or blocks, but the present invention is not limited to the order of steps, and certain steps may occur in a different order or at the same time than other steps described above. Can be. Also, one of ordinary skill in the art appreciates that the steps shown in the flowcharts are not exclusive, that other steps may be included, or that one or more steps in the flowcharts may be deleted without affecting the scope of the present invention. I can understand.

Abstract

본 발명에 따른 인터 예측 방법은 복원된 주변 유닛 중에서 후보 유닛을 선택하는 단계, 선택된 후보 유닛을 이용하여, 복호화 대상 유닛에 대한 후보 유닛 집합을 생성하는 단계, 생성된 후보 유닛 집합을 구성하는 후보 유닛 중에서 참조 유닛을 결정하는 단계 및 결정된 참조 유닛을 이용하여, 복호화 대상 유닛에 대한 인터 예측을 수행하는 단계를 포함한다. 본 발명에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.

Description

참조 유닛 결정 방법 및 장치
본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 인터 예측 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.
영상 압축을 위해, 시간적으로 이전 및/또는 이후의 픽쳐로부터 현재 픽쳐에 포함된 픽셀값을 예측하는 인터(inter) 예측 기술, 현재 픽쳐 내의 픽셀 정보를 이용하여 현재 픽쳐에 포함된 픽셀값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 사용될 수 있다.
본 발명의 기술적 과제는 영상 부호화/복호화 효율을 높일 수 있는 영상 부호화 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 영상 부호화/복호화 효율을 높일 수 있는 영상 복호화 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 부호화/복호화 효율을 높일 수 있는 인터 예측 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 부호화/복호화 효율을 높일 수 있는 참조 유닛 결정 방법 및 장치를 제공함에 있다.
본 발명의 일 실시 형태는 인터 예측 방법이다. 상기 방법은 복원된 주변 유닛 중에서 후보 유닛을 선택하는 단계, 상기 선택된 후보 유닛을 이용하여, 복호화 대상 유닛에 대한 후보 유닛 집합(candidate unit set)을 생성하는 단계, 상기 생성된 후보 유닛 집합을 구성하는 상기 후보 유닛 중에서 참조 유닛을 결정하는 단계 및 상기 결정된 참조 유닛을 이용하여, 상기 복호화 대상 유닛에 대한 인터 예측을 수행하는 단계를 포함하고, 상기 복원된 주변 유닛은 상기 복호화 대상 유닛의 상단에 인접한 상단 주변 유닛, 상기 복호화 대상 유닛의 좌측에 인접한 좌측 주변 유닛, 상기 복호화 대상 유닛의 우측 상단 코너에 위치한 우측 상단 코너 유닛, 상기 복호화 대상 유닛의 좌측 상단 코너에 위치한 좌측 상단 코너 유닛 및 상기 복호화 대상 유닛의 좌측 하단 코너에 위치한 좌측 하단 코너 유닛을 포함한다.
상기 후보 유닛 선택 단계에서는, 상기 상단 주변 유닛, 상기 좌측 주변 유닛, 상기 우측 상단 코너 유닛, 상기 좌측 상단 코너 유닛 및 상기 좌측 하단 코너 유닛을 상기 후보 유닛으로 선택할 수 있다.
상기 후보 유닛 선택 단계에서는, 상기 상단 주변 유닛 및 상기 좌측 주변 유닛을 상기 후보 유닛으로 선택할 수 있다.
상기 후보 유닛 선택 단계에서는, 상기 복원된 주변 유닛 중에서, 상기 복호화 대상 유닛에 인접한 경계의 길이가 소정의 임계값 이상인 유닛을 상기 후보 유닛으로 선택할 수 있다.
상기 후보 유닛 선택 단계에서는, 상기 복원된 주변 유닛 중에서, 소정의 임계값 이상의 크기를 갖는 유닛을 상기 후보 유닛으로 선택할 수 있다.
상기 후보 유닛 선택 단계에서는, 상기 복원된 주변 유닛 중에서, 소정의 임계값 이하의 깊이 값을 갖는 유닛을 상기 후보 유닛으로 선택할 수 있다.
상기 후보 유닛 선택 단계에서는, 상기 복원된 주변 유닛이 상기 복호화 대상 유닛에 인접하는 경계 간의 상대적인 길이, 상기 복원된 주변 유닛 간의 상대적인 크기 또는 상기 복원된 주변 유닛 간의 상대적인 깊이 값을 기준으로 상기 후보 유닛을 선택할 수 있다.
상기 후보 유닛 선택 단계에서는, 상기 복호화 대상 유닛의 부호화 파라미터 및 상기 복원된 주변 유닛의 부호화 파라미터 중 적어도 하나를 이용하여, 상기 후보 유닛을 선택할 수 있고, 상기 복호화 대상 유닛의 부호화 파라미터 및 상기 복원된 주변 유닛의 부호화 파라미터는 각각 움직임 벡터(motion vector), 참조 픽쳐 리스트(reference picture list), 참조 픽쳐 인덱스(reference picture index), 예측 방향(prediction direction) 및 움직임 벡터 예측기(motion vector predictor) 중 적어도 하나를 포함할 수 있다.
상기 복호화 대상 유닛의 제1 부호화 파라미터는 제1 참조 픽쳐 리스트 및 제1 참조 픽쳐 인덱스를 포함하고, 상기 후보 유닛 선택 단계는, 제2 부호화 파라미터를 가지는 유닛을 상기 후보 유닛으로 선택하는 단계를 더 포함하되, 상기 제2 부호화 파라미터는 상기 제1 참조 픽쳐 리스트와 동일한 제2 참조 픽쳐 리스트 및 상기 제1 참조 픽쳐 인덱스와 동일한 제2 참조 픽쳐 인덱스 중 적어도 하나를 포함할 수 있다.
상기 후보 유닛 선택 단계에서는, 상기 복호화 대상 유닛의 참조 픽쳐와 동일한 참조 픽쳐를 갖는 유닛을 상기 후보 유닛으로 선택할 수 있다.
상기 후보 유닛 선택 단계에서는, 인터 예측에 의해 부호화된 유닛만을 상기 후보 유닛으로 선택할 수 있다.
상기 후보 유닛 집합 생성 단계에서는, 상기 선택된 후보 유닛 및 동일 위치 유닛(collocated unit)을 함께 이용하여, 상기 후보 유닛 집합을 생성할 수 있고, 상기 동일 위치 유닛은, 상기 복호화 대상 유닛에 대한 참조 픽쳐 내의 유닛들 중에서, 상기 복호화 대상 유닛과 동일한 공간적 위치에 있는 유닛일 수 있다.
상기 후보 유닛 선택 단계에서는, 소정의 고정된 개수의 유닛을 상기 후보 유닛으로 선택할 수 있다.
상기 소정의 고정된 개수의 유닛은, 상기 복호화 대상 유닛의 부호화 파라미터와 상기 복원된 주변 유닛의 부호화 파라미터 간의 동일성에 기반하여 선택될 수 있고, 상기 복호화 대상 유닛의 부호화 파라미터 및 상기 복원된 주변 유닛의 부호화 파라미터는 각각 움직임 벡터, 참조 픽쳐 리스트, 참조 픽쳐 인덱스, 예측 방향 및 움직임 벡터 예측기 중 적어도 하나를 포함할 수 있다.
상기 소정의 고정된 개수의 유닛은, 상기 복호화 대상 유닛의 참조 픽쳐 및 상기 복원된 주변 유닛의 참조 픽쳐 간의 동일성에 기반하여 선택될 수 있다.
상기 후보 유닛 선택 단계는, 부호화 파라미터 식별자를 수신하는 단계, 상기 수신된 부호화 파라미터 식별자를 복호화하는 단계 및 상기 복호화된 부호화 파라미터 식별자에 할당된 부호화 파라미터 값을 기준으로, 상기 후보 유닛을 선택하는 단계를 포함할 수 있고, 상기 부호화 파라미터 식별자에 할당된 부호화 파라미터 값은, 상기 복원된 주변 유닛이 상기 부호화 대상 유닛에 인접하는 경계의 길이, 상기 복원된 주변 유닛의 크기 및 상기 복원된 주변 유닛의 깊이 값 중 적어도 하나일 수 있다.
상기 참조 유닛 결정 단계는, 참조 유닛 식별자를 수신하는 단계, 상기 수신된 참조 유닛 식별자를 복호화하는 단계 및 상기 복호화된 참조 유닛 식별자를 이용하여 상기 참조 유닛을 결정하는 단계를 포함할 수 있고, 상기 참조 유닛 식별자는 상기 후보 유닛 집합을 구성하는 상기 후보 유닛 중에서 참조 유닛으로 결정되는 유닛을 지시하는 식별자일 수 있다.
상기 참조 유닛 식별자에 할당된 코드워드 길이는, 상기 참조 유닛 식별자가 지시하는 유닛이 상기 참조 유닛으로 결정될 확률이 높을수록, 짧을 수 있다.
상기 후보 유닛 집합 생성 단계는, 상기 참조 유닛으로 결정될 확률이 높은 순서대로 상기 후보 유닛을 정렬하는 단계를 더 포함할 수 있고, 상기 참조 유닛 결정 단계에서는, 상기 정렬된 후보 유닛 중에서 첫 번째 유닛을 상기 참조 유닛으로 결정할 수 있다.
상기 후보 유닛 집합 생성 단계에서는, 상기 후보 유닛 중에서 상기 참조 유닛으로 결정될 확률이 가장 높은 한 개의 유닛만을 상기 후보 유닛 집합에 포함시킬 수 있고, 상기 참조 유닛 결정 단계에서는, 상기 후보 유닛 집합에 포함된 상기 한 개의 유닛을 상기 참조 유닛으로 결정할 수 있다.
본 발명에 따른 영상 부호화 방법에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.
본 발명에 따른 영상 복호화 방법에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.
본 발명에 따른 인터 예측 방법에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.
본 발명에 따른 참조 유닛 결정 방법에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.
도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 하나의 유닛이 복수의 하위 유닛으로 분할되는 실시예를 개략적으로 나타내는 개념도이다.
도 4는 부호화기에서의 참조 유닛 결정 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 5는 후보 유닛 집합 생성 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 6은 후보 유닛 집합 생성 방법의 다른 실시예를 개략적으로 나타내는 개념도이다.
도 7은 후보 유닛 집합 생성 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 8은 후보 유닛 집합 생성 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 9는 후보 유닛 집합 생성 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 10은 후보 유닛들이 후보 유닛 집합에 포함되는 순서를 결정하는 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 11은 본 발명의 실시예에 따른 부호화기에서의 참조 유닛 결정 방법을 개략적으로 설명하는 개념도이다.
도 12는 본 발명의 다른 실시예에 따른 부호화기에서의 참조 유닛 결정 방법을 개략적으로 설명하는 개념도이다.
도 13은 본 발명의 또 다른 실시예에 따른 부호화기에서의 참조 유닛 결정 방법을 개략적으로 설명하는 개념도이다.
도 14는 복호화기에서의 참조 유닛 결정 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 15는 본 발명의 실시예에 따른 복호화기에서의 참조 유닛 결정 방법을 개략적으로 설명하는 개념도이다.
도 16은 본 발명의 다른 실시예에 따른 복호화기에서의 참조 유닛 결정 방법을 개략적으로 설명하는 개념도이다.
도 17은 본 발명의 또 다른 실시예에 따른 복호화기에서의 참조 유닛 결정 방법을 개략적으로 설명하는 개념도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽쳐 버퍼(190)를 포함한다.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 픽쳐 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 여기서, 움직임 벡터는 인터 예측에 사용되는 2차원 벡터이며, 현재 부호화/복호화 대상 영상과 참조 영상 사이의 오프셋을 나타낼 수 있다.
감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다. 변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림(bit stream)을 출력할 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.
도 1의 실시예에 따른 영상 부호화 장치는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성된다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽쳐 버퍼(190)에 저장될 수 있다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(255), 필터부(260) 및 참조 픽쳐 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 잔차 블록(residual block)을 얻고 예측 블록을 생성한 후 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.
엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.
엔트로피 복호화 방법이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 각 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 복호화 방법을 통해서 영상 복호화의 압축 성능이 높아질 수 있다.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 잔차 블록(residual block)이 생성될 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽쳐 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
잔차 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 참조 픽쳐 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.
이하, 유닛(unit)은 영상 부호화 및 복호화의 단위를 의미한다. 영상 부호화 및 복호화 시 부호화 혹은 복호화 단위는, 영상을 분할하여 부호화 혹은 복호화 할 때 그 분할된 단위를 의미하므로, 블록, 부호화 유닛 (CU: Coding Unit), 부호화 블록, 예측 유닛 (PU: Prediction Unit), 예측 블록, 변환 유닛(TU: Transform Unit), 변환 블록(transform block) 등으로 불릴 수 있다. 하나의 유닛은 크기가 더 작은 하위 유닛으로 더 분할될 수 있다.
여기서, 예측 유닛은 예측 및/또는 움직임 보상 수행의 단위가 되는 기본 유닛을 의미한다. 예측 유닛은 복수의 파티션(partition)으로 분할될 수 있으며, 각각의 파티션은 예측 유닛 파티션(prediction unit partition)으로 불릴 수도 있다. 예측 유닛이 복수의 파티션으로 분할된 경우, 복수의 파티션 각각이 예측 및/또는 움직임 보상 수행의 단위가 되는 기본 유닛일 수 있다. 이하, 본 발명의 실시예에서는 예측 유닛이 분할된 각각의 파티션도 예측 유닛으로 불릴 수 있다.

한편, 상술한 바와 같이 인터 모드에서 부호화기 및 복호화기는 부호화/복호화 대상 유닛에 대한 예측 및/또는 움직임 보상을 수행할 수 있다. 여기서, 부호화/복호화 대상 유닛(encoding/decoding target unit)은 예측 유닛 및/또는 예측 유닛 파티션을 의미할 수 있다. 이 때, 부호화기 및 복호화기는 복원된 주변 유닛(reconstructed neighbor unit)의 움직임 벡터를 이용함으로써, 부호화/복호화 효율을 향상시킬 수 있다. 여기서, 복원된 주변 유닛은 이미 부호화 또는 복호화되어 복원된 유닛으로서, 부호화/복호화 대상 유닛에 인접한 유닛, 부호화/복호화 대상 유닛의 우측 상단 코너에 위치한 유닛, 부호화/복호화 대상 유닛의 좌측 상단 코너에 위치한 유닛 및/또는 부호화/복호화 대상 유닛의 좌측 하단 코너에 위치한 유닛을 포함할 수 있다.
일례로, 부호화기 및 복호화기는 복원된 주변 유닛의 움직임 벡터를 부호화/복호화 대상 유닛의 움직임 벡터로 사용할 수 있다. 이 때, 부호화/복호화 대상 유닛에서는 복원된 주변 유닛의 움직임 벡터가 사용되므로, 부호화기는 부호화/복호화 대상 유닛에 대한 움직임 벡터를 부호화하지 않을 수 있다. 따라서, 복호화기로 전송되는 비트량이 감소되고, 부호화 효율이 향상될 수 있다. 이러한 인터 예측 모드에는 스킵 모드(skip mode) 및/또는 다이렉트 모드(direct mode) 등이 있을 수 있다.
이 때, 부호화기는 복원된 주변 유닛 중 어떤 유닛의 움직임 벡터가 사용되는지를 지시하는 식별자 및/또는 인덱스를 사용할 수 있다. 상기 식별자 및/또는 인덱스가 사용되는 인터 예측 모드는 머지 모드(merge mode)로 불릴 수 있다.
다른 예로, 부호화기는, 부호화 대상 유닛의 움직임 벡터를 이용하여 예측 및/또는 보상을 수행한 후 부호화 대상 유닛의 움직임 벡터를 부호화할 때, 부호화 대상 유닛의 움직임 벡터와 복원된 주변 유닛의 움직임 벡터 간의 움직임 벡터 차분을 생성할 수 있다. 부호화기는 생성된 움직임 벡터 차분을 부호화하여 복호화기로 전송할 수 있다. 이 때, 복호화기는 움직임 벡터 차분을 복호화하고, 복호화된 움직임 벡터 차분과 복원된 주변 유닛의 움직임 벡터의 합을 통해 복호화 대상 유닛의 움직임 벡터를 도출할 수 있다. 이러한 인터 예측 방법은 MVP(Motion Vector Prediction: 움직임 벡터 예측)로 불릴 수 있다. MVP가 사용됨으로써, 부호화기에서 복호화기로 전송되는 정보량이 감소되고 부호화 효율이 향상될 수 있다.
이 때, 부호화기는 복원된 주변 유닛 중 어떤 유닛의 움직임 벡터가 사용되는지를 지시하는 식별자 및/또는 인덱스를 사용할 수 있다. 상기 식별자 및/또는 인덱스가 추가적으로 이용되는 MVP는 AMVP(Advanced Motion Vector Prediction)로 불릴 수 있다.
상술한 스킵 모드, 다이렉트 모드, 머지 모드, MVP, AMVP 등에서는, 복원된 주변 유닛 중에서 참조 유닛(reference unit)이 결정되고, 결정된 참조 유닛의 움직임 벡터가 현재 부호화/복호화 대상 유닛의 예측 및/또는 움직임 보상에 사용될 수 있다. 이하, 참조 유닛은 부호화/복호화 대상 유닛의 예측 및/또는 움직임 보상에 사용되는 유닛을 의미한다. 부호화기 및 복호화기는 현재 부호화/복호화 대상 유닛에 대한 인터 예측 및/또는 움직임 보상을 수행하는 경우, 참조 유닛의 부호화 파라미터를 이용할 수 있다.

부호화 파라미터는 구문 요소(syntax element)와 같이 부호화기에서 부호화되어 복호화기로 전송되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있으며, 영상을 부호화하거나 복호화할 때 필요한 정보를 의미한다. 부호화 파라미터는 예를 들어 인터 예측 모드, 움직임 정보, 부호화 블록 패턴(CBP: Coded Block Pattern), 블록 크기, 블록 분할 정보 등의 값 및/또는 통계를 포함할 수 있다.
여기서, 움직임 정보(motion information)는 인터 예측 및 움직임 보상에 필요한 파라미터를 의미한다. 움직임 정보는 참조 픽쳐 리스트(reference picture list), 참조 픽쳐 인덱스(reference picture index), 움직임 벡터(motion vector), 예측 방향(prediction direction), 움직임 벡터 예측기(motion vector predictor) 중 적어도 하나를 포함할 수 있다. 여기서, 참조 픽쳐 리스트는 인터 예측에 사용되는 복수의 참조 영상으로 구성된 리스트이고, 참조 픽쳐 인덱스는 참조 픽쳐 리스트에 포함된 참조 픽쳐들 중에서 부호화/복호화 대상 유닛의 인터 예측에 사용되는 참조 픽쳐를 지시하는 인덱스이다.
인터 예측에는 2개의 참조 픽쳐 리스트가 사용될 수 있으며, 하나는 참조 픽쳐 리스트0, 다른 하나는 참조 픽쳐 리스트1로 불릴 수 있다. 움직임 정보에 포함된 예측 방향(prediction direction)은 인터 예측시 어떤 참조 픽쳐 리스트가 사용되는지를 지시하는 정보일 수 있다. 즉, 예측 방향은 참조 픽쳐 리스트0이 사용되는지, 참조 픽쳐 리스트1이 사용되는지 또는 참조 픽쳐 리스트0과 참조 픽쳐 리스트1이 모두 사용되는지 여부를 지시할 수 있다. 움직임 벡터 예측기는, 부호화기 및 복호화기가 움직임 벡터를 예측할 때, 예측 후보가 되는 유닛 및/또는 예측 후보가 되는 유닛의 움직임 벡터를 의미할 수 있다.

블록 분할 정보에는 유닛의 깊이(depth)에 관한 정보가 포함될 수 있다. 깊이 정보는 유닛이 분할되는 회수 및/또는 정도를 나타낼 수 있다.
도 3은 하나의 유닛이 복수의 하위 유닛으로 분할되는 실시예를 개략적으로 나타내는 개념도이다.
하나의 유닛은 트리 구조(tree structure)를 기초로 깊이 정보(depth)를 가지고 계층적으로 분할될 수 있다. 각각의 분할된 하위 유닛은 깊이 정보를 가질 수 있다. 상기 깊이 정보는 유닛이 분할된 회수 및/또는 정도를 나타내므로, 상기 하위 유닛의 크기에 관한 정보를 포함할 수도 있다.
도 3의 310을 참조하면, 가장 상위 노드는 루트 노드(root node)로 불릴 수 있고, 가장 작은 깊이 값을 가질 수 있다. 이 때, 가장 상위 노드는 레벨 0의 깊이를 가질 수 있으며, 분할되지 않은 최초의 유닛을 나타낼 수 있다.
레벨 1의 깊이를 갖는 하위 노드는 최초 유닛이 한 번 분할된 유닛을 나타낼 수 있으며, 레벨 2의 깊이를 갖는 하위 노드는 최초의 유닛이 두 번 분할된 유닛을 나타낼 수 있다. 예를 들어, 도 3의 320에서 노드 a에 대응하는 유닛 a는 최초 유닛에서 한 번 분할된 유닛이고, 레벨 1의 깊이를 가질 수 있다.
레벨 3의 리프 노드(leaf node)는 최초 유닛이 3번 분할된 유닛을 나타낼 수 있다. 예를 들어, 도3의 320에서 노드 d에 대응하는 유닛 d는 최초 유닛에서 세 번 분할된 유닛이고, 레벨 3의 깊이를 가질 수 있다. 따라서, 가장 하위 노드인 레벨 3의 리프 노드는 가장 깊은 깊이를 가질 수 있다.

상술한 바와 같이, 부호화기 및 복호화기는, 스킵 모드, 다이렉트 모드, 머지 모드, MVP, AMVP 등을 이용하여 인터 예측 및/또는 움직임 보상을 수행하는 경우, 복원된 주변 유닛 중에서 참조 유닛을 결정하고, 결정된 참조 유닛의 움직임 벡터를 이용할 수 있다. 부호화/복호화 대상 유닛에 인접한 복원된 주변 유닛들은 서로 다른 특성을 가질 수 있고, 예를 들어 상기 특성은 복원된 주변 유닛들 각각의 부호화 파라미터에 의해 나타내어질 수 있다. 따라서, 부호화기 및 복호화기는, 참조 유닛을 결정하고 부호화/복호화하는 경우, 영상의 부호화 파라미터를 효율적으로 이용할 필요가 있다. 또한, 하나의 픽쳐는 다양한 크기의 유닛, 다양한 깊이의 유닛을 포함할 수 있다. 따라서, 부호화/복호화 성능을 높이기 위해, 유닛의 크기 및/또는 깊이의 다양성을 고려하여 참조 유닛을 결정하는 방법이 제공될 수 있다.

도 4는 부호화기에서의 참조 유닛 결정 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 4를 참조하면, 부호화기는 복원된 주변 유닛을 이용하여, 후보 유닛 집합을 생성할 수 있다(S410). 여기서, 후보 유닛 집합(candidate unit set)은 참조 유닛 후보들의 집합을 의미한다. 현재 부호화 대상 유닛의 예측 및/또는 움직임 보상에 사용되는 참조 유닛은 상기 참조 유닛 후보들 중에서 결정될 수 있다. 이하, 후보 유닛은 참조 유닛 후보와 동일한 의미를 가질 수 있다.
부호화기는, 소정의 기준 및/또는 방법에 의해, 복원된 주변 유닛 중에서 후보 유닛을 선택할 수 있다. 이 때 부호화기는, 영상의 특성을 반영하기 위해, 부호화 대상 유닛의 부호화 파라미터 및/또는 복원된 주변 유닛의 부호화 파라미터를 이용할 수 있다. 부호화기는 선택된 후보 유닛을 후보 유닛 집합에 포함 및/또는 삽입시켜, 후보 유닛 집합을 생성할 수 있다. 후보 유닛 집합 생성 방법의 구체적인 실시예들은 후술하기로 한다.
다시 도 4를 참조하면, 부호화기는 생성된 후보 유닛 집합에 포함된 후보 유닛들 중에서 현재 부호화 대상 유닛의 예측 및/또는 움직임 보상에 사용되는 참조 유닛을 결정할 수 있다(S420).
참조 유닛이 결정되면, 부호화기는 결정된 참조 유닛을 이용하여 부호화 대상 유닛에 대한 인터 예측을 수행할 수 있다. 이 때 부호화기는, 인터 예측 및/또는 움직임 보상을 수행함에 있어, 스킵 모드, 다이렉트 모드, 머지 모드, MVP, AMVP 등의 방법을 사용할 수 있다. 참조 유닛 결정 방법의 구체적인 실시예들은 후술하기로 한다.
참조 유닛이 결정되면, 부호화기는 참조 유닛 식별 정보를 부호화하여 복호화기로 전송할 수 있다(S430). 참조 유닛 식별 정보에는 부호화 파라미터 식별자, 참조 유닛 식별자 등이 있을 수 있으며, 참조 유닛 식별 정보 부호화 방법의 구체적인 실시예는 후술하기로 한다.

도 5는 후보 유닛 집합 생성 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
부호화기는 복원된 주변 유닛들 중에서 부호화 대상 유닛에 인접한 유닛들 및 부호화 대상 유닛의 코너에 위치한 유닛들을 후보 유닛으로 선택하여, 후보 유닛 집합에 포함시킬 수 있다. 인터 예측 및/또는 움직임 보상이 수행되는 부호화 대상 유닛은 예측 유닛(Prediction Unit)일 수 있다.
이하, 부호화 대상 유닛의 상단에 인접한 유닛은 상단 주변 유닛, 부호화 대상 유닛의 좌측에 인접한 유닛은 좌측 주변 유닛이라 한다. 또한 부호화 대상 유닛의 우측 상단 코너에 위치한 유닛은 우측 상단 코너 유닛, 부호화 대상 유닛의 좌측 상단 코너에 위치한 유닛은 좌측 상단 코너 유닛, 부호화 대상 유닛의 좌측 하단 코너에 위치한 유닛은 좌측 하단 코너 유닛이라 한다.
도 5의 510을 참조하면, 부호화기는 좌측 주변 유닛(A), 상단 주변 유닛(B), 우측 상단 코너 유닛(C), 좌측 상단 코너 유닛(D) 및 좌측 하단 코너 유닛(E)을, 후보 유닛 집합에 포함되는 후보 유닛으로 선택할 수 있다. 이 때, 일 실시예로, 생성된 후보 유닛 집합은 {A, B, C, D, E}와 같이 구성될 수 있다.
도 5의 520을 참조하면, 부호화기는 좌측 주변 유닛(A, B, C), 상단 주변 유닛(D, E, F), 우측 상단 코너 유닛(G), 좌측 상단 코너 유닛(H) 및 좌측 하단 코너 유닛(M)을, 후보 유닛 집합에 포함되는 후보 유닛으로 선택할 수 있다. 이 때, 일 실시예로, 생성된 후보 유닛 집합은 {H, D, E, F, G, A, B, C, M}과 같이 구성될 수 있다.
상술한 실시예에서, 부호화기는 좌측 주변 유닛 중에서 특정 유닛만을 후보 유닛으로 선택할 수도 있다. 예를 들어, 부호화기는 좌측 주변 유닛 중 가장 하단에 위치한 유닛만을 후보 유닛으로 선택할 수 있다. 또한 부호화기는 상단 주변 유닛 중에서 특정 유닛만을 후보 유닛으로 선택할 수도 있다. 예를 들어, 부호화기는 상단 주변 유닛 중에서 가장 우측에 위치한 유닛만을 후보 유닛으로 선택할 수 있다. 이 경우, 도 5의 520에서 생성된 후보 유닛 집합은 {H, F, G, C, M}일 수 있다.

도 6은 후보 유닛 집합 생성 방법의 다른 실시예를 개략적으로 나타내는 개념도이다.
부호화기는 복원된 주변 유닛들 중에서 부호화 대상 유닛의 좌측에 인접한 유닛들 및 부호화 대상 유닛의 상단에 인접한 유닛들을 후보 유닛으로 선택하여, 후보 유닛 집합에 포함시킬 수 있다.
도 6의 610을 참조하면, 부호화기는 좌측 주변 유닛(A), 상단 주변 유닛(B)을, 후보 유닛 집합에 포함되는 후보 유닛으로 선택할 수 있다. 이 때, 일 실시예로, 생성된 후보 유닛 집합은 {A, B}와 같이 구성될 수 있다.
도 6의 620을 참조하면, 부호화기는 좌측 주변 유닛(A, B, C), 상단 주변 유닛(D, E, F)을, 후보 유닛 집합에 포함되는 후보 유닛으로 선택할 수 있다. 이 때, 일 실시예로, 생성된 후보 유닛 집합은 {D, E, F, A, B, C}로 구성될 수 있다.

도 7은 후보 유닛 집합 생성 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다. 도 7의 실시예에서, 부호화 대상 유닛(X)의 크기는 16x16, C, D, H, M 유닛의 크기는 8x8, 나머지 유닛의 크기는 4x4라 가정한다.
도 6에서 상술한 바와 같이, 부호화기는 복원된 주변 유닛들 중에서 부호화 대상 유닛의 좌측에 인접한 유닛들 및 부호화 대상 유닛의 상단에 인접한 유닛들을 후보 유닛으로 선택할 수 있다. 이 때, 부호화기는, 좌측 주변 유닛들 및 상단 주변 유닛들 중에서, 부호화 대상 유닛과 인접한 경계의 길이가 소정의 길이 이상인 유닛들만을 후보 유닛으로 선택하여 후보 유닛 집합에 포함시킬 수도 있다. 여기서, 상기 소정의 길이는 양의 정수일 수 있다. 이하, 부호화 대상 유닛과 복원된 주변 유닛이 인접한 경계는 인접 경계라 한다.
도 7을 참조하면, 부호화기는 부호화 대상 유닛과 인접한 경계의 길이가 8 이상인 유닛들만을 후보 유닛으로 선택할 수 있다. C, D 유닛은 8x8의 크기를 가지고, 부호화 대상 유닛과 C, D 유닛이 인접한 경계의 길이가 8이므로, 후보 유닛 집합에 포함되는 후보 유닛으로 선택될 수 있다. 반면, A, B, E, F 유닛은 4x4 크기를 가지고, 부호화 대상 유닛과 A, B, E, F 유닛이 인접한 경계의 길이가 4이므로, 후보 유닛 집합에 포함되는 후보 유닛으로 선택되지 않을 수 잇다. 이 때, 일 실시예로, 생성된 후보 유닛 집합은 {C, D}일 수 있다.

다른 예로 부호화기는, 좌측 주변 유닛들의 인접 경계 및 상단 주변 유닛들의 인접 경계의 상대적인 길이를 기준으로, 후보 유닛 집합에 포함되는 후보 유닛을 선택할 수도 있다. 즉, 부호화기는 부호화 대상 유닛에 인접한 유닛들의 인접 경계 길이를 서로 비교하여 후보 유닛을 선택할 수 있다.
예를 들어, 복원된 주변 유닛들 중에서 인접 경계의 길이가 4인 유닛들 및 인접 경계의 길이가 8인 유닛들이 존재하는 경우, 부호화기는 인접 경계의 길이가 상대적으로 긴 후자의 유닛들만을 후보 유닛 집합에 포함시킬 수 있다. 다른 예로서, 복원된 주변 유닛들 중에서 인접 경계의 길이가 16인 유닛들 및 인접 경계의 길이가 4인 유닛들이 존재하는 경우, 부호화기는 인접 경계의 길이가 상대적으로 짧은 후자의 유닛들만을 후보 유닛 집합에 포함시킬 수 있다.

도 8은 후보 유닛 집합 생성 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다. 도 8의 실시예에서, 부호화 대상 유닛(X)의 크기는 16x16, C, D, H, M 유닛의 크기는 8x8, 나머지 유닛의 크기는 4x4라 가정한다.
도 5에서 상술한 바와 같이, 부호화기는 복원된 주변 유닛들 중에서 부호화 대상 유닛에 인접한 유닛들 및 부호화 대상 유닛의 코너에 위치한 유닛들을 후보 유닛으로 선택할 수 있다. 이 때, 부호화기는, 부호화 대상 유닛에 인접한 유닛들 및 부호화 대상 유닛의 코너에 위치한 유닛들 중에서, 소정의 크기 이상의 유닛들만을 후보 유닛으로 선택하여 후보 유닛 집합에 포함시킬 수도 있다. 여기서, 상기 소정의 크기는 m*n(m은 양의 정수, n은 양의 정수)일 수 있다.
도 8을 참조하면, 부호화기는 8x8 이상의 크기를 갖는 유닛들만을 후보 유닛으로 선택할 수 있다. C, D, H, M 유닛은 8x8의 크기를 가지므로, 후보 유닛 집합에 포함되는 후보 유닛으로 선택될 수 있다. 반면, A, B, E, F, G 유닛은 4x4 크기를 가지므로, 후보 유닛 집합에 포함되는 후보 유닛으로 선택되지 않을 수 있다. 이 때, 일 실시예로, 생성된 후보 유닛 집합은 {C, D, H, M}과 같이 구성될 수 있다.

다른 예로 부호화기는, 복원된 주변 유닛들의 상대적인 크기를 기준으로, 후보 유닛 집합에 포함되는 후보 유닛을 선택할 수도 있다. 즉, 부호화기는 복원된 주변 유닛들의 크기를 서로 비교하여 후보 유닛을 선택할 수 있다. 예를 들어, 크기가 8x8인 복원된 주변 유닛들 및 크기가 16x16인 복원된 주변 유닛들이 존재하는 경우, 부호화기는 크기가 상대적으로 큰 후자의 유닛들만을 후보 유닛 집합에 포함시킬 수 있다.

도 9는 후보 유닛 집합 생성 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다. 도 9의 실시예에서, 부호화 대상 유닛(X)의 깊이 값은 0이고, C, D, H, M 유닛의 깊이 값은 1이고, 나머지 유닛의 깊이 값은 2라 가정한다.
도 5에서 상술한 바와 같이, 부호화기는 복원된 주변 유닛들 중에서 부호화 대상 유닛에 인접한 유닛들 및 부호화 대상 유닛의 코너에 위치한 유닛들을 후보 유닛으로 선택할 수 있다. 이 때, 부호화기는, 부호화 대상 유닛에 인접한 유닛들 및 부호화 대상 유닛의 코너에 위치한 유닛들 중에서, 소정의 깊이 이하의 유닛들만을 후보 유닛으로 선택하여 후보 유닛 집합에 포함시킬 수도 있다. 여기서, 상기 소정의 깊이는 n(n은 양의 정수)일 수 있다.
도 9를 참조하면, 부호화기는 1 이하의 깊이를 갖는 유닛들만을 후보 유닛으로 선택할 수 있다. C, D, H, M 유닛은 1의 깊이를 가지므로, 후보 유닛 집합에 포함되는 후보 유닛으로 선택될 수 있다. 반면, A, B, E, F, G 유닛은 2의 깊이를 가지므로, 후보 유닛 집합에 포함되는 후보 유닛으로 선택되지 않을 수 있다. 이 때, 일 실시예로, 생성된 후보 유닛 집합은 {H, D, C, M}과 같이 구성될 수 있다.

다른 예로 부호화기는, 복원된 주변 유닛들의 상대적인 깊이를 기준으로, 후보 유닛 집합에 포함되는 후보 유닛을 선택할 수도 있다. 즉, 부호화기는 복원된 주변 유닛들의 깊이를 서로 비교하여 후보 유닛을 선택할 수 있다. 예를 들어, 깊이가 0인 복원된 주변 유닛들 및 깊이가 2인 복원된 주변 유닛들이 존재하는 경우, 부호화기는 깊이 값이 상대적으로 작은 전자의 유닛들만을 후보 유닛 집합에 포함시킬 수 있다.

또 다른 실시예로, 부호화기는 부호화 대상 유닛의 부호화 파라미터 및/또는 복원된 주변 유닛의 부호화 파라미터를 이용하여, 후보 유닛 집합에 포함되는 후보 유닛을 선택할 수 있다. 이 때, 부호화기는 부호화 대상 유닛과 복원된 주변 유닛 간의 부호화 파라미터 관련성을 이용하여 후보 유닛을 선택할 수도 있고, 복원된 주변 유닛의 부호화 파라미터만을 이용하여 후보 유닛을 선택할 수도 있다.
일례로 부호화기는, 복원된 주변 유닛의 움직임 정보와 부호화 대상 유닛의 움직임 정보가 동일한지 여부를 판단한 후, 복원된 주변 유닛들 중 부호화 대상 유닛과 동일한 움직임 정보를 가진 유닛들만을 후보 유닛으로 선택하여 후보 유닛 집합에 포함시킬 수도 있다. 예를 들어, 상기 움직임 정보는 움직임 벡터, 참조 픽쳐 리스트, 참조 픽쳐 인덱스, 예측 방향 및 움직임 벡터 예측기 중 적어도 하나 이상일 수 있다.
다른 예로 부호화기는, 복원된 주변 유닛의 움직임 정보와 부호화 대상 유닛의 움직임 정보가 유사한지 여부를 판단한 후, 복원된 주변 유닛들 중에서 부호화 대상 유닛과 유사한 움직임 정보를 가진 유닛들만을 후보 유닛으로 선택하여 후보 유닛 집합에 포함시킬 수도 있다. 예를 들어, 상기 움직임 정보는 움직임 벡터, 참조 픽쳐 리스트, 참조 픽쳐 인덱스, 예측 방향 및 움직임 벡터 예측기 중 적어도 하나 이상일 수 있다. 복원된 주변 유닛의 움직임 정보와 부호화 대상 유닛의 움직임 정보가 완전히 동일하지는 않지만 소정의 기준을 충족시키는 경우에는, 서로 유사한 것으로 판단될 수 있다.
복원된 주변 유닛의 움직임 정보와 부호화 대상 유닛의 움직임 정보가 유사한 경우의 실시예들은 다음과 같다. 예를 들어, 복원된 주변 유닛의 움직임 벡터와 부호화 대상 유닛의 움직임 벡터의 성분별 크기 차이가, 정수 화소 단위로 소정의 크기 미만인 경우, 복원된 주변 유닛의 움직임 정보와 부호화 대상 유닛의 움직임 정보가 유사한 것으로 판단될 수 있다. 여기서, 상기 소정의 크기는 임의의 자연수 및/또는 양의 실수일 수 있으며, 일례로 1일 수 있다. 다른 예로, 복원된 주변 유닛과 부호화 대상 유닛이 서로 다른 참조 픽쳐 리스트를 갖지만, 서로 동일한 참조 픽쳐를 사용하는 경우, 복원된 주변 유닛의 움직임 정보와 부호화 대상 유닛의 움직임 정보가 유사한 것으로 판단될 수 있다. 또 다른 예로, 복원된 주변 유닛과 부호화 대상 유닛이 서로 다른 참조 픽쳐 인덱스를 갖지만, 서로 동일한 참조 픽쳐를 사용하는 경우, 복원된 주변 유닛의 움직임 정보와 부호화 대상 유닛의 움직임 정보가 유사한 것으로 판단될 수 있다.
또한 예를 들어 부호화기는 복원된 주변 유닛들 중에서 인트라 예측에 의해 부호화된 유닛들은 후보 유닛으로 선택하지 않을 수 있다. 이 때, 부호화기는 인트라 예측에 의해 부호화된 유닛들은 후보 유닛 집합에 포함시키지 않을 수 있다. 일례로 부호화기는 복원된 주변 유닛들 중에서 인터 예측에 의해 부호화된 유닛들만을 후보 유닛으로 선택하여, 후보 유닛 집합에 포함시킬 수 있다.
부호화기는, 복원된 주변 유닛에 대한 잔차 신호(residual signal) 유무를 판단한 후, 복원된 주변 유닛들 중에서 잔차 신호가 존재하지 않는 유닛들을 후보 유닛으로 선택하여 후보 유닛 집합에 포함시킬 수도 있다. 여기서, 상기 잔차 신호 유무는, 잔차 신호 유무에 대한 구문 요소인 CBP(Coded Block Pattern) 및/또는 CBF(Coded Block Flag)의 값을 통해 판별될 수 있다.

상술한 후보 유닛 집합 생성 방법의 실시예들에서, 상기 후보 유닛 집합에 포함되는 후보 유닛의 개수는 소정의 개수(예를 들어, N개)로 제한될 수 있다. 여기서, N은 0보다 큰 양의 정수를 나타낼 수 있다.
후보 유닛 집합에 포함되는 후보 유닛의 개수가 N개로 제한되는 경우, 부호화기는 소정의 기준을 이용하여, 복원된 주변 유닛들 중에서 N개의 유닛만을 후보 유닛으로 선택할 수 있다. 여기서, 상기 소정의 기준에는 부호화 대상 유닛과의 인접 정도, 부호화 대상 유닛 경계와의 인접 정도, 부호화 대상 유닛과 인접한 경계의 상대적인 및/또는 절대적인 길이, 복원된 주변 유닛의 상대적인 및/또는 절대적인 크기, 복원된 주변 유닛의 상대적인 및/또는 절대적인 깊이 값, 복원된 주변 유닛의 부호화/복호화 순서 및/또는 부호화 대상 유닛의 부호화 파라미터와 복원된 주변 유닛의 부호화 파라미터 간의 동일성/유사성 등이 있을 수 있다. 복원된 주변 유닛의 부호화 파라미터와 부호화 대상 유닛의 부호화 파라미터가 유사한 경우의 실시예들은 상술한 바 있다. 예를 들어, 복원된 주변 유닛의 부호화 파라미터와 부호화 대상 유닛이 서로 동일한 참조 픽쳐를 사용하는 경우, 복원된 주변 유닛의 부호화 파라미터와 부호화 대상 유닛의 부호화 파라미터가 유사한 것으로 판단될 수 있다.
예를 들어, 후보 유닛 집합에 포함되는 후보 유닛의 개수는 2개일 수 있다. 이 때, 일례로 부호화기는 복원된 주변 유닛들 중에서, 부호화 대상 유닛에 인접한 경계의 길이가 긴 순서대로 2개의 유닛을 후보 유닛으로 선택하여 후보 유닛 집합에 포함시킬 수 있다.
다른 예로, 후보 유닛 집합에 포함되는 후보 유닛의 개수는 3개일 수 있다. 또한, 일례로 복원된 주변 유닛들이 동일한 움직임 정보를 가질 수 있다. 이 때 부호화기는, 동일한 움직임 정보를 가진 복원된 주변 유닛들 중에서, 부호화/복호화 순서상 늦게 복원된 3개의 유닛을 후보 유닛으로 선택하여, 후보 유닛 집합에 포함시킬 수 있다.

한편, 상술한 후보 유닛 집합 생성 방법의 실시예들에서, 상기 후보 유닛 집합에 포함되는 후보 유닛들은, 부호화 대상 유닛에 대한 참조 유닛으로 결정될 확률이 높은 순서대로 정렬될 수 있다. 즉, 부호화기는 부호화 대상 유닛에 대한 참조 유닛으로 결정될 확률이 높은 유닛을 우선적으로 후보 유닛 집합에 포함 및/또는 삽입시킬 수 있다. 이 때, 부호화기는 참조 유닛으로 결정될 확률이 높은 후보 유닛일수록, 짧은 코드워드를 갖는 참조 유닛 식별자를 할당하여 부호화 효율을 높일 수 있다.

도 10은 후보 유닛들이 후보 유닛 집합에 포함되는 순서를 결정하는 방법의 일 실시예를 개략적으로 나타내는 개념도이다. 도 10에서 복원된 주변 유닛들이 부호화/복호화되는 순서는 H->D->K->L->E->F->N->O->G->P->I->A->J->B->C->M이라 가정한다.
예를 들어, 부호화기는 복원된 주변 유닛들 중에서 부호화 대상 유닛의 좌측에 인접한 유닛들 및 부호화 대상 유닛의 상단에 인접한 유닛들을 후보 유닛으로 선택하여 후보 유닛 집합에 포함시킬 수 있다. 이 때, 부호화기는 선택된 후보 유닛들을 부호화/복호화 순서에 따라 후보 유닛 집합에 포함시킬 수 있다.
도 10을 참조하면, 부호화기는 부호화/복호화 순서가 빠른 후보 유닛을 우선적으로 후보 유닛 집합에 포함시킬 수 있다. 현재 부호화 대상 유닛(X)에 인접한 유닛들은 D->E->F->A->B->C의 순서로 부호화/복호화 될 수 있으므로, 생성된 후보 유닛 집합은 {D, E, F, A, B, C}와 같이 구성될 수 있다.

다른 실시예로, 부호화기는 후보 유닛 집합에 포함되는 후보 유닛들을, 부호화 대상 유닛에 인접한 경계의 길이가 긴 순서로 정렬할 수 있다. 즉, 부호화기는 부호화 대상 유닛에 인접한 경계의 길이가 긴 후보 유닛을 우선적으로 후보 유닛 집합에 포함 및/또는 삽입시킬 수 있다.
또 다른 실시예로, 부호화기는 후보 유닛 집합에 포함되는 후보 유닛들을, 깊이 값이 작은 순서로 정렬할 수 있다. 즉, 부호화기는 깊이 값이 작은 후보 유닛을 우선적으로 후보 유닛 집합에 포함 및/또는 삽입시킬 수 있다.

상술한 후보 유닛 집합 생성 방법의 실시예들에서, 부호화기는 복원된 주변 블록들 중에서 후보 유닛 집합에 포함되는 후보 유닛을 선택할 수 있다. 이 때, 복원된 주변 블록들 중에서 선택된 후보 유닛은 공간적(spatial) 후보 유닛으로 불릴 수 있다.
부호화기는, 공간적 후보 유닛 외에, 참조 픽쳐 내의 유닛들 중에서 부호화 대상 유닛과 동일한 공간적 위치에 있는 유닛을 후보 유닛으로 선택하여, 후보 유닛 집합에 포함시킬 수도 있다. 이하, 설명의 편의를 위해, 참조 픽쳐 내의 유닛들 중에서 부호화 대상 유닛과 동일한 공간적 위치에 있는 유닛은 동일 위치 유닛(collocated unit) 및/또는 동일 위치 블록(collocated block)이라 한다. 이 때, 참조 픽쳐 내의 유닛들 중에서 선택된 후보 유닛은 시간적(temporal) 후보 유닛으로 불릴 수 있다.

상술한 후보 유닛 집합 생성 과정에서, 부호화기는 복원된 주변 유닛에 대한 부호화 파라미터 식별자를 이용할 수 있다. 이 때, 후보 유닛 집합에 포함되는 후보 유닛들은 상기 부호화 파라미터 식별자를 이용하여 선택될 수 있다. 여기서, 부호화 파라미터 식별자가 사용되는 부호화 파라미터에는, 예를 들어 부호화 대상 유닛과 복원된 주변 유닛이 인접한 경계의 길이, 복원된 주변 유닛의 크기, 복원된 주변 유닛의 깊이 값 등이 있을 수 있다.
부호화 파라미터 식별자에는 소정의 값이 할당될 수 있다. 이 때, 일례로 부호화기는 복원된 주변 유닛 중에서, 부호화 파라미터 식별자에 할당된 값과 동일한 값의 부호화 파라미터를 갖는 유닛을 후보 유닛으로 선택할 수 있다. 다른 예로 부호화기는 복원된 주변 유닛 중에서, 부호화 파라미터 식별자에 할당된 값보다 큰 값의 부호화 파라미터를 갖는 유닛을 후보 유닛으로 선택할 수 있다. 또 다른 예로 부호화기는 부호화 파라미터 식별자에 할당된 값보다 작은 값의 부호화 파라미터를 갖는 유닛을 후보 유닛으로 선택할 수도 있다.
예를 들어, 부호화 대상 유닛과 복원된 주변 유닛이 인접한 경계의 길이에 대해 부호화 파라미터 식별자가 사용된다고 가정한다. 여기서, 상기 부호화 파라미터 식별자는 log2_unit_boundary_length에 의해 나타내어질 수 있다. 상술한 바와 같이 부호화기는 복원된 주변 유닛 중에서 부호화 대상 유닛과 인접한 경계의 길이가 소정의 길이보다 큰 유닛들만을 후보 유닛으로 선택하여 후보 유닛 집합에 포함시킬 수도 있다. 여기서, 상기 소정의 길이가 8이라 가정하면, 상기 부호화 파라미터 식별자 log2_unit_boundary_length에는 3의 값이 할당될 수 있다. 이 때, 부호화기는 상기 부호화 파라미터 식별자에 할당된 값보다 큰 인접 경계 길이를 갖는 유닛들만을 후보 유닛으로 선택하여 후보 유닛 집합에 포함시킬 수 있다. 또한, 부호화기는 3의 값이 할당된 상기 부호화 파라미터 식별자를 부호화하여, 복호화기로 전송할 수 있다.

후보 유닛 집합이 생성되면, 부호화기는 생성된 후보 유닛 집합에 포함된 후보 유닛들 중에서 현재 부호화 대상 유닛의 예측 및/또는 움직임 보상에 사용되는 참조 유닛을 결정할 수 있다.

도 11은 본 발명의 실시예에 따른 부호화기에서의 참조 유닛 결정 방법을 개략적으로 설명하는 개념도이다.
부호화기는, 후보 유닛 집합에 포함된 후보 유닛들 중에서, 율-왜곡 관점에서 최적의 부호화 효율을 나타내는 후보 유닛을 참조 유닛으로 결정할 수 있다. 또한 상술한 바와 같이 부호화기는 후보 유닛 집합에 포함된 후보 유닛들의 부호화 파라미터(예를 들어, 움직임 정보 등)를 인터 예측 및 움직임 보상에 이용할 수 있다. 이 때, 부호화기는, 상기 부호화 파라미터를 이용하여, 율-왜곡 관점에서 최적의 부호화 효율을 나타내는 후보 유닛을 참조 유닛으로 결정할 수 있다. 여기서, 율(distortion)과 왜곡(rate)의 관점에서 최적의 부호화 방식을 선택하는 방법은 율-왜곡 최적화(RDO: Rate Distortion Optimization)로 불릴 수 있다.
율-왜곡 최적화 방식에 의해 참조 유닛이 결정되면, 부호화기는 후보 유닛 집합에 포함된 후보 유닛들 중 어떤 후보 유닛이 참조 유닛으로 결정되는지를 지시하는 참조 유닛 식별자를 부호화하여 복호화기로 전송할 수 있다. 일례로, 상기 참조 유닛 식별자는, 참조 유닛으로 결정되는 후보 유닛의 후보 유닛 집합 내 순서 및/또는 위치를 지시할 수 있다. 다른 예로, 상기 참조 유닛 식별자는 부호화 대상 유닛으로부터 참조 유닛까지의 부호화 순서 차이를 지시할 수 있다. 또 다른 예로, 후보 유닛 집합 내의 후보 유닛들 각각에는 참조 유닛 인덱스가 할당될 수 있으며, 상기 참조 유닛 인덱스가 참조 유닛 식별자로 사용될 수 있다.
도 11을 참조하면, 후보 유닛 집합은 일 실시예로 {A, B, C, D, E, F}와 같이 구성될 수 있다. 이 때, 각각의 후보 유닛에는 참조 유닛 인덱스가 할당될 수 있으며, 예를 들어, A에는 0, B에는 1, C에는 2, D에는 3, E에는 4, F에는 5의 인덱스가 할당될 수 있다.
부호화기는 참조 유닛 인덱스를 부호화하여 복호화기로 전송할 수 있고, 복호화기는 부호화된 참조 유닛 인덱스를 수신하여 복호화할 수 있다. 부호화기가 B를 참조 유닛으로 결정하는 경우, 복호화기로 전송되는 참조 유닛 인덱스의 값은 1일 수 있다. 이 때, 복호화기는 상기 참조 유닛 인덱스의 값을 이용하여, 유닛 B를 참조 유닛으로 결정할 수 있다.

도 12는 본 발명의 다른 실시예에 따른 부호화기에서의 참조 유닛 결정 방법을 개략적으로 설명하는 개념도이다. 도 12에서 복원된 주변 유닛들이 부호화/복호화되는 순서는 H->D->K->L->E->F->N->O->G->P->I->A->J->B->C->M이라 가정한다.
상술한 바와 같이, 후보 유닛 집합 생성 과정에서 부호화기는, 후보 유닛 집합에 포함되는 후보 유닛들을, 참조 유닛으로 결정될 확률이 높은 순서대로 정렬할 수 있다. 이 때, 부호화기는 후보 유닛 집합 내에 포함된 후보 유닛들 중에서 첫 번째 후보 유닛을 참조 유닛으로 결정할 수 있다.
도 12를 참조하면, 부호화기는 부호화 대상 유닛에 인접한 유닛들을 후보 유닛으로 선택할 수 있다. 이 때, 선택되는 후보 유닛들은 A, B, C, D, E, F일 수 있다. 부호화기는 선택된 후보 유닛들을 부호화/복호화 순서에 따라 정렬할 수 있다. 예를 들어, 부호화기는 부호화 순서상 늦게 부호화된 유닛을 우선적으로 후보 유닛 집합에 포함시킬 수 있다. 이 때, 후보 유닛 집합은 {C, B, A, F, E, D}와 같이 구성될 수 있다. 부호화기는 상기 후보 유닛 집합 내의 첫 번째 후보 유닛 C를 참조 유닛으로 결정할 수 있다. 이 경우, 부호화 대상 유닛과의 부호화 순서 차이가 가장 작은 후보 유닛이 참조 유닛으로 결정될 수 있다.
후보 유닛 집합 내의 첫 번째 후보 유닛이 참조 유닛으로 결정되는 경우, 부호화기 및 복호화기는 별도의 참조 유닛 식별자 없이 참조 유닛을 결정할 수 있다. 따라서, 부호화기는 참조 유닛 식별자를 부호화하지 않을 수 있으며, 참조 유닛 식별자를 복호화기로 전송하지 않을 수 있다.

도 13은 본 발명의 또 다른 실시예에 따른 부호화기에서의 참조 유닛 결정 방법을 개략적으로 설명하는 개념도이다.
도 13을 참조하면, 부호화기는 부호화 대상 유닛에 인접한 유닛들을 후보 유닛으로 선택할 수 있다. 이 때, 선택된 후보 유닛들은 A, D, E, F일 수 있다.
한편, 후보 유닛 집합에 포함되는 후보 유닛의 개수는 소정의 개수로 제한될 수 있으며, 상기 소정의 개수는 1일 수도 있다. 이 때, 부호화기는 복원된 주변 유닛들 중에서 참조 유닛으로 선택될 확률이 가장 높은 하나의 유닛만을 후보 유닛으로 선택하여 후보 유닛 집합을 생성할 수 있다. 예를 들어, 부호화기는 복원된 주변 유닛들의 크기를 서로 비교하여, 상대적으로 가장 큰 유닛(예를 들어, 유닛 A) 만을 후보 유닛으로 선택할 수 있다. 이 때, 후보 유닛 집합은 {A}와 같이 구성되고, 후보 유닛 집합을 구성하는 후보 유닛의 개수는 1개일 수 있다.
후보 유닛 집합을 구성하는 후보 유닛의 개수가 1개인 경우, 부호화기 및 복호화기는 해당 후보 유닛을 참조 유닛으로 결정할 수 있다. 이 때, 부호화기 및 복호화기는 별도의 참조 유닛 식별자 없이 참조 유닛을 결정할 수 있다. 따라서, 부호화기는 참조 유닛 식별자를 부호화하지 않을 수 있으며, 참조 유닛 식별자를 복호화기로 전송하지 않을 수 있다.

도 4에서 상술한 바와 같이, 참조 유닛이 결정되면 부호화기는 참조 유닛 식별 정보를 부호화하여 복호화기로 전송할 수 있다. 참조 유닛 식별 정보는 부호화 파라미터 식별자 및 참조 유닛 식별자 중 적어도 하나를 포함할 수 있다.

부호화기는 복원된 주변 유닛에 대한 부호화 파라미터 식별자를 이용할 수 있다. 이 때, 후보 유닛 집합에 포함되는 후보 유닛들은 상기 부호화 파라미터 식별자를 이용하여 선택될 수 있다.
부호화 파라미터 식별자에는 소정의 값이 할당될 수 있다. 이 때, 일례로 부호화기는 복원된 주변 유닛 중에서, 부호화 파라미터 식별자에 할당된 값과 동일한 값의 부호화 파라미터를 갖는 유닛을 후보 유닛으로 선택할 수 있다. 다른 예로 부호화기는 복원된 주변 유닛 중에서, 부호화 파라미터 식별자에 할당된 값보다 큰 값의 부호화 파라미터를 갖는 유닛을 후보 유닛으로 선택할 수 있다. 또 다른 예로 부호화기는 부호화 파라미터 식별자에 할당된 값보다 작은 값의 부호화 파라미터를 갖는 유닛을 후보 유닛으로 선택할 수도 있다.
부호화기는 부호화 파라미터 식별자를 부호화할 수 있다. 이 때, 부호화된 부호화 파라미터 식별자는 복호화기로 전송될 수 있다.

또한 상술한 바와 같이, 부호화기는 후보 유닛 집합에 포함된 후보 유닛들의 부호화 파라미터를 인터 예측 및 움직임 보상에 이용할 수 있다. 이 때, 부호화기는, 상기 부호화 파라미터를 이용하여, 율-왜곡 관점에서 최적의 부호화 효율을 나타내는 후보 유닛을 참조 유닛으로 결정할 수 있다.
율-왜곡 최적화 방식에 의해 참조 유닛이 결정되면, 부호화기는 후보 유닛 집합에 포함된 후보 유닛들 중 어떤 후보 유닛이 참조 유닛으로 결정되는지를 지시하는 참조 유닛 식별자를 부호화하여 복호화기로 전송할 수 있다. 일례로, 상기 참조 유닛 식별자는, 참조 유닛으로 결정되는 후보 유닛의 후보 유닛 집합 내 순서 및/또는 위치를 지시할 수 있다. 다른 예로, 상기 참조 유닛 식별자는 부호화 대상 유닛으로부터 참조 유닛까지의 부호화 순서 차이를 지시할 수 있다. 또 다른 예로, 후보 유닛 집합 내의 후보 유닛들 각각에는 참조 유닛 인덱스가 할당될 수 있으며, 상기 참조 유닛 인덱스가 참조 유닛 식별자로 사용될 수 있다.
복호화기는 부호화된 참조 유닛 식별자를 수신하여 복호화할 수 있다. 복호화기는 복호화된 참조 유닛 식별자를 이용하여 참조 유닛을 결정할 수 있다.

후보 유닛 집합 내의 첫 번째 후보 유닛이 참조 유닛으로 결정되는 경우 및 후보 유닛 집합을 구성하는 후보 유닛의 개수가 1개인 경우, 부호화기 및 복호화기는 별도의 참조 유닛 식별자 없이 참조 유닛을 결정할 수 있다. 이 때, 부호화기는 참조 유닛 식별자의 부호화를 생략할 수도 있다.

도 14는 복호화기에서의 참조 유닛 결정 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 14를 참조하면, 복호화기는 부호화기로부터 참조 유닛 식별 정보를 수신하여 복호화할 수 있다(S1410). 부호화기로부터 전송된 참조 유닛 식별 정보는 부호화 파라미터 식별자 및 참조 유닛 식별자 중 적어도 하나를 포함할 수 있다.

복호화기는, 참조 유닛 식별 정보에 포함된 부호화 파라미터 식별자를 이용하여, 후보 유닛 집합에 포함되는 후보 유닛들을 선택할 수 있다. 부호화 파라미터 식별자에는 소정의 값이 할당될 수 있다. 이 때, 일례로 복호화기는 복원된 주변 유닛 중에서, 부호화 파라미터 식별자에 할당된 값과 동일한 값의 부호화 파라미터를 갖는 유닛을 후보 유닛으로 선택할 수 있다. 다른 예로 복호화기는 복원된 주변 유닛 중에서, 부호화 파라미터 식별자에 할당된 값보다 큰 값의 부호화 파라미터를 갖는 유닛을 후보 유닛으로 선택할 수 있다. 또 다른 예로 복호화기는 부호화 파라미터 식별자에 할당된 값보다 작은 값의 부호화 파라미터를 갖는 유닛을 후보 유닛으로 선택할 수도 있다. 여기서, 부호화 파라미터 식별자에 할당된 값은, 부호화기에서 사용된, 부호화 파라미터 및/또는 부호화 파라미터 식별자의 값과 동일한 값일 수 있다.

복호화기는 부호화기에서 부호화된 참조 유닛 식별자를 복호화할 수 있다. 상술한 바와 같이, 참조 유닛 식별자는 후보 유닛 집합에 포함된 후보 유닛들 중 어떤 후보 유닛이 참조 유닛으로 결정되는지를 지시할 수 있다. 일례로, 상기 참조 유닛 식별자는, 참조 유닛으로 결정되는 후보 유닛의 후보 유닛 집합 내 순서 및/또는 위치를 지시할 수 있다. 다른 예로, 상기 참조 유닛 식별자는 복호화 대상 유닛으로부터 참조 유닛까지의 복호화 순서 차이를 지시할 수 있다. 또 다른 예로, 후보 유닛 집합 내의 후보 유닛들 각각에는 참조 유닛 인덱스가 할당될 수 있으며, 상기 참조 유닛 인덱스가 참조 유닛 식별자로 사용될 수 있다. 복호화기는, 후보 유닛 집합에서 참조 유닛을 결정함에 있어, 복호화된 참조 유닛 식별자를 이용할 수 있다.

후보 유닛 집합 내의 첫 번째 후보 유닛이 참조 유닛으로 결정되는 경우 및 후보 유닛 집합을 구성하는 후보 유닛의 개수가 1개인 경우, 부호화기 및 복호화기는 별도의 참조 유닛 식별자 없이 참조 유닛을 결정할 수 있다. 이 때, 부호화기는 참조 유닛 식별자를 전송하지 않을 수 있으므로, 복호화기는 참조 유닛 식별자를 복호화하지 않을 수 있다.

다시 도 14를 참조하면, 복호화기는 복원된 주변 유닛을 이용하여, 후보 유닛 집합을 생성할 수 있다(S1420).
복호화기는, 소정의 기준 및/또는 방법에 의해, 복원된 주변 유닛 중에서 후보 유닛을 선택할 수 있다. 이 때 복호화기는, 영상의 특성을 반영하기 위해, 복호화 대상 유닛의 부호화 파라미터 및/또는 복원된 주변 유닛의 부호화 파라미터를 이용할 수 있다. 복호화기는 선택된 후보 유닛을 후보 유닛 집합에 포함 및/또는 삽입시켜, 후보 유닛 집합을 생성할 수 있다.
복호화기는 부호화기에서와 동일한 과정을 통해 후보 유닛 집합을 생성할 수 있다. 부호화기에서의 후보 유닛 집합 생성 과정은 상술한 바 있으므로, 복호화기에서의 후보 유닛 집합 생성 과정의 상세한 설명은 생략하기로 한다.

후보 유닛 집합이 생성되면, 복호화기는 생성된 후보 유닛 집합에 포함된 후보 유닛들 중에서 현재 복호화 대상 유닛의 예측 및/또는 움직임 보상에 사용되는 참조 유닛을 결정할 수 있다(S1430).
복호화기는 참조 유닛 결정 과정에서, 복호화된 참조 유닛 식별 정보를 이용할 수 있다. 참조 유닛이 결정되면, 복호화기는 결정된 참조 유닛을 이용하여 부호화 대상 유닛에 대한 인터 예측을 수행할 수 있다. 참조 유닛 결정 방법의 구체적인 실시예들은 후술하기로 한다.

도 15는 본 발명의 실시예에 따른 복호화기에서의 참조 유닛 결정 방법을 개략적으로 설명하는 개념도이다.
복호화기는, 복호화된 참조 유닛 식별자를 이용하여, 후보 유닛 집합에 포함된 후보 유닛들 중에서 복호화 대상 유닛의 인터 예측 및 움직임 보상에 이용되는 참조 유닛을 결정할 수 있다. 일례로, 상기 참조 유닛 식별자는, 참조 유닛으로 결정되는 후보 유닛의 후보 유닛 집합 내 순서 및/또는 위치를 지시할 수 있다. 다른 예로, 상기 참조 유닛 식별자는 복호화 대상 유닛으로부터 참조 유닛까지의 복호화 순서 차이를 지시할 수 있다. 또 다른 예로, 후보 유닛 집합 내의 후보 유닛들 각각에는 참조 유닛 인덱스가 할당될 수 있으며, 상기 참조 유닛 인덱스가 참조 유닛 식별자로 사용될 수 있다.
도 15를 참조하면, 후보 유닛 집합은 일 실시예로 {A, B, C, D, E, F}와 같이 구성될 수 있다. 이 때, 각각의 후보 유닛에는 참조 유닛 인덱스가 할당될 수 있으며, 예를 들어, A에는 0, B에는 1, C에는 2, D에는 3, E에는 4, F에는 5의 인덱스가 할당될 수 있다. 복호화된 참조 유닛 인덱스의 값이 2인 경우, 복호화기는 상기 참조 유닛 인덱스의 값을 이용하여, 유닛 C를 참조 유닛으로 결정할 수 있다.

도 16은 본 발명의 다른 실시예에 따른 복호화기에서의 참조 유닛 결정 방법을 개략적으로 설명하는 개념도이다. 도 16에서 복원된 주변 유닛들이 복호화되는 순서는 H->D->K->L->E->F->N->O->G->P->I->A->J->B->C->M이라 가정한다.
후보 유닛 집합 생성 과정에서 복호화기는, 후보 유닛 집합에 포함되는 후보 유닛들을, 참조 유닛으로 결정될 확률이 높은 순서대로 정렬할 수 있다. 이 때, 복호화기는 후보 유닛 집합 내에 포함된 후보 유닛들 중에서 첫 번째 후보 유닛을 참조 유닛으로 결정할 수 있다.
도 16을 참조하면, 복호화기는 복호화 대상 유닛에 인접한 유닛들을 후보 유닛으로 선택할 수 있다. 이 때, 선택되는 후보 유닛들은 A, B, C, D, E, F일 수 있다. 복호화기는 선택된 후보 유닛들을 복호화 순서에 따라 정렬할 수 있다. 예를 들어, 복호화기는 복호화 순서상 늦게 복호화된 유닛을 우선적으로 후보 유닛 집합에 포함시킬 수 있다. 이 때, 후보 유닛 집합은 {C, B, A, F, E, D}와 같이 구성될 수 있다. 복호화기는 상기 후보 유닛 집합 내의 첫 번째 후보 유닛 C를 참조 유닛으로 결정할 수 있다. 이 경우, 복호화 대상 유닛과의 복호화 순서 차이가 가장 작은 후보 유닛이 참조 유닛으로 결정될 수 있다.
후보 유닛 집합 내의 첫 번째 후보 유닛이 참조 유닛으로 결정되는 경우, 부호화기 및 복호화기는 별도의 참조 유닛 식별자 없이 참조 유닛을 결정할 수 있다. 이 때, 부호화기는 참조 유닛 식별자를 복호화기로 전송하지 않을 수 있으므로, 복호화기는 참조 유닛 식별자를 복호화하지 않을 수 있다.

도 17은 본 발명의 또 다른 실시예에 따른 복호화기에서의 참조 유닛 결정 방법을 개략적으로 설명하는 개념도이다.
도 17을 참조하면, 복호화기는 복호화 대상 유닛에 인접한 유닛들을 후보 유닛으로 선택할 수 있다. 이 때, 선택된 후보 유닛들은 A, D, E, F일 수 있다.
한편, 후보 유닛 집합에 포함되는 후보 유닛의 개수는 소정의 개수로 제한될 수 있으며, 상기 소정의 개수는 1일 수도 있다. 이 때, 복호화기는 복원된 주변 유닛들 중에서 참조 유닛으로 선택될 확률이 가장 높은 하나의 유닛만을 후보 유닛으로 선택하여 후보 유닛 집합을 생성할 수 있다. 예를 들어, 복호화기는 복원된 주변 유닛들의 크기를 서로 비교하여, 상대적으로 가장 큰 유닛(예를 들어, 유닛 A) 만을 후보 유닛으로 선택할 수 있다. 이 때, 후보 유닛 집합은 {A}와 같이 구성되고, 후보 유닛 집합을 구성하는 후보 유닛의 개수는 1개일 수 있다.
후보 유닛 집합을 구성하는 후보 유닛의 개수가 1개인 경우, 부호화기 및 복호화기는 해당 후보 유닛을 참조 유닛으로 결정할 수 있다. 이 때, 부호화기 및 복호화기는 별도의 참조 유닛 식별자 없이 참조 유닛을 결정할 수 있다. 따라서, 부호화기는 참조 유닛 식별자를 복호화기로 전송하지 않을 수 있으므로, 복호화기는 참조 유닛 식별자를 복호화하지 않을 수 있다.

상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (20)

  1. 복원된 주변 유닛 중에서 후보 유닛을 선택하는 단계;
    상기 선택된 후보 유닛을 이용하여, 복호화 대상 유닛에 대한 후보 유닛 집합(candidate unit set)을 생성하는 단계;
    상기 생성된 후보 유닛 집합을 구성하는 상기 후보 유닛 중에서 참조 유닛을 결정하는 단계; 및
    상기 결정된 참조 유닛을 이용하여, 상기 복호화 대상 유닛에 대한 인터 예측을 수행하는 단계를 포함하고,
    상기 복원된 주변 유닛은 상기 복호화 대상 유닛의 상단에 인접한 상단 주변 유닛, 상기 복호화 대상 유닛의 좌측에 인접한 좌측 주변 유닛, 상기 복호화 대상 유닛의 우측 상단 코너에 위치한 우측 상단 코너 유닛, 상기 복호화 대상 유닛의 좌측 상단 코너에 위치한 좌측 상단 코너 유닛 및 상기 복호화 대상 유닛의 좌측 하단 코너에 위치한 좌측 하단 코너 유닛을 포함하는 인터 예측 방법.
  2. 청구항 1에 있어서, 상기 후보 유닛 선택 단계에서는,
    상기 상단 주변 유닛, 상기 좌측 주변 유닛, 상기 우측 상단 코너 유닛, 상기 좌측 상단 코너 유닛 및 상기 좌측 하단 코너 유닛을 상기 후보 유닛으로 선택하는 것을 특징으로 하는 인터 예측 방법.
  3. 청구항 1에 있어서, 상기 후보 유닛 선택 단계에서는,
    상기 상단 주변 유닛 및 상기 좌측 주변 유닛을 상기 후보 유닛으로 선택하는 것을 특징으로 하는 인터 예측 방법.
  4. 청구항 1에 있어서, 상기 후보 유닛 선택 단계에서는,
    상기 복원된 주변 유닛 중에서, 상기 복호화 대상 유닛에 인접한 경계의 길이가 소정의 임계값 이상인 유닛을 상기 후보 유닛으로 선택하는 것을 특징으로 하는 인터 예측 방법.
  5. 청구항 1에 있어서, 상기 후보 유닛 선택 단계에서는,
    상기 복원된 주변 유닛 중에서, 소정의 임계값 이상의 크기를 갖는 유닛을 상기 후보 유닛으로 선택하는 것을 특징으로 하는 인터 예측 방법.
  6. 청구항 1에 있어서, 상기 후보 유닛 선택 단계에서는,
    상기 복원된 주변 유닛 중에서, 소정의 임계값 이하의 깊이 값을 갖는 유닛을 상기 후보 유닛으로 선택하는 것을 특징으로 하는 인터 예측 방법.
  7. 청구항 1에 있어서, 상기 후보 유닛 선택 단계에서는,
    상기 복원된 주변 유닛이 상기 복호화 대상 유닛에 인접하는 경계 간의 상대적인 길이, 상기 복원된 주변 유닛 간의 상대적인 크기 또는 상기 복원된 주변 유닛 간의 상대적인 깊이 값을 기준으로 상기 후보 유닛을 선택하는 것을 특징으로 하는 인터 예측 방법.
  8. 청구항 1에 있어서, 상기 후보 유닛 선택 단계에서는,
    상기 복호화 대상 유닛의 부호화 파라미터 및 상기 복원된 주변 유닛의 부호화 파라미터 중 적어도 하나를 이용하여, 상기 후보 유닛을 선택하고,
    상기 복호화 대상 유닛의 부호화 파라미터 및 상기 복원된 주변 유닛의 부호화 파라미터는 각각 움직임 벡터(motion vector), 참조 픽쳐 리스트(reference picture list), 참조 픽쳐 인덱스(reference picture index), 예측 방향(prediction direction) 및 움직임 벡터 예측기(motion vector predictor) 중 적어도 하나를 포함하는 것을 특징으로 하는 인터 예측 방법.
  9. 청구항 1에 있어서,
    상기 복호화 대상 유닛의 제1 부호화 파라미터는 제1 참조 픽쳐 리스트 및 제1 참조 픽쳐 인덱스를 포함하고,
    상기 후보 유닛 선택 단계는, 제2 부호화 파라미터를 가지는 유닛을 상기 후보 유닛으로 선택하는 단계를 더 포함하되,
    상기 제2 부호화 파라미터는 상기 제1 참조 픽쳐 리스트와 동일한 제2 참조 픽쳐 리스트 및 상기 제1 참조 픽쳐 인덱스와 동일한 제2 참조 픽쳐 인덱스 중 적어도 하나를 포함하는 것을 특징으로 하는 인터 예측 방법.
  10. 청구항 1에 있어서, 상기 후보 유닛 선택 단계에서는,
    상기 복호화 대상 유닛의 참조 픽쳐와 동일한 참조 픽쳐를 갖는 유닛을 상기 후보 유닛으로 선택하는 것을 특징으로 하는 인터 예측 방법.
  11. 청구항 1에 있어서, 상기 후보 유닛 선택 단계에서는,
    인터 예측에 의해 부호화된 유닛만을 상기 후보 유닛으로 선택하는 것을 특징으로 하는 인터 예측 방법.
  12. 청구항 1에 있어서, 상기 후보 유닛 집합 생성 단계에서는,
    상기 선택된 후보 유닛 및 동일 위치 유닛(collocated unit)을 함께 이용하여, 상기 후보 유닛 집합을 생성하고,
    상기 동일 위치 유닛은, 상기 복호화 대상 유닛에 대한 참조 픽쳐 내의 유닛들 중에서, 상기 복호화 대상 유닛과 동일한 공간적 위치에 있는 유닛인 것을 특징으로 하는 인터 예측 방법.
  13. 청구항 1에 있어서, 상기 후보 유닛 선택 단계에서는,
    소정의 고정된 개수의 유닛을 상기 후보 유닛으로 선택하는 것을 특징으로 하는 인터 예측 방법.
  14. 청구항 13에 있어서,
    상기 소정의 고정된 개수의 유닛은, 상기 복호화 대상 유닛의 부호화 파라미터와 상기 복원된 주변 유닛의 부호화 파라미터 간의 동일성에 기반하여 선택되고,
    상기 복호화 대상 유닛의 부호화 파라미터 및 상기 복원된 주변 유닛의 부호화 파라미터는 각각 움직임 벡터(motion vector), 참조 픽쳐 리스트(reference picture list), 참조 픽쳐 인덱스(reference picture index), 예측 방향(prediction direction) 및 움직임 벡터 예측기(motion vector predictor) 중 적어도 하나를 포함하는 것을 특징으로 하는 인터 예측 방법.
  15. 청구항 13에 있어서,
    상기 소정의 고정된 개수의 유닛은, 상기 복호화 대상 유닛의 참조 픽쳐 및 상기 복원된 주변 유닛의 참조 픽쳐 간의 동일성에 기반하여 선택되는 것을 특징으로 하는 인터 예측 방법.
  16. 청구항 1에 있어서, 상기 후보 유닛 선택 단계는,
    부호화 파라미터 식별자를 수신하는 단계;
    상기 수신된 부호화 파라미터 식별자를 복호화하는 단계; 및
    상기 복호화된 부호화 파라미터 식별자에 할당된 부호화 파라미터 값을 기준으로, 상기 후보 유닛을 선택하는 단계를 포함하고,
    상기 부호화 파라미터 식별자에 할당된 부호화 파라미터 값은, 상기 복원된 주변 유닛이 상기 부호화 대상 유닛에 인접하는 경계의 길이, 상기 복원된 주변 유닛의 크기 및 상기 복원된 주변 유닛의 깊이 값 중 적어도 하나인 것을 특징으로 하는 인터 예측 방법.
  17. 청구항 1에 있어서, 상기 참조 유닛 결정 단계는,
    참조 유닛 식별자를 수신하는 단계;
    상기 수신된 참조 유닛 식별자를 복호화하는 단계; 및
    상기 복호화된 참조 유닛 식별자를 이용하여 상기 참조 유닛을 결정하는 단계를 포함하고,
    상기 참조 유닛 식별자는 상기 후보 유닛 집합을 구성하는 상기 후보 유닛 중에서 참조 유닛으로 결정되는 유닛을 지시하는 식별자인 것을 특징으로 하는 인터 예측 방법.
  18. 청구항 17에 있어서, 상기 참조 유닛 식별자에 할당된 코드워드 길이는,
    상기 참조 유닛 식별자가 지시하는 유닛이 상기 참조 유닛으로 결정될 확률이 높을수록, 짧은 것을 특징으로 하는 인터 예측 방법.
  19. 청구항 1에 있어서,
    상기 후보 유닛 집합 생성 단계는,
    상기 참조 유닛으로 결정될 확률이 높은 순서대로 상기 후보 유닛을 정렬하는 단계를 더 포함하고,
    상기 참조 유닛 결정 단계에서는,
    상기 정렬된 후보 유닛 중에서 첫 번째 유닛을 상기 참조 유닛으로 결정하는 것을 특징으로 하는 인터 예측 방법.
  20. 청구항 1에 있어서,
    상기 후보 유닛 집합 생성 단계에서는,
    상기 후보 유닛 중에서 상기 참조 유닛으로 결정될 확률이 가장 높은 한 개의 유닛만을 상기 후보 유닛 집합에 포함시키고,
    상기 참조 유닛 결정 단계에서는,
    상기 후보 유닛 집합에 포함된 상기 한 개의 유닛을 상기 참조 유닛으로 결정하는 것을 특징으로 하는 인터 예측 방법.
PCT/KR2011/009598 2010-12-13 2011-12-13 참조 유닛 결정 방법 및 장치 WO2012081894A1 (ko)

Priority Applications (12)

Application Number Priority Date Filing Date Title
EP11848474.0A EP2654302B1 (en) 2010-12-13 2011-12-13 Inter prediction method
EP19172185.1A EP3554078A1 (en) 2010-12-13 2011-12-13 Method and device for determining reference unit
EP21213733.5A EP3985979B1 (en) 2010-12-13 2011-12-13 Method for determining reference unit
JP2013543110A JP5668149B2 (ja) 2010-12-13 2011-12-13 参照ユニット決定方法及び装置
CN201180067417.4A CN103348681B (zh) 2010-12-13 2011-12-13 用于确定参考单元的方法和装置
EP24155657.0A EP4340362A2 (en) 2010-12-13 2011-12-13 Method for determining reference unit
US13/991,243 US9288491B2 (en) 2010-12-13 2011-12-13 Method and device for determining reference unit
US14/046,025 US20140037001A1 (en) 2010-12-13 2013-10-04 Method and device for determining reference unit
US15/011,090 US10425653B2 (en) 2010-12-13 2016-01-29 Method and device for determining reference unit
US16/535,991 US11252424B2 (en) 2010-12-13 2019-08-08 Method and device for determining reference unit
US17/568,678 US11843795B2 (en) 2010-12-13 2022-01-04 Method and device for determining reference unit
US18/475,817 US20240022747A1 (en) 2010-12-13 2023-09-27 Method and device for determining reference unit

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2010-0126630 2010-12-13
KR20100126630 2010-12-13
KR1020110133709A KR101588601B1 (ko) 2010-12-13 2011-12-13 참조 유닛 결정 방법 및 장치
KR10-2011-0133709 2011-12-13

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US13/991,243 A-371-Of-International US9288491B2 (en) 2010-12-13 2011-12-13 Method and device for determining reference unit
US14/046,025 Continuation US20140037001A1 (en) 2010-12-13 2013-10-04 Method and device for determining reference unit
US15/011,090 Continuation US10425653B2 (en) 2010-12-13 2016-01-29 Method and device for determining reference unit

Publications (1)

Publication Number Publication Date
WO2012081894A1 true WO2012081894A1 (ko) 2012-06-21

Family

ID=46685501

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/009598 WO2012081894A1 (ko) 2010-12-13 2011-12-13 참조 유닛 결정 방법 및 장치

Country Status (7)

Country Link
US (6) US9288491B2 (ko)
EP (4) EP3554078A1 (ko)
JP (11) JP5668149B2 (ko)
KR (10) KR101588601B1 (ko)
CN (15) CN107105292B (ko)
DK (1) DK3985979T3 (ko)
WO (1) WO2012081894A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019199106A1 (ko) * 2018-04-14 2019-10-17 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107105292B (zh) 2010-12-13 2020-09-08 韩国电子通信研究院 基于帧间预测对视频信号进行解码的方法
CN104378637B (zh) 2011-10-18 2017-11-21 株式会社Kt 视频信号解码方法
US9143781B2 (en) * 2012-04-03 2015-09-22 Qualcomm Incorporated Weighted prediction parameter coding
RU2608354C2 (ru) * 2012-07-02 2017-01-18 Самсунг Электроникс Ко., Лтд. Способ и устройство для кодирования видео и способ и устройство для декодирования видео, определяющие список опорных изображений внешнего прогнозирования в зависимости от размера блока
US9800895B2 (en) * 2013-06-27 2017-10-24 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
CN107005711A (zh) 2014-11-05 2017-08-01 三星电子株式会社 逐样本预测编码设备和方法
CN116489347A (zh) * 2015-11-20 2023-07-25 韩国电子通信研究院 对图像进行编/解码的方法和装置
KR102465914B1 (ko) * 2016-03-04 2022-11-14 한국전자통신연구원 영상 부호화 장치의 부호화 방법
US10560718B2 (en) * 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
CN116600109A (zh) 2016-08-11 2023-08-15 Lx 半导体科技有限公司 图像编码/解码方法和图像数据的发送方法
WO2018128228A1 (ko) * 2017-01-03 2018-07-12 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2019064934A1 (ja) * 2017-09-27 2019-04-04 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
CN110351566B (zh) * 2018-04-02 2022-02-11 浙江大学 一种参考运动信息排序方法及装置
US20200014931A1 (en) * 2018-07-06 2020-01-09 Mediatek Inc. Methods and Apparatuses of Generating an Average Candidate for Inter Picture Prediction in Video Coding Systems
CN110933423B (zh) * 2018-09-20 2022-03-25 杭州海康威视数字技术股份有限公司 帧间预测方法和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070037531A (ko) * 2005-10-01 2007-04-05 삼성전자주식회사 동영상 부호화시의 인터 모드 결정 방법 및 장치
KR20090058954A (ko) * 2007-12-05 2009-06-10 삼성전자주식회사 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
KR20100018810A (ko) * 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165164A (ja) * 1992-11-18 1994-06-10 Nec Corp 動画像処理装置
DE69423166T2 (de) * 1993-09-08 2000-07-06 Thomson Consumer Electronics Verfahren und Vorrichtung zur Bewegungsauswertung mit Blockübereinstimmung
US5796434A (en) * 1996-06-07 1998-08-18 Lsi Logic Corporation System and method for performing motion estimation in the DCT domain with improved efficiency
US6567469B1 (en) * 2000-03-23 2003-05-20 Koninklijke Philips Electronics N.V. Motion estimation algorithm suitable for H.261 videoconferencing applications
KR100642043B1 (ko) * 2001-09-14 2006-11-03 가부시키가이샤 엔티티 도코모 부호화 방법, 복호 방법, 부호화 장치, 복호 장치, 화상 처리 시스템, 및 저장 매체
US7209520B2 (en) * 2001-10-17 2007-04-24 Matsushita Electric Industrial Co., Ltd. Moving picture encoding method and moving picture decoding method
EP3310049B1 (en) * 2001-11-06 2019-01-30 Panasonic Intellectual Property Corporation of America Moving picture coding method and moving picture decoding method
JP4150742B2 (ja) * 2002-01-09 2008-09-17 松下電器産業株式会社 動きベクトル復号化方法
JP4114859B2 (ja) 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
EP3288261B1 (en) * 2002-08-08 2019-11-06 Godo Kaisha IP Bridge 1 Moving picture decoding method
JP3977716B2 (ja) * 2002-09-20 2007-09-19 株式会社東芝 動画像符号化／復号化方法及び装置
WO2004068844A1 (ja) * 2003-01-30 2004-08-12 Fujitsu Limited 画像圧縮方法、画像復元方法、プログラム及び装置
JP2005005844A (ja) * 2003-06-10 2005-01-06 Hitachi Ltd 計算装置及び符号化処理プログラム
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
WO2006106039A1 (en) 2005-04-06 2006-10-12 Thomson Licensing Method and apparatus for encoding enhancement layer video data
JP4169767B2 (ja) * 2005-09-27 2008-10-22 三洋電機株式会社 符号化方法
JP5031230B2 (ja) * 2005-11-28 2012-09-19 キヤノン株式会社 データ送信装置及び方法
KR100943912B1 (ko) * 2006-01-12 2010-03-03 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
CN101375593A (zh) * 2006-01-12 2009-02-25 Lg电子株式会社 处理多视图视频
CN101005614A (zh) * 2006-01-17 2007-07-25 鲁海宁 动态图像编解码方法、装置和计算机可读记录介质
WO2008004940A1 (en) 2006-07-07 2008-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Video data management
JP4592656B2 (ja) 2006-08-17 2010-12-01 富士通セミコンダクター株式会社 動き予測処理装置、画像符号化装置および画像復号化装置
US8238442B2 (en) * 2006-08-25 2012-08-07 Sony Computer Entertainment Inc. Methods and apparatus for concealing corrupted blocks of video data
JP2008109632A (ja) * 2006-09-28 2008-05-08 Toshiba Corp 動きベクトル検出装置及びその方法
JP5151984B2 (ja) * 2006-09-29 2013-02-27 富士通株式会社 動画像符号化装置
CN101175210B (zh) * 2006-10-30 2010-08-11 中国科学院计算技术研究所 用于视频预测残差系数解码的熵解码方法及熵解码装置
KR100856411B1 (ko) * 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP5036826B2 (ja) * 2006-12-14 2012-09-26 トムソン ライセンシング ビット深度スケーラビリティのためのエンハンスメントレイヤの残差予測を使用したビデオデータを符号化及び／又は復号化する方法及び装置
CN101617538A (zh) * 2007-01-08 2009-12-30 诺基亚公司 用于视频编码中扩展空间可分级性的改进层间预测
KR101366241B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상 부호화, 복호화 방법 및 장치
CN101682769B (zh) * 2007-04-12 2016-11-09 汤姆森特许公司 用于视频编码和解码的跳过-直接模式的取决于环境的合并的方法和装置
JP2008283490A (ja) * 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム
JP4325708B2 (ja) * 2007-07-05 2009-09-02 ソニー株式会社 データ処理装置、データ処理方法およびデータ処理プログラム、符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
US20100195723A1 (en) * 2007-09-25 2010-08-05 Tomohiro Ikai Moving image encoder and moving image decoder
EP2210421A4 (en) * 2007-10-16 2013-12-04 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL
KR101446773B1 (ko) * 2008-02-20 2014-10-02 삼성전자주식회사 영상 복구를 이용한 인터 예측 부호화, 복호화 방법 및장치
WO2009115901A2 (en) * 2008-03-19 2009-09-24 Nokia Corporation Combined motion vector and reference index prediction for video coding
CN101609681B (zh) * 2008-06-18 2012-04-04 北京工业大学 编码方法、编码器、解码方法及解码器
US20110135006A1 (en) * 2008-08-08 2011-06-09 Tomoyuki Yamamoto Moving image encoding device and moving image decoding device
JP5246264B2 (ja) 2008-09-09 2013-07-24 日本電気株式会社 画像符号化装置、画像復号化装置、画像符号化方法及び画像復号化方法
US8724697B2 (en) 2008-09-26 2014-05-13 Qualcomm Incorporated Locating motion vectors for video data units
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101279573B1 (ko) * 2008-10-31 2013-06-27 에스케이텔레콤 주식회사 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101491556B1 (ko) * 2008-12-02 2015-02-09 삼성전자주식회사 깊이 추정 장치 및 방법
JP5133290B2 (ja) * 2009-03-31 2013-01-30 株式会社Ｋｄｄｉ研究所 動画像符号化装置および復号装置
JP2010258927A (ja) * 2009-04-28 2010-11-11 Renesas Electronics Corp 符号データ処理装置、方法及びプログラム
KR20120081022A (ko) 2009-05-01 2012-07-18 톰슨 라이센싱 3ｄ 비디오 코딩 포맷
US9113169B2 (en) * 2009-05-07 2015-08-18 Qualcomm Incorporated Video encoding with temporally constrained spatial dependency for localized decoding
KR101474756B1 (ko) 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
US9060176B2 (en) * 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
US9036692B2 (en) * 2010-01-18 2015-05-19 Mediatek Inc. Motion prediction method
US9609342B2 (en) * 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
CN101815218B (zh) * 2010-04-02 2012-02-08 北京工业大学 基于宏块特征的快速运动估计视频编码方法
KR101752418B1 (ko) * 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
DK2897365T3 (da) * 2010-07-09 2017-02-13 Samsung Electronics Co Ltd Apparat til at afkode video ved at anvende bloksammenlægning
KR101456499B1 (ko) * 2010-07-09 2014-11-03 삼성전자주식회사 움직임 벡터의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9124898B2 (en) * 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
JP5134050B2 (ja) * 2010-07-23 2013-01-30 ソニー株式会社 符号化装置および方法、記録媒体、並びにプログラム
US8824558B2 (en) * 2010-11-23 2014-09-02 Mediatek Inc. Method and apparatus of spatial motion vector prediction
CN107105292B (zh) 2010-12-13 2020-09-08 韩国电子通信研究院 基于帧间预测对视频信号进行解码的方法
US9288501B2 (en) 2011-03-08 2016-03-15 Qualcomm Incorporated Motion vector predictors (MVPs) for bi-predictive inter mode in video coding
KR102083012B1 (ko) * 2011-06-28 2020-02-28 엘지전자 주식회사 움직임 벡터 리스트 설정 방법 및 이러한 방법을 사용하는 장치
CN107277547B (zh) 2011-08-29 2020-05-29 苗太平洋控股有限公司 以amvp模式对图像编码的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070037531A (ko) * 2005-10-01 2007-04-05 삼성전자주식회사 동영상 부호화시의 인터 모드 결정 방법 및 장치
KR20090058954A (ko) * 2007-12-05 2009-06-10 삼성전자주식회사 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
KR20100018810A (ko) * 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019199106A1 (ko) * 2018-04-14 2019-10-17 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치

Also Published As

Publication number Publication date
US10425653B2 (en) 2019-09-24
CN107105293B (zh) 2020-05-12
US20130251044A1 (en) 2013-09-26
CN107087195B (zh) 2020-03-13
US20160150240A1 (en) 2016-05-26
EP3985979B1 (en) 2024-03-27
CN105611298B (zh) 2019-06-18
KR101870308B1 (ko) 2018-06-22
CN107105288B (zh) 2020-12-22
KR102127687B1 (ko) 2020-06-29
CN107105270B (zh) 2020-04-24
EP3554078A1 (en) 2019-10-16
CN107105291A (zh) 2017-08-29
CN107105288A (zh) 2017-08-29
JP2015053739A (ja) 2015-03-19
JP2019110591A (ja) 2019-07-04
KR101669541B1 (ko) 2016-10-26
KR101769085B1 (ko) 2017-08-17
KR20180127630A (ko) 2018-11-29
KR20210065922A (ko) 2021-06-04
KR20220119579A (ko) 2022-08-30
JP7387841B2 (ja) 2023-11-28
CN107105292B (zh) 2020-09-08
JP2015053737A (ja) 2015-03-19
JP2016036162A (ja) 2016-03-17
CN107454421B (zh) 2020-12-29
CN107105290B (zh) 2020-05-12
CN107105293A (zh) 2017-08-29
KR101588601B1 (ko) 2016-01-29
CN107105290A (zh) 2017-08-29
US20220132152A1 (en) 2022-04-28
CN107105292A (zh) 2017-08-29
KR20190104123A (ko) 2019-09-06
CN107087194B (zh) 2020-02-11
DK3985979T3 (da) 2024-04-15
JP6840779B2 (ja) 2021-03-10
CN107071469B (zh) 2020-03-03
EP2654302B1 (en) 2019-09-04
EP4340362A2 (en) 2024-03-20
JP2014502481A (ja) 2014-01-30
JP2021119658A (ja) 2021-08-12
KR20200077495A (ko) 2020-06-30
CN107454420B (zh) 2020-08-07
KR20160011688A (ko) 2016-02-01
JP6518274B2 (ja) 2019-05-22
CN103348681B (zh) 2017-03-15
CN107105289A (zh) 2017-08-29
KR20170091561A (ko) 2017-08-09
US20140037001A1 (en) 2014-02-06
KR102435393B1 (ko) 2022-08-23
CN107105291B (zh) 2020-04-07
EP2654302A1 (en) 2013-10-23
CN107454419B (zh) 2020-12-29
KR20180072633A (ko) 2018-06-29
KR101922564B1 (ko) 2018-11-27
CN107105270A (zh) 2017-08-29
EP2654302A4 (en) 2015-08-05
CN107454419A (zh) 2017-12-08
EP3985979A1 (en) 2022-04-20
JP2022168308A (ja) 2022-11-04
CN107105289B (zh) 2020-12-22
JP2017118582A (ja) 2017-06-29
CN107454421A (zh) 2017-12-08
CN107087194A (zh) 2017-08-22
US11843795B2 (en) 2023-12-12
US20190364292A1 (en) 2019-11-28
CN107087195A (zh) 2017-08-22
CN107071469A (zh) 2017-08-18
US20240022747A1 (en) 2024-01-18
JP5668149B2 (ja) 2015-02-12
KR102018112B1 (ko) 2019-09-04
US11252424B2 (en) 2022-02-15
KR20160124071A (ko) 2016-10-26
JP2024003161A (ja) 2024-01-11
US9288491B2 (en) 2016-03-15
KR20120065954A (ko) 2012-06-21
CN103348681A (zh) 2013-10-09
JP7145252B2 (ja) 2022-09-30
JP6100344B2 (ja) 2017-03-22
JP2015053736A (ja) 2015-03-19
JP2015053738A (ja) 2015-03-19
CN107454420A (zh) 2017-12-08
CN105611298A (zh) 2016-05-25

Similar Documents

Publication Publication Date Title
KR102018112B1 (ko) 참조 유닛 결정 방법 및 장치
WO2012087035A2 (ko) 인트라 예측 모드 부호화/복호화 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11848474

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13991243

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2013543110

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE