WO2012099440A2 - 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법 - Google Patents

예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
WO2012099440A2
WO2012099440A2 PCT/KR2012/000555 KR2012000555W WO2012099440A2 WO 2012099440 A2 WO2012099440 A2 WO 2012099440A2 KR 2012000555 W KR2012000555 W KR 2012000555W WO 2012099440 A2 WO2012099440 A2 WO 2012099440A2
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
block
current block
reference frame
information
Prior art date
Application number
PCT/KR2012/000555
Other languages
English (en)
French (fr)
Other versions
WO2012099440A3 (ko
Inventor
송진한
임정연
김해광
문주희
이영렬
한종기
전병우
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to CN201280006102.3A priority Critical patent/CN103329537B/zh
Publication of WO2012099440A2 publication Critical patent/WO2012099440A2/ko
Publication of WO2012099440A3 publication Critical patent/WO2012099440A3/ko
Priority to US13/946,624 priority patent/US9578330B2/en
Priority to US15/400,293 priority patent/US9781481B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4821—End-user interface for program selection using a grid, e.g. sorted out by channel and broadcast time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]

Definitions

  • Embodiments of the present invention relate to an apparatus and method for generating and restoring motion information based on predicted motion vector indexing, and to an apparatus and method for encoding and decoding an image using the same. More specifically, in encoding the index value of the motion vector candidate, by setting the size of the same place block of the reference frame to the same size as the current block, and considering the temporal characteristics of the image using the information of the same place block of the reference frame.
  • An apparatus and method for generating / restoring motion information based on predictive motion vector index coding to efficiently encode / decode motion information of a current block to improve image compression and decoding efficiency, and an image encoding / decoding apparatus using the same It is about a method.
  • Moving Picture Experts Group (MPEG) and Video Coding Experts Group (VCEG) have developed H.264 / AVC (Advanced Video Coding), a superior and superior video compression standard technology than the existing MPEG-4 Part 2 and H.263 standards. Since 2010, HEVC (High Efficiency Video Coding) technology has been developed in earnest, and the Test Model Under Consideration (TMuC), which is under consideration, predicts motion by dividing the image into blocks in a similar way to the existing video compression technology. Alternatively, a method of performing entropy encoding by performing frequency transform and quantization on the residual block by intra prediction. The TMuC of HEVC performs motion prediction using multiple reference frames, encodes a reference frame index and a motion vector as motion information, and outputs them to the bitstream.
  • MPEG Moving Picture Experts Group
  • VCEG Video Coding Experts Group
  • AVC Advanced Video Coding
  • the TMuC of HEVC consists of the motion vector of the blocks in the periphery of the block to which the current motion vector is currently encoded and the motion vector of the same location block in the same frame in the reference frame as a set of predictive motion candidate vectors.
  • a motion vector having the lowest cost in terms of bit rate-distortion cost is determined as a predicted motion vector, and the index for the predicted motion vector, the differential motion vector of the current motion vector and the predicted motion vector, and the reference frame index are encoded as motion information.
  • FIG. 1 is a diagram for explaining, for example, a motion vector encoding method currently used in a test model (TM) of HEVC.
  • the values from A to I are codes for identifying neighboring blocks already encoded for the current block.
  • the HEVC TM is the predictive motion candidate set as the constitutive predictive motion vector, which is the left motion vector, the up motion vector, the corner motion vector, the median motion vector, and the same motion vector. It consists of five motion vectors of. If there is no corresponding prediction motion vector, it is not included in the prediction motion candidate vector set.
  • the left motion vector scans blocks located on the left of the current block (F, G, H in FIG. 1) from the top to the bottom and sets the first valid motion vector.
  • a valid motion vector determines that a motion vector exists and uses the same reference frame as the reference frame of the current block.
  • the upper motion vector scans blocks located above the current block (B, C, D in FIG. 1) from left to right and sets the first valid motion vector.
  • the corner motion vector candidate is described in the above-described order of the block located at the upper right of the current block (E in FIG. 1), the block at the lower left of the current block (I in FIG. 1), and the block located at the upper left of the current block (A in FIG. 1). Scan as it is and set it as the first valid motion vector.
  • the intermediate motion vector is formed by performing a median operation on each of the X and Y values of the left motion vector candidate, the up motion vector candidate, and the corner motion vector candidate.
  • the same place motion vector (MV) is set by scaling the motion vector (MVcol) of the same place block at the same position as the current block in the reference frame.
  • the same place block uses the same size as the current block, and when the same place block is divided into several blocks, the motion vector of a block at a predetermined position, for example, the upper left block, is set as the motion vector of the same place block.
  • MV Can be set to MVcol * (t2 / t1).
  • HEVC TM adaptively assigns the predictive motion vector index to the motion vectors of the predictive motion candidate vector set constructed as described above according to the size and position of the current block to be encoded.
  • HEVC TM may predictively encode each block by dividing one 2N ⁇ 2N square block horizontally or vertically.
  • the shaded portion is the current block to be currently encoded.
  • FIG. 2 (a) illustrates a case in which a 2N ⁇ 2N square block is horizontally divided to encode an underlying block, wherein an index value (in parentheses) indicates a left motion vector (0), an intermediate motion vector (1), and an up motion vector (2). ),
  • the corner motion vectors 3 and the same place motion vectors 4 may be given index values in the same order.
  • FIG. 2B illustrates a case in which a 2N ⁇ 2N square block is vertically divided to encode a block on the left, and index values may be provided in the same order as in FIG. 2A.
  • FIG. 2 (c) is a case where the 2N ⁇ 2N square block is horizontally divided to encode an upper block, where an index value (in parentheses) is an upper motion vector (0), a left motion vector (1), and an intermediate motion vector (2). ),
  • the corner motion vectors 3 and the same place motion vectors 4 may be given index values in the same order.
  • FIG. 2 (d) shows a case in which a 2N ⁇ 2N square block is vertically divided to encode a block on the right, where an index value (in parentheses) indicates a corner motion vector (0), a left motion vector (1), and an upper motion vector ( 2), the index values may be given in the same order as the intermediate motion vector 3 and the same place motion vector 4.
  • FIG. 2 (e) shows an example of encoding in the case of the same case as in FIGS. 2 (a) to 2 (d).
  • the middle motion vector (0), the left motion vector (1), and the up motion vector. (2), the index values can be given in the same order as the corner motion vector (3) and the same place motion vector (4).
  • the index value for the predictive motion candidate vector is intended to efficiently sign the index value according to the spatial characteristics of the image.
  • the candidate motion vector index coding method according to the above method has a problem in that it is difficult to efficiently encode the video by not considering the encoding according to the temporal characteristics of the image.
  • An embodiment of the present invention has been devised to solve the above-described problem, and in encoding the index value of a motion vector candidate, the same place block size of the reference frame is set equal to the current block and the same place of the reference frame.
  • Motion information generation / restoration based on predictive motion vector index coding to improve the compression and decoding efficiency of the image by efficiently encoding / decoding the motion information of the current block by considering the temporal characteristics of the image using the information of the block. It is an object of the present invention to provide an apparatus and method, and an image encoding / decoding apparatus and method using the same.
  • the motion vector and the current block of the same block of the reference frame Index information of the predicted motion vector of the current block is generated based on the motion vectors of neighboring blocks, and reference frame index information and the predicted motion vector together with the differential motion vector generated by subtracting the predicted motion vector from the motion vector of the current block.
  • An image encoder for generating and encoding motion information of the current block including index information; And reconstructing the predicted motion vector based on the predicted motion vector index information, adding the reconstructed predicted motion vector to the differential motion vector, restoring the motion vector of the target block to be decoded, and based on the reconstructed motion vector of the target block. And an image decoder for reconstructing the target block.
  • an apparatus for encoding an image including: an intra prediction unit configured to generate a prediction block using adjacent pixels of a current block to be encoded; Index information of the predicted motion vector of the current block is generated based on the motion vector of the same location block of the reference frame and the motion vectors of the blocks around the current block, and is generated by subtracting the predicted motion vector from the motion vector of the current block.
  • An inter prediction unit which generates motion information of the current block including reference frame index information and predicted motion vector index information together with the differential motion vector, and generates a predictive block based on the generated motion information;
  • a subtraction unit for generating a residual block by subtracting the prediction block generated by the intra prediction unit or the inter prediction unit from the current block;
  • a transform and quantizer for transforming and quantizing the residual block into frequency coefficients;
  • an encoder for encoding the residual block transformed and quantized by the transform and quantization unit to generate a bitstream.
  • the inter prediction unit may select, as the motion vector of the same place block, a motion vector extending closest to the position of the current block among the motion vectors constituting the same place block for each reference frame of the current block.
  • the inter prediction unit may give the lowest index value to the motion vector of the same place block in constructing the predicted motion vector index information.
  • the motion vector of the same place block approaches the position of the current block within the given threshold value, wherein the spatial position of the same place block is (Cx, Cy), the time position is Ct, and the motion vector of the same place block is (MVx, MVy), and if the temporal position of the reference frame referred to by the same place block is Rt, the straight line Lx, Ly according to the change in time for each x, y component of the motion vector of the same place block calculated as follows: By calculating the proximity to the position (cx, cy) of the current block at the CURt time position based on.
  • x-Cx MVx / (Ct- Rt) * (t-Ct)
  • y-Cy MVy / (Ct-Rt) * (t-Ct).
  • the motion information generating apparatus when performing inter prediction on the current block using the reference frame, the current block based on the motion vector of the same place block of the reference frame
  • a predicted motion vector index generator for generating index information of the predicted motion vector of the?
  • a subtraction unit for generating a differential motion vector by subtracting the predicted motion vector from the motion vector of the current block;
  • a motion information constructing unit constituting motion information of the current block including a reference frame index, a predicted motion vector index, and a differential motion vector.
  • the predictive motion vector index generator may select a motion vector extending closest to the position of the current block among motion vectors constituting the same location block for each reference frame of the current block, as a motion vector of the same location block.
  • the predictive motion vector index generator when the motion vector of the same place block approaches the position of the current block within a given threshold, the predictive motion vector index generator generates a lowest index value to the motion vector of the same place block in constructing the predicted motion vector index information. It can be given.
  • An image decoding apparatus for achieving the above object, extracts a quantization frequency coefficient sequence by decoding a bitstream received from an image encoder, and generates a residual block based on the extracted quantization frequency coefficient sequence A decoder; An inverse quantization and inverse transform unit for inversely quantizing and inversely transforming a residual block; Sets a predicted motion vector based on the predicted motion vector index information received from the decoder, adds the set predicted motion vector to the differential motion vector, restores the motion vector of the current block to be decoded, and receives the reference frame received from the decoder. An inter prediction unit reconstructing a prediction block of the current block based on the index information and the reconstructed motion vector of the current block; And an adder configured to add the reconstructed prediction block and the residual block to reconstruct the current block.
  • the inter prediction unit may select, as the motion vector of the same place block, a motion vector extending closest to the position of the current block among the motion vectors constituting the same place block with respect to the reference frame of the current block.
  • the inter prediction unit configures a predicted motion vector candidate set consisting of motion blocks of the same block of the reference frame and neighboring blocks of the current block, and a motion vector of the same block of blocks approaches within a threshold set at the position of the current block.
  • the lowest index value can be given to the motion vector of the same block.
  • a motion information reconstruction apparatus comprising: a predicted motion vector setting unit configured to set a predicted motion vector by extracting a predicted motion index value from a bitstream; An adder configured to add the predicted motion vector and the differential motion vector extracted from the bitstream to set a motion vector of the current block; And a motion information constructing unit for receiving the reference frame index information included in the bitstream together with the current motion vector and restoring the motion information.
  • the prediction motion vector setting unit may select a motion vector extending closest to the position of the current block among the motion vectors constituting the same location block with respect to the reference frame of the current block, as the motion vector of the same location block.
  • the predictive motion vector setting unit configures a predicted motion vector candidate set consisting of motion blocks of the same place block of the reference frame and adjacent blocks of the current block, and a threshold value at which the motion vector of the same place block is set at the position of the current block.
  • the lowest index value can be given to the motion vector of the same block.
  • the motion vector and the current block of the same block of the reference frame Index information of the predicted motion vector of the current block is generated based on the motion vectors of neighboring blocks, and reference frame index information and the predicted motion vector together with the differential motion vector generated by subtracting the predicted motion vector from the motion vector of the current block.
  • a video decoding step of reconstructing the target block is based on the motion vectors of neighboring blocks, and reference frame index information and the predicted motion vector together with the differential motion vector generated by subtracting the predicted motion vector from the motion vector of the current block.
  • the image encoding method in the case of performing inter prediction on a current block using a reference frame, includes a motion vector of a block of the same location of the reference frame and a periphery of the current block. Index information of the predicted motion vector of the current block is generated based on the motion vectors of the existing blocks, and reference frame index information and predicted motion vector index information together with the differential motion vector generated by subtracting the predicted motion vector from the motion vector of the current block.
  • Generating motion information of the current block including a and generating a prediction block based on the generated motion information; Generating a residual block by subtracting a prediction block generated in the current block; Converting and quantizing the residual block into frequency coefficients; And encoding the transformed and quantized residual block to generate a bitstream.
  • a motion vector extending closest to the position of the current block among motion vectors constituting the same place block for each reference frame of the current block may be selected as the motion vector of the same place block.
  • the lowest index value can be given to the motion vector of the same place block in constructing the predicted motion vector index information.
  • the determination of the case where the motion vector of the same place block approaches the position of the current block within a given threshold value includes: the spatial position of the same place block is (Cx, Cy), the time position is Ct, and the motion vector of the same place block.
  • Is (MVx, MVy) and the temporal position of the reference frame referenced by the same place block is Rt
  • the straight line Lx according to the change in time for each x, y component of the motion vector of the same place block calculated as follows:
  • the degree of proximity to the position (cx, cy) of the current block at the CURt time position may be calculated based on Ly.
  • x-Cx MVx / (Ct- Rt) * (t-Ct)
  • y-Cy MVy / (Ct-Rt) * (t-Ct).
  • Motion information generation method for achieving the above object, when performing inter prediction on the current block using a reference frame, of the blocks constituting the same place block for each reference frame Selecting a motion vector of the same place among the motion vectors and selecting a predicted motion vector based on an adjacent block of the current block; Assigning a predicted motion vector index value based on a motion vector of the same place block; Selecting a reference frame having the lowest cost in terms of bit rate-distortion, a motion vector of the current block, and a predicted motion vector; And configuring motion information including a differential motion vector, a predicted motion vector index, and a reference frame index subtracted from the current motion vector.
  • a motion vector extending closest to the position of the current block among motion vectors constituting the same location block for each reference frame of the current block may be selected as the motion vector of the same location block.
  • the lowest index value is assigned to the motion vector of the same place block in constructing the predicted motion vector index information. It can be given.
  • An image decoding method for achieving the above object, extracts a quantization frequency coefficient sequence by decoding a bitstream received from an image encoder, and generates a residual block based on the extracted quantization frequency coefficient sequence step; Inverse quantization and inverse transformation of the residual block; Sets a predicted motion vector based on the predicted motion vector index information received from the decoder, adds the set predicted motion vector to the differential motion vector, restores the motion vector of the current block to be decoded, and receives the reference frame received from the decoder. Reconstructing the prediction block of the current block based on the index information and the motion vector of the reconstructed current block; And reconstructing the current block by adding the reconstructed prediction block and the residual block.
  • a motion vector extending closest to the position of the current block among motion vectors constituting the same location block with respect to the reference frame of the current block may be selected as the motion vector of the same location block.
  • the predictive block reconstruction step may constitute a predicted motion vector candidate set consisting of motion blocks of the same place block of the reference frame and adjacent blocks of the current block, and a threshold value at which the motion vector of the same place block is set at the position of the current block In the index configuration of the predicted motion vector for the case of approaching within, the lowest index value can be given to the motion vector of the same block.
  • a method of restoring motion information comprising: setting a predicted motion vector by extracting a predicted motion index value from a bitstream; Reconstructing the motion vector of the current block by adding the predicted motion vector and the differential motion vector extracted from the bitstream; And restoring the motion information by receiving the reference frame index information included in the bitstream together with the current motion vector.
  • a motion vector extending closest to the position of the current block among the motion vectors constituting the same location block with respect to the reference frame of the current block may be selected as the motion vector of the same location block.
  • a predictive motion vector candidate set is composed of the same place block of the reference frame and the motion vectors of adjacent blocks of the current block, and the motion vectors of the same place block are within a threshold set at the position of the current block.
  • the lowest index value can be given to the motion vector of the same block.
  • the size of the same place block of the reference frame is set to be the same size as the current block and the information of the same place block of the reference frame is used for the current block. Can efficiently encode / decode motion information.
  • the compression efficiency of an image can be improved by considering the temporal characteristics of the image by using information of the same place block of the reference frame.
  • FIG. 1 is a diagram for explaining, for example, a motion vector encoding method currently used in a TM of HEVC.
  • FIG. 2 is a diagram illustrating an example of an indexing method currently used in HEVC TM.
  • FIG. 3 is a diagram schematically illustrating a configuration of a video encoding apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram schematically illustrating a configuration of an apparatus for generating motion information according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a frame referenced by a current block, the same place block of a reference frame that can be used to encode motion information of the current block, and the same place block of the reference frame.
  • FIG. 6 is a diagram illustrating positions of motion vectors and blocks on the time axis using only x coordinates.
  • FIG. 7 is a flowchart illustrating a method of generating motion information according to an embodiment of the present invention.
  • FIG. 8 is a diagram schematically illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 9 is a diagram schematically showing a motion information restoration apparatus 600 according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a method for restoring motion information according to an embodiment of the present invention.
  • the video encoding apparatus (Video Encoding Apparatus) and the video decoding apparatus (Video Decoding Apparatus) described below are a personal computer (PC), a notebook computer, a personal digital assistant (PDA), and a portable multimedia player (PMP). It may be a user terminal such as a portable multimedia player (PSP), a PlayStation Portable (PSP), a wireless communication terminal, a smart phone, a TV, or a server terminal such as an application server or a service server.
  • a communication device such as a communication modem for communicating with various devices or a wired / wireless communication network, a memory for storing various programs and data for encoding or decoding an image or inter or intra prediction for encoding or decoding, and executing a program And a microprocessor for controlling and the like. It can mean a variety of devices.
  • an image encoded by a video encoding device into a bitstream may be transmitted in real time or non-real time through a wired or wireless communication network such as the Internet, a local area wireless communication network, a wireless LAN network, a WiBro network, or a mobile communication network, or a cable or a universal serial bus.
  • the image decoding apparatus may be transmitted to a video decoding apparatus through various communication interfaces such as a universal serial bus (USB), and may be decoded by the video decoding apparatus to restore and reproduce the video.
  • USB universal serial bus
  • a video may be composed of a series of pictures, and each picture may be divided into a predetermined area such as a frame or a block.
  • the divided blocks may be classified into intra blocks and inter blocks according to an encoding method.
  • An intra block refers to a block that is encoded by using an intra prediction coding scheme. Intra prediction coding is performed by using pixels of blocks that have been previously encoded, decoded, and reconstructed in a current picture that performs current encoding. A prediction block is generated by predicting pixels of a block, and a difference value with pixels of the current block is encoded.
  • An inter block refers to a block that is encoded using inter prediction coding.
  • Inter prediction coding generates a prediction block by predicting a current block in a current picture by referring to one or more past pictures or future pictures, and then generates a current block. This is a method of encoding the difference value with.
  • a frame referred to for encoding or decoding the current picture is referred to as a reference frame.
  • the image encoding apparatus 300 includes an intra predictor 310, an inter predictor 320, a subtractor 330, a transform and quantizer 340, and an encoder. And an inverse quantization and inverse transform unit 360, an adder 370, and a frame memory 380.
  • the input image to be encoded is input in units of a coding block.
  • the coding block has an M ⁇ N form, and M and N may be the same or different.
  • the coding block may be divided into prediction unit blocks of various sizes.
  • the intra prediction unit 310 generates a prediction block using adjacent pixels to predict the current prediction unit block. That is, the intra predictor 310 generates a prediction block according to the mode of the intra predictor 310 by using neighboring pixels of the current block, which have already been encoded and reconstructed.
  • the inter prediction unit 320 generates and outputs a prediction block using a reference frame to predict the current prediction unit block. That is, the inter prediction unit 320 generates motion information consisting of a motion vector and a reference frame index through motion estimation according to the mode of the inter prediction unit 320 in the previous frame that has already been encoded and reconstructed, and has motion information. A prediction block is generated in the motion compensation process using In addition, the inter prediction unit 320 generates index information of the prediction motion vector of the current block based on the motion information of the same location block of the reference frame, and differential motion vector generated by subtracting the prediction motion vector from the motion vector of the current block. In addition, motion information of the current block including reference frame index and predicted motion vector index information is generated.
  • the inter predictor 320 may include a motion information generator (not shown).
  • the motion information generating unit may exist as an independent hardware or software module, as in the motion information generating apparatus 400 shown in FIG. 4. The configuration and operation of the motion information generating unit will be described in detail with reference to FIG. 4 in a later process.
  • the subtraction unit 330 subtracts the prediction block from the current block to generate a residual block. That is, the subtractor 330 generates a residual block by subtracting the pixel value of the current block and the pixel value of the prediction block generated by the intra predictor 310 or the inter predictor 320.
  • the transform and quantizer 340 converts and quantizes the residual block generated by the subtractor 330 into a frequency coefficient. That is, the transform and quantization unit 340 generates a residual block having frequency coefficients from the residual coefficients of the residual block generated by the subtraction unit 330 and quantizes the residual blocks of the generated frequency coefficients. For example, a method of transforming an image signal in a spatial domain into a frequency domain such as a Hadamard transform or a discrete cosine transform based integer transform is used.
  • Various quantization techniques such as Dead Zone Uniform Threshold Quantization (DZUTQ) (hereinafter referred to as 'DZUTQ') or Quantization Weighted Matrix, may be used.
  • DZUTQ Dead Zone Uniform Threshold Quantization
  • 'DZUTQ' Quantization Weighted Matrix
  • the encoder 350 may generate encoded data (bitstream) by encoding the residual block transformed and quantized by the transform and quantizer 340.
  • bitstream an entropy encoding technique may be used, but various encoding techniques may be used without being limited thereto.
  • the encoder 350 may include not only a bit string encoding the quantized frequency coefficients but also various pieces of information necessary for decoding the encoded frequency coefficient bit string such as motion information in the encoded data. That is, the encoded data may include a first field including a coded block pattern (CBP), a delta quantization parameter, and a bit string in which the quantization frequency coefficient is encoded, and information necessary for prediction (eg, In case of intra prediction, a second field including bits for intra prediction mode or motion information in case of inter prediction may be included.
  • CBP coded block pattern
  • a delta quantization parameter e.g., a bit string in which the quantization frequency coefficient is encoded
  • information necessary for prediction eg, In case of intra prediction, a second field including bits for intra prediction mode or motion information in case of inter prediction may be included.
  • the inverse quantization and inverse transform unit 360 inverse quantizes and inverse transforms the residual block transformed and quantized by the transform and quantization unit 340 to generate a residual block.
  • Inverse quantization and inverse transformation may be performed by inversely performing a transform process and a quantization process performed by the transform and quantization unit 340. That is, the inverse quantization and inverse transform unit 360 may inverse quantize the quantized block transmitted from the transform and quantization unit 340, and inversely transform the inverse quantized frequency block to generate a residual block having a residual coefficient.
  • the adder 370 generates the reconstructed block by adding the prediction block generated by the intra prediction unit 310 or the inter prediction unit 320 and the residual block generated by the inverse quantization and inverse transform unit 360.
  • the frame memory 380 is used as a reference block to store a block reconstructed by the adder 370 to generate a prediction block when performing intra prediction or inter prediction.
  • the motion information generating apparatus 400 may include a predicted motion vector index generator 410, a subtractor 420, and a motion information component 430.
  • the predicted motion vector index generator 410 generates index information of the predicted motion vector of the current block based on the motion information of the same location block of the reference frame.
  • the same place block of the reference frame refers to a block located at the same place as the position of the current block in the reference frame with respect to the current block.
  • the predictive motion vector index generator 410 first converts a motion vector extending closest to the position of the current block to be encoded among the motion vectors constituting the same location block for each reference frame as the same place motion vector. Select.
  • the predictive motion vector index generator 410 selects the left, upper, corner, and middle motion vectors using the same method as the conventional HEVC TMuC method to form a candidate motion vector candidate set together with the same place motion vector. .
  • the predicted motion vector index generator 410 assigns an index value to the predicted motion vector based on the same location motion vector.
  • the same place motion vector approaches the position of the current block within a given threshold, in the index construction of the predicted motion vector, the lowest index value 0 is assigned to the same place motion vector so that the same place motion vector index value has the least bit. Allows encoding by numbers.
  • the subtractor 420 generates a differential motion vector by subtracting the predictive motion vector from the motion vector of the current block.
  • the motion information constructing unit 430 configures motion information of the current block with reference frame index, predicted motion vector index information, differential motion vector, and the like.
  • FIG. 5 is a diagram illustrating a frame referenced by a current block, the same place block of a reference frame that can be used to encode motion information of the current block, and the same place block of the reference frame.
  • the same place block of a reference frame represents the same place block that is spatially the same as the current block to be encoded by motion compensation of the current frame in the reference frame.
  • the same place block of the reference frame may be different from the size of the current block.
  • the size of the same place block is exemplified by 2 times horizontally and 2 times vertically with respect to the current block.
  • the size of the same place block may be encoded in a sequence, a slice unit, and the like and included in the bitstream.
  • the same place block may have a plurality of motion vectors, as in the case where the block is divided into several blocks and encoded by the B compression method.
  • the same place block is divided into two blocks and encoded, and each block has its own motion vector.
  • FIG. 6 is a diagram illustrating positions of motion vectors and blocks on the time axis using only x coordinates.
  • the predicted motion information index generator 410 of FIG. 4 may generate index information of the predicted motion vector of the current block based on the motion information of the same block located at the same position in the spatial position as the current block in the reference frame.
  • FIG. 7 is a flowchart illustrating a method of generating motion information according to an embodiment of the present invention.
  • the predictive motion vector index generation unit 410 first extends a motion vector that most closely corresponds to a position of a current block to be encoded among motion vectors constituting the same location block for each reference frame. Is selected as the same place motion vector.
  • the predictive motion vector index generator 410 selects the left, upper, corner, and middle motion vectors using the same method as the conventional HEVC TMuC method to form a candidate motion vector candidate set together with the same place motion vector. (S710).
  • the predicted motion vector index generator 410 assigns an index value to the predicted motion vector based on the same location motion vector (S720).
  • the reference frame, the current motion vector, and the predicted motion vector having the lowest cost in terms of bit rate-distortion are selected (S730).
  • the lowest index value 0 is assigned to the same place motion vector so that the same place motion vector index value has the least bit. Allows encoding by numbers. For example, in the existing TMuC indexing method, another predicted motion vector index order may be maintained and the same place motion vector may be assigned the lowest value.
  • an index value can be given as follows.
  • Co-ordinate motion vector (0) Left motion vector (1), middle motion vector (2), up motion vector (3), corner motion vector (4),
  • the determination of the case where the same place motion vector approaches the position of the current block within a given threshold value may be performed as follows (see FIGS. 5 and 6).
  • the spatial location of the same location block is (Cx, Cy)
  • the time location is Ct
  • the same location motion vector is (MVx, MVy)
  • the time frame of the reference frame referenced by the same location block is Rt
  • the current position at the CURt time location The degree of proximity (d) to the block position (cx, cy) can be obtained as follows by temporal linear extrapolation.
  • the straight lines Lx and Ly according to the change of time for each x and y component of the same place motion vector can be obtained as follows.
  • x-Cx MVx / (Ct- Rt) * (t-Ct)
  • Proximity d with respect to the current block position (cx, cy) can be obtained by the extension position (Ex, Ey) and the distance.
  • the street can be obtained by selecting one of various methods such as Euclidean street and city street.
  • An embodiment of the present invention uses city streets.
  • the city distance is calculated as the sum of the absolute values of the difference.
  • the threshold When determining whether the same place motion vector approaches the position of the current block within a given threshold, the threshold may be encoded in a sequence, a slice unit, and the like and included in the bitstream.
  • the threshold value can be selected as the best compression ratio by experiment.
  • the subtractor 420 generates a differential motion vector by subtracting the predictive motion vector from the motion vector of the current block.
  • the motion information configuration unit 430 configures motion information including a differential motion vector, a predicted motion vector index, and a reference frame index (S740).
  • the motion information includes a reference frame index, a predicted motion vector index, and a differential motion vector. When the TMuC motion vector resolution technology is used, this information may also be included.
  • the same place motion vector when the same place motion vector is mapped to the current frame to be encoded according to the motion vector of the block, the same place motion vector includes the motion vector of the block including the most current block to be encoded. Can also be selected. When the ratio including the current block of the block of the selected motion vector approaches within the given threshold value, in the index construction of the predictive motion vector, the lowest index value 0 is assigned to the same place motion vector so that the same place motion vector index value is obtained. Can be encoded with the smallest number of bits.
  • the compression efficiency of the image may be improved by efficiently encoding the motion information according to the temporal characteristics of the image.
  • FIG. 8 is a diagram schematically illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • the image decoding apparatus 800 includes a decoder 810, an inverse quantization and inverse transform unit 820, an intra predictor 830, an inter predictor 840, an adder 850, It may be configured to include a frame memory 660.
  • the decoder 810 decodes the coded data (bitstream) and extracts data such as inter prediction mode, code motion information, intra prediction mode, and texture required for block decoding. That is, the decoder 810 extracts the quantized frequency coefficient sequence by decoding the encoded data, and inversely scans the quantized frequency coefficient sequence by various inverse scanning methods such as inverse zigzag scan to generate a residual block having the quantized frequency coefficients. In this case, the decoder 810 may extract and decode the encoded residual block from the first field included in the encoded data, and predict the intra prediction mode, the inter prediction mode, and the motion information from the second field included in the encoded data.
  • Information necessary for the prediction may be extracted, and the information necessary for the prediction may be transferred to the intra prediction unit 830 or the inter prediction unit 840, and the prediction unit may predict the corresponding information of the image encoding apparatus 300 (see FIG. 3). It is possible to predict the current block in the same manner as negative.
  • the inverse quantization and inverse transform unit 820 inversely quantizes the quantized residual block to generate an inverse quantized residual block, and inversely transforms the generated inverse quantized block to generate a residual block.
  • the intra prediction unit 830 generates a prediction block for the current block by using information required for intra prediction transmitted from the decoder 810.
  • the inter prediction unit 840 generates a prediction block for the current block by using information necessary for inter prediction transmitted from the decoder 810. At this time, the inter prediction unit 840 receives the motion information from the decoding unit 810, reconstructs the predicted motion vector according to the predicted motion information index value included in the motion information, and adds it to the differential motion information included in the motion information. The motion information of the current block is restored, and the predicted block of the current block is generated using the restored motion information.
  • the inter predictor 840 may include a motion information reconstruction unit (not shown), and the motion information reconstruction unit may exist as an independent hardware or software module, and as shown in FIG. It can be composed of). An operation of the motion information reconstruction device 900 will be described in detail with reference to FIG. 9 in a later process.
  • the adder 850 reconstructs the current block by adding the residual block and the prediction block.
  • the current block reconstructed by the adder 850 may be transferred to the frame memory 860 and used by the predictors 830 and 840 to predict another block.
  • the frame memory 860 stores the reconstructed image to enable generation of intra and inter prediction blocks.
  • the inter prediction unit 830 may receive a prediction motion vector index, a reference frame index, and a differential motion vector from the decoder 810, and may include a motion information reconstruction unit that reconstructs the current motion vector to form motion information.
  • the motion information reconstruction unit may exist as an independent hardware or software module, and may be configured as a motion information reconstruction device 900 as shown in FIG. 9.
  • FIG. 9 is a diagram schematically showing a motion information restoration apparatus 900 according to an embodiment of the present invention.
  • the motion information reconstruction apparatus 900 receives a predicted motion index value included in the motion information from the decoder 810 and sets a predictive motion vector setting unit 910 for predicting motion vectors.
  • the component 930 is included.
  • the predictive motion vector setting unit 910 examines motion vectors of the same block as the encoding method and selects a motion vector extending closest to the position of the current block to be encoded as the same location motion vector.
  • the candidate motion vector candidate set is composed of the same place, left, top, corner and median motion vectors.
  • the predictive motion vector setting unit 910 assigns the lowest index value 0 to the same location motion vector in the index configuration of the predictive motion vector when the same location motion vector approaches the position of the current block within a given threshold. By constructing the index of the predictive motion vector candidates, a motion vector corresponding to the received index value can be set as the predictive motion vector.
  • FIG. 10 is a flowchart illustrating a method for restoring motion information according to an embodiment of the present invention.
  • the motion information reconstruction apparatus 900 receives a predicted motion index value from the decoder 810, sets a predicted motion vector (S1010), and predicts the motion vector and the decoder ( The differential motion vector received from the input unit 810 is added to restore the current motion vector (S1020), and the motion information is configured using the reference frame index received from the decoder together with the reconstructed motion vector (S1030).
  • the image encoding / decoding apparatus uses the encoded data (bitstream) output terminal of the image encoding apparatus 300 of FIG. 3 to encode data (bitstream) of the image decoding apparatus 800 of FIG. 8. This can be achieved by connecting to the input.
  • the size of the same place block of the reference frame is set to be the same size as the current block and the temporal characteristics of the image using the information of the same place block of the reference frame.
  • the present invention is a very useful invention for generating an effect of improving the compression and decoding efficiency of an image by efficiently encoding / decoding motion information of a current block.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법이 개시된다. 본 발명의 실시예에 따른 영상 부호화/복호화 장치는, 참조프레임을 이용하여 현재블록에 대한 인터 예측을 수행하는 경우, 참조프레임의 동일장소 블록의 움직임벡터 및 현재블록의 주변에 있는 블록들의 움직임벡터를 기반으로 현재블록의 예측 움직임벡터의 색인정보를 생성하고, 현재블록의 움직임벡터에서 예측 움직임벡터를 차분하여 생성된 차분 움직임벡터와 함께 참조프레임 색인정보, 예측 움직임벡터 색인정보를 포함하는 현재블록의 움직임정보를 생성 및 부호화하는 영상 부호화기; 및 예측 움직임벡터 색인정보에 기초하여 예측 움직임벡터를 복원하며, 복원된 예측 움직임벡터를 차분 움직임벡터와 가산하여 복호하고자 하는 대상블록의 움직임벡터를 복원하고, 복원된 대상블록의 움직임벡터에 기초하여 대상블록을 복원하는 영상 복호화기를 포함하는 것을 특징으로 한다.

Description

예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
본 발명의 실시예는 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법에 관한 것이다. 보다 상세하게는 움직임벡터 후보의 색인 값을 부호화하는 데 있어서 참조프레임의 동일장소 블록의 크기를 현재 블록과 크기가 같게 설정하고 참조프레임의 동일장소 블록의 정보를 사용하여 영상의 시간적 특성을 고려함으로써 현재블록에 대한 움직임 정보를 효율적으로 부호화/복호화하여 영상의 압축 및 복호화 효율을 향상시킬 수 있도록 하는 예측 움직임벡터 색인 부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법에 관한 것이다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 기존의 MPEG-4 Part 2와 H.263 표준안보다 더욱 우수하고 뛰어난 비디오 압축 표준 기술인 H.264/AVC(Advanced Video Coding)를 개발하였고, 2010년부터 본격적으로 HEVC(High Efficiency Video Coding)기술을 개발하고 있으며, 현재 고려중인 테스트모델(TMuC: Test Model Under Consideration)은 기존의 동영상 압축 기술과 유사한 방법으로 영상을 블록으로 분할하여 움직임 예측 혹은 인트라 예측에 의해 잔여 블록을 주파수변환, 양자화하여 엔트로피 부호화하는 방법을 따르고 있다. HEVC의 TMuC은 다중 참조프레임을 사용하여 움직임 예측을 실시하여 참조 프레임 색인과 움직임벡터를 움직임정보로서 부호화하여 비트스트림에 출력한다.
HEVC의 TMuC은 예측움직임벡터를 현재 부호화하고자 하는 블록의 주변에 있는 블록들의 움직임벡터와 참조프레임에서 같은 위치에 있는 동일장소 블록의 움직임벡터를 예측움직임 후보벡터 집합으로 구성하며, 예측움직임후보벡터 집합에서 비트율-왜곡 비용 측면에서 가장 비용이 작은 움직임벡터를 예측 움직임벡터로 결정하고, 예측 움직임벡터에 대한 색인, 현재 움직임벡터와 예측 움직임벡터의 차분 움직임벡터, 참조프레임 색인을 움직임정보로서 부호화한다.
도 1은 HEVC의 TM(Test Model)에서 현재 사용하고 있는 움직임벡터 부호화방법을 예를 들어 설명하기 위한 도면이다. 여기서, A부터 I까지의 값은 현재 블록에 대해 이미 부호화된 이웃블록들을 식별하기 위한 부호이다.
HEVC TM은 현재 블록에 대한 예측 움직임벡터를 선정하기 위해 예측움직임 후보벡터 집합은 구성 예측움직임 후보벡터로서 왼쪽 움직임벡터, 위쪽 움직임벡터, 구석(Corner) 움직임벡터, 중간값 움직임벡터, 동일장소 움직임벡터의 5개 움직임벡터로 구성한다. 해당하는 예측움직임벡터가 없는 경우에는 예측움직임 후보벡터집합에 포함하지 않는다.
왼쪽 움직임벡터는 현재 블록의 왼쪽에 위치한 블록들(도 1의 F, G, H)을 위에서 아래로 스캔하여 첫 번째로 유효한 움직임벡터로 설정한다. 유효한 움직임벡터는 움직임벡터가 존재하고 현재 블록의 참조프레임과 같은 참조프레임을 사용하는 것으로 판단한다.
위쪽 움직임벡터는 현재 블록의 위쪽에 위치한 블록들(도 1의 B, C, D)을 왼쪽에서 오른쪽으로 스캔하여 첫 번째로 유효한 움직임벡터로 설정한다. 구석 움직임벡터후보는 현재 블록의 오른쪽 위에 위치한 블록(도 1의 E), 현재 블록의 왼쪽 밑에 위치한 블록(도 1의 I), 현재 블록의 왼쪽 위에 위치한 블록(도 1의 A)을 전술한 순서대로 스캔하여 첫 번째로 유효한 움직임벡터로서 설정한다.
중간 움직임벡터는 상기에서 결정된 왼쪽 움직임벡터 후보, 위쪽 움직임벡터후보, 구석 움직임벡터 후보의 X, Y 값 각각에 대해 중간값(median) 연산을 실행하여 그 결과값으로 구성한다.
동일장소 움직임벡터(MV)는 참조프레임에서 현재 블록과 같은 위치에 있는 동일장소 블록의 움직임벡터(MVcol)를 스케일하여 설정한다. 동일장소 블록은 현재 블록과 같은 크기를 사용하며 동일 장소 블록이 여러 블록으로 분할된 경우, 미리 정해진 위치의 블록, 예를 들면 왼쪽 위의 블록의 움직임벡터를 동일장소 블록의 움직임벡터로 설정한다. 이때, 동일장소 블록이 위치한 참조프레임과 동일장소 움직임벡터가 참조한 동일장소 참조프레임의 시간 거리를 t1라 하고, 현재 블록과 동일장소 블록이 위치한 참조프레임들 사이의 시간거리를 t2라고 하면, MV = MVcol * (t2/t1) 으로 스케일하여 설정할 수 있다.
HEVC TM은 전술한 바와 같은 방법으로 구성된 예측움직임 후보벡터 집합의 움직임벡터들에 대해서 현재 부호화할 블록의 크기와 위치에 따라 예측움직임 벡터 색인을 적응적으로 부여하여 색인값이 적을수록 확률이 높다는 가정에서 엔트로피 부호화한다.
도 2는 HEVC TM에서 현재 사용하고 있는 색인 부여 방법의 예를 나타낸 도면이다. HEVC TM은 하나의 2Nx2N 정사각형 블록을 수평 또는 수직으로 분할하여 각각의 블록을 예측 부호화할 수 있다. 여기서, 음영이 칠해진 부분이 현재 부호화하고자 하는 현재 블록이다.
도 2(a)는 2Nx2N 정사각형 블록을 수평으로 분할하여 밑에 있는 블록을 부호화하는 경우로서, 이때 색인 값(괄호안)은 왼쪽 움직임벡터 (0), 중간 움직임벡터(1), 위쪽 움직임벡터(2), 구석 움직임벡터(3), 동일장소 움직임벡터(4)와 같은 순서로 색인 값이 부여될 수 있다.
도 2(b)는 2Nx2N 정사각형 블록을 수직으로 분할하여 왼쪽에 있는 블록을 부호화하는 경우로서, 도 2(a)와 같은 순서로 색인 값이 부여될 수 있다.
도 2(c)는 2Nx2N 정사각형 블록을 수평으로 분할하여 위에 있는 블록을 부호화하는 경우로서, 이때 색인 값(괄호안)은 위쪽 움직임벡터(0), 왼쪽 움직임벡터(1), 중간 움직임벡터(2), 구석 움직임벡터(3), 동일장소 움직임벡터(4)와 같은 순서로 색인 값이 부여될 수 있다.
도 2(d)는 2Nx2N 정사각형 블록을 수직으로 분할하여 오른쪽에 있는 블록을 부호화하는 경우로서, 이때 색인 값(괄호안)은 구석 움직임벡터(0), 왼쪽 움직임벡터(1), 위쪽 움직임벡터(2), 중간 움직임벡터(3), 동일장소 움직임벡터(4)와 같은 순서로 색인 값이 부여될 수 있다.
도 2(e)는 도 2(a) 내지 도 2(d)와 같은 경우를 제외한 경우의 부호화의 예를 나타낸 것으로서, 이 경우 중간 움직임벡터(0), 왼쪽움직임벡터(1), 위쪽 움직임벡터(2), 구석 움직임벡터 (3), 동일장소 움직임벡터(4)와 같은 순서로 색인 값이 부여될 수 있다.
이러한 예측움직임 후보벡터에 대한 색인 값 부여는 영상의 공간적 특성에 따라 색인 값의 부호가 효율적으로 이루어질 수 있도록 하는 것을 목적으로 하고 있다. 그러나 이와 같은 방법에 의한 후보움직임벡터 색인 부호화 방법은 영상의 시간적 특성에 따른 부호화를 고려하지 않음으로써 효율적인 부호화가 어렵다는 문제점이 있다.
본 발명의 실시예는 전술한 문제점을 해결하기 위하여 창안된 것으로서, 움직임벡터 후보의 색인 값을 부호화하는 데 있어서 참조프레임의 동일장소 블록의 크기를 현재 블록과 크기가 같게 설정하고 참조프레임의 동일장소 블록의 정보를 사용하여 영상의 시간적 특성을 고려함으로써 현재블록에 대한 움직임 정보를 효율적으로 부호화/복호화하여 영상의 압축 및 복호화 효율을 향상시킬 수 있도록 하는 예측 움직임벡터 색인 부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법을 제공하는 것을 목적으로 한다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 부호화/복호화 장치는, 참조프레임을 이용하여 현재블록에 대한 인터 예측을 수행하는 경우, 참조프레임의 동일장소 블록의 움직임벡터 및 현재블록의 주변에 있는 블록들의 움직임벡터를 기반으로 현재블록의 예측 움직임벡터의 색인정보를 생성하고, 현재블록의 움직임벡터에서 예측 움직임벡터를 차분하여 생성된 차분 움직임벡터와 함께 참조프레임 색인정보, 예측 움직임벡터 색인정보를 포함하는 현재블록의 움직임정보를 생성 및 부호화하는 영상 부호화기; 및 예측 움직임벡터 색인정보에 기초하여 예측 움직임벡터를 복원하며, 복원된 예측 움직임벡터를 차분 움직임벡터와 가산하여 복호하고자 하는 대상블록의 움직임벡터를 복원하고, 복원된 대상블록의 움직임벡터에 기초하여 대상블록을 복원하는 영상 복호화기를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 부호화 장치는, 부호화하고자 하는 현재블록의 인접 화소를 이용하여 예측 블록을 생성하는 인트라 예측부; 참조프레임의 동일장소 블록의 움직임벡터 및 현재블록의 주변에 있는 블록들의 움직임벡터를 기반으로 현재블록의 예측 움직임벡터의 색인정보를 생성하고, 현재블록의 움직임벡터에서 예측 움직임벡터를 차분하여 생성된 차분 움직임벡터와 함께 참조프레임 색인정보, 예측 움직임벡터 색인정보를 포함하는 현재블록의 움직임정보를 생성하며, 생성된 움직임정보에 기초하여 예측 블록을 생성하는 인터 예측부; 현재블록에서 인트라 예측부 또는 인터 예측부에 의해 생성된 예측블록을 감산하여 잔차 블록을 생성하는 감산부; 잔차 블록을 주파수 계수로 변환하고 양자화하는 변환 및 양자화부; 및 변환 및 양자화부에 의해 변환되고 양자화된 잔차 블록을 부호화하여 비트스트림을 생성하는 부호화부를 포함하는 것을 특징으로 한다.
인터 예측부는, 현재블록의 각각의 참조프레임에 대해 동일장소 블록을 구성하는 움직임벡터 중 현재블록의 위치에 가장 근접하게 연장되는 움직임벡터를 동일장소 블록의 움직임벡터로 선정할 수 있다.
또한, 인터 예측부는, 동일장소 블록의 움직임벡터가 현재블록의 위치에 주어진 임계값 이내로 접근하는 경우, 예측 움직임벡터 색인정보를 구성함에 있어서 동일장소 블록의 움직임벡터에 가장 낮은 색인값을 부여할 수 있다.
동일장소 블록의 움직임벡터가 현재블록의 위치에 주어진 임계값 이내로 접근하는 경우에 대한 판단은, 동일장소 블록의 공간위치가 (Cx,Cy)이고 시간위치가 Ct이며, 동일장소 블록의 움직임벡터가 (MVx,MVy)이고, 동일장소 블록이 참조한 참조프레임의 시간위치가 Rt이면, 다음 식과 같이 산출되는 동일장소 블록의 움직임벡터의 각각의 x, y 성분에 대해 시간에 변화에 따른 직선 Lx, Ly에 기초하여 CURt 시간위치에 있는 현재블록의 위치(cx,cy)에 대한 근접 정도를 계산하여 이루어질 수 있다.
Lx 직선식
x-Cx = MVx/(Ct- Rt)* (t-Ct)
Ly 직선식
y- Cy= MVy/(Ct- Rt)* (t-Ct).
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 움직임정보 생성장치는, 참조프레임을 이용하여 현재블록에 대한 인터 예측을 수행하는 경우, 참조프레임의 동일장소 블록의 움직임벡터를 기반으로 현재블록의 예측 움직임벡터의 색인정보를 생성하는 예측 움직임벡터 색인 생성부; 현재블록의 움직임벡터에서 예측 움직임벡터를 차분하여 차분 움직임벡터를 생성하는 감산부; 및 참조프레임 색인, 예측 움직임벡터 색인, 및 차분 움직임벡터를 포함하는 현재블록의 움직임정보를 구성하는 움직임정보 구성부를 포함하는 것을 특징으로 한다.
예측 움직임벡터 색인 생성부는, 현재블록의 각각의 참조프레임에 대해 동일장소 블록을 구성하는 움직임벡터 중 현재블록의 위치에 가장 근접하게 연장되는 움직임벡터를 동일장소 블록의 움직임벡터로 선정할 수 있다.
또한, 예측 움직임벡터 색인 생성부는, 동일장소 블록의 움직임벡터가 현재블록의 위치에 주어진 임계값 이내로 접근하는 경우, 예측 움직임벡터 색인정보를 구성함에 있어서 동일장소 블록의 움직임벡터에 가장 낮은 색인값을 부여할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 복호화 장치는, 영상 부호화기로부터 수신되는 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하고, 추출된 양자화 주파수 계수열에 기초하여 잔차 블록을 생성하는 복호화부; 잔차 블록을 역양자화 및 역변환하는 역양자화 및 역변환부; 복호화부로부터 수신되는 예측 움직임벡터 색인정보에 기초하여 예측 움직임벡터를 설정하며, 설정된 예측 움직임벡터를 차분 움직임벡터와 가산하여 복호하고자 하는 현재블록의 움직임벡터를 복원하고, 복호화부로부터 수신된 참조프레임 색인정보 및 복원된 현재블록의 움직임벡터에 기초하여 현재블록의 예측블록을 복원하는 인터 예측부; 및 복원된 예측블록과 잔차 블록을 가산하여 현재블록을 복원하는 가산부를 포함하는 것을 특징으로 한다.
인터 예측부는, 현재블록의 참조프레임에 대해 동일장소 블록을 구성하는 움직임벡터 중 현재블록의 위치에 가장 근접하게 연장되는 움직임벡터를 동일장소 블록의 움직임벡터로 선정할 수 있다.
또한, 인터 예측부는, 참조프레임의 동일장소 블록, 현재블록의 인접블록의 움직임벡터로 구성되는 예측 움직임벡터 후보집합을 구성하고, 동일장소 블록의 움직임벡터가 현재블록의 위치에 설정된 임계값 이내로 접근하는 경우에 대한 예측 움직임벡터의 색인 구성에 있어서, 동일장소 블록의 움직임벡터에 가장 낮은 색인값을 부여할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 움직임정보 복원장치는, 비트스트림으로부터 예측 움직임 색인값을 추출하여 예측 움직임벡터를 설정하는 예측 움직임벡터 설정부; 예측 움직임벡터와 비트스트림에서 추출된 차분 움직임벡터를 가산하여 현재블록의 움직임벡터를 설정하는 가산부; 및 현재 움직임벡터와 함께 비트스트림에 포함된 참조프레임 색인정보를 수신하여 움직임정보를 복원하는 움직임정보 구성부를 포함하는 것을 특징으로 한다.
예측 움직임벡터 설정부는, 현재블록의 참조프레임에 대해 동일장소 블록을 구성하는 움직임벡터 중 현재블록의 위치에 가장 근접하게 연장되는 움직임벡터를 동일장소 블록의 움직임벡터로 선정할 수 있다.
또한, 예측 움직임벡터 설정부는, 참조프레임의 동일장소 블록, 현재블록의 인접블록의 움직임벡터로 구성되는 예측 움직임벡터 후보집합을 구성하고, 동일장소 블록의 움직임벡터가 현재블록의 위치에 설정된 임계값 이내로 접근하는 경우에 대한 예측 움직임벡터의 색인 구성에 있어서, 동일장소 블록의 움직임벡터에 가장 낮은 색인값을 부여할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 부호화/복호화 방법은, 참조프레임을 이용하여 현재블록에 대한 인터 예측을 수행하는 경우, 참조프레임의 동일장소 블록의 움직임벡터 및 현재블록의 주변에 있는 블록들의 움직임벡터를 기반으로 현재블록의 예측 움직임벡터의 색인정보를 생성하고, 현재블록의 움직임벡터에서 예측 움직임벡터를 차분하여 생성된 차분 움직임벡터와 함께 참조프레임 색인정보, 예측 움직임벡터 색인정보를 포함하는 현재블록의 움직임정보를 생성 및 부호화하는 영상 부호화 단계; 및 예측 움직임벡터 색인정보에 기초하여 예측 움직임벡터를 복원하며, 복원된 예측 움직임벡터를 차분 움직임벡터와 가산하여 복호하고자 하는 대상블록의 움직임벡터를 복원하고, 복원된 대상블록의 움직임벡터에 기초하여 대상블록을 복원하는 영상 복호화 단계를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 부호화 방법은, 참조프레임을 이용하여 현재블록에 대한 인터 예측을 수행하는 경우, 참조프레임의 동일장소 블록의 움직임벡터 및 현재블록의 주변에 있는 블록들의 움직임벡터를 기반으로 현재블록의 예측 움직임벡터의 색인정보를 생성하고, 현재블록의 움직임벡터에서 예측 움직임벡터를 차분하여 생성된 차분 움직임벡터와 함께 참조프레임 색인정보, 예측 움직임벡터 색인정보를 포함하는 현재블록의 움직임정보를 생성하며, 생성된 움직임정보에 기초하여 예측 블록을 생성하는 단계; 현재블록에서 생성된 예측블록을 감산하여 잔차 블록을 생성하는 단계; 잔차 블록을 주파수 계수로 변환하고 양자화하는 단계; 및 변환되고 양자화된 잔차 블록을 부호화하여 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 한다.
예측블록 생성단계는, 현재블록의 각각의 참조프레임에 대해 동일장소 블록을 구성하는 움직임벡터 중 현재블록의 위치에 가장 근접하게 연장되는 움직임벡터를 동일장소 블록의 움직임벡터로 선정할 수 있다.
예측블록 생성단계는, 동일장소 블록의 움직임벡터가 현재블록의 위치에 주어진 임계값 이내로 접근하는 경우, 예측 움직임벡터 색인정보를 구성함에 있어서 동일장소 블록의 움직임벡터에 가장 낮은 색인값을 부여할 수 있다.
동일장소 블록의 움직임벡터가 상기 현재블록의 위치에 주어진 임계값 이내로 접근하는 경우에 대한 판단은, 동일장소 블록의 공간위치가 (Cx,Cy)이고 시간위치가 Ct이며, 동일장소 블록의 움직임벡터가 (MVx,MVy)이고, 동일장소 블록이 참조한 참조프레임의 시간위치가 Rt이면, 다음 식과 같이 산출되는 동일장소 블록의 움직임벡터의 각각의 x, y 성분에 대해 시간에 변화에 따른 직선 Lx, Ly에 기초하여 CURt 시간위치에 있는 현재블록의 위치(cx,cy)에 대한 근접 정도를 계산하여 이루어질 수 있다.
Lx 직선식
x-Cx = MVx/(Ct- Rt)* (t-Ct)
Ly 직선식
y- Cy= MVy/(Ct- Rt)* (t-Ct).
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 움직임정보 생성방법은, 참조프레임을 이용하여 현재블록에 대한 인터 예측을 수행하는 경우, 각각의 참조프레임에 대해 동일장소 블록을 구성하는 블록들의 움직임벡터 중 동일장소 움직임벡터를 선정하고, 현재블록의 인접블록에 기반하여 예측 움직임벡터를 선정하는 단계; 동일장소 블록의 움직임벡터를 기반으로 예측 움직임벡터 색인값을 부여하는 단계; 비트율-왜곡 측면에서 가장 비용이 적은 참조프레임, 현재블록의 움직임벡터, 및 예측 움직임벡터를 선정하는 단계; 및 현재 움직임벡터에서 예측 움직임벡터를 감산한 차분 움직임벡터, 예측 움직임벡터 색인 및 참조 프레임 색인으로 구성된 움직임정보를 구성하는 단계를 포함하는 것을 특징으로 한다.
예측 움직임벡터 선정단계는, 현재블록의 각각의 참조프레임에 대해 동일장소 블록을 구성하는 움직임벡터 중 현재블록의 위치에 가장 근접하게 연장되는 움직임벡터를 동일장소 블록의 움직임벡터로 선정할 수 있다.
예측 움직임벡터 색인값 부여단계는, 동일장소 블록의 움직임벡터가 현재블록의 위치에 주어진 임계값 이내로 접근하는 경우, 예측 움직임벡터 색인정보를 구성함에 있어서 동일장소 블록의 움직임벡터에 가장 낮은 색인값을 부여할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 복호화 방법은, 영상 부호화기로부터 수신되는 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하고, 추출된 양자화 주파수 계수열에 기초하여 잔차 블록을 생성하는 단계; 잔차 블록을 역양자화 및 역변환하는 단계; 복호화부로부터 수신되는 예측 움직임벡터 색인정보에 기초하여 예측 움직임벡터를 설정하며, 설정된 예측 움직임벡터를 차분 움직임벡터와 가산하여 복호하고자 하는 현재블록의 움직임벡터를 복원하고, 복호화부로부터 수신된 참조프레임 색인정보 및 복원된 현재블록의 움직임벡터에 기초하여 현재블록의 예측블록을 복원하는 단계; 및 복원된 예측블록과 잔차 블록을 가산하여 상기 현재블록을 복원하는 단계를 포함하는 것을 특징으로 한다.
예측블록 복원단계는, 현재블록의 참조프레임에 대해 동일장소 블록을 구성하는 움직임벡터 중 현재블록의 위치에 가장 근접하게 연장되는 움직임벡터를 동일장소 블록의 움직임벡터로 선정할 수 있다.
또한, 예측블록 복원단계는, 참조프레임의 동일장소 블록, 현재블록의 인접블록의 움직임벡터로 구성되는 예측 움직임벡터 후보집합을 구성하고, 동일장소 블록의 움직임벡터가 현재블록의 위치에 설정된 임계값 이내로 접근하는 경우에 대한 예측 움직임벡터의 색인 구성에 있어서, 동일장소 블록의 움직임벡터에 가장 낮은 색인값을 부여할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 움직임정보 복원방법은, 비트스트림으로부터 예측 움직임 색인값을 추출하여 예측 움직임벡터를 설정하는 단계; 예측 움직임벡터와 비트스트림에서 추출된 차분 움직임벡터를 가산하여 현재블록의 움직임벡터를 복원하는 단계; 및 현재 움직임벡터와 함께 비트스트림에 포함된 참조프레임 색인정보를 수신하여 움직임정보를 복원하는 단계를 포함하는 것을 특징으로 한다.
예측 움직임벡터 설정단계는, 현재블록의 참조프레임에 대해 동일장소 블록을 구성하는 움직임벡터 중 현재블록의 위치에 가장 근접하게 연장되는 움직임벡터를 동일장소 블록의 움직임벡터로 선정할 수 있다.
예측 움직임벡터 설정단계는, 참조프레임의 동일장소 블록, 현재블록의 인접블록의 움직임벡터로 구성되는 예측 움직임벡터 후보집합을 구성하고, 동일장소 블록의 움직임벡터가 현재블록의 위치에 설정된 임계값 이내로 접근하는 경우에 대한 예측 움직임벡터의 색인 구성에 있어서, 동일장소 블록의 움직임벡터에 가장 낮은 색인값을 부여할 수 있다.
본 발명의 실시예에 따르면, 움직임벡터 후보의 색인 값을 부호화하는 데 있어서 참조프레임의 동일장소 블록의 크기를 현재 블록과 크기가 같게 설정하고 참조프레임의 동일장소 블록의 정보를 사용함으로써 현재블록에 대한 움직임 정보를 효율적으로 부호화/복호화할 수 있다.
또한, 본 발명의 실시예에 따르면, 움직임정보를 부호화하는데 있어서 참조프레임의 동일장소 블록의 정보를 사용하여 영상의 시간적 특성을 고려함으로써 영상의 압축 효율을 향상시킬 수 있다.
도 1은 HEVC의 TM에서 현재 사용하고 있는 움직임벡터 부호화방법을 예를 들어 설명하기 위한 도면이다.
도 2는 HEVC TM에서 현재 사용하고 있는 색인 부여 방법의 예를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 영상 부호화 장치의 구성을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 움직임정보 생성장치의 구성을 개략적으로 나타낸 도면이다.
도 5는 현재 블록과, 현재 블록의 움직임정보를 부호화하기 위해 사용될 수 있는 참조프레임의 동일장소 블록, 및 참조프레임의 동일장소 블록이 참조한 프레임을 예시한 도면이다.
도 6은 시간 축 상에서 움직임벡터와 블록들의 위치를 x 좌표만으로 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 움직임정보 생성방법을 나타낸 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 개략적으로 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 움직임정보 복원장치(600)를 개략적으로 나타낸 도면이다.
도 10은 본 발명의 실시예에 따른 움직임정보 복원방법을 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법을 상세하게 설명한다.
이하에서 설명하는 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 인터 또는 인트라 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 영상 부호화 장치에 의해 비트스트림(부호화데이터)으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다.
도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 개략적으로 나타낸 도면이다. 도면을 참조하면, 본 발명의 일 실시예에 따른 영상 부호화 장치(300)는 인트라 예측부(310), 인터 예측부(320), 감산부(330), 변환 및 양자화부(340), 부호화부(350), 역양자화 및 역변환부(360), 가산부(370), 프레임 메모리(380)를 포함하여 구성될 수 있다.
부호화하고자 하는 입력 영상은 부호화블록(Coding Block) 단위로 입력이 되는데, 본 발명의 실시예에서, 부호화블록은 M×N 형태이며, M과 N이 동일하거나 다를 수 있다. 또한, 부호화블록은 다양한 크기의 예측단위블록으로 분할될 수 있다.
인트라 예측부(310)는 현재 예측단위블록을 예측하기 위하여 인접 화소를 이용하여 예측 블록을 생성한다. 즉, 인트라 예측부(310)는 이미 부호화 과정을 거치고 복원된, 현재 블록의 인접 화소들을 이용하여 인트라 예측부(310)의 모드에 따라 예측 블록을 생성한다.
인터 예측부(320)는 현재 예측단위 블록을 예측하기 위하여 참조 프레임을 이용하여 예측 블록을 생성하여 출력한다. 즉, 인터 예측부(320)는 이미 부호화 과정을 거치고 복원된 이전 프레임에서 인터 예측부(320)의 모드에 따라 움직임 추정을 통해 움직임 벡터와 참조프레임 색인 등으로 구성되는 움직임 정보를 생성하고 움직임 정보를 이용한 움직임 보상 과정에서 예측 블록을 생성한다. 또한 인터 예측부(320)는 참조 프레임의 동일장소 블록의 움직임정보를 기반으로 현재 블록의 예측움직임벡터의 색인정보를 생성하고 현재블록의 움직임벡터에서 예측움직임벡터를 차분하여 생성된 차분 움직임벡터와 함께 참조프레임 색인, 예측 움직임벡터 색인정보 등으로 구성된 현재블록의 움직임정보를 생성한다. 이를 위해, 인터 예측부(320)는 움직임정보 생성부(도시하지 않음)를 포함할 수 있다. 이때, 움직임정보 생성부는 도 4에 도시한 움직임정보 생성장치(400)와 같이, 독립적인 하드웨어 또는 소프트웨어 모듈로서 존재할 수도 있다. 움직임정보 생성부의 구성 및 동작에 대해서는 후술하는 과정에서 도 4를 통해 상세히 설명한다.
감산부(330)는 현재 블록에서 예측 블록을 감산하여 잔차 블록(Residual Block)을 생성한다. 즉, 감산부(330)는 현재 블록의 화소값과 인트라 예측부(310) 또는 인터 예측부(320)에서 생성된 예측 블록의 화소값을 감산하여 잔차 블록을 생성한다.
변환 및 양자화부(340)는 감산부(330)에서 생성된 잔차 블록을 주파수 계수로 변환하고 양자화한다. 즉, 변환 및 양자화부는(340)는 감산부(330)에 의해 생성된 잔차 블록의 잔차 계수를 주파수 계수를 갖는 잔차 블록을 생성하고 생성된 주파수 계수의 잔차 블록을 양자화하는데, 이때 사용되는 변환 방식으로는 하다마드 변환(Hadamard Transform), 이산 코사인 변환 기반의 정수 변환(Discrete Cosine Transform Based Integer Transform) 등과 같은 공간 영역의 화상 신호를 주파수 영역으로 변환하는 기법이 사용되고, 양자화 방식으로는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함) 또는 양자화 가중치 매트릭스(Quantization Weighted Matrix) 등과 같은 다양한 양자화 기법을 이용할 수 있다.
부호화부(350)는 변환 및 양자화부(340)에 의해 변환되고 양자화된 잔차 블록을 부호화하여 부호화 데이터(비트스트림)를 생성할 수 있다. 이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술을 사용할 수 있을 것이다.
또한, 부호화부(350)는 양자화 주파수 계수들을 부호화한 비트열뿐만 아니라 움직임정보 등 부호화된 주파수계수 비트열을 복호화하는 데 필요한 다양한 정보들을 부호화 데이터에 포함시킬 수 있다. 즉, 부호화 데이터는 부호화된 블록 형태(CBP: Coded Block Pattern), 델타 양자화 계수(Delta Quantization Parameter) 및 양자화 주파수 계수가 부호화된 비트열이 포함되는 제 1 필드와 예측에 필요한 정보(예를 들어, 인트라 예측의 경우 인트라 예측 모드 또는 인터 예측의 경우 움직임 정보 등)를 위한 비트가 포함되는 제 2 필드를 포함할 수 있다.
역양자화 및 역변환부(360)는 변환 및 양자화부(340)에 의해 변환 및 양자화된 잔차 블록을 역양자화(Inverse Quantization)하고 역변환(Inverse Transform)하여 잔차 블록을 생성한다. 역양자화와 역변환은 변환 및 양자화부(340)가 수행한 변환 과정과 양자화 과정을 역으로 수행함으로써 이루어질 수 있다. 즉, 역양자화 및 역변환부(360)는 변환 및 양자화부(340)로부터 전달되는 양자화 된 블록을 역양자화하고, 역양자화된 주파수 블록을 다시 역변환하여 잔차 계수를 갖는 잔차 블록을 생성할 수 있다.
가산부(370)는 인트라예측부(310) 또는 인터예측부(320)에서 생성된 예측 블록과 역양자화 및 역변환부(360)에 의해 생성된 잔차 블록을 가산하여 복원된 블록을 생성한다.
프레임 메모리(380)는 가산부(370)에서 복원된 블록을 저장하여 인트라 예측 혹은 인터 예측 수행 시 예측 블록을 생성하기 위해 참조블록으로 사용된다.
도 4는 본 발명의 실시예에 따른 움직임정보 생성장치의 구성을 개략적으로 나타낸 도면이다. 본 발명의 실시예에 따른 움직임정보 생성장치(400)는 예측 움직임벡터 색인 생성부(410), 감산부(420) 및 움직임정보 구성부(430)를 포함할 수 있다.
예측 움직임벡터 색인 생성부(410)는 참조프레임의 동일장소 블록의 움직임정보를 기반으로 현재 블록의 예측 움직임벡터의 색인정보를 생성한다. 여기서, 참조프레임의 동일장소 블록이라 함은, 현재블록에 대한 참조프레임에서 현재블록의 위치와 동일한 장소에 위치한 블록을 말한다. 이를 위해, 예측 움직임벡터 색인 생성부(410)는 먼저 각각의 참조프레임에 대해 동일 장소 블록을 구성하는 움직임벡터 중 부호화하고자 하는 현재 블록의 위치에 가장 근접하게 연장되는 움직임벡터를 동일장소 움직임벡터로 선정한다. 또한, 예측 움직임벡터 색인 생성부(410)는 기존의 HEVC TMuC 방법과 같은 방법을 사용하여 왼쪽, 위쪽, 구석, 중간값 움직임벡터를 선정하여 동일장소 움직임벡터와 함께 예측움직임벡터 후보집합을 구성한다. 다음으로, 예측 움직임벡터 색인 생성부(410)는 동일장소 움직임벡터를 기반으로 예측 움직임벡터에 대해 색인값을 부여한다. 동일장소 움직임벡터가 현재 블록의 위치에 주어진 임계값 이내로 접근하는 경우는 예측 움직임벡터의 색인 구성에 있어서, 동일장소 움직임벡터에 가장 낮은 색인값 0을 부여하여 동일장소 움직임벡터 색인 값을 가장 적은 비트 수로 부호화할 수 있도록 한다.
감산부(420)는 현재 블록의 움직임벡터에서 예측 움직임벡터를 차분하여 차분 움직임벡터를 생성한다.
움직임정보 구성부(430)는 참조프레임 색인, 예측 움직임벡터 색인정보, 차분 움직임벡터 등으로 현재블록의 움직임정보를 구성한다.
도 5는 현재 블록과, 현재 블록의 움직임정보를 부호화하기 위해 사용될 수 있는 참조프레임의 동일장소 블록, 및 참조프레임의 동일장소 블록이 참조한 프레임을 예시한 도면이다.
도 5에 도시한 바와 같이, 참조프레임의 동일장소 블록은 참조프레임에서 현재프레임의 움직임보상에 의해 부호화할 현재 블록과 공간적으로 같은 위치에 있는 동일장소 블록을 나타낸다. 여기서, 참조프레임의 동일장소 블록은 현재 블록의 크기와 다를 수 있다. 본 발명의 실시예에서는 동일장소 블록의 크기는 현재 블록에 대해 수평으로 2배, 수직으로 2배로 예시한다.
동일장소 블록의 크기는 시퀀스, 슬라이스 단위 등으로 부호화하여 비트스트림에 포함할 수 있다. 또한, 동일장소 블록은 여러 개의 블록으로 분할되어 부호화된 경우나 B 압축방법으로 부호화한 경우와 같이, 여러 개의 움직임벡터를 가질 수 있다. 도 5의 예에서 동일장소 블록은 2개의 블록으로 분할되어 부호화되어 있으며, 각각의 블록은 자신의 움직임벡터를 가지고 있다. 도 6은 시간 축 상에서 움직임벡터와 블록들의 위치를 x 좌표만으로 나타낸 도면이다. 도 4의 예측 움직임정보 색인 생성부(410)는 이러한 참조프레임에서 현재 블록과 공간적으로 같은 위치에 있는 동일장소 블록의 움직임정보를 기반으로 현재 블록의 예측 움직임벡터의 색인정보를 생성할 수 있다.
도 7은 본 발명의 일 실시예에 따른 움직임정보 생성방법을 나타낸 흐름도이다.
도 4 및 도 7을 참조하면, 예측 움직임벡터 색인 생성부(410)는 먼저 각각의 참조프레임에 대해 동일 장소 블록을 구성하는 움직임벡터 중 부호화하고자 하는 현재 블록의 위치에 가장 근접하게 연장되는 움직임벡터를 동일장소 움직임벡터로 선정한다. 또한, 예측 움직임벡터 색인 생성부(410)는 기존의 HEVC TMuC 방법과 같은 방법을 사용하여 왼쪽, 위쪽, 구석, 중간값 움직임벡터를 선정하여 동일장소 움직임벡터와 함께 예측움직임벡터 후보집합을 구성한다(S710).
다음으로, 예측 움직임벡터 색인 생성부(410)는 동일장소 움직임벡터를 기반으로 예측 움직임벡터에 대해 색인값을 부여한다(S720). 이때, 비트율-왜곡 측면에서 가장 비용이 적은 참조프레임, 현재 움직임벡터, 예측 움직임벡터가 선정된다(S730).
동일장소 움직임벡터가 현재 블록의 위치에 주어진 임계값 이내로 접근하는 경우는 예측 움직임벡터의 색인 구성에 있어서, 동일장소 움직임벡터에 가장 낮은 색인값 0을 부여하여 동일장소 움직임벡터 색인 값을 가장 적은 비트 수로 부호화할 수 있도록 한다. 실시예로 기존의 TMuC의 색인 부여 방법에서 다른 예측움직임벡터 색인 순서는 유지하고 동일장소 움직임벡터를 가장 낮은 값을 부여할 수 있다. 도 1의 (a)의 경우, 다음과 같이 색인값을 부여할 수 있다.
동일장소 움직임벡터(0). 왼쪽움직임벡터(1), 중간움직임벡터(2), 위쪽 움직임벡터(3), 구석움직임벡터(4),
동일장소 움직임벡터가 현재 블록의 위치에 주어진 임계값 이내로 접근하는 경우에 대한 판단은 다음과 같이 할 수 있다(도 5 및 도 6 참조).
동일장소 블록의 공간위치가 (Cx,Cy)이고 시간위치가 Ct이며, 동일장소 움직임벡터가 (MVx,MVy)이며, 동일장소 블록이 참조한 참조프레임의 시간위치가 Rt이면 CURt 시간위치에 있는 현재 블록 위치(cx,cy)에 대한 근접 정도 (d)는 시간linear extrapolation에 의해 다음과 같이 구할 수 있다. 먼저 동일장소 움직임벡터의 각각의 x, y 성분에 대해 시간에 변화에 따른 직선 Lx, Ly는 다음과 같이 구할 수 있다.
Lx 직선식
x-Cx = MVx/(Ct- Rt)* (t-Ct)
Ly 직선식
y- Cy= MVy/(Ct- Rt)* (t-Ct)
위의 직선식은 현재 프레임의 시간위치인 CURt에서의 연장된 위치 Ex, Ey를 다음과 같이 구할 수 있도록 한다.
Ex = MVx/(Ct- Rt)* (CURt-Ct) + Cx
Ey= MVy/(Ct- Rt)* (CURt-Ct) + Cy
현재 블록 위치(cx,cy)에 대한 근접 정도 d는 연장위치 (Ex, Ey)와 거리에 의해 구할 수 있다. 거리는 유클리디언 거리, 시티 거리 등 다양한 방법 중 하나를 선정하여 구할 수 있다. 본 발명의 실시예로는 시티 거리를 사용한다.
시티거리는 차분의 절대값의 합으로서 다음과 같이 구한다.
d = || cx - Ex|| + ||cy - Ey||
동일장소 움직임벡터가 현재 블록의 위치에 주어진 임계값 이내로 접근하는 가를 판단하는 경우의 임계값(thresh)은 시퀀스, 슬라이스단위 등으로 부호화하여 비트스트림에 포함할 수 있다. 임계값은 실험에 의해 압축율이 가장 좋은 값으로 선정할 수 있다.
감산부(420)는 현재 블록의 움직임벡터에서 예측 움직임벡터를 차분하여 차분 움직임벡터를 생성한다.
움직임정보 구성부(430)는 차분 움직임벡터, 예측 움직임벡터 색인, 참조 프레임 색인으로 구성된 움직임정보를 구성한다(S740).
본 발명의 일 실시예에 따는 움직임 정보는 참조프레임색인, 예측 움직임벡터 색인, 차분 움직임벡터를 포함하여 구성한다. TMuC의 움직임벡터 해상도기술이 사용될때는 이 정보도 포함할 수 있다.
본 발명의 일 실시예로서 동일장소 움직임벡터는 동일장소의 블록들을 블록의 움직임벡터에 따라 부호화할 현재 프레임에 매핑했을 때 부호화하고자 하는 현재 블록을 가장 많이 포함하는 블록의 움직임벡터를 동일장소 움직임벡터로 선정할 수도 있다. 선정된 움직임벡터의 블록의 현재블록을 포함하는 비율이 주어진 임계값 이내로 접근하는 경우는 예측움직임벡터의 색인 구성에 있어서, 동일장소 움직임벡터에 가장 낮은 색인값 0를 부여하여 동일장소 움직임벡터 색인 값을 가장 적은 비트 수로 부호화할 수 있도록 할 수 있다.
도 4 내지 도 7을 통하여 전술한 바와 같은, 움직임정보 생성장치를 이용하면, 영상의 시간적 특성에 따라 움직임정보를 효율적으로 부호화하여 영상의 압축 효율을 향상시킬 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 개략적으로 나타낸 도면이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(800)는 복호화부(810), 역양자화 및 역변환부(820), 인트라 예측부(830), 인터 예측부(840), 가산부(850), 프레임 메모리(660)를 포함하여 구성될 수 있다.
복호화부(810)는 부호화 데이터(비트스트림)를 복호화하여 블록 복호화에 필요한 인터예측 모드, 부호 움직임정보, 인트라 예측 모드, 텍스쳐 등의 데이타를 추출한다. 즉, 복호화부(810)는 부호화 데이터를 복호화하여 양자화 주파수 계수열을 추출하고, 양자화 주파수 계수열을 역 지그재그 스캔 등 다양한 역 스캐닝 방식으로 역 스캐닝하여 양자화 주파수 계수를 갖는 잔차 블록을 생성한다. 이때, 복호화부(810)는 부호화 데이터에 포함된 제 1 필드에서 부호화된 잔차 블록을 추출하여 복호화할 수 있고, 부호화 데이터에 포함된 제 2 필드에서 인트라 예측모드, 인터예측 모드, 움직임정보 등 예측에 필요한 정보를 추출할 수 있으며, 추출된 예측에 필요한 정보를 인트라 예측부(830) 또는 인터 예측부(840)로 전달하여, 해당 예측부가 영상 부호화 장치(300)(도 3 참조)의 해당 예측부와 동일한 방식으로 현재 블록을 예측하도록 할 수 있다.
역 양자화 및 역 변환부(820)는 양자화된 잔차 블록을 역 양자화하여 역 양자화된 잔차 블록을 생성하고 생성된 역양자화된 블록을 역 트랜스폼하여 잔차 블록을 생성한다.
인트라 예측부(830)는 복호화부(810)로부터 전달되는 인트라 예측에 필요한 정보를 이용하여 현재 블록에 대한 예측 블록을 생성한다.
인터 예측부(840)는 복호화부(810)로부터 전달되는 인터 예측에 필요한 정보를 이용하여 현재 블록에 대한 예측 블록을 생성한다. 이때, 인터 예측부(840)는 복호화부(810)로부터 움직임정보를 전송받아, 움직임정보에 포함된 예측 움직임정보 색인값에 따라 예측 움직임벡터를 복원하여 움직임정보에 포함된 차분 움직임정보와 가산하여 현재 블록의 움직임정보를 복원하고, 복원된 움직임정보를 이용하여 현재 블록의 예측블록을 생성한다. 인터 예측부(840)는 움직임정보 복원부(도시하지 않음)를 포함할 수 있으며, 움직임정보 복원부는 독립적인 하드웨어 또는 소프트웨어 모듈로서 존재할 수 있으며, 도 9에 도시된 바와 같은 움직임정보 복원장치(900)로 구성될 수 있다. 움직임정보 복원장치(900)의 동작에 대해서는 후술하는 과정에서 도 9를 통해 상세히 설명한다.
가산부(850)는 잔차 블록과 예측 블록을 가산하여 현재 블록을 복원한다. 가산부(850)에 의해 복원된 현재 블록은 프레임 메모리(860)로 전달되어, 예측부(830, 840)에서 다른 블록을 예측하는 데 활용될 수 있다.
프레임 메모리(860)는 복원된 영상을 저장하여 인트라 및 인터 예측 블록 생성을 가능하게 한다.
인터예측부(830)는 복호화부(810)로부터 예측 움직임벡터 색인, 참조프레임 색인, 차분 움직임벡터를 전송받아, 현재 움직임벡터를 복원하여 움직임정보를 구성하는 움직임정보 복원부를 포함할 수 있다. 움직임정보 복원부는 독립적인 하드웨어 또는 소프트웨어 모듈로서 존재할 수 있으며, 도 9에 도시된 바와 같은 움직임정보 복원장치(900)로 구성될 수 있다.
도 9는 본 발명의 실시예에 따른 움직임정보 복원장치(900)를 개략적으로 나타낸 도면이다.
본 발명의 실시예에 따른 움직임정보 복원장치(900)는 복호화부(810)로부터 움직임정보에 포함된 예측 움직임 색인값을 입력받아 예측 움직임벡터를 설정하는 예측움직임벡터 설정부(910), 예측 움직임벡터와 움직임정보에 포함된 차분 움직임벡터를 가산하여 현재 움직임벡터를 설정하는 가산부(920), 및 복원된 움직임벡터와 함께 움직임정보에 포함된 참조프레임색인을 수신하여 움직임정보를 복원하는 움직임정보 구성부(930)를 포함한다.
예측 움직임벡터 설정부(910)에서는 부호화시와 동일하거나 유사한 방법으로 동일장소블록의 움직임벡터들을 검사하여 부호화하고자 하는 현재 블록의 위치에 가장 근접하게 연장되는 움직임벡터를 동일장소 움직임벡터로 선정하고, 동일장소, 왼쪽, 위쪽, 구석, 중간값 움직임벡터로 구성되는 예측움직임벡터 후보집합을 구성한다. 또한, 예측 움직임벡터 설정부(910)는 동일장소 움직임벡터가 현재 블록의 위치에 주어진 임계값 이내로 접근하는 경우에 예측움직임벡터의 색인 구성에 있어서, 동일장소 움직임벡터에 가장 낮은 색인값 0을 부여하여 예측움직임벡터 후보들의 색인을 구성하고, 수신한 색인 값에 해당하는 움직임벡터를 예측움직임벡터로 설정할 수 있다.
도 10은 본 발명의 실시예에 따른 움직임정보 복원방법을 나타낸 흐름도이다.
도면을 참조하면, 본 발명의 실시예에 따른 움직임정보 복원장치(900)는 복호화부(810)로부터 예측 움직임 색인값을 입력받아 예측 움직임벡터를 설정하고(S1010), 예측 움직임벡터와 복호화부(810)으로부터 입력받은 차분 움직임벡터를 가산하여 현재 움직임벡터를 복원하며(S1020), 복원된 움직임벡터와 함께 복호화부로부터 입력받은 참조프레임 색인으로 움직임정보를 구성한다(S1030).
한편, 본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 도 3의 영상 부호화 장치(300)의 부호화데이터(비트스트림) 출력단을 도 8의 영상 복호화 장치(800)의 부호화 데이터(비트스트림) 입력단에 연결함으로써 구현할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 실시예는, 움직임벡터 후보의 색인 값을 부호화하는 데 있어서 참조프레임의 동일장소 블록의 크기를 현재 블록과 크기가 같게 설정하고 참조프레임의 동일장소 블록의 정보를 사용하여 영상의 시간적 특성을 고려함으로써 현재블록에 대한 움직임 정보를 효율적으로 부호화/복호화하여 영상의 압축 및 복호화 효율을 향상시키는 효과를 발생시키는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2011년 01월 21일 한국에 출원한 특허출원번호 제 10-2011-0006248 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (28)

  1. 영상 부호화/복호화 장치에 있어서,
    참조프레임을 이용하여 현재블록에 대한 인터 예측을 수행하는 경우, 상기 참조프레임의 동일장소 블록의 움직임벡터 및 상기 현재블록의 주변에 있는 블록들의 움직임벡터를 기반으로 상기 현재블록의 예측 움직임벡터의 색인정보를 생성하고, 상기 현재블록의 움직임벡터에서 상기 예측 움직임벡터를 차분하여 생성된 차분 움직임벡터와 함께 참조프레임 색인정보, 예측 움직임벡터 색인정보를 포함하는 상기 현재블록의 움직임정보를 생성 및 부호화하는 영상 부호화기; 및
    상기 예측 움직임벡터 색인정보에 기초하여 예측 움직임벡터를 복원하며, 복원된 상기 예측 움직임벡터를 상기 차분 움직임벡터와 가산하여 복호하고자 하는 대상블록의 움직임벡터를 복원하고, 복원된 상기 대상블록의 움직임벡터에 기초하여 상기 대상블록을 복원하는 영상 복호화기
    를 포함하는 것을 특징으로 하는 영상 부호화/복호화 장치.
  2. 영상 부호화 장치에 있어서,
    부호화하고자 하는 현재블록의 인접 화소를 이용하여 예측 블록을 생성하는 인트라 예측부;
    참조프레임의 동일장소 블록의 움직임벡터 및 상기 현재블록의 주변에 있는 블록들의 움직임벡터를 기반으로 상기 현재블록의 예측 움직임벡터의 색인정보를 생성하고, 상기 현재블록의 움직임벡터에서 상기 예측 움직임벡터를 차분하여 생성된 차분 움직임벡터와 함께 참조프레임 색인정보, 예측 움직임벡터 색인정보를 포함하는 상기 현재블록의 움직임정보를 생성하며, 생성된 상기 움직임정보에 기초하여 예측 블록을 생성하는 인터 예측부;
    상기 현재블록에서 상기 인트라 예측부 또는 상기 인터 예측부에 의해 생성된 예측블록을 감산하여 잔차 블록을 생성하는 감산부;
    상기 잔차 블록을 주파수 계수로 변환하고 양자화하는 변환 및 양자화부; 및
    상기 변환 및 양자화부에 의해 변환되고 양자화된 잔차 블록을 부호화하여 비트스트림을 생성하는 부호화부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  3. 제 2항에 있어서,
    상기 인터 예측부는,
    상기 현재블록의 각각의 참조프레임에 대해 동일장소 블록을 구성하는 움직임벡터 중 상기 현재블록의 위치에 가장 근접하게 연장되는 움직임벡터를 상기 동일장소 블록의 움직임벡터로 선정하는 것을 특징으로 하는 영상 부호화 장치.
  4. 제 2항에 있어서, 상기 인터 예측부는,
    상기 동일장소 블록의 움직임벡터가 상기 현재블록의 위치에 주어진 임계값 이내로 접근하는 경우, 상기 예측 움직임벡터 색인정보를 구성함에 있어서 상기 동일장소 블록의 움직임벡터에 가장 낮은 색인값을 부여하는 것을 특징으로 하는 영상 부호화 장치.
  5. 제 4항에 있어서,
    상기 동일장소 블록의 움직임벡터가 상기 현재블록의 위치에 주어진 임계값 이내로 접근하는 경우에 대한 판단은, 상기 동일장소 블록의 공간위치가 (Cx,Cy)이고 시간위치가 Ct이며, 상기 동일장소 블록의 움직임벡터가 (MVx,MVy)이고, 상기 동일장소 블록이 참조한 참조프레임의 시간위치가 Rt이면, 다음 식과 같이 산출되는 상기 동일장소 블록의 움직임벡터의 각각의 x, y 성분에 대해 시간에 변화에 따른 직선 Lx, Ly에 기초하여 CURt 시간위치에 있는 상기 현재블록의 위치(cx,cy)에 대한 근접 정도를 계산하여 이루어지는 것을 특징으로 하는 영상 부호화 장치:
    Lx 직선식
    x-Cx = MVx/(Ct- Rt)* (t-Ct)
    Ly 직선식
    y- Cy= MVy/(Ct- Rt)* (t-Ct).
  6. 참조프레임을 이용하여 현재블록에 대한 인터 예측을 수행하는 경우, 상기 참조프레임의 동일장소 블록의 움직임벡터를 기반으로 상기 현재블록의 예측 움직임벡터의 색인정보를 생성하는 예측 움직임벡터 색인 생성부;
    상기 현재블록의 움직임벡터에서 상기 예측 움직임벡터를 차분하여 차분 움직임벡터를 생성하는 감산부; 및
    참조프레임 색인, 예측 움직임벡터 색인, 및 차분 움직임벡터를 포함하는 상기 현재블록의 움직임정보를 구성하는 움직임정보 구성부
    를 포함하는 것을 특징으로 하는 움직임정보 생성장치.
  7. 제 6항에 있어서,
    상기 예측 움직임벡터 색인 생성부는,
    상기 현재블록의 각각의 참조프레임에 대해 동일장소 블록을 구성하는 움직임벡터 중 상기 현재블록의 위치에 가장 근접하게 연장되는 움직임벡터를 상기 동일장소 블록의 움직임벡터로 선정하는 것을 특징으로 하는 움직임정보 생성장치.
  8. 제 6항에 있어서,
    상기 예측 움직임벡터 색인 생성부는,
    상기 동일장소 블록의 움직임벡터가 상기 현재블록의 위치에 주어진 임계값 이내로 접근하는 경우, 상기 예측 움직임벡터 색인정보를 구성함에 있어서 상기 동일장소 블록의 움직임벡터에 가장 낮은 색인값을 부여하는 것을 특징으로 하는 움직임정보 생성장치.
  9. 영상 복호화 장치에 있어서,
    영상 부호화기로부터 수신되는 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하고, 추출된 상기 양자화 주파수 계수열에 기초하여 잔차 블록을 생성하는 복호화부;
    상기 잔차 블록을 역양자화 및 역변환하는 역양자화 및 역변환부;
    상기 복호화부로부터 수신되는 예측 움직임벡터 색인정보에 기초하여 예측 움직임벡터를 설정하며, 설정된 상기 예측 움직임벡터를 차분 움직임벡터와 가산하여 복호하고자 하는 현재블록의 움직임벡터를 복원하고, 상기 복호화부로부터 수신된 참조프레임 색인정보 및 복원된 상기 현재블록의 움직임벡터에 기초하여 상기 현재블록의 예측블록을 복원하는 인터 예측부; 및
    복원된 상기 예측블록과 상기 잔차 블록을 가산하여 상기 현재블록을 복원하는 가산부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  10. 제 9항에 있어서,
    상기 인터 예측부는,
    상기 현재블록의 참조프레임에 대해 동일장소 블록을 구성하는 움직임벡터 중 상기 현재블록의 위치에 가장 근접하게 연장되는 움직임벡터를 동일장소 블록의 움직임벡터로 선정하는 것을 특징으로 하는 영상 복호화 장치.
  11. 제 9항에 있어서,
    상기 인터 예측부는,
    상기 참조프레임의 동일장소 블록, 상기 현재블록의 인접블록의 움직임벡터로 구성되는 예측 움직임벡터 후보집합을 구성하고, 상기 동일장소 블록의 움직임벡터가 상기 현재블록의 위치에 설정된 임계값 이내로 접근하는 경우에 대한 예측 움직임벡터의 색인 구성에 있어서, 상기 동일장소 블록의 움직임벡터에 가장 낮은 색인값을 부여하는 것을 특징으로 하는 영상 복호화 장치.
  12. 비트스트림으로부터 예측 움직임 색인값을 추출하여 예측 움직임벡터를 설정하는 예측 움직임벡터 설정부;
    상기 예측 움직임벡터와 상기 비트스트림에서 추출된 차분 움직임벡터를 가산하여 현재블록의 움직임벡터를 설정하는 가산부; 및
    상기 현재 움직임벡터와 함께 상기 비트스트림에 포함된 참조프레임 색인정보를 수신하여 움직임정보를 복원하는 움직임정보 구성부
    를 포함하는 것을 특징으로 하는 움직임정보 복원장치.
  13. 제 12항에 있어서,
    상기 예측 움직임벡터 설정부는,
    상기 현재블록의 참조프레임에 대해 동일장소 블록을 구성하는 움직임벡터 중 상기 현재블록의 위치에 가장 근접하게 연장되는 움직임벡터를 동일장소 블록의 움직임벡터로 선정하는 것을 특징으로 하는 움직임정보 복원장치.
  14. 제 12항에 있어서,
    상기 예측 움직임벡터 설정부는,
    참조프레임의 동일장소 블록, 상기 현재블록의 인접블록의 움직임벡터로 구성되는 예측 움직임벡터 후보집합을 구성하고, 상기 동일장소 블록의 움직임벡터가 상기 현재블록의 위치에 설정된 임계값 이내로 접근하는 경우에 대한 예측 움직임벡터의 색인 구성에 있어서, 상기 동일장소 블록의 움직임벡터에 가장 낮은 색인값을 부여하는 것을 특징으로 하는 움직임정보 복원장치.
  15. 영상 부호화/복호화 방법에 있어서,
    참조프레임을 이용하여 현재블록에 대한 인터 예측을 수행하는 경우, 상기 참조프레임의 동일장소 블록의 움직임벡터 및 상기 현재블록의 주변에 있는 블록들의 움직임벡터를 기반으로 상기 현재블록의 예측 움직임벡터의 색인정보를 생성하고, 상기 현재블록의 움직임벡터에서 상기 예측 움직임벡터를 차분하여 생성된 차분 움직임벡터와 함께 참조프레임 색인정보, 예측 움직임벡터 색인정보를 포함하는 상기 현재블록의 움직임정보를 생성 및 부호화하는 영상 부호화 단계; 및
    상기 예측 움직임벡터 색인정보에 기초하여 예측 움직임벡터를 복원하며, 복원된 상기 예측 움직임벡터를 상기 차분 움직임벡터와 가산하여 복호하고자 하는 대상블록의 움직임벡터를 복원하고, 복원된 상기 대상블록의 움직임벡터에 기초하여 상기 대상블록을 복원하는 영상 복호화 단계
    를 포함하는 것을 특징으로 하는 영상 부호화/복호화 방법.
  16. 영상 부호화 방법에 있어서,
    참조프레임을 이용하여 현재블록에 대한 인터 예측을 수행하는 경우, 상기 참조프레임의 동일장소 블록의 움직임벡터 및 상기 현재블록의 주변에 있는 블록들의 움직임벡터를 기반으로 상기 현재블록의 예측 움직임벡터의 색인정보를 생성하고, 상기 현재블록의 움직임벡터에서 상기 예측 움직임벡터를 차분하여 생성된 차분 움직임벡터와 함께 참조프레임 색인정보, 예측 움직임벡터 색인정보를 포함하는 상기 현재블록의 움직임정보를 생성하며, 생성된 상기 움직임정보에 기초하여 예측 블록을 생성하는 단계;
    상기 현재블록에서 생성된 상기 예측블록을 감산하여 잔차 블록을 생성하는 단계;
    상기 잔차 블록을 주파수 계수로 변환하고 양자화하는 단계; 및
    변환되고 양자화된 상기 잔차 블록을 부호화하여 비트스트림을 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  17. 제 16항에 있어서,
    상기 예측블록 생성단계는,
    상기 현재블록의 각각의 참조프레임에 대해 동일장소 블록을 구성하는 움직임벡터 중 상기 현재블록의 위치에 가장 근접하게 연장되는 움직임벡터를 상기 동일장소 블록의 움직임벡터로 선정하는 것을 특징으로 하는 영상 부호화 방법.
  18. 제 16항에 있어서,
    상기 예측블록 생성단계는,
    상기 동일장소 블록의 움직임벡터가 상기 현재블록의 위치에 주어진 임계값 이내로 접근하는 경우, 상기 예측 움직임벡터 색인정보를 구성함에 있어서 상기 동일장소 블록의 움직임벡터에 가장 낮은 색인값을 부여하는 것을 특징으로 하는 영상 부호화 방법.
  19. 제 18항에 있어서,
    상기 동일장소 블록의 움직임벡터가 상기 현재블록의 위치에 주어진 임계값 이내로 접근하는 경우에 대한 판단은, 상기 동일장소 블록의 공간위치가 (Cx,Cy)이고 시간위치가 Ct이며, 상기 동일장소 블록의 움직임벡터가 (MVx,MVy)이고, 상기 동일장소 블록이 참조한 참조프레임의 시간위치가 Rt이면, 다음 식과 같이 산출되는 상기 동일장소 블록의 움직임벡터의 각각의 x, y 성분에 대해 시간에 변화에 따른 직선 Lx, Ly에 기초하여 CURt 시간위치에 있는 상기 현재블록의 위치(cx,cy)에 대한 근접 정도를 계산하여 이루어지는 것을 특징으로 하는 영상 부호화 방법:
    Lx 직선식
    x-Cx = MVx/(Ct- Rt)* (t-Ct)
    Ly 직선식
    y- Cy= MVy/(Ct- Rt)* (t-Ct).
  20. 참조프레임을 이용하여 현재블록에 대한 인터 예측을 수행하는 경우, 각각의 상기 참조프레임에 대해 동일장소 블록을 구성하는 블록들의 움직임벡터 중 동일장소 움직임벡터를 선정하고, 상기 현재블록의 인접블록에 기반하여 예측 움직임벡터를 선정하는 단계;
    상기 동일장소 블록의 움직임벡터를 기반으로 예측 움직임벡터 색인값을 부여하는 단계;
    비트율-왜곡 측면에서 가장 비용이 적은 참조프레임, 상기 현재블록의 움직임벡터, 및 예측 움직임벡터를 선정하는 단계; 및
    상기 현재 움직임벡터에서 상기 예측 움직임벡터를 감산한 차분 움직임벡터, 예측 움직임벡터 색인 및 참조 프레임 색인으로 구성된 움직임정보를 구성하는 단계
    를 포함하는 것을 특징으로 하는 움직임정보 생성방법.
  21. 제 20항에 있어서,
    상기 예측 움직임벡터 선정단계는,
    상기 현재블록의 각각의 참조프레임에 대해 동일장소 블록을 구성하는 움직임벡터 중 상기 현재블록의 위치에 가장 근접하게 연장되는 움직임벡터를 상기 동일장소 블록의 움직임벡터로 선정하는 것을 특징으로 하는 움직임정보 생성방법.
  22. 제 20항에 있어서,
    상기 예측 움직임벡터 색인값 부여단계는,
    상기 동일장소 블록의 움직임벡터가 상기 현재블록의 위치에 주어진 임계값 이내로 접근하는 경우, 상기 예측 움직임벡터 색인정보를 구성함에 있어서 상기 동일장소 블록의 움직임벡터에 가장 낮은 색인값을 부여하는 것을 특징으로 하는 움직임정보 생성방법.
  23. 영상 복호화 방법에 있어서,
    영상 부호화기로부터 수신되는 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하고, 추출된 상기 양자화 주파수 계수열에 기초하여 잔차 블록을 생성하는 단계;
    상기 잔차 블록을 역양자화 및 역변환하는 단계;
    복호화부로부터 수신되는 예측 움직임벡터 색인정보에 기초하여 예측 움직임벡터를 설정하며, 설정된 상기 예측 움직임벡터를 차분 움직임벡터와 가산하여 복호하고자 하는 현재블록의 움직임벡터를 복원하고, 상기 복호화부로부터 수신된 참조프레임 색인정보 및 복원된 상기 현재블록의 움직임벡터에 기초하여 상기 현재블록의 예측블록을 복원하는 단계; 및
    복원된 상기 예측블록과 상기 잔차 블록을 가산하여 상기 현재블록을 복원하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  24. 제 23항에 있어서,
    상기 예측블록 복원단계는,
    상기 현재블록의 참조프레임에 대해 동일장소 블록을 구성하는 움직임벡터 중 상기 현재블록의 위치에 가장 근접하게 연장되는 움직임벡터를 동일장소 블록의 움직임벡터로 선정하는 것을 특징으로 하는 영상 복호화 방법.
  25. 제 23항에 있어서,
    상기 예측블록 복원단계는,
    상기 참조프레임의 동일장소 블록, 상기 현재블록의 인접블록의 움직임벡터로 구성되는 예측 움직임벡터 후보집합을 구성하고, 상기 동일장소 블록의 움직임벡터가 상기 현재블록의 위치에 설정된 임계값 이내로 접근하는 경우에 대한 예측 움직임벡터의 색인 구성에 있어서, 상기 동일장소 블록의 움직임벡터에 가장 낮은 색인값을 부여하는 것을 특징으로 하는 영상 복호화 방법.
  26. 비트스트림으로부터 예측 움직임 색인값을 추출하여 예측 움직임벡터를 설정하는 단계;
    상기 예측 움직임벡터와 상기 비트스트림에서 추출된 차분 움직임벡터를 가산하여 현재블록의 움직임벡터를 복원하는 단계; 및
    상기 현재 움직임벡터와 함께 상기 비트스트림에 포함된 참조프레임 색인정보를 수신하여 움직임정보를 복원하는 단계
    를 포함하는 것을 특징으로 하는 움직임정보 복원방법.
  27. 제 26항에 있어서,
    상기 예측 움직임벡터 설정단계는,
    상기 현재블록의 참조프레임에 대해 동일장소 블록을 구성하는 움직임벡터 중 상기 현재블록의 위치에 가장 근접하게 연장되는 움직임벡터를 동일장소 블록의 움직임벡터로 선정하는 것을 특징으로 하는 움직임정보 복원방법.
  28. 제 26항에 있어서,
    상기 예측 움직임벡터 설정단계는,
    참조프레임의 동일장소 블록, 상기 현재블록의 인접블록의 움직임벡터로 구성되는 예측 움직임벡터 후보집합을 구성하고, 상기 동일장소 블록의 움직임벡터가 상기 현재블록의 위치에 설정된 임계값 이내로 접근하는 경우에 대한 예측 움직임벡터의 색인 구성에 있어서, 상기 동일장소 블록의 움직임벡터에 가장 낮은 색인값을 부여하는 것을 특징으로 하는 움직임정보 복원방법.
PCT/KR2012/000555 2011-01-21 2012-01-20 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법 WO2012099440A2 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280006102.3A CN103329537B (zh) 2011-01-21 2012-01-20 一种视频解码的设备和方法
US13/946,624 US9578330B2 (en) 2011-01-21 2013-07-19 Apparatus and method for generating/recovering motion information based on predictive motion vector index encoding, and apparatus and method for image encoding/decoding using same
US15/400,293 US9781481B2 (en) 2011-01-21 2017-01-06 Apparatus and method for generating/recovering motion information based on predictive motion vector index encoding, and apparatus and method for image encoding/decoding using same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110006248A KR101484171B1 (ko) 2011-01-21 2011-01-21 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
KR10-2011-0006248 2011-01-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/946,624 Continuation US9578330B2 (en) 2011-01-21 2013-07-19 Apparatus and method for generating/recovering motion information based on predictive motion vector index encoding, and apparatus and method for image encoding/decoding using same

Publications (2)

Publication Number Publication Date
WO2012099440A2 true WO2012099440A2 (ko) 2012-07-26
WO2012099440A3 WO2012099440A3 (ko) 2012-12-06

Family

ID=46516271

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/000555 WO2012099440A2 (ko) 2011-01-21 2012-01-20 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법

Country Status (4)

Country Link
US (2) US9578330B2 (ko)
KR (1) KR101484171B1 (ko)
CN (5) CN106131570B (ko)
WO (1) WO2012099440A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103404146A (zh) * 2013-03-11 2013-11-20 华为技术有限公司 视频文件修复方法及装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013126182A (ja) * 2011-12-15 2013-06-24 Samsung Electronics Co Ltd 撮像装置及び画像処理方法
CN103338372A (zh) * 2013-06-15 2013-10-02 浙江大学 一种视频处理方法及装置
CN111432220B (zh) 2014-06-19 2022-05-06 Vid拓展公司 采用块向量导出的帧内块复制编码的方法和系统
CN107809642B (zh) 2015-02-16 2020-06-16 华为技术有限公司 用于视频图像编码和解码的方法、编码设备和解码设备
CN106331721B (zh) * 2015-06-15 2019-06-28 中国科学院深圳先进技术研究院 真实运动估计方法
WO2017052250A1 (ko) * 2015-09-23 2017-03-30 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
KR20180075518A (ko) * 2015-11-24 2018-07-04 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN107105255B (zh) * 2016-02-23 2020-03-03 阿里巴巴集团控股有限公司 视频文件中添加标签的方法和装置
KR102563706B1 (ko) * 2016-09-30 2023-08-03 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코딩 방법, 비디오 디코딩 방법, 및 단말
WO2019192301A1 (zh) * 2018-04-02 2019-10-10 深圳市大疆创新科技有限公司 视频图像处理方法与装置
EP3780608A4 (en) 2018-04-02 2021-12-01 SZ DJI Technology Co., Ltd. IMAGE PROCESSING PROCESS AND IMAGE PROCESSING DEVICE
BR112020026992A2 (pt) 2018-07-02 2021-04-06 Huawei Technologies Co., Ltd. Método de predição de vetor de movimento e aparelho relacionado
CN110868602B (zh) * 2018-08-27 2024-04-12 华为技术有限公司 视频编码器、视频解码器及相应方法
KR20200081201A (ko) * 2018-12-27 2020-07-07 에스케이텔레콤 주식회사 양방향 예측 방법 및 영상 복호화 장치
CN118175308A (zh) 2018-12-27 2024-06-11 Sk电信有限公司 双向预测设备、视频编码设备及比特流传输设备
WO2020168509A1 (zh) * 2019-02-21 2020-08-27 富士通株式会社 视频编码方法、视频解码方法、装置以及电子设备
CN110213590B (zh) * 2019-06-25 2022-07-12 浙江大华技术股份有限公司 时域运动矢量获取、帧间预测、视频编码的方法及设备
CN112437312B (zh) * 2019-08-26 2022-05-27 腾讯科技（深圳）有限公司 视频解码方法、编码方法、装置、设备及存储介质
CN115802039B (zh) * 2023-02-10 2023-06-23 天翼云科技有限公司 一种帧间编码方法、装置、电子设备及计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070006446A (ko) * 2005-07-08 2007-01-11 삼성전자주식회사 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
KR20080064355A (ko) * 2007-01-04 2008-07-09 삼성전자주식회사 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20080076870A (ko) * 2008-07-18 2008-08-20 엘지전자 주식회사 모션벡터 결정방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1827027A1 (en) * 2002-01-18 2007-08-29 Kabushiki Kaisha Toshiba Video encoding method and apparatus and video decoding method and apparatus
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
KR100774296B1 (ko) * 2002-07-16 2007-11-08 삼성전자주식회사 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치
CN100527843C (zh) * 2003-12-31 2009-08-12 中国科学院计算技术研究所 解码获取图像的方法
FR2897213A1 (fr) * 2006-02-08 2007-08-10 Thomson Licensing Sas Procede de codage par blocs d'images d'une sequence d'images video
JP2010509799A (ja) * 2006-11-03 2010-03-25 サムスン エレクトロニクス カンパニー リミテッド 映像の予測符号化方法及び装置、その復号化方法及び装置
EP2104356A1 (en) * 2008-03-18 2009-09-23 Deutsche Thomson OHG Method and device for generating an image data stream, method and device for reconstructing a current image from an image data stream, image data stream and storage medium carrying an image data stream
JP2010016454A (ja) * 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
JP4840440B2 (ja) * 2008-12-24 2011-12-21 ソニー株式会社 画像処理装置およびその方法、並びにプログラム
KR101590511B1 (ko) * 2009-01-23 2016-02-02 에스케이텔레콤 주식회사 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
US8917769B2 (en) * 2009-07-03 2014-12-23 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
KR20110008653A (ko) * 2009-07-20 2011-01-27 삼성전자주식회사 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법
US9300970B2 (en) * 2010-07-09 2016-03-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding motion vector
US20120082228A1 (en) * 2010-10-01 2012-04-05 Yeping Su Nested entropy encoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070006446A (ko) * 2005-07-08 2007-01-11 삼성전자주식회사 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
KR20080064355A (ko) * 2007-01-04 2008-07-09 삼성전자주식회사 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20080076870A (ko) * 2008-07-18 2008-08-20 엘지전자 주식회사 모션벡터 결정방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103404146A (zh) * 2013-03-11 2013-11-20 华为技术有限公司 视频文件修复方法及装置
WO2014139069A1 (zh) * 2013-03-11 2014-09-18 华为技术有限公司 视频文件修复方法及装置
US10136163B2 (en) 2013-03-11 2018-11-20 Huawei Technologies Co., Ltd. Method and apparatus for repairing video file

Also Published As

Publication number Publication date
US9781481B2 (en) 2017-10-03
CN106131570B (zh) 2019-05-03
WO2012099440A3 (ko) 2012-12-06
US20170118525A1 (en) 2017-04-27
CN106331725B (zh) 2019-05-03
CN103329537A (zh) 2013-09-25
CN106331725A (zh) 2017-01-11
CN106131570A (zh) 2016-11-16
US20130294512A1 (en) 2013-11-07
CN106375770A (zh) 2017-02-01
CN106375770B (zh) 2019-05-31
KR101484171B1 (ko) 2015-01-23
US9578330B2 (en) 2017-02-21
CN106131571B (zh) 2019-03-26
CN106131571A (zh) 2016-11-16
KR20120084923A (ko) 2012-07-31
CN103329537B (zh) 2016-08-10

Similar Documents

Publication Publication Date Title
WO2012099440A2 (ko) 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
WO2013002549A2 (ko) 영상 부호화/복호화 방법 및 장치
WO2011145819A2 (ko) 영상 부호화/복호화 장치 및 방법
WO2010050706A2 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2013077659A1 (ko) 모션 벡터의 예측 부호화/복호화 방법 및 장치
WO2013070006A1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
WO2013109039A1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2013005941A2 (ko) 영상 부호화 및 복호화 방법과 장치
WO2010027182A2 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
WO2012096550A2 (ko) 양방향 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2011031030A2 (ko) 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012011672A2 (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
WO2012077960A2 (ko) 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치
WO2011062392A2 (ko) 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011068331A2 (ko) 비디오 인코딩 장치 및 그 인코딩 방법, 비디오 디코딩 장치 및 그 디코딩 방법, 및 거기에 이용되는 방향적 인트라 예측방법
WO2012015275A2 (ko) 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2012093854A2 (ko) 코딩 유닛 단위 병렬 인트라예측을 이용한 부호화/복호화 방법 및 장치
WO2013002550A2 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
WO2018199468A1 (ko) 움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치
WO2013069996A1 (ko) 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
WO2012046979A2 (ko) 주파수 마스크 테이블을 이용한 주파수변환 블록 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012033344A2 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
WO2011111954A2 (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012081917A2 (ko) 움직임정보 병합을 이용한 부호움직임정보생성/움직임정보복원 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012021040A2 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12736948

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 13/11/2013)

122 Ep: pct application non-entry in european phase

Ref document number: 12736948

Country of ref document: EP

Kind code of ref document: A2