WO2010038961A2 - 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 - Google Patents

복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
WO2010038961A2
WO2010038961A2 PCT/KR2009/005524 KR2009005524W WO2010038961A2 WO 2010038961 A2 WO2010038961 A2 WO 2010038961A2 KR 2009005524 W KR2009005524 W KR 2009005524W WO 2010038961 A2 WO2010038961 A2 WO 2010038961A2
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
motion
encoding
block
motion vectors
Prior art date
Application number
PCT/KR2009/005524
Other languages
English (en)
French (fr)
Other versions
WO2010038961A3 (ko
Inventor
김하윤
전병우
문주희
이영렬
김해광
양정엽
원광현
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to US13/121,895 priority Critical patent/US8811487B2/en
Publication of WO2010038961A2 publication Critical patent/WO2010038961A2/ko
Publication of WO2010038961A3 publication Critical patent/WO2010038961A3/ko
Priority to US14/302,738 priority patent/US9137532B2/en
Priority to US14/693,787 priority patent/US9264732B2/en
Priority to US14/693,778 priority patent/US9326002B2/en
Priority to US14/693,761 priority patent/US9264731B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a motion vector encoding / decoding method and apparatus using a plurality of motion vector estimation, and an image encoding / decoding method and apparatus using the same. More particularly, the present invention relates to a method and apparatus for improving compression efficiency by efficiently encoding or decoding a motion vector for estimating and compensating for motion in encoding or decoding an image.
  • a motion vector is generated through motion estimation and motion compensation is performed using the motion vector.
  • the motion vector encoding and decoding method commonly used in the field of image encoding and decoding predicts a motion vector of a spatially located neighboring block. Predictive encoding is performed on a motion vector of an estimated block using the value). That is, since the motion vector of the current block is closely correlated with the motion vector of the neighboring block, the prediction value for the current motion vector is calculated using the motion vector of the neighboring block and generated as a predicted motion vector (PMV). After that, the encoding efficiency is increased by reducing the amount of bits necessary for encoding the motion vector by encoding only a difference value from the predicted motion vector without encoding the value of the motion vector of the current block.
  • PMV predicted motion vector
  • the compression efficiency can be increased as the prediction motion vector is similar to the motion vector of the current block for efficient compression.
  • the prediction motion vector is similar to the motion vector of the current block for efficient compression.
  • the bit rate is increased and the compression efficiency is reduced.
  • the present invention has a main object to improve the compression efficiency by efficiently encoding or decoding a motion vector for estimating and compensating for motion in encoding or decoding an image.
  • the present invention provides a device for encoding a motion vector, which estimates a plurality of motion vectors, estimates one motion vector of the plurality of motion vectors as a motion vector of the current block, A motion vector estimator for estimating the remaining motion vectors of the vectors according to at least one estimation criterion predefined with the image decoding apparatus; And a motion vector encoder for encoding motion information generated using the plurality of motion vectors.
  • a plurality of motion vectors are estimated, one motion vector of the plurality of motion vectors is estimated as a motion vector of a current block, and the plurality of motion vectors are estimated.
  • a motion information encoding step of encoding motion information generated using the plurality of motion vectors is a motion vector estimating step of estimating the remaining motion vectors among the at least one motion vector according to at least one estimation criterion predefined with the image decoding apparatus.
  • motion information generated by estimating a plurality of motion vectors is encoded, and one motion vector of the plurality of motion vectors is used as a motion vector of the current block.
  • a prediction unit generating a prediction block of the current block using the prediction block;
  • a subtraction unit for generating a residual block by subtracting the current block and the prediction block;
  • An encoder which encodes a residual block;
  • an encoded data generator for generating and outputting encoded data including the encoded motion information and the encoded residual block.
  • motion information generated by estimating a plurality of motion vectors is encoded, and one motion vector of the plurality of motion vectors is used as a motion vector of the current block.
  • a prediction step of generating a prediction block of the current block by using A subtraction step of generating a residual block by subtracting the current block and the prediction block;
  • an apparatus for decoding a motion vector comprising: a motion vector estimator for estimating one or more motion vectors according to at least one estimation criterion defined with an image encoding apparatus; A motion information reconstruction unit for decoding and reconstructing the encoded motion information; And a motion vector reconstruction unit which reconstructs the motion vector of the current block by using the reconstructed motion information and the estimated one or more motion vectors.
  • a method of decoding a motion vector comprising: a motion vector estimating step of estimating one or more motion vectors according to at least one estimation criterion defined with an image encoding apparatus; A motion information reconstruction step of decoding and reconstructing the encoded motion information; And a motion vector reconstruction step of reconstructing the motion vector of the current block by using the reconstructed motion information and the estimated one or more motion vectors.
  • an apparatus for decoding an image comprising: an information extracting unit for extracting an encoded residual block and encoded motion information from encoded data; A decoder which decodes and restores the encoded residual block; Estimates one or more motion vectors according to the image encoding apparatus and one or more predetermined criterion, and decodes and decodes the encoded motion information.
  • the motion vector of the current block is obtained by using the reconstructed motion information and the estimated one or more motion vectors.
  • a predictor configured to reconstruct and generate a prediction block of the current block by using the reconstructed motion vector of the current block; And an adder configured to reconstruct the current block by adding the reconstructed residual block and the predictive block.
  • a method of decoding an image comprising: an information extraction step of extracting an encoded residual block and encoded motion information from encoded data; A decoding step of decoding and restoring the encoded residual block; Estimates one or more motion vectors according to the image encoding apparatus and one or more predetermined criterion, and decodes and decodes the encoded motion information.
  • the motion vector of the current block is obtained by using the reconstructed motion information and the estimated one or more motion vectors.
  • a bit amount due to encoding a motion vector for estimating and compensating for a motion using a more accurate motion vector can be reduced, thereby improving compression efficiency.
  • 1 is an exemplary diagram for explaining a process of encoding a motion vector according to the H.264 / AVC standard.
  • 2 is an exemplary diagram illustrating the number of bits per symbol for entropy encoding
  • FIG. 3 is a block diagram schematically illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention
  • FIG. 4 is a block diagram schematically illustrating a configuration of a motion vector encoding apparatus according to an embodiment of the present invention
  • FIG. 5 is an exemplary diagram for explaining a process of estimating a first motion vector according to an embodiment of the present invention
  • FIG. 6 is an exemplary diagram for explaining a process of estimating a second motion vector according to an embodiment of the present invention
  • FIG. 7 is a flowchart illustrating a motion vector encoding method according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a video encoding method according to an embodiment of the present invention.
  • FIG. 9 is a block diagram schematically illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 10 is a block diagram schematically illustrating the configuration of a motion vector decoding apparatus according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a motion vector decoding method according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • 1 is an exemplary diagram for explaining a process of encoding a motion vector according to the H.264 / AVC standard.
  • block D is a current block to which a motion vector is to be encoded
  • block A, block B and block C represent neighboring blocks for block D.
  • And Is defined as having And the motion vector of the current block Is (2,0), which is the motion vector of the neighboring block And Are assumed to be (2,0), (2,1) and (2,2), respectively.
  • PMV predicted motion vector for the motion vector of the current block described above. Is calculated as Equation 1, and the predicted motion vector Are also horizontal components ( ) And vertical components ( Is defined as having
  • the predicted motion vector for the motion vector of the current block is calculated by Median ( ⁇ ) that calculates the median value of the motion vector of the neighboring blocks (blocks A, B, C). .
  • Current motion vector using Equation 1 Predictive motion vector Is obtained, the differential motion vector obtained by subtracting the predictive motion vector from the motion vector of the current block to be encoded using Equation (2).
  • the differential motion vector is encoded and stored (or transmitted) by a predetermined method, such as entropy encoding.
  • Equation 2 Becomes (0, -1).
  • 2 is an exemplary diagram showing the number of bits per symbol for entropy encoding.
  • the differential motion vector Using (2,0) as the predictive motion vector, the differential motion vector Becomes (0,0), and the amount of bits required to encode this is two bits (one bit for the horizontal component and one bit for the vertical component). Therefore, compared to the method using the predictive motion vector using the median value, two bits can be reduced.
  • FIG. 3 is a block diagram schematically illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
  • the image encoding apparatus 300 may include a block mode determiner 310, a predictor 320, a subtractor 330, a first encoder 340, and a second encoder 350.
  • the encoded data generator 360, the decoder 370, the adder 380, and the reference picture storage 390 may be configured.
  • the video encoding apparatus 300 may be a personal computer (PC), a notebook computer, a personal digital assistant (PDA), a portable multimedia player (PMP), or a PlayStation Portable (PSP). ),
  • a communication device such as a communication modem for communicating with various devices or a wired / wireless communication network, a memory for storing various programs and data for encoding an image, and executing a program. Means a variety of devices including a microprocessor for operation and control.
  • the block mode determiner 310 applies a predetermined optimal criterion (for example, rate-distortion optimization criterion) to block modes that can be selected to the current block to be currently encoded in the image, and thus the block mode for the current block. (E.g., block mode with minimum rate-distortion cost). If the block mode is pre-set in the image encoding apparatus 300, the block mode determiner 310 may not be included in the image encoding apparatus 300 and may be selectively omitted.
  • a predetermined optimal criterion for example, rate-distortion optimization criterion
  • the prediction unit 320 generates a prediction block by predicting the current block and outputs the prediction block. That is, the prediction unit 320 predicts a pixel value of each pixel of the current block to be encoded in the image, and predicts a predicted block having a predicted pixel value of each pixel predicted.
  • the prediction unit 320 may include a motion vector encoder 322 and a motion compensator 324.
  • the motion vector encoder 322 may be a block unit (eg, 16 ⁇ 16 block, 16 ⁇ 8 block, 8) corresponding to a block mode or a preset block mode for the current block output from the block mode determiner 310.
  • the motion vector encoder 322 may output index information of the reference picture, which is information for identifying the reference picture used to estimate the first motion vector and the second motion vector.
  • the motion vector encoder 322 may use index information of the reference picture output from the block mode determiner 310 or index information of a preset reference picture, and may use index information of the reference picture.
  • the first motion vector and the second motion vector may be estimated with reference to the indicated reference picture.
  • the motion vector encoder 322 is located in the temporal vicinity of the current picture to be encoded.
  • an error value with respect to blocks according to a block mode is respectively calculated, and a first motion vector and a second motion vector are based on a reference picture including a block having a minimum error value.
  • the motion vector may be estimated.
  • the motion vector encoder 322 will be described in detail with reference to FIG. 4 in a later process.
  • the motion compensator 324 is a second motion vector that is a motion vector of the current block output from the motion vector encoder 322 to the reference picture indicated by the index information of the reference picture output from the motion vector encoder 322. Generate and output the predictive block of the current block using.
  • the subtraction unit 330 subtracts the prediction block from the current block to generate a residual block. That is, the subtractor 330 calculates a difference between the pixel value of each pixel of the current block to be encoded and the predicted pixel value of each pixel of the prediction block predicted by the predictor 320 to obtain a residual signal in the form of a block. Create a residual block with
  • the first encoder 340 transforms and quantizes the residual block and outputs a quantized residual block. That is, the first encoder 340 converts the residual signal of the residual block into the frequency domain, converts each pixel value of the residual block into a frequency coefficient, and quantizes the residual block having the frequency coefficient.
  • the first encoder 340 may use various transformation techniques for transforming an image signal of a spatial axis into a frequency axis, such as a Hadamard transform and a Discrete Cosine Transform Based Transform.
  • the residual signal can be converted into a frequency domain using the residual signal, and the residual signal converted into the frequency domain becomes a frequency coefficient.
  • the first encoder 340 converts the transformed residual block into dead zone uniform threshold quantization (DZUTQ), a quantization weighted matrix, or an improved quantization. It can be quantized using a technique or the like.
  • DZUTQ dead zone uniform threshold quantization
  • a quantization weighted matrix or an improved quantization. It can be quantized
  • the first encoder 340 transforms and quantizes the residual block.
  • the residual block having the frequency coefficient may be generated by transforming the residual signal of the residual block, and the quantization process may not be performed. Not only the quantization process can be performed without converting the residual signal of the block into frequency coefficients, but not even both the transformation and quantization processes can be performed.
  • the first encoder 340 may be omitted in the image encoding apparatus 340 according to an embodiment of the present invention.
  • the second encoder 350 encodes the residual block output from the first encoder 340. That is, the second encoder 350 scans the quantized frequency coefficients, frequency coefficients, or residual signals of the residual block according to various scan methods such as zigzag scan to generate quantized frequency coefficient sequences, frequency coefficient sequences, or signal sequences, and entropy encoding ( It is encoded using various encoding techniques such as Entropy Coding). Meanwhile, the functions of the first encoder 340 and the second encoder 350 may be integrated to be implemented as one encoder.
  • the encoded data generator 360 generates and outputs encoded data including the encoded residual block output from the encoder 350 and the encoded motion information output from the motion vector encoder 322.
  • the encoded data generator 360 may additionally include information about the block mode of the current block that is output from the block mode determiner 310 or the preset current block in the encoded data.
  • the encoded data generator 360 may be implemented as a multiplexer (MUX).
  • the decoder 370 inverse quantizes and inverse transforms the residual block quantized by the first encoder 340. That is, the decoder 370 inversely quantizes the quantized frequency coefficients of the angularized residual block to generate a residual block having a frequency coefficient, and inversely transforms the inverse quantized residual block to restore a residual block having a pixel value, that is, Create a residual block.
  • the decoder 370 may inverse transform and inverse quantize using an inverse transform method and a quantization method used by the first encoder 340.
  • the decoder 370 performs only inverse transform, does not perform inverse quantization, and performs only quantization in the first encoder 340. If no transformation is performed, only inverse quantization may be performed and inverse transformation may not be performed. If the first encoder 340 does not perform both the transform and the quantization, or if the first encoder 340 is omitted without being configured in the image encoder 300, the decoder 370 also performs inverse transform and inverse. The quantization may not be performed or may be omitted without being configured in the image encoding apparatus 300.
  • the adder 380 reconstructs the current block by adding the prediction block predicted by the predictor 320 and the residual block reconstructed by the decoder 370.
  • the reference picture storage unit 390 stores the reconstructed current block output from the adder 380 as a reference picture in picture units so that when the prediction unit 320 encodes the next block of the current block or another block in the future, the reference picture is stored. To be used as:
  • the image encoding apparatus 300 is an intra prediction unit for intra prediction and a reconstructed current block based on the H.264 / AVC standard.
  • the deblocking filter unit may further include a deblocking filtering.
  • the first encoder 340 and the decoder 370 perform transform and quantization (or inverse transform and inverse quantization) operations on a specific picture (eg, an intra picture) based on the H.264 / AVC standard.
  • the deblocking filtering refers to an operation of reducing block distortion generated by encoding an image in block units, and applying a deblocking filter to a block boundary and a macroblock boundary, or applying a deblocking filter only to a macroblock boundary or a deblocking filter. You can optionally use one of the methods that does not use.
  • FIG. 4 is a block diagram schematically illustrating a configuration of a motion vector encoding apparatus according to an embodiment of the present invention.
  • the motion vector encoding apparatus may be implemented by the motion vector encoding unit 322 in the image encoding apparatus 300 according to the embodiment of the present invention described above with reference to FIG. 3.
  • the motion vector encoder 322 is called.
  • the motion vector encoder 322 may include a first motion vector estimator 410, a second motion vector estimator 420, and a motion information encoder 430. .
  • the first motion vector estimator 410 is previously shared or defined by the image encoding apparatus 300 and the image decoding apparatus to be described later among the motion vectors included in the predetermined search range for estimating the first motion vector.
  • the decoding apparatus also estimates the first motion vector according to a predetermined first estimation criterion capable of estimating the first motion vector by itself.
  • a predetermined first estimation criterion an adjacent pixel matching (TM) method as shown in FIG. 5 may be used.
  • the adjacent pixel matching method may be calculated by Equation 3 below.
  • search range SR1 represents the size of the region on the reference picture for first motion vector estimation. For example, referring to FIG. 5, a search range defined by 8 pixels in the horizontal direction and 8 pixels in the vertical direction may be considered.
  • TMS Temporal Matching Set
  • the adjacent pixel matching method includes candidate motion vectors included in the search range SR1 for motion estimation for a finite number of indexes j in the TMS .
  • the pixel value indicated by index j around the reference block on the reference picture obtained using And the corresponding pixel value indicated by index j around the current block The difference between is determined as an estimation error.
  • the pixel value of the current picture Since the reconstructed image has already been encoded and decoded, it is information that can be known by both the image encoding apparatus 300 and the image decoding apparatus.
  • the image decoding apparatus is known, and a condition used for estimation of the first motion vector is called a predetermined decoding condition C dec . That is, a first motion vector capable of estimating a candidate motion vector in the image decoding apparatus to have the smallest estimation error within the search range.
  • a predetermined decoding condition C dec a condition used for estimation of the first motion vector.
  • SSD sum of squared differences
  • SAD sum of absolute differences
  • the predetermined decoding condition C dec (eg, the previously reconstructed neighbor pixel value corresponding to the current block in the reference picture and the current picture) is also reconstructed in the image decoding apparatus. If the same first motion vector can be estimated using?), Other estimation criteria other than the adjacent pixel matching method shown in Fig. 5 can be used as the predetermined estimation criteria. For example, when estimating the first motion vector using the intermediate value calculation method used in the aforementioned H.264 / AVC standard, the first motion vector of the current block shown in FIG. 1 uses the motion vector of the neighboring block.
  • Equation 4 In the image decoding apparatus, it is possible to estimate the same value by using the predetermined decoding condition C dec .
  • C dec is a case where a predetermined motion vector of an adjacent block of the current block is determined.
  • the first method may be performed by various methods such as an intermediate value calculation method and a boundary pixel matching method according to an application and an object to which the present invention is applied. Estimation criteria can be defined.
  • the second motion vector estimator 420 may estimate a second motion that may be estimated by the image encoding apparatus 300 according to a predetermined second estimation criterion among motion vectors included in a search range for estimating the second motion vector. Determine the vector. As illustrated, for example, in FIG. 6, the second motion vector estimator 420 estimates a motion vector for the current block by using a second estimation criterion that can be used only by the image encoding apparatus 300. Estimate the vector.
  • the second estimation criterion may be a rate-distortion optimization criterion such as Equation 5, but other criteria may be used.
  • Is a candidate motion vector included in search range SR2 for estimating the second motion vector Denotes a second motion vector that minimizes f enc ( ⁇ ) representing a second estimation criterion among candidate motion vectors.
  • the search range SR1 for estimating the first motion vector and the search range SR2 for estimating the second motion vector are not necessarily identical to each other.
  • the predetermined second estimation criterion f enc ( ⁇ ) is preferably a rate-distortion optimization function J ( ⁇ ). J ( ⁇ ) can be expressed by the distortion function D ( ⁇ ) and the rate function R ( ⁇ ).
  • the predetermined encoding condition C enc refers to an element that influences the determination of the second motion vector. 6 and 5, the pixel value of the current picture, the pixel value of the reference block used as the reference picture, and the like correspond to the encoding condition C enc .
  • the distortion function D ( ⁇ ) and the rate function R ( ⁇ ) can be calculated through Equation 6, which is used for the rate function R ( ⁇ ). Denotes a first motion vector obtained after performing estimation of the first motion vector.
  • MES Motion Etsimation Set
  • MES Motion Etsimation Set
  • the MES is defined as representing all pixels in the current block (or reference block), but may be limited to representing only some of the pixel positions depending on applications such as fast matching.
  • the predetermined second estimation criterion may be defined as in the above-described embodiment, but is not necessarily limited thereto and may be defined in various ways according to the application and the object to which the present invention is applied.
  • the rate function R ( ⁇ ) may be omitted or used for the rate function R ( ⁇ ). May be used as a predetermined default value, such as an intermediate value, rather than the first motion vector output after performing the first motion vector estimation.
  • the second motion vector estimator 420 since the second motion vector estimator 420 does not have to use the first motion vector output from the first motion vector estimator 410, the first motion vector does not depart from the essential characteristics of the present invention.
  • the order of the estimator 410 and the second motion vector estimator 420 may be changed.
  • the predetermined first estimation criterion used by the first motion vector estimator 410 and the predetermined second estimation criterion used by the second motion vector estimator 420 are applied to the present invention.
  • f enc ( ⁇ ) and f dec ( ⁇ ) can be applied in various forms. However, as described above, the degree of how f enc ( ⁇ ) and f dec ( ⁇ ) can produce the same result may be a factor that affects the performance of the present invention.
  • f dec ( ⁇ ) more effective f dec ( ⁇ ) can be defined depending on the extent to which defined f enc ( ⁇ ) and f dec ( ⁇ ) can produce the same result.
  • the degree to which f dec ( ⁇ ) can produce the same result according to the defined f enc ( ⁇ ) varies by an arbitrary unit (eg, a picture unit or a slice unit in the image encoding and decoding method). In this case, a more effective f dec ( ⁇ ) may be used predictively or in anticipation among various predetermined estimation criteria.
  • the ( n -1) th picture is predicted or predicted as the most effective f enc ( ⁇ ) for which the peripheral pixel matching method can yield the same result as f dec ( ⁇ ), but the n th picture is the boundary pixel matching.
  • the method can be expected or predicted to be the most effective f dec ( ⁇ ) that can yield the same result as f enc ( ⁇ ).
  • the image encoding apparatus 300 may define an arbitrary condition in advance with the image decoding apparatus and use f dec ( ⁇ ) as an estimation criterion. When the image decoding apparatus 300 does not define any condition in advance with the image decoding apparatus, Information on which f dec ( ⁇ ) is used may be transmitted to the image decoding apparatus based on an arbitrary unit.
  • the first motion vector estimator 410 and the second motion vector estimator 420 are independently configured, but the first motion vector estimator 410 and the second motion vector estimator are described above. It may be implemented as a motion vector estimator (not shown) including 420.
  • the motion information encoder 430 generates motion information using the first motion vector output from the first motion vector estimator 410 and the second motion vector output from the second motion vector estimator 420, It is encoded and stored or output using a predetermined coding scheme such as entropy coding.
  • the motion information encoder 430 may use various methods without departing from the essential features of the present invention.
  • the motion information encoder 430 generates and encodes a difference between the first motion vector and the second motion vector as motion information or generates and encodes only the second motion vector as motion information, as shown in Equation 7 below. You may.
  • the motion information encoder 430 performs entropy encoding when encoding the difference between the generated first motion vector and the second motion vector or the second motion vector.
  • the coding may be performed using different variable length coding (VLC) tables based on the motion vector. That is, the first motion vector is analyzed to determine the characteristics (eg, magnitude and direction) of the first motion vector, and the characteristics of the image are determined by using the identified characteristics of the first motion vector, which is suitable for the characteristics of the image.
  • VLC variable length coding
  • Conditional entropy encoding may be specifically implemented as in the following example. For example, if the size is set as a criterion of characteristics among various characteristics of the first motion vector, motion information is encoded by selectively using different variable length tables among a plurality of variable length encoding tables according to the sizes of the first motion vectors. can do. If the first boundary value and the second boundary value are set in advance as a criterion for distinguishing the magnitude of the first motion vector, a plurality of variable length encoding tables that can be used are the first variable length encoding table to the third variable length encoding.
  • the motion information when the absolute value of the magnitude of the first motion vector is less than the first boundary value, the motion information may be encoded using the first variable length encoding table, and the absolute value of the magnitude of the first motion vector may be Motion information may be encoded using a second variable length coding table when the value is greater than or equal to the first boundary value and less than the second boundary value.
  • the third variable length may be used.
  • Motion information may be encoded using an encoding table.
  • the plurality of variable length coding tables that can be used may be tables representing codes capable of efficiently encoding the motion vectors according to the size of the motion vectors, which may be determined empirically or empirically. have.
  • FIG. 7 is a flowchart illustrating a motion vector encoding method according to an embodiment of the present invention.
  • the motion vector encoding apparatus that is, the motion vector encoding unit 322 illustrated in FIG. 3, estimates the first motion vector of the current block according to the first decoding criterion predefined with the image decoding apparatus (S710). That is, the motion vector encoder 322 is a predetermined vector that is shared (or defined) by the image encoding apparatus 300 and the image decoding apparatus among the motion vectors included in the search range for estimating the first motion vector. A first motion vector that may be estimated by the image decoding apparatus may be estimated according to the first estimation criterion.
  • the motion vector encoder 322 estimates a second motion vector of the current block according to a second estimation criterion not defined with the image decoding apparatus (S720). That is, the motion vector encoder 322 may perform the second motion that can be estimated only by the image encoding apparatus 300 according to a predetermined second estimation criterion among the motion vectors included in the search range for estimating the second motion vector. The vector can be estimated.
  • the motion vector encoder 322 generates and encodes motion information of the current block by using the first motion vector and the second motion vector (S730). That is, the motion vector encoder 322 may generate, encode, and store (or output) motion information by using the first motion vector estimated in step S710 and the second motion vector estimated in step S720.
  • the process of estimating the first motion vector and the second motion vector and generating and encoding the motion information is the same as described above with reference to FIG. 4, and thus a detailed description thereof will be omitted.
  • step S720 in Figure 7 this is only an embodiment of the present invention, it may be implemented by changing the order within the scope without departing from the essential characteristics of the present invention.
  • FIG. 7 illustrates that the S720 stage is performed after the S710 stage
  • the S710 stage may be performed after the S720 stage according to the application and the object to which the present invention is applied.
  • FIG. 8 is a flowchart illustrating an image encoding method according to an embodiment of the present invention.
  • the image encoding apparatus 300 determines the block mode of the image, and divides the image into block units such as a macroblock or a subblock of the macroblock, and inter prediction mode or intra.
  • An optimal encoding mode is determined among various encoding modes such as a prediction mode, and the current block to be encoded is predicted and encoded according to the determined encoding mode.
  • the image encoding apparatus 300 estimates the first motion vector and the second motion vector of the current block (S810) and the estimated first motion vector. And generating and encoding motion information using the second motion vector (S820), and generating a prediction block of the current block by compensating for the motion of the current block using the motion information (S830).
  • steps S810 and S820 may be performed as described above with reference to FIG. 7.
  • the image encoding apparatus 300 transforms and quantizes the residual block generated by subtracting the current block and the prediction block (S840), encodes the quantized residual block (S850), and encodes the encoded residual block and the encoded motion information. Generate and output encoded data including a (S860). In this case, the image encoding apparatus 300 may generate encoded data further including a predetermined block mode.
  • the process of generating the residual block by using the prediction block, transforming, quantizing, and encoding the residual block is the same as described above with reference to FIG. 3, and thus a detailed description thereof will be omitted.
  • the residual block is transformed and quantized in step S840, neither the transformation nor the quantization may be performed or only one process may be selectively performed. In this case, neither the transformation nor the quantization is performed in step S850 or one. Only residual processes may be encoded selectively.
  • the image encoded by the encoding data by the image encoding apparatus 300 is a real-time or non-real-time through the wired or wireless communication network such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network or the like
  • the image decoding apparatus may be transmitted to an image decoding apparatus to be described later through a communication interface such as a universal serial bus (USB), and decoded by the image decoding apparatus to restore and reproduce the image.
  • a communication interface such as a universal serial bus (USB)
  • FIG. 9 is a block diagram schematically illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • the image decoding apparatus 900 includes an information extractor 910, a first decoder 920, a second decoder 930, a predictor 940, an adder 950, and the like.
  • the reference picture storage unit 960 may be configured.
  • the video decoding apparatus 900 may be a personal computer (PC), a notebook computer, a personal digital assistant (PDA), a portable multimedia player (PMP), or a PlayStation Portable (PSP). ),
  • a communication device such as a communication modem for communicating with various devices or a wired / wireless communication network, a memory for storing various programs and data for decoding an image, and executing a program. Means a variety of devices including a microprocessor for operation and control.
  • the information extractor 910 receives encoded data, extracts information about a block mode (for example, an identifier), and outputs information about the extracted block mode. Further, when the block mode is the motion vector skipping mode (for example, when the block mode is the intra 16x16 mode, the intra 4x4 mode, or the like), the information extractor 910 encodes the residual block without extracting the motion information from the encoded data. Can be extracted and output. On the other hand, when the block mode is not the motion vector skipping mode (for example, when the block mode is the inter 16x16 mode, the inter 4x4 mode, the P8x8 mode, etc.), the information extracting unit 910 encodes the motion information and the encoded motion information from the encoded data. Extracted residual block and output. In this case, the information extractor 910 may further extract and output index information of the reference picture from the encoded data.
  • the block mode for example, an identifier
  • the information extractor 910 encodes the residual block without extracting the motion information from the encoded data. Can
  • the first decoder 920 decodes the encoded residual block output from the information extractor 910. That is, the first decoder 920 decodes binary data of a residual block encoded by using an entropy encoding technique to generate a quantized frequency coefficient sequence, and inversely scans by various scan methods such as an inverse zigzag scan to perform quantization frequency coefficient sequence. Create a residual block with If the binary data of the encoded residual block is binary data in which frequency coefficients are encoded, the residual block decoded by the first decoder 920 will be a residual block having frequency coefficients, and the binary data of the encoded residual block.
  • the residual block decoded by the first decoder 920 may be a residual block having the residual signal. Meanwhile, according to the configuration, an entropy decoding process of decoding binary data of a residual block encoded using an entropy encoding technique described as a function of the first decoder 920 may be implemented in the information extractor 910.
  • the second decoder 930 inverse quantizes and inversely transforms the residual block decoded by the first decoder 920 to restore the residual block. That is, the second decoder 930 inversely quantizes the quantized frequency coefficients of the decoded residual block output from the first decoder 920 and inversely transforms the inverse quantized frequency coefficients to restore the residual block having the residual signal. . If the residual block decoded by the first decoder 920 has a quantization frequency coefficient, the second decoder 930 performs both inverse quantization and inverse transformation, but by the first decoder 920. If the decoded residual block has a frequency coefficient, only inverse transform may be performed without performing inverse quantization.
  • the second decoder 930 may not be configured or omitted in the image decoding apparatus 900. Meanwhile, in FIG. 9, the first decoder 920 and the second decoder 930 are illustrated and described as being configured independently, but may be configured as one decoder (not shown) incorporating each function. .
  • the prediction unit 940 predicts the current block and generates a prediction block.
  • the predictor 940 may include a motion vector decoder 942 and a motion compensator 944.
  • the motion vector decoder 942 estimates the first motion vector in units of blocks corresponding to the block mode according to the information about the block mode output from the information extractor 910 in the reference picture stored in the reference picture storage 960.
  • the decoder extracts the motion information by decoding the encoded motion information output from the information extractor 910, and restores the second motion vector which is the motion vector of the current block by using the reconstructed motion information and the estimated first motion vector. do. In this way, the reconstructed second motion vector becomes the motion vector of the current block.
  • the motion compensator 944 predicts the prediction block by predicting the second motion vector reconstructed from the reference picture stored in the reference picture storage 960, that is, the reference block indicated by the motion vector of the current block, as a prediction block of the current block.
  • the motion vector decoding unit 942 uses the reference picture.
  • the motion vector decoding unit 942 outputs the reference picture from among the many reference pictures stored in the reference picture storage unit 960.
  • the reference picture identified by the index information may be used.
  • the adder 950 reconstructs the current block by adding the reconstructed residual block output from the second decoder 930 to the prediction block predicted and output by the predictor 940.
  • the reconstructed current block is accumulated in picture units and output as a reconstructed picture or stored in the reference picture storage unit 960 as a reference picture, and may be used to predict the next block.
  • the image decoding apparatus 900 deblocks the intra prediction unit and the reconstructed current block for intra prediction based on the H.264 / AVC standard. It may further include a deblocking filter unit for deblocking filtering. In addition, the second decoder 930 may further perform inverse transform and inverse quantization operations on a specific picture (eg, an intra picture) based on the H.264 / AVC standard.
  • FIG. 10 is a block diagram schematically illustrating the configuration of a motion vector decoding apparatus according to an embodiment of the present invention.
  • the motion vector decoding apparatus may be implemented as a motion vector decoding unit 942 in the image decoding apparatus 900 according to an embodiment of the present invention described above with reference to FIG. 9.
  • the motion vector decoder 942 is called.
  • the motion vector decoder 942 includes a motion vector estimator 1010, a motion information decoder 1020, and a motion vector decompressor 1030.
  • the motion vector estimator 1010 is a predetermined vector that is shared (or defined) by the image encoding apparatus 300 and the image decoding apparatus 900 among the motion vectors included in the search range for estimating the first motion vector.
  • the first motion vector is estimated according to the first estimation criterion.
  • the predetermined first estimation criterion is the neighboring pixel matching method described above with reference to FIGS. 4 to 6 on the premise that the image encoding apparatus 300 and the image decoding apparatus 900 are shared (or defined) in advance. It may be defined by various methods, such as a median value calculation method and a boundary pixel matching method.
  • the motion information decoder 1020 restores motion information by decoding the encoded motion information output from the information extractor 910 using various encoding techniques such as entropy encoding and conditional entropy encoding.
  • the conditional entropy encoding is the same as the conditional entropy encoding described above with reference to FIG. 4, and since decoding is performed using different variable length encoding tables based on the first motion vector, detailed description thereof will be omitted.
  • the motion information decoder 1020 may be independently implemented as described above to perform the above-described functions. However, the motion information decoder 1020 may be selectively omitted according to an implementation method or need, and in this case, the function may be the information extracting unit 910. It can be implemented integrated into.
  • the motion vector reconstructor 1030 reconstructs the second motion vector using the first motion vector output from the motion vector estimator 1010 and the motion information output from the motion information decoder 1020.
  • the motion vector reconstructor 1030 may reconstruct the second motion vector by substituting the first motion vector and the motion information into Equation 8 or reconstruct only the reconstructed motion information as the second motion vector.
  • the present invention is not limited thereto, and under the premise that the image encoding apparatus 300 and the image decoding apparatus 900 are shared (or defined) in advance, the second motion vector may be restored in various ways without departing from the essential characteristics of the present invention. Can be. In this way, the reconstructed second motion vector becomes the motion vector of the current block.
  • FIG. 11 is a flowchart illustrating a motion vector decoding method according to an embodiment of the present invention.
  • the motion vector decoding apparatus may include the image encoding apparatus 300 and the image decoding apparatus 900 among the motion vectors included in the search range for estimating the first motion vector.
  • the second motion vector that is, the motion vector of the current block is restored using the reconstructed motion information and the estimated first motion vector.
  • FIG. 12 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • the image decoding apparatus 900 which receives and stores a bitstream or encoded data of an image through a wired or wireless communication network or a cable, decodes the image to reproduce the image according to an algorithm of another program being selected or executed by the user. do.
  • the image decoding apparatus 900 extracts the encoded residual block and the encoded motion information from the encoded data (S1210), and decodes the encoded residual block to restore the residual block (S1220).
  • the image decoding apparatus 900 estimates the first motion vector of the current block according to the image encoding apparatus 300 and a first predetermined criterion (S1230), and decodes the encoded motion information to restore the motion information.
  • the second motion vector is reconstructed using the reconstructed motion information and the estimated first motion vector (S1250).
  • the reconstructed second motion vector becomes a motion vector of the current block.
  • the image decoding apparatus 900 generates a prediction block of the current block by compensating for the motion of the current block in the reference picture by using the reconstructed second motion vector (S1260), and adds the reconstructed residual block and the prediction block to the current block.
  • S1270 To restore (S1270).
  • the reconstructed current block is accumulated and stored in picture units and output as a reconstructed picture or stored as a reference picture.
  • the image encoding apparatus 300 or the motion vector encoding apparatus estimates the first motion vector according to a first estimation criterion previously shared or defined with the image decoding apparatus 900. That is, only the image encoding apparatus 300 may estimate, that is, the image encoding apparatus 300 estimates the second motion vector according to a second estimation criterion which is not previously shared or defined with the image decoding apparatus 900 (in this case, The estimated second motion vector may be an optimal motion vector of the current block, and may be a motion vector of the current block.) And generating and encoding motion information using the first motion vector and the second motion vector.
  • a first estimation criterion previously shared or defined with the image decoding apparatus 900. That is, only the image encoding apparatus 300 may estimate, that is, the image encoding apparatus 300 estimates the second motion vector according to a second estimation criterion which is not previously shared or defined with the image decoding apparatus 900 (in this case, The estimated second motion vector may be an optimal motion vector of the current block, and may be a
  • the image decoding apparatus 900 or the motion vector decoding apparatus estimates the first motion vector according to a first estimation criterion previously shared or defined with the image encoding apparatus 300, and decodes the motion information.
  • the second motion vector is reconstructed as the motion vector of the current block by using the information and the first motion vector.
  • Another embodiment of the present invention encodes a motion vector, as in an embodiment, like the first motion vector and the second. Instead of estimating only two motion vectors, which are motion vectors, and encoding the motion information using the motion vectors, a plurality of motion vectors are predicted, but one or more first motion vectors are estimated, and only one optimal motion vector is estimated. Motion information is encoded. Of course, when decoding the motion vector, the motion vector of the current block which is one motion vector is reconstructed by estimating one or more first motion vectors and using the reconstructed motion information and the predicted one or more motion vectors.
  • the motion vector encoding apparatus is an apparatus for encoding a motion vector, which estimates a plurality of motion vectors, estimates one motion vector of the plurality of motion vectors as a motion vector of the current block, And a motion vector estimator for estimating the remaining motion vectors of the plurality of motion vectors according to at least one estimation criterion, and a motion vector encoder for encoding motion information generated using the plurality of motion vectors.
  • a motion vector estimator for estimating the remaining motion vectors of the plurality of motion vectors according to at least one estimation criterion
  • a motion vector encoder for encoding motion information generated using the plurality of motion vectors.
  • the motion vector estimator may estimate the remaining motion vector using at least one of an adjacent pixel matching method, an intermediate value calculation method, and a boundary pixel matching method as one or more estimation criteria, and uses one of the rate-distortion optimization methods.
  • the motion vector can be estimated.
  • the motion information encoder may generate a difference between one motion vector and the other motion vectors as motion information, and encode motion information using different variable length encoding tables based on the remaining motion vectors.
  • the motion information encoder uses the first variable length encoding table when the absolute value of the magnitude of the remaining motion vectors is less than the first boundary value, and the absolute value of the magnitude of the remaining motion vectors is greater than or equal to the first boundary value.
  • the second variable length coding table may be used when it is less than the preset second boundary value
  • the third variable length coding table may be used when the absolute value of the magnitude of the remaining motion vectors is greater than or equal to the second boundary value.
  • a motion vector encoding method predicts a plurality of motion vectors, estimates one motion vector of the plurality of motion vectors as a motion vector of the current block, and images the remaining motion vectors of the plurality of motion vectors. And a motion vector estimating step of estimating according to the decoding apparatus and at least one predefined criterion and a motion information encoding step of encoding motion information generated using the plurality of motion vectors.
  • An image encoding apparatus encodes motion information generated by estimating a plurality of motion vectors, and uses a motion vector of the plurality of motion vectors as a motion vector of the current block to predict the current block.
  • a coder for generating and outputting coded data including a predictor for generating a residual block, a subtractor for generating a residual block by subtracting a current block and a predictive block, an encoder for encoding a residual block, encoded motion information, and encoded residual block It may be configured to include a data generator.
  • the prediction unit estimates a motion vector of one of the plurality of motion vectors according to an estimation criterion not predefined with the image decoding apparatus, and estimates the remaining motion vectors of the plurality of motion vectors according to the estimation criterion predefined with the image decoding apparatus.
  • One motion vector of the plurality of motion vectors may be a motion vector that cannot be estimated by the image decoding apparatus, and the other motion vectors may be motion vectors that can be estimated by the image decoding apparatus.
  • An image encoding method encodes motion information generated by estimating a plurality of motion vectors, and uses a motion vector of the plurality of motion vectors as a motion vector of the current block to predict the current block. Generating a prediction step; A subtraction step of generating a residual block by subtracting the current block and the prediction block; And an encoding step of encoding a residual block and an encoding data generation step of generating and outputting encoded data including the encoded motion information and the encoded residual block.
  • a motion vector decoding apparatus includes a motion vector estimator for estimating one or more motion vectors according to an image encoding apparatus and at least one predetermined criterion, and motion information reconstruction for decoding and restoring encoded motion information. And a motion vector reconstruction unit for reconstructing the motion vector of the current block using the sub- and reconstructed motion information and the estimated one or more motion vectors.
  • the motion vector estimator may use one or more of an adjacent pixel matching method, an intermediate value calculation method, and a boundary pixel matching method as one or more estimation criteria.
  • the motion information reconstruction unit may decode the motion information using different variable length coding tables based on one or more motion vectors. When the absolute value of the magnitude of the one or more motion vectors is less than the first boundary value, the first variable may be decoded. If the length encoding table is used and the absolute value of the magnitude of the one or more motion vectors is greater than or equal to the first boundary value and less than the preset second boundary value, the second variable length encoding table is used, and the absolute value of the magnitude of the one or more motion vectors is used. When the value is equal to or greater than the second boundary value, the third variable length encoding table may be used. The motion vector reconstruction unit may reconstruct the sum of the reconstructed motion information and the estimated one or more motion vectors as a motion vector of the current block.
  • a motion vector decoding method comprising: a motion vector estimating step of estimating one or more motion vectors according to a video encoding apparatus and one or more predetermined estimation criteria; and motion information for decoding and restoring encoded motion information. And a motion vector reconstruction step of reconstructing the motion vector of the current block by using the reconstruction step and the reconstructed motion information and the estimated one or more motion vectors.
  • An image decoding apparatus includes an information extracting unit for extracting an encoded residual block and encoded motion information, a decoder for decoding and restoring an encoded residual block, and an image encoding apparatus. Estimate one or more motion vectors according to one or more estimation criteria, decode and decode coded motion information, restore the motion vector of the current block by using the reconstructed motion information and the estimated one or more motion vectors, and The prediction unit may generate a prediction block of the current block by using a motion vector, and an adder which reconstructs the current block by adding the reconstructed residual block and the prediction block.
  • an image decoding method includes: an information extraction step of extracting an encoded residual block and encoded motion information, a decoding step of decoding and restoring an encoded residual block, and an image encoding apparatus previously defined Estimate one or more motion vectors according to one or more estimation criteria, decode and decode coded motion information, restore the motion vector of the current block by using the reconstructed motion information and the estimated one or more motion vectors, and A prediction step of generating a prediction block of the current block using a motion vector and an addition step of reconstructing the current block by adding the reconstructed residual block and the prediction block may be performed.
  • the optimal motion vector that can be estimated only by the image encoding apparatus 300 based on one or more motion vectors that can be estimated by both the image encoding apparatus and the image decoding apparatus Since the motion vector of the current block can be encoded, it is possible to encode the motion vector using a more accurate estimate, but there is no need to further encode information on which motion vector is used. Can reduce the amount, thereby improving the compression efficiency.
  • both the image encoding apparatus and the image decoding apparatus share or define a predetermined estimation criterion capable of estimating one or more motion vectors, thereby further adding information for estimating one or more motion vectors. Since there is no need to encode, the bit amount for encoding the motion vector can be reduced, thereby improving the compression efficiency.
  • the image decoding apparatus grasps the characteristics of the image based on one or more motion vectors (for example, the first motion vector in one embodiment) that can be estimated by itself, and the identified image.
  • one or more motion vectors for example, the first motion vector in one embodiment
  • the image decoding apparatus grasps the characteristics of the image based on one or more motion vectors (for example, the first motion vector in one embodiment) that can be estimated by itself, and the identified image.
  • the image decoding apparatus grasps the characteristics of the image based on one or more motion vectors (for example, the first motion vector in one embodiment) that can be estimated by itself, and the identified image.
  • a variable length coding table capable of encoding a motion vector most efficiently
  • the difference between the predetermined motion vector and the predictive vector is encoded using a predetermined fixed variable length encoding table without considering the characteristics of the image, thereby adapting to various image characteristics. Can not cope with.
  • the present invention is applied to a method and apparatus for encoding or decoding an image, and can reduce the amount of bits for encoding a motion vector while estimating using a more accurate motion vector, thereby improving compression efficiency. It is a very useful invention that produces an effect.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 본 발명은 움직임 벡터를 부호화하는 장치에 있어서, 복수 개의 움직임 벡터를 추정하되, 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 추정하고, 복수 개의 움직임 벡터 중 나머지 움직임 벡터를 영상 복호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 추정하는 움직임 벡터 추정부; 및 복수 개의 움직임 벡터를 이용하여 생성한 움직임 정보를 부호화하는 움직임 벡터 부호화부를 포함하는 것을 특징으로 하는 움직임 벡터 부호화 장치를 제공한다. 본 발명에 의하면, 더욱 정확한 움직임 벡터를 사용하여 추정하여 사용하면서도 움직임 벡터를 부호화하기 위한 비트량을 줄일 수 있어, 압축 효율을 향상시킬 수 있다.

Description

복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
본 발명은 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 영상을 부호화하거나 복호화하는 데 있어서, 움직임을 추정(Estimation)하여 보상하기 위한 움직임 벡터를 효율적으로 부호화하거나 복호화하여 압축 효율을 향상시키는 방법 및 장치에 관한 것이다.
근래에 멀티미디어 기술은 비약적으로 발전하고 있으며, 이에 따라 오디오, 이미지, 동영상 등을 포함한 고품질의 멀티미디어 데이터들에 대한 수요도 증가하고 있다. 이러한 추세의 일환으로, 제한된 네트워크 환경에서 멀티미디어 데이터들을 전송하거나 저장하고 다시 읽고(Retrieve)자하는 수요를 충족시키기 위해 고효율의 영상 압축에 관한 국제 표준이 제정되었다. 특히, 동영상 압축에 관한 국제표준으로 ISO/IEC JTC1/SC29 MPEG 그룹 및 ITU-T VCEG 그룹이 제정한 H.264/AVC MPEG-4 Part.10 표준은, 높은 압축 효율을 달성하기 위해, 가변적인 블록 크기에서의 움직임 추정 및 보상(Variable Block Size Motion Estimation and Compensation), 인트라 예측(Intra prediction) 부호화 등 다양한 예측 부호화 방법들을 사용한다.
움직임 추정을 통해서 움직임 벡터를 생성하고 움직임 벡터를 이용하여 움직임 보상을 수행하는데, 영상 부호화 및 복호화 분야에서 통상적으로 사용되고 있는 움직임 벡터의 부호화 및 복호화 방법은 공간적으로 위치한 주변 블록의 움직임 벡터를 예측값(Predicted Value)으로 사용하여 추정(Estimation)된 블록의 움직임 벡터에 대해 예측 부호화를 수행하는 것이다. 즉, 현재 블록의 움직임 벡터는 주변 블록의 움직임 벡터와 밀접한 상관 관계가 있기 때문에, 주변 블록의 움직임 벡터를 이용하여 현재 움직임 벡터에 대한 예측값을 계산하여 예측 움직임 벡터(PMV: Predicted Motion Vector)로서 생성한 후, 현재 블록의 움직임 벡터의 값 자체를 부호화하지 않고 예측 움직임 벡터와의 차이값만을 부호화함으로써 움직임 벡터를 부호화하기 위해 필요한 비트량을 줄여 부호화 효율을 높이고 있다.
따라서, 이러한 통상적인 움직임 벡터 부호화 방법에서는 효율적인 압축을 위하여 예측 움직임 벡터가 현재 블록의 움직임 벡터와 유사할수록 압축 효율을 높일 수 있다. 하지만, 현재 블록의 움직임 벡터와 가장 유사한 예측 움직임 벡터를 이용하기 위해서는, 예측 움직임 벡터로서 어떤 값을 이용하는지에 대한 정보를 함께 부호화해야 하기 때문에, 비트량이 증가하여 압축 효율이 감소되는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 영상을 부호화하거나 복호화하는 데 있어서, 움직임을 추정(Estimation)하여 보상하기 위한 움직임 벡터를 효율적으로 부호화하거나 복호화하여 압축 효율을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 움직임 벡터를 부호화하는 장치에 있어서, 복수 개의 움직임 벡터를 추정하되, 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 추정하고, 복수 개의 움직임 벡터 중 나머지 움직임 벡터를 영상 복호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 추정하는 움직임 벡터 추정부; 및 복수 개의 움직임 벡터를 이용하여 생성한 움직임 정보를 부호화하는 움직임 벡터 부호화부를 포함하는 것을 특징으로 하는 움직임 벡터 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 움직임 벡터를 부호화하는 방법에 있어서, 복수 개의 움직임 벡터를 추정하되, 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 추정하고, 복수 개의 움직임 벡터 중 나머지 움직임 벡터를 영상 복호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 추정하는 움직임 벡터 추정 단계; 및 복수 개의 움직임 벡터를 이용하여 생성한 움직임 정보를 부호화하는 움직임 정보 부호화 단계를 포함하는 움직임 벡터 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 복수 개의 움직임 벡터를 추정하여 생성한 움직임 정보를 부호화하며, 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 이용하여 현재 블록의 예측 블록을 생성하는 예측부; 현재 블록과 예측 블록을 감산하여 잔차 블록을 생성하는 감산부; 잔차 블록을 부호화하는 부호화부; 및 부호화된 움직임 정보 및 부호화된 잔차 블록을 포함하는 부호화 데이터를 생성하여 출력하는 부호화 데이터 생성부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 복수 개의 움직임 벡터를 추정하여 생성한 움직임 정보를 부호화하며, 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 이용하여 현재 블록의 예측 블록을 생성하는 예측 단계; 현재 블록과 예측 블록을 감산하여 잔차 블록을 생성하는 감산 단계; 잔차 블록을 부호화하는 부호화 단계; 및 부호화된 움직임 정보 및 부호화된 잔차 블록을 포함하는 부호화 데이터를 생성하여 출력하는 부호화 데이터 생성 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 움직임 벡터를 복호화하는 장치에 있어서, 영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하는 움직임 벡터 추정부; 부호화된 움직임 정보를 복호화하여 복원하는 움직임 정보 복원부; 및 복원된 움직임 정보와 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하는 움직임 벡터 복원부를 포함하는 것을 특징으로 하는 움직임 벡터 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 움직임 벡터를 복호화하는 방법에 있어서, 영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하는 움직임 벡터 추정 단계; 부호화된 움직임 정보를 복호화하여 복원하는 움직임 정보 복원 단계; 및 복원된 움직임 정보와 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하는 움직임 벡터 복원 단계를 포함하는 것을 특징으로 하는 움직임 벡터 복호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 부호화 데이터로부터 부호화된 잔차 블록 및 부호화된 움직임 정보를 추출하는 정보 추출부; 부호화된 잔차 블록을 복호화하여 복원하는 복호화부; 영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하고 부호화된 움직임 정보를 복호화하여 복원하며, 복원된 움직임 정보와 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하고 복원된 현재 블록의 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성하는 예측부; 및 복원된 잔차 블록과 예측 블록을 가산하여 현재 블록을 복원하는 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 부호화 데이터로부터 부호화된 잔차 블록 및 부호화된 움직임 정보를 추출하는 정보 추출 단계; 부호화된 잔차 블록을 복호화하여 복원하는 복호화 단계; 영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하고 부호화된 움직임 정보를 복호화하여 복원하며, 복원된 움직임 정보와 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하고 복원된 현재 블록의 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성하는 예측 단계; 및 복원된 잔차 블록과 예측 블록을 가산하여 현재 블록을 복원하는 가산 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 더욱 정확한 움직임 벡터를 사용하여 움직임을 추정하여 보상하기 위한 움직임 벡터를 부호화하는 데 따른 비트량을 줄일 수 있어, 압축 효율을 향상시킬 수 있다.
도 1은 H.264/AVC 표준에 따라 움직임 벡터를 부호화하는 과정을 설명하기 위한 예시도,
도 2는 엔트로피 부호화를 위한 심볼당 비트수를 나타낸 예시도,
도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도,
도 4는 본 발명의 일 실시예에 따른 움직임 벡터 부호화 장치의 구성을 간략하게 나타낸 블록 구성도,
도 5는 본 발명의 일 실시예에 따라 제 1 움직임 벡터를 추정하는 과정을 설명하기 위한 예시도,
도 6은 본 발명의 일 실시예에 따라 제 2 움직임 벡터를 추정하는 과정을 설명하기 위한 예시도,
도 7은 본 발명의 일 실시예에 따른 움직임 벡터 부호화 방법을 설명하기 위한 순서도,
도 8은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 9는 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도,
도 10은 본 발명의 일 실시예에 따른 움직임 벡터 복호화 장치의 구성을 간략하게 나타낸 블록 구성도,
도 11은 본 발명의 일 실시예에 따른 움직임 벡터 복호화 방법을 설명하기 위한 순서도,
도 12는 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 H.264/AVC 표준에 따라 움직임 벡터를 부호화하는 과정을 설명하기 위한 예시도이다.
도 1에서, 블록 D는 움직임 벡터를 부호화하고자 하는 현재 블록이고, 블록 A, 블록 B 및 블록 C는 블록 D에 대한 주변 블록을 나타낸다.
Figure PCTKR2009005524-appb-I000001
및
Figure PCTKR2009005524-appb-I000002
는 각각 블록 A, 블록 B, 블록 C, 블록 D가 갖는 움직임 벡터이고, 각각은 수평성분 (
Figure PCTKR2009005524-appb-I000003
및
Figure PCTKR2009005524-appb-I000004
)과 수직성분 (
Figure PCTKR2009005524-appb-I000005
및
Figure PCTKR2009005524-appb-I000006
)을 가지는 것으로 정의한다. 그리고 현재 블록의 움직임 벡터
Figure PCTKR2009005524-appb-I000007
는 (2,0)이고, 주변 블록의 움직임 벡터인
Figure PCTKR2009005524-appb-I000008
및
Figure PCTKR2009005524-appb-I000009
는 각각 (2,0), (2,1) 및 (2,2)인 것으로 가정한다. 또한, 전술한 현재 블록의 움직임 벡터에 대한 예측 움직임 벡터(PMV: Predicted Motion Vector)
Figure PCTKR2009005524-appb-I000010
를 수학식 1과 같이 계산하며, 예측 움직임 벡터
Figure PCTKR2009005524-appb-I000011
는 역시 각각은 수평성분(
Figure PCTKR2009005524-appb-I000012
)과 수직성분(
Figure PCTKR2009005524-appb-I000013
)을 가지는 것으로 정의한다.
수학식 1
Figure PCTKR2009005524-appb-M000001
수학식 1을 참조하면, 현재 블록의 움직임 벡터에 대한 예측 움직임 벡터는 주변 블록(블록 A, 블록 B, 블록 C)의 움직임 벡터의 중간값을 계산하는 Median(□)에 의해 계산됨을 확인할 수 있다. 수학식 1을 이용하여 현재 움직임 벡터
Figure PCTKR2009005524-appb-I000014
의 예측 움직임 벡터
Figure PCTKR2009005524-appb-I000015
가 구해지면, 수학식 2를 사용하여 부호화해야 할 현재 블록의 움직임 벡터에서 예측 움직임 벡터를 차분한 차분 움직임 벡터
Figure PCTKR2009005524-appb-I000016
를 구할 수 있으며, 이 차분 움직임 벡터는 엔트로피 부호화 등의 미리 정의된 소정의 방법에 의해 부호화되어 저장(또는 전송)된다.
수학식 2
Figure PCTKR2009005524-appb-M000002
도 1에 예시되어 있는 것처럼, 현재 움직임 벡터
Figure PCTKR2009005524-appb-I000017
가 (2,0)인 경우, 수학식 1에 의한 중간값을 사용한 예측 움직임 벡터는 (2,1)이 되며, 수학식 2에 의해 차분 움직임 벡터
Figure PCTKR2009005524-appb-I000018
는 (0, -1)이 된다.
도 2는 엔트로피 부호화를 위한 심볼당 비트수를 나타낸 예시도이다.
도 1을 통해 전술한 차분 움직임 벡터
Figure PCTKR2009005524-appb-I000019
를 도 2에 도시한 엔트로피 부호화를 위한 테이블을 이용하여 부호화하면, 모두 4 비트(수평 성분에 대해 1 비트, 수직 성분에 대해 3 비트)가 필요하다. 반면,
Figure PCTKR2009005524-appb-I000020
인 (2,0)을 예측 움직임 벡터로 사용하면 차분 움직임 벡터
Figure PCTKR2009005524-appb-I000021
가 (0,0)이 되어, 이를 부호화하는데 소요되는 비트량은 모두 2 비트(수평 성분에 대해 1 비트, 수직 성분에 대해 1 비트)가 된다. 따라서, 중간값을 사용한 예측 움직임 벡터를 사용하는 방법에 비해 2 비트를 감소시킬 수 있다.
하지만, 전술한 바와 같이,
Figure PCTKR2009005524-appb-I000022
를 예측 움직임 벡터로 사용하기 위해서는
Figure PCTKR2009005524-appb-I000023
중에서 어떤 움직임 벡터가 예측 움직임 벡터(PMV)로 사용되었는지에 대한 정보를 함께 전송해야 하기 때문에, 압축 효율의 향상 여부를 보장할 수 없다. 따라서, 더욱 높은 부호화 효율을 달성하기 위해서는 어떤 예측값(Predicted Value)이 사용되었는지에 대한 정보를 추가하지 않으면서도, 더욱 정확한 예측값을 사용하여 움직임 벡터를 부호화하는 방법이 필요하다.
도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(300)는 블록 모드 결정부(310), 예측부(320), 감산부(330), 제 1 부호화부(340), 제 2 부호화부(350), 부호화 데이터 생성부(360), 복호화부(370), 가산부(380) 및 참조 픽처 저장부(390)를 포함하여 구성될 수 있다. 이러한 영상 부호화 장치(300)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
블록 모드 결정부(310)는 영상에서 현재 부호화하고자 하는 현재 블록에 선택될 수 있는 블록 모드들에 대해 소정의 최적 기준(예를 들어, 율-왜곡 최적화 기준)을 적용하여 현재 블록에 대한 블록 모드(예를 들어, 최소의 율-왜곡 비용을 갖는 블록 모드)를 결정한다. 영상 부호화 장치(300)에 블록 모드가 기 설정되어 있다면, 블록 모드 결정부(310)는 반드시 영상 부호화 장치(300)에 포함되지 않고 선택적으로 생략될 수 있다.
예측부(320)는 현재 블록을 예측하여 예측 블록을 생성하고 출력한다. 즉, 예측부(320)는 영상에서 부호화하고자 하는 현재 블록의 각 화소의 화소값(Pixel Value)을 예측하여 예측된 각 화소의 예측 화소값(Predicted Pixel Value)을 갖는 예측 블록(Predicted Block)을 생성한다. 이러한 예측부(320)는 인터 예측을 수행하는 경우에는 도시한 바와 같이, 움직임 벡터 부호화부(322) 및 움직임 보상부(324)를 포함하여 구성될 수 있다.
움직임 벡터 부호화부(322)는 블록 모드 결정부(310)로부터 출력되는 현재 블록에 대한 블록 모드 또는 기 설정된 블록 모드에 대응하는 블록 단위(예를 들어, 16×16 블록, 16×8 블록, 8×16 블록, 8×8 블록, 8×4 블록, 4×8 블록, 4×4 블록)로 참조 픽처 저장부(390)에 저장된 하나 이상의 참조 픽처를 참조하여 제 1 움직임 벡터와 제 2 움직임 벡터를 추정(Estimation)하고, 추정된 제 1 움직임 벡터와 제 2 움직임 벡터를 이용하여 움직임 정보를 생성하고 부호화하여 출력한다. 이때, 움직임 벡터 부호화부(322)는 제 1 움직임 벡터와 제 2 움직임 벡터를 추정하는 데 사용한 참조 픽처를 식별하기 위한 정보인 참조 픽처에 대한 인덱스 정보를 출력할 수 있다.
여기서, 움직임 벡터 부호화부(322)는 블록 모드 결정부(310)로부터 출력되는 참조 픽처에 대한 인덱스 정보를 이용하거나 기 설정된 참조 픽처에 대한 인덱스 정보를 이용할 수 있고, 참조 픽처에 대한 인덱스 정보에 의해 지시되는 참조 픽처를 참조하여 제 1 움직임 벡터와 제 2 움직임 벡터를 추정할 수 있다. 또한, 움직임 벡터 부호화부(322)는 블록 모드 결정부(310)로부터 블록 모드만이 출력되거나 참조 픽처에 대한 인덱스정보가 기 설정되지 않은 경우, 현재 부호화하고자 하는 현재 픽처와 시간적으로 주변에 위치하되 부호화에 사용할 수 있는 참조 픽처들에서 블록 모드에 따른 블록들에 대해 각각 현재 블록과의 오차값을 연산하고, 최소의 오차값을 갖는 블록을 포함하는 참조 픽처를 기준으로 제 1 움직임 벡터와 제 2 움직임 벡터를 추정할 수도 있다. 움직임 벡터 부호화부(322)에 대해서는 후술하는 과정에서 도 4를 통해 상세히 설명한다.
움직임 보상부(324)는 움직임 벡터 부호화부(322)로부터 출력되는 참조 픽처에 대한 인덱스 정보에 의해 지시되는 참조 픽처에 움직임 벡터 부호화부(322)로부터 출력되는 현재 블록의 움직임 벡터인 제 2 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성하고 출력한다.
감산부(330)는 현재 블록에서 예측 블록을 감산하여 잔차 블록(Residual Block)을 생성한다. 즉, 감산부(330)는 부호화하고자 하는 현재 블록의 각 화소의 화소값과 예측부(320)에서 예측한 예측 블록의 각 화소의 예측 화소값의 차이를 계산하여 블록 형태의 잔차 신호(Residual Signal)를 갖는 잔차 블록을 생성한다.
제 1 부호화부(340)는 잔차 블록을 변환 및 양자화하여 양자화된 잔차 블록을 출력한다. 즉, 제 1 부호화부(340)는 잔차 블록의 잔차 신호를 주파수 영역으로 변환하여 잔차 블록의 각 화소값을 주파수 계수로 변환하고, 주파수 계수를 갖는 잔차 블록을 양자화(Quantization)한다. 여기서, 제 1 부호화부(340)는 하다마드 변환(Hadamard Transform), 이산 코사인 변환 기반 변환(DCT based Transform: Discrete Cosine Transform Based Transform) 등과 같은 공간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔차 신호를 주파수 영역으로 변환할 수 있는데, 주파수 영역으로 변환된 잔차 신호가 주파수 계수가 된다. 또한, 제 1 부호화부(340)는 변환된 잔차 블록을 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함), 양자화 가중치 매트릭스(Quantization Weighted Matrix) 또는 이를 개량한 양자화 기법 등을 사용하여 양자화할 수 있다.
한편, 이상에서는 제 1 부호화부(340)가 잔차 블록을 변환하고 양자화하는 것으로 설명했지만, 잔차 블록의 잔차 신호를 변환하여 주파수 계수를 갖는 잔차 블록을 생성하고 양자화 과정을 수행하지 않을 수 있으며, 잔차 블록의 잔차 신호를 주파수 계수로 변환하지 않고 양자화 과정만을 수행할 수 있을 뿐만 아니라, 심지어는 변환과 양자화 과정을 모두 수행하지 않을 수 있다. 변환과 양자화 과정을 수행하지 않는 경우에는 본 발명의 일 실시예에 따른 영상 부호화 장치(340)에서 제 1 부호화부(340)는 생략될 수 있을 것이다.
제 2 부호화부(350)는 제 1 부호화부(340)로부터 출력되는 잔차 블록을 부호화한다. 즉, 제 2 부호화부(350)는 잔차 블록의 양자화 주파수 계수, 주파수 계수 또는 잔차 신호를 지그재그 스캔과 같은 다양한 스캔 방식에 따라 스캔하여 양자화 주파수 계수열, 주파수 계수열 또는 신호열을 생성하고 엔트로피 부호화(Entropy Coding) 기법 등 다양한 부호화 기법을 이용하여 부호화한다. 한편, 이러한 제 1 부호화부(340)와 제 2 부호화부(350)의 기능이 통합되어 하나의 부호화부로서 구현될 수도 있다.
부호화 데이터 생성부(360)는 부호화부(350)로부터 출력되는 부호화된 잔차 블록과 움직임 벡터 부호화부(322)로부터 출력되는 부호화된 움직임 정보를 포함하는 부호화 데이터를 생성하여 출력한다. 또한, 부호화 데이터 생성부(360)는 블록 모드 결정부(310)로부터 출력되거나 기 설정된 현재 블록에 대한 블록 모드에 대한 정보를 부호화 데이터에 추가로 포함시켜 출력할 수 있다. 이러한 부호화 데이터 생성부(360)는 멀티플렉서(MUX: Multiplexer)로 구현될 수 있다.
복호화부(370)는 제 1 부호화부(340)에 의해 양자화된 잔차 블록을 역 양자화(Inverse Quantization)하고 역 변환(Inverse Transform)한다. 즉, 복호화부(370)는 앙자화된 잔차 블록의 양자화 주파수 계수들을 역 양자화하여 주파수 계수를 갖는 잔차 블록을 생성하고, 역 양자화된 잔차 블록을 역 변환하여 화소값을 갖는 잔차 블록 즉, 복원된 잔차 블록을 생성한다. 여기서, 복호화부(370)는 제 1 부호화부(340)에서 사용한 변환 방식과 양자화 방식을 역으로 사용하여 역 변환 및 역 양자화할 수 있다. 또한, 제 1 부호화부(340)에서 변환만을 수행하고 양자화를 수행하지 않은 경우, 복호화부(370)는 역 변환만을 수행하고 역 양자화를 수행하지 않으며, 제 1 부호화부(340)에서 양자화만을 수행하고 변환을 수행하지 않은 경우에는 역 양자화만을 수행하고 역 변환을 수행하지 않을 수 있다. 만약, 제 1 부호화부(340)에서 변환 및 양자화를 모두 수행하지 않거나 제 1 부호화부(340)가 영상 부호화 장치(300)에 구성되지 않고 생략된 경우, 복호화부(370)도 역 변환 및 역 양자화를 모두 수행하지 않거나 영상 부호화 장치(300)에 구성되지 않고 생략될 수 있다.
가산부(380)는 예측부(320)에서 예측된 예측 블록과 복호화부(370)에 의해 복원된 잔차 블록을 가산하여 현재 블록을 복원한다. 참조 픽처 저장부(390)는 가산부(380)로부터 출력되는 복원된 현재 블록을 픽처 단위로 참조 픽처로서 저장하여 예측부(320)가 현재 블록의 다음 블록이나 향후 다른 블록을 부호화할 때 참조 픽처로서 사용할 수 있도록 한다.
도 3에서는 도시하지 않았지만, 전술한 본 발명의 일 실시예에 따른 영상 부호화 장치(300)는 H.264/AVC 표준에 기초하여, 인트라 예측(Intra Prediction)을 위한 인트라 예측부, 복원된 현재 블록을 디블로킹 필터링(Deblocking Filtering)하는 디블록킹 필터부 등을 추가로 포함할 수 있다. 또한, 제 1 부호화부(340) 및 복호화부(370)는 H.264/AVC 표준에 기초하여, 특정 픽처(예를 들어, 인트라 픽춰)에 대한 변환 및 양자화(또는 역 변환 및 역 양자화) 연산을 추가로 수행할 수도 있다. 여기서, 디블로킹 필터링이란 영상을 블록 단위로 부호화하면서 발생하는 블록 왜곡을 감소시키는 작업을 말하며, 블록 경계와 매크로블록 경계에 디블로킹 필터를 적용하거나 매크로블록 경계에만 디블로킹 필터를 적용하거나 디블로킹 필터를 사용하지 않는 방법 중 하나를 선택적으로 사용할 수 있다.
도 4는 본 발명의 일 실시예에 따른 움직임 벡터 부호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 움직임 벡터 부호화 장치는 도 3을 통해 전술한 본 발명의 일 실시예에 따른 영상 부호화 장치(300)에서는 움직임 벡터 부호화부(322)로 구현될 수 있으므로, 이하에서는 설명의 편의를 위해, 움직임 벡터 부호화부(322)라 칭한다.
본 발명의 일 실시예에 따른 움직임 벡터 부호화부(322)는 제 1 움직임 벡터 추정부(410), 제 2 움직임 벡터 추정부(420) 및 움직임 정보 부호화부(430)를 포함하여 구성될 수 있다.
제 1 움직임 벡터 추정부(410)는 제 1 움직임 벡터를 추정하기 위한 소정의 탐색 범위 내에 포함된 움직임 벡터들 중에서 영상 부호화 장치(300)와 후술할 영상 복호화 장치가 사전에 공유 또는 정의하고 있어 영상 복호화 장치에서도 스스로 제 1 움직임 벡터를 추정할 수 있는 소정의 제 1 추정 기준에 따라 제 1 움직임 벡터를 추정한다. 이러한 소정의 제 1 추정 기준의 일 예로서, 도 5에 도시한 바와 같은 인접 화소 정합(TM: Template Matching) 방법이 사용될 수 있다. 인접 화소 정합 방법은 수학식 3에 의해 계산될 수 있다.
수학식 3
Figure PCTKR2009005524-appb-M000003
수학식 3에서, 탐색 범위 SR1은 제 1 움직임 벡터 추정을 위한 참조 픽처상의 영역의 크기를 나타낸다. 예를 들어, 도 5를 참조하면, 수평 방향으로 8 화소 및 수직 방향으로 8 화소로 정의된 탐색 범위를 생각할 수 있다. 또한, 수학식 3에서, TMS(Template Matching Set)는 인접 화소 정합을 위해 사용하는 화소의 상대적 위치를 지정하는 인덱스 j들의 집합이다. 인접 화소 정합 방법은 TMS 내의 유한한 개수의 인덱스 j에 대해, 움직임 추정(Estimation)을 위한 탐색 범위 SR1 내에 포함되어 있는 후보 움직임 벡터
Figure PCTKR2009005524-appb-I000024
를 이용해 얻어진 참조 픽처상의 참조 블록 주변의 인덱스 j가 지시하는 해당 화소값
Figure PCTKR2009005524-appb-I000025
과 현재 블록 주변의 인덱스 j가 지시하는 해당 화소값
Figure PCTKR2009005524-appb-I000026
의 차이를 추정 오류로 판단한다. 현재 픽처의 해당 화소값
Figure PCTKR2009005524-appb-I000027
는 이미 부호화 및 복호화 과정을 완료한 복원 영상이므로 영상 부호화 장치(300) 및 영상 복호화 장치에서 모두 알 수 있는 정보이다.
REF1 및 CUR1와 같이, 영상 복호화 장치가 알 수 있고, 제 1 움직임 벡터의 추정에 사용되는 조건을 소정의 복호화 조건 C dec 라 한다. 즉, 탐색 범위 내에서 가장 작은 추정 오류를 갖도록 하는 후보 움직임 벡터를 영상 복호화 장치에서 추정(Estimation) 수 있는 제 1 움직임 벡터
Figure PCTKR2009005524-appb-I000028
로 추정한다. 수학식 3에서는 추정 오류를 계산하기 위해 차이의 제곱합(SSD: Sum of Squared Difference)을 사용하였으나, 본 발명을 적용할 응용 및 목적에 따라 차이의 평균합(SAD: Sum of Absolute Difference) 등의 다른 방법도 적용이 가능하다.
또한, 영상 부호화 장치에서 추정한 제 1 움직임 벡터에 대해, 영상 복호화 장치에서도 기 복원된 소정의 복호화 조건 C dec (예를 들어, 참조 픽처와 현재 픽처에서 현재 블록에 대응되는 기 복원된 주변 화소값)을 이용하여 동일한 제 1 움직임 벡터를 추정할 수 있다면, 도 5에 도시한 인접 화소 정합 방법 이외의 여타의 다른 추정 기준도 소정의 추정 기준으로서 사용이 가능하다. 예를 들어, 전술한 H.264/AVC 표준에서 사용하는 중간값 계산 방법을 사용해 제 1 움직임 벡터를 추정할 경우, 도 1에 나타낸 현재 블록의 제 1 움직임 벡터는 주변 블록의 움직임 벡터를 이용하여 수학식 4와 같이 계산될 수 있으며, 수학식 4의
Figure PCTKR2009005524-appb-I000029
은 영상 복호화 장치에서, 기 복원된 소정의 복호화 조건 C dec 을 이용하여 동일한 값으로 추정이 가능하다. 이때, C dec 는 현재 블록의 인접한 블록의 기 복원된 움직임 벡터로 정한 경우이다.
수학식 4
Figure PCTKR2009005524-appb-M000004
즉, 영상 부호화 장치와 영상 복호화 장치가 사전에 정의하고 있다는 전제 하에서, 본 발명을 적용할 응용 및 목적에 따라 중간값 계산 방법, 경계 화소 정합(BM: Boundary Matching) 방법 등의 다양한 방법으로 제 1 추정 기준이 정의될 수 있다.
제 2 움직임 벡터 추정부(420)는 제 2 움직임 벡터를 추정하기 위한 탐색 범위 내에 포함되어 있는 움직임 벡터들 중에서 소정의 제 2 추정 기준에 따라 영상 부호화 장치(300)에서 추정할 수 있는 제 2 움직임 벡터를 결정한다. 제 2 움직임 벡터 추정부(420)는 도 6에 예를 들어 도시한 바와 같이, 영상 부호화 장치(300)에서만 이용할 수 있는 제 2 추정 기준을 이용하여 현재 블록에 대한 움직임 벡터를 추정함으로써 제 2 움직임 벡터를 추정한다. 이러한 제 2 추정 기준은 수학식 5와 같은 율-왜곡 최적화 기준이 이용될 수 있지만, 이외의 다른 기준들도 사용할 수 있다.
수학식 5
Figure PCTKR2009005524-appb-M000005
수학식 5에서,
Figure PCTKR2009005524-appb-I000030
는 제 2 움직임 벡터를 추정하기 위한 탐색 범위 SR2에 포함된 후보 움직임 벡터이고,
Figure PCTKR2009005524-appb-I000031
는 후보 움직임 벡터 중에서 제 2 추정 기준을 나타내는 f enc (□)를 최소로 만드는 제 2 움직임 벡터를 나타낸다. 여기서, 제 1 움직임 벡터를 추정하기 위한 탐색 범위 SR1과 제 2 움직임 벡터를 추정하기 위한 탐색 범위 SR2가 반드시 서로 동일할 필요는 없다. 전술한 바와 같이, 소정의 제 2 추정 기준 f enc (□)는 율-왜곡 최적화 함수 J(□)가 바람직하다. J(□)는 왜곡 함수 D(□)와 율 함수 R(□)로 표현될 수 있다.
본 발명의 일 실시예에서 소정의 부호화 조건 C enc 는 제 2 움직임 벡터를 결정하는데 영향을 미치는 요소를 말한다. 도 6 및 수학식 5를 참조하면, 현재 픽처의 화소값, 참조 픽처로 사용되는 참조 블록의 화소값 등이 부호화 조건 C enc 에 해당한다. 본 발명의 일 실시예에서 왜곡 함수 D(□)와 율 함수 R(□)는 수학식 6을 통해 계산될 수 있으며, 율 함수 R(□)에 사용되는
Figure PCTKR2009005524-appb-I000032
는 제 1 움직임 벡터의 추정을 수행한 후에 얻어지는제 1 움직임 벡터를 의미한다.
수학식 6
수학식 6에서, MES(Motion Etsimation Set)는 블록 매칭(Block Matching)을 위해 사용되는 화소의 위치를 지정하는 인덱스 j들의 집합으로 제 2 움직임 벡터를 구하려는 현재 블록 내의 화소들의 위치를 나타낸다. 통상적으로 MES는 현재 블록(또는 참조 블록) 내의 모든 화소를 나타내는 것으로 정의하나, 빠른 매칭 등 응용에 따라, 이 중 일부만의 화소 위치를 나타내는 것으로 제한할 수도 있다.
단, 소정의 제 2 추정 기준은 전술한 일 실시예와 같이 정의될 수도 있지만, 반드시 이에 한정되지 않고 본 발명을 적용할 응용 및 목적에 따라 다양한 방법으로 정의될 수 있다. 예를 들어, 영상 부호화 장치(300)의 복잡도를 감소시키기 위해 율 함수 R(□)를 생략하거나, 율 함수 R(□)에 사용되는 를 제 1 움직임 벡터 추정을 수행한 후에 출력되는 제 1 움직임 벡터가 아닌, 중간값과 같이 소정의 정해진 디폴트 값으로 사용할 수도 있다. 이 경우, 제 1 움직임 벡터 추정부(410)로부터 출력되는 제 1 움직임 벡터를 제 2 움직임 벡터 추정부(420)가 사용하지 않아도 되므로, 본 발명의 본질적인 특성을 벗어나지 않는 범위 내에서 제 1 움직임 벡터 추정부(410)와 제 2 움직임 벡터 추정부(420)의 순서를 변경하여 구현할 수 있다.
이 뿐만 아니라, 제 1 움직임 벡터 추정부(410)에서 사용하는 소정의 제 1 추정 기준과 제 2 움직임 벡터 추정부(420)에서 사용하는 소정의 제 2 추정 기준은, 각각 본 발명을 적용할 응용 및 목적에 따라, f enc (□)와 f dec (□)가 다양한 형태로 적용될 수 있다. 하지만, 전술한 바와 같이, f enc (□)와 f dec (□)가 얼마나 동일한 결과를 도출할 수 있는지의 정도가 본 발명의 성능에 영향을 주는 요소가 될 수 있다.
따라서, 정의된 f enc (□)와 f dec (□)가 동일한 결과를 도출할 수 있는 정도에 따라 더욱 효과적인 f dec (□)가 정의될 수 있다. 또한, 정의된 f enc (□)에 따라 f dec (□)가 동일한 결과를 도출할 수 있는 정도가 임의의 단위(예를 들어, 영상 부호화 및 복호화 방법에 있어서 픽처 단위, 슬라이스 단위)에 의해 변화하는 경우, 다양한 소정의 추정 기준 중에서 더욱 효과적인 f dec (□)를 예측적으로 또는 예상하여 사용할 수도 있다. 예를 들어, (n-1) 번째 픽처는 주변 화소 정합 방법이 f dec (□)와 동일한 결과를 도출할 수 있는 가장 효과적인 f enc (□)로 예상 또는 예측되었으나, n 번째 픽처는 경계 화소 정합 방법이 f enc (□)와 동일한 결과를 도출할 수 있는 가장 효과적인 f dec (□)로 예상 또는 예측될 수 있다. 이 경우, 영상 부호화 장치(300)는 영상 복호화 장치와 사전에 임의의 조건을 정의해 f dec (□)를 추정 기준으로 사용할 수 있으며, 영상 복호화 장치와 사전에 임의의 조건을 정의하지 않는 경우, 어떤 f dec (□)를 사용하였는지에 대한 정보 임의의 단위를 기준으로 영상 복호화 장치에 전달할 수도 있다.
한편, 도 4에서는 제 1 움직임 벡터 추정부(410)와 제 2 움직임 벡터 추정부(420)가 각각 독립적으로 구성되는 것으로 전술하였지만, 제 1 움직임 벡터 추정부(410)와 제 2 움직임 벡터 추정부(420)를 포함하는 움직임 벡터 추정부(미도시)로서 구현될 수도 있다.
움직임 정보 부호화부(430)는 제 1 움직임 벡터 추정부(410)로부터 출력되는 제 1 움직임 벡터와 제 2 움직임 벡터 추정부(420)로부터 출력되는 제 2 움직임 벡터를 이용하여 움직임 정보를 생성하고, 엔트로피 부호화 등의 미리 정의된 소정의 부호화 기법을 이용하여 부호화하여 저장 또는 출력한다.
여기서, 움직임 정보 부호화부(430)는 제 1 움직임 벡터와 제 2 움직임 벡터를 이용하여 생성한 움직임 정보를 부호화할 때, 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 다양한 방법을 이용할 수 있다. 일 예로서, 움직임 정보 부호화부(430)는, 수학식 7과 같이, 제 1 움직임 벡터와 제 2 움직임 벡터의 차이를 움직임 정보로서 생성하여 부호화화거나 제 2 움직임 벡터만을 움직임 정보로서 생성하여 부호화할 수도 있다.
수학식 7
Figure PCTKR2009005524-appb-M000007
다른 예로서, 움직임 정보 부호화부(430)는 일 예에서 전술한 바와 같이, 생성된 제 1 움직임 벡터와 제 2 움직임 벡터의 차이나 제 2 움직임 벡터를 부호화할 때, 엔트로피 부호화를 수행하되, 제 1 움직임 벡터를 기초로 서로 다른 가변 길이 부호화(VLC: Variable Length Coding) 테이블을 이용하여 부호화할 수 있다. 즉, 제 1 움직임 벡터를 분석하여 제 1 움직임 벡터의 특성(예를 들면, 크기, 방향 등)을 파악하고, 파악된 제 1 움직임 벡터의 특성으로 영상의 특성을 파악하여, 영상의 특성에 적합하게 움직임 벡터를 부호화할 수 있도록 고정된 가변 길이 부호화 테이블이 아닌 그 특성에 따라 다른 가변 길이 부호화 테이블을 이용하여 부호화할 수 있다. 이와 같이, 제 1 움직임 벡터를 기초로 서로 다른 가변 길이 부호화 테이블을 이용하여 부호화하는 것을 조건부 엔트로피 부호화라 한다.
조건부 엔트로피 부호화는 구체적으로 후술하는 예와 같이 구현될 수 있다. 예를 들어, 제 1 움직임 벡터의 여러 특성 중에 크기를 특성의 기준으로 설정하면, 제 1 움직임 벡터의 크기에 따라 복수 개의 가변 길이 부호화 테이블 중 서로 다른 가변 길이 테이블을 선택적으로 이용하여 움직임 정보를 부호화할 수 있다. 만약, 제 1 움직임 벡터의 크기를 구분할 수 있는 기준으로서 제 1 경계값 및 제 2 경계값을 미리 설정하였고, 이용할 수 있는 복수 개의 가변 길이 부호화 테이블이 제 1 가변 길이 부호화 테이블 내지 제 3 가변 길이 부호화 테이블이라 가정하면, 제 1 움직임 벡터의 크기의 절대값이 제 1 경계값 미만인 경우에는 제 1 가변 길이 부호화 테이블을 이용하여 움직임 정보를 부호화할 수 있고, 제 1 움직임 벡터의 크기의 절대값이 제 1 경계값 이상이고 제 2 경계값 미만인 경우에는 제 2 가변 길이 부호화 테이블을 이용하여 움직임 정보를 부호화할 수 있으며, 제 1 움직임 벡터의 크기의 절대값이 제 2 경계값 이상인 경우에는 제 3 가변 길이 부호화 테이블을 이용하여 움직임 정보를 부호화할 수 있다. 이때, 사용할 수 있는 복수 개의 가변 길이 부호화 테이블은 움직임 벡터의 크기에 따라 움직임 벡터를 효율적으로 부호화할 수 있는 코드를 나타낸 테이블이 될 수 있으며, 이러한 테이블은 도출되는 수학식으로서 결정되거나 경험적으로 결정될 수도 있다.
도 7은 본 발명의 일 실시예에 따른 움직임 벡터 부호화 방법을 설명하기 위한 순서도이다.
움직임 벡터 부호화 장치 즉, 도 3에 나타낸 움직임 벡터 부호화부(322)는 영상 복호화 장치와 기 정의된 제 1 추정 기준에 따라 현재 블록의 제 1 움직임 벡터를 추정한다(S710). 즉, 움직임 벡터 부호화부(322)는 제 1 움직임 벡터를 추정하기 위한 탐색 범위 내에 포함되어 있는 움직임 벡터들 중에서 영상 부호화 장치(300)와 영상 복호화 장치가 사전에 공유(또는 정의)하고 있는 소정의 제 1 추정 기준에 따라 영상 복호화 장치에서 추정할 수 있는 제 1 움직임 벡터를 추정할 수 있다.
또한, 움직임 벡터 부호화부(322)는 영상 복호화 장치와 기 정의되지 않은 제 2 추정 기준에 따라 현재 블록의 제 2 움직임 벡터를 추정한다(S720). 즉, 움직임 벡터 부호화부(322)는 제 2 움직임 벡터를 추정하기 위한 탐색 범위 내에 포함되어 있는 움직임 벡터들 중에서 소정의 제 2 추정 기준에 따라 영상 부호화 장치(300)에서만 추정할 수 있는 제 2 움직임 벡터를 추정할 수 있다.
또한, 움직임 벡터 부호화부(322)는 제 1 움직임 벡터와 제 2 움직임 벡터를 이용하여 현재 블록의 움직임 정보를 생성하고 부호화한다(S730). 즉, 움직임 벡터 부호화부(322)는 단계 S710에서 추정된 제 1 움직임 벡터와 단계 S720에서 추정된 제 2 움직임 벡터를 이용하여 움직임 정보를 생성하고 부호화하여 저장(또는 출력)할 수 있다. 여기서, 제 1 움직임 벡터와 제 2 움직임 벡터를 추정하고 움직임 정보를 생성하여 부호화하는 과정에 대해서는 도 4를 통해 전술한 바와 동일하므로 그에 대한 상세한 설명은 생략한다.
단, 도 7에서는 S710 단계, S720 단계의 순서로 수행하는 것으로 도시하고 설명했지만, 이는 본 발명의 일 실시예일 뿐, 본 발명의 본질적인 특성을 벗어나지 않는 범위 내에서 그 순서를 변경하여 구현할 수도 있다. 예를 들어, 도 7에서는 S710 단계 이후 S720 단계가 수행되는 것으로 도시되었으나, 본 발명을 적용할 응용 및 목적에 따라 S720 단계 이후 S710 단계가 수행될 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(300)는 부호화하고자 하는 영상이 입력되면 영상의 블록 모드를 결정하여 영상을 매크로블록 또는 매크로블록의 서브 블록 등 블록 단위로 구분하고 인터 예측 모드 또는 인트라 예측 모드 등의 다양한 부호화 모드 중 최적의 부호화 모드를 결정하여 결정된 부호화 모드에 따라 부호화하고자 하는 현재 블록을 예측하여 부호화한다.
이때, 부호화 모드로서 인터 예측 모드가 결정되어 인터 예측을 수행하는 경우, 영상 부호화 장치(300)는 현재 블록의 제 1 움직임 벡터와 제 2 움직임 벡터를 추정하고(S810), 추정된 제 1 움직임 벡터와 제 2 움직임 벡터를 이용하여 움직임 정보를 생성하고 부호화하며(S820), 움직임 정보를 이용하여 현재 블록의 움직임을 보상함으로써 현재 블록의 예측 블록을 생성한다(S830). 여기서, 단계 S810 및 단계 S820은 도 7을 통해 전술한 바와 같이, 수행될 수 있다.
또한, 영상 부호화 장치(300)는 현재 블록과 예측 블록을 감산하여 생성한 잔차 블록을 변환 및 양자화하고(S840), 양자화된 잔차 블록을 부호화하며(S850), 부호화된 잔차 블록과 부호화된 움직임 정보를 포함하는 부호화 데이터를 생성하여 출력한다(S860). 이때, 영상 부호화 장치(300)는 기 결정된 블록 모드를 추가로 포함하는 부호화 데이터를 생성할 수 있다. 여기서, 예측 블록을 이용하여 잔차 블록을 생성하고, 잔차 블록을 변환 및 양자화하고 부호화하는 과정에 대해서는 도 3을 통해 전술한 바와 동일하므로, 상세한 설명은 생략한다.
또한, 단계 S840에서는 잔차 블록을 변환하고 양자화하는 것으로 설명하였지만, 변환 및 양자화를 모두 수행하지 않거나 하나의 과정만을 선택적으로 수행할 수도 있으며, 이 경우, 단계 S850에서도 변환 및 양자화를 모두 수행되지 않거나 하나의 과정만을 선택적으로 수행된 잔차 블록을 부호화할 수도 있다.
이상에서 전술한 바와 같이, 영상 부호화 장치(300)에 의해 부호화 데이터로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 후술할 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
도 9는 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(900)는 정보 추출부(910), 제 1 복호화부(920), 제 2 복호화부(930), 예측부(940), 가산부(950) 및 참조 픽처 저장부(960)를 포함하여 구성될 수 있다. 이러한 영상 복호화 장치(900)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
정보 추출부(910)는 부호화 데이터를 입력받아 블록 모드에 대한 정보(예를 들면, 식별자)를 추출하고 추출된 블록 모드에 대한 정보를 출력한다. 또한, 정보 추출부(910)는 블록 모드가 움직임 벡터 생략 모드인 경우(예를 들면, 블록 모드가 인트라 16x16 모드, 인트라 4x4 모드 등인 경우), 부호화 데이터로부터 움직임 정보를 추출하지 않고 부호화된 잔차 블록을 추출하여 출력할 수 있다. 반면, 블록 모드가 움직임 벡터 생략 모드가 아닌 경우(예를 들면, 블록 모드가 인터 16x16 모드, 인터 4x4 모드, P8x8 모드 등인 경우), 정보 추출부(910)는 부호화 데이터로부터 부호화된 움직임 정보와 부호화된 잔차 블록을 추출하여 출력한다. 이때, 정보 추출부(910)는 부호화 데이터로부터 참조 픽처에 대한 인덱스 정보를 추가로 추출하여 출력할 수 있다.
제 1 복호화부(920)는 정보 추출부(910)로부터 출력되는 부호화된 잔차 블록을 복호화한다. 즉, 제 1 복호화부(920)는 엔트로피 부호화 기법 등을 이용하여 부호화된 잔차 블록의 이진 데이터를 복호화하여 양자화 주파수 계수열을 생성하고 역 지그재그 스캔 등 다양한 스캔 방식에 의해 역 스캔하여 양자화 주파수 계수열을 갖는 잔차 블록을 생성한다. 만약, 부호화된 잔차 블록의 이진 데이터가 주파수 계수가 부호화된 이진 데이터라면, 제 1 복호화부(920)에 의해 복호화된 잔차 블록은 주파수 계수를 갖는 잔차 블록이 될 것이고, 부호화된 잔차 블록의 이진 데이터가 변환되지 않고 양자화되지 않은 잔차 신호가 부호화된 이진 데이터라면, 제 1 복호화부(920)에 의해 복호화된 잔차 블록은 잔차 신호를 갖는 잔차 블록이 될 것이다. 한편, 구성에 따라 제 1 복호화부(920)의 기능으로 설명된 엔트로피 부호화 기법 등을 이용하여 부호화된 잔차 블록의 이진 데이터를 복호화하는 엔트로피 복호화 과정은 정보 추출부(910)에 구현될 수도 있다.
제 2 복호화부(930)는 제 1 복호화부(920)에 의해 복호화된 잔차 블록을 역 양자화하고 역 변환하여 잔차 블록을 복원한다. 즉, 제 2 복호화부(930)는 제 1 복호화부(920)로부터 출력되는 복호화된 잔차 블록의 양자화 주파수 계수를 역 양자화하고 역 양자화된 주파수 계수를 역 변환하여 잔차 신호를 갖는 잔차 블록을 복원한다. 만약, 제 2 복호화부(930)는 제 1 복호화부(920)에 의해 복호화된 잔차 블록이 양자화 주파수 계수를 갖는다면, 역 양자화와 역 변환을 모두 수행하지만, 제 1 복호화부(920)에 의해 복호화된 잔차 블록이 주파수 계수를 갖는다면, 역 양자화는 수행하지 않고 역 변환만을 수행할 수 있으며, 제 1 복호화부(920)에 의해 복호화된 잔차 블록이 잔차 신호만을 갖는다면, 역 양자화와 역 변환을 모두 수행하지 않거나, 영상 복호화 장치(900)에서 제 2 복호화부(930)는 구성되지 않고 생략될 수도 있을 것이다. 한편, 도 9에서는 제 1 복호화부(920)와 제 2 복호화부(930)가 독립적으로 구성되는 것으로 도시하고 설명했지만, 각 기능을 통합한 하나의 복호화부(미도시)로 구성될 수도 있을 것이다.
예측부(940)는 현재 블록을 예측하여 예측 블록을 생성한다. 이러한 예측부(940)는 움직임 벡터 복호화부(942) 및 움직임 보상부(944)를 포함하여 구성될 수 있다. 움직임 벡터 복호화부(942)는 참조 픽처 저장부(960)에 저장된 참조 픽처에서 정보 추출부(910)로부터 출력되는 블록 모드에 대한 정보에 따른 블록 모드에 대응하는 블록 단위로 제 1 움직임 벡터를 추정하고, 정보 추출부(910)로부터 출력되는 부호화된 움직임 정보를 복호화하여 움직임 정보를 복원하며, 복원된 움직임 정보와 추정된 제 1 움직임 벡터를 이용하여 현재 블록의 움직임 벡터인 제 2 움직임 벡터를 복원한다. 이와 같이, 복원된 제 2 움직임 벡터가 현재 블록의 움직임 벡터가 된다. 움직임 보상부(944)는 참조 픽처 저장부(960)에 저장된 참조 픽처에서 복원된 제 2 움직임 벡터 즉, 현재 블록의 움직임 벡터에 의해 지시되는 참조 블록을 현재 블록의 예측 블록으로서 예측하여 예측 블록을 생성한다. 여기서, 움직임 벡터 복호화부(942)는 참조 픽처를 이용하는 데 있어서, 정보 추출부(910)로부터 참조 픽처에 대한 인덱스 정보가 출력되면, 참조 픽처 저장부(960)에 저장된 많은 참조 픽처 중에서 참조 픽처에 대한 인덱스 정보에 의해 식별되는 참조 픽처를 이용할 수 있다.
가산부(950)는 제 2 복호화부(930)로부터 출력되는 복원된 잔차 블록을 예측부(940)에서 예측되어 출력되는 예측 블록과 가산하여 현재 블록을 복원한다. 이와 같이 복원된 현재 블록은 픽처 단위로 누적되어 복원 영상으로서 출력되거나 참조 픽처로서 참조 픽처 저장부(960)에 저장되며, 다음 블록을 예측하는 데 활용될 수 있다.
도 9에서는 도시하지 않았지만, 전술한 본 발명의 일 실시예에 따른 영상 복호화 장치(900)는 H.264/AVC 표준에 기초하여, 인트라 예측을 위한 인트라 예측부, 복원된 현재 블록을 디블로킹 필터링(Deblocking Filtering)하는 디블록킹 필터부 등을 추가로 포함할 수 있다. 또한, 제 2 복호화부(930)는 H.264/AVC 표준에 기초하여, 특정 픽처(예를 들어, 인트라 픽춰)에 대한 역 변환 및 역 양자화 연산을 추가로 수행할 수도 있다.
도 10은 본 발명의 일 실시예에 따른 움직임 벡터 복호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 움직임 벡터 복호화 장치는 도 9를 통해 전술한 본 발명의 일 실시예에 따른 영상 복호화 장치(900)에서는 움직임 벡터 복호화부(942)로 구현될 수 있으므로, 이하에서는 설명의 편의를 위해, 움직임 벡터 복호화부(942)라 칭한다.
본 발명의 일 실시예에 따른 움직임 벡터 복호화부(942)는 움직임 벡터 추정부(1010), 움직임 정보 복호화부(1020) 및 움직임 벡터 복원부(1030)를 포함하여 구성된다.
움직임 벡터 추정부(1010)는 제 1 움직임 벡터를 추정하기 위한 탐색 범위 내에 포함되어 있는 움직임 벡터 중에서 영상 부호화 장치(300)와 영상 복호화 장치(900)가 사전에 공유(또는 정의)하고 있는 소정의 제 1 추정 기준에 따라 제 1 움직임 벡터를 추정한다. 여기서, 소정의 제 1 추정 기준은, 영상 부호화 장치(300)와 영상 복호화 장치(900)가 사전에 공유(또는 정의)하고 있다는 전제 하에서, 도 4 내지 도 6을 통해 전술한 인접 화소 정합 방법, 중간값 계산 방법, 경계 화소 정합 방법 등 다양한 방법으로 정의될 수 있다.
움직임 정보 복호화부(1020)는 엔트로피 부호화, 조건부 엔트로피 부호화 등 다양한 부호화 기법을 이용하여 정보 추출부(910)로부터 출력되는 부호화된 움직임 정보를 복호화함으로써 움직임 정보를 복원한다. 여기서, 조건부 엔트로피 부호화는 도 4를 통해 전술한 조건부 엔트로피 부호화와 동일하며, 복호화할 때에는 제 1 움직임 벡터를 기초로 서로 다른 가변 길이 부호화 테이블을 이용하여 복호화하므로, 이에 대한 상세한 설명은 생략한다. 한편, 움직임 정보 복호화부(1020)는 전술한 바와 같이 독립적으로 구현되어 전술한 기능을 수행할 수도 있지만, 구현 방식 또는 필요에 따라 선택적으로 생략될 수 있으며 이 경우 그 기능은 정보 추출부(910)에 통합되어 구현될 수 있다.
움직임 벡터 복원부(1030)는 움직임 벡터 추정부(1010)로부터 출력되는 제 1 움직임 벡터와 움직임 정보 복호화부(1020)로부터 출력되는 움직임 정보를 이용하여 제 2 움직임 벡터를 복원한다. 예를 들어, 움직임 벡터 복원부(1030)는 수학식 8에 제 1 움직임 벡터와 움직임 정보를 대입하여 제 2 움직임 벡터를 복원하거나 복원된 움직임 정보만을 제 2 움직임 벡터로서 복원할 수 있는데, 반드시 이에 한정되는 것이 아니라, 영상 부호화 장치(300)와 영상 복호화 장치(900)가 사전에 공유(또는 정의)한다는 전제 하에서 본 발명의 본질적인 특성을 벗어나지 않는 범위 내에서 다양한 방법으로 제 2 움직임 벡터를 복원할 수 있을 것이다. 이와 같이, 복원된 제 2 움직임 벡터가 현재 블록의 움직임 벡터가 된다.
수학식 8
Figure PCTKR2009005524-appb-M000008
도 11은 본 발명의 일 실시예에 따른 움직임 벡터 복호화 방법을 설명하기 위한 순서도이다.
본 발명의 일 실시예에 따른 움직임 벡터 복호화 장치 즉, 움직임 벡터 복호화부(942)는 제 1 움직임 벡터를 추정하기 위한 탐색 범위 내에 포함된 움직임 벡터 중에서 영상 부호화 장치(300)와 영상 복호화 장치(900)가 사전에 공유 또는 정의하고 있는 소정의 제 1 추정 기준에 따라 제 1 움직임 벡터를 추정하고(S1110), 정보 추출부(910)로부터 출력되는 부호화된 움직임 정보를 복호화하여 움직임 정보를 복원하며(S1120), 복원된 움직임 정보와 추정된 제 1 움직임 벡터를 이용하여 제 2 움직임 벡터 즉, 현재 블록의 움직임 벡터를 복원한다(S1130).
도 12는 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
유무선 통신망 또는 케이블 등을 통해 영상에 대한 비트스트림 또는 부호화 데이터를 수신하여 저장한 영상 복호화 장치(900)는 사용자의 선택 또는 실행 중인 다른 프로그램의 알고리즘에 따라 영상을 재생하기 위해, 영상을 복호화하여 복원한다.
이를 위해, 영상 복호화 장치(900)는 부호화 데이터로부터 부호화된 잔차 블록과 부호화된 움직임 정보를 추출하고(S1210), 부호화된 잔차 블록을 복호화하여 잔차 블록을 복원한다(S1220). 또한, 영상 복호화 장치(900)는 영상 부호화 장치(300)와 기 정의된 제 1 추정 기준에 따라 현재 블록의 제 1 움직임 벡터를 추정하고(S1230), 부호화된 움직임 정보를 복호화하여 움직임 정보를 복원하며(S1240), 복원된 움직임 정보와 추정된 제 1 움직임 벡터를 이용하여 제 2 움직임 벡터를 복원한다(S1250). 여기서, 복원된 제 2 움직임 벡터가 현재 블록의 움직임 벡터가 된다.
영상 복호화 장치(900)는 복원된 제 2 움직임 벡터를 이용하여 참조 픽처에서 현재 블록의 움직임을 보상함으로써 현재 블록의 예측 블록을 생성하고(S1260), 복원된 잔차 블록과 예측 블록을 가산하여 현재 블록을 복원한다(S1270). 복원된 현재 블록은 픽처 단위로 누적되어 저장되어 복원 영상으로 출력되거나 참조 픽처로서 저장된다.
이상에서는 본 발명의 일 실시예를 통해, 영상 부호화 장치(300) 또는 움직임 벡터 부호화 장치가 영상 복호화 장치(900)와 사전에 공유 또는 정의된 제 1 추정 기준에 따라 제 1 움직임 벡터를 추정하고, 영상 부호화 장치(300)만이 추정할 수 있는 즉, 영상 부호화 장치(300)가 영상 복호화 장치(900)와 사전에 공유 또는 정의되지 않은 제 2 추정 기준에 따라 제 2 움직임 벡터를 추정하여(이때, 추정되는 제 2 움직임 벡터가 현재 블록의 최적의 움직임 벡터가 될 수 있으며, 현재 블록의 움직임 벡터가 될 수 있다.), 제 1 움직임 벡터와 제 2 움직임 벡터를 이용하여 움직임 정보를 생성하고 부호화하는 것으로 설명했다. 또한, 영상 복호화 장치(900) 또는 움직임 벡터 복호화 장치가 영상 부호화 장치(300)와 사전에 공유 또는 정의된 제 1 추정 기준에 따라 제 1 움직임 벡터를 추정하고 부호화된 움직임 정보를 복호화하여 복원된 움직임 정보와 제 1 움직임 벡터를 이용하여 제 2 움직임 벡터를 현재 블록의 움직임 벡터로서 복원하는 것으로 설명했다.
하지만, 이러한 본 발명의 일 실시예는 후술하는 다른 실시예와 같이 일반화될 수 있는데, 본 발명의 다른 실시예는 움직임 벡터를 부호화하는 데 있어서, 일 실시예와 같이, 제 1 움직임 벡터와 제 2 움직임 벡터인 두 개의 움직임 벡터만을 추정하여 그를 이용한 움직임 정보를 부호화하는 것이 아니라, 복수 개의 움직임 벡터를 예측하되 제 1 움직임 벡터는 하나 이상 복수 개로 추정하고 제 2 움직임 벡터는 최적의 움직임 벡터 하나만을 추정하여 움직임 정보를 부호화하는 것이다. 물론, 움직임 벡터를 복호화할 때도 마찬가지로 제 1 움직임 벡터를 하나 이상 복수 개로 추정하고 복원된 움직임 정보와 예측된 하나 이상의 움직임 벡터를 이용하여 하나의 움직임 벡터인 현재 블록의 움직임 벡터를 복원한다.
즉, 본 발명의 다른 실시예에 따른 움직임 벡터 부호화 장치는 움직임 벡터를 부호화하는 장치로서, 복수 개의 움직임 벡터를 추정하되, 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 추정하고, 복수 개의 움직임 벡터 중 나머지 움직임 벡터를 영상 복호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 추정하는 움직임 벡터 추정부 및 복수 개의 움직임 벡터를 이용하여 생성한 움직임 정보를 부호화하는 움직임 벡터 부호화부를 포함하여 구성될 수 있다.
여기서, 움직임 벡터 추정부는 인접 화소 정합 방법, 중간값 계산 방법 및 경계 화소 정합 방법 중 하나 이상을 하나 이상의 추정 기준으로서 이용하여 나머지 움직임 벡터를 추정할 수 있으며, 율-왜곡 최적화 방법을 이용하여 하나의 움직임 벡터를 추정할 수 있다.
또한, 움직임 정보 부호화부는 하나의 움직임 벡터와 나머지 움직임 벡터의 차이를 움직임 정보로서 생성할 수 있고, 나머지 움직임 벡터를 기초로 서로 다른 가변 길이 부호화 테이블을 이용하여 움직임 정보를 부호화할 수 있다. 일 예로서, 움직임 정보 부호화부는 나머지 움직임 벡터의 크기의 절대값이 기 설정된 제 1 경계값 미만인 경우에는 제 1 가변 길이 부호화 테이블을 이용하고, 나머지 움직임 벡터의 크기의 절대값이 제 1 경계값 이상이고 기 설정된 제 2 경계값 미만인 경우에는 제 2 가변 길이 부호화 테이블을 이용하며, 나머지 움직임 벡터의 크기의 절대값이 제 2 경계값 이상인 경우에는 제 3 가변 길이 부호화 테이블을 이용할 수 있다.
본 발명의 다른 실시예에 따른 움직임 벡터 부호화 방법은 복수 개의 움직임 벡터를 예측하되, 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 추정하고, 복수 개의 움직임 벡터 중 나머지 움직임 벡터를 영상 복호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 추정하는 움직임 벡터 추정 단계 및 복수 개의 움직임 벡터를 이용하여 생성한 움직임 정보를 부호화하는 움직임 정보 부호화 단계를 포함하여 수행될 수 있다.
본 발명의 다른 실시예에 따른 영상 부호화 장치는 복수 개의 움직임 벡터를 추정하여 생성한 움직임 정보를 부호화하며, 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 이용하여 현재 블록의 예측 블록을 생성하는 예측부, 현재 블록과 예측 블록을 감산하여 잔차 블록을 생성하는 감산부, 잔차 블록을 부호화하는 부호화부, 부호화된 움직임 정보 및 부호화된 잔차 블록을 포함하는 부호화 데이터를 생성하여 출력하는 부호화 데이터 생성부를 포함하여 구성될 수 있다.
여기서, 예측부는 영상 복호화 장치와 기 정의하지 않은 추정 기준에 따라 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 추정하고, 영상 복호화 장치와 기 정의한 추정 기준에 따라 복수 개의 움직임 벡터 중 나머지 움직임 벡터를 추정할 수 있다. 복수 개의 움직임 벡터 중 하나의 움직임 벡터는 영상 복호화 장치에서 추정할 수 없는 움직임 벡터일 수 있으며, 나머지 움직임 벡터는 영상 복호화 장치에서 추정할 수 있는 움직임 벡터일 수 있다.
본 발명의 다른 실시예에 따른 영상 부호화 방법은 복수 개의 움직임 벡터를 추정하여 생성한 움직임 정보를 부호화하며, 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 이용하여 현재 블록의 예측 블록을 생성하는 예측 단계; 현재 블록과 예측 블록을 감산하여 잔차 블록을 생성하는 감산 단계; 잔차 블록을 부호화하는 부호화 단계 및 부호화된 움직임 정보 및 부호화된 잔차 블록을 포함하는 부호화 데이터를 생성하여 출력하는 부호화 데이터 생성 단계를 포함하여 수행될 수 있다.
본 발명의 다른 실시예에 따른 움직임 벡터 복호화 장치는 영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하는 움직임 벡터 추정부, 부호화된 움직임 정보를 복호화하여 복원하는 움직임 정보 복원부 및 복원된 움직임 정보와 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하는 움직임 벡터 복원부를 포함하여 구성될 수 있다.
여기서, 움직임 벡터 추정부는 하나 이상의 추정 기준으로서, 인접 화소 정합 방법, 중간값 계산 방법 및 경계 화소 정합 방법 중 하나 이상을 이용할 수 있다. 움직임 정보 복원부는 하나 이상의 움직임 벡터를 기초로 서로 다른 가변 길이 부호화 테이블을 이용하여 움직임 정보를 복호화할 수 있으며, 하나 이상의 움직임 벡터의 크기의 절대값이 기 설정된 제 1 경계값 미만인 경우에는 제 1 가변 길이 부호화 테이블을 이용하고, 하나 이상의 움직임 벡터의 크기의 절대값이 제 1 경계값 이상이고 기 설정된 제 2 경계값 미만인 경우에는 제 2 가변 길이 부호화 테이블을 이용하며, 하나 이상의 움직임 벡터의 크기의 절대값이 제 2 경계값 이상인 경우에는 제 3 가변 길이 부호화 테이블을 이용할 수 있다. 움직임 벡터 복원부는 복원된 움직임 정보와 추정된 하나 이상의 움직임 벡터의 합을 현재 블록의 움직임 벡터로서 복원할 수 있다.
본 발명의 다른 실시예에 따른 움직임 벡터 복호화 방법은, 영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하는 움직임 벡터 추정 단계, 부호화된 움직임 정보를 복호화하여 복원하는 움직임 정보 복원 단계 및 복원된 움직임 정보와 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하는 움직임 벡터 복원 단계를 포함하여 수행될 수 있다.
본 발명의 다른 실시예에 따른 영상 복호화 장치는 부호화 데이터로부터 부호화된 잔차 블록 및 부호화된 움직임 정보를 추출하는 정보 추출부, 부호화된 잔차 블록을 복호화하여 복원하는 복호화부, 영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하고 부호화된 움직임 정보를 복호화하여 복원하며, 복원된 움직임 정보와 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하고 복원된 현재 블록의 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성하는 예측부 및 복원된 잔차 블록과 예측 블록을 가산하여 현재 블록을 복원하는 가산부를 포함하여 구성될 수 있다.
본 발명의 다른 실시예에 따른 영상 복호화 방법은 부호화 데이터로부터 부호화된 잔차 블록 및 부호화된 움직임 정보를 추출하는 정보 추출 단계, 부호화된 잔차 블록을 복호화하여 복원하는 복호화 단계, 영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하고 부호화된 움직임 정보를 복호화하여 복원하며, 복원된 움직임 정보와 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하고 복원된 현재 블록의 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성하는 예측 단계 및 복원된 잔차 블록과 예측 블록을 가산하여 현재 블록을 복원하는 가산 단계를 포함하여 수행될 수 있다.
이상에서 전술한 바와 같이, 본 발명의 실시예에 따르면, 영상 부호화 장치와 영상 복호화 장치에서 모두 추정할 수 있는 하나 이상의 움직임 벡터를 기초로 영상 부호화 장치(300)에서만 추정할 수 있는 최적의 움직임 벡터인 현재 블록의 움직임 벡터를 부호화할 수 있으므로, 더욱 정확한 추정값을 사용하여 움직임 벡터를 부호화할 수 있으면서도 어떤 움직임 벡터가 사용되었는지에 대한 정보를 추가로 부호화할 필요가 없으므로, 움직임 벡터를 부호화하기 위한 비트량을 감소시킬 수 있으며, 그에 따라 압축 효율을 향상시킬 수 있다.
또한, 본 발명의 실시예에 따르면, 영상 부호화 장치와 영상 복호화 장치가 모두 하나 이상의 움직임 벡터를 추정할 수 있는 소정의 추정 기준을 공유 또는 정의함으로써, 하나 이상의 움직임 벡터를 추정하기 위한 정보를 추가로 부호화할 필요가 없으므로, 움직임 벡터를 부호화하기 위한 비트량을 감소시킬 수 있으며, 그에 따라 압축 효율을 향상시킬 수 있다.
또한, 본 발명의 실시예에 따르면, 영상 복호화 장치가 스스로 추정할 수 있는 하나 이상의 움직임 벡터(예를 들면, 일 실시예에서는 제 1 움직임 벡터)를 기초로 영상의 특성을 파악하고, 파악된 영상의 특성을 고려할 때 가장 효율적으로 움직임 벡터를 부호화할 수 있는 가변 길이 부호화 테이블을 선택적으로 사용하여 움직임 벡터 또는 움직임 정보를 부호화함으로써, 다양한 영상 특성에 적응적으로 대응할 수 있다. 반면, 기존의 움직임 벡터를 부호화하는 방법에서는 영상의 특성을 고려하지 않고 정해진 움직임 벡터와 예측 벡터와의 차분값을 미리 정해진 고정된 가변 길이 부호화 테이블을 이용하여 부호화하기 때문에, 다양한 영상 특성에 적응적으로 대응할 수 없다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 영상을 부호화하거나 복호화하는 방법 및 장치 분야에 적용되어, 더욱 정확한 움직임 벡터를 사용하여 추정하면서도 움직임 벡터를 부호화하기 위한 비트량을 줄일 수 있어, 압축 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2008년 9월 30일 한국에 출원한 특허출원번호 제 10-2008-0095871 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (20)

  1. 움직임 벡터를 부호화하는 장치에 있어서,
    복수 개의 움직임 벡터를 추정하되, 상기 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 추정하고, 상기 복수 개의 움직임 벡터 중 나머지 움직임 벡터를 영상 복호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 추정하는 움직임 벡터 추정부; 및
    상기 복수 개의 움직임 벡터를 이용하여 생성한 움직임 정보를 부호화하는 움직임 벡터 부호화부
    를 포함하는 것을 특징으로 하는 움직임 벡터 부호화 장치.
  2. 제 1 항에 있어서, 상기 움직임 벡터 추정부는,
    인접 화소 정합 방법, 중간값 계산 방법 및 경계 화소 정합 방법 중 하나 이상을 상기 하나 이상의 추정 기준으로서 이용하는 것을 특징으로 하는 움직임 벡터 부호화 장치.
  3. 제 1 항에 있어서, 상기 움직임 벡터 추정부는,
    율-왜곡 최적화 방법을 이용하여 상기 하나의 움직임 벡터를 추정하는 것을 특징으로 하는 움직임 벡터 부호화 장치.
  4. 제 1 항에 있어서, 상기 움직임 정보 부호화부는,
    상기 하나의 움직임 벡터와 상기 나머지 움직임 벡터의 차이를 상기 움직임 정보로서 생성하는 것을 특징으로 하는 움직임 벡터 부호화 장치.
  5. 제 1 항에 있어서, 상기 움직임 정보 부호화부는,
    상기 나머지 움직임 벡터를 기초로 다른 가변 길이 부호화 테이블을 이용하여 상기 움직임 정보를 부호화하는 것을 특징으로 하는 움직임 벡터 부호화 장치.
  6. 제 5 항에 있어서, 상기 움직임 정보 부호화부는,
    상기 나머지 움직임 벡터의 크기의 절대값이 기 설정된 제 1 경계값 미만인 경우에는 제 1 가변 길이 부호화 테이블을 이용하고, 상기 나머지 움직임 벡터의 크기의 절대값이 상기 제 1 경계값 이상이고 기 설정된 제 2 경계값 미만인 경우에는 제 2 가변 길이 부호화 테이블을 이용하며, 상기 나머지 움직임 벡터의 크기의 절대값이 상기 제 2 경계값 이상인 경우에는 제 3 가변 길이 부호화 테이블을 이용하는 것을 특징으로 하는 움직임 벡터 부호화 장치.
  7. 움직임 벡터를 부호화하는 방법에 있어서,
    복수 개의 움직임 벡터를 추정하되, 상기 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 추정하고, 상기 복수 개의 움직임 벡터 중 나머지 움직임 벡터를 영상 복호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 추정하는 움직임 벡터 추정 단계; 및
    상기 복수 개의 움직임 벡터를 이용하여 생성한 움직임 정보를 부호화하는 움직임 정보 부호화 단계
    를 포함하는 움직임 벡터 부호화 방법.
  8. 영상을 부호화하는 장치에 있어서,
    복수 개의 움직임 벡터를 추정하여 생성한 움직임 정보를 부호화하며, 상기 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 이용하여 상기 현재 블록의 예측 블록을 생성하는 예측부;
    상기 현재 블록과 상기 예측 블록을 감산하여 잔차 블록을 생성하는 감산부;
    상기 잔차 블록을 부호화하는 부호화부; 및
    상기 부호화된 움직임 정보 및 상기 부호화된 잔차 블록을 포함하는 부호화 데이터를 생성하여 출력하는 부호화 데이터 생성부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  9. 제 8 항에 있어서, 상기 예측부는,
    영상 복호화 장치와 기 정의하지 않은 추정 기준에 따라 상기 복수 개의 움직임 벡터 중 상기 하나의 움직임 벡터를 추정하고, 상기 영상 복호화 장치와 기 정의한 추정 기준에 따라 상기 복수 개의 움직임 벡터 중 나머지 움직임 벡터를 추정하는 것을 특징으로 하는 영상 부호화 장치
  10. 제 8 항에 있어서,
    상기 복수 개의 움직임 벡터 중 상기 하나의 움직임 벡터는 영상 복호화 장치에서 추정할 수 없는 움직임 벡터인 것을 특징으로 하는 영상 부호화 장치.
  11. 제 8 항에 있어서,
    상기 복수 개의 움직임 벡터 중 나머지 움직임 벡터는 영상 복호화 장치에서 추정할 수 있는 움직임 벡터인 것을 특징으로 하는 영상 부호화 장치.
  12. 영상을 부호화하는 방법에 있어서,
    복수 개의 움직임 벡터를 추정하여 생성한 움직임 정보를 부호화하며, 상기 복수 개의 움직임 벡터 중 하나의 움직임 벡터를 현재 블록의 움직임 벡터로서 이용하여 상기 현재 블록의 예측 블록을 생성하는 예측 단계;
    상기 현재 블록과 상기 예측 블록을 감산하여 잔차 블록을 생성하는 감산 단계;
    상기 잔차 블록을 부호화하는 부호화 단계; 및
    상기 부호화된 움직임 정보 및 상기 부호화된 잔차 블록을 포함하는 부호화 데이터를 생성하여 출력하는 부호화 데이터 생성 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  13. 움직임 벡터를 복호화하는 장치에 있어서,
    영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하는 움직임 벡터 추정부;
    부호화된 움직임 정보를 복호화하여 복원하는 움직임 정보 복원부; 및
    상기 복원된 움직임 정보와 상기 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하는 움직임 벡터 복원부
    를 포함하는 것을 특징으로 하는 움직임 벡터 복호화 장치.
  14. 제 13 항에 있어서, 상기 움직임 벡터 추정부는,
    상기 하나 이상의 추정 기준으로서, 인접 화소 정합 방법, 중간값 계산 방법 및 경계 화소 정합 방법 중 하나 이상을 이용하는 것을 특징으로 하는 움직임 벡터 복호화 장치.
  15. 제 13 항에 있어서, 상기 움직임 정보 복원부는,
    상기 하나 이상의 움직임 벡터를 기초로 서로 다른 가변 길이 부호화 테이블을 이용하여 상기 움직임 정보를 복호화하는 것을 특징으로 하는 움직임 벡터 복호화 장치.
  16. 제 15 항에 있어서, 상기 움직임 정보 복원부는,
    상기 하나 이상의 움직임 벡터의 크기의 절대값이기 설정된 제 1 경계값 미만인 경우에는 제 1 가변 길이 부호화 테이블을 이용하고, 상기 하나 이상의 움직임 벡터의 크기의 절대값이 상기 제 1 경계값 이상이고 기 설정된 제 2 경계값 미만인 경우에는 제 2 가변 길이 부호화 테이블을 이용하며, 상기 하나 이상의 움직임 벡터의 크기의 절대값이 상기 제 2 경계값 이상인 경우에는 제 3 가변 길이 부호화 테이블을 이용하는 것을 특징으로 하는 움직임 벡터 복호화 장치.
  17. 제 13 항에 있어서, 상기 움직임 벡터 복원부는,
    상기 복원된 움직임 정보와 상기 추정된 하나 이상의 움직임 벡터의 합을 상기 현재 블록의 움직임 벡터로서 복원하는 것을 특징으로 하는 움직임 벡터 복호화 장치.
  18. 움직임 벡터를 복호화하는 방법에 있어서,
    영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하는 움직임 벡터 추정 단계;
    부호화된 움직임 정보를 복호화하여 복원하는 움직임 정보 복원 단계; 및
    상기 복원된 움직임 정보와 상기 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하는 움직임 벡터 복원 단계
    를 포함하는 것을 특징으로 하는 움직임 벡터 복호화 방법.
  19. 영상을 복호화하는 장치에 있어서,
    부호화 데이터로부터 부호화된 잔차 블록 및 부호화된 움직임 정보를 추출하는 정보 추출부;
    상기 부호화된 잔차 블록을 복호화하여 복원하는 복호화부;
    영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하고 상기 부호화된 움직임 정보를 복호화하여 복원하며, 상기 복원된 움직임 정보와 상기 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하고 상기 복원된 현재 블록의 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성하는 예측부; 및
    상기 복원된 잔차 블록과 상기 예측 블록을 가산하여 현재 블록을 복원하는 가산부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  20. 영상을 복호화하는 방법에 있어서,
    부호화 데이터로부터 부호화된 잔차 블록 및 부호화된 움직임 정보를 추출하는 정보 추출 단계;
    상기 부호화된 잔차 블록을 복호화하여 복원하는 복호화 단계;
    영상 부호화 장치와 기 정의된 하나 이상의 추정 기준에 따라 하나 이상의 움직임 벡터를 추정하고 상기 부호화된 움직임 정보를 복호화하여 복원하며, 상기 복원된 움직임 정보와 상기 추정된 하나 이상의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 복원하고 상기 복원된 현재 블록의 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성하는 예측 단계; 및
    상기 복원된 잔차 블록과 상기 예측 블록을 가산하여 현재 블록을 복원하는 가산 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
PCT/KR2009/005524 2008-09-30 2009-09-28 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 WO2010038961A2 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US13/121,895 US8811487B2 (en) 2008-09-30 2009-09-28 Method and apparatus for inter prediction decoding with selective use of inverse quantization and inverse transform
US14/302,738 US9137532B2 (en) 2008-09-30 2014-06-12 Method and an apparatus for inter prediction decoding with selective use of inverse quantization and inverse transform
US14/693,787 US9264732B2 (en) 2008-09-30 2015-04-22 Method and an apparatus for decoding a video
US14/693,778 US9326002B2 (en) 2008-09-30 2015-04-22 Method and an apparatus for decoding a video
US14/693,761 US9264731B2 (en) 2008-09-30 2015-04-22 Method and an apparatus for decoding a video

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080095871A KR101377660B1 (ko) 2008-09-30 2008-09-30 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR10-2008-0095871 2008-09-30

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/121,895 A-371-Of-International US8811487B2 (en) 2008-09-30 2009-09-28 Method and apparatus for inter prediction decoding with selective use of inverse quantization and inverse transform
US14/302,738 Continuation US9137532B2 (en) 2008-09-30 2014-06-12 Method and an apparatus for inter prediction decoding with selective use of inverse quantization and inverse transform

Publications (2)

Publication Number Publication Date
WO2010038961A2 true WO2010038961A2 (ko) 2010-04-08
WO2010038961A3 WO2010038961A3 (ko) 2010-06-24

Family

ID=42073994

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/005524 WO2010038961A2 (ko) 2008-09-30 2009-09-28 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (5) US8811487B2 (ko)
KR (1) KR101377660B1 (ko)
WO (1) WO2010038961A2 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040041865A (ko) * 2002-11-12 2004-05-20 김경화 감기치료용 생약 조성물
KR101441903B1 (ko) * 2008-10-16 2014-09-24 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101950419B1 (ko) 2010-11-24 2019-02-21 벨로스 미디어 인터내셔널 리미티드 움직임 벡터 산출 방법, 화상 부호화 방법, 화상 복호 방법, 움직임 벡터 산출 장치 및 화상 부호화 복호 장치
KR101226497B1 (ko) * 2010-12-28 2013-01-25 연세대학교 산학협력단 움직임 벡터 부호화 방법 및 장치
CN106851306B (zh) 2011-01-12 2020-08-04 太阳专利托管公司 动态图像解码方法和动态图像解码装置
MX2013009864A (es) 2011-03-03 2013-10-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, aparato de decodificacion de imagenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento.
US9338458B2 (en) * 2011-08-24 2016-05-10 Mediatek Inc. Video decoding apparatus and method for selectively bypassing processing of residual values and/or buffering of processed residual values
GB2561487B (en) * 2011-10-18 2019-01-02 Kt Corp Method for encoding image, method for decoding image, image encoder, and image decoder
KR101542586B1 (ko) 2011-10-19 2015-08-06 주식회사 케이티 영상 부호화/복호화 방법 및 그 장치
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
JP6168365B2 (ja) * 2012-06-12 2017-07-26 サン パテント トラスト 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
TWI627857B (zh) 2012-06-29 2018-06-21 Sony Corp Image processing device and method
KR101527153B1 (ko) * 2014-09-03 2015-06-10 에스케이텔레콤 주식회사 움직임정보 병합을 이용한 부호움직임정보생성/움직임정보복원 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR102365685B1 (ko) 2015-01-05 2022-02-21 삼성전자주식회사 인코더의 작동 방법과 상기 인코더를 포함하는 장치들
US11153600B2 (en) * 2016-02-08 2021-10-19 Sharp Kabushiki Kaisha Motion vector generation device, prediction image generation device, video decoding device, and video coding device
WO2019001741A1 (en) * 2017-06-30 2019-01-03 Huawei Technologies Co., Ltd. MOTION VECTOR REFINEMENT FOR MULTI-REFERENCE PREDICTION
EP3648059B1 (en) * 2018-10-29 2021-02-24 Axis AB Video processing device and method for determining motion metadata for an encoded video
EP4118823A1 (en) * 2020-03-12 2023-01-18 InterDigital VC Holdings France Method and apparatus for video encoding and decoding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100275694B1 (ko) * 1998-03-02 2000-12-15 윤덕용 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법
KR100364789B1 (ko) * 2000-02-28 2002-12-16 엘지전자 주식회사 움직임 추정 방법 및 장치
KR20050042275A (ko) * 2002-10-04 2005-05-06 엘지전자 주식회사 모션벡터 결정방법
KR100542445B1 (ko) * 2005-06-30 2006-01-11 주식회사 휴맥스 동영상 부호화기에서의 움직임 벡터 추정 방법

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5416854A (en) * 1990-07-31 1995-05-16 Fujitsu Limited Image data processing method and apparatus
ES2431289T3 (es) * 1993-03-24 2013-11-25 Sony Corporation Método de decodificación de señal de imagen y aparato asociado
JP3944225B2 (ja) * 2002-04-26 2007-07-11 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
US8085850B2 (en) * 2003-04-24 2011-12-27 Zador Andrew M Methods and apparatus for efficient encoding of image edges, motion, velocity, and detail
KR100586100B1 (ko) * 2003-05-12 2006-06-07 엘지전자 주식회사 동영상 코딩 방법
JP2005184042A (ja) * 2003-12-15 2005-07-07 Sony Corp 画像復号装置及び画像復号方法並びに画像復号プログラム
US7646814B2 (en) * 2003-12-18 2010-01-12 Lsi Corporation Low complexity transcoding between videostreams using different entropy coding
EP1592258B1 (en) * 2004-04-30 2011-01-12 Panasonic Corporation Motion estimation employing adaptive spatial update vectors
US7623682B2 (en) * 2004-08-13 2009-11-24 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image
KR100588132B1 (ko) * 2004-10-04 2006-06-09 삼성전자주식회사 디스플레이장치
TWI254571B (en) * 2004-12-07 2006-05-01 Sunplus Technology Co Ltd Method for fast multiple reference frame motion estimation
US20060120612A1 (en) * 2004-12-08 2006-06-08 Sharath Manjunath Motion estimation techniques for video encoding
US8929464B2 (en) * 2005-03-25 2015-01-06 Sharp Laboratories Of America, Inc. Video entropy decoding with graceful degradation
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
US7944965B2 (en) * 2005-12-19 2011-05-17 Seiko Epson Corporation Transform domain based distortion cost estimation
KR20070069615A (ko) * 2005-12-28 2007-07-03 삼성전자주식회사 움직임 추정장치 및 움직임 추정방법
US7751631B2 (en) * 2006-12-22 2010-07-06 Sony Corporation Bypass using sum of absolute transformed differences value (SATD) in a video coding process
KR101383540B1 (ko) * 2007-01-03 2014-04-09 삼성전자주식회사 복수의 움직임 벡터 프리딕터들을 사용하여 움직임 벡터를추정하는 방법, 장치, 인코더, 디코더 및 복호화 방법
US8144778B2 (en) * 2007-02-22 2012-03-27 Sigma Designs, Inc. Motion compensated frame rate conversion system and method
KR101408698B1 (ko) * 2007-07-31 2014-06-18 삼성전자주식회사 가중치 예측을 이용한 영상 부호화, 복호화 방법 및 장치
JP5044518B2 (ja) * 2008-09-17 2012-10-10 株式会社東芝 画像処理装置及びコンピュータ端末

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100275694B1 (ko) * 1998-03-02 2000-12-15 윤덕용 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법
KR100364789B1 (ko) * 2000-02-28 2002-12-16 엘지전자 주식회사 움직임 추정 방법 및 장치
KR20050042275A (ko) * 2002-10-04 2005-05-06 엘지전자 주식회사 모션벡터 결정방법
KR100542445B1 (ko) * 2005-06-30 2006-01-11 주식회사 휴맥스 동영상 부호화기에서의 움직임 벡터 추정 방법

Also Published As

Publication number Publication date
KR20100036583A (ko) 2010-04-08
US9264731B2 (en) 2016-02-16
US20140294083A1 (en) 2014-10-02
WO2010038961A3 (ko) 2010-06-24
US20150229954A1 (en) 2015-08-13
US8811487B2 (en) 2014-08-19
KR101377660B1 (ko) 2014-03-26
US20150229937A1 (en) 2015-08-13
US9326002B2 (en) 2016-04-26
US9137532B2 (en) 2015-09-15
US20150229938A1 (en) 2015-08-13
US20110182362A1 (en) 2011-07-28
US9264732B2 (en) 2016-02-16

Similar Documents

Publication Publication Date Title
WO2010038961A2 (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011031030A2 (ko) 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2010044563A2 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
WO2010050706A2 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2013002549A2 (ko) 영상 부호화/복호화 방법 및 장치
WO2013109039A1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2011031044A2 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
WO2013070006A1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
WO2010039015A2 (ko) 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
WO2010027182A2 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
WO2011068331A2 (ko) 비디오 인코딩 장치 및 그 인코딩 방법, 비디오 디코딩 장치 및 그 디코딩 방법, 및 거기에 이용되는 방향적 인트라 예측방법
WO2013002550A2 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
WO2012011672A2 (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
WO2012026794A2 (ko) 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
WO2011111954A2 (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012046979A2 (ko) 주파수 마스크 테이블을 이용한 주파수변환 블록 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2010044569A2 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012015275A2 (ko) 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2013069996A1 (ko) 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
WO2011037337A2 (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
WO2012033344A2 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
WO2011021910A2 (ko) 인트라 예측 부호화/복호화 방법 및 장치
WO2011108879A2 (ko) 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법
WO2012021040A2 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
WO2010044559A2 (ko) 동영상 부호화/복호화 장치 및 그를 위한 가변 단위의 적응적 중첩 블록 움직임 보상 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09817971

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13121895

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 06/07/2011)

122 Ep: pct application non-entry in european phase

Ref document number: 09817971

Country of ref document: EP

Kind code of ref document: A2