WO2011145865A2 - 참조영상 구성 및 인덱싱 장치 및 방법 - Google Patents

참조영상 구성 및 인덱싱 장치 및 방법 Download PDF

Info

Publication number
WO2011145865A2
WO2011145865A2 PCT/KR2011/003628 KR2011003628W WO2011145865A2 WO 2011145865 A2 WO2011145865 A2 WO 2011145865A2 KR 2011003628 W KR2011003628 W KR 2011003628W WO 2011145865 A2 WO2011145865 A2 WO 2011145865A2
Authority
WO
WIPO (PCT)
Prior art keywords
frame
indexing
motion vector
reference image
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2011/003628
Other languages
English (en)
French (fr)
Other versions
WO2011145865A3 (ko
Inventor
송진한
임정연
한종기
이영렬
문주희
김해광
전병우
장명훈
박형미
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020110045528A external-priority patent/KR101444691B1/ko
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Priority to US13/698,538 priority Critical patent/US20130058397A1/en
Priority to CN201180024642.XA priority patent/CN102893607B/zh
Publication of WO2011145865A2 publication Critical patent/WO2011145865A2/ko
Publication of WO2011145865A3 publication Critical patent/WO2011145865A3/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Definitions

  • An embodiment of the present invention relates to a reference image construction and indexing apparatus and method. More specifically, the reference image may be interpolated with various spatial resolutions, or may be a reference image on which brightness compensation, zoom-in and zoom-out, warping, etc. are performed.
  • the present invention relates to an apparatus and method for constructing and indexing a reference picture for assigning a reference frame index according to a temporal position.
  • a motion vector is estimated using a plurality of previous frames or a plurality of future frames as a reference picture. This use of multiple reference images increases the likelihood of finding a block similar to the current block, and enables accurate motion estimation in situations where scene changes or obscured objects protrude.
  • a reference frame index indicating a referenced image should be encoded every code of each block.
  • JM software uses a unary coding scheme when coding index information of a reference picture.
  • the binary coding scheme is shown in FIG. 2 and Table 1.
  • the reference frame index assigns a short codeword to a reference frame close to the current frame based on a temporal order, and assigns a long codeword to a reference picture that is far apart in time.
  • Such a method can be used as shown in FIG. 3 and Table 2 for bidirectional prediction.
  • a process of encoding the motion vector estimated by the video codec is as follows. First, a prediction motion vector (PMV) predicted from neighboring blocks of the current block is calculated, and then a difference vector between the PMV and the motion vector found for the current block is calculated. The difference vector is encoded into variable length codewords arranged by integer multiples of the motion vector resolution considered in the codec.
  • PMV prediction motion vector
  • JM software which is a conventional video codec
  • the motion vector is estimated in integer pixel units, half pixel (1/2) units, and quarter pixel units, and the signal is compressed using the motion vector having the most efficient resolution. It was.
  • KTA software in order to estimate a more accurate motion vector, a more precise motion can be found by estimating a motion vector from an integer pixel unit to 1/8 pixel unit.
  • the KTA codec needs to encode motion vectors of all resolutions such as integer pixel units, 1/2 pixel units, 1/4 pixel units, and 1/8 pixel units, even when encoding small size motion vectors You must use codewords. As a result, the amount of generated bits increases, resulting in a decrease in compression efficiency. This problem is described in detail as follows.
  • Table 3 exemplarily shows codewords allocated to differential motion vectors in a codec considering integer pixel units to quarter pixel units.
  • estimating a high resolution motion vector has the advantage of finding a reference block that is highly correlated with the current coding block, but all resolution vectors from low resolution motion vector values to high resolution vector values Since the variable length codeword is considered, the compression efficiency may be lowered. For example, if most blocks in a particular frame can be encoded using only integer vectors or motion vectors of 1/2 pixel unit, variable length considering all resolutions from integer pixel unit to 1/8 pixel unit If a codebook is used, the length of the variable length codewords of frequently used integer pixels and half-pixel codevectors is increased due to the codewords considering unused 1/4 pixels and 1/8 pixels. The efficiency can be lowered. In such a case, a motion vector of all resolutions is not required in a frame or a coding block, and only a few kinds of resolution vectors can be used for efficient coding.
  • the compression efficiency may be high when variable length codewords considering motion vectors of all resolutions from integer pixel units to 1/8 pixel units are used because of characteristics of internal pixel values in a specific frame and block.
  • variable length codebook considering only some specific resolutions (for example, 1/2 pixel unit and 1/8 pixel unit) due to characteristics of internal pixel values increases compression efficiency.
  • an embodiment of the present invention may interpolate reference images with different spatial resolutions and use them as reference images having different reference frame indices. It is an object to provide a configuration and indexing apparatus and method.
  • the reference picture structure and the reference picture indexing apparatus and method according to an embodiment of the present invention do not limit the interpolation method or the motion estimation method.
  • the reference images may be configured based on the differentiated spatial resolution for each image, but in addition, the brightness-compensated reference image, the zoom-in and zoom-out reference image, and the warped reference
  • An object of the present invention is to provide a reference picture structure and indexing device that can be used as a reference picture by variously configuring the picture.
  • the reference picture in the reference picture structure and the reference picture indexing device according to the first embodiment of the present invention, is interpolated with different spatial resolutions.
  • a reference picture construction unit arranged to arrange reference frames by interpolation;
  • an index allocator for allocating a reference frame index according to the spatial resolution of the reference frame.
  • the reference frame is a frame which is not interpolated, 1/2 pixel frame, 1/4 pixel frame, 1/8 pixel frame, 1/2 pixel frame, 1/4 pixel frame and 1/8 pixel frame. Two or more of them may be any one frame of the combined frame.
  • the motion vector estimated in the reference frame when the motion vector estimated in the reference frame is encoded, the motion vector may be encoded using a different codebook according to the spatial resolution of the reference frame.
  • the reference image construction and indexing apparatus in the reference image construction and indexing apparatus for constructing and indexing a reference image for estimating a motion vector, the reference image is zoomed at various magnifications.
  • a reference image construction unit for arranging reference frames according to zooming magnifications;
  • an index allocator for allocating a reference frame index according to the zooming magnification of the reference frame.
  • the reference frame may be any one of a frame not zoomed, a frame zoomed in, and a frame zoomed out.
  • the motion vector when estimating a motion vector in a reference frame, the motion vector may be estimated using different variable length codebooks according to the zooming magnification of the reference frame.
  • the reference image construction and indexing apparatus for constructing and indexing a reference image for estimating a motion vector, a type of warping by warping the reference image
  • a reference image configuring unit for arranging reference frames according to one another;
  • an index allocator for allocating a reference frame index according to the type of warping of the reference frame.
  • the reference frame may be any one of a frame that is not warped and a frame that is warped.
  • the motion when estimating the motion vector in the reference frame, if the reference frame is a warped frame, the motion may be encoded by estimating the warping parameter and the motion vector.
  • the reference image construction and indexing apparatus for constructing and indexing a reference image for estimating a motion vector
  • the reference image is subjected to brightness compensation to compensate for the degree of brightness compensation.
  • a reference image configuring unit for arranging reference frames according to a method;
  • an index allocator for allocating the reference frame indexes according to the brightness compensation degree and the method of the reference frame.
  • the reference frame may be any one of a frame not subjected to brightness compensation and a frame subjected to brightness compensation.
  • the motion vector when estimating a motion vector from the reference frame, if the reference frame is a frame that has been subjected to brightness compensation, the motion vector may be estimated with respect to the brightness compensated reference image data.
  • the reference image construction and indexing apparatus for constructing and indexing a reference image for estimating a motion vector, interpolation processing for interpolating the reference image with various spatial resolutions
  • a reference image construction unit for arranging reference frames according to a processing method using at least two of zooming processing, warping processing, and brightness compensation processing for zooming at various magnifications;
  • an index allocator for allocating a reference frame index according to the method of processing the reference frame.
  • the reference image construction and indexing apparatus in the reference image configuration and indexing method for constructing and indexing the reference image to estimate the motion vector, interpolation resolution by interpolating the reference image with different spatial resolutions Arranging a reference frame according to; And allocating a reference frame index according to the interpolation resolution of the reference frame.
  • the reference image construction and indexing apparatus is a reference image construction and indexing method for constructing and indexing a reference image in order to estimate a motion vector. Arranging reference frames accordingly; And assigning a reference frame index according to the zooming magnification of the reference frame.
  • the reference picture construction and indexing apparatus includes a reference frame according to a warping method by warping the reference picture. Arranging; And assigning a reference frame index according to the warping method of the reference frame.
  • the reference image construction and indexing apparatus is a reference image construction and indexing method for constructing and indexing a reference image for estimating a motion vector. Arranging a reference frame according to; And allocating a reference frame index according to a method and a degree of brightness compensation of the reference frame.
  • the reference image construction and indexing apparatus includes a reference image construction and indexing method for constructing and indexing a reference image to estimate a motion vector, the interpolation process of interpolating a reference image at various spatial resolutions, Arranging reference frames according to a processing method using at least two of zooming processing, warping processing, and brightness compensation processing for zooming at various magnifications; And assigning a reference frame index according to the processing method of the reference frame.
  • the forward and backward reference pictures may be referred to as consecutive index numbers without separately displaying the forward and backward reference pictures as separate flags. have.
  • the reference image configuration method described in the above-described embodiments and the invention may be notified to the decoder using separate information, and in this case, it may be notified through a sequence header, a picture header, or a slice header.
  • the decoder may configure and decode the reference image without transmitting additional information.
  • a reference in which a reference image is interpolated with various spatial resolutions, brightness compensation processing, zoom-in and zoom-out processing, and warping processing are performed. It is possible to improve the coding efficiency of the motion vector by configuring a video and assigning a reference frame index according to a processing method.
  • FIG. 1 is a diagram illustrating an example of MV search when a plurality of reference images are used.
  • FIG. 2 is a diagram illustrating an example of assigning a reference frame index in the case of using the past frames as reference pictures.
  • FIG. 3 is a diagram illustrating an example of reference frame index allocation when using past and future frames as reference pictures.
  • FIG. 4 is a diagram schematically illustrating a reference image construction and indexing apparatus according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of constructing and indexing a reference image by the apparatus for constructing and indexing a reference image of FIG. 4.
  • FIG. 6 is a diagram illustrating an example of reference frame index allocation according to a spatial resolution of a reference frame.
  • FIG. 7 is a diagram illustrating another example of reference frame index allocation according to a spatial resolution of a reference frame.
  • FIG. 8 illustrates an example of reference frame index allocation according to zoom in / out of a reference frame.
  • FIG. 9 is a diagram illustrating another example of reference frame index allocation according to zoom in / out of a reference frame.
  • FIG. 10 illustrates an example of reference frame index allocation according to a warping method of a reference frame.
  • FIG. 11 is a diagram illustrating another example of reference frame index allocation according to a warping method of a reference frame.
  • FIG. 12 is a diagram illustrating an example of a reference frame index allocation method according to a brightness compensation method of a reference frame.
  • FIG. 13 is a diagram illustrating another example of a method of allocating a reference frame index according to the brightness compensation method of a reference frame.
  • FIG. 14 is a diagram illustrating an example of indexing forward and backward reference images with consecutive numbers without using a separate flag for information on the direction when predicting a reference picture frame in both directions.
  • FIG. 15 is a diagram illustrating an example of indexing forward and backward reference images using consecutive numbers without using a separate flag for information on the direction when predicting a reference picture frame in both directions.
  • the reference image constructing and indexing apparatus 400 may include a reference image constructing unit 410 and an index allocating unit 420.
  • the reference picture construction and indexing apparatus 400 may be included as an independent component of the inter predictor in the image encoding apparatus, or may be implemented as an additional function of the inter predictor in the image encoding apparatus.
  • the reference image construction and indexing apparatus 400 constructs and indexes a reference image to estimate a motion vector.
  • the reference image configuring unit 410 interpolates the reference image with various spatial resolutions and arranges the reference frames according to the spatial resolutions.
  • the reference image configuration unit 410 may zoom out the reference image at various magnifications and arrange the reference frames according to the zooming magnification.
  • the reference image configuration unit 410 may warp the reference image to arrange the reference frames according to the warping method.
  • the reference image configuring unit 410 may arrange the reference frames according to the brightness compensation method and degree by performing brightness compensation on the reference image.
  • the index allocator 420 allocates a reference frame index according to a processing method and a degree of the reference frames arranged by the reference image configuring unit 410.
  • FIG. 5 is a flowchart illustrating a method of constructing and indexing a reference image by the apparatus for constructing and indexing a reference image of FIG. 4.
  • the reference image configuring unit 410 performs at least one of interpolation processing of various spatial resolutions, zooming processing at various magnifications, warping processing, and brightness compensation processing with respect to the reference image, thereby reconstructing the reference frame according to a processing method and a degree of processing.
  • the index allocator 420 allocates the reference frame index to the reference frames arranged according to the processing method and the degree of processing by the reference image configuring unit 410 (S520).
  • FIG. 6 is a diagram illustrating an example of reference frame index allocation according to a spatial resolution of a reference frame.
  • 'n-1 frame' means a past n-1th frame that has not been processed.
  • '1/2 pixel frame', '1/4 pixel frame', and '1/8 pixel frame' interpolate an existing reference image, and each of them is 1/2 pixel, 1/4 A reference image in which only information in pixel units and 1/8 pixel units is selected and stored is shown.
  • the "1/8 pixel frame of the n-1 image" is a reference image that stores only a signal value of 1/8 pixel unit after interpolating the n-1 th reference image.
  • 1/2 & 1/4 pixel frame of image n-2 refers to a reference image that stores only signal values of 1/2 pixel unit and 1/4 pixel unit after interpolating the n-2th reference image. to be.
  • the reference frame index of FIG. 6 may be encoded using Table 1.
  • a method of encoding a motion vector for a coding block of a current frame is as follows.
  • the motion vector is estimated using a codebook considering all integer pixels, 1/2 pixels, and 1/4 pixel units.
  • the motion vector is estimated only in units of 1/8 pixels.
  • the motion vector is estimated only in 1/2 pixel units and 1/4 pixel units.
  • the codebook for encoding the motion vector in each frame uses different ones designed for each. In reference index 1,2,3 frames, 'integer', '1/2', '1/4', ' Codebook considering motion vectors of all resolutions such as 1/8 'is used.
  • a codebook for encoding only a motion vector in units of 1/8 pixels is used as shown in Table 5.
  • Tables 4 to 6 are merely examples of a codebook for representing a motion vector according to the resolution information, and embodiments of the present invention do not limit the method of representing the motion vector. 6 and the aforementioned Tables 4 to 6 are merely examples of the present invention, and do not limit the type of spatial resolution signal for each reference frame position (Reference index number). That is, another embodiment of the present invention may be implemented as shown in FIG. 7, and this embodiment is also not limited to merely an example of the present invention. This embodiment of the present invention can also be used in bidirectional motion prediction.
  • n-1, n-2, and n-3 frames refer to existing n-1 th, n-2 th, n-3 th reference frames without any processing.
  • An 'A1 times zooming frame of the n-1 frame' is an image made by zooming the n-1th reference picture A1 times. At this time, if the value of A1 is larger than 1 (that is, A1> 1), the image is zoomed in. If the value of A1 is smaller than 1 (ie, A1 ⁇ 1), the image is zoomed out. .
  • the embodiment of the present invention does not limit the method of zooming in or zooming out.
  • the reference frame index of FIG. 8 is encoded using Table 1.
  • a method of encoding a motion vector for a coding block of the current frame is as follows.
  • the motion vector of the current coding block is estimated by estimating the motion vector considering all integer pixels, 1/2 pixels, 1/4 pixels, and 1/8 pixel units (up to a predetermined resolution) in the reference index 1,2,3 frames,
  • frame a1 a motion vector is estimated for A1-times zoomed image data.
  • the motion vector is estimated on the A2-times zoomed image data.
  • FIG. 8 illustrates an embodiment of the present invention
  • the type of the zoom in / zoom out signal for each reference frame position is not limited. That is, according to an exemplary embodiment of the present invention, the reference image is included in the reference image list as the reference image. Another example of such an invention may be represented as shown in FIG. 9, and FIG. 9 is also merely an example of the present invention and does not limit the present invention. In addition, embodiments according to the present invention may be used in bidirectional motion prediction.
  • n-1, n-2, and n-3 frames refer to existing n-1 th, n-2 th, n-3 th reference frames without any processing.
  • the B1 warping frame of the n-1 frame is an image in which the n-1th reference image is warped by the B1 method.
  • the warping method includes a method of modifying a pixel value and a block shape by performing a linear transformation and an equilibrium shift process on pixel values in a block, but embodiments of the present invention do not limit the warping method.
  • the reference frame index of FIG. 10 may be encoded using Table 1.
  • a method of encoding a motion vector for a coding block of a current frame is as follows.
  • the motion vector of the current coding block is estimated by estimating the motion vector considering all integer pixels, 1/2 pixels, 1/4 pixels, and 1/8 pixel units (up to a predetermined resolution) in the reference index 1,2,3 frames,
  • frame a1 a motion vector is estimated for image data processed using the B1 warping method.
  • frame a2 the motion vector is estimated with respect to the processed image data using the B2 warping method.
  • FIG. 10 illustrates an embodiment of the present invention, and the type of warping method for each reference frame position is not limited. That is, the method proposed in the embodiment according to the present invention includes an image warped in various ways by including one reference image as a reference image in the reference image list. Another example of such an invention may be represented as shown in FIG. 11, and FIG. 11 is also merely an example of the present invention and does not limit the present invention. In addition, embodiments according to the present invention may be used in bidirectional motion prediction.
  • n-1, n-2, and n-3 frames mean existing n-1 th, n-2 th, n-3 th reference frames without any processing.
  • the W1 brightness compensation frame of the n-1 frame is an image obtained by performing a brightness compensation process on the n-1th reference picture using the W1 method.
  • Brightness compensation methods include a method of gaining by varying the magnification of illuminance, a method of offsetting brightness, and the like, but the embodiment of the present invention does not limit the method of compensating brightness.
  • the reference frame index of FIG. 12 may be encoded using Table 1.
  • a method of encoding a motion vector for a coding block of a current frame is as follows.
  • the motion vector of the current coding block is estimated by estimating the motion vector considering all integer pixels, 1/2 pixels, 1/4 pixels, and 1/8 pixel units (up to a predetermined resolution) in the reference index 1,2,3 frames,
  • the motion vector is estimated for the processed image data using the W1 brightness compensation method.
  • the motion vector is estimated for the processed image data using the W2 brightness compensation method.
  • the method proposed in the embodiment of the present invention includes the reference image including the image compensated for brightness by various methods in the reference image list as the reference image.
  • Another example of such an invention may be represented as shown in FIG. 13, and FIG. 13 is also merely an example of the present invention and does not limit the present invention.
  • embodiments according to the present invention may be used in bidirectional motion prediction.
  • FIG. 14 is a diagram illustrating an example of displaying past and future reference images as consecutive index numbers without a separate flag bit indicating direction information when a reference frame is predicted in both directions.
  • reference frames of n-1 and n + 1 that are close in time are continuously assigned low index numbers, and relatively high index numbers are assigned to n-2 and n + 2 that are far in time.
  • FIG. 14 illustrates an embodiment of the present invention, and the type of a method of allocating a reference frame index in bidirectional prediction is not limited. That is, the limiting method in the embodiment of the present invention includes an example of allocating a low index to a reference image that is close in time. For example, as shown in FIG. 15, FIG. 15 is also merely an example of the present invention and does not limit the present invention.
  • the decoder of the present invention may make an appointment with the encoder in advance of a method of configuring a specific reference image to configure the reference image by itself without additional information, and the encoder delivers additional information about the reference image construction method to the decoder for reference. You can see how the image is constructed.
  • the coding method of information transmitted to the decoder is not limited.
  • the techniques proposed in the embodiment of the present invention do not restrict the use of images modified by one or more methods in the list of reference images as a reference image.
  • images modified by one or more methods for example, among reference images, 'unmodified past reference image', 'brightness compensated reference image', 'warped reference image', 'zoomed reference image', 'reference image composed of specific resolution information',
  • the reference image modified by the additional processing method may be used together.
  • the method of allocating the reference index of the processed images is not limited in the embodiment of the present invention.
  • Table 1 to encode the reference frame index in the description of the present invention is only one example, and the present invention does not limit the method of encoding the reference frame index.
  • the reference image may be variously configured by performing interpolation processing at various spatial resolutions or zooming, zooming, and brightness compensation processing at various magnifications. It is a very useful invention to generate an effect of improving the coding efficiency of a motion vector by allocating a reference frame index according to a processing method and a degree.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

참조영상 구성 및 인덱싱 장치 및 방법이 개시된다. 본 발명에 따른 참조영상 구성 및 인덱싱 장치는, 참조영상 구성 및 참조영상 인덱싱 장치는, 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 장치에 있어서, 참조영상을 다양한 공간해상도로 보간(interpolation)하여 시간적인 위치에 따라 참조프레임을 배열하는 참조영상 구성부; 및 참조프레임의 시간적인 위치에 따라 참조프레임 인덱스를 할당하는 인덱스 할당부를 포함하는 것을 특징으로 한다.

Description

참조영상 구성 및 인덱싱 장치 및 방법
본 발명의 실시예는 참조영상 구성 및 인덱싱 장치 및 방법에 관한 것이다. 보다 상세하게는, 참조 영상을 다양한 공간해상도로 보간(interpolation) 처리하거나, 밝기 보상처리, 확대 및 축소(Zoom-in 및 zoom-out) 처리, 와핑(warping) 처리 등이 수행된 참조 영상 등으로 구성하여 시간적 위치에 따라 참조프레임 인덱스를 할당하는 참조영상 구성 및 인덱싱 장치 및 방법에 관한 것이다.
JM 또는 KTA 등 기존의 비디오 코덱에서는 인터 코딩을 수행할 때, 다수의 이전 프레임들 또는 다수의 미래 프레임들을 참조 영상으로 사용하여 움직임 벡터를 추정한다. 이렇게 여러 장의 참조 영상을 사용함으로써 현재 블록과 유사한 블록을 찾을 수 있는 가능성이 높아지고, 장면 전환 (scene change) 또는 가려진 물체가 돌출하는 상황에서 정확한 움직임 추정이 가능해진다.
도 1은 다수개의 참조 영상을 사용하는 경우의 좋은 점을 보이고 있다. 참조 영상을 바로 이전의 1장을 사용할 경우 공을 가진 선수의 유니폼에 '19' 라는 마크가 현재 장엔 있지만 바로 이전 참조영상엔 존재 하지 않는다. 이럴 경우 MV를 찾기가 어려워 코딩 효율이 떨어진다. 반면 참조 영상을 바로 이전 장 말고 더 과거 시점 참조영상에서 찾으면 '19' 라는 마크를 찾을 수 있게 된다. 따라서 현재 장을 코딩 할 때 정확한 움직임 벡터를 찾을 수 있다.
이처럼 다수의 참조 영상을 사용하여 움직임 벡터를 추정하는 경우, 매 블록을 코딩할 때마다 참조된 영상을 가리키는 참조 프레임 인덱스(reference frame index)를 부호화해야 한다. 현재 JM 소프트웨어에서는 참조 영상의 인덱스 정보를 코딩 할 때 유너리 코딩(unary coding) 방식을 사용한다. 유너리 코딩 방식은 도 2 및 표 1에 나타낸 바와 같다.
[표 1]
Figure PCTKR2011003628-appb-I000001
일반적으로 현재 프레임과 가장 유사하게 닮은 것은 현재 프레임과 시간적으로 가장 가까이에 있는 영상이다. 따라서 보통 참조 프레임 인덱스는, 시간적인 순서를 기준으로 현재 프레임과 가까운 참조 프레임에는 짧은 코드워드(codeword)를 할당하고 시간적으로 멀리 떨어져있는 참조영상은 긴 코드워드를 할당한다. 이와 같은 방법은 양방향 예측을 위해 도 3 및 표 2에 나타낸 바와 같이 사용될 수 있다.
[표 2]
Figure PCTKR2011003628-appb-I000002
한편, 비디오 코덱에서 추정된 움직임 벡터를 부호화하는 과정은 다음과 같다. 먼저 현재 블록의 주위 블록들로부터 예측된 예측움직임베터(PMV)를 계산한 후, 이 PMV와 현재 블록에 대해서 찾아진 움직임 벡터와의 차분 벡터를 계산한다. 이 차분 벡터를 코덱에서 고려하는 움직임 벡터 해상도의 정수배로 나열된 가변길이 코드워드로 부호화한다.
기존의 비디오 코덱인 JM 소프트웨어에서는 움직임 벡터를 정수화소 단위, 반화소(1/2) 단위, 그리고 1/4 화소 단위까지 추정한 후, 가장 압축효율이 좋은 해상도의 움직임 벡터를 사용하여 신호를 압축하였다. 한편, KTA 소프트웨어에서는 더 정확한 움직임 벡터를 추정하기 위하여 정수 화소 단위부터 1/8 화소 단위까지 움직임 벡터를 추정함으로써 더욱 정밀한 움직임을 찾을 수 있게 되었다. 그렇지만, KTA 코덱에서 정수화소 단위, 1/2 화소 단위, 1/4 화소 단위, 1/8 화소 단위 등 모든 해상도의 움직임 벡터를 고려해서 부호화해야 하기 때문에, 작은 크기의 움직임 벡터를 부호화할 때도 긴 코드워드를 사용해야 한다. 이로 인해 발생 비트량이 증가하므로 결과적으로 압축 효율이 저하되는 문제점이 있다. 이런 문제점을 구체적인 예시로 설명하면 다음과 같다.
표 3은 정수 화소 단위부터 1/4 화소 단위까지를 고려한 코덱에서 차분 움직임 벡터들에 할당된 코드워드를 예시로 나타내고 있다.
[표 3]
Figure PCTKR2011003628-appb-I000003
표 3을 통해 알 수 있듯이, 통상적인 압축 표준에서는 여러 가지 해상도의 움직임 벡터를 모두 부호화 하게 되면 작은 크기의 움직임 벡터를 부호화하기 위해서도 긴 코드워드들이 사용되며, 결과적으로 움직임 벡터를 부호화하는 과정에서 생성되는 데이터의 크기가 커져서 압축 효율이 저하된다. 예를 들어 표 3에서 차분 움직임 벡터가 (3,2)인 경우, '3'이 부호화되기 위해서는 코드 번호(Code Number)가 '23'인 비트스트링 '000011000'이 사용되고 '2'가 부호화되기 위해서는 코드 번호가 '15'인 비트스트링 '000010000'이 사용된다. 이와 같이 작은 크기의 움직임 벡터를 부호화하기 위해 긴 코드워드들이 사용되는 것은 1/2 화소 단위와 1/4 화소 단위의 움직임 벡터를 부호화하기 위한 코드워드와 정수 화소 단위의 움직임 벡터를 모두 고려하여 부호화하기 위한 코드워드를 함께 사용하기 때문이다.
전술한 바와 같이, 높은 해상도의 움직임 벡터를 추정하는 것은 현재 코딩 블록과 상관성이 매우 높은 참조 블록을 찾을 수 있다는 장점이 있지만, 낮은 해상도의 움직임 벡터 값부터 높은 해상도의 벡터 값까지 모든 해상도 벡터를 모두 고려한 가변길이 코드워드를 이용하기 때문에 압축효율이 낮아질 수도 있다. 예를 들어, 특정 프레임 내부의 대부분의 블록들이 정수 화소 또는 1/2 화소 단위의 움직임 벡터만 사용해서 부호화할 수 있는 경우, 정수 화소 단위부터 1/8화소 단위까지의 모든 해상도를 고려하는 가변길이 코드북을 사용한다면, 사용되지도 않는 1/4 화소 및 1/8 화소를 고려하는 코드워드 때문에, 빈번하게 사용되는 정수 화소 및 1/2 화소 코드벡터의 가변길이 코드워드의 길이가 길어지게 되어 압축효율이 낮아질 수 있다. 이와 같은 경우, 어떤 프레임 또는 어떤 코딩 블록에서는 모든 해상도의 움직임 벡터가 필요하지 않고 특정한 몇 가지 종류의 해상도 벡터만 사용함으로써 효율적으로 부호화할 수 있다.
반대로 다른 경우에는, 특정 프레임 및 블록에서 내부 화소값들의 특성때문에 정수 화소단위부터 1/8 화소단위까지 모든 해상도의 움직임 벡터를 고려하는 가변길이 코드워드들을 사용하는 경우에 압축 효율이 높을 수 있다.
또 다른 한 예로는, 특정 프레임 및 블록에서는 내부 화소값들의 특성상 특정한 몇 개의 해상도(예를 들면, 1/2 화소단위, 1/8 화소 단위)만을 고려한 가변길이 코드북을 사용하는 것이 압축 효율을 높일 수 있다. 이 경우 가변길이 코드북에서 정수화소 단위와 1/4 화소단위 움직임 벡터에 대한 코드워드는 지원하지 않는 것이 압축 효율을 높일 수 있다.
이러한 움직임 벡터의 해상도에 관련된 압축률 저하 문제를 해결하기 위하여, 본 발명의 실시예는, 참조 영상을 각각 다른 공간해상도로 보간(interpolation)하여 각각 다른 참조 프레임 인덱스를 갖는 참조 영상으로 사용할 수 있는 참조영상 구성 및 인덱싱 장치 및 방법을 제공하는 것을 목적으로 한다. 본 발명의 실시예에 따른 참조영상 구성 및 참조영상 인덱싱 장치 및 방법은, 보간 방법이나 움직임 추정방법은 제한하지 않는다.
또한, 참조영상들을 각 영상마다 차별화된 공간 해상도를 기준으로 구성할 수도 있지만, 그 외에 밝기 보상된 참조영상, 확대 및 축소(Zoom-in 및 zoom-out)된 참조영상, 와핑(warping)된 참조 영상 등으로 다양하게 구성하여 참조영상으로 사용할 수 있는 참조영상 구성 및 인덱싱 장치를 제공하는 것을 목적으로 한다.
본 발명의 제1 실시예에 따른 참조영상 구성 및 참조영상 인덱싱 장치는, 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 장치에 있어서, 참조영상을 각각 다른 공간해상도로 보간(interpolation)하여 참조프레임을 배열하는 참조영상 구성부; 및 참조프레임의 공간해상도에 따라 참조프레임 인덱스를 할당하는 인덱스 할당부를 포함하는 것을 특징으로 한다.
여기서, 참조프레임은 보간 처리하지 않은 프레임, 1/2 화소단위 프레임, 1/4 화소단위 프레임, 1/8 화소단위 프레임, 및 1/2 화소단위, 1/4 화소단위 및 1/8 화소단위 중 둘 이상이 조합된 프레임 중의 어느 하나의 프레임일 수 있다.
또한, 참조프레임에서 추정되는 움직임 벡터를 부호화할 경우, 참조프레임의 공간해상도에 따라 다른 코드북을 사용하여 움직임 벡터를 부호화할 수 있다.
본 발명의 제2 실시예에 따른 참조영상 구성 및 인덱싱 장치는, 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 장치에 있어서, 참조영상을 다양한 배율로 주밍(zooming)하여 주밍 배율에 따라 참조프레임을 배열하는 참조영상 구성부; 및 참조프레임의 주밍 배율에 따라 참조프레임 인덱스를 할당하는 인덱스 할당부를 포함하는 것을 특징으로 한다.
여기서, 참조프레임은 주밍 처리하지 않은 프레임, 줌 인한 프레임 및 줌 아웃한 프레임 중의 어느 하나의 프레임일 수 있다.
또한, 참조프레임에서 움직임 벡터를 추정할 경우, 참조프레임의 주밍 배율에 따라 다른 가변길이 코드북을 사용하여 움직임 벡터를 추정할 수 있다.
본 발명의 제3 실시예에 따른 참조영상 구성 및 인덱싱 장치는, 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 장치에 있어서, 참조영상을 와핑(warping)하여 와핑의 타입에 따라 참조프레임을 배열하는 참조영상 구성부; 및 참조프레임의 와핑의 타입에 따라 참조프레임 인덱스를 할당하는 인덱스 할당부를 포함하는 것을 특징으로 한다.
여기서, 참조프레임은 와핑 처리하지 않은 프레임 및 와핑 처리한 프레임 중의 어느 하나의 프레임일 수 있다.
또한, 참조프레임에서 움직임 벡터를 추정할 경우 참조프레임이 와핑 처리한 프레임이면, 와핑 파라미터 및 움직임 벡터를 추정하여 움직임을 부호화 할 수 있다.
본 발명의 제4 실시예에 따른 참조영상 구성 및 인덱싱 장치는, 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 장치에 있어서, 참조영상을 밝기보상 처리하여 밝기보상 정도와 방법에 따라 참조프레임을 배열하는 참조영상 구성부; 및 참조프레임의 밝기보상 정도와 방법에 따라 참조프레임 인덱스를 할당하는 인덱스 할당부를 포함하는 것을 특징으로 한다.
여기서, 참조프레임은 밝기보상 처리하지 않은 프레임 및 밝기보상 처리한 프레임 중의 어느 하나의 프레임일 수 있다.
또한, 참조프레임에서 움직임 벡터를 추정할 경우 참조프레임이 밝기보상 처리한 프레임이면, 밝기보상된 참조영상 데이터에 대하여 움직임 벡터를 추정할 수 있다.
본 발명의 제5 실시예에 따른 참조영상 구성 및 인덱싱 장치는, 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 장치에 있어서, 참조영상을 다양한 공간해상도로 보간하는 보간 처리, 다양한 배율로 주밍하는 주밍 처리, 와핑 처리 및 밝기보상 처리 중 둘 이상을 사용하여 처리방법에 따라 참조프레임을 배열하는 참조영상 구성부; 및 참조프레임의 처리방법에 따라 참조프레임 인덱스를 할당하는 인덱스 할당부를 포함하는 것을 특징으로 한다.
한편, 제1 실시예에 따른 참조영상 구성 및 인덱싱 장치는, 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 방법에 있어서, 참조영상을 각각 다른 공간해상도로 보간하여 보간 해상도에 따라 참조프레임을 배열하는 단계; 및 참조프레임의 보간 해상도에 따라 참조프레임 인덱스를 할당하는 단계를 포함하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법을 제공한다.
또한, 제2 실시예에 따른 참조영상 구성 및 인덱싱 장치는, 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 방법에 있어서, 참조영상을 각각 다른 배율로 주밍하여 주밍배율에 따라 참조프레임을 배열하는 단계; 및 참조프레임의 주밍배율에 따라 참조프레임 인덱스를 할당하는 단계를 포함하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법을 제공한다.
또한, 제3 실시예에 따른 참조영상 구성 및 인덱싱 장치는, 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 방법에 있어서, 참조영상을 와핑하여 와핑 방법에 따라 참조프레임을 배열하는 단계; 및 참조프레임의 와핑 방법에 따라 참조프레임 인덱스를 할당하는 단계를 포함하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법을 제공한다.
또한, 제4 실시예에 따른 참조영상 구성 및 인덱싱 장치는, 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 방법에 있어서, 참조영상을 밝기보상 처리하여 밝기 보상 방법 및 정도에 따라 참조프레임을 배열하는 단계; 및 참조프레임의 밝기 보상 방법 및 정도에 따라 참조프레임 인덱스를 할당하는 단계를 포함하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법을 제공한다.
또한, 제5 실시예에 따른 참조영상 구성 및 인덱싱 장치는, 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 방법에 있어서, 참조영상을 다양한 공간해상도로 보간하는 보간 처리, 다양한 배율로 주밍하는 주밍 처리, 와핑 처리 및 밝기보상 처리 중 둘 이상을 사용하여 처리방법에 따라 참조프레임을 배열하는 단계; 및 참조프레임의 처리방법에 따라 참조프레임 인덱스를 할당하는 단계를 포함하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법을 제공한다.
또한, 본 발명에 따른 참조영상 인덱싱 기법에 있어서, 전방향 참조 영상들과 후방향 참조 영상들을 별도의 플래그로 구분하여 표시하지 않고, 전방향과 후방향 참조영상들을 연속된 인덱스 번호로 참조할 수 있다.
전술한 실시 예 및 발명내용에서 서술한 참조영상 구성 방법을 복호화기로 별도의 정보를 사용하여 알려줄 수 있으며 이때는 시퀀스 헤더 또는 픽처헤더 또는 슬라이스 헤더 등을 통해 알려줄 수 있다. 또한, 부호화기와 복호화기가 약속된 방법으로 참조영상을 구성하는 경우에는 별도의 정보를 전송함이 없이 복호화기가 참조영상을 구성하여 복호화할 수 있다.
본 발명의 실시예에 따르면, 참조 영상을 다양한 공간해상도로 보간(interpolation) 처리하거나, 밝기 보상처리, 확대 및 축소(Zoom-in 및 zoom-out) 처리, 와핑(warping) 처리 등이 수행된 참조 영상 등으로 구성하여 처리방법에 따라 참조프레임 인덱스를 할당함으로써 움직임 벡터의 부호화 효율을 향상시킬 수 있게 된다.
도 1은 다수개의 참조 영상을 사용하는 경우의 MV 탐색의 예를 나타낸 도면이다.
도 2는 과거 프레임들을 참조영상으로 하는 경우의 참조 프레임 인덱스의 할당 예를 나타낸 도면이다.
도 3은 과거 및 미래 프레임들을 참조영상으로 사용하는 경우의 참조 프레임 인덱스 할당 예를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 참조영상 구성 및 인덱싱 장치를 개략적으로 도시한 도면이다.
도 5는 도 4의 참조영상 구성 및 인덱싱 장치에 의한 참조영상 구성 및 인덱싱 방법을 나타낸 흐름도이다.
도 6은 참조 프레임의 공간해상도에 따른 참조 프레임 인덱스 할당의 일 예를 나타낸 도면이다.
도 7은 참조 프레임의 공간해상도에 따른 참조 프레임 인덱스 할당의 다른 예를 나타낸 도면이다.
도 8은 참조 프레임의 줌 인/아웃에 따른 참조 프레임 인덱스 할당의 일 예를 나타낸 도면이다.
도 9는 참조 프레임의 줌 인/아웃에 따른 참조 프레임 인덱스 할당의 다른 예를 나타낸 도면이다.
도 10은 참조 프레임의 와핑(warping) 방법에 따른 참조 프레임 인덱스 할당의 일 예를 나타낸 도면이다.
도 11은 참조 프레임의 와핑 방법에 따른 참조 프레임 인덱스 할당의 다른 예를 나타낸 도면이다.
도 12는 참조 프레임의 밝기보상 방법에 따른 참조 프레임 인덱스 할당 방법의 일 예를 나타낸 도면이다.
도 13은 참조 프레임의 밝기보상 방법에 따른 참조 프레임 인덱스 할당 방법의 다른 예를 나타낸 도면이다.
도 14는 양방향으로 참조 영상 프레임을 예측할 때 방향에 대한 정보에 대해서 별도의 플레그를 사용하지 않고 연속적인 번호로 전방향과 후방향 참조 영상을 인덱싱하는 예를 나타낸 도면이다.
도 15는 양방향으로 참조 영상 프레임을 예측할 때 방향에 대한 정보에 대해서 별도의 플레그를 사용하지 않고 연속적인 번호로 전방향과 후방향 참조 영상을 인덱싱하는 예를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 참조영상 구성 및 인덱싱 장치를 개략적으로 도시한 도면이다. 도 4를 참조하면, 참조영상 구성 및 인덱싱 장치(400)는 참조영상 구성부(410) 및 인덱스 할당부(420)를 구비할 수 있다. 이와 같은 참조영상 구성 및 인덱싱 장치(400)는 영상 부호화 장치 내의 인터 예측기와 독립적인 구성요소로 포함되거나, 영상 부호화 장치 내의 인터 예측기의 추가적인 기능으로 구현될 수도 있다. 이러한 참조영상 구성 및 인덱싱 장치(400)는 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱한다.
참조영상 구성부(410)는 참조영상을 다양한 공간해상도로 보간(interpolation) 처리하여 공간해상도에 따라 참조프레임을 배열한다. 또는 참조영상 구성부(410)는 참조영상을 다양한 배율로 주밍(zooming) 처리하여 주밍 배율에 따라 참조프레임을 배열할 수도 있다. 또는, 참조영상 구성부(410)는 참조영상을 와핑(warping) 처리하여 와핑 방법에 따라 참조프레임을 배열할 수도 있다. 또는, 참조영상 구성부(410)는 참조영상을 밝기보상 처리하여 밝기보상 방법 및 정도에 따라 참조프레임을 배열할 수도 있다.
인덱스 할당부(420)는 참조영상 구성부(410)에 의해 배열된 참조프레임의 처리방법 및 정도에 따라 참조프레임 인덱스를 할당한다.
도 5는 도 4의 참조영상 구성 및 인덱싱 장치에 의한 참조영상 구성 및 인덱싱 방법을 나타낸 흐름도이다. 도면을 참조하여 본 발명의 실시예에 따른 참조영상 구성 및 인덱싱 장치의 기능 및 동작을 상세하게 설명한다.
참조영상 구성부(410)는 참조영상에 대하여 다양한 공간해상도의 보간 처리, 다양한 배율로 주밍 처리, 와핑 처리, 및 밝기 보상처리 중의 적어도 하나의 처리를 수행하여 처리방법 및 처리정도에 따라 참조프레임을 배열한다(S510).
인덱스 할당부(420)는 참조영상 구성부(410)에 의해 처리방법 및 처리정도에 따라 배열된 참조프레임에 참조프레임 인덱스를 할당한다(S520).
도 6은 참조 프레임의 공간해상도에 따른 참조 프레임 인덱스 할당 예를 나타낸 도면이다.
도 6에서 'n-1 frame'은 아무 처리를 하지 않은 과거 n-1번째 프레임을 의미한다. 또한, '1/2 화소단위 프레임', '1/4 화소단위 프레임', '1/8 화소단위 프레임'은 기존의 참조 영상을 보간(interpolation)하여 각각을 1/2 화소 단위, 1/4 화소 단위, 1/8 화소 단위의 정보만을 선택하여 저장한 참조 영상을 나타낸다. 예를 들어 "n-1번 영상의 1/8 화소단위 프레임"은 n-1번째 참조영상을 보간한 후, 1/8 화소 단위의 신호값만을 저장한 참조 영상이다. 또한, "n-2번 영상의 1/2 & 1/4 화소단위 프레임"은 n-2번째 참조 영상을 보간한 후 1/2 화소 단위와 1/4 화소 단위의 신호값만을 저장한 참조 영상이다. 도 6의 참조 프레임 인덱스는 표 1을 이용하여 부호화할 수 있다.
도 6과 같은 방식으로 참조영상을 구성하는 경우, 현재 프레임의 코딩 블록을 위한 움직임 벡터를 부호화하는 방법은 다음과 같다. 현재 코딩 블록의 움직임 벡터를 참조 인덱스(reference index) 1,2,3 프레임들에서 추정할 때는 정수 화소, 1/2화소, 1/4 화소 단위를 모두 고려한 코드북을 사용하여 움직임 벡터를 추정하고, 움직임 벡터를 a1 프레임에서 추정할 때는 1/8 화소 단위로만 움직임 벡터를 추정한다. 그리고 움직임 벡터를 a2 프레임에서만 추정할 때는 1/2 화소 단위와 1/4 화소 단위로만 움직임 벡터를 추정한다. 각 프레임에서 움직임 벡터를 부호화하기 위한 코드북은 각각을 위해서 설계된 다른 것들을 사용하는데, 참조 인덱스 1,2,3 프레임에서는 표 4와 같이 '정수', '1/2', '1/4', '1/8' 등 모든 해상도의 움직임 벡터를 고려한 코드북을 사용한다.
[표 4]
Figure PCTKR2011003628-appb-I000004
참조 프레임 a1에서 추정되는 움직임 벡터를 부호화할 경우에는 표 5와 같이 1/8 화소 단위의 움직임 벡터만 부호화하기 위한 코드북을 사용한다.
[표 5]
Figure PCTKR2011003628-appb-I000005
또한, 참조 프레임 a2에서 찾아진 움직임 벡터를 부호화하는 경우에는 표 6과 같이 1/2 화소 단위와 1/4 화소 단위만의 코드벡터를 부호화하기 위한 코드북을 사용한다.
[표 6]
Figure PCTKR2011003628-appb-I000006
표 4 내지 표 6은 해상도 정보에 따른 움직임 벡터 표현을 위한 코드북의 예시일 뿐이며, 본 발명의 실시예에서는 움직임 벡터를 표현하는 방법을 제한하지 않는다. 또한, 도 6과, 전술한 표 4 내지 6은 본 발명의 예시일 뿐이며, 참조 프레임 위치(Reference index 번호)별 공간 해상도 신호의 종류를 제한하는 것이 아니다. 즉, 본 발명의 다른 실시예는 도 7과 같이 구현될 수도 있으며, 이러한 실시예 역시 본 발명의 예시일 뿐으로 한정하는 것은 아니다. 이러한 본 발명의 실시예는 양방향 움직임 예측 시에도 사용될 수 있다.
도 8은 참조 프레임의 줌 인/아웃에 따른 참조 프레임 인덱스 할당의 일 예를 나타낸 도면이다. 도 8에서 n-1, n-2, n-3 프레임들은 아무런 처리를 하지 않은 기존의 n-1번째, n-2번째, n-3번째 참조 프레임을 의미한다. 'n-1 frame의 A1배 zooming frame'은 n-1번째 참조 영상을 A1배 주밍(zooming)하여 만든 영상이다. 이때 A1의 값이 1보다 크면(즉, A1 > 1) 줌 인(Zoom-in)된 영상이고, A1값이 1보다 작으면(즉, A1 < 1) 줌 아웃(Zoom-out)된 영상이다. 본 발명의 실시예에서는 줌 인 또는 줌 아웃하는 방법에 대해서는 제한하지 않는다. 도 8의 참조 프레임 인덱스는 표 1을 이용하여 부호화된다.
도 8에서 예시된 방식으로 참조영상을 구성하는 경우, 현재 프레임의 코딩 블록을 위한 움직임 벡터를 부호화하는 방법은 다음과 같다. 현재 코딩 블록의 움직임 벡터를 참조 인덱스 1,2,3 프레임들에서는 정수 화소, 1/2화소, 1/4 화소, 1/8 화소 단위(정해진 임의의 해상도까지) 모두 고려한 움직임 벡터를 추정하고, a1 프레임에서는 A1 배 주밍된 영상 데이터에 대해 움직임 벡터를 추정한다. 그리고 a2 프레임에서는 A2 배 주밍된 영상 데이터에 대해 움직임 벡터를 추정한다.
도 8은 본 발명의 일 실시예를 나타낸 것으로서, 참조 프레임 위치 별 줌 인/줌 아웃 신호의 종류는 제한하지 않는다. 즉, 본 발명의 실시예는 참조 영상 리스트(list)에 한 참조 영상을 다양한 비율로 줌 인과 줌 아웃한 영상을 참조영상으로 포함시키는 것이다. 이와 같은 발명의 다른 예를 도 9와 같이 나타낼 수 있으며, 도 9 역시 본 발명의 예시일 뿐으로 본 발명을 한정하지 않는다. 또한, 본 발명에 따른 실시예들은 양방향 움직임 예측 시에도 사용될 수 있다.
도 10은 참조 프레임의 와핑(warping) 방법에 따른 참조 프레임 인덱스 할당의 일 예를 나타낸 도면이다. 도 10에서 n-1, n-2, n-3 프레임들은 아무런 처리를 하지 않은 기존의 n-1번째, n-2번째, n-3번째 참조 프레임을 의미한다. 'n-1 프레임의 B1 와핑 프레임'은 n-1번째 참조 영상을 B1방법으로 와핑 처리를 한 영상이다. 와핑 방법으로는 블록내 화소값들에 선형 변환 및 평형이동 과정을 통해 화소값 및 블록 모양을 변형하는 등의 방법이 있으나, 본 발명의 실시예에서는 와핑하는 방법에 대해서는 제한하지 않는다. 도 10의 참조 프레임 인덱스는 표 1을 이용하여 부호화할 수 있다.
도 10의 실시예와 같은 방식으로 참조영상을 구성하는 경우, 현재 프레임의 코딩 블록을 위한 움직임 벡터를 부호화하는 방법은 다음과 같다. 현재 코딩 블록의 움직임 벡터를 참조 인덱스 1,2,3 프레임들에서는 정수 화소, 1/2화소, 1/4 화소, 1/8 화소 단위(정해진 임의의 해상도까지) 모두 고려한 움직임 벡터를 추정하고, a1 프레임에서는 B1 와핑 방법을 사용하여 처리된 영상 데이터에 대해 움직임 벡터를 추정한다. 그리고 a2 프레임에서는 B2 와핑 방법을 사용하여 처리된 영상 데이터에 대해 움직임 벡터를 추정한다.
도 10은 본 발명의 일 실시예를 나타낸 것으로서, 참조 프레임 위치 별 와핑 방법의 종류는 제한하지 않는다. 즉, 본 발명에 따른 실시예에서 제안하는 방법은 참조 영상 리스트에 한 참조 영상을 다양한 방법으로 와핑한 영상을 참조영상으로 포함시키는 것이다. 이와 같은 발명의 다른 예를 도 11과 같이 나타낼 수 있으며, 도 11 역시 본 발명의 예시일 뿐으로 본 발명을 한정하지 않는다. 또한, 본 발명에 따른 실시예들은 양방향 움직임 예측 시에도 사용될 수 있다.
도 12는 참조 프레임의 시간적인 위치와 밝기보상 방법에 따른 참조 프레임 인덱스 할당 방법의 일 예를 나타낸 도면이다. 도 12에서 n-1, n-2, n-3 프레임들은 아무런 처리를 하지 않은 기존의 n-1번째, n-2번째, n-3번째 참조 프레임을 의미한다. 'n-1 프레임의 W1 밝기보상 프레임'은 n-1번째 참조 영상을 W1 방법으로 밝기보상 처리를 한 영상이다. 밝기보상 방법으로는 조도의 배율을 다르게 하여 이득을 주는 방법, 밝기를 오프셋하는 방법 등이 있으나, 본 발명에 따른 실시예에서는 밝기를 보상하는 방법에 대해서는 제한하지 않는다. 도 12의 참조 프레임 인덱스는 표 1을 이용하여 부호화할 수 있다.
도 12와 같은 방식으로 참조영상을 구성하는 경우, 현재 프레임의 코딩 블록을 위한 움직임 벡터를 부호화하는 방법은 다음과 같다. 현재 코딩 블록의 움직임 벡터를 참조 인덱스 1,2,3 프레임들에서는 정수 화소, 1/2화소, 1/4 화소, 1/8 화소 단위(정해진 임의의 해상도까지) 모두 고려한 움직임 벡터를 추정하고, a1 프레임에서는 W1 밝기 보상 방법을 사용하여 처리된 영상 데이터에 대해 움직임 벡터를 추정한다. 그리고 a2 프레임에서는 W2 밝기보상 방법을 사용하여 처리된 영상 데이터에 대해 움직임 벡터를 추정한다.
도 12는 본 발명의 일 실시예를 나타낸 것으로서, 참조 프레임 위치 별 밝기보상 방법의 종류는 제한하지 않는다. 즉, 본 발명의 실시예에서 제안하는 방법은 참조 영상 리스트에 한 참조 영상을 다양한 방법으로 밝기 보상한 영상을 참조영상으로 포함시키는 것이다. 이와 같은 발명의 다른 예를 도 13과 같이 나타낼 수 있으며, 도 13 역시 본 발명의 예시일 뿐으로 본 발명을 한정하지 않는다. 또한, 본 발명에 따른 실시예들은 양방향 움직임 예측 시에도 사용될 수 있다.
도 14는 양방향으로 참조 프레임을 예측시 방향 정보를 표시하는 별도의 플레그 비트없이 과거 및 미래 참조 영상들을 연속적인 인덱스 번호로 표시하는 일 예를 나타낸 도면이다. 도 14에서 시간적으로 가까이에 있는 n-1, n+1의 참조 프레임은 낮은 인덱스 번호를 연속적으로 할당하고 시간적으로 멀리 있는 n-2, n+2에는 상대적으로 높은 인덱스 번호를 할당하는 예이다.
도 14는 본 발명의 일 실시예를 나타낸 것으로서, 양방향 예측시 참조프레임 인덱스 할당하는 방법의 종류는 제한하지 않는다. 즉, 본 발명의 실시예에서 제한하는 방법은 시간적으로 가까이에 있는 참조영상에 낮은 인덱스를 할당하는 예를 포함한 것이다. 예를 들어 도 15와 같이 나타낼 수 있으며, 도 15 역시 본 발명의 예시일 뿐으로 본 발명을 한정하지 않는다.
전술한 실시예들은 특정 참조 영상을 '해상도 변환', '주밍(zooming)', '와핑(warping)', '밝기 변환'하여 추가의 참조 영상으로 사용하는 경우를 설명하였다. 그러나, 본 발명 기술은 상기 4가지 방법을 이용한 참조 영상 변환에 한정하지 않고, 움직임 벡터를 정확하기 찾기 위한 추가의 다양한 변환 방법을 사용할 수 있다.
또한, 본 발명의 복호기가 특정 참조 영상의 구성방법을 부호화기와 미리 약속을 하여 추가의 정보 없이 스스로 참조영상을 구성할 수 있으며, 부호화기가 참조영상 구성 방법에 대한 추가의 정보를 복호기에 전달하여 참조영상이 어떤 방법으로 구성되었는지 알 수 있게 할 수 있다. 복호기에 전달하는 정보의 부호방법에 대해선 한정하지 않는다.
또한, 본 발명의 실시예에서 제안하는 기술들은 참조영상들의 리스트에 1가지 이상의 방법으로 변형된 영상들을 혼용하여 참조 영상으로 사용하는 것을 제한하지 않는다. 예를 들면, 참조 영상들 중에는 '변형되지 않은 과거 참조영상, '밝기 보상된 참조 영상', '와핑 처리된 참조영상', '주밍 처리된 참조영상', '특정 해상도 정보만으로 이뤄진 참조영상', '추가의 처리 방법으로 변형된 참조영상' 등이 모두 같이 사용될 수 있으며, 이때 각 처리된 영상들의 참조 인덱스 할당 방법은 본 발명의 실시예에서는 제한하지 않는다.
또한, 본 발명의 설명중에 참조 프레임 인덱스를 부호화하기 위해 표1을 사용한다는 것은 하나의 예 일뿐 본 발명에서는 참조프레임 인덱스를 부호화하는 방법을 제한하지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예는, 참조 영상에 다양한 공간해상도로 보간 처리하거나, 다양한 배율로 확대 및 축소하는 주밍 처리, 와핑 처리, 밝기 보상처리 등을 수행함으로써 참조 영상을 다양하게 구성하여 처리방식 및 정도에 따라 참조프레임 인덱스를 할당함으로써 움직임 벡터의 부호화 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2010년 5월 17일 한국에 출원한 특허출원번호 제10-2010-0046178호 및 2011년 5월 16일 한국에 출원한 특허출원번호 제10-2011-0045528호에 대해 미국 특허법 119(a)조(35 U.S.C §119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외의 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고 문헌으로 본 특허출원에 병합된다.

Claims (38)

  1. 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 장치에 있어서,
    상기 참조영상을 다양한 임의의 서로 다른 방법으로 처리하여 그 처리 방식에 따라 참조 프레임을 배열하는 참조영상 구성부; 및
    상기 참조영상 구성부에 의해 처리된 방법에 따라 참조프레임 인덱스를 할당하는 인덱스 할당부
    를 포함하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 장치.
  2. 제 1항에 있어서,
    상기 참조프레임에서 추정되는 움직임 벡터를 부호화할 경우, 상기 참조영상 구성부에 의해 처리된 방법에 따라 서로 다른 코드북을 사용하여 움직임 벡터를 부호화하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 장치.
  3. 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 장치에 있어서,
    상기 참조영상을 다양한 공간해상도로 보간(interpolation)하여 보간 해상도에 따라 참조프레임을 배열하는 참조영상 구성부; 및
    상기 참조프레임의 보간 해상도에 따라 참조프레임 인덱스를 할당하는 인덱스 할당부
    를 포함하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 장치.
  4. 제 3항에 있어서,
    상기 참조프레임은 보간 처리하지 않은 프레임, 1/2 화소단위 프레임, 1/4 화소단위 프레임, 1/8 화소단위 프레임, 및 1/2 화소단위, 1/4 화소단위 및 1/8 화소단위 중 둘 이상이 조합된 프레임 중의 어느 하나의 프레임인 것을 특징으로 하는 참조영상 구성 및 인덱싱 장치.
  5. 제 3항에 있어서,
    상기 참조프레임에서 추정되는 움직임 벡터를 부호화할 경우, 상기 참조프레임의 공간해상도에 따라 다른 코드북을 사용하여 움직임 벡터를 부호화하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 장치.
  6. 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 장치에 있어서,
    상기 참조영상을 다양한 배율로 주밍(zooming)하여 주밍배율에 따라 참조프레임을 배열하는 참조영상 구성부; 및
    상기 참조프레임의 주밍배율에 따라 참조프레임 인덱스를 할당하는 인덱스 할당부
    를 포함하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 장치.
  7. 제 6항에 있어서,
    상기 참조프레임은 주밍 처리하지 않은 프레임, 줌 인한 프레임 및 줌 아웃한 프레임 중의 어느 하나의 프레임인 것을 특징으로 하는 참조영상 구성 및 인덱싱 장치.
  8. 제 6항에 있어서,
    상기 참조프레임에서 추정되는 움직임 벡터를 부호화할 경우, 상기 참조프레임의 주밍 배율에 따라 다른 코드북을 사용하여 움직임 벡터를 부호화하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 장치.
  9. 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 장치에 있어서,
    상기 참조영상을 와핑(warping)하여 와핑 방법에 따라 참조프레임을 배열하는 참조영상 구성부; 및
    상기 참조프레임의 와핑 방법에 따라 참조프레임 인덱스를 할당하는 인덱스 할당부
    를 포함하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 장치.
  10. 제 9항에 있어서,
    상기 참조프레임은 와핑 처리하지 않은 프레임 및 와핑 처리한 프레임 중의 어느 하나의 프레임인 것을 특징으로 하는 참조영상 구성 및 인덱싱 장치.
  11. 제 9항에 있어서,
    상기 참조프레임에서 추정되는 움직임 벡터를 부호화할 경우, 상기 참조프레임의 와핑 방법에 따라 서로 다른 코드북을 사용하여 움직임 벡터를 부호화하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 장치.
  12. 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 장치에 있어서,
    상기 참조영상을 밝기보상 처리하여 밝기보상 방법 및 정도에 따라 참조프레임을 배열하는 참조영상 구성부; 및
    상기 참조프레임의 밝기보상 방법 및 정도에 따라 참조프레임 인덱스를 할당하는 인덱스 할당부
    를 포함하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 장치.
  13. 제 12항에 있어서,
    상기 참조프레임은 밝기보상 처리하지 않은 프레임 및 밝기보상 처리한 프레임 중의 어느 하나의 프레임인 것을 특징으로 하는 참조영상 구성 및 인덱싱 장치.
  14. 제 12항에 있어서,
    상기 참조프레임에서 추정되는 움직임 벡터를 부호화할 경우, 상기 참조프레임의 밝기보상 및 정도에 따라 다른 코드북을 사용하여 움직임 벡터를 부호화하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 장치.
  15. 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 장치에 있어서,
    상기 참조영상을 다양한 공간해상도로 보간하는 보간 처리, 다양한 배율로 주밍하는 주밍 처리, 와핑 처리 및 밝기보상 처리 중 둘 이상을 조합한 조합처리를 수행하여 처리방법 및 정도에 따라 참조프레임을 배열하는 참조영상 구성부; 및
    상기 참조프레임의 처리방법 및 정도에 따라 참조프레임 인덱스를 할당하는 인덱스 할당부
    를 포함하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 장치.
  16. 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조 영상 구성 및 인덱싱 장치에 있어서,
    상기 참조영상을 양방향 예측시 시간적 위치 및 정도에 따라 참조프레임을 배열하는 참조영상 구성부; 및
    상기 참조영상을 양방향 예측시 시간적 위치 및 정도에 따라 참조프레임 인덱스를 자유롭게 할당하는 인덱스 할당부
    를 포함하는 것을 특징으로 하는 참조 영상 구성 및 인덱싱 장치.
  17. 제 16항에 있어서, 상기 인덱스 할당부는,
    상기 참조 프레임의 방향 정보를 별도로 부호화하면서 프레임을 인덱싱하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 장치.
  18. 제 16항에 있어서,
    상기 참조 프레임의 구성 방법에 대한 정보를 부호화하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법.
  19. 제 16항에 있어서, 상기 인덱스 할당부는,
    시간적으로 가까이에 있는 참조영상에 낮은 인덱스를 할당하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 장치.
  20. 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 방법에 있어서,
    상기 참조영상을 다양한 임의의 서로 다른 방법으로 처리하여 그 처리 방식에 따라 참조 프레임을 배열하는 단계; 및
    상기 처리된 방법에 따라 참조프레임 인덱스를 할당하는 단계
    를 포함하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법.
  21. 제 20항에 있어서,
    상기 참조프레임에서 추정되는 움직임 벡터를 부호화할 경우, 상기 처리된 방법에 따라 서로 다른 코드북을 사용하여 움직임 벡터를 부호화하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법.
  22. 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 방법에 있어서,
    상기 참조영상을 다양한 공간해상도로 보간하여 공간 해상도에 따라 참조프레임을 배열하는 단계; 및
    상기 참조프레임의 공간 해상도에 따라 참조프레임 인덱스를 할당하는 단계
    를 포함하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법.
  23. 제 22항에 있어서,
    상기 참조프레임은 보간 처리하지 않은 프레임, 1/2 화소단위 프레임, 1/4 화소단위 프레임, 1/8 화소단위 프레임, 및 1/2 화소단위, 1/4 화소단위 및 1/8 화소단위 중 둘 이상이 조합된 프레임 중의 어느 하나의 프레임인 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법.
  24. 제 22항에 있어서,
    상기 참조프레임에서 추정되는 움직임 벡터를 부호화할 경우, 상기 참조프레임의 공간해상도에 따라 다른 코드북을 사용하여 움직임 벡터를 부호화하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법.
  25. 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 방법에 있어서,
    상기 참조영상을 다양한 배율로 주밍하여 주밍 배율에 따라 참조프레임을 배열하는 단계; 및
    상기 참조프레임의 주밍 배율에 따라 참조프레임 인덱스를 할당하는 단계
    를 포함하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법.
  26. 제 25항에 있어서,
    상기 참조프레임은 주밍 처리하지 않은 프레임, 줌 인한 프레임 및 줌 아웃한 프레임 중의 어느 하나의 프레임인 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법.
  27. 제 25항에 있어서,
    상기 참조프레임에서 추정되는 움직임 벡터를 부호화할 경우, 상기 참조프레임의 주밍 배율에 따라 다른 코드북을 사용하여 움직임 벡터를 부호화하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법.
  28. 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 방법에 있어서,
    상기 참조영상을 와핑하여 와핑 방법에 따라 참조프레임을 배열하는 단계; 및
    상기 참조프레임의 와핑 방법에 따라 참조프레임 인덱스를 할당하는 단계
    를 포함하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법.
  29. 제 28항에 있어서,
    상기 참조프레임은 와핑 처리하지 않은 프레임 및 와핑 처리한 프레임 중의 어느 하나의 프레임인 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법.
  30. 제 28항에 있어서,
    상기 참조프레임에서 추정되는 움직임 벡터를 부호화할 경우, 상기 참조프레임의 와핑 방법에 따라 다른 코드북을 사용하여 움직임 벡터를 부호화하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법.
  31. 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 방법에 있어서,
    상기 참조영상을 밝기보상 처리하여 밝기 보상 방법 및 정도에 따라 참조프레임을 배열하는 단계; 및
    상기 참조프레임의 밝기 보상 방법 및 정도에 따라 참조프레임 인덱스를 할당하는 단계
    를 포함하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법.
  32. 제 31항에 있어서,
    상기 참조프레임은 밝기보상 처리하지 않은 프레임 및 밝기보상 처리한 프레임 중의 어느 하나의 프레임인 것을 특징으로 하는 참조영상 구성 및 인덱싱 장치.
  33. 제 31항에 있어서,
    상기 참조프레임에서 추정되는 움직임 벡터를 부호화할 경우, 상기 참조프레임의 밝기 보상 방법 및 정도에 따라 다른 코드북을 사용하여 움직임 벡터를 부호화하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법.
  34. 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조영상 구성 및 인덱싱 방법에 있어서,
    상기 참조영상을 다양한 공간해상도로 보간하는 보간 처리, 다양한 배율로 주밍하는 주밍 처리, 와핑 처리 및 밝기보상 처리 중 둘 이상을 조합한 조합처리를 수행하여 처리방법 및 정도에 따라 참조프레임을 배열하는 단계; 및
    상기 참조프레임의 처리방법 및 정도에 따라 참조프레임 인덱스를 할당하는 단계
    를 포함하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법.
  35. 움직임 벡터를 추정하기 위하여 참조영상을 구성하고 인덱싱하는 참조 영상 구성 및 인덱싱 방법에 있어서,
    상기 참조영상을 양방향 예측시 시간적 위치 및 정도에 따라 참조프레임을 배열하는 단계; 및
    상기 참조영상을 양방향 예측시 시간적 위치 및 정도에 따라 참조프레임 인덱스를 자유롭게 할당하는 단계
    를 포함하는 것을 특징으로 하는 참조 영상 구성 및 인덱싱 방법.
  36. 제 35항에 있어서,
    상기 참조 프레임의 방향 정보를 별도로 부호화하면서 프레임을 인덱싱 하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법.
  37. 제 35항에 있어서,
    상기 참조 프레임의 구성 방법에 대한 정보를 부호화하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법.
  38. 제 35항에 있어서,
    상기 인덱스 할당단계는,
    시간적으로 가까이에 있는 참조영상에 낮은 인덱스를 할당하는 것을 특징으로 하는 참조영상 구성 및 인덱싱 방법.
PCT/KR2011/003628 2010-05-17 2011-05-17 참조영상 구성 및 인덱싱 장치 및 방법 Ceased WO2011145865A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/698,538 US20130058397A1 (en) 2010-05-17 2011-05-17 Apparatus and method for constructing and indexing a reference image
CN201180024642.XA CN102893607B (zh) 2010-05-17 2011-05-17 用于构造基准图像并对基准图像编索引的设备和方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20100046178 2010-05-17
KR10-2010-0046178 2010-05-17
KR1020110045528A KR101444691B1 (ko) 2010-05-17 2011-05-16 참조영상 구성 및 인덱싱 장치 및 방법
KR10-2011-0045528 2011-05-16

Publications (2)

Publication Number Publication Date
WO2011145865A2 true WO2011145865A2 (ko) 2011-11-24
WO2011145865A3 WO2011145865A3 (ko) 2012-03-29

Family

ID=44992201

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/003628 Ceased WO2011145865A2 (ko) 2010-05-17 2011-05-17 참조영상 구성 및 인덱싱 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2011145865A2 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
KR100703773B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 향상된 코딩 효율을 갖는 엔트로피 코딩 및 디코딩 방법과이를 위한 장치, 이를 포함하는 비디오 코딩 및 디코딩방법과 이를 위한 장치

Also Published As

Publication number Publication date
WO2011145865A3 (ko) 2012-03-29

Similar Documents

Publication Publication Date Title
TWI729422B (zh) 色彩分量間的子區塊移動向量繼承
WO2011149265A2 (en) New planar prediction mode
CN114827619A (zh) 运动信息的编解码
JP4757080B2 (ja) 動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置
US20240015300A1 (en) Image encoding/decoding method and device
TW202005384A (zh) 基於交織預測的視頻處理方法、裝置及記錄媒體
WO2011062392A2 (ko) 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2016188251A1 (zh) 视频解码数据存储方法及运动向量数据的计算方法
WO2013062191A1 (ko) 인트라 예측 모드에서의 영상 부호화 방법 및 장치
WO2011139121A2 (ko) 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
WO2014171768A1 (ko) 비디오 신호 처리 방법 및 장치
WO2015005622A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018074626A1 (ko) 적응적 보간 필터를 사용하는 비디오 코딩 방법 및 장치
WO2013133648A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013105791A1 (ko) 움직임 벡터 정규화에 기초한 영상의 부호화 방법 및 장치, 영상의 복호화 방법 및 장치
WO2014171770A1 (ko) 비디오 신호 처리 방법 및 장치
WO2012057518A2 (ko) 쿼드 트리 기반으로 블록 필터 정보를 부호화/복호화하는 영상 부호화/복호화 장치 및 방법
WO2013176485A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014073877A1 (ko) 다시점 비디오 신호의 처리 방법 및 이에 대한 장치
KR20110126544A (ko) 참조영상 구성 및 인덱싱 장치 및 방법
WO2011071254A2 (ko) 쌍예측을 이용한 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체
WO2018070585A1 (ko) 결함화소 정보 기록장치, 결함화소 보정장치 및 방법
WO2012033343A2 (ko) 참조 화소들의 특성을 이용하여 예측모드 정보의 전송을 생략할 수 있는 화면 내 예측 부호화/복호화 장치 및 그 방법
EP2347582A2 (en) Apparatus and method for converting image in an image processing system
WO2013002620A2 (ko) 스킵 모드를 이용한 모션 정보 부호화 방법 및 장치, 그 복호화 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180024642.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13698538

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 25/02/2013)

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11783747

Country of ref document: EP

Kind code of ref document: A2

122 Ep: pct application non-entry in european phase

Ref document number: 11783747

Country of ref document: EP

Kind code of ref document: A2