KR100878536B1 - Method and apparatus for interpolating video - Google Patents
Method and apparatus for interpolating video Download PDFInfo
- Publication number
- KR100878536B1 KR100878536B1 KR1020060110179A KR20060110179A KR100878536B1 KR 100878536 B1 KR100878536 B1 KR 100878536B1 KR 1020060110179 A KR1020060110179 A KR 1020060110179A KR 20060110179 A KR20060110179 A KR 20060110179A KR 100878536 B1 KR100878536 B1 KR 100878536B1
- Authority
- KR
- South Korea
- Prior art keywords
- interpolation
- image
- interpolation filter
- filter coefficient
- candidate
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
Abstract
움직임 보상시의 예측 오차를 감소시키고 각 서브 픽셀의 보간에 적용되는 보간 필터 계수의 전송량을 줄일 수 있는 영상 보간 방법 및 장치가 개시된다.Disclosed are an image interpolation method and apparatus for reducing a prediction error during motion compensation and reducing a transmission amount of interpolation filter coefficients applied to interpolation of each subpixel.
본 발명에 따른 영상 보간 방법 및 장치는 소정의 룩업 테이블에 구비된 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들을 적용하여 이전에 디코딩된 참조 영상 프레임을 보간함으로써 후보 보간 영상들을 생성하고, 후보 보간 영상들과 대응되는 원 영상 프레임의 영역 사이의 오차값에 따라서 복수 개의 보간 필터 계수 그룹들 중 하나를 선택하는 것을 특징으로 한다. An image interpolation method and apparatus according to the present invention generate candidate interpolation images by interpolating a previously decoded reference image frame by applying a plurality of interpolation filter coefficient groups corresponding to each subpixel position included in a predetermined lookup table. One of a plurality of interpolation filter coefficient groups is selected according to an error value between candidate interpolation images and a region of a corresponding original image frame.
Description
도 1은 영상 보간의 개념을 설명하기 위한 참조도이다.1 is a reference diagram for explaining a concept of image interpolation.
도 2는 본 발명의 바람직한 실시예에 따른 영상 보간 장치를 구비한 영상 부호화 장치의 블록도이다.2 is a block diagram of an image encoding apparatus having an image interpolation apparatus according to an exemplary embodiment of the present invention.
도 3은 도 2의 영상 부호화 장치에 입력되는 영상 데이터의 일 예를 나타낸 도면이다.FIG. 3 is a diagram illustrating an example of image data input to the image encoding apparatus of FIG. 2.
도 4는 본 발명의 일 실시예에 따른 영상 보간 장치를 나타낸 블록도이다.4 is a block diagram illustrating an image interpolation apparatus according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 영상 보간 방법을 나타낸 플로우 차트이다.5 is a flowchart illustrating an image interpolation method according to an embodiment of the present invention.
도 6은 움직임 예측을 설명하기 위한 참고도이다.6 is a reference diagram for explaining motion prediction.
도 7은 본 발명에 따른 후보 보간 영상의 생성 과정을 설명하기 위한 도면이다.7 is a diagram for describing a process of generating a candidate interpolation image according to the present invention.
도 8은 본 발명에 따른 각 서브 픽셀에 적용되는 복수 개의 보간 필터 계수 그룹들을 구비하는 룩업 테이블의 일 예를 나타낸 도면이다.8 illustrates an example of a lookup table having a plurality of interpolation filter coefficient groups applied to each subpixel according to the present invention.
도 9는 본 발명의 다른 실시예에 따른 영상 보간 장치를 나타낸 블록도이다.9 is a block diagram illustrating an image interpolation apparatus according to another exemplary embodiment of the present invention.
도 10은 본 발명의 다른 실시예에 따른 영상 보간 방법을 나타낸 플로우 차트이다.10 is a flowchart illustrating an image interpolation method according to another embodiment of the present invention.
도 11은 도 9의 영상 보간 장치에 입력되는 영상 시퀀스를 나타낸 도면이다.FIG. 11 is a diagram illustrating an image sequence input to the image interpolation apparatus of FIG. 9.
도 12는 입력 영상 시퀀스에 구비된 초기 30개의 영상 프레임들에 대하여 적응적인 보간을 수행하여 결정된 보간 필터 계수 그룹들 중, 도 7의 서브 픽셀 b에 대응되는 보간 필터 계수 그룹들을 나타낸 도면이다.12 is a diagram illustrating interpolation filter coefficient groups corresponding to subpixel b of FIG. 7 among interpolation filter coefficient groups determined by performing adaptive interpolation on initial 30 image frames included in an input image sequence.
도 13은 도 12의 보간 필터 계수들을 그 주파수 응답 특성에 따라 유사한 주파수 응답 특성에 따라 분류하여 나타낸 그래프이다.FIG. 13 is a graph illustrating the interpolation filter coefficients of FIG. 12 classified according to similar frequency response characteristics according to their frequency response characteristics.
도 14는 입력 영상 시퀀스에 구비된 초기 30개의 영상 프레임들에 대하여 적응적인 보간을 수행하여 결정된 보간 필터 계수 그룹들 중, 도 7의 서브 픽셀 a에 대응되는 보간 필터 계수 그룹들을 그 주파수 응답 특성에 따라 분류하여 나타낸 그래프이다. FIG. 14 illustrates interpolation filter coefficient groups corresponding to the subpixel a of FIG. 7 among the interpolation filter coefficient groups determined by performing adaptive interpolation on the initial 30 image frames included in the input image sequence. This graph is classified according to the following.
도 15는 본 발명의 또 다른 실시예에 따른 영상 보간 장치를 나타낸 블록도이다.15 is a block diagram illustrating an image interpolation apparatus according to another embodiment of the present invention.
도 16은 본 발명의 또 다른 실시예에 따른 영상 보간 방법을 나타낸 플로우 차트이다.16 is a flowchart illustrating an image interpolation method according to another embodiment of the present invention.
도 17은 본 발명의 바람직한 실시예에 따른 영상 보간 장치를 구비한 복호화 장치의 블록도이다.17 is a block diagram of a decoding apparatus including an image interpolation apparatus according to a preferred embodiment of the present invention.
도 18은 본 발명에 따른 영상 보간 방법이 적용되는 보간 단위를 설명하기 위한 도면이다.18 illustrates an interpolation unit to which an image interpolation method according to the present invention is applied.
본 발명은 영상 보간에 관한 것으로, 보다 상세하게는 움직임 보상시의 예측 오차를 감소시키고 각 서브 픽셀의 보간에 적응적으로 적용되는 보간 필터 계수의 전송량을 줄일 수 있는 영상 보간 방법 및 장치에 관한 것이다.The present invention relates to image interpolation, and more particularly, to an image interpolation method and apparatus for reducing a prediction error in motion compensation and reducing the amount of transmission of interpolation filter coefficients adaptively applied to interpolation of each subpixel. .
H.264/AVC(Advanced Video Coding)에 따르면, 인터 코딩된 매크로블록의 각 파티션 또는 서브 매크로 블록 파티션은 참조 영상 프레임 내의 동일한 크기의 영역으로부터 예측된다. According to H.264 / AVC (Advanced Video Coding), each partition or sub macroblock partition of an inter coded macroblock is predicted from an area of the same size within a reference picture frame.
움직임 보상 예측을 수행하기 위해서 현재 영상 프레임은 복수 개의 블록들로 분할된다. 분할된 각 블록에 대해서, 현재 블록과 예측 블록 사이의 차이값인 움직임 벡터가 계산되며, 이 움직임 벡터는 휘도 성분에 대해 1/4 샘플의 해상도를 가지며 색차 성분에 대해 1/8 샘플의 해상도를 가진다. 이 때, 서브 샘플 위치의 휘도와 색차 샘플을 참조 픽처 내에 존재하지 않으므로 인접해 있는 코딩된 샘플들을 보간하여 서브 샘플 위치에서의 화소값을 생성하여야 한다.In order to perform motion compensation prediction, the current image frame is divided into a plurality of blocks. For each partitioned block, a motion vector, which is the difference between the current block and the predictive block, is computed, which has a resolution of 1/4 samples for the luminance component and 1/8 samples for the chrominance component. Have At this time, since the luminance and chrominance samples of the subsample position do not exist in the reference picture, the pixel values at the subsample position should be generated by interpolating adjacent coded samples.
도 1은 영상 보간의 개념을 설명하기 위한 참조도이다.1 is a reference diagram for explaining a concept of image interpolation.
도 1을 참조하면, 회색 상자는 원 픽셀(original pixel)을 나타내고, 흰색 상자는 상기 원 픽셀 사이의 서브 픽셀(sub pixel)을 나타낸다. 원 픽셀은 정수 픽셀(integer pixel)을 의미한다. 서브 픽셀들 중 흰색 상자 5, 6, 7, 8은 1/2 픽셀을, 흰색 상자 9는 1/4 픽셀을 나타낸다. 1/2 픽셀들은 수직 방향 또는 수평 방향으로 인접한 정수 픽셀들 또는 1/2 픽셀들을 기초로 얻어진다. 예를 들어, 1/2 픽셀 5는 정수 픽셀 1 및 2를 기초로 얻어지며, 1/2 픽셀 8은 정수 픽셀 3 및 4를 기초로 얻어진다. 1/2 픽셀 6은 정수 픽셀 1 및 3을 기초로 얻어지고, 1/2 픽셀 7은 정수 픽셀 2 및 4를 기초로 얻어진다. 한편, 1/4 픽셀 9는 1/2 픽셀 5 및 8을 기초로 얻어지거나 1/2 픽셀 6 및 7을 기초로 얻어진다. 설명의 편의를 위해 정수 픽셀의 개수를 4 개로 한정하였으나, 보간에 참여하는 픽셀의 범위는 적절히 가감할 수 있다. 가령, 1/2 픽셀 5를 구함에 있어 정수 픽셀 1 및 2 뿐 아니라 수평 방향으로 인접한 정수 픽셀들을 더 참여시킬 수 있다.Referring to FIG. 1, a gray box represents an original pixel, and a white box represents a sub pixel between the original pixels. One pixel means an integer pixel. Among the subpixels,
특히, H.264/AVC 표준안에 따르면 참조 영상 프레임 내의 1/2 픽셀을 보간하기 위하여, 6-탭 유한 임펄스 응답(6-tap Finite Impulse Response:FIR) 필터와 고정된 보간 필터 계수를 이용한다. 6-탭 FIR 필터를 적용하는 경우, 수평 또는 수직 방향으로 인접한 6개의 정수 픽셀들 값을 이용하여 서브 픽셀의 보간을 수행한다. 그러나, 고정된 보간 필터 계수를 이용하는 경우에는 영상 특성에 따라서 예측 오차가 심화될 수 있다.In particular, the H.264 / AVC standard uses a 6-tap Finite Impulse Response (FIR) filter and fixed interpolation filter coefficients to interpolate 1/2 pixel in a reference picture frame. In the case of applying the 6-tap FIR filter, interpolation of subpixels is performed by using values of six integer pixels adjacent to each other in a horizontal or vertical direction. However, when fixed interpolation filter coefficients are used, prediction errors may be deepened according to image characteristics.
이러한 고정된 보간 필터 계수를 이용하는 대신에 영상 특성에 따라 각 서브 픽셀 위치마다 적응적으로 보간 필터 계수를 생성하는 보간 방법이 제안된 바 있다. 그러나, 이러한 적응적인 보간 방식에 의할 경우, 각 서브 픽셀 위치마다 별개의 보간 필터 계수를 생성하여 전송하여야 하기 때문에 전송되는 데이터의 양이 증가하여, 압축효율이 좋지 못한 문제점이 있다.Instead of using the fixed interpolation filter coefficients, an interpolation method for adaptively generating interpolation filter coefficients for each subpixel position according to image characteristics has been proposed. However, according to the adaptive interpolation scheme, since the interpolation filter coefficients must be generated and transmitted for each subpixel position, the amount of data to be transmitted increases, resulting in poor compression efficiency.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 영상 특성에 따라 각 서브 픽셀에 적용할 보간 필터 계수를 적응적으로 적용하는 동시에 전송되는 보간 필터 계수 정보를 줄일 수 있는 영상 보간 방법 및 장치를 제공하는 데에 목적이 있다.Accordingly, the present invention has been made to solve the above problems, and according to an image characteristic, an image interpolation method capable of adaptively applying interpolation filter coefficients to be applied to each subpixel and simultaneously reducing interpolation filter coefficient information transmitted. And to provide a device.
또한, 본 발명은 영상 특성에 따른 적응적인 보간 방식을 통해 움직임 예측 오차를 줄이면서 앨리어싱(aliasing) 효과를 줄일 수 있는 영상 보간 방법 및 장치를 제공하는 데에 목적이 있다.Another object of the present invention is to provide an image interpolation method and apparatus capable of reducing an aliasing effect while reducing a motion prediction error through an adaptive interpolation method according to an image characteristic.
상기와 같은 기술적 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 영상 보간 방법은 참조 영상 프레임과 현재 영상 프레임 사이에 움직임 예측을 수행하여 상기 현재 영상 프레임의 움직임 벡터를 예측하는 단계; 소정의 룩업 테이블에 구비된 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들을 적용하여 이전에 디코딩된 상기 참조 영상 프레임을 보간함으로써 후보 보간 영상들을 생성하는 단계; 및 상기 움직임 벡터가 가리키는 상기 후보 보간 영상들과 대응되는 원 영상 프레임의 영역 사이의 오차값에 따라서 상기 복수 개의 보간 필터 계수 그룹들 중 하나를 선택하는 단계를 포함하는 것을 특징으로 한다.In order to solve the above technical problem, an image interpolation method includes predicting a motion vector of the current image frame by performing motion prediction between a reference image frame and a current image frame; Generating candidate interpolation images by interpolating the previously decoded reference picture frame by applying a plurality of interpolation filter coefficient groups corresponding to each subpixel position included in a predetermined lookup table; And selecting one of the plurality of interpolation filter coefficient groups according to an error value between the candidate interpolation images indicated by the motion vector and the region of the original image frame corresponding to the candidate interpolation images.
본 발명의 다른 실시예에 따른 영상 보간 방법은 입력 영상 시퀀스에 구비된 소정 개수의 프레임들에 대하여 적응적 보간을 수행하여 상기 소정 개수의 프레임들의 각 서브 픽셀 위치에 대응되는 보간 필터 계수들을 생성하는 단계; 상기 생성된 보간 필터 계수들을 그 주파수 응답 특성에 따라서 분류하여 그룹화함으로써 상기 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들을 구비하는 룩업 테이블을 생성하는 단계; 상기 입력 영상 시퀀스에 구비된 나머지 프레임들에 대하여 상기 룩업 테이블에 구비된 복수 개의 보간 필터 계수 그룹들을 적용하여 보간함으로써 후보 보간 영상들을 생성하는 단계; 및 상기 후보 보간 영상들과 상기 입력 영상의 오차값에 따라서 상기 후보 보간 영상들 중에서 최종적인 보간 영상을 선택하는 단계를 포함하는 것을 특징으로 한다.An image interpolation method according to another exemplary embodiment of the present invention performs interpolation on a predetermined number of frames included in an input image sequence to generate interpolation filter coefficients corresponding to each subpixel position of the predetermined number of frames. step; Generating a lookup table having a plurality of interpolation filter coefficient groups corresponding to each sub-pixel position by classifying and grouping the generated interpolation filter coefficients according to their frequency response characteristics; Generating candidate interpolation images by applying interpolation to the remaining frames included in the input image sequence by applying a plurality of interpolation filter coefficient groups included in the lookup table; And selecting a final interpolation image from among the candidate interpolation images according to an error value between the candidate interpolation images and the input image.
본 발명의 또 다른 실시예에 따른 영상 보간 방법은 입력 영상에 대하여 소정 블록 단위로 움직임 예측을 수행하는 단계; 상기 움직임 예측 결과 생성된 움직임 벡터를 이용하여 소정의 룩업 테이블에 구비된 상기 입력 영상의 정수 픽셀 사이의 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들 중 하나를 선택하는 단계; 및 상기 선택된 보간 필터 계수 그룹을 적용하여 상기 입력 영상을 보간함으로써 보간 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.An image interpolation method according to another embodiment of the present invention includes performing motion prediction on a predetermined block basis on an input image; Selecting one of a plurality of interpolation filter coefficient groups corresponding to each subpixel position between integer pixels of the input image included in a predetermined lookup table by using the motion vector generated as a result of the motion prediction; And generating the interpolated image by interpolating the input image by applying the selected interpolation filter coefficient group.
본 발명의 일 실시예에 따른 영상 보간 장치는 입력 영상의 정수 픽셀 사이의 각 서브 픽셀 위치에 적용되는 복수 개의 보간 필터 계수 그룹들을 구비하는 소정의 룩업 테이블을 저장하는 저장부; 상기 복수 개의 보간 필터 계수 그룹들을 적용하여 상기 입력 영상을 보간함으로써 후보 보간 영상들을 생성하는 후보 보간 영상 생성부; 및 상기 후보 보간 영상들과 상기 입력 영상의 오차값에 따라서 상기 후보 보간 영상들 중에서 최종적인 보간 영상을 선택하는 선택부를 포함하는 것을 특징으로 한다.An image interpolation apparatus according to an embodiment of the present invention includes a storage unit for storing a predetermined lookup table having a plurality of interpolation filter coefficient groups applied to each subpixel position between integer pixels of an input image; A candidate interpolation image generation unit generating candidate interpolation images by interpolating the input image by applying the plurality of interpolation filter coefficient groups; And a selector for selecting a final interpolation image among the candidate interpolation images according to an error value between the candidate interpolation images and the input image.
본 발명의 다른 실시예에 따른 영상 보간 장치는 입력 영상 시퀀스에 구비된 소정 개수의 프레임들에 대하여 적응적 보간을 수행하여 상기 소정 개수의 프레임들의 각 서브 픽셀 위치에 대응되는 보간 필터 계수들을 생성하는 적응적 보간 수 행부; 상기 생성된 보간 필터 계수들을 그 주파수 응답 특성에 따라서 분류하여 그룹화함으로써 상기 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들을 구비하는 룩업 테이블을 생성하는 룩업 테이블 생성부; 상기 입력 영상 시퀀스에 구비된 나머지 프레임들에 대하여 상기 룩업 테이블에 구비된 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들을 적용하여 보간을 수행하여 후보 보간 영상들을 생성하는 후보 보간 영상 생성부; 및 상기 후보 보간 영상들과 상기 입력 영상의 오차값에 따라서 상기 후보 보간 영상들 중에서 최종적인 보간 영상을 선택하는 선택부를 포함하는 것을 특징으로 한다.An image interpolation apparatus according to another embodiment of the present invention performs interpolation on a predetermined number of frames included in an input image sequence to generate interpolation filter coefficients corresponding to each subpixel position of the predetermined number of frames. Adaptive interpolation unit; A lookup table generation unit generating a lookup table having a plurality of interpolation filter coefficient groups corresponding to each subpixel position by classifying and grouping the generated interpolation filter coefficients according to their frequency response characteristics; A candidate interpolation image generator for generating candidate interpolation images by performing interpolation on the remaining frames included in the input image sequence by applying a plurality of interpolation filter coefficient groups corresponding to each subpixel position included in the lookup table; And a selector for selecting a final interpolation image among the candidate interpolation images according to an error value between the candidate interpolation images and the input image.
본 발명의 또 다른 실시예에 따른 영상 보간 장치는 입력 영상에 대해 소정 블록 단위로 움직임 예측을 수행하는 움직임 예측부; 상기 움직임 예측 결과 생성된 움직임 벡터를 이용하여 소정의 룩업 테이블에 구비된 상기 입력 영상의 정수 픽셀 사이의 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들 중 하나를 선택하는 보간 필터 계수 선택부; 및 상기 선택된 보간 필터 계수 그룹을 적용하여 상기 입력 영상을 보간함으로써 보간 영상을 생성하는 보간부를 포함하는 것을 특징으로 한다.In accordance with another aspect of the present invention, an image interpolation apparatus includes: a motion predictor configured to perform motion prediction on an input image in a predetermined block unit; An interpolation filter coefficient selection unit for selecting one of a plurality of interpolation filter coefficient groups corresponding to each subpixel position between integer pixels of the input image included in a predetermined lookup table by using the motion vector generated as a result of the motion prediction ; And an interpolation unit generating an interpolation image by interpolating the input image by applying the selected interpolation filter coefficient group.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
먼저, 본 발명을 설명함에 있어서 보간 필터 계수란 각 서브 픽셀의 보간을 위해 인접한 정수 픽셀을 이용한 가중합을 구하는 경우, 정수 픽셀에 곱하여지는 가중치를 의미한다. 일 예로, 보간하고자 하는 서브 픽셀을 a, 서브 픽셀 a와 수평 방향으로 인접한 정수 픽셀들을 차례로 A, B, C, D, E, F라고 하면, 6-탭 FIR 필터를 이용하여 a={(A×h1)+(B×h2)+(C×h3)+(D×h4)+(E×h5)+(F×h6)}와 같이 서브 픽셀 a의 보간값을 생성할 수 있다. 본 발명에서는, 각 정수 픽셀 A 내지 F에 곱하여지는 가중치 h1 내지 h6를 보간 필터 계수라고 정의하며, 보간 필터 계수 그룹이란 상기 보간 필터 계수들(h1 내지 h6)와 같이 임의의 서브 픽셀의 보간을 위해 적용되는 한 쌍의 보간 필터 계수들을 의미한다.First, in describing the present invention, the interpolation filter coefficient means a weight multiplied by an integer pixel when a weighted sum using adjacent integer pixels for interpolation of each subpixel is obtained. For example, suppose that the subpixel to be interpolated is a, and the integer pixels adjacent to the subpixel a in the horizontal direction are A, B, C, D, E, and F in turn, and a = {(A The interpolation value of the subpixel a can be generated as follows: xh1) + (Bxh2) + (Cxh3) + (Dxh4) + (Exh5) + (Fxh6)}. In the present invention, the weights h1 to h6 multiplied by the integer pixels A to F are defined as interpolation filter coefficients, and the interpolation filter coefficient group is used for interpolation of arbitrary subpixels such as the interpolation filter coefficients h1 to h6. Means a pair of interpolation filter coefficients applied.
도 2는 본 발명의 바람직한 실시예에 따른 영상 보간 장치를 구비한 영상 부호화 장치의 블록도이며, 도 3은 도 2의 영상 부호화 장치에 입력되는 영상 데이터의 일 예를 나타낸 도면이다.2 is a block diagram of an image encoding apparatus having an image interpolation apparatus according to an exemplary embodiment of the present invention, and FIG. 3 is a diagram illustrating an example of image data input to the image encoding apparatus of FIG. 2.
도 2를 참조하면, 영상 부호화 장치는 영상 데이터를 부호화하기 위해 부호화 제어부(210), 변환 부호화부(220), 변환 복호화부(230), 메모리부(240), 움직임 보상부(250), 움직임 예측부(260) 및 엔트로피 부호화부(270)를 구비한다.Referring to FIG. 2, the apparatus for encoding an image may include an
입력 영상은 도 3과 같이 시간축을 따라서 카메라와 같은 소정의 영상 획득 수단으로부터 입력되는 프레임들 또는 프레임을 소정 크기로 분할하여 얻어진 블록들로 구성된다. 프레임은 순차 주사 방식에 의해 얻어진 순차 주사 프레임, 비월 주사 방식에 의해 얻어진 필드 또는 비월 주사 프레임을 포함한다. 이하 설명하는 영상 데이터는 순차 주사 프레임, 비월 주사 프레임, 필드, 블록 구조의 픽처, 및 프레임을 소정 크기로 분할한 파티션 단위를 포함하는 의미이다.The input image is composed of blocks obtained by dividing frames or frames inputted from a predetermined image acquisition means such as a camera along a time axis into a predetermined size as shown in FIG. 3. The frame includes a sequential scan frame obtained by the sequential scanning method, a field obtained by the interlaced scanning method or an interlaced scanning frame. The video data described below is meant to include sequential scanning frames, interlaced scanning frames, fields, pictures of a block structure, and partition units obtained by dividing frames into predetermined sizes.
영상 데이터가 입력되면 부호화 제어부(100)는 입력되는 영상의 특성 또는 사용자가 원하는 소정 동작 목적에 따라, 입력 영상에 대해 움직임 보상을 수행할지 여부에 따른 코딩-타입(인트라 코딩/인터 코딩)을 결정하여 대응하는 제어 신호를 제1 스위치(S1)로 출력한다. 움직임 보상을 수행할 경우에는 이전 또는 이후에 입력된 영상 데이터가 필요하므로 제1 스위치(S1)는 닫히게 되고 움직임 보상을 수행하지 않을 경우에는 이전 또는 이후에 입력된 영상 데이터가 필요하지 않으므로 제1 스위치(S1)는 열리게 된다. 제1 스위치(S1)가 닫히면 입력 영상과 이전 또는 이후 영상으로부터 얻어진 차 영상 데이터(residue)가 변환 부호화부(220)로 입력되고 제1 스위치(S1)가 열리면 입력 영상만이 변환 부호화부(220)로 입력된다.When image data is input, the encoding controller 100 determines a coding-type (intra coding / inter coding) according to whether to perform motion compensation on the input image according to the characteristics of the input image or a predetermined operation purpose desired by the user. To output the corresponding control signal to the first switch S1. When performing the motion compensation, the first switch S1 is closed because the image data inputted before or after is required, and when the motion compensation is not performed, the first switch S1 is not needed. S1 is opened. When the first switch S1 is closed, the difference image data obtained from the input image and the previous or subsequent image are input to the
변환 부호화부(220)는 입력된 영상 데이터를 변환(transform) 부호화하여 얻어진 변환 계수값들을 소정 양자화 스텝에 따라 양자화하여 양자화된 변환 계수값들로 구성된 2차원 데이터인 N×M 데이터를 얻는다. 사용되는 변환의 예로는 DCT(Discrete Cosine Transform)을 들 수 있다. 양자화는 미리 결정된 양자화 스텝에 따라 수행된다.The
한편, 변환 부호화부(220)로 입력되어 부호화된 영상 데이터는 이후 또는 이전에 입력된 영상 데이터의 움직임 보상을 위한 참조 데이터로 사용될 수 있으므로 변환 복호화부(2300)에 의해, 변환 부호화부(220)의 역과정인 역양자화와 역변환 부호화를 거친 후 메모리부(240)에 저장된다. 또한, 변환 복호화부(230)로부터 출력된 데이터가 차 영상 데이터이면 부호화 제어부(210)는 제2 스위치(S2)를 닫아서 변환 복호화부(230)로부터 출력된 차 영상 데이터가 움직임 보상부(250)의 출력과 더해진 다음 메모리부(240)에 저장되도록 한다.Meanwhile, since the image data input and encoded by the
움직임 예측부(260)는 입력된 영상 데이터와 메모리부(240)에 저장된 데이터를 비교하여, 현재 입력된 데이터와 가장 유사한 데이터를 찾은 다음, 입력된 영상 데이터와 비교하여 산출된 움직임 벡터 MV(Motion Vector)를 출력한다. 움직임 벡터는 적어도 하나의 픽처를 참조하여 구해진다. 즉, 움직임 벡터는 복수개의 과거 및/또는 미래의 픽처를 참조하여 산출될 수 있다. 움직임 벡터가 메모리부(240)로 전달되면 메모리부(240)는 해당 데이터를 움직임 보상부(motion compensation)(250)로 출력하며, 움직임 보상부(250)는 입력받은 데이터를 기초로 현재 부호화하는 영상 데이터에 해당하는 움직임 보상값을 만들어 출력한다.The
엔트로피 부호화부(270)는 변환 부호화부(220)로부터 출력되는 양자화된 변환 계수들과 움직임 예측부(260)로부터 출력된 움직임 벡터에 관한 정보를 입력받으며, 부호화 제어부(210)에서 제공되는 코딩 타입 정보, 양자화 스텝 정보, 등 기타 복호화에 필요한 정보들을 입력받아 부호화하여 최종적으로 얻어진 비트스트림을 출력한다.The
움직임 보상부(250)는 본 발명의 바람직한 실시예에 따른 영상 보간 장치(280)을 구비하고 있다. 영상 보간 장치(280)는 움직임 보상에 필요한 참조 영상 데이터의 해상도를 높이기 위한 보간을 수행한다. 이하, 영상 보간 장치(280)의 구성 및 동작에 대하여 설명한다.The
도 4는 본 발명의 일 실시예에 따른 영상 보간 장치를 나타낸 블록도이다.4 is a block diagram illustrating an image interpolation apparatus according to an embodiment of the present invention.
도 4를 참조하면, 본 발명의 일 실시예에 따른 영상 보간 장치(400)는 저장부(410), 후보 보간 영상 생성부(420) 및 선택부(430)를 포함한다.Referring to FIG. 4, an
저장부(410)는 입력 영상 데이터의 정수 픽셀 사이에 위치한 각 서브 픽셀 의 보간에 적용될 복수 개의 보간 필터 계수 그룹들을 구비한 소정의 룩업 테이블을 저장한다. 후술되는 도 13 및 도 14에 도시된 바와 같이, 룩업 테이블은 각 서브 픽셀에 적용되는 보간 필터 계수 그룹들을 주파수 응답 특성의 유사도에 따라 그룹화하고, 각 그룹의 대표적인 보간 필터 계수 그룹을 테이블화한 것으로 미리 지정된 보간 필터 계수 그룹들을 갖는다.The
후보 보간 영상 생성부(420)는 룩업 테이블에 저장된 복수 개의 보간 필터 계수 그룹들을 적용하여 현재 영상 프레임의 움직임 보상시에 이용될 참조 영상 프레임을 보간하여 후보 보간 영상들을 생성한다. 즉, 후보 보간 영상 생성부(420)는 참조 영상 프레임의 각 서브 픽셀에 룩업 테이블에 구비된 복수 개의 보간 필터 계수 그룹들을 적용하여 보간을 수행함으로써 복수 개의 후보 보간 영상을 생성한다.The candidate
선택부(430)는 후보 보간 영상 생성부(430)에서 생성된 후보 보간 영상과 현재 영상의 오차값에 기초하여, 복수 개의 보간 필터 계수 그룹들 중에서 현재 영상 과 움직임 벡터가 가리키는 보간된 참조 영상 영역의 차이값이 최소가 되는 보간 필터 계수 그룹을 선택한다.The
구체적으로, 후보 보간 영상 생성부(420)가 이전에 디코딩된 참조프레임을 보간하여 후보 보간 영상들을 생성한다. 선택부(430)는 생성된 후보 보간 영상 중에서 상기 움직임 벡터가 가리키는 영역의 데이터를 획득하고, 획득된 후보 보간 영상 영역과 대응되는 현재 영상과의 차이값을 계산하여, 이 차이값이 최소가 되는 후보 보간 영상을 최종적인 보간 영상으로 선택한다. 또한, 선택부(430)는 선택된 최종적인 보간 영상을 생성하기 위해서 각 서브 픽셀에 적용된 보간 필터 계수 그룹들의 인덱스 정보를 출력한다. 이는 각 서브 픽셀에 적용된 보간 필터 계수 그 자체를 전송하는 것이 아니라, 룩업 테이블 상의 인덱스 정보만을 전송함으로써 부호화 효율을 향상시키기 위한 것이다.In detail, the candidate
도 5는 본 발명의 일 실시예에 따른 영상 보간 방법을 나타낸 플로우 차트이다.5 is a flowchart illustrating an image interpolation method according to an embodiment of the present invention.
도 5를 참조하면, 단계 510에서 참조 영상 프레임과 현재 영상 프레임 사이에 소정 크기의 블록 단위로 움직임 예측을 수행하여 움직임 벡터를 예측한다. 여기서 참조 영상 프레임은 일반적인 6-탭 FIR 필터를 적용하여 보간된 영상이 이용될 수 있다.Referring to FIG. 5, in
움직임 예측을 설명하기 위한 도 6을 참조하면, 현재 영상 프레임(t)의 소정 크기의 블록에 대하여 대응되는 참조 영상 프레임(t-1)의 소정 크기의 탐색 영역 내에서 현재 영상 프레임(t)의 블록과 가장 유사한 영역을 탐색하는 움지임 예측이 수행되며, 현재 영상 프레임(t)의 블록의 위치와 탐색된 참조 영상 프레임(t-1)의 블록의 위치 차이가 움직임 벡터로 결정된다.Referring to FIG. 6 for explaining the motion prediction, the current image frame t of the current image frame t in the search area of the predetermined size of the reference image frame t-1 corresponding to the block of the predetermined size of the current image frame t is described. A motion prediction that searches the region most similar to the block is performed, and the position difference between the position of the block of the current image frame t and the block of the searched reference image frame t-1 is determined as a motion vector.
단계 520에서, 소정의 룩업 테이블에 구비된 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들을 적용하여 이전에 인코딩 후 디코딩된 참조 영상 프레임을 보간함으로써 후보 보간 영상들을 생성한다.In
도 7은 본 발명에 따른 후보 보간 영상의 생성 과정을 설명하기 위한 도면이 다. 이하에서는, 정수 픽셀 C3, C4, D3, D4로 구성된 정사각형 영역 내에 위치한 서브 픽셀 a 내지 o를 보간하는 과정을 중심으로 설명한다. 나머지 서브 픽셀들은 상기 서브 픽셀 a 내지 o를 보간하는 과정과 유사하게 보간될 수 있다.7 is a diagram for describing a process of generating a candidate interpolation image according to the present invention. Hereinafter, the process of interpolating the subpixels a to o located in the square region including integer pixels C3, C4, D3, and D4 will be described. The remaining subpixels may be interpolated similarly to the process of interpolating the subpixels a to o.
먼저, 정수 픽셀 C1 내지 C6 또는 A3 내지 F3에 1차원 6-탭 FIR 필터를 적용하여 서브 픽셀 a, b, c, d, h, l를 보간한다. 구체적으로, 서브 픽셀 a, b, c에 대해서는 수평 방향의 정수 픽셀 C1 내지 C6에 1차원 6-탭 FIR 필터를 적용하고, 서브 픽셀 d, h, l에 대해서는 수직 방향의 정수 픽셀 A3 내지 F3에 1차원 6-탭 FIR 필터를 적용한다. 나머지 서브 픽셀 e, f, g, i, j, k, m, n 및 o에 대해서는 2차원 6x6-탭 필터를 적용하여 보간을 수행할 수 있다. 특히, 본 발명에 따른 영상 보간 방법은, 각 서브 픽셀의 보간을 위해 적용되는 보간 필터 계수들로서 소정의 룩업 테이블에 미리 구비된 복수 개의 보간 필터 계수 그룹들을 이용한다.First, subpixels a, b, c, d, h and l are interpolated by applying a one-dimensional six-tap FIR filter to integer pixels C1 to C6 or A3 to F3. Specifically, the one-dimensional six-tap FIR filter is applied to the horizontal pixels integer pixels C1 to C6 for the subpixels a, b, and c, and to the vertical pixels A3 to F3 for the subpixels d, h, and l. Apply a one-dimensional six-tap FIR filter. Interpolation may be performed on the remaining subpixels e, f, g, i, j, k, m, n, and o by applying a two-dimensional 6x6-tap filter. In particular, the image interpolation method according to the present invention uses a plurality of interpolation filter coefficient groups provided in a predetermined lookup table as interpolation filter coefficients applied for interpolation of each subpixel.
도 8은 본 발명에 따른 각 서브 픽셀에 적용되는 복수 개의 보간 필터 계수 그룹들을 구비하는 룩업 테이블의 일 예를 나타낸 도면이다.8 illustrates an example of a lookup table having a plurality of interpolation filter coefficient groups applied to each subpixel according to the present invention.
도 8을 참조하면, 룩업 테이블(Look Up Table:LUT)은 각 서브 픽셀에 적용되는 복수 개의 보간 필터 계수 그룹들을 구비한다. 도 8에서는 6-탭 FIR 필터, 즉 서브 픽셀 주변의 6개의 정수 픽셀을 이용하여 서브 픽셀을 보간하는 경우의 보간 필터 계수 그룹을 나타낸 것이다. 예를 들어, 도 8을 참조하면 서브 픽셀 b에 적용되는 보간 필터 계수 그룹(인덱스:1)은 h00, h01, h02, h03, h04, h05이다. 이 경우, 도 7의 서브 픽셀 b는 인덱스 1로 표시된 보간 필터 계수 그룹을 적용하여 다음의 수학식 1과 같이 계산될 수 있다.Referring to FIG. 8, a look up table (LUT) includes a plurality of interpolation filter coefficient groups applied to each subpixel. FIG. 8 shows an interpolation filter coefficient group in the case of interpolating a subpixel using a six-tap FIR filter, that is, six integer pixels around the subpixel. For example, referring to FIG. 8, interpolation filter coefficient groups (index: 1) applied to subpixel b are h00, h01, h02, h03, h04, and h05. In this case, the subpixel b of FIG. 7 may be calculated as in
유사하게, 나머지 서브 픽셀들에 대해서도 룩업 테이블에 미리 구비된 보간 필터 계수 그룹 중 하나를 선택 적용함으로써 각 서브 픽셀의 보간값을 생성한다. 각 서브 픽셀에서의 보간값을 생성함으로써 하나의 후보 보간 영상을 생성한 다음, 다시 룩업 테이블에 존재하는 다른 보간 필터 계수 그룹을 각 서브 픽셀에 적용하여 다른 후보 보간 영상을 생성한다. 이와 같은 방식으로 룩업 테이블에 구비된 보간 필터 계수 그룹을 적용하여 후보 보간 영상을 생성한다. 한편, 도 7에서는 서브 픽셀 a 및 b의 보간에 이용될 보간 필터 계수 그룹만을 도시하였으나, 룩업 테이블에는 각 서브 픽셀 위치에 대응되는 보간 필터 계수 그룹들이 구비될 수 있다. 또한, 현재 보간하고자 하는 영상의 통계적인 특성이 대칭적이라고 가정하면, 대칭성을 이용하여 상기 서브 픽셀 a 및 b의 결정된 보간 필터 계수 그룹 또는 보간된 서브 픽셀 a 및 b를 이용하여 나머지 서브 픽셀의 보간값을 생성하는 것이 가능하다.Similarly, an interpolation value of each subpixel is generated by selectively applying one of a group of interpolation filter coefficients previously provided in the lookup table for the remaining subpixels. One candidate interpolation image is generated by generating an interpolation value in each subpixel, and then another candidate interpolation image is generated by applying another group of interpolation filter coefficients existing in the lookup table to each subpixel. In this manner, a candidate interpolation image is generated by applying an interpolation filter coefficient group included in the lookup table. In FIG. 7, only an interpolation filter coefficient group to be used for interpolation of subpixels a and b is illustrated, but the lookup table may include interpolation filter coefficient groups corresponding to each subpixel position. In addition, assuming that the statistical characteristics of the image to be interpolated are symmetrical, interpolation of the remaining subpixels using the determined interpolation filter coefficient group of the subpixels a and b or interpolated subpixels a and b using symmetry It is possible to generate a value.
단계 530에서, 상기 단계 510에서 생성된 움직임 벡터가 가리키는 후보 보간 영상들의 영역과 대응되는 원 영상 프레임의 영역 사이의 오차값을 계산하고 계산된 오차값이 최소가 되는 후보 보간 영상을 선택한다. 복호화단에 구비된 영상 보간 장치에서 부호화단과 동일한 룩업 테이블을 가지고 있다고 가정하면, 오차값이 최소가 되는 후보 보간 영상을 생성하는데 이용된 보간 필터 계수 그룹의 인덱스 정보만을 복호화단에 전송하면 되기 때문에 전송되는 데이터량을 줄일 수 있다.In
이와 같이, 본 발명의 일 실시예에 따르면, 소정의 룩업 테이블에 구비된 보간 필터 계수 그룹을 적용하여 후보 보간 영상을 생성하며, 후보 보간 영상 중에서 현재 영상과의 차이가 가장 작은 보간 영상을 선택하고, 보간 영상의 생성시에 이용된 정보를 인덱스를 통해 전송함으로써 전체적인 부호화 이득을 향상시킬 수 있다.As described above, according to an embodiment of the present invention, a candidate interpolation image is generated by applying an interpolation filter coefficient group included in a predetermined lookup table, and the interpolation image having the smallest difference from the current image is selected among the candidate interpolation images. In addition, the overall coding gain can be improved by transmitting the information used in generating the interpolated image through the index.
도 9는 본 발명의 다른 실시예에 따른 영상 보간 장치를 나타낸 블록도이며, 도 10은 본 발명의 다른 실시예에 따른 영상 보간 방법을 나타낸 플로우 차트이다.9 is a block diagram illustrating an image interpolation apparatus according to another embodiment of the present invention, and FIG. 10 is a flowchart illustrating an image interpolation method according to another embodiment of the present invention.
본 발명의 다른 실시예에 따른 영상 보간 장치 및 방법은 미리 각 서브 픽셀의 보간에 적용할 보간 필터 계수 그룹들을 구비하는 룩업 테이블 대신에, 복수 개의 영상 프레임들로 구성되는 전체 영상 시퀀스에서 초기에 입력된 소정 개수의 입력 영상 프레임에 대한 적응적 보간 결과로부터 각 서브 픽셀에 적용할 보간 필터 계수를 결정한다. 그리고 각 서브 픽셀에서의 보간 필터 계수 그룹들을 그 주파수 응답 특성에 따라 분류하여 그룹화함으로써 룩업 테이블을 생성한 다음, 초기에 입력된 소정 개수의 입력 영상 프레임을 제외한 나머지 영상 프레임들에 대하여는 전술한 본 발명의 일 실시예와 유사하게 룩업 테이블에 구비된 각 서브 픽셀의 보간 필터 계수 그룹을 적용하여 후보 보간 영상을 생성하고, 원 영상과 보간된 영상으로부터 움직임 보상을 통해 획득된 영상 사이의 차이값이 최소가 되는 보간 영상을 최종적으로 결정한다.An image interpolation apparatus and method according to another embodiment of the present invention initially input in an entire image sequence composed of a plurality of image frames instead of a lookup table having interpolation filter coefficient groups to be applied to interpolation of each subpixel in advance. An interpolation filter coefficient to be applied to each subpixel is determined from the adaptive interpolation result for the predetermined number of input image frames. The interpolation filter coefficient groups in each sub-pixel are classified and grouped according to their frequency response characteristics to generate a look-up table, and then, for the remaining image frames except for a predetermined number of input image frames, the above-described present invention is described. Similar to one embodiment of the present invention, a candidate interpolation image is generated by applying an interpolation filter coefficient group of each subpixel included in the lookup table, and a difference value between the original image and the image acquired through motion compensation is minimized from the interpolated image. The interpolation image to be finally determined.
도 9를 참조하면, 본 발명의 다른 실시예에 따른 영상 보간 장치(900)는 룩 업 테이블 생성부(910), 후보 보간 영상 생성부(920) 및 선택부(930)를 포함한다.Referring to FIG. 9, an
단계 1010에서, 룩업 테이블 생성부(910)는 입력 영상 시퀀스에 구비된 소정 개수의 프레임들에 대하여 적응적 보간을 수행하여, 각 서브 픽셀에 적용되는 보간 필터 계수들을 생성한다.In
도 11은 본 발명의 다른 실시예에 따른 영상 보간 장치(900)에 입력되는 영상 시퀀스를 나타낸 도면이다.11 is a diagram illustrating an image sequence input to an
도 11을 참조하면, 룩업 테이블 생성부(910)는 전체 입력 영상 시퀀스 중에서 초기에 입력되는 N개의 영상 프레임들을 이용하여 적응적 보간을 수행한다. 즉, 룩업 테이블 생성부(910)는 N개의 영상 프레임들에 대하여 적응적 보간을 수행함으로써 각 서브 픽셀에 적용되는 보간 필터 계수 그룹들을 결정한 다음, 각 서브 픽셀의 보간 필터 계수 그룹들을 그 주파수 응답 특성에 따라 분류한다. 여기서, 적응적 보간이란 각 서브 픽셀에 고정된 보간 필터 계수 그룹을 이용하는 대신에 영상 특성을 고려하여 각 서브 픽셀마다 서로 다른 보간 필터 계수 그룹이 적용될 수 있도록 하는 것이다. 일 예로, 적응적 보간 방식은 먼저 일반적인 6-탭 FIR 필터를 이용하여 보간된 참조 영상에 대한 움직임 예측을 수행하여 움직임 벡터를 생성한 다음, 원 영상과 이전에 복호화된 영상을 보간한 영상, 즉 보간된 참조 영상 프레임 중에서 상기 움직임 벡터가 가리키는 참조 영상의 대응 영역의 차이가 최소가 되도록 하는 보간 필터 계수값을 결정하는 것이다. 구체적으로, Sx,y를 (x,y)에 위치한 원 영상의 픽셀값, Px,y를 (x,y)에 위치한 이전에 복호화된 영상의 픽셀값, 
전술한 바와 같이, N개의 입력 영상 프레임에 대하여 적응적 보간을 수행하여 N개의 입력 영상의 각 서브 픽셀에서의 보간 필터 계수가 결정되면, 보간 필터 계수의 주파수 응답 특성에 따라 각 서브 픽셀의 보간 필터 계수들을 분류하여 그룹화하고, 각 그룹의 보간 필터 계수들을 하나의 대표적인 보간 필터 계수들로 나타냄으로써 룩업 테이블을 생성한다.As described above, when the interpolation filter coefficients are determined in each subpixel of the N input images by performing adaptive interpolation on the N input image frames, the interpolation filter of each subpixel according to the frequency response characteristic of the interpolation filter coefficients. The lookup table is generated by classifying and grouping the coefficients and representing each group of interpolation filter coefficients as one representative interpolation filter coefficients.
도 12는 입력 영상 시퀀스에 구비된 초기 30개의 영상 프레임들에 대하여 적응적인 보간을 수행하여 결정된 보간 필터 계수 그룹들 중, 도 7의 서브 픽셀 b에 대응되는 보간 필터 계수 그룹들을 나타낸 도면이며, 도 13은 도 12의 보간 필터 계수들을 그 주파수 응답 특성에 따라 유사한 주파수 응답 특성에 따라 분류하여 나타낸 그래프이다. 도 12에서 bn은 초기 30개의 영상 프레임 중 n번째 영상 프레임에 대한 적응적 보간 수행 결과 생성된 도 7의 서브 픽셀 b에 적용되는 것으로 결정된 보간 필터 계수들을 나타낸 것이다. 예를 들어, 첫 번째 열의 [-0.00192096, -0.07713862, 0.57844012, 0.57844012, -0.17713862, -0.0019206]은 첫 번째 입력 영상 프레임의 서브 픽셀들 중 도 7의 서브 픽셀 b1에 대한 적응적 보간 결과 결정된 보간 필터 계수 그룹을 나타낸 것이다.12 is a diagram illustrating interpolation filter coefficient groups corresponding to subpixel b of FIG. 7 among interpolation filter coefficient groups determined by performing adaptive interpolation on the initial 30 image frames included in an input image sequence. 13 is a graph illustrating the interpolation filter coefficients of FIG. 12 classified according to similar frequency response characteristics according to their frequency response characteristics. In FIG. 12, bn represents interpolation filter coefficients determined to be applied to subpixel b of FIG. 7 generated as a result of adaptive interpolation on an nth image frame among the initial 30 image frames. For example, [-0.00192096, -0.07713862, 0.57844012, 0.57844012, -0.17713862, -0.0019206] in the first column is an interpolation filter determined as a result of adaptive interpolation on subpixel b1 of FIG. 7 among the subpixels of the first input image frame. Represents a coefficient group.
도 13을 참조하면, 30개의 입력 영상 프레임들의 서브 픽셀 b에 적용되는 보간 필터 계수 그룹들을 그 주파수 응답 특성에 따라 분류하면 6개의 그룹으로 분류할 수 있다. 따라서, 룩업 테이블 생성부(910)은 유사한 주파수 응답 특성을 갖는 보간 필터 계수 그룹들을 하나의 그룹으로 분류하고, 각각의 그룹을 대표하는 보간 필터 계수 그룹을 결정하여 저장함으로써 각 서브 픽셀에 적용할 보간 필터 계수 그룹들로 구성되는 룩업 테이블을 생성한다. 일 예로, 룩업 테이블 생성부(910)는 각 보간 필터 계수 그룹의 주파수 응답 특성 곡선의 면적을 구하여, 유사한 면적을 갖는 보간 필터 계수 그룹들을 하나의 카테고리로 분류하여 룩업 테이블을 생성할 수 있다. 구체적으로, 도 13에 도시된 바와 같이 i번째 보간 필터 계수 그룹들의 주파수 응답 특성 곡선의 면적(S(i))라고 하면, 룩업 테이블 생성부(910)는 적응적 보간 결과 생성된 i번째 및 j번째 보간 필터 계수 그룹들의 주파수 응답 특성 곡선의 면적 s(i) 및 s(j)가 모두 소정의 임계치(Tn -1, Tn) 사이에 속하는 경우, 즉 Tn-1<S(i)<Tn, Tn -1<S(j)<Tn인 경우 i번째 및 j번째 보간 필터 계수 그룹들을 동일한 카 테고리로 분류한다. Referring to FIG. 13, interpolation filter coefficient groups applied to subpixel b of 30 input image frames may be classified into six groups according to their frequency response characteristics. Accordingly, the
도 14는 입력 영상 시퀀스에 구비된 초기 30개의 영상 프레임들에 대하여 적응적인 보간을 수행하여 결정된 보간 필터 계수 그룹들 중, 도 7의 서브 픽셀 a에 대응되는 보간 필터 계수 그룹들을 그 주파수 응답 특성에 따라 분류하여 나타낸 그래프이다. FIG. 14 illustrates interpolation filter coefficient groups corresponding to the subpixel a of FIG. 7 among the interpolation filter coefficient groups determined by performing adaptive interpolation on the initial 30 image frames included in the input image sequence. This graph is classified according to the following.
도 14를 참조하면, 도 13과 유사하게 적응적 보간 결과 생성된 서브 픽셀 a에 적용되는 보간 필터 계수 그룹들도 주파수 응답 특성이 비슷한 것들을 하나의 카테고리로 분류할 수 있음을 알 수 있다.Referring to FIG. 14, similar to FIG. 13, interpolation filter coefficient groups applied to subpixel a generated as a result of adaptive interpolation may be classified into one category having similar frequency response characteristics.
이와 같이, 룩업 테이블 생성부(910)는 적응적 보간 결과 생성된 각 서브 픽셀의 보간 필터 계수 그룹들을 그 주파수 응답 특성에 따라 분류하여 그룹화한 다음, 각 그룹의 대표값 형태로 보간 필터 계수 그룹을 저장함으로써 룩업 테이블을 생성한다.As such, the
다시 도 9 및 도 10을 참조하면, 단계 1030에서 후보 보간 영상 생성부(920)은 룩업 테이블에 보간 필터 계수 그룹들을 이용하여 이전에 디코딩된 참조 영상 프레임을 보간함으로써 후보 보간 영상들을 생성한다.9 and 10, in
단계 1040에서, 선택부(930)는 후보 보간 영상들의 영역과 대응되는 원 영상 프레임의 영역 사이의 오차값을 계산하고 계산된 오차값이 최소가 되는 후보 보간 영상을 선택한다. 본 발명의 일 실시예와 마찬가지로 복호화단에 구비된 영상 보간 장치에서 부호화단과 동일한 룩업 테이블을 가지고 있다고 가정하면, 오차값이 최소가 되는 후보 보간 영상을 생성하는데 이용된 보간 필터 계수 그룹의 인덱스 정보만을 복호화단에 전송하면 되기 때문에 전송되는 데이터량을 줄일 수 있다.In
도 15는 본 발명의 또 다른 실시예에 따른 영상 보간 장치를 나타낸 블록도이고, 도 16은 본 발명의 또 다른 실시예에 따른 영상 보간 방법을 나타낸 플로우 차트이다.FIG. 15 is a block diagram illustrating an image interpolation apparatus according to still another exemplary embodiment. FIG. 16 is a flowchart illustrating an image interpolation method according to another exemplary embodiment.
도 15를 참조하면, 본 발명의 또 다른 실시예에 다른 영상 보간 장치(1500)는 저장부(1510), 보간 필터 계수 선택부(1520) 및 보간부(1530)를 포함한다.Referring to FIG. 15, another
단계 1610에서, 움직임 예측부(미도시)에서 참조 영상 프레임과 현재 영상 프레임 사이에 움직임 예측을 수행하여 움직임 벡터를 생성한다. 영상 보간 장치(1500)가 도 2에 도시된 영상 부호화 장치(200)에 적용되는 경우에는 도 2의 움직임 예측부(260)에서 생성된 움직임 벡터를 이용할 수 있다.In
저장부(1510)는 입력 영상 데이터의 정수 픽셀 사이에 위치한 각 서브 픽셀 의 보간에 적용될 복수 개의 보간 필터 계수 그룹들을 구비한 소정의 룩업 테이블을 저장한다. 전술한 바와 같이, 룩업 테이블은 각 서브 픽셀에 적용되는 보간 필터 계수 그룹들을 주파수 응답 특성의 유사도에 따라 그룹화하고, 각 그룹의 대표적인 보간 필터 계수 그룹을 테이블화한 것으로 미리 지정된 보간 필터 계수 그룹들을 갖는다.The
단계 1620에서, 보간 필터 계수 선택부(1520)는 현재 영상 프레임의 움직임 벡터 정보를 이용하여 저장부(1510)의 룩업 테이블에 구비된 복수 개의 보간 필터 계수 그룹들 중에서 하나의 보간 필터 계수 그룹을 선택한다. 특히 영상 보간 장치(1500)를 영상 복호화 장치에 적용하는 경우, 보간 필터 계수 선택부(1520)는 영 상 복호화 장치에 의하여 복호화된 움직임 벡터를 이용하여 복수 개의 보간 필터 계수 그룹들 중에서 하나의 보간 필터 계수 그룹을 선택한다. 또한, 본 발명의 또 다른 실시예에 따른 영상 보간 장치(1500)를 영상 부호화 장치에 적용하는 경우, 보간 필터 계수 선택부(1520)는 영상 부호화 장치에 구비된 움직임 예측부(미도시)에서 생성된 움직임 벡터를 이용하여, 움직임 벡터의 크기 및 매크로 블록에 구비된 움직임 벡터의 개수를 기준으로 적용할 보간 필터 계수 그룹을 결정한다.In
구체적으로, 보간 필터 계수 선택부(1520)는 현재 영상의 움직임 벡터의 크기에 따라 적용되는 보간 필터 계수 그룹을 결정할 수 있다. 예를 들어 현재 매크로 블록에 구비된 16개의 4x4 블록의 움직임 벡터 MV를 (mvxi,mvyi)(i=0~15의 정수)라고 하면, 현재 매크로 블록에 구비된 16개의 4x4 블록의 움직임 벡터들의 크기의 합(A)는 
단계 1630에서, 보간부(1530)는 선택된 보간 필터 계수를 이용하여 참조 영상 프레임에 대한 보간을 수행한다.In
본 발명의 또 다른 실시예에 의하는 경우에는, 부호화단에서 선택된 보간 필터 계수 그룹을 별도로 복호화단에 전송할 필요가 없으며, 복호화단에서는 부호화단에서 보간 필터 계수 그룹의 선택 과정과 동일하게 비트스트림에 구비된 움직임 벡터 정보를 이용하여 서브 픽셀에 적용할 보간 필터 계수 그룹을 선택할 수 있다.According to another embodiment of the present invention, it is not necessary to separately transmit the interpolation filter coefficient group selected at the encoding end to the decoding end, and the decoding end is applied to the bitstream in the same manner as the selection process of the interpolation filter coefficient group at the encoding end. The interpolation filter coefficient group to be applied to the subpixel may be selected using the provided motion vector information.
도 17은 본 발명의 바람직한 실시예에 따른 영상 보간 장치를 구비한 복호화 장치의 블록도이다.17 is a block diagram of a decoding apparatus including an image interpolation apparatus according to a preferred embodiment of the present invention.
도 17을 참조하면, 복호화 장치는 도 2의 부호화 장치에 의해 부호화된 비트스트림을 수신하여 복호화하기 위한 장치로서, 비트스트림을 디먹싱하는 디먹싱부(1710), 엔트로피 복호화부(1720), 변환 복호화부(1750)를 구비한다. 또한, 코딩 타입 정보를 해석하는 코딩 타입 정보 해석부(1730) 및 움직임벡터를 해석하는 움직임 벡터 해석부(1740)를 구비한다.Referring to FIG. 17, a decoding apparatus is a device for receiving and decoding a bitstream encoded by the encoding apparatus of FIG. 2, and includes a
비트스트림은 디먹싱부(1710)에 의해 엔트로피 부호화된 양자화된 변환 계수들, 움직임 벡터 정보, 코딩 타입 정보 등으로 디먹싱된다. 엔트로피 복호화부(1720)는 엔트로피 부호화된 변환 계수들을 엔트로피 복호화하여 양자화된 변환 계수들을 출력한다. 변환 복호화부(1750)는 양자화된 변환 계수들을 변환 복호화한다. 복원된 영상 데이터는 움직임 보상을 위해 메모리부(1760)에 저장된다.The bitstream is demuxed into quantized transform coefficients, motion vector information, coding type information, and the like entropy coded by the
한편, 코딩 타입 정보 해석부(1740)는 코딩 타입을 알아내어 움직임 보상이 필요한 인터 타입일 경우 제3 스위치(S30)를 닫는다. 이에 따라, 변환 복호화부(1750)로부터 출력된 데이터에 움직임 보상부(1770)로부터 출력된 움직임 보상값이 더해져서 복원된 영상 데이터가 얻어지게 된다. 움직임 벡터 해석부(1740)는 움직임 벡터 정보로부터 얻은 움직임 벡터가 가리키는 위치를 알려주고, 움직임 보상부(1770)는 움직임 벡터가 가리키는 참조 영상 데이터로부터 움직임 보상값을 생성하여 출력한다.Meanwhile, the coding
움직임 보상부(1770)는 영상 보간부(1775)를 구비하고 있다. 영상 보간부775)로서 전술한 본 발명의 실시예들에 따른 영상 보간 장치(400, 900, 1500)들이 이용될 수 있다. The
도 18은 본 발명에 따른 영상 보간 방법이 적용되는 보간 단위를 설명하기 위한 도면이다.18 illustrates an interpolation unit to which an image interpolation method according to the present invention is applied.
전술한 본 발명에 따른 영상 보간 방법은 하나의 프레임 단위뿐만 아니라, 프레임을 분할한 파티션 단위, 파티션을 더 분할한 매크로 블록 단위로 적용될 수 있다. 즉, 룩업 테이블을 하나의 프레임 단위로 설정하거나, 또는 각각의 파티션이 서로 다른 룩업 테이블을 설정하거나, 매크로 블록 단위로 서로 다른 룩업 테이블을 생성할 수도 있다.The image interpolation method according to the present invention described above may be applied not only to one frame unit but also to a partition unit for dividing a frame and a macroblock unit for further dividing a partition. That is, the lookup table may be set in one frame unit, each partition may have a different lookup table, or a different lookup table may be generated in macroblock units.
본 발명에 따른 영상 보간 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.The image interpolation method according to the present invention can also be embodied as computer readable codes on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet). It includes being. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.
전술한 본 발명에 따르면, 각 서브 픽셀에 적용되는 보간 필터 계수를 전송하는 대신에 룩업 테이블 상의 인덱스만을 전송함으로써 전송되어야 하는 부가 정보의 양을 줄일 수 있으므로 영상 부호화시에 높은 압축 효율을 제공할 수 있다. 또한, 본 발명은 종래의 고정된 보간 필터 계수들을 갖는 6-탭 필터에 비하여 영상 특성에 따라 적응적인 보간을 수행함으로써 예측 오차를 최소화하고 앨리어싱 효과를 줄일 수 있다.According to the present invention described above, instead of transmitting the interpolation filter coefficients applied to each sub-pixel, only the index on the lookup table can be reduced to reduce the amount of additional information to be transmitted, thereby providing high compression efficiency in image encoding. have. In addition, the present invention can minimize the prediction error and reduce the aliasing effect by performing the adaptive interpolation according to the image characteristics as compared to the 6-tap filter having the fixed fixed interpolation filter coefficients.
Claims (23)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060110179A KR100878536B1 (en) | 2006-11-08 | 2006-11-08 | Method and apparatus for interpolating video |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060110179A KR100878536B1 (en) | 2006-11-08 | 2006-11-08 | Method and apparatus for interpolating video |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080041935A KR20080041935A (en) | 2008-05-14 |
| KR100878536B1 true KR100878536B1 (en) | 2009-01-13 |
Family
ID=39648875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020060110179A KR100878536B1 (en) | 2006-11-08 | 2006-11-08 | Method and apparatus for interpolating video |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100878536B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101073497B1 (en) | 2009-11-17 | 2011-10-17 | 한국과학기술원 | Apparatus for enhancing image and method therefor |
| KR20140020089A (en) * | 2012-08-08 | 2014-02-18 | 삼성전자주식회사 | Terminal and method for generating live image in terminal |
| KR101407832B1 (en) * | 2012-12-12 | 2014-06-18 | 조선대학교산학협력단 | Error resilient reference selection for Video Codec using multiple reference frames |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8625681B2 (en) * | 2008-07-09 | 2014-01-07 | Intel Corporation | Rate-distortion cost reducing video encoding techniques |
| KR101353304B1 (en) | 2008-10-24 | 2014-01-21 | 에스케이 텔레콤주식회사 | Video Encoding/Decoding Method and Apparatus Using Adaptive Interpolation Filter Coefficient |
| KR101538704B1 (en) | 2009-01-28 | 2015-07-28 | 삼성전자주식회사 | Method and apparatus for coding and decoding using adaptive interpolation filters |
| WO2011118946A2 (en) * | 2010-03-21 | 2011-09-29 | 엘지전자 주식회사 | Method and device for processing video signal |
| WO2012005558A2 (en) * | 2010-07-09 | 2012-01-12 | 삼성전자 주식회사 | Image interpolation method and apparatus |
| US9420294B2 (en) | 2011-02-23 | 2016-08-16 | Lg Electronics Inc. | Intra-prediction method using filtering, and apparatus using the method |
| WO2013069976A1 (en) * | 2011-11-08 | 2013-05-16 | 주식회사 케이티 | Method and apparatus for encoding image, and method an apparatus for decoding image |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003319398A (en) | 2002-04-24 | 2003-11-07 | Nec Corp | Encoding method and decoding method for moving picture, and apparatus and program employing the same |
| JP2004007337A (en) | 2002-04-25 | 2004-01-08 | Sony Corp | Image processing apparatus and its method |
| KR20050018948A (en) * | 2002-07-09 | 2005-02-28 | 노키아 코포레이션 | Method and system for selecting interpolation filter type in video coding |
| KR20060044356A (en) * | 2004-03-17 | 2006-05-16 | 마쯔시다덴기산교 가부시키가이샤 | Moving picture coding apparatus |
-
2006
- 2006-11-08 KR KR1020060110179A patent/KR100878536B1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003319398A (en) | 2002-04-24 | 2003-11-07 | Nec Corp | Encoding method and decoding method for moving picture, and apparatus and program employing the same |
| JP2004007337A (en) | 2002-04-25 | 2004-01-08 | Sony Corp | Image processing apparatus and its method |
| KR20050018948A (en) * | 2002-07-09 | 2005-02-28 | 노키아 코포레이션 | Method and system for selecting interpolation filter type in video coding |
| KR20060044356A (en) * | 2004-03-17 | 2006-05-16 | 마쯔시다덴기산교 가부시키가이샤 | Moving picture coding apparatus |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101073497B1 (en) | 2009-11-17 | 2011-10-17 | 한국과학기술원 | Apparatus for enhancing image and method therefor |
| KR20140020089A (en) * | 2012-08-08 | 2014-02-18 | 삼성전자주식회사 | Terminal and method for generating live image in terminal |
| KR101994295B1 (en) * | 2012-08-08 | 2019-06-28 | 삼성전자주식회사 | Terminal and method for generating live image in terminal |
| KR101407832B1 (en) * | 2012-12-12 | 2014-06-18 | 조선대학교산학협력단 | Error resilient reference selection for Video Codec using multiple reference frames |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20080041935A (en) | 2008-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100878536B1 (en) | Method and apparatus for interpolating video | |
| US20200068215A1 (en) | Method and apparatus for encoding/decoding images using adaptive motion vector resolution | |
| KR100714698B1 (en) | Enhanced motion estimation method, video encoding method and apparatus using the same | |
| KR100803611B1 (en) | Method and apparatus for encoding video, method and apparatus for decoding video | |
| KR100593350B1 (en) | Image encoding device, image encoding method, image decoding device, image decoding method, and communication device | |
| US5546129A (en) | Method for encoding a video signal using feature point based motion estimation | |
| US8625916B2 (en) | Method and apparatus for image encoding and image decoding | |
| JP2924431B2 (en) | Coding method | |
| JP5321426B2 (en) | Image encoding device, image decoding device, image encoding method, and image decoding method | |
| KR100472476B1 (en) | Interpolation apparatus and method for moving vector compensation | |
| KR100619377B1 (en) | Motion estimation method and device | |
| KR100772390B1 (en) | Directional interpolation method and apparatus thereof and method for encoding and decoding based on the directional interpolation method | |
| JPH0870460A (en) | Movement compensation type coding method adapted to magnitude of movement,and its device | |
| EP0644697A2 (en) | Method for half-pixel motion compensation in image decoding | |
| KR20010083717A (en) | Motion estimation method and appratus | |
| KR100541623B1 (en) | Prediction method and device with motion compensation | |
| US20090028241A1 (en) | Device and method of coding moving image and device and method of decoding moving image | |
| KR20040070490A (en) | Method and apparatus for encoding/decoding video signal in interlaced video | |
| KR100926752B1 (en) | Fine Motion Estimation Method and Apparatus for Video Coding | |
| KR101691380B1 (en) | Dct based subpixel accuracy motion estimation utilizing shifting matrix | |
| KR100240620B1 (en) | Method and apparatus to form symmetric search windows for bidirectional half pel motion estimation | |
| JP6961781B2 (en) | Image coding method and image decoding method | |
| JP3700801B2 (en) | Image coding apparatus and image coding method | |
| JP6795666B2 (en) | Image coding method and image decoding method | |
| JP6980889B2 (en) | Image coding method and image decoding method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20121228 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20131230 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20141223 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20151229 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20161228 Year of fee payment: 9 |
|
| LAPS | Lapse due to unpaid annual fee |