KR100203684B1 - Improved image coding system having functions for controlling generated amount of coded bit stream - Google Patents

Improved image coding system having functions for controlling generated amount of coded bit stream Download PDF

Info

Publication number
KR100203684B1
KR100203684B1 KR1019960013800A KR19960013800A KR100203684B1 KR 100203684 B1 KR100203684 B1 KR 100203684B1 KR 1019960013800 A KR1019960013800 A KR 1019960013800A KR 19960013800 A KR19960013800 A KR 19960013800A KR 100203684 B1 KR100203684 B1 KR 100203684B1
Authority
KR
South Korea
Prior art keywords
signal
encoding
bandwidth
current frame
frame
Prior art date
Application number
KR1019960013800A
Other languages
Korean (ko)
Other versions
KR970073146A (en
Inventor
김종일
Original Assignee
전주범
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전주범, 대우전자주식회사 filed Critical 전주범
Priority to KR1019960013800A priority Critical patent/KR100203684B1/en
Publication of KR970073146A publication Critical patent/KR970073146A/en
Application granted granted Critical
Publication of KR100203684B1 publication Critical patent/KR100203684B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141Discrete Fourier transforms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Abstract

본 발명은, 출력측 전송 버퍼의 데이터 충만상태 정보에 기초하여 각 매크로 블록 단위로 결정되는 양자화 파라메터 정보들에 근거하여 현재 부호화하고자 하는 영상의 복잡도를 산출하고, 그 산출결과에 따라 2차원 이산 푸리에 변환을 이용하여 입력 영상신호의 고주파 성분을 선택적으로 제거함으로써, 부호화후의 비트 발생량을 적응적으로 조절할 수 있도록 한 비트 발생량 조절기능을 갖는 영상 부호화 시스템에 관한 것으로, 이를 위하여 본 발명은, DCT, 양자화 및 엔트로피 부호화를 갖는 부호화 수단을 통해 이전에 부호화된 이전 프레임의 각 매크로 블록들에 대해 각각 발생되는 각 양자화 파라메터값을 평균하여 이전 프레임의 평균 양자화 파라메터값을 산출하는 평균값 계산 수단; 산출된 평균 양자화 파라메터값을 현재 부호화하고자 하는 프레임의 복잡도로서 참조하며, 부호화를 위해 입력되는 현재 프레임의 주파수 통과 대역폭을 적응적으로 제한하기 위한 기설정된 복수의 대역폭 결정신호들중 산출된 양자화 파라메터 평균값에 대응하는 대역폭 결정신호를 발생하는 제어수단; 입력 현재 프레임 신호에 대한 공간영역의 영상신호를 2차원 이산 푸리에 변환을 이용하여 M×N 블록 단위의 주파수 영역의 2차원 DFT 변환계수들로 변환하고, 제어수단으로부터 제공되는 발생된 대역폭 결정신호에 의거하여 변환된 2차원 DFT 변환계수 블록들에 대한 고주파 통과 대역을 결정하며, 변환된 각 2차원 DFT 변환계수 블록의 고주파 통과 대역을 결정된 대역폭으로 제한하고, 대역폭이 제한된 양자화된 각 DFT 블록들 각각에 대해 역이산 푸리에 변환을 수행하여 부호화전의 원신호로 복원하며, 원신호로 복원된 대역폭 제한 프레임 신호를 움직임 추정, 보상을 위한 현재 프레임 신호로써 부호화 수단에 제공하는 주파수 선택 수단을 포함함으로써, 부호화 수단에서의 양자화시 과도한 스텝 사이즈의 증가 없이 부호화후 발생되는 비트량을 효과적으로 조절할 수 있는 것이다.The present invention calculates a complexity of an image to be currently encoded based on quantization parameter information determined in units of macroblocks based on data fullness state information of an output transmission buffer, and according to the calculation result, two-dimensional discrete Fourier transform The present invention relates to a video encoding system having a bit generation amount adjusting function for adaptively adjusting a bit generation amount after encoding by selectively removing high frequency components of an input video signal. An average value calculating means for calculating an average quantization parameter value of a previous frame by averaging each quantization parameter value respectively generated for each macroblock of a previous frame previously encoded by encoding means having entropy encoding; The calculated average quantization parameter value is referred to as the complexity of the frame to be currently encoded, and the average value of the calculated quantization parameter among a plurality of preset bandwidth determination signals for adaptively limiting the frequency passband of the current frame input for encoding Control means for generating a bandwidth determination signal corresponding to the signal; Converts the video signal in the spatial domain with respect to the input current frame signal into two-dimensional DFT transform coefficients in the frequency domain in M × N block units using a two-dimensional discrete Fourier transform, and applies the generated bandwidth determination signal provided from the control means. Determine a high pass band for the transformed 2D DFT transform coefficient blocks, limit the high pass band of each transformed 2D DFT transform coefficient block to the determined bandwidth, and each of the quantized DFT blocks with limited bandwidth A frequency selection means for performing an inverse discrete Fourier transform on the signal to restore the original signal before encoding, and providing the bandwidth limited frame signal restored to the original signal to the encoding means as a current frame signal for motion estimation and compensation. In the quantization in the means, the amount of bits generated after encoding is effectively avoided without excessive step size increase. It can be adjusted with.

Description

비트 발생량 조절기능을 갖는 영상 부호화 시스템Image Coding System with Bit Rate Control

제1도는 본 발명의 바람직한 실시예에 따른 비트 발생량 조절기능을 갖는 영상 부호화 시스템의 블록구성도.1 is a block diagram of a video encoding system having a bit generation amount adjusting function according to a preferred embodiment of the present invention.

제2도는 본 발명에 따라 일예로서 8×8 픽셀 블록에 대하여 그 복잡도에 의거하여 결정되는 고주파 성분 제한을 위한 결정 영역을 도시한 도면.2 is a view showing a crystal region for high frequency component limitation determined as an example, based on its complexity, for an 8x8 pixel block according to the present invention;

* 도면의 주요부분에 대한 부호의 설명* Explanation of symbols for main parts of the drawings

100, 170 : 프레임 메모리 110 : 감산기100, 170: frame memory 110: subtractor

120 : 영상 부호화 블록 130 : 엔트로피 부호화 블록120: image coding block 130: entropy coding block

140 : 전송 버퍼 150 : 영상 복호화 블록140: transmission buffer 150: video decoding block

160 : 가산기 180 : 현재프레임 예측 블록160: adder 180: current frame prediction block

210 : QP 평균값 계산 블록 220 : 제어 블록210: QP average value calculation block 220: control block

230 : 주파수 선택 블록230: frequency selection block

본 발명은 영상신호를 압축 부호화하는 영상 부호화 시스템에 관한 것으로, 더욱 상세하게는 영상신호를 압축 부호화하는 영상 부호화기에서 영상을 부호화할 때, 출력측 전송 버퍼의 데이터 충만상태 정보에 기초하여 각 매크로 블록 단위로 결정되는 양자화 파라메터 정보에 근거하여 예측되는 입력 영상신호의 복잡도(Variance)를 참조하여 부호화후의 발생 비트량을 적응적으로 조절하는 데 적합한 비트 발생량 조절기능을 갖는 영상 부호화 시스템에 관한 것이다.The present invention relates to a video encoding system for compressing and encoding a video signal. More particularly, when encoding a video in a video encoder that compresses and encodes a video signal, each macroblock unit is based on data fullness state information of an output transmission buffer. The present invention relates to an image encoding system having a bit generation amount adjustment function suitable for adaptively adjusting a generation bit amount after encoding with reference to a variation of an input image signal predicted based on quantization parameter information determined as.

이 기술분야에 잘 알려진 바와같이 이산된 영상신호의 전송은 아날로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임으로 구성된 비디오 신호가 디지털 형태로 표현될 때, 특히 고품질 텔레비젼(일명 HDTV 라함)의 경우 상당한 양의 데이터가 전송되어야 한다. 그러나 종래의 전송 채널의 사용 가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지털 데이터를 전송하기 위해서는 전송되는 데이터를 압축하여 그 양을 줄일 필요가 있다. 이와 같이 데이터를 압축하는 다양한 압축 기법 중에서, 확률적 부호화 기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있으며, 이러한 기법들은, 예를 들면 세계 표준화 기구에 의해 그 표준안이 이미 제정된 MPEG-1 및 MPEG-2 등의 권고안에 광범위하게 개시되어 있다.As is well known in the art, the transmission of discrete video signals can maintain better image quality than analog signals. When a video signal consisting of a series of image frames is represented in digital form, a significant amount of data must be transmitted, especially for high quality televisions (aka HDTVs). However, since the usable frequency range of the conventional transmission channel is limited, in order to transmit a large amount of digital data, it is necessary to compress the transmitted data and reduce the amount thereof. Among the various compression techniques for compressing data, hybrid coding techniques combining probabilistic coding techniques with temporal and spatial compression techniques are known to be the most efficient, and these techniques have already been enacted by the standards standard, for example, by the World Organization for Standardization. It is widely disclosed in the recommendations of MPEG-1 and MPEG-2.

대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화)등을 이용한다. 움직임 보상 DPCM 은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이 방법은 예를 들어 Staffan Ericsson의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12 (1985년, 12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interfram Coding Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, NO.1 (1982년, 1월)에 기재되어 있다.Most hybrid coding techniques use motion compensated DPCM (Differential Pulse Code Modulation), 2-D Discrete Cosine Transform (DCT), quantization of DCT coefficients, VLC (variable length coding), and the like. The motion compensation DPCM determines the movement of the object between the current frame and the previous frame, and predicts the current frame according to the movement of the object to produce a differential signal representing the difference between the current frame and the predicted value. This can be done for example by Staffan Ericsson's Fixed and Adaptive Predictors for Hybrid Predictive / Transform Coding, IEEE Transactions on Communication, COM-33, NO.12 (1985, December), or A motion Compensated Interfram Coding by Ninomiy and Ohtsuka. Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, NO.1 (January, 1982).

일반적으로, 이차원 DCT는 영상 데이터간의 공간적 리던던시를 이용하거나 제거하는 것으로써, 디지털 영상 데이터 블록, 예를 들면 8×8 블록을 DCT 변환계수로 변환한다. 이 기법은 Chen과 Pratt의 Scene Adaptive Coder, IEEE Transactions on Communication, COM-32, NO.3 (1984년, 3월)에 개시되어 있다. 이러한 DCT 변환계수는 양자화기, 지그재그 주사, VLC 등을 통해 처리됨으로써 전송할 데이터의 양을 효과적으로 감축(또는 압축)할 수 있다.In general, two-dimensional DCT converts digital image data blocks, such as 8x8 blocks, into DCT conversion coefficients by using or removing spatial redundancy between image data. The technique is described in Chen and Pratt's Scene Adaptive Coder, IEEE Transactions on Communication, COM-32, NO.3 (1984, March). The DCT conversion coefficient may be processed through a quantizer, a zigzag scan, a VLC, or the like to effectively reduce (or compress) the amount of data to be transmitted.

보다 상세하게, 움직임 보상 DPCM에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측한다. 이와 같이 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.More specifically, the motion compensation DPCM predicts the current frame from the previous frame according to the motion of the object estimated between the current frame and the previous frame. The estimated motion may be represented by a two-dimensional motion vector representing the displacement between the previous frame and the current frame.

통상적으로, 물체의 변위를 추정하는 데에는 여러가지 접근방법이 있다. 이들은 일반적으로 두 개의 타입으로 분류되는데, 그중 하나는 블록 매칭 알고리즘을 이용하는 블록단위 움직임 추정방법이고 다른 하나는 화소순환 알고리즘을 이용하는 화소단위 움직임 추정방법이다.Typically, there are several approaches to estimating the displacement of an object. These are generally classified into two types, one of which is a block-by-block motion estimation method using a block matching algorithm and the other is a pixel-by-pixel motion estimation method using a pixel circulation algorithm.

상기와 같이 물체의 변위를 추정하는 움직임 추정방법중, 화소단위 움직임 추정방법을 이용하면 변위는 각각의 화소 전부에 대해 구해진다. 이러한 방법은 화소값을 더 정확히 추정할 수 있고 스케일 변화(예를 들어, 영상면에 수직한 움직임인 주밍(zooming))도 쉽게 다룰 수 있다는 장점을 갖는 반면에, 움직임 벡터가 모든 화소 각각에 대해 결정되기 때문에, 다량의 움직임 벡터들이 발생하는 데 실질적으로 모든 움직임 벡터를 수신기로 전송하다는 것은 불가능하다.In the motion estimation method for estimating the displacement of an object as described above, the displacement is obtained for each pixel by using the pixel-based motion estimation method. This method has the advantage of being able to estimate pixel values more accurately and easily handle scale changes (e.g., zooming, which is a movement perpendicular to the image plane), while the motion vectors for each pixel Since it is determined, it is impossible to transmit substantially all the motion vectors to the receiver as large amounts of motion vectors occur.

또한, 블록단위 움직임 추정에서는, 현재 프레임의 소정 크기의 블록을 이전 프레임의 소정 범위의 탐색영역내에서 한 화소씩 이동하면서 대응 블록들과 비교하여 그 오차값이 최소인 최적 정합블럭을 결정하며, 이것으로부터, 전송되는 현재 프레임에 대해 블록 전체에 대한 프레임간 변위 벡터(프레임간에 블록이 이동한 정도)가 추정된다. 여기에서, 현재 프레임과 이전 프레임간의 대응하는 두 블록간의 유사성 판단은, 이 기술분야에 잘 알려진 바와같은, 평균 절대차와 평균 제곱차 등이 주로 사용된다.In addition, in block-by-block motion estimation, a block having a predetermined size of the current frame is moved by one pixel in a search range of a previous frame and compared with the corresponding blocks to determine an optimal matching block having a minimum error value. From this, the interframe displacement vector (the extent to which the block has moved between frames) for the entire block is estimated for the current frame to be transmitted. Here, for determining the similarity between two corresponding blocks between the current frame and the previous frame, the average absolute difference, the mean square difference, etc. are mainly used, as is well known in the art.

한편, 상술한 바와같은 부호화 기법, 즉 움직임 보상 DPCM, 2차원 DCT, DCT 계수의 양자화 및 VLC(또는 엔트로피 부호화) 등의 부호화 기법을 통해 부호화된 영상 비트 스트림은 영상 부호화 시스템의 출력측에 구비되는 전송 버퍼에 저장된 다음 전송시점이 되면 원격지 수신측으로의 송신을 위해 전송기로 보내진다. 이때, 여기에서의 전송시점은 전송 버퍼의 크기(즉, 용량)와 전송율에 관계되며, 전송 버퍼에서의 오동작(데이터 오버플로우(overflow) 또는 데이터 언더플로우(underflow))이 발생하지 않도록 제어된다.On the other hand, the image bit stream encoded by the encoding technique as described above, that is, the encoding scheme such as motion compensation DPCM, two-dimensional DCT, DCT coefficient quantization and VLC (or entropy encoding) is transmitted to the output side of the image encoding system. The next transmission point stored in the buffer is sent to the transmitter for transmission to the remote destination. At this time, the transmission time point here is related to the size (ie, capacity) and transmission rate of the transmission buffer, and is controlled so that a malfunction (data overflow or data underflow) does not occur in the transmission buffer.

보다 상세하게, 여러 가지 요인(예를 들면, 영상의 복잡도)으로 인해 부호화시에 각 프레임마다 발생되는 비트량이 달라지게 되는데, 이러한 점을 고려하여 영상 부호화 시스템에서는, 평균 전송율이 일정하게 유지될 수 있도록 출력측 전송 버퍼의 제어를 수행한다. 즉, 영상 부호화 시스템에서는 출력측 전송 버퍼의 데이터 충만상태 정보에 근거하여 현재 부호화하고 있는 프레임 이전까지의 비트 발생량을 조사하고 있다가 현재 프레임에서 할당해야 하는 비트량을 조절한다. 다시말해, 종래의 전형적인 영상 부호화 시스템에서는 출력측 전송 버퍼의 데이터 충만상태 정보에 의거하여 실질적으로 양자화 스텝 사이즈(QP)를 제어함으로써 부호화 시스템에서의 발생 비트량을 조절, 즉 이전까지 비트 발생량이 많으면 양자화 스텝 사이즈를 크게 조절하여 비트 발생량을 줄이고, 이와 반대의 경우에는 양자화 스텝 사이즈를 작게 조절하여 비트 발생량을 늘리는 등의 방법을 통해 비트 발생량을 조절하고 있다.More specifically, the amount of bits generated for each frame at the time of encoding varies due to various factors (for example, the complexity of the image). In view of this, in the image encoding system, the average bit rate may be kept constant. Control of the output buffer. That is, the video encoding system checks the bit generation amount up to the frame currently encoded based on the data fullness state information of the output transmission buffer and adjusts the bit amount to be allocated in the current frame. In other words, in the conventional typical video encoding system, the amount of bits generated in the encoding system is adjusted by controlling the quantization step size (QP) substantially based on the data full state information of the output transmission buffer, that is, if the amount of bits generated before has been large, The bit generation amount is controlled by reducing the bit generation amount by adjusting the step size largely, and in the opposite case, by adjusting the quantization step size small to increase the bit generation amount.

그러나 상술한 바와 같이 출력측 전송 버퍼의 데이터 충만상태 정보에 의거하여 양자화 스텝 사이즈를 조절함으로써 비트 발생량을 조절하는 종래방법은, 각 프레임에 해당하는 영상 데이터를 동일한 전송율로 부호화하여 전송하고자 하는 경우에 있어서, 부호화하고자 하는 영상이 복잡한 경우(고주파 성분이 다량 발생)에는 비트 발생량이 많아지게 되는데 이로 인해 양자화 스텝 사이즈가 커져 결과적으로 재생 영상에서의 심각한 화질열화가 야기된다는 문제를 갖는다. 여기에서 발생하는 고주파 성분은 실질적으로 인간의 시각에 매우 둔감한 성분(재생 영상의 화질에 거의 영향을 미치지 않는 성분)이다.However, as described above, the conventional method of adjusting the bit generation amount by adjusting the quantization step size based on the data fullness state information of the output side transmission buffer has been performed in the case of encoding and transmitting video data corresponding to each frame at the same data rate. However, when the image to be encoded is complex (a large amount of high frequency components are generated), a large amount of bits are generated. As a result, the quantization step size becomes large, resulting in serious image quality degradation in the reproduced image. The high frequency component generated here is a component that is substantially insensitive to human vision (a component that hardly affects the image quality of a reproduced video).

따라서, 본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로, 출력측 전송 버퍼의 데이터 충만상태 정보에 기초하여 각 매크로 블록 단위로 결정되는 양자화 파라메터 정보들에 근거하여 현재 부호화하고자 하는 영상의 복잡도를 산출하고, 그 산출결과에 따라 2차원 이산 푸리에 변환을 이용하여 입력 영상신호의 고주파 성분을 선택적으로 제거함으로써, 부호화후의 비트 발생량을 적응적으로 조절할 수 있는 비트 발생량 조절기능을 갖는 영상 부호화 시스템을 제공하는 데 그 목적이 있다.Accordingly, the present invention solves the problems of the prior art described above, and based on the quantization parameter information determined in units of macroblocks based on the data fullness state information of the output transmission buffer, the complexity of the image to be currently encoded is determined. A video encoding system having a bit generation amount adjustment function capable of adaptively adjusting a bit generation amount after encoding by calculating and selectively removing high frequency components of an input video signal using a two-dimensional discrete Fourier transform according to the calculation result. Its purpose is to.

상기 목적을 달성하기 위하여 본 발명은, 입력되는 현재 프레임과, 이 현재 프레임 및 재구성된 이전 프레임을 이용하는 움직임 추정, 보상을 통해 얻어지는 예측 프레임간의 차분신호에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 포함하는 부호화 수단을 통해 압축 부호화하여 부호화된 비트 스트림을 발생하며, 상기 양자화는 출력측 버퍼에 저장되는 상기 비트 스트림의 충만상태 정보에 따라 결정되는 양자화 파라메터에 의거하여 그 스텝사이즈가 조절되는 비트 발생량 조절기능을 갖는 영상 부호화 시스템에 있어서, 이전에 부호화된 이전 프레임의 각 매크로 블록들에 대해 각각 발생되는 각 양자화 파라메터값을 평균하여 상기 이전 프레임의 평균 양자화 파라메터값을 산출하는 평균값 계산 수단; 상기 산출된 평균 양자화 파라메터값을 현재 부호화하고자 하는 프레임의 복잡도로서 참조하며, 부호화를 위해 입력되는 상기 현재 프레임의 주파수 통과 대역폭을 적응적으로 제한하기 위한 기설정된 복수의 대역폭 결정신호들중 상기 산출된 양자화 파라메터 평균값에 대응하는 대역폭 결정신호를 발생하는 제어수단; 및 상기 입력 현재 프레임 신호에 대한 공간영역의 영상신호를 2차원 이산 푸리에 변환을 이용하여 M×N 블록 단위의 주파수 영역의 2차원 DFT 변환계수들로 변환하고, 상기 제어수단으로부터 제공되는 발생된 대역폭 결정신호에 의거하여 상기 변환된 2차원 DFT 변환계수 블록들에 대한 고주파 통과 대역을 결정하며, 상기 변환된 각 2차원 DFT 변환계수 블록의 고주파 통과 대역을 상기 결정된 대역폭으로 제한하고, 상기 대역폭이 제한된 양자화된 각 DFT 블록들 각각에 대해 역이산 푸리에 변환을 수행하여 부호화전의 원신호로 복원하며, 원신호로 복원된 상기 대역폭 제한 프레임 신호를 상기 움직임 추정, 보상을 위한 현재 프레임 신호로써 상기 부호화 수단에 제공하는 주파수 선택 수단을 더 포함하는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템을 제공한다.In order to achieve the above object, the present invention includes a discrete cosine transform, quantization and entropy encoding on the difference signal between the input current frame and the prediction frame obtained through motion estimation and compensation using the current frame and the reconstructed previous frame. A bit stream generated by compression encoding through an encoding means to generate an encoded bit stream, wherein the quantization is a bit generation amount adjusting function whose step size is adjusted based on a quantization parameter determined according to the full state information of the bit stream stored in an output buffer. An image encoding system comprising: an average value calculating means for calculating an average quantization parameter value of the previous frame by averaging each quantization parameter value generated for each macroblock of a previously encoded previous frame; The calculated average quantization parameter value is referred to as a complexity of a frame to be currently encoded, and the calculated one of a plurality of predetermined bandwidth determination signals for adaptively limiting a frequency passband bandwidth of the current frame input for encoding is calculated. Control means for generating a bandwidth determination signal corresponding to a mean value of the quantization parameter; And converting the image signal in the spatial domain with respect to the input current frame signal into two-dimensional DFT transform coefficients in the frequency domain in M × N block units using a two-dimensional discrete Fourier transform, and generating the bandwidth provided from the control means. Determine a high frequency pass band for the transformed 2D DFT transform coefficient blocks based on a determination signal, limit the high pass band of each transformed 2D DFT transform coefficient block to the determined bandwidth, and limit the bandwidth Inverse discrete Fourier transform is performed on each of the quantized DFT blocks to restore the original signal before encoding, and the bandwidth limited frame signal reconstructed as the original signal is transmitted to the encoding means as a current frame signal for the motion estimation and compensation. With a bit generation amount adjustment function, characterized in that it further comprises a frequency selection means for providing Provided is an image encoding system.

본 발명의 상기 및 기타 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.The above and other objects and various advantages of the present invention will become more apparent from the preferred embodiments of the present invention described below with reference to the accompanying drawings by those skilled in the art.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

제1도는 본 발명의 바람직한 실시예에 따른 비트 발생량 조절기능을 갖는 영상 부호화 시스템에 대한 블럭구성도를 나타낸다. 동도면에 도시된 바와같이, 본 발명의 영상 부호화 시스템은 제1프레임 메모리(100), 감산기(110), 영상 부호화 블록(120), 엔트로피 부호화 블록(130), 전송 버퍼(140), 영상 복호화 블록(150), 가산기(160), 제2프레임 메모리(170), 현재 프레임 예측 블록(180), QP 평균값 계산 블록(210), 제어 블록(220) 및 주파수 선택 블록(230)을 포함한다.1 is a block diagram of a video encoding system having a bit generation amount adjusting function according to a preferred embodiment of the present invention. As shown in the figure, the image encoding system of the present invention includes a first frame memory 100, a subtractor 110, an image encoding block 120, an entropy encoding block 130, a transmission buffer 140, and image decoding. Block 150, adder 160, second frame memory 170, current frame prediction block 180, QP average value calculation block 210, control block 220, and frequency selection block 230.

제1도를 참조하면, 입력되는 현재 프레임 신호는 제1프레임 메모리(100)에 저장된 다음 주파수 선택 블록(230)으로 입력되며, 주파수 선택 블록(230)에서는 후술되는 제어 블록(220)으로부터 제공되는 부호화시 양자화 과정에서 결정되는 양자화 파라메터에 기초하여 발생하는 영상의 복잡도에 의거해 산출되는 제어신호(주파수 영역 구분을 위한 대역폭 결정신호)에 따라 입력 프레임 신호의 주파수를 적응적으로 제한, 즉 2차원 이산 푸리에 변환(Discrete Fourier Transform; DFT)을 이용하여 입력 영상의 고주파 성분(비교적 인간의 시각에 둔감한 부분임)을 제거하는 데, 이러한 주파수 선택 블록(230)에 대한 구체적인 동작과정에 대해서는 후에 상세하게 기술될 것이다. 그런다음, 이와 같이 고주파 성분이 적응적으로 제거되는 현재 프레임 신호는 라인 L11을 통해 감산기(110)와 현재 프레임 예측블럭(180)에 각각 제공된다.Referring to FIG. 1, the input current frame signal is input to the next frequency selection block 230 stored in the first frame memory 100, and the frequency selection block 230 is provided from a control block 220 to be described later. Adaptively restricts the frequency of the input frame signal according to a control signal (bandwidth determination signal for frequency domain classification) calculated based on the complexity of the image generated based on the quantization parameter determined in the quantization process during encoding, that is, two-dimensional The Discrete Fourier Transform (DFT) is used to remove the high frequency components (which are insensitive to comparative human vision) of the input image, which will be described later in detail. Will be described. Then, the current frame signal in which the high frequency component is adaptively removed is provided to the subtractor 110 and the current frame prediction block 180 through the line L11, respectively.

먼저, 감산기(110)에서는 라인 L11을 통해 주파수 선택 블록(230)으로부터 제공되는 고주파 성분이 선택적으로 제거된 현재 프레임 신호로부터 라인 L19를 통해 후술되는 현재 프레임 예측 블록(180)으로부터 제공되는 이동 물체에 대하여 움직임 보상된 예측된 현재 프레임 신호를 감산하며, 그 결과 데이터, 즉 차분화소값을 나타내는 에러신호는 영상 부호화 블록(120)을 통해 이산 코사인 변환(DCT)과 이 기술분야에서 잘 알려진 양자화 방법들중의 어느 하나를 이용함으로서, 일련의 양자화된 DCT 변환계수들로 부호화된다. 이때, 영상 부호화 블록(120)에서의 에러신호에 대한 양자화는 라인 L21을 통해 후술되는 출력측 전송 버퍼(140)로부터 제공되는 데이터 충만상태 정보에 따라 결정되는 양자화 파라메터(QP)에 의거하여 그 스텝 사이즈가 조절된다.First, in the subtractor 110, a moving object provided from the current frame prediction block 180 described later through the line L19 from the current frame signal from which the high frequency component provided from the frequency selection block 230 is selectively removed through the line L11. Subtract the motion-compensated predicted current frame signal, and as a result, the data, i.e., the error signal representing the differential pixel value, is subjected to discrete cosine transform (DCT) and quantization methods well known in the art through the image coding block 120. By using either one, it is encoded into a series of quantized DCT transform coefficients. At this time, the quantization of the error signal in the image encoding block 120 is based on the step size based on the quantization parameter QP determined according to the data fullness state information provided from the output side transmission buffer 140 described later through the line L21. Is adjusted.

한편, 영상 부호화 블록(120)의 양자화 단계에서 상기한 바와같이 출력측 전송 버퍼(140)의 데이터 충만상태 정보에 따라 결정되는 양자화 파라메터(QP)에 따른 스텝사이즈로 영상신호를 양자화하는 과정은, 이산 코사인 변환된 M×N 블록의 DCT 변환계수를 2*QP의 값으로 나누게 되는데, 이러한 양자화 파라메터(QP)는 전송버퍼(140)의 데이터 충만상태에 따라 메 매크로 블록(16×16 블록)마다 다른 값을 가질 수 있으며, 또한 1에서 31사이의 정수값을 갖는다. 따라서, 영상 부호화 블록(120)에서는 전송 버퍼(140)의 데이터 채워진 상태가 기설정된 소정치 이상으로 올라가면 QP 값을 높게 하여 엔트로피 부호화후의 발생 비트량을 감소시키고, 반대로 전송 버퍼(140)의 데이터 채워진 상태가 기설정된 소정치 이하로 내려가면 QP 값을 낮게 하여 엔트로피 부호화후의 발생 비트량을 감소시킨다.On the other hand, as described above in the quantization step of the image coding block 120, the process of quantizing the video signal with a step size according to the quantization parameter (QP) determined according to the data full state information of the output transmission buffer 140, discrete The DCT transform coefficient of the cosine transformed M × N block is divided by a value of 2 * QP. The quantization parameter (QP) is different for each macroblock (16 × 16 block) according to the data filling state of the transmission buffer 140. It can have a value, and also has an integer value between 1 and 31. Accordingly, in the image encoding block 120, when the data-filled state of the transmission buffer 140 rises above a predetermined value, the QP value is increased to reduce the amount of bits generated after entropy encoding, and conversely, the data-filled state of the transmission buffer 140 is filled. When the state falls below a predetermined value, the QP value is lowered to reduce the amount of bits generated after entropy encoding.

다음에, 라인 L13상의 양자화된 DCT 변환계수들은 엔트로피 부호화 블록(130)과 영상 복호화 블록(150)으로 각각 보내진다. 여기에서, 엔트로피 부호화 블록(130)에 제공된 양자화된 DCT 변환계수들은, 예를 들면 가변길이 부호화 기법등을 통해 부호화되어 출력측의 전송 버퍼(140)에 제공되며, 이와 같이 부호화된 영상신호는 수신측으로의 전송을 위해 도시 생략된 전송기로 전달된다.Next, the quantized DCT transform coefficients on line L13 are sent to entropy coding block 130 and image decoding block 150, respectively. Here, the quantized DCT transform coefficients provided to the entropy coding block 130 are encoded, for example, through a variable length coding scheme, and are provided to the transmission buffer 140 on the output side. It is delivered to the transmitter not shown for the transmission of.

한편, 영상 부호화 블록(120)으로부터 영상 복호화 블록(150)에 제공되는 라인 L13상의 양자화된 DCT 변환계수들은 역양자화 및 역이산 코사인 변환을 통해 다시 복원된 프레임 신호로 변환된 다음, 가산기(160)에 제공되며, 가산기(160)에서는 영상 복호화 블록(150)으로 부터의 복원된 프레임 신호와 라이 L19를 통해 후술되는 현재 프레임 예측 블록(180)으로부터 제공되는 예측된 현재 프레임신호를 가산하여 재구성된 이전 프레임 신호를 생성하며, 이와 같이 재구성된 이전 프레임 신호는 제2프레임 메모리(170)에 저장된다. 따라서, 이러한 경로를 통해 부호화 처리되는 매 프레임에 대한 바로 이전 프레임 신호가 계속적으로 갱신되며, 이와 같이 갱신되는 재구성된 이전 프레임 신호는 움직임 추정, 보상을 위해 후술되는 현재 프레임 예측 블록(180)으로 제공된다.On the other hand, the quantized DCT transform coefficients on the line L13 provided from the image coding block 120 to the image decoding block 150 are converted into a frame signal reconstructed again through inverse quantization and inverse discrete cosine transform, and then adder 160. The adder 160 adds the reconstructed frame signal from the image decoding block 150 and the predicted current frame signal provided from the current frame prediction block 180 described later through the lie L19. A frame signal is generated, and the previous frame signal reconstructed as described above is stored in the second frame memory 170. Accordingly, the immediately previous frame signal for every frame encoded through such a path is continuously updated, and the reconstructed previous frame signal thus updated is provided to the current frame prediction block 180 described later for motion estimation and compensation. do.

다른한편, 현재 프레임 예측 블록(180)에서는 본 발명에 따른 주파수 선택 블록(230)으로부터 제공되는 라인 L11상의 고주파 성분이 선택적으로 제거되거나 또는 고주파 성분이 제거되지 않은 현재 프레임 신호와 상기한 제2프레임 메모리(170)로부터 제공되는 라인 L15상의 재구성된 이전 프레임 신호에 기초하여 블록 매칭 알고리즘을 이용해 재구성된 이전 프레임의 기설정 탐색범위(예를 들면, 16×16탐색범위)에서 소정의 블록(예를 들면, 8×8 DCT 블록)단위로 현재 프레임을 예측한 다음 라인 L19 상에 예측된 현재 프레임 신호를 발생하여 상술한 감산기(110)와 가산기(160)에 각각 제공한다. 이때, 라인 L19상의 스위치(SW)는 도시 생략된 시스템 제어기로부터의 제어신호(CS)에 따라 그 접점이 온/오프되는 것으로, 스위치(SW)가 온 일때는 현재의 부호화 모드가 인터모드임을 의미하고 반대로 오프일때는 현재의 부호화 모드가 인트라 모드임을 의미한다. 따라서, 감산기(110)에서는 인터모드 부호화시에 현재 프레임 신호와 예측 프레임 신호간의 에러신호를 영상 부호화 블록(120)에 제공하고, 인트라 모드 부호화시에 현재 프레임 신호 자체를 영상 부호화 블록(120)에 제공한다.On the other hand, in the current frame prediction block 180, the current frame signal in which the high frequency component on the line L11 provided from the frequency selection block 230 according to the present invention is selectively removed or the high frequency component is not removed and the second frame described above. Based on the reconstructed previous frame signal on the line L15 provided from the memory 170, a predetermined block (e.g., a predetermined search range (e.g., 16x16 search range) of the previous frame reconstructed using the block matching algorithm) For example, the current frame is predicted in units of 8x8 DCT blocks, and the predicted current frame signal is generated on the line L19 and provided to the subtractor 110 and the adder 160, respectively. At this time, the switch SW on the line L19 is turned on / off according to the control signal CS from the system controller (not shown). When the switch SW is on, the switch SW on the line L19 indicates that the current encoding mode is inter mode. On the contrary, when off, this means that the current encoding mode is an intra mode. Accordingly, the subtractor 110 provides an error signal between the current frame signal and the predicted frame signal to the image encoding block 120 during inter-mode encoding, and transmits the current frame signal itself to the image encoding block 120 during intra-mode encoding. to provide.

또한, 현재 프레임 예측 블록(180)은 선택되는 각 블록(8×8 블록)들에 대한 움직임 벡터들의 세트를 라인 L17상에 발생하여 전술한 엔트로피 부호화 블록(130)에 제공한다. 여기에서, 검출되는 움직임 벡터들의 세트들은 현재 프레임의 블록(8×8 블록)과 이전 프레임내의 기설정 탐색영역(예를 들면, 16×16 탐색범위)에서 예측된 가장 유사한 블록간의 변위이다. 따라서, 전술한 엔트로피 부호화 블록(130)에서는 라인 L17 상의 움직임 벡터들의 세트들과 더불어 라인 L13 상의 양자화된 DCT 변환계수들은, 예를 들면 가변길이 부호화 기법 등을 통해 부호화하여 부호화된 비트 스트림을 발생한다.In addition, the current frame prediction block 180 generates a set of motion vectors for each of the selected blocks (8x8 blocks) on the line L17 and provides the entropy coding block 130 described above. Here, the sets of motion vectors detected are the displacements between the most similar block predicted in the block of the current frame (8x8 block) and the preset search area (e.g., 16x16 search range) in the previous frame. Accordingly, in the entropy coding block 130 described above, the quantized DCT transform coefficients on the line L13 together with the sets of the motion vectors on the line L17 generate a coded bit stream by, for example, a variable length coding technique. .

한편, 본 발명에 따르면, 출력측 전송 버퍼(140)의 데이터 충만상태에 따라 영상 부호화 블록(120)내의 양자화기(도시 생략)에서 매 매크로 블록 단위로 결정되는 양자화 파라메터값 QP 는 라인 L23을 통해 양자화 파라메터(QP) 평균값 계산 블록(210)으로 입력된다.Meanwhile, according to the present invention, the quantization parameter value QP determined in units of macroblocks in the quantizer (not shown) in the image encoding block 120 according to the data fullness state of the output side transmission buffer 140 is quantized through the line L23. The parameter QP is input to the average value calculation block 210.

따라서, QP 평균값 계산 블록(210)에서는 매 프레임 단위의 QP 평균값, 즉 AQP 값을 산출한다. 즉, 한 QP평균값 계산 블록(210)에서는 프레임의 영상 데이터를 부호화(양자화, DCT 및 엔트로피 부호화)하고 난 후에 부호화된 해당 프레임의 전체 매크로 블록에 대한 QP 값을 평균함으로써 AQP 값을 산출한다. 이것은, 시간적으로 서로 인접하는 프레임은 그 변화가 크지 않다는 영상신호의 특성을 이용하여 현재 부호화된 프레임의 AQP 값을 다음 프레임에 대한 부호화 과정에서의 복잡도 산출에 이용한다는 것이다. 결국, 현재 부호화된 영상이 복잡한 영상일 경우, QP 평균값 계산 블록(210)에서 산출되는 AQP 값은 큰 값을 갖게 될 것이고, 상대적으로 부호화가 용이한 단순한 영상일 경우 산출되는 AQP 값은 작은 값으로 될 것이다.Accordingly, the QP average value calculation block 210 calculates a QP average value, that is, an AQP value, for every frame. That is, in one QP average value calculation block 210, after encoding (quantization, DCT, and entropy encoding) image data of a frame, an AQP value is calculated by averaging QP values for all macroblocks of the encoded frame. This means that the AQP value of the currently encoded frame is used to calculate the complexity in the encoding process for the next frame using the characteristics of the video signal that the frames adjacent to each other in time are not significantly changed. As a result, when the current encoded image is a complex image, the AQP value calculated by the QP average value calculation block 210 will have a large value, and when the simple image is relatively easy to encode, the AQP value may be a small value. Will be.

보다 상세하게, 현재 부호화하고자 하는 한 프레임의 영상신호가 M×N의 크기를 갖고, 각 매크로 블록이 L×L의 크기를 갖는다면, 이 영상신호의 매크로 블록의 개수는 (ML)×(NL)이 된다. 예를 들어, 352×288의 입력 영상신호에 대하여 16×16의 매크로 블록을 가정하면, 매크로 블록의 개수가 (352/16)×(288/16)이므로 22×18, 즉 396개에 해당한다. 따라서, 본 발명에서는 이와 같은 모든 매크로 블록의 QP를 평균하여 산출한 AQP 값을 부호화를 위해 입력되는 다음 영상신호의 복잡도로서 이용한다. 이때, 산출되는 AQP 값은 영상의 정보량(비트 발생량)에 관련된다고 볼 수 있는 데, 만일 현재 부호화된 영상이 복잡한 경우에는 산출되는 AQP 값이 상대적으로 커질 것이고, 그 반대의 경우에는 산출되는 AQP 값이 작아지게 될 것이다. 그런다음, QP 평균값 계산 블록(210)에서 산출된 AQP 값은 다음단의 제어 블록(220)으로 제공된다.More specifically, if the video signal of one frame to be encoded currently has the size of M × N and each macroblock has the size of L × L, the number of macroblocks of this video signal is (ML) × (NL ) For example, assuming 16 × 16 macroblocks for a 352 × 288 input video signal, the number of macroblocks is (352/16) × (288/16), which corresponds to 22 × 18, or 396. . Therefore, in the present invention, the AQP value calculated by averaging the QPs of all such macroblocks is used as the complexity of the next video signal input for encoding. In this case, the calculated AQP value may be regarded as related to the information amount (bit generation amount) of the image. If the current encoded image is complex, the calculated AQP value will be relatively large, and vice versa. Will be smaller. Then, the AQP value calculated in the QP average value calculation block 210 is provided to the next control block 220.

한편, 제어 블록(220)은 상기한 QP 평균값 계산 블록(210)으로부터 제공되는 AQP 값에 의거하여 입력 영상의 주파수 제한을 위한 주파수 대역폭 결정신호 B를 라인 L25상에 발생하여 주파수 선택 블록(230)에 제공한다. 여기에서, 발생되어 주파수 선택 블록(230)으로 제공되는 영역 구분을 위한 대역폭 결정신호 B는 부호화를 위해 입력되는 프레임 신호의 주파수 대역을 제한한다. 이때, 주파수 영역을 구분하는 데 필요한 대역폭 결정신호 B는 아래와 같은 방법으로 계산되며, 이 대역폭 결정신호 B를 이용하여 본 발명에 따라 제한하고자 하는 입력 영상의 주파수 영역을 설정하는 과정에 대해서는 첨부된 제2도를 참조하여 후에 상세하게 기술될 것이다.Meanwhile, the control block 220 generates a frequency bandwidth determination signal B for limiting the frequency of the input image on the line L25 based on the AQP value provided from the QP average value calculation block 210 and thus selects the frequency selection block 230. To provide. Here, the bandwidth determination signal B for region division generated and provided to the frequency selection block 230 limits the frequency band of the frame signal input for encoding. In this case, the bandwidth determination signal B necessary for classifying the frequency domain is calculated by the following method, and the process of setting the frequency domain of the input image to be restricted according to the present invention using the bandwidth determination signal B is described in the appended Article. It will be described later in detail with reference to FIG. 2.

보다 상세하게, 제어 블록(220)에서 QP 평균값 계산 블록(210)으로부터 출력되는 AQP 값을 이용하여 주파수 영역 구분을 위한 대역폭 결정신호 B를 출력하는 과정은 다음의 (1)식과 같다.In more detail, the process of outputting the bandwidth determination signal B for frequency domain division using the AQP value output from the QP average value calculation block 210 in the control block 220 is as follows.

상기 (1)식에서 ROUND는 반올림하여 정수값을 취하는 연산이다. 따라서, 상기 (1)식의 결과로, QP 값은 1에서 31사이의 정수값을 갖는 기존의 부호화기에서 주파수 영역 구분을 위한 B 값은 1에서 4 사이의 정수값을 갖는다. 즉, 산출된 AQP 값이 31인 경우에는 ROUND{(31-16)/5}가 3이므로, 주파수 영역 구분값 B는 4가 된다. 따라서, 이와 같이 연산된 B 값에 따라, 일예로서 제2도에 도시된 바와같이, 제한하고자 하는 주파수 영역이 결정된다. 이러한 연산은 영상 부호화 블록(120)에서의 양자화 단계전의 2차원 저역 통과 필터링시 제한하는 대역폭을 AQP 값에 따라 자동적으로 조절하기 위해서이다.In the above formula (1), ROUND is an operation that takes an integer value by rounding. Therefore, as a result of Equation (1), in the conventional encoder having an integer value between 1 and 31, the B value for frequency domain division has an integer value between 1 and 4. That is, when the calculated AQP value is 31, since the ROUND {(31-16) / 5} is 3, the frequency domain division value B becomes 4. Therefore, according to the value B calculated in this way, as shown in FIG. 2 as an example, a frequency range to be limited is determined. This operation is to automatically adjust the bandwidth limiting in the two-dimensional low pass filtering before the quantization step in the image coding block 120 according to the AQP value.

한편, 주파수 선택 블록(230)은, 상술한 제어 블록(220)으로부터 제공되는 주파수 영역 구분을 위한 대역폭 결정신호 B에 의거하여 입력 영상에서 비교적 시각 특성이 둔감한 고주파 성분을 제한하는 데, 그 과정은 실질적으로 2차원 주파수 변환 과정과 주파수 선택 과정으로 구분할 수 있으며, 이때 2차원 주파수 변환 과정에서는 2차원 이산 푸리에 변환(DFT)를 이용하고, 주파수 선택과정에서는 상술한 제어 블록(220)으로부터 제공된 대역폭 결정신호 B에 의거하여 2차원 DFT 변환된 영상신호의 통과 대역을 결정한다.On the other hand, the frequency selection block 230, based on the bandwidth determination signal B for frequency domain classification provided from the above-described control block 220 to limit the high frequency components in which the relatively low visual characteristics in the input image, the process May be substantially divided into a two-dimensional frequency conversion process and a frequency selection process, in which the two-dimensional frequency conversion process uses a two-dimensional discrete Fourier transform (DFT), and in the frequency selection process, the bandwidth provided from the control block 220 described above. The passband of the 2D DFT-converted video signal is determined based on the decision signal B.

다음에, 상기한 바와같은 주파수 선택 블록(230)에서 입력 영상을 2차원 DFT 변환하고, 또한 주파수 영역 구분을 위한 대역폭 결정신호 B에 의거하여 2차원 DFT 변환된 영상신호의 주파수를 선택하는 과정에 대하여 상세하게 설명한다.Next, in the frequency selection block 230 as described above, the input image is two-dimensional DFT transformed, and the frequency of the two-dimensional DFT-converted image signal is selected based on the bandwidth determination signal B for frequency domain classification. It demonstrates in detail.

먼저, 주파수 선택 블록(230)은 입력 영상신호가 갖는 공간영역의 유사성을 이용하는 것으로, 아래의 (2)식에 의거하여 공간영역의 영상신호(픽셀데이터)를 푸리에함수를 이용하여 M×N 단위, 예를들면 8×8 단위의 주파수 영역의 2차원 DFT 변환한다.First, the frequency selection block 230 uses the similarity of the spatial domain of the input image signal. The frequency selection block 230 uses the Fourier function to convert the image signal (pixel data) of the spatial domain using a Fourier function according to Equation (2) below. For example, two-dimensional DFT transform in a frequency domain of 8x8 units.

상기 (2)식에서 f(u,v)는 각 픽셀의 값을, u는 수평 방향의 위치를, v는 수직 방향으로의 픽셀의 위치를 나타낸다. 따라서, N×N 블록의 각 픽셀에 대한 값은 다음과 같은 값을 갖는다. 즉, N-8인 경우 u 및 v 는 0과 7 사이의 값을 갖는다. 이때, 각 값들은 0에서 255사이의 정수값을 갖는다. 또한, 상기 (3)식에서 Z(k,1)은 변환된 신호를 의미하고, k,1은 각각 수평 및 수직 방향으로의 주파수 성분을 의미한다. 따라서, N=8인 경우에는 8×8 DFT 블록, 즉 공간영역의 신호가 주파수 영역의 신호로 변환된다.In formula (2), f (u, v) represents the value of each pixel, u represents the position in the horizontal direction, and v represents the position of the pixel in the vertical direction. Therefore, the value for each pixel of the N × N block has the following value. That is, in the case of N-8 u and v have a value between 0 and 7. At this time, each value has an integer value between 0 and 255. In addition, in Equation (3), Z (k, 1) means the converted signal, and k, 1 means frequency components in the horizontal and vertical directions, respectively. Therefore, when N = 8, an 8x8 DFT block, that is, a signal in the spatial domain is converted into a signal in the frequency domain.

보다 상세하게, 주파수 선택 블록(230)에서는 상술한 바와같은 과정을 통해 얻어진 DFT 변환계수들에 대하여, 라인 L25를 통해 제1도의 제어블록(220)으로부터 제공되는 주파수 영역 구분을 위한 대역폭 결정신호 B 에 의거하여 그 통과되는 주파수 대역을 결정한다. 전술한 바와같이, 주파수 영역 구분을 위한 대역폭 결정신호 B 는 1에서 4사이의 정수값이므로 이에 따라 선택되는 주파수는 다음과 같다.More specifically, in the frequency selection block 230, the bandwidth determination signal B for the frequency domain division provided from the control block 220 of FIG. 1 through the line L25 for the DFT conversion coefficients obtained through the above-described process. Based on this, the frequency band that is passed is determined. As described above, since the bandwidth determination signal B for frequency domain division is an integer value between 1 and 4, the frequency selected according to this is as follows.

즉, 주파수 선택 블록(230)에서는 변환된 주파수 Z(k,1)에서 특정한 주파수를 선택한다. 여기에서, k,1은 0에서 N-1 사이의 정수값이다. 따라서, 주파수 선택 블록(230)에서 출력되는 값은 특정 주파수 성분(즉, 고주파 성분)이 제거된 신호가 된다. 예를 들어, N=8인 경우에, 일예로서 제2도에 도시된 바와같이, 그 통과 주파수 대역이 결정될 것이다.That is, the frequency selection block 230 selects a specific frequency from the converted frequency Z (k, 1). Here, k, 1 is an integer value between 0 and N-1. Therefore, the value output from the frequency selection block 230 is a signal from which a specific frequency component (ie, a high frequency component) is removed. For example, when N = 8, as shown in FIG. 2 as an example, the pass frequency band will be determined.

제2도에 도시된 바와같이, 라인 L25를 통해 제1도의 제어블록(220)으로부터 주파수 선택 블록(2330)으로 제공되는 주파수 영역 구분을 위한 대역폭 결정신호 B 값이 1이면 변환 주파수 Z(k,1)는 모두 선택되고, B 값이 2, 3, 4인 경우에는 제2도에서와 같이 각각에 해당하는 점선 이하의 주파수는 모드 0 으로 하여 선택하지 않는다. 즉, 제2도에서 B 값이 4인 경우에는 Z(1,7), Z(2,6) 등과 KX은 점선 이하의 주파수는 모두 0으로 매핑처리되는 것이다.As shown in FIG. 2, when the bandwidth determination signal B value for frequency domain division provided from the control block 220 of FIG. 1 to the frequency selection block 2330 through the line L25 is 1, the conversion frequency Z (k, 1) are all selected, and when the B value is 2, 3, or 4, as shown in FIG. 2, frequencies below the dotted line corresponding to each are not selected as the mode 0. That is, when the B value is 4 in FIG. 2, Z (1,7), Z (2,6), and KX are all mapped to 0 with frequencies below the dotted line.

다음에, 상술한 바와같이 영상의 복잡도에 기초하여 결정되는 대역폭 결정신호 B 값에 따라 특정영역의 주파수(고주파 성분)가 제거된 DFT 변환계수들(주파수 영역의 신호)은 아래에 도시된 (3)식을 통해 원래의 공간영역의 신호로 역변환된다.Next, as described above, the DFT transform coefficients (signals in the frequency domain) from which the frequency (high frequency component) of the specific region is removed in accordance with the bandwidth determination signal B value determined based on the complexity of the image are shown below (3). Is converted back to the original spatial signal.

상기(3)식에서 f(u,v)는 각 픽셀의 값을 의미하고, u 및 v는 수평 및 수직 방향으로의 픽셀의 위치를 의미하며, Z(k,1)은 변환된 신호를 의미하고, k,1은 각각 수평 및 수직 방향으로의 주파수 성분을 의미한다. 따라서, N=8인 경우에는 주파수 영역의 8×8 DFT 블록들은 공간영역의 신호로 변환된다.In Equation (3), f (u, v) denotes the value of each pixel, u and v denote the position of the pixel in the horizontal and vertical directions, and Z (k, 1) denotes the converted signal. , k, 1 means frequency components in the horizontal and vertical directions, respectively. Therefore, when N = 8, 8x8 DFT blocks in the frequency domain are converted into signals in the spatial domain.

그 결과, 주파수 선택 블록(230)에서는 라인 L11을 통해 제1도의 감산기(110) 및 현재 프레임 예측 블록(180)으로 영상의 복잡도에 따라 특정영역의 주파수가 제거된 영상신호, 즉 영상의 복잡도에 근거하여 산출되는 대역폭 결정신호 B에 따라 영상의 고주파 성분이 선택적(또는 적응적)으로 제거된 영상신호(특정영역의 고주파 성분이 0 값으로 대체된 영상신호)를 제공하게 된다.As a result, in the frequency selection block 230, the subtractor 110 and the current frame prediction block 180 of FIG. 1 through the line L11 are applied to the image signal from which the frequency of the specific region is removed according to the complexity of the image, that is, the complexity of the image. According to the bandwidth determination signal B calculated based on this, a video signal (video signal in which a high frequency component of a specific region is replaced with a zero value) from which a high frequency component of an image is selectively (or adaptively) removed is provided.

따라서, 제1도의 영상 부호화 블록(120)에서는, 복잡한 영상의 경우, 상술한 바와같이 인간의 시각에 비교적 둔감한 영상의 고주파 성분을 선택적(또는 적응적)으로 제거한 상태에서 부호화(양자화)를 수행하게 되므로, 시각적으로 중요한 성분인 저주파 신호에 대해 양자화 오차가 적게 생기도록 하면서 부호화할 수 있는 것이다. 만일, 복잡한 영상임에도 불구하고 본 발명에서와 같이 주파수의 저역 통과 대역폭을 제한하지 않게 되면, 결과적으로 부호화후에 발생되는 비트량이 많아져 양자화 스텝 사이즈가 커지게 되므로 모든 주파수 대역(고주파에서 저주파 대역)에 대하여 양자화 오차가 많이 발생되고, 그 결과 수신측의 재생 영상에서 양자화로 인한 화질열화가 야기될 것이다.Accordingly, in the image encoding block 120 of FIG. 1, in the case of a complex image, encoding (quantization) is performed in a state in which a high frequency component of an image relatively insensitive to human vision is selectively (or adaptively) removed as described above. Therefore, the low frequency signal, which is a visually important component, can be encoded with less quantization error. If the low pass bandwidth of the frequency is not limited as in the present invention despite the complicated image, as a result, the amount of bits generated after encoding increases and the quantization step size becomes large. A large number of quantization errors are generated, and as a result, image quality deterioration due to quantization will be caused in the playback image of the receiver.

이상 설명한 바와같이 본 발명에 따르면, 바로 이전에 부호화된 프레임에서 그 양자화시에 각 매크로 블록마다 발생된 QP 값들을 평균하여 얻은 AQP 값을 이용하여 현재 부호화하고자 하는 영상의 복잡도를 계산하고, 그 계산결과에 따라 현재 입력 영상이 복잡한 영상인 경우, 그에 상응하는 가중치를 주어 인간의 시각특성에 둔감한 영상의 고주파 성분을 일차적으로 제거한 다음 MC-DCT, 양자화 등의 부호화를 수행하도록 함으로써, 양자화 단계에서의 과도한 스텝 사이즈의 증가 없이 부호화후 발생되는 비트량을 효과적으로 조절할 수 있다. 따라서, 본 발명에 의하면, 부호화된 영상을 복원하여 디스플레이할 때, 재생 영상에서 필연적으로 나타나는 양자화 오차로 인한 화질열화를 효과적으로 감소시킬 수 있다.As described above, according to the present invention, the complexity of an image to be currently encoded is calculated by using an AQP value obtained by averaging QP values generated for each macroblock at the time of quantization in a frame immediately encoded, and calculating the calculated value. According to the result, if the current input image is a complex image, the corresponding weight is first applied to remove the high frequency components of the image insensitive to human visual characteristics, and then the MC-DCT, quantization, and the like are encoded to perform the encoding. The amount of bits generated after encoding can be effectively adjusted without increasing the excessive step size. Therefore, according to the present invention, it is possible to effectively reduce image quality deterioration due to quantization error inevitably present in a reproduced image when reconstructing and displaying an encoded image.

Claims (4)

입력되는 현재 프레임과, 이 현재 프레임 및 재구성된 이전 프레임을 이용하는 움직임 추정, 보상을 통해 얻어지는 예측 프레임간의 차분신호에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 포함하는 부호화 수단을 통해 압축 부호화하여 부호화된 비트 스트림을 발생하며, 상기 양자화는 출력측 버퍼에 저장되는 상기 비트 스트림의 충만상태 정보에 따라 결정되는 양자화 파라메터에 의거하여 그 스탭 사이즈가 조절되는 비트 발생량 조절기능을 갖는 영상 부호화 시스템에 있어서, 이전에 부호화된 이전 프레임의 각 매크로 블록들에 대해 각각 발생되는 각 양자화 파라메터값을 평균하여 상기 이전 프레임의 평균 양자화 파라메터값을 산출하는 평균값 계산 수단; 상기 산출된 평균 양자화 파라메터값을 현재 부호화하고자 하는 프레임의 복잡도로서 참조하며, 부호화를 위해 입력되는 상기 현재 프레임의 주파수 통과 대역폭을 적응적으로 제한하기 위한 기설정된 복수의 대역폭 결정신호들중 상기 산출된 양자화 파라메터 평균값에 대응하는 대역폭 결정신호를 발생하는 제어수단; 상기 입력 현재 프레임 신호에 대한 공간영역의 영상신호를 2차원 이산 푸리에 변환을 이용하여 M×N 블록 단위의 주파수 영역의 2차원 DFT 변환계수들로 변환하고, 상기 제어수단으로부터 제공되는 발생된 대역폭 결정신호에 의거하여 상기 변환된 2차원 DFT 변환계수 블록들에 대한 고주파 통과 대역을 결정하며, 상기 변환된 각 2차원 DFT 변환계수 블록의 고주파 통과 대역을 상기 결정된 대역폭으로 제한하고, 상기 대역폭이 제한된 양자화된 각 DFT 블록의 고주파 통과 대역을 상기 결정된 대역폭으로 제한하고, 상기 대역폭이 제한된 양자화된 각 DFT 블록들 각각에 대해 역이산 푸리에 변환을 수행하여 부호화전의 원신호로 복원하며, 원신호로 복원된 상기 대역폭 제한 프레임 신호를 상기 움직임 추정, 보상을 위한 현재 프레임 신호로써 상기 부호화 수단에 제공하는 주파수 선택 수단을 더 포함하는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.The differential signal between the input current frame and the prediction frame obtained through motion estimation and compensation using the current frame and the reconstructed previous frame is encoded by compression encoding by encoding means including discrete cosine transform, quantization, and entropy encoding. A video encoding system having a bit generation amount adjusting function for generating a bit stream, wherein the quantization is adjusted based on a quantization parameter determined according to the full state information of the bit stream stored in an output buffer. An average value calculating means for calculating an average quantization parameter value of the previous frame by averaging each quantization parameter value generated for each of the macroblocks of the encoded previous frame; The calculated average quantization parameter value is referred to as a complexity of a frame to be currently encoded, and the calculated one of a plurality of predetermined bandwidth determination signals for adaptively limiting a frequency passband bandwidth of the current frame input for encoding is calculated. Control means for generating a bandwidth determination signal corresponding to a mean value of the quantization parameter; Converts the image signal in the spatial domain with respect to the input current frame signal into two-dimensional DFT transform coefficients in the frequency domain in M × N block units using a two-dimensional discrete Fourier transform, and determines the generated bandwidth provided from the control means. Determine a high frequency pass band for the converted 2D DFT transform coefficient blocks based on the signal, limit the high pass band of each transformed 2D DFT transform coefficient block to the determined bandwidth, and limit the bandwidth to quantization Limiting the high pass band of each of the DFT blocks to the determined bandwidth, performing inverse discrete Fourier transform on each of the bandwidth-limited quantized DFT blocks to restore the original signal before encoding, and recovering the original signal. The coded number is a bandwidth-limited frame signal as the current frame signal for motion estimation and compensation. And a frequency selecting means provided to the stage. 제1항에 있어서, 상기 기설정된 복수의 대역폭 결정신호는, 상기 각 2차원 DFT 변환계수 블록들의 선택적인 대역폭 제한을 위해 각각 다른 정수값을 갖는 4개의 대역폭 결정신호를 포함하는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.The bit bandwidth of claim 1, wherein the plurality of predetermined bandwidth determination signals include four bandwidth determination signals having different integer values for selective bandwidth limitation of each of the two-dimensional DFT transform coefficient blocks. Image coding system with generation amount control function. 제 1항 또는 제2항에 있어서, 상기 주파수 선택 수단은, 상기 현재 프레임 신호에 대한 공간영역의 영상신호를 8×8 블록 단위의 2차원 DFT 변환계수들로 변환하는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.The bit generation amount control according to claim 1 or 2, wherein the frequency selecting means converts the image signal in the spatial domain with respect to the current frame signal into two-dimensional DFT transform coefficients in units of 8x8 blocks. Image coding system with a function. 제1항 또는 제2항에 있어서, 상기 주파수 선택 수단은, 상기 변환된 각 2차원 DFT 변환계수 블록들에 대해 상기 발생된 대역폭 결정신호 이하의 고주파 성분을 제로(0)값으로 매핑하는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.The method of claim 1, wherein the frequency selecting means maps a high frequency component below the generated bandwidth determination signal to a zero value for each of the converted two-dimensional DFT transform coefficient blocks. An image encoding system having a bit generation amount adjusting function.
KR1019960013800A 1996-04-30 1996-04-30 Improved image coding system having functions for controlling generated amount of coded bit stream KR100203684B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019960013800A KR100203684B1 (en) 1996-04-30 1996-04-30 Improved image coding system having functions for controlling generated amount of coded bit stream

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960013800A KR100203684B1 (en) 1996-04-30 1996-04-30 Improved image coding system having functions for controlling generated amount of coded bit stream

Publications (2)

Publication Number Publication Date
KR970073146A KR970073146A (en) 1997-11-07
KR100203684B1 true KR100203684B1 (en) 1999-06-15

Family

ID=19457303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960013800A KR100203684B1 (en) 1996-04-30 1996-04-30 Improved image coding system having functions for controlling generated amount of coded bit stream

Country Status (1)

Country Link
KR (1) KR100203684B1 (en)

Also Published As

Publication number Publication date
KR970073146A (en) 1997-11-07

Similar Documents

Publication Publication Date Title
KR100203710B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
US5473377A (en) Method for quantizing intra-block DC transform coefficients using the human visual characteristics
JP3025610B2 (en) Encoding method and apparatus
JPH0723422A (en) Video signal band compression equipment of digital vtr
US5825930A (en) Motion estimating method
KR100229796B1 (en) Image decoding system including compensation at detoriorate image
KR0178195B1 (en) Apparatus for encoding an image signal using vector quantization technique
KR100203714B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203682B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203684B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203685B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203709B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203676B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203659B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203627B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203625B1 (en) An improved image coding system having functions for controlling generated amount of coded bit stream
KR100203683B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203703B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203677B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203675B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203702B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203697B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203660B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203630B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203629B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110302

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee