KR100229793B1 - Improved image coding system having functions for adaptively determining image coding mode - Google Patents

Improved image coding system having functions for adaptively determining image coding mode Download PDF

Info

Publication number
KR100229793B1
KR100229793B1 KR1019960024046A KR19960024046A KR100229793B1 KR 100229793 B1 KR100229793 B1 KR 100229793B1 KR 1019960024046 A KR1019960024046 A KR 1019960024046A KR 19960024046 A KR19960024046 A KR 19960024046A KR 100229793 B1 KR100229793 B1 KR 100229793B1
Authority
KR
South Korea
Prior art keywords
encoding
frame
block
signal
image
Prior art date
Application number
KR1019960024046A
Other languages
Korean (ko)
Other versions
KR980007729A (en
Inventor
김종일
Original Assignee
전주범
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전주범, 대우전자주식회사 filed Critical 전주범
Priority to KR1019960024046A priority Critical patent/KR100229793B1/en
Publication of KR980007729A publication Critical patent/KR980007729A/en
Application granted granted Critical
Publication of KR100229793B1 publication Critical patent/KR100229793B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Abstract

본 발명은 부호화하고자 하는 해당 프레임이 장면전환 부분인지를 검출하고, 검출결과 입력 영상이 장면전환 부분 영상일 때 필터링을 통해 입력 영상의 고주파 성분을 제거하며, 프레임열에 관계없이 고주파 성분이 제거된 입력 프레임에 대해 강제적인 인트라 모드 부호화를 수행할 수 있도록 한 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템에 관한 것으로, 이를 위하여 본 발명은, 부호화하고자 하는 해당 프레임의 픽셀값 평균 및 표준편차에 근거한 통계적 특성과 각 프레임의 평균 및 표준편차에 근거한 이전 소정시간 동안의 다수 프레임의 단시간 통계에 의거하여 입력 영상의 장면전환을 검출하고,그 검출결과 현재 입력 영상이 장면전환 부분인 것으로 판단되면 프레임열에 관계없이 해당 프레임에 대해 필터링 기법을 적용하여 인간의 시각특성에 둔감한 고주파 성분을 제거한 다음 강제적인 인트라 모드 부호화를 수행한다.The present invention detects whether a corresponding frame to be encoded is a scene change part, and when the detected image is a scene change part image, removes high frequency components of the input image through filtering, and removes high frequency components regardless of the frame string. The present invention relates to an improved image encoding system having an adaptive encoding mode determination function capable of forcibly performing intra mode encoding on a frame. To this end, the present invention relates to a pixel value average and a standard deviation of a corresponding frame to be encoded. Based on the statistical characteristics and short-term statistics of a plurality of frames for a predetermined time period based on the average and standard deviation of each frame, the scene change of the input image is detected, and if it is determined that the current input image is the scene change part, the frame You can use filtering techniques on that frame Removed using a high-frequency component insensitive to the human visual characteristics, and then performs a forced intra-mode encoding.

Description

적응적인 부호와 모드 결정 기능을 갖는 개선된 영상 부호화 시스템Improved Image Coding System with Adaptive Code and Mode Decision

제1도는 본 발명의 바람직한 실시예에 따른 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템의 블럭구성도,1 is a block diagram of an improved image encoding system having an adaptive encoding mode determination function according to a preferred embodiment of the present invention.

제2도는 제1도의 전처리 블럭에 대한 세부적인 블럭구성도,2 is a detailed block diagram of the preprocessing block of FIG.

제3도는 본 발명에 따라 입력 영상이 장면전환 부분일 때 일예로서 8×8 픽셀 블럭에 대하여 하나의 고정된 레벨로 결정되는 고주파 성분 제한을 위한 결정 영역을 도시한 도면,3 is a view showing a determination region for limiting high frequency components determined as one fixed level for an 8 × 8 pixel block as an example when an input image is a scene change portion according to the present invention;

제4도는 본 발명에 따라 입력 영상이 장면전환 부분일 때 일예로서 8×8 픽셀 블럭에 대하여 그 복잡정도에 의거하여 적응적으로 결정되는 고주파 성분 제한을 위한 결정 영역을 도시한 도면,4 is a view showing a decision region for limiting high frequency components that is adaptively determined based on the complexity of an 8 × 8 pixel block as an example when an input image is a scene change portion according to the present invention;

제5도는 본 발명에 따라 일예로서 8×8 픽셀 블럭에 대한 예시도,5 is an exemplary diagram for an 8x8 pixel block as an example in accordance with the present invention;

제6도는 본 발명에 따른 일예로써 차수가 7 인 1차원 저역 통과 필터계수를 도시한 예시도,6 is an exemplary diagram showing a one-dimensional low pass filter coefficient of order 7 as an example according to the present invention;

제7도는 본 발명의 다른 실시예에 따른 일예로써 (0,4) 위치에서의 수평 방향 필터링과 (3,0) 위치에서의 수직 방향 필터링 과정을 고시한 예시도,7 is an exemplary view illustrating a horizontal filtering process at (0,4) and a vertical filtering process at (3,0) as an example according to another exemplary embodiment of the present invention.

제8도는 본 발명의 다른 실시예에 따른 일예로써 3×3 차수의 2차원 저역통과 필터계수를 도시한 예시도,8 is an exemplary diagram illustrating a 2D lowpass filter coefficient of 3x3 order as an example according to another embodiment of the present invention.

제9도는 본 발명의 다른 실시예에 따른 일예로써 (3,3) 위치에서의 2차원 필터링 과정을 도시한 예시도,9 is an exemplary diagram illustrating a two-dimensional filtering process at position (3,3) as an example according to another embodiment of the present invention;

제10도는 본 발명의 다른 실시예에 따른 도면 2에 도시된 프레임 예측 블럭의 세부적인 블럭구성도.10 is a detailed block diagram of a frame prediction block shown in FIG. 2 according to another embodiment of the present invention.

<도면의 주요부분에 대한 부호의 설명><Description of the code | symbol about the principal part of drawing>

100,180 : 프레임 메모리 110 : 전처리 블럭100,180: frame memory 110: preprocessing block

115 : 스위칭 블럭 120 : 감산기115: switching block 120: subtractor

130 : 영상 부호화 블럭 140 : 엔트로피 부호화 블럭130: image coding block 140: entropy coding block

150 : 전송 버퍼 160 : 영상 복호화 블럭150: transmission buffer 160: video decoding block

170 : 가산기 190 : 현재 프레임 예측 블럭170: adder 190: current frame prediction block

1110 : 통계적 특성 산출 블럭 1120 : 제어 블럭1110: statistical characteristic calculation block 1120: control block

1130 : 메모리 블럭 1140 : 프레임 출력 블럭1130: memory block 1140: frame output block

1141 : DCT 블럭 1143 : 양자화 블럭1141: DCT block 1143: quantization block

1145 : 주파수 선택기 147 : 역양자화 블럭1145: frequency selector 147: inverse quantization block

1149 : IDCT 블럭1149: IDCT block

본 발명은 영상신호를 압축 부호화하는 영상 부호화 시스템에 관한 것으로, 더욱 상세하게는 압축 부호화를 위해 입력되는 소정시간 동안의 다수의 프레임 신호에 대한 평균과 표준편차를 이용하여 입력 영상의 장면전환을 검출하며, 이 검출결과에 의거하여 부호화 모드를 강제 제어하고 그에 상응하여 부호화후의 발생 비트량을 적응적으로 조절하는 데 적합한 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템에 관한 것이다.The present invention relates to a video encoding system for compressing and encoding a video signal. More particularly, the present invention relates to a video encoding system that detects scene transition of an input video by using average and standard deviation of a plurality of frame signals during a predetermined time input for compression encoding. The present invention relates to an improved video encoding system having an adaptive encoding mode determination function suitable for forcibly controlling an encoding mode based on the detection result and adaptively adjusting an amount of bits generated after encoding accordingly.

이 기술분야에 잘 알려진 바와같이 이산된 영상신호의 전송은 아날로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 "프레임" 으로 구성된 비디오 신호가 디지탈 형태로 표현될 때, 특히 고품질 텔레비젼(일명 HDTV 라 함)의 경우 상당한 양의 데이타가 전송되어야 한다. 그러나 종래의 전송 채널의 사용 가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지탈 데이타를 전송하기 위해서는 전송되는 데이타를 압축하여 그 양을 줄일 필료가 있다. 이와같이 데이타를 압축하는 다양한 압축 기법 중에서, 확률적 부호화 기법과 시간적, 공간적 압축 기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있으며, 이러한 기법들은, 예를들면 세계 표준화 기구에 의해 그 표준안이 이미 제정된 MPEG-1 및 MPEG-2등의 권고안에 광범위하게 개시되어 있다.As is well known in the art, the transmission of discrete video signals can maintain better image quality than analog signals. When a video signal consisting of a series of image "frames" is represented in digital form, a significant amount of data must be transmitted, especially for high-quality television (aka HDTV). However, since the usable frequency range of the conventional transmission channel is limited, in order to transmit a large amount of digital data, it is necessary to reduce the amount by compressing the transmitted data. Among the various compression methods for compressing data, hybrid coding which combines probabilistic coding with temporal and spatial compression is known to be the most efficient, and these techniques have been proposed by the World Standards Organization for example. It is widely disclosed in recommendations such as MPEG-1 and MPEG-2.

대부분의 하이브리드 부호화 기법은 움직임 보상 DCPM (차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화) 등을 이용한다. 움직임 보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이 방법은 예를들어 Staffan Ericsson 의 "Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding", IEEE Transactions on Communication, COM-33, NO.12 (1985년, 12월), 또는 Ninomiy와 Phtsuka의 "A motion Compensated Interframe Cding Scheme for Television Pictures",IEEE Transactions on Communication, COM-30, NO.1 (1982년, 1월)에 기재되어 있다.Most hybrid coding techniques use motion compensated DCPM (Differential Pulse Code Modulation), two-dimensional Discrete Cosine Transform (DCT), quantization of DCT coefficients, VLC (variable length coding), and the like. The motion compensation DPCM determines a motion of an object between a current frame and a previous frame, and predicts a current frame according to the motion of the object to generate a difference signal representing a difference between the current frame and a predicted value. This method is described, for example, in Staffan Ericsson's "Fixed and Adaptive Predictors for Hybrid Predictive / Transform Coding", IEEE Transactions on Communication, COM-33, NO.12 (1985, December), or "A motion" by Ninomiy and Phtsuka. Compensated Interframe Cding Scheme for Television Pictures ", IEEE Transactions on Communication, COM-30, NO.1 (January, 1982).

일반적으로, 이차원 DCT는 영상 데이타간의 공간적 리던던시를 이용하거나 제거하는 것으로써, 디지탈 영상 데이타 블럭, 예를 들면 8X8 블럭을 DCT 변환계수로 변환한다. 이 기법은 Chen 과 Pratt 의 "Scene Adaptive Coder", IEEE Transactions on Communication, COM-32, NO.3, (1984년, 3월)에 개시되어 있다. 이러한 DCT 변환계수는 양자화기, 지그재그 주사, VLC 등을 통해 처리됨으로써 전송할 데이타의 양을 효과적으로 감축(또는 압축)할 수 있다.In general, two-dimensional DCT converts digital image data blocks, for example, 8 × 8 blocks, into DCT conversion coefficients by using or eliminating spatial redundancy between image data. This technique is described in Chen and Pratt's "Scene Adaptive Coder", IEEE Transactions on Communication, COM-32, NO.3, (1984, March). The DCT transform coefficient may be processed through a quantizer, a zigzag scan, a VLC, or the like to effectively reduce (or compress) the amount of data to be transmitted.

보다 상세하게, 움직임 보상 DPCM에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측한다. 이와같이 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.More specifically, the motion compensation DPCM predicts the current frame from the previous frame according to the motion of the object estimated between the current frame and the previous frame. The estimated motion may be represented by a two-dimensional motion vector representing the displacement between the previous frame and the current frame.

통상적으로, 물체의 변위를 추정하는 데에는 여러가지 접근 방법이 있다. 이들은 일반적으로 두개의 타입으로 분류되는데, 그중 하나는 블럭 매칭 알고리즘을 이용하는 블럭단위 움직임 추정 방법이고 다른 하나는 화소순환 알고리즘을 이용하는 화소단위 움직임 추정 방법이다.Typically, there are several approaches to estimating the displacement of an object. These are generally classified into two types, one of which is a block-based motion estimation method using a block matching algorithm and the other is a pixel-by-pixel motion estimation method using a pixel circulation algorithm.

상기와 같이 물체의 변위를 추정하는 움직임 추정 방법중, 화소단위 움직임 추정 방법을 이용하면 변위는 각각의 화소 전부에 대해 구해진다. 이러한 방법은 화소값을 더 정확히 추정할 수 있고 스케일 변화(예를들어, 영상면에 수직한 움직임인 주밍(zooming)도 쉽게 다를 수 있다는 장점을 갖는 반면에, 움직임 벡터가 모든 화소 각각에 대해 결정되기 때문에, 다량의 움직임 벡터들이 발생하는 데 실질적으로 모든 움직임 벡터를 수신기로 전송하다는 것은 불가능하다.In the motion estimation method for estimating the displacement of an object as described above, the displacement is obtained for all of the pixels using the pixel-based motion estimation method. This method has the advantage that the pixel value can be estimated more accurately and the scale change (e.g., zooming, which is a movement perpendicular to the image plane) can be easily different, while the motion vector is determined for every pixel. Since a large amount of motion vectors occurs, it is impossible to transmit substantially all of the motion vectors to the receiver.

또한, 블럭단위 움직임 추정에서는, 현재 프레임의 소정 크기의 블럭을 이전 프레임의 소정 범위의 탐색 영역내에서 한 화소씩 이동하면서 대응 블럭들과 비교하여 그 오차값이 최소인 최적 정합블럭을 결정하며, 이것으로부터, 전송되는 현재 프레임에 대해 블럭 전체에 대한 프레임간 변위 벡터(프레임간에 블럭이 이동한 정도)가 추정된다. 여기에서, 현재 프레임과 이전 프레임간의 대응하는 두 블럭간의 유사성 판단은, 이 기술분야에 잘 알려진 바와같은, 평균 절대차와 평균 제곱차 등이 주로 사용된다.In addition, in block-by-block motion estimation, a block having a predetermined size of the current frame is moved by one pixel in a search range of a previous frame and compared with the corresponding blocks to determine an optimal matching block having a minimum error value. From this, the interframe displacement vector (the degree of block movement between frames) for the entire block is estimated for the current frame to be transmitted. Here, in determining the similarity between two corresponding blocks between the current frame and the previous frame, the average absolute difference, the mean square difference, etc. are mainly used, as is well known in the art.

한편, 상술한 바와같은 부호화 기법, 즉 움직임 보상 DPCM, 2차원 DCT, DCT 계수의 양자화 및 VLC(또는 엔트로피 부호화) 등의 부호화 기법을 통해 부호화된 영상 비트 스트림은 영상 부호화 시스템의 출력측에 구비되는 전송 버퍼에 저장된 다음 전송시점이 되면 원격지 수신측으로의 송신을 위해 전송기로 보내진다. 이때, 여기에서의 전송시점은 전송 버퍼의 크기(즉, 용량)와 전송율에 관계되며, 전송 버퍼에서의 오동작(데이터 오버플로우(overflow) 또는 데이터 언더플로우(underflow))이 발생하지 않도록 제어된다.On the other hand, the image bit stream encoded by the encoding technique as described above, that is, the encoding scheme such as motion compensation DPCM, two-dimensional DCT, DCT coefficient quantization and VLC (or entropy encoding) is transmitted to the output side of the image encoding system. The next transmission point stored in the buffer is sent to the transmitter for transmission to the remote destination. At this time, the transmission time point here is related to the size (ie, capacity) and transmission rate of the transmission buffer, and is controlled so that a malfunction (data overflow or data underflow) does not occur in the transmission buffer.

보다 상세하게, 여러 가지 요인(예를들면, 입력 영상의 장면전환)으로 인해 부호화시에 각 프레임마다 발생되는 비트량이 달라지게 되는 데, 이러한 점을 고려하여 영상 부호화 시스템에서는, 평균 전송율이 일정하게 유지될 수 있도록 출력측 전송 버퍼의 제어를 수행한다. 즉, 영상 부호화 시스템에서는 출력측 전송 버퍼의 데이타 충만상태 정보에 근거하여 현재 부호화하고 있는 프레임 이전까지의 비트 발생량을 조사하고 있다가 현재 프레임에서 할당해야 하는 비트량을 조절한다. 다시 말해, 종래의 전형적인 영상 부호화 시스템에서는 출력측 전송 버퍼의 데이타 충만상태 정보에 의거하여 실질적으로 양자화 스텝 사이즈(QP)를 제어함으로써 부호화 시스템에서의 발생 비트량을 조절, 즉 이전까지 비트 발생량이 많으면 양자화 스텝 사이즈를 크게 조절하여 비트 발생량을 줄이고, 이와 반대의 경우에는 양자화 스텝 사이즈를 작게 조절하여 비트 발생량을 늘리는 등의 방법을 통해 비트 발생량을 조절하고 있다.More specifically, the amount of bits generated for each frame at the time of encoding is changed due to various factors (for example, scene transition of the input image). In view of this, in the video encoding system, the average transmission rate is constant. Perform control of the output transmit buffer so that it can be maintained. That is, the video encoding system checks the bit generation amount up to the frame currently encoded based on the data fullness state information of the output transmission buffer, and adjusts the bit amount to be allocated in the current frame. In other words, in the conventional typical video encoding system, the amount of bits generated in the encoding system is controlled by controlling the quantization step size (QP) substantially based on the data full state information of the output transmission buffer, that is, if the amount of bits generated before has been large, The bit generation amount is controlled by reducing the bit generation amount by adjusting the step size largely, and in the opposite case, by adjusting the quantization step size small to increase the bit generation amount.

그러나, 상술한 바와같이 출력측 전송 버퍼의 데이타 충만상태 정보에 의거하여 양자화 스텝 사이즈를 조절함으로써 비트 발생량을 조절하는 종래 방법은, 각 프레임에 해당하는 영상 데이타를 동일한 전송율로 부호화하여 전송하고자 하는 경우에 있어서, 부호화하고자 하는 입력 영상이 장면전환 영상, 즉 시간축상에서 프레임간의 상관도가 낮은 영상인 경우, 움직임 보상과 같은 부호화 처리과정에서 그 효율이 떨어져 비트 발생량이 많아지게 되는데 이로 인해 양자화 스텝 사이즈가 커져 결과적으로 재생 영상에서의 심각한 화질열화가 야기된다는 문제를 갖는다.However, as described above, the conventional method of adjusting the bit generation amount by adjusting the quantization step size based on the data fullness state information of the output transmission buffer is performed when encoding and transmitting video data corresponding to each frame at the same data rate. In the case where the input image to be encoded is a scene change image, that is, an image having low correlation between frames on the time axis, the efficiency is lowered in the encoding process such as motion compensation, thereby increasing the amount of bits generated, thereby increasing the quantization step size. As a result, there is a problem that serious image quality deterioration is caused in the reproduced video.

또한, 전술한 바와같은 영상 부호화 시스템은, MPEG 1 및 2 의 표준안에서 권고하고 있는 바와같이, 움직임 추정, 보상을 통해 얻어지는 다수개의 전방향 또는 양방향 예측 프레임열 사이에 일정한 간격으로 프레임 자체를 부호화한 인프라 프레임을 삽입하여 전송하게 되는데, 이와 같은 부호화된 프레임열을 생성하는 경우, 부호화를 위해 입력되는 영상 프레임이 장면전환 부분인지의 여부에 관계없이 일정한 간격으로 인프라 프레임을 생성, 즉 영상 부호화 시스템은 시스템 제어기로부터의 제어에 따라 일정하게 인터 모드 부호화 또는 인트라 모드 부호화를 절환해 가면서 입력 영상의 부호화 수행하게 된다.In addition, the video encoding system described above encodes the frame itself at regular intervals between a plurality of omni-directional or bi-directional predictive frame sequences obtained through motion estimation and compensation, as recommended in the MPEG-1 and 2 standards. When an infrastructure frame is inserted and transmitted, an infrastructure frame is generated at regular intervals regardless of whether a video frame input for encoding is a scene change part. The input image is encoded while the inter mode encoding or the intra mode encoding is constantly switched under the control of the system controller.

그러나, 앞에서 이미 언급한 바와같이, 장면전환 부분에서의 영상 프레임은 시간축상에서 프레임간의 상관도가 낮은 데, 이와같이 프레임간 상관도가 낮은 프레임의 경우 움직임 보상과 같은 부호화 처리에서 그 효율이 떨어진다는 문제가 있다. 따라서, 이와같이 프레임간의 상관도가 떨어지는 장면전환 부분의 프레임은 인터 모드 부호화보다는 인트라 모드 부호화가 오히려 효과적일 수 있으며, 또한 수신측 재생영상에서 필연적인 화질열화를 수반하는 양자화 등을 고려하여 인간의 시간특성에 비교적 둔감한 고주파 성분의 일정부분을 제거하여 인트라 부호화를 수행하면, 더욱 효과적이고 효율적인 부호화가 가능할 것이다.However, as mentioned above, the image frame in the scene change portion has a low correlation between frames on the time axis, and thus, a frame having low correlation between frames has a low efficiency in encoding processing such as motion compensation. There is. Therefore, the intra-mode encoding may be more effective than the inter-mode encoding in the frame of the scene change portion having low correlation between frames, and human time is considered in consideration of quantization accompanied with deterioration of image quality in the playback image of the receiver. If intra coding is performed by removing a portion of a high frequency component that is relatively insensitive to characteristics, more efficient and efficient coding will be possible.

따라서, 본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로, 부호화하고자 하는 해당 프레임의 픽셀값 평균 및 표준편차와 각 프레임의 평균과 표준편차에 근거한 이전 소정시간 동안의 다수의 프레임의 단시간 통계에 의거하여 입력 영상의 장면전환을 검출하고, 검출결과 입력 영상이 장면전환 부분의 영상일 때 프레임열에 관계없이 해당 입력 프레임에 대해 강제적 인트라 모드 부호화를 수행할 수 있는 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템을 제공하는 데 있다.Accordingly, the present invention is to solve the above-mentioned problems of the prior art, the short-time statistics of a plurality of frames for a predetermined time based on the mean and standard deviation of the pixel value of the corresponding frame to be encoded and the mean and standard deviation of each frame Has an adaptive encoding mode determination function capable of detecting a scene change of an input image based on the detection, and forcibly performing intra mode encoding on the input frame irrespective of the frame sequence when the input image is the image of the scene change portion. An improved image coding system is provided.

본 발명의 다른 목적은 부호화하고자 하는 해당 프레임의 픽셀값 평균 및 표준편차와 각 프레임의 평균과 표준편차에 근거한 이전 소정시간 동안의 다수의 프레임의 단시간 통계에 의거하여 입력 영상의 장면전환을 검출하고, 검출결과 입력 영상이 장면전환 부분의 영상일 때 필터링을 통해 입력 영상의 고주파 성분을 제거하며, 프레임열에 관계없이 고주파 성분이 제거된 입력 프레임에 대해 강제적인 인트라 모드 부호화를 수행할 수 있는 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템을 제공하는 데 있다.Another object of the present invention is to detect the scene transition of the input image based on the mean and standard deviation of the pixel value of the corresponding frame to be encoded and the short time statistics of a plurality of frames for a predetermined time based on the mean and standard deviation of each frame. When the input image is the image of the scene change part, the filtering result removes the high frequency component of the input image, and it is adaptive to perform the forced intra mode encoding on the input frame from which the high frequency component has been removed. An improved image encoding system having an encoding mode determination function is provided.

상기 목적을 달성하기 위한 일관점에 따른 본 발명은, 입격되는 현재 프레임 자체에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 수행하는 인트라 부호화 모드와, 상기 현재 프레임과 움직임 추정, 보상을 통해 얻어지는 예측 프레임간의 차분신호에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 수행하는 인터 부호화 모드를 갖는 부호화 수단을 포함하는 영상 부호화 시스템에 있어서, 부호화를 위해 순차 입력되는 프레임 각각에 대해 그 주파수 분석을 통해 그 통계적 특성을 나타내는 픽셀들의 평균(MIp)과 표준편차(ACT)를 각각 추출하는 통계적 특성 산출 블럭; 기설정된 소정시간 동안 만큼 상기 추출된 각 프레임에 대한 평균(MIp)과 표준편차(ACT)를 순차적으로 저장하는 메모리 블럭; 상기 저장된 소정시간 동안에 상응하는 복수의 각 프레임에 대한 평균(MIp)과 표준편차(ACT) 각각에 대해 총평균(MMIp, MACT)과 총표준편차(SMIp, SACT)를 각각 산출하여 상기 기설정된 소정시간 동안의 단시간 통계를 산출하며, 상기 단시간 통계 산출에 이용된 프레임들보다 시간적으로 후에 존재하는 현재 입력 프레임의 통계적 특성과 상기 산출된 단시간 통계간의 비교결과에 의거하여 상기 부호화를 위해 입력되는 상기 현재 입력 프레임의 부호화 모드 결정을 위한 제어신호를 발생하는 제어 블럭; 및 상기 인트라 모드 부호화 및 인터 모드 부호화를 적응적으로 수행하는 적응 부호화 경로와 상기 인트라 모드 부호화만을 위한 강제 인트라 부호화 경로를 포함하며, 상기 제어 블럭으로부터 제공되는 상기 단시간 통계와 상기 현재 입력 프레임의 통계적 특성간의 비교결과에 의거하여 발생하는 절환 제어신호에 응답하여 상기 강제 인트라 부호화 경로를 통해 상기 현재 입력 프레임을 상기 부호화 수단에 제공하는 스위칭 수단을 더 포함하는 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템을 제공한다.According to an aspect of the present invention, there is provided an intra encoding mode for performing discrete cosine transform, quantization, and entropy encoding on a current frame itself, and a prediction frame obtained through motion estimation and compensation of the current frame. An image encoding system comprising an encoding unit having an inter encoding mode for performing discrete cosine transform, quantization, and entropy encoding on a differential signal between the signals. A statistical characteristic calculation block for extracting a mean MIp and a standard deviation ACT of the pixels representing? A memory block for sequentially storing an average Mp and a standard deviation ACT for each of the extracted frames for a predetermined time period; Computing the predetermined average by calculating the total average (MMIp, MACT) and the total standard deviation (SMIp, SACT) for each of the average (MIp) and the standard deviation (ACT) for each of the plurality of frames corresponding to the stored predetermined time Calculating short-time statistics for a time, wherein the current inputted for the encoding is based on a comparison result between the statistical characteristics of the current input frame present later in time than the frames used for calculating the short-time statistics and the calculated short-time statistics A control block for generating a control signal for determining an encoding mode of the input frame; And an adaptive encoding path for adaptively performing the intra mode encoding and the inter mode encoding and a forced intra encoding path only for the intra mode encoding, wherein the short-time statistics provided from the control block and statistical characteristics of the current input frame. And a switching means for providing the current input frame to the encoding means through the forced intra encoding path in response to a switching control signal generated based on a comparison result between the two. Provide a system.

상기 목적을 달성하기 위한 다른 관점에 따른 본 발명은, 입력되는 현재 프레임 자체에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 수행하는 인트라 부호화 모드와, 상기 현재 프레임과 움직임 추정, 보상을 통해 얻어지는 예측 프레임간의 차분신호에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 수행하는 인터 부호화 모드를 갖는 부호화 수단을 포함하는 영상 부호화 시스템에 있어서, 부호화를 위해 순차 입력되는 프레임 각각에 대해 그 주파수 분석을 통해 그 통계적 특성을 나타내는 픽셀들의 평균(MIp)과 표준편차(ACT)를 각각 추출하는 통계적 특성 산출 블럭; 기설정된 소정시간 동안 만큼 상기 추출된 각 프레임에 대한 평균(MIp)과 표준편차(ACT)를 순차적으로 저장하는 메모리 블럭; 상기 저장된 소정시간 동안에 상응하는 복수의 각 프레임에 대한 평균(MIp)과 표준편차(ACT) 각각에 대해 총 평균(MMIp, MACT)과 총표준편차(SMIp, SACT)를 각각 산출하여 상기 기설정된 소정시간 동안의 단시간 통계를 산출하며, 상기 단시간 통계 산출에 이용된 프레임들보다 시간적으로 후에 존재하는 현재 입력 프레임의 통계적 특성과 상기 산출된 단시간 통계간의 비교결과에 의거하여 상기 보호화를 위해 입력되는 상기 현재 입력 프레임의 필터링 제어신호를 발생하는 제어 블럭; 상기 발생된 필터링 제어신호에 따라 결정되는 필터계수에 의거해 상기 현재 입력 프레임을 필터링하여 그 통과 대역을 제한함으로써 고주파 성분을 제거한 프레임을 발생하는 대역 제한 수단; 및 상기 인트라 모드 부호화 및 인터 모드 부호화를 적응적으로 수행하는 적응 부호화 경로와 상기 인트라 모드 부호화만을 위한 강제 인트라 부호화 경로를 포함하며, 상기 제어 블럭으로부터 제공되는 상기 단시간 통계와 상기 현재 입력 프레임의 통계적 특성간의 비료결과에 의거하여 발생하는 절환 제어신호에 응답하여 상기 강제인트라 부호화 경로를 통해 상기 고주파 성분이 제거된 프레임 신호를 상기 부호화 수단에 제공하는 스위칭 수단을 더 포함하는 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템을 제공한다.According to another aspect of the present invention, there is provided an intra encoding mode for performing discrete cosine transform, quantization, and entropy encoding on an input current frame itself, and a prediction frame obtained through the current frame, motion estimation, and compensation. An image encoding system comprising an encoding unit having an inter encoding mode for performing discrete cosine transform, quantization, and entropy encoding on a differential signal between the signals. A statistical characteristic calculation block for extracting a mean MIp and a standard deviation ACT of the pixels representing? A memory block for sequentially storing an average Mp and a standard deviation ACT for each of the extracted frames for a predetermined time period; Computing the predetermined average by calculating the total average (MMIp, MACT) and the total standard deviation (SMIp, SACT) for each of the average (MIp) and the standard deviation (ACT) for each of the plurality of frames corresponding to the stored predetermined time Calculating short-time statistics for a time period, and inputting the data for the protection based on a comparison result between the statistical characteristics of a current input frame existing later in time than the frames used for calculating the short-time statistics and the calculated short-time statistics. A control block generating a filtering control signal of a current input frame; Band limiting means for generating a frame from which a high frequency component is removed by filtering the current input frame and restricting a pass band based on a filter coefficient determined according to the generated filtering control signal; And an adaptive encoding path for adaptively performing the intra mode encoding and the inter mode encoding and a forced intra encoding path only for the intra mode encoding, wherein the short-time statistics provided from the control block and statistical characteristics of the current input frame. And a switching means for providing the coding means with a frame signal from which the high frequency component is removed through the forced intra coding path in response to a switching control signal generated based on a fertilizer result. An improved image encoding system is provided.

본 발명의 상기 및 기타 목적과 여러가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로 부터 더욱 명확하게 될 것이다.The above and other objects and various advantages of the present invention will become more apparent from the preferred embodiments of the present invention described below with reference to the accompanying drawings by those skilled in the art.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

전술한 바와같이, 영상신호의 효율적인 부호화를 위해 움직임 보상 DPCM, 2차원 DCT, DCT 계수의 양장화 및 VLC(또는 엔트로피 부호화) 등의 부호화 기법을 채용하는 하이브리드 부호화 시스템에 있어서, MPEG 권고에서 규정한 프레임열(인트라 프레임이 일정한 간격으로 다수의 전방 또는 양방향 예측 프레임들 사이에 삽입되는 프레임열)로 부호화할 때, 입력 영상이 장면전환 부분임에도 불구하고 인터 모드로 부호화를 수행하게 되면 그 부호화 효율이 떨어지게 되는 데, 본 발명에서는 이러한 점을 고려하여 부호화를 위해 입력되는 영상이 장면전환 부분일 때 규정된 프레임열에 관계없이 해당 프레임에 대해 항상 인트라 모드 부호화를 적용하도록 하는 기술적 수단을 채용한다.As described above, in the hybrid coding system employing coding techniques such as motion compensation DPCM, two-dimensional DCT, DCT coefficient thickening, and VLC (or entropy coding) for efficient encoding of video signals, When encoding into a frame sequence (a frame sequence in which an intra frame is inserted between a plurality of forward or bidirectional predictive frames at regular intervals), encoding is performed in inter mode even though the input image is a scene change part. In view of the above, the present invention adopts a technical means to always apply intra mode encoding to a frame regardless of a frame sequence defined when the image input for encoding is a scene change part.

또한, 입력 영상이 인접 프레임간의 시간축상에서 상관도가 낮은 장면전환 영상인 경우, 많은 비트 발생량으로 인해 양자화 스텝 사이즈가 과도하게 커져 재생 영상에서의 화질열화(양자화 오차로 인한 화질열화)가 야기될 수 있는 데, 본 발명에서는 이러한 점을 고려하여 먼저 입력 영상이 장면전환 부분인 것으로 판단되면 일정시간(즉, 장면전환이 진행되는 동안) 동안 입력 영상의 대역을 적응적으로 제한, 즉 입력 영상을 필터링 기법을 적용하여 인간의 시각특성에 비교적 둔감한 고주파 성분을 제거함으로써, 부호화후에 발생되는 비트량의 증가를 억제한다는 기술적 수단을 채용하는 특징을 갖는 것으로, 이러한 기술적 수단을 통해 부호화시의 양자화 오차를 최소화함으로써 보다 자연스러운 재생 영상을 얻을 수 있다.In addition, when the input image is a scene change image having a low correlation on the time axis between adjacent frames, the quantization step size may be excessively large due to a large amount of bits, which may cause deterioration in image quality (deterioration in image quality due to quantization error). In the present invention, in consideration of this point, when it is determined that the input image is the scene change part, the band of the input image is adaptively limited for a predetermined time (that is, during the scene change), that is, the input image is filtered. By applying a technique to remove high-frequency components that are relatively insensitive to human visual characteristics, it employs a technical means of suppressing an increase in the amount of bits generated after encoding. By minimizing, more natural playback images can be obtained.

도면1은 본 발명의 바람직한 실시예에 따른 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템에 대한 블럭구성도를 나타낸다. 동도면에 도시된 바와같이, 본발명의 영상 부호화 시스템은 제1프레임 메모리(100), 전처리 블럭(110), 제1스위칭 블럭(114), 제2스위칭 블럭(116), 감산기(120), 영상 부호화 블럭(130), 엔트로피 부호화 블럭(140), 전송 버퍼(150), 영상 복호화 블럭(160), 가산기(170), 제2프레임 메모리(180) 및 현제 프레임 예측 블럭(190)을 포함한다.1 shows a block diagram of an improved video encoding system having an adaptive encoding mode determination function according to a preferred embodiment of the present invention. As shown in the figure, the video encoding system of the present invention includes a first frame memory 100, a preprocessing block 110, a first switching block 114, a second switching block 116, a subtractor 120, The image encoding block 130, the entropy encoding block 140, the transmission buffer 150, the image decoding block 160, the adder 170, the second frame memory 180, and the current frame prediction block 190 are included. .

도면1을 참조하면, 입력되는 현재 프레임 신호는 입력측의 제1MFP임 메모리(100)에 저장되는 데, 이러한 제1프레임 메모리(100)에 저장되는 현재 프레임 신호는 라인 L11을 통해 후술되는 제1스위칭 블럭(114)의 일측 입력 b에 연결되고, 또한 라인 L12를 통해 도면2를 참조하여 후에 상세하게 기술되는 전처리 블럭(110)으로 제공된다. 여기에서, 제1스위칭 블럭(114)의 타측 입력 c는 라인 L14를 통해 전처리 블럭(110)의 일측 출력(프레임 신호 출력)에 연결되며, 이러한 제1스위칭 블럭(114)의 절환동작은 라인 L13을 통해 전처리 블럭(110)으로부터 제공되는 입력 프레임 신호의 통계적 특성 산출에 기초한 제어신호(CS1)에 의해 수행된다. 이와같은 제1스위칭 블럭(114)의 구체적인 절환동작에 대해서는 후에 상세하게 기술될 것이다.Referring to FIG. 1, an input current frame signal is stored in the memory 100 of the first MFP on the input side, and the current frame signal stored in the first frame memory 100 is first switched through a line L11. Connected to one side input b of block 114, it is also provided via line L12 to preprocessing block 110, described in detail later with reference to FIG. Here, the other input c of the first switching block 114 is connected to one output (frame signal output) of the preprocessing block 110 through the line L14, and the switching operation of the first switching block 114 is line L13. Is performed by the control signal CS1 based on the statistical characteristic calculation of the input frame signal provided from the preprocessing block 110 through. The specific switching operation of the first switching block 114 will be described later in detail.

한편, 전처리 블럭(110)은 본 발명에서 가장 특징적인 구성부재를 이루는 것으로, 본 발명에 따라 라인 L12를 통해 제1프레임 메모리(100)로부터 제공되는 프레임 신호의 분석 및 조사를 통해 그 통계적 특성, 즉 각 입력 프레임 신호의 평균값과 표준편차를 산출하고, 이와같이 각 프레임별로 평균(MIp)(픽셀값들의 평균)과 표준편차(ACT)(픽셀값의 변화율)를 산출한 다수의 프레임(예를들면, 30 프레임)에 대한 일정시간(예를들면, 1초) 동안의 통계적 특성 정보에 기초하여 산출되는 단시간 통계에 의거하여 입력 영상신호가 장면전환 부분인지의 여부를 판단하며, 여기에서의 판단결과 입력 영상이 장면전환 부분이면 입력되는 각 프레임 신호의 통과 대역을 제한, 즉 각 프레임을 적응적으로 필터링하여 인간의 시각특성에 비교적 둔감한 고주파성분을 적응적으로 제거한 다음 라인 L15를 통해 제1스위칭 블럭(114)의 입력 c로 제공한다. 이때, 전처리 블럭(110)에서 출력되는 프레임 신호는 반드시 필터링을 통해 고주파 성분을 제거하지 않고 그 필요에 따라 고주파 성분의 제거없이 라인 L15를 통해 제1스위칭 블럭(114)의 입력 c로 제공되도록 구성할 수 있으며, 이 경우 필터링을 수행하는 경우에 비해 하드웨어의 간소화가 도모될 것이다. 이러한 전처리 블럭(110)의 구체적인 동작과정에 대해서는 첨부된 도면2를 참조하여 후에 상세하게 기술될 것이다.Meanwhile, the preprocessing block 110 constitutes the most characteristic constituent member in the present invention. The statistical characteristics, through the analysis and investigation of the frame signal provided from the first frame memory 100 through the line L12 according to the present invention, That is, a plurality of frames (e.g., an average value and standard deviation of each input frame signal are calculated, and an average Mp (average of pixel values) and a standard deviation ACT (rate of change of pixel values) are calculated for each frame. , Based on the short time statistics calculated based on the statistical characteristic information for a predetermined time (for example, 1 second) for a predetermined time (for example, 30 frames). If the input image is a scene change part, it restricts the passband of each input frame signal, that is, adaptively filters each frame, thereby adaptively applying high frequency components insensitive to human visual characteristics. Through to remove the next line L15 is provided to the input c of the first switching block 114. In this case, the frame signal output from the preprocessing block 110 is not necessarily removed through the filtering and is provided to the input c of the first switching block 114 through the line L15 without removing the high frequency component as necessary. In this case, hardware will be simplified compared to the case of performing filtering. Detailed operation of the preprocessing block 110 will be described later in detail with reference to the accompanying drawings.

다른한편, 제1스위칭 블럭(114)에서는 상기한 전처리 블럭(110)으로부터 제공되는 라인 L13 상의 절환 제어신호 CS1에 의거하여 입력 b에 연결되는 입력 프레임 신호를 출력 e에 연결하거나 또는 입력 c에 연결되는 필터링된 프레임 신호(또는 필터링되지 않은 프레임 신호)를 출력 d에 연결한다. 이때, 제1스위칭 블럭(114)의 b - a - e 라인은 적응적인 인트라 또는 인터 부호화 모드를 위한 라인이고, 그의 c - a - d 라인은 본 발명에 따른 인트라 부호화 모드만을 위한 라인, 즉 입력 영상이 장면전환 부분일 때 적용되는 강제적인 인트라 부호화 모드 라인이다. 즉, 제1스위칭 블럭(114)은 라인 L13 상의 제어신호(CS1)에 의거하여 라인 b - a - e 또는 라인 c - a - d 의 연결을 절환한다.On the other hand, the first switching block 114 connects the input frame signal connected to the input b to the output e or to the input c based on the switching control signal CS1 on the line L13 provided from the preprocessing block 110 described above. The filtered frame signal (or unfiltered frame signal) to output d. In this case, the line b-a-e of the first switching block 114 is a line for the adaptive intra or inter coding mode, and the line c-a-d is a line only for the intra coding mode according to the present invention, that is, the input line. This is a forced intra coding mode line applied when a video is a scene change part. That is, the first switching block 114 switches the connection of the lines b-a-e or the lines c-a-d based on the control signal CS1 on the line L13.

한편, 라인 L16 상의 프레임 신호(입력 프레임 신호 자체 또는 필터링된 프레임 신호)는 인트라 모드 부호화시에 제2스위칭 블럭(116)의 출력 g 및 라인 L17을 경유하여 바로 영상 부호화 블럭(130)으로 제공되거나 또는 인터 모드 부호화시에 감산기(120) 및 현재 프레임 예측 블럭(190)으로 제공된다. 여기에서, 제2스위칭 블럭(160)은 도시 생략된 시스템 제어기, 예를들면 마이크로 프로세서로부터의 제어에 따라 그 접점을 절환하는 것으로, 인트라 모드 부호화시에는 라인 L16 상의 입력 f가 출력 g를 통해 라인 L17에 연결되고, 인터 모드 부호화세에는 라인 L16 상의 입력 f가 그의 다른 출력을 통해 감산기(120)의 입력에 연결된다. 따라서, 후술되는 영상 부호화 블럭(130)에서는 인트라 모드 부호화시에 DCT, 양자화 등의 기법을 이용하여 라인 L17 상의 현재 프레임 신호 자체(입력 프레임 신호 또는 전처리 블럭(110)을 통해 필터링된 입력 프레임 신호)를 부호화하며, 인터 모드 부호화시에 DCT, 양자화 등의 기법을 이용하여 라인 L18 상의 에러신호(라인 L16 상의 현재 프레임 신호와 라인 L21 상의 예측된 프레임 신호간의 차분치)를 부호화하게 될 것이다. 즉, 인트라 모드 부호화에서는 움직임 추정, 보상 기법의 사용없이 바로 입력 프레임 신호 자체를 부호화(DCT, 양자화, 엔트로피 부호화 등)하는 데, 여기에서의 부호화는 실질적으로 인터 모드 부호화에서의 과정과 거의 동일하므로 이하에서는 이해의 증진과 설명의 편의를 위애 일예로서 인터 모드 부호화의 경우라 가정한다.Meanwhile, the frame signal on the line L16 (the input frame signal itself or the filtered frame signal) is directly provided to the image coding block 130 via the output g of the second switching block 116 and the line L17 in the intra mode encoding. Or provided to the subtractor 120 and the current frame prediction block 190 in inter mode encoding. Here, the second switching block 160 switches the contact points according to control from a system controller, for example, a microprocessor, not shown. In the intra mode encoding, the input f on the line L16 is connected to the line through the output g. The input f on line L16 is connected to the input of subtractor 120 through its other output in inter mode encoding. Therefore, in the image encoding block 130 described later, the current frame signal itself (input frame signal filtered through the preprocessing block 110 or the input frame signal) on the line L17 by using a technique such as DCT or quantization during intra mode encoding. In the inter-mode encoding, the error signal on the line L18 (difference value between the current frame signal on the line L16 and the predicted frame signal on the line L21) may be encoded using a technique such as DCT or quantization. In other words, in the intra mode encoding, the input frame signal itself is encoded (DCT, quantization, entropy encoding, etc.) without using motion estimation and compensation techniques. Since the encoding here is substantially the same as that of the inter mode encoding. In the following description, it is assumed that inter-mode encoding is used as an example for the purpose of better understanding and convenience of explanation.

먼저, 감산기(120)에서의 라인 L16 및 제2스위칭 블럭(116)을 통해 제공되는 현재 프레임 신호로부터 라인 L21를 통해 후술되는 현재 프레임 예측 블럭(190)으로부터 제공되는 이동 물체에 대하여 움직임 보상된 예측된 현재 프레임 신호를 감산하며, 그 결과 데이타, 즉 차분 화소값을 나타내는 에러신호는 영상 부호화 블럭(130)을 통해 이산 코사인 변환(DCT)과 이 기술분야에서 잘 알려진 양자화 방법들 중의 어느 하나를 이용함으로서, 일련의 양자화된 DCT 변환계수들로 부호화된다. 이때, 영상 부호화 블럭(130)에서의 에러신호에 대한 양자화는 라인 L23을 통해 후술되는 출력측 전송 버퍼(150)로부터 제공되는 데이타 충만상태 정보에 따라 결정되는 양자화 파라메터(QP)에 의거하여 그 스텝 사이즈가 조절된다.First, motion compensated prediction for a moving object provided from the current frame prediction block 190 described later through line L21 from the current frame signal provided through line L16 and second switching block 116 in subtractor 120. Subtracted current frame signal, and the resultant data, i.e., an error signal representing the difference pixel value, is obtained by using discrete cosine transform (DCT) and one of the quantization methods well known in the art. By encoding a series of quantized DCT transform coefficients. At this time, the quantization of the error signal in the image encoding block 130 is based on the step size based on the quantization parameter QP determined according to the data fullness state information provided from the output transmission buffer 150 described later through the line L23. Is adjusted.

또한, 영상 부호화 블럭(130)에서는 입력 영상이 장면전환 부분일 때, 본 발명에 따라 제1스위칭 블럭(116)의 c - a - d 를 통해 제공되는 라인 L17 상의 필터링된 입력 프레임 신호(또는 입력 프레임 신호 자체)를 움직임 추정, 보상 기법의 사용없이 공간축상의 상관성만을 고려한 DCT, 양자화 등의 부호화, 즉 강제적인 인트라 모드 부호화를 수행한다.Also, in the image encoding block 130, when the input image is the scene change portion, the filtered input frame signal (or the input) on the line L17 provided through c-a-d of the first switching block 116 according to the present invention. The frame signal itself is subjected to coding such as DCT and quantization, that is, forced intra mode coding, considering only correlation on the spatial axis without using motion estimation and compensation techniques.

다음에, 라인 L19 상의 양자화된 DCT 변환계수들은 엔트로피 부호화 블럭(140)과 영상 복호화 블럭(160)으로 각각 보내진다. 여기에서, 엔트로피 부호화 블럭(140)에 제공된 양자화된 DCT 변환계수들은, 예를들면 가변길이 부호화 기법 등을 통해 부호화되어 출력측의 전송 버퍼(150)에 제공되며, 이와같이 부호화된 영상신호는 수신측으로의 전송을 위해 도시 생략된 전송기로 전달된다.Next, the quantized DCT transform coefficients on line L19 are sent to entropy coding block 140 and image decoding block 160, respectively. Here, the quantized DCT transform coefficients provided to the entropy coding block 140 are encoded by, for example, a variable length coding scheme, and provided to the transmission buffer 150 at the output side. It is delivered to the transmitter not shown for transmission.

한편, 영상 부호화 블럭(130)으로부터 영상 복호화 블럭(160)에 제공되는 라인 L19 상의 양자화된 DCT 변환계수들은 역양자화 및 역이산 코사인 변환을 통해 다시 복원된 프레임 신호로 변환된 다음, 다음간의 가산기(170)에 제공되며, 가산기(170)에서는 영상 복호화 블럭(160)으로부터의 복원된 프레임 신호와 라인 L21를 통해 후술되는 현재 프레임 예측 블럭(190)으로부터 제공되는 예측된 현재 프레임신호를 가산하여 재구성된 이전 프레임 신호를 생성하며, 이와같이 재구성된 이전 프레임 신호는 제2프레임 메모리(180)에 저장된다. 따라서, 이러한 경로를 통해 부호화 처리되는 매 프레임에 대한 바로 이전 프레임 신호가 계속적으로 갱신되며, 이와같이 갱신되는 재구성된 이전 프레임 신호는 움직임 추정, 보상을 위해 하기에 기술되는 현재 프레임 예측 블럭(190)으로 제공된다.On the other hand, the quantized DCT transform coefficients on the line L19 provided from the image coding block 130 to the image decoding block 160 are converted into a reconstructed frame signal through inverse quantization and inverse discrete cosine transform, and then the next adder ( 170, the adder 170 adds the reconstructed frame signal from the image decoding block 160 and the predicted current frame signal provided from the current frame prediction block 190 to be described later through the line L21. The previous frame signal is generated, and the reconstructed previous frame signal is stored in the second frame memory 180. Therefore, the immediately previous frame signal for every frame encoded through this path is continuously updated, and the reconstructed previous frame signal thus updated is sent to the current frame prediction block 190 described below for motion estimation and compensation. Is provided.

다른한편, 현재 프레임 예측 블럭(190)에서는, 라인 L16 상의 현재 프레임 신호와 상기한 제2프레임 메모리(180)로부터 제공되는 라인 L20 상의 재구성된 이전 프레임 신호에 기초하여 블럭 매칭 알고리즘을 이용해 재구성된 이전 프레임의 기설정 탐색범위(예를들면, 32×32 또는 16×16 탐색범위)에서 소정의 블럭(예를들면, 16×16 또는 8×8 DCT 블럭)단위로 현재 프레임을 예측한 다음 라인 L21 상에 예측된 현재 프레임 신호를 발생하여 상술한 감산기(120)와 가산기(170)에 각각 제공한다.On the other hand, in the current frame prediction block 190, the previous frame reconstructed using a block matching algorithm based on the current frame signal on the line L16 and the reconstructed previous frame signal on the line L20 provided from the second frame memory 180 described above. Line L21 predicts the current frame in a predetermined block (e.g., 16x16 or 8x8 DCT block) in a preset search range (e.g., 32x32 or 16x16 search range) of the frame. The predicted current frame signal is generated and provided to the subtractor 120 and the adder 170, respectively.

또한, 현재 프레임 예측 블럭(190)은 선택되는 블럭(16×16 또는 8×8 블럭)들에 대한 움직임 벡터들의 세트를 라인 L22 상에 발생하여 전술한 엔트로피 부호화 블럭(140)에 제공한다. 여기에서 검출되는 움직임 벡터들의 세트들은 현재 프레임의 블럭(16×16 또는 8×8 블럭)과 이전 프레임내의 기설정 탐색영역(예를들면, 32×32 또는 16×16 탐색범위)에서 예측된 가장 유사한 후보 블럭간의 변위이다. 따라서, 전술한 엔트로피 부호화 블럭(140)에서는 라인 L22 상의 움직임 벡터들의 세트들과 더불어 라인 L19 상의 양자화된 DCT 변환계수들은, 예를들면 가변길이 부호화 기법 등을 통해 부호화하여 부호화된 비트 스트림을 발생한다.The current frame prediction block 190 also generates a set of motion vectors for the selected block (16 × 16 or 8 × 8 blocks) on line L22 and provides it to the entropy coding block 140 described above. The sets of motion vectors detected here are the most predicted in the block of the current frame (16x16 or 8x8 block) and the preset search area (e.g., 32x32 or 16x16 search range) in the previous frame. It is the displacement between similar candidate blocks. Accordingly, in the entropy coding block 140 described above, the quantized DCT transform coefficients on the line L19 together with the sets of the motion vectors on the line L22 generate an encoded bit stream by, for example, a variable length coding technique. .

다음에, 본 발명에서 가장 특징적인 부분을 이루며, 입력 영상이 장면전환 부분인지의 여부를 판단하여 입력 영상이 장면전환 부분일 때, 필터링을 통해 입력 영상의 고주파 성분을 선택적으로 제거한 프레임 신호 또는 고주파 성분이 제거되지 않은 프레임 신호 자체를 입력 프레임 신호로서 강제적인 인트라 모드 부호화를 위한 라인 L17 상에 제공하는 전처리 전처리 블럭(110)에서의 동작과정에 대하여 상세하게 설명한다.Next, a frame signal or a high frequency which is the most characteristic part of the present invention and determines whether or not the input image is a scene change part and selectively removes high frequency components of the input image through filtering when the input image is a scene change part. An operation process in the preprocessing preprocessing block 110 that provides the frame signal itself without the component removed as an input frame signal on the line L17 for forced intra mode encoding will be described in detail.

도면2는 도면1에 도시된 전처리 블럭에 대한 세부적인 블럭구성도를 나타낸다. 동도면에 도시된 바와같이, 본 발명의 전처리 블럭(110)은 통계적 특성 산출 블럭(1110), 제어블럭(1120), 메모리 블럭(1130) 및 프레임 출력 블럭(1140)을 포함한다.FIG. 2 shows a detailed block diagram of the preprocessing block shown in FIG. As shown in the figure, the preprocessing block 110 of the present invention includes a statistical characteristic calculation block 1110, a control block 1120, a memory block 1130, and a frame output block 1140.

도면2를 참조하면, 통계적 특성 산출 블럭(1110)에서는 라인 L12 상의 입력 영상을 제공받아 현재의 영상이 장면전환을 위한 영상인지의 여부를 판단할 수 있는 파라메터를 산출하는 데, 본 발명에서는 이러한 파라메터로서 영상신호의 평균 MIp 와 표준편차 ACT 를 이용한다. 즉, 일예로서 현재 입력되는 영상을 Ip라 할 때, (x,y)의 위치에서 Ip 영상의 화소값은 Ip(x,y)이다.Referring to FIG. 2, the statistical characteristic calculation block 1110 receives an input image on the line L12 and calculates a parameter for determining whether the current image is an image for scene change. The average MIp and the standard deviation ACT of the video signal are used. That is, as an example, when the current input image is Ip, the pixel value of the Ip image at the position of (x, y) is Ip (x, y).

따라서, 입력되는 각 프레임 신호의 평균 MIp 와 표준편차 ACT 는 각각 다음의 수식과 같이 구해진다.Therefore, the average MIp and standard deviation ACT of each input frame signal are obtained by the following equations, respectively.

[수식 1][Equation 1]

[수식 2][Formula 2]

상기 [수식 1] 및 [수식 2]에서 M,N 은 각각 정수값으로서 영상신호의 수평, 수직방향의 크기를 나타낸다. 그런다음, 이와같이 추출된 파라메터, 즉 각 프레임의 평균값 MIp와 표준편차 ACT는 다음단의 제어 블럭(1120)으로 제공된다.In [Equation 1] and [Equation 2], M and N respectively represent integer and horizontal and vertical magnitudes of the video signal. Then, the parameters thus extracted, that is, the average value MIp and the standard deviation ACT of each frame, are provided to the next control block 1120.

본 발명에서 장면전환 부분인지를 판단하는 데 사용하고자 하는 통계적 특성 정보로서 상술한 바와같이 추출되는 평균값 MIp와 표준편차 ACT를 이용하는 이유는 입력 영상신호가 장면전환 부분이 아니면 상기와 같이 추출된 영상신호의 통계적 특성(평균과 표준편차)이 이전의 영상신호와 크게 다르지 않고, 이와 반대로 입력 영상신호가 장면전환 부분이면 추출된 영상신호의 통계적 특성이 이전 영상신호의 통계적 특성과 많이 다르게 나타나기 때문이다. 따라서, 본 발명에서는 통계적 특성값의 시간적인 변화를 이용하여 입력 영상에 대한 장면전환 여부를 판단하며, 이러한 판단은 후술되는 제어 블럭(1120)에서 수행될 것이다.In the present invention, the reason for using the average value MIp and the standard deviation ACT extracted as described above as the statistical characteristic information to be used for determining whether the scene is a transition part is that the input video signal is extracted as described above if it is not a scene transition part. This is because the statistical characteristics (mean and standard deviation) of do not differ significantly from the previous video signal. On the contrary, if the input video signal is a scene change part, the statistical properties of the extracted video signal appear much different from the statistical properties of the previous video signal. Therefore, in the present invention, it is determined whether or not to change the scene for the input image by using the temporal change of the statistical characteristic value, this determination will be performed in the control block 1120 described later.

즉, 제어 블럭(1120)에서는 상기 통계적 특성 산출 블럭(1110)으로부터 제공되는 파라메터, 즉 각 프레임의 평균(MIp) 표준편차(ACT) 값들을 이용하여 현재의 입력 영상이 장면전환 부분인지의 여부를 판단하며, 이러한 판단신호는 라인 L14를 통해 다음단의 연산 블럭(1140)으로 제공된다. 즉, 영상신호의 장면전환 부분에서는 시간적인 변화가 많아 이전 영상과 현재 영상 사이에 유사성이 많지 않게 되는 데, 그 결과 움직임 보상과 같은 부호화 시스템의 처리과정에서 부호화의 효율이 떨어져 부호화시에 많은 양의 비트가 발생하게 되므로써, 양자화 단계에서의 큰 양자화 오차(수신측의 복원된 재생 영상에서 블럭킹 현상으로 인한 화질열화를 야기 시키는 원인이 됨)를 수반하게 된다. 따라서, 본 발명에서는 이와같이 영상의 장면전환시에 발생되는 이러한 현상을 줄이기 위하여 입력 영상의 장면전환을 검출한다.That is, the control block 1120 determines whether the current input image is a scene change part by using parameters provided from the statistical characteristic calculation block 1110, that is, average (MIp) standard deviation (ACT) values of each frame. This determination signal is provided to the next operation block 1140 via the line L14. That is, in the scene change part of the video signal, there is not much similarity between the previous video and the current video due to the change in time. As a result, the encoding efficiency is low during the processing of the coding system such as motion compensation. By generating a bit of, a large quantization error in the quantization step (which causes a deterioration of image quality due to a blocking phenomenon in the reconstructed reproduced image on the receiver side) is accompanied. Accordingly, the present invention detects the scene change of the input image in order to reduce such a phenomenon occurring during the scene change of the image.

보다 상세하게, 제어 블럭(1120)에서는 입력 영상의 장면전환 검출을 위하여 일정시간 동안의 통계적 특성(단시간 통계)과 통계적 특성 산출 블럭(1110)으로부터 입력되는 현재 프레임의 파라메터(평균, 표준편차)를 비교하여 그 장면전환 여부를 판단하는 데, 이와같은 단시간 통계를 구하는 과정은 다음과 같다.More specifically, in the control block 1120, the statistical characteristics (short-term statistics) for a predetermined time and the parameters (average, standard deviation) of the current frame input from the statistical characteristic calculation block 1110 are used to detect the scene transition of the input image. In order to determine whether the scene transition is compared, the process of obtaining such short-time statistics is as follows.

먼저, 입력 영상에 대한 일정시간 동안의 통계적 특성을 구하는 과정은 여러 가지 방법이 있을 수 있으나, 본 발명에서는 1초 동안의 프레임에 대한 각 프레임의 파라메터 평균과 표준편차를 이용하였다. 제어 블럭(1120)에서는 통계적 특성 산출 블럭(1110)으로부터 제공되는 각 프레임에 대한 MIp 및 ACT 값을 입력하여 이 값들에 대한 1초 동안의 평균과 표준편차를 계산한다. 이와같은 계산을 위해 제어 블럭(1120)에서는 통계적 특성 산출 블럭(1110)에서 매 프레임마다 입력되는 MIp, ACT 값을 메모리 블럭(1130)에 저장한다.First, the process of obtaining statistical characteristics for a predetermined time with respect to the input image may have various methods. In the present invention, the parameter average and standard deviation of each frame with respect to the frame for 1 second are used. The control block 1120 inputs MIp and ACT values for each frame provided from the statistical characteristic calculation block 1110 to calculate averages and standard deviations for these values for one second. For this calculation, the control block 1120 stores the MIp and ACT values input every frame in the statistical characteristic calculation block 1110 in the memory block 1130.

즉, 현재 입력되는 영상(프레임)에서 추출한 파라메터를 MIp(0), ACT(0) 라 하고, 바로 이전 영상에서 추출한 파라메터를 MIp(1), ACT(1), 이러한 순서로 MIp(i), ACT(i) 라 하면(i 는 1에서 30 사이의 정수값), 30 프레임 이전에 입력된 파라메터값은 MIp(30), ACT(30) 이며, 이와같은 값들은 메모리 블럭(1130)에 저장되는 값이다. 따라서, 제어 블럭(1120)에서는 각 프레임의 평균 MIp(1)에서 MIp(30) 까지의 30 개의 값으로부터 이 값들의 평균 MMIp 및 표준편차 SMIp 를 각각 계산하고, 마찬가지로 각 프레임의 표준편차 ACT(1)에서 ACT(30) 까지의 30개의 값으로부터 이 값들의 평균 MACT 및 표준편차 SACT를 각각 계산함으로써, 단시간 통계(1초 동안의 통계적 특성)를 산출한다.That is, the parameters extracted from the currently input image (frame) are called MIp (0), ACT (0), and the parameters extracted from the previous image are MIp (1), ACT (1), MIp (i), If ACT (i) (i is an integer value between 1 and 30), parameters input before 30 frames are MIp (30) and ACT (30), and these values are stored in the memory block 1130. Value. Accordingly, the control block 1120 calculates the average MMIp and the standard deviation SMIp of these values from the 30 values from the average MIp (1) to the MIp (30) of each frame, and similarly, the standard deviation ACT (1) of each frame. By calculating the mean MACT and standard deviation SACT of these values from the 30 values from ACT 30 to), short time statistics (statistical characteristics for one second) are calculated.

다음에 상술한 바와같이 산출된 4 개의 단시간 통계 MMIp, SMIp, MACT, SACT 와 현재 제어 블럭(1120)에 입력된 한 프레임의 파라메터 MIp(0), ACT(0)를 이용하여 라인 L14 상에 발생되는 출력신호 B는 다음의 수식과 같이 계산된다.Next, on the line L14 using the four short-time statistics MMIp, SMIp, MACT, SACT calculated as described above, and the parameters MIp (0) and ACT (0) of one frame input to the current control block 1120. The output signal B to be calculated is calculated by the following equation.

[수식 3][Equation 3]

상기 수식에서 &&는 앤드 연산을 의미한다. 따라서, 상기한 바와같이 산출되어 라인 L14 상에 발생된 출력신호 B는 프레임 출력 블럭(1140)으로 제공되는 데, 라인 L14 상의 출력신호 B가 0 인 경우에는 현재 입력되는 영상신호의 특성인 MIp(0)의 값이 이전의 단시간 특성과 비교하여 그다지 변화가 많지 않으므로 장면전환 부분이 아님을 의미하고, 이와달리 라인 L14 상의 출력신호 B가 1 인 경우에는 현재 입력되는 영상신호의 특성이 이전의 단시간 특성과 비교하여 변화가 많은 부분이므로 장면전환 부분임을 의미한다. 즉, 제어 블럭(1120)에서는 각 프레임의 통계적 특성에 기초한 이전 소정시간 동안의 프레임에서 얻은 단시간 통계를 이용하여 현재 입력 프레임의 픽셀값 평균이 갑자기 변하는 지의 여부를 검출하며, 그 검출결과에 의거하여 현재 입력 영상이 장면전환 영상인지의 여부를 판단한다.In the above formula, && means an AND operation. Therefore, the output signal B calculated as described above and generated on the line L14 is provided to the frame output block 1140. When the output signal B on the line L14 is 0, MIp (the characteristic of the video signal currently input) The value of 0) means that it is not a scene change part because there is not much change compared with the previous short time characteristic. On the other hand, when the output signal B on the line L14 is 1, the characteristic of the currently input video signal is the previous short time. Compared to the characteristic, it means that it is a scene change part because there are many changes. That is, the control block 1120 detects whether or not the average of the pixel value of the current input frame is suddenly changed by using the short time statistics obtained from the frame for the previous predetermined time based on the statistical characteristics of each frame, and based on the detection result. It is determined whether the current input video is a scene change video.

그 결과, 프레임 출력 블럭(1140)에서는 이와같은 라인 L14 상의 출력신호 B에 의거하여 도면1의 제1프레임 메모리(100)로부터 제공되는 라인 L12 상의 현재 프레임 신호에 대해 고주파 성분의 제거없이 라인 L15 상에 발생하거나 또는 적절한 대역제한 처리, 특 펄터링을 수행하여 기설정된 고주파 성분이 제거된 프레임 신호를 라인 L15 상에 발생한다. 즉, 라인 L12상의 입력 프레임 신호를 필터링할 때, 프레임 출력 블럭(1140)에서는, 일예로서 도면3에 도시된 바와같이, Z(1,7), Z(2,6)이하의 값을 모두 제로(0)값으로 매핑처리하여 그 대역푹을 제한, 필터링을 수행하게 된다.As a result, in the frame output block 1140, based on the output signal B on the line L14, the current frame signal on the line L12 provided from the first frame memory 100 of FIG. A frame signal is generated on the line L15, or a band signal having a predetermined high frequency component is removed by performing an appropriate band limiting process or special filtering. That is, when filtering the input frame signal on the line L12, in the frame output block 1140, as shown in FIG. 3 as an example, all values below Z (1,7) and Z (2,6) are zero. Mapping to (0) value limits the bandwidth and performs filtering.

그런다음, 고주파 성분이 제거된 출력 프레임 신호은 도면1의 제1스위칭 블럭(114)의 c - a - d 경로를 경유하여 강제적인 인트라 부호화 모드 라인 L17에 연결된다. 따라서, 도면1의 영상 부호화 블럭(130)에서는 인간의 시각특성에 비교적 둔감한 고주파 성분이 제거된 라인 L17 상의 프레임 신호를 DCT, 양자화 등의 기법을 통해 공간축상의 상관성을 고려한 부호화를 수행하게 될 것이다.The output frame signal from which the high frequency component has been removed is then connected to the forced intra coding mode line L17 via the c-a-d path of the first switching block 114 of FIG. Accordingly, in the image encoding block 130 of FIG. 1, the frame signal on the line L17 from which the high frequency component is relatively insensitive to the human visual characteristics is removed, and the encoding is performed in consideration of the correlation on the spatial axis through a technique such as DCT or quantization. will be.

한편, 입력 프레임의 고주파 성분 제거를 위한 필터링 기법을 채용하지 않고 단지 라인 L12 상의 프레임 신호를 스위칭하여 입력 영상이 장면전환 부분일 때에만 라인 L15 상에 프레임 출력을 제공하도록 프레임 출력 블럭(1140)을 구성하는 경우, 필터링 기법을 채용하는 것에 비해 발생 데이타량은 다소 증가될 수 있으나 하드웨어적인 구현이 용이하다는 다른 장점을 갖는다. 따라서, 영상 부호화 시스템의 채용하고자 하는 적용범위에 따라 선택적(또는 적응적)으로 응용할 수 있을 것이다.On the other hand, the frame output block 1140 is switched to provide a frame output on the line L15 only when the input image is a scene change part by switching the frame signal on the line L12 without employing a filtering technique for removing high frequency components of the input frame. In the case of the configuration, the amount of generated data may be slightly increased compared with the filtering technique, but another advantage is that hardware implementation is easy. Therefore, it may be selectively (or adaptive) applied according to the application range of the image encoding system to be employed.

다른한편, 제어 블럭(1120)에서는 본 발명에 따라 후술되는 프레임 출력 블럭(1140)이 입력 프레임 신호를 필터링하여 고주파 성분이 제거된 프레임 신호를 발생하도록 구성될 때, 고정된 하나의 레벨(즉, 필터계수)로 입력 프레임을 필터링하지 않고, 입력 영상의 복잡도 등을 고려하여 적응적(또는 선택적)으로 필터링할 수 있도록 그의 출력신호 B를 다음의 수식과 같이 계산할 수 있다.On the other hand, in the control block 1120, when the frame output block 1140 described below according to the present invention is configured to filter the input frame signal to generate a frame signal from which high frequency components have been removed, The output signal B may be calculated as shown in the following equation so that the input frame may be filtered adaptively (or selectively) in consideration of the complexity of the input image without filtering the input frame.

[수식 4][Equation 4]

따라서, 상기한 바와같이 산출되어 라인 L14 상에 발생된 출력신호 B는 프레임 출력 블럭(1140)으로 제공되는 데, 라인 L14 상의 출력신호 B가 1 인 경우에는 현재 입력되는 영상신호의 특성인 MIp(0) 및 ACT(0)의 값이 이전의 단시간 특성과 비교하여 그다지 변화가 많지 않으므로 장면전환 부분이 아님을 의미하고, 이와 달리 라인 L14 상의 출력신호 B가 2,3,4인 경우에는 현재 입력되는 영상신호의 특성이 이전의 단시간 특성과 비교하여 변화가 많은 부분이므로 장면전환 부분임을 의미한다. 즉, 제어 블럭(1120)에서는 각 프레임의 통계적 특성에 기초한 이전 소정시간 동안의 프레임에서 얻은 단시간 통계를 이용하여 현재 입력 프레임의 픽셀값 평균이 갑자기 변하는 지의 여부를 검출하며, 그 검출결과에 의거하여 현재 입력 영상이 장면전환 영상인지의 여부를 판단한다.Therefore, the output signal B calculated as described above and generated on the line L14 is provided to the frame output block 1140. When the output signal B on the line L14 is 1, MIp (the characteristic of the video signal currently input) The value of 0) and ACT (0) is not a changeover part because there is not much change compared with the previous short-time characteristic.In contrast, if the output signal B on the line L14 is 2, 3, 4, the current input This means that the characteristic of the video signal is a changeover part because there is a lot of change compared to the previous short-time characteristic. That is, the control block 1120 detects whether or not the average of the pixel value of the current input frame is suddenly changed by using the short time statistics obtained from the frame for the previous predetermined time based on the statistical characteristics of each frame, and based on the detection result. It is determined whether the current input video is a scene change video.

그 결과, 프레임 출력 블럭(1140)에서는 이와같은 라인 L14 상의 출력신호 B에 의거하여 도면1의 제1프레임 메모리(100)로부터 제공되는 라인 L12 상의 현재 프레임 신호에 대해 그에 상응하는 적절한 대역제한 처리, 즉 적응적인 필터링을 수행한다. 즉, 라인 L12 상의 입력 프레임 신호를 필터링할 때, 프레임 출력 블럭(1140)에서는 일예로서 도면4에 도시된 바와같이, 입력 영상의 복잡도에 근거하는 제어 블럭(1120)으로부터의 출력신호 B에 상응하여 그 출력값 이하(즉, 도면4에서 점선 이하의 값)의 값을 제로(0)값으로 매핑처리하여 그 대역폭을 제한, 필터링을 수행하게 된다. 다시말해, 본 실시예에 따르면, 입력 프레임의 복잡정도에 따라 입력 프레임 신호의 고주파 성분 제거 레벨을 선택적(또는 적응적)으로 조절된다.As a result, in the frame output block 1140, on the basis of such an output signal B on the line L14, a corresponding band limiting process corresponding to the current frame signal on the line L12 provided from the first frame memory 100 of FIG. In other words, adaptive filtering is performed. That is, when filtering the input frame signal on the line L12, the frame output block 1140 corresponds to the output signal B from the control block 1120 based on the complexity of the input image, as shown in FIG. 4 as an example. Values below the output value (that is, values below the dotted line in FIG. 4) are mapped to zero values to limit the bandwidth and perform filtering. In other words, according to the present embodiment, the high frequency component rejection level of the input frame signal is selectively (or adaptively) adjusted according to the complexity of the input frame.

그런다음, 상기와 같이 고주파 성분이 적응적(또는 선택적)으로 제거된 출력 프레임 신호는 도면1의 제1스위칭 블럭(114)의 c - a - d 경로를 경유하여 강제적인 인트라 부호화 모드 라인 L17에 연결된다. 따라서, 도면1의 영상 부호화 블럭(130)에서는 인간의 시각특성에 비교적 둔감한 고주파 성분이 선택적 또는 적응적으로 제거된 라인 L17 상의 프레임 신호를 DCT, 양자화 등의 기법을 통해 공간축상의 상관성을 고려한 부호화를 수행하게 될 것이다.Then, the output frame signal from which the high frequency component is adaptively (or selectively) removed as described above is transmitted to the forced intra coding mode line L17 via the c-a-d path of the first switching block 114 of FIG. Connected. Accordingly, in the image encoding block 130 of FIG. 1, the correlation of the spatial signal on the spatial axis through DCT, quantization, or the like is applied to the frame signal on the line L17 in which the high frequency component relatively insensitive to the human visual characteristics is selectively or adaptively removed. You will be encoding.

또한, 제어 블럭(1120)에서는 현재 프레임의 순차 입력에 따라 메모리 블럭(1130)에 저장된 각 프레임에 대한 MIp, ACT 값들을 순차적으로 갱신, 즉 하나의 새로운 프레임에 대한 MIp(0), ACT(0) 값이 입력되면 기저장된 MIp(30), ACT(30)의 값을 MIp(29), ACT(29)의 값으로, MIp(29), ACT(29)의 값을 MIp(28), ACT(28)의 값으로, 순차 대치하여 최종적으로 MIp(1), ACT(1)의 값을 MIp(0), ACT(0)의 값으로 대치함으로써, 하나의 입력 영상에 대해 새롭게 갱신된 단시간 통계의 산출을 가능하게 하며, 이러한 갱신과정은 매 프레임이 입력될 때마다 수행된다. 결국, 통게적 특성 산출 블럭(1110)에서 추출된 각 프레임에 대한 파라메터가 메모리 블럭(1130)에 저장되는 시간은 30 프레임 동안에 해당하고, 30 프레임이 지나면 단시간 통계의 산출에 이용되지 않게 된다. 이와같이 단시간 통계 산출을 위해 각 프레임의 파라메터를 저장하는 메모리 블럭(1130)은, 예를들면 선입선출 버퍼 등을 이용하여 간단하게 구성할 수 있을 것이다.In addition, the control block 1120 sequentially updates MIp and ACT values for each frame stored in the memory block 1130 according to the sequential input of the current frame, that is, MIp (0) and ACT (0) for one new frame. ), The values of the previously stored MIp (30) and ACT (30) are the values of the MIp (29), ACT (29), the values of the MIp (29), ACT (29) MIp (28), ACT A newly updated short time statistic for one input image by sequentially replacing the value of (28) and finally replacing the values of MIp (1) and ACT (1) with values of MIp (0) and ACT (0). This update process is performed each time a frame is input. As a result, the time for which the parameter for each frame extracted by the general characteristic calculation block 1110 is stored in the memory block 1130 corresponds to 30 frames, and after 30 frames, the parameter is not used to calculate short-time statistics. As such, the memory block 1130 that stores the parameters of each frame for short-term statistical calculation may be simply configured using, for example, a first-in, first-out buffer.

한편, 제어 블럭(1120)에서는 메모리 블럭(1130)에 저장된 30 프레임의 MIp, ACT 값을 이용하여 산출되는 소정시간(예를들면, 1초)동안의 이전 입력 영상에 대한 단시간 통계와 현재의 입력 영상의 통계적 특성 파라메터(MIp, ACT)에 의거하여 현재 입력 영상이 장면전환 부분인지 여부를 판단할 때 그 판단결과에 기초하여 도면1의 제1스위칭 블럭(114)에서의 접점 절환을 위한 제어신호 CS1(예를들면, 하이 또는 로우 레벨을 갖는 논리신호) 를 라인 L13 상에 발생한다.Meanwhile, in the control block 1120, the short-time statistics and the current input for the previous input image for a predetermined time (eg, 1 second) calculated using the MIp and ACT values of 30 frames stored in the memory block 1130. Control signal for switching the contact point in the first switching block 114 of FIG. 1 based on the determination result when determining whether the current input image is a scene change part based on the statistical characteristic parameters MIp and ACT of the image. CS1 (e.g., a logic signal having a high or low level) is generated on line L13.

다시말해, 제어 블럭(1120)에서는 이전 영상에 대한 소정시간 동안의 단시간 통계와 현재 입력 영상의 통계적 특성(MIp, ACT)과의 비교결과, 현재 입력 영상이 장면전환 부분이 아닌 것으로 판단될 때, 라인 L13 상에 하이 또는 로우 레벨의 논리신호를 발생하여 도면1에 도시된 제1스위칭 블럭(114)의 라인 b - a - e 가 연결되도록 제어하고, 이와는 달리 현재 입력 영상이 장면전환 부분인 것으로 판단될 때, 라인 L13 상에 로우 또는 하이 레벨의 논리신호를 발생하여 도면1에 도시된 제1스위칭 블럭(114)의 라인 c - a - d 가 연결되도록 제어한다. 그 결과, 제어 블럭(1120)으로부터 제공되는 라인 L13 상의 제어신호 CS1에 의거하여, 제1스위칭 블럭(114)의 라인 b - a - e 가 연결되면 라인 L11 상의 현재 입력 프레임 신호 자체가 적응적인 인트라/인터 모드 부호화를 위한 라인 L16 상에 연결되고, 반대로 제1스위칭 블럭(114)의 라인 c - a - d 가 연결되면 전술한 프레임 출력 블럭(1140)에서 제공되는 라인 L15 상의 프레임 신호 또는 고주파 성분이 제거된 프레임 신호가 본 발명에 따른 강제적인 인트라 모드 부호화 라인 L17 상에 연결될 것이다.In other words, in the control block 1120, when it is determined that the current input image is not the scene change part, as a result of comparing the short-time statistics for a predetermined time with respect to the previous image and the statistical characteristics (MIp, ACT) of the current input image, A logic signal of high or low level is generated on the line L13 to control the lines b-a-e of the first switching block 114 shown in FIG. 1 to be connected, whereas the current input image is a scene change part. When it is determined, a logic signal of low or high level is generated on the line L13 to control the line c-a-d of the first switching block 114 shown in FIG. 1 to be connected. As a result, based on the control signal CS1 on the line L13 provided from the control block 1120, when the lines b-a-e of the first switching block 114 are connected, the current input frame signal on the line L11 itself is an adaptive intra. Frame signal or high frequency component on the line L15 provided by the above-described frame output block 1140 when the line c-a-d of the first switching block 114 is connected to the line L16 for inter-mode encoding. This removed frame signal will be connected on the forced intra mode encoding line L17 according to the present invention.

다른한편, 본 발명에 따라 프레임 출력 블럭(1140)이 필터링을 통해 고주파 성분이 제거된 프레임 신호를 입력 프레임 신호로써 라인 L15 상에 발생하도록 구성될 때, 그 고주파 성분 제거를 위한 방법으로는 1차원 저역 통과 필터링 기법, 2차원 저역 통과 필터링 기법, 이산 푸리에 변환(Discrete Fourier Transform : 이하 DFT 라 약칭함)을 이용한 대역제한 기법 및 이산 코사인 변환(Discrete Cosine Transform : 이하 DCT 라 약칭함)을 이용한 대역제한 기법 등을 들 수 있다.On the other hand, when the frame output block 1140 is configured to generate a frame signal from which high frequency components have been removed through filtering, on the line L15 as an input frame signal, the method for removing the high frequency components is one-dimensional. Low pass filtering, 2D low pass filtering, band limiting using Discrete Fourier Transform (hereinafter abbreviated as DFT) and band limiting using Discrete Cosine Transform (abbreviated as DCT) Techniques;

상기한 바와같이 본 발명에 따라 인간의 시각특성에 비교적 둔감한 고주파 성분이 제거된 프레임을 강제적인 인트라 부호화 모드 라인 L17 상에 입력 프레임 신호로 제공하고자 할 때, 그 고주파 성분을 제거하는 기법들중 하나인 1차원 저역 통과 필터링 기법은, 입력되는 영상신호에 저역 통과 필터를 곱함으로써 수행된다. 즉, N×M 의 한 블럭(예를들면, 8×8 블럭)의 영상에 대한 각 필셀의 값을 f(x,y)라 할 때, 일예로서 도면5에 도시된 바와같이 한 블럭이 8×8 의 블럭인 경우, 픽셀의 수평 및 수직 방향으로의 위치값 x 및 y는 0에서 7 사이의 정수값을 갖으며, 각 값들은 0에서 255 사이의 레벨값을 갖는다. 즉, 도면 5로부터 알 수 있는 바와같이, 8×8 블럭의 각 픽셀의 수평 및 수직 방향의 위치값은 f(0,0)에서 f(7,7)의 값을 갖는다.As described above, when a frame from which a high frequency component relatively insensitive to human visual characteristics is removed is provided as an input frame signal on a forced intra coding mode line L17 according to the present invention, among the techniques for removing the high frequency component One one-dimensional low pass filtering technique is performed by multiplying an input video signal by a low pass filter. That is, when the value of each pixel for an image of one block of N × M (for example, 8 × 8 blocks) is f (x, y), one block is 8 as shown in FIG. 5 as an example. In the case of a block of x8, the position values x and y of the pixels in the horizontal and vertical directions have integer values between 0 and 7, and each value has a level value between 0 and 255. That is, as can be seen from Fig. 5, the position values in the horizontal and vertical directions of each pixel of the 8x8 block have a value of f (0,0) to f (7,7).

한편, 본 발명에서의 1차원 저역 통과 필터로서는, 일예로서 도면6에 도시된 바와같이, 1차원 저역 통과 필터계수가 7 개의 차수를 갖는 것이라 가정하여 도시하였다. 이러한 저역 통과 필터는 입력 영상신호의 샘플링 주파수가 fs 인 경우 그 주파수 대역폭이 fs/2 이므로 이 신호를 fs/4 의 주파수 대역폭을 갖도록 대역 제한하는 저주파 통과 필터를 예로 든 것이다.On the other hand, as the one-dimensional low pass filter in the present invention, as shown in Fig. 6 as an example, it is assumed that the one-dimensional low pass filter coefficient has a seven orders. The low pass filter is an example of a low pass filter that band-limits the signal to have a frequency bandwidth of fs / 4 since the frequency bandwidth is fs / 2 when the sampling frequency of the input video signal is fs.

따라서, 프레임 출력 블럭(1140)에서 본 발명에 따라 영상신호를 1차원 저역 통과 필터링하는 과정은 입력 영상신호가 수평 및 수직 방향으로의 2차원 신호이므로 각각의 방향에 대하여 1차원 저역 통과 필터링을 수행함으로써 구현할 수 있다. 이러한 과정에 대해서는 (0,4) 위치에서의 수평 방향 필터링과 (3,0) 위치에서의 수직 방향 필터링 과정을 도시한 도면7에 상세하게 도시되어 있다. 즉, (x,y)의 위치에서 수직 방향으로 저역 통과 필터링된 신호를 z(x,y) 라고 하면, 이것은 아래의 수식에 의해 계산된다.Therefore, in the frame output block 1140, the process of performing one-dimensional low pass filtering on the image signal according to the present invention performs one-dimensional low pass filtering on each direction since the input image signal is a two-dimensional signal in the horizontal and vertical directions. This can be achieved by This process is illustrated in detail in FIG. 7 which illustrates a horizontal filtering process at (0,4) and a vertical filtering process at (3,0). That is, if the low pass filtered signal in the vertical direction at the position of (x, y) is z (x, y), this is calculated by the following equation.

[수식 5][Equation 5]

상기한 [수식 5]에서 T는 필터의 차수를 의미하므로, T = 7 이다. 따라서, u,v 값은 -3에서 3 사이의 정수값을 갖는다. 또한, 상기한 [수식 5]에서 k(u)값은 필터계수값이고, f(x,y) 값은 픽셀값이다. 만일, 상기한 [수식 5]에서 f(x,y-u)의(y-u) 값이 0 보다 작아지면 0 으로 하고, 혹은 전체 한 프레임의 영상 크기에 해당하는 M-1 값보다 커지는 경우에는 M-1 값으로 해준다. 이것은, 그 영역, 즉 0에서 M-1 사이에서만 픽셀값이 존재하므로 이 영역을 넘는 경우에는 끝값으로 설정해 주는 방법인 것으로, 이러한 필터링 방법은 이 기술분야에 이미 공지된 기술이다.In the above Equation 5, T means the order of the filter, so T = 7. Thus, the u, v values have integer values between -3 and 3. In the above Equation 5, k (u) is a filter coefficient value, and f (x, y) is a pixel value. In the above Equation 5, if the value of f (x, yu) is less than 0, the value is 0. If the value of f (x, yu) is smaller than 0, M-1 is larger than the M-1 value corresponding to the image size of one frame. Value. This is a method of setting the end value when the pixel value exists only in the area, that is, 0 to M-1, and this filtering method is a technique known in the art.

따라서, 상기한 [수식 5]에서와 같이 모든 픽셀의 위치에서 필터링을 수행하면, 일예로서 도면7에 도시된 바와같이, 수평 및 수직 방향으로 1차원 필터링한 결과를 얻을 수 있다. 이때, 본 발명에 따라 모든 픽셀의 위치에서 이러한 필터링을 수행하는 과정에서 수평 방향 필터링을 먼저 수행하고, 수평 방향 필터링된 결과에 대해 다시 수직 방향 필터링을 수행하거나 혹은 그 순서를 바꾸어서 수행할 수도 있다.Therefore, if filtering is performed at all pixel positions as shown in [Equation 5], as shown in FIG. 7 as an example, one-dimensional filtering results in horizontal and vertical directions can be obtained. In this case, according to the present invention, in the process of performing such filtering at all pixel positions, horizontal filtering may be performed first, and vertical filtering may be performed again or the order of the horizontal filtering may be performed again.

한편, 상술한 바와같은 1차원 저역 통과 필터링시에 기설정된(또는 고정된)하나의 필터계수만을 이용하여 입력 영상신호의 고주파 성분을 완전 제거 또는 부분제거하도록 구성할 수도 있으나, 입력 영상의 복잡정도를 고려하여 그 복잡도의 크기에 따라 복수의 필터계수(예를들면, 4개 등)를 사용하여 입력 영상의 고주파 성분제거를 적응적(또는 선택적)으로 제거하도록 구성할 수도 있다. 이때, 복수의 필터계수를 이용하여 입력 프레임을 적응적으로 필터링할 경우, 기설정된 하나의 필터계수를 이용한 영상 필터링에 비해 하드웨어의 구현은 다소 복잡해질 수 있으나 도면1의 영상 부호화 블럭(130)의 양자화 과정에서 양자화 스텝 사이즈의 고정밀한(촘촘한) 제어가 가능하다는 또다른 장점을 갖는다. 따라서, 이와같이 복수의 필터계수를 이용하여 적응적으로 필터링하는 경우에 대해서는 그 적용범위에 따라 선택적으로 응용할 수 있을 것이다.On the other hand, the one-dimensional low-pass filtering as described above may be configured to completely remove or partially remove the high frequency components of the input video signal by using only one preset filter coefficient (or fixed), but the complexity of the input video In consideration of this, according to the size of the complexity, a plurality of filter coefficients (for example, four, etc.) may be used to adaptively (or selectively) remove high frequency components of the input image. In this case, when the input frame is adaptively filtered using a plurality of filter coefficients, the hardware implementation may be more complicated than the image filtering using one preset filter coefficient, but the image encoding block 130 of FIG. Another advantage is that in the quantization process, precise control of the quantization step size is possible. Therefore, in the case of adaptive filtering using a plurality of filter coefficients as described above, it may be selectively applied according to its application range.

다른한편, 입력 프레임의 고주파 성분 제거를 위한 기법들중 2차원 저역 통과 필터링은 도면5에 도시된 바와같이 N×M 의 한 블럭(예를들면, 8×8 블럭)의 영상에 대한 각 필셀의 값을 f(x,y)라 하고, 일예로서 도면8에 도시된 바와같이, 2차원 저역 통과 필터계수가 3 개의 차수를 갖는 9 차수를 갖는 것이라 가정하면, 하기에 기술되는 수식에서와 같이 필터계수 k 에 의해 좌우되는 데, k(0,0)의 값은 1/2이고, 그 이외의 값은 1/16의 값을 갖는다.On the other hand, two-dimensional low-pass filtering among the techniques for the removal of the high frequency components of the input frame is shown in Fig. 5 for each pixel of one pixel of N × M (e.g., 8 × 8 blocks). Assume that the value is f (x, y), and as an example, as shown in Fig. 8, the two-dimensional low pass filter coefficient has a 9th order having 3 orders, as shown in the following formula: Depending on the coefficient k, the value of k (0,0) is 1/2 and other values have a value of 1/16.

따라서, 프레임 출력 블럭(1140)에서 본 발명에 따라 라인 L12 상의 입력 프레임 신호를 2차원 저역 통과 필터링하는 과정은, 예를들면 f(3,3)의 위치에서 필터링을 수행하는 과정을 보여주는 도면9에 도시된 바와같다. 도면9에 있어서, 필터계수와 겹치는 픽셀간의 곱을 모두 더하면 필터링한 결과를 얻게 된다. (x,y)의 위치에서 2차원 저역 통과 필터링된 신호를 Z(x,y) 라고 하면, 이 값은 아래의 수식에 의해 계산된다.Accordingly, the process of performing two-dimensional low pass filtering on the input frame signal on the line L12 in the frame output block 1140 according to the present invention, for example, shows a process of performing filtering at the position of f (3,3). As shown in. In Fig. 9, the sum of the product between the filter coefficient and the overlapping pixels gives a filtered result. If the two-dimensional low pass filtered signal at (x, y) is called Z (x, y), this value is calculated by the following equation.

[수식 6][Equation 6]

상기한 수식에서 T는 필터의 차수를 의미하므로, T = 3 이다. 따라서, u 값은 -1에서 1사이의 정수값을 갖는다. 또한, 상기한 수식에서 k(u,v) 값은 필터계수값이고, f(x,y) 값은 픽셀값이다. 이때, 전술한 1차원 저역 통과 필터링에서와 마찬가지로, 상기한 수식에서 f(x-u, y-v)의 (x-u), (y-v) 값이 0 보다 작아지면 0 으로 하고, 혹은 전체 한 프레임의 영상 크기에 해당하는 M-1 값보다 커지는 경우에는 M-1 값으로 해 준다. 따라서, 상기 수식에서와 같이 모든 픽셀의 위치에서 필터링을 수행하면, 일예로서 도면9에 도시된 바와같이, 수평 및 수직 방향으로 2차원 필터링한 결과를 얻을 수 있다.In the above formula, T means the order of the filter, so T = 3. Thus, the u value has an integer value between -1 and 1. Also, in the above formula, the k (u, v) value is a filter coefficient value, and the f (x, y) value is a pixel value. In this case, as in the above-described one-dimensional low pass filtering, when the values of (xu) and (yv) of f (xu, yv) are smaller than 0 in the above equation, the value is 0, or corresponds to the image size of one frame. If it becomes larger than the M-1 value, the M-1 value is used. Therefore, if the filtering is performed at the positions of all the pixels as in the above formula, as shown in FIG. 9, for example, two-dimensional filtering in the horizontal and vertical directions can be obtained.

다른한편, 입력 프레임의 고주파 성분 제거를 위한 기법들중 DFT 를 이용한 대역제한 기법을 채용하는 경우, 프레임 출력 블럭(1140)은 전술한 제어 블럭(1120)으로 제공되는 주파수 영역 구분을 위한 대역폭을 결정하는 출력신호 B에 의거하여 입력 영상에서 시각에 비교적 둔감한 고주파 성분을 제한하는 데, 그 과정은 실질적으로 2차원 주파수 변환 과정과 주파수 선택 과정으로 구분할 수 있으며, 이때 2차원 주파수 변환 과정에서는 이산 푸리에 변환(DFT)을 이용하고, 주파수 선택 과정에서는 제어 블럭(1120)으로부터 제공되는 출력신호 B에 의거하여 DFT 변환된 영상신호의 통과 대역을 결정한다.On the other hand, when the band limiting technique using the DFT is adopted among the techniques for removing the high frequency components of the input frame, the frame output block 1140 determines the bandwidth for frequency domain division provided to the control block 1120 described above. On the basis of the output signal B to limit the high frequency components which are relatively insensitive to the time in the input image, the process can be substantially divided into two-dimensional frequency conversion process and frequency selection process, in which the discrete Fourier By using the transform (DFT), in the frequency selection process, the passband of the DFT-converted video signal is determined based on the output signal B provided from the control block 1120.

다음에, 프레임 출력 블럭(1140)에서 라인 L12 상의 입력 프레임을 2차원 DFT 변환하고, 또한 대역폭 결정을 위한 출력신호 B에 의거하여 2차원 DFT 변환된 영상신호의 주파수를 선택하는 과정에 대하여 상세하게 설명한다.Next, the frame output block 1140 performs a two-dimensional DFT conversion on the input frame on the line L12 and selects a frequency of the two-dimensional DFT-converted video signal based on the output signal B for bandwidth determination. Explain.

먼저, 프레임 출력 블럭(1140)은 입력 영상신호가 갖는 공간영역의 유사성을 이용하는 것으로, 아래의 수식에 의거하여 공간영역의 영상신호(픽셀 데이타)를 푸리에함수를 이용하여 N×N 단위, 예를들면 8×8 단위의 주파수 영역의 2차원 DFT 변환계수들로 변환한다.First, the frame output block 1140 utilizes the similarity of the spatial domain of the input image signal. The frame output block 1140 uses the Fourier function to convert the image signal (pixel data) of the spatial domain using a Fourier function. For example, two-dimensional DFT transform coefficients of a frequency domain of 8x8 units are converted.

[수식 7][Formula 7]

상기 수식에서 f(u,v)는 각 픽셀의 값을 , u는 수평 방향의 위치를 , v는 수직 방향으로의 픽셀의 위치를 나타낸다. 따라서, N×N 블럭의 각 필셀에 대한 값은 다음과 같은 값을 갖는다. 즉, N = 8 인 경우 u 및 v 는 0 과 7 사이의 값을 갖는다. 이때, 각 값들은 0에서 255 사이의 정수값을 갖는다. 또한, 상기 수식에서 Z(k,l) 은 변환된 신호를 의미하고, k,l 은 각각 수평 및 수직 방향으로의 주파수 성분을 의미한다. 따라서, N = 8 인 경우에는 8×8 DEF 블럭, 즉 공간영역의 신호가 주파수 영역의 신호로 변환된다.In the above formula, f (u, v) denotes the value of each pixel, u denotes the position in the horizontal direction, and v denotes the position of the pixel in the vertical direction. Therefore, the value for each fill cell of the N × N block has the following value. That is, when N = 8 u and v have a value between 0 and 7. At this time, each value has an integer value between 0 and 255. In addition, in the above formula, Z (k, l) means a converted signal, and k, l means frequency components in the horizontal and vertical directions, respectively. Therefore, when N = 8, an 8x8 DEF block, that is, a signal in the spatial domain is converted into a signal in the frequency domain.

보다 상세하게, 프레임 출력 블럭(1140)에서는 상술한 바와 같은 과정을 통해 얻어진 DEF 변환계수들에 대하여, 라인 L14를 통해 제어 블럭(1120)으로부터 제공되는 대역폭 결정을 위한 출력신호 B에 의거하여 그 통과되는 주파수 대역을 결정한다. 이때, 전술한 [수식 5]에서와 같이 대역폭 결정을 위한 출력신호 B는 1에서 4사이의 정수값으로 설정할 수 있는 데, 이에 따라 선택되는 주파수는 다음과 같다.More specifically, in the frame output block 1140, the DEF conversion coefficients obtained through the process described above are passed based on the output signal B for bandwidth determination provided from the control block 1120 through the line L14. Determine the frequency band to be In this case, as shown in Equation 5, the output signal B for bandwidth determination may be set to an integer value between 1 and 4, and the selected frequency is as follows.

즉, 프레임 출력 블럭(1140)에서는 변환된 주파수 Z(k.l)에서 특정한 주파수를 선택한다. 여기에서, k,l은 0에서 N-1사이의 정수값이다. 따라서, 프레임 출력 블럭(1140)에서 출력되는 값은 특정 주파수 성분(즉, 고주파 성분)이 제거된 신호가 된다. 예를들어, N = 8 인 경우에, 일예로서 도면4에 도시된 바와같이, 그 통과 주파수 대역이 결정될 것이다.That is, the frame output block 1140 selects a specific frequency from the converted frequency Z (k.l). Here, k, l is an integer value between 0 and N-1. Therefore, the value output from the frame output block 1140 becomes a signal from which a specific frequency component (ie, a high frequency component) is removed. For example, in the case of N = 8, as shown in FIG. 4 as an example, the pass frequency band will be determined.

따라서, 도면4에 도시된 바와같이, 라인 L14를 통해 제어 블럭(1120)으로부터 프레임 출력 블럭(1140)으로 제공되는 대역폭 결정을 위한 출력신호 B 에 따라 각각에 해당하는 점선 이하의 주파수는 모두 0으로 하여 선택하지 않는다. 즉, 도면4에서 B값이 4인 경우에는 Z(1,7), Z(2,6)등과 같은 점선 이하의 주파수는 모두 0으로 매핑 처리되는 것이다. 이와는 달리 하나의 기설정 필터계수를 이용하여 제어 블럭(1120)으로부터의 출력신호 B에 응답하여 소정 레벨 이상의 고주파 성분을 제한(고정된 레벨 이상의 고주파 성분을 0 으로 대체 등)하도록 구성할 수도 있으며, 이 경우 적응적인(또는 선택적인)대역제한에 비해 그 구현이 다소 용이할 것이다.Therefore, as shown in FIG. 4, the frequencies below the dotted line corresponding to each are all zero according to the output signal B for determining the bandwidth provided from the control block 1120 to the frame output block 1140 via the line L14. Do not choose. That is, in the case where the B value is 4 in FIG. 4, frequencies below the dotted line such as Z (1,7), Z (2,6), etc. are all mapped to 0. FIG. Alternatively, a predetermined filter coefficient may be used to limit the high frequency components of the predetermined level or more (replace the high frequency components of the fixed level or more with 0, etc.) in response to the output signal B from the control block 1120. In this case, the implementation would be rather easy compared to the adaptive (or optional) band limit.

다음에, 상술한 바와같이 영상의 복잡도에 기초하여 결정되는 대역폭 결정을 위한 출력신호 B값에 따라 특정영역의 주파수(고주파 성분)가 제거된 DFT 변환계수들(주파수 영역의 신호)은 아래의 수식을 통해 원래의 공간영역의 신호로 역변환된다.Next, as described above, the DFT transform coefficients (signals in the frequency domain) from which the frequency (high frequency component) of the specific region is removed according to the output signal B value for determining the bandwidth determined based on the complexity of the image are expressed as follows. The inverse is transformed into the original spatial signal.

[수식 8]Equation 8

상기 수식에서 f(u,v)는 각 픽셀의 값을 의미하고, u 및 v는 수평 및 수직 방향으로의 픽셀의 위치를 의미하며, Z(k,l)는 변환된 신호를 의미하고, k,l 은 각각 수평 및 수직 방향으로의 주파수 성분을 의미한다. 따라서, N = 8 인 경우에는 주파수 영역의 8×8 DFT 블럭들은 공간영역의 신호(픽셀 데이타)로 변환된다.In the above formula, f (u, v) denotes the value of each pixel, u and v denote the position of the pixel in the horizontal and vertical directions, Z (k, l) denotes the converted signal, and k denotes frequency components in the horizontal and vertical directions, respectively. Therefore, when N = 8, 8x8 DFT blocks in the frequency domain are converted into signals in the spatial domain (pixel data).

그 결과, 프레임 출력 블럭(1140)에서는 라인 L15 상에 입력 영상이 장면전환 부분일 때 그 영상의 복잡도에 따라 특정영역의 주파수가 선택적으로 제거된 영상신호, 즉 입력 영상의 복잡도에 근거하여 산출되는 대역폭 결정을 위한 출력신호 B에 따라 영상의 고주파 성분이 선택된(또는 적응적)으로 제거된 프레임 신호(특정 영역의 고주파 성분이 0 값으로 대체된 영상신호)를 발생하며, 여기에서 발생된 신호(인간의 시각특성에 비교적 둔감한 고주파 성분이 선택적으로 제거된 프레임 신호)는 도면1의 제1스위칭 블럭(114)의 c - a - d 라인, 강제적인 인트라 부호화 모드 라인 L17을 경유하여 영상 부호화 블럭(130)으로 제공될 것이다.As a result, the frame output block 1140 is calculated based on the complexity of the input image, that is, the frequency of the specific region selectively removed according to the complexity of the image when the input image is the scene change portion on the line L15. According to the output signal B for bandwidth determination, a frame signal in which a high frequency component of the image is selected (or adaptively) is removed (an image signal in which a high frequency component of a specific region is replaced with a zero value). A frame signal in which a high frequency component which is relatively insensitive to human visual characteristics is selectively removed) is a video encoding block via a c-a-d line and a forced intra coding mode line L17 of the first switching block 114 of FIG. 130 will be provided.

다른한편, 입력 프레임의 고주파 성분 제거를 위한 기법들중 DCT를 이용한 대역제한 기법을 채용하는 경우, 프레임 출력 블럭(1140)은 전술한 제어 블럭(1120)으로 제공되는 주파수 영역 구분을 위한 대역폭을 결정하는 출력신호 B에 의거하여 입력 영상에서 시각에 비교적 둔감한 고주파 성분을 제한하는 데, 그 과정은 실질적으로 2차원 주파수 변환 과정과 주파수 선택 과정으로 구분할 수 있으며, 이때 2차원 주파수 변환 과정에서는 이산 코사인 변환(DCT)을 이용하고, 주파수 선택 과정에서는 제어 블럭(1120)으로부터 제공되는 출력신호 B에 의거하여 DCT 변환된 영상신호의 통과 대역을 결정한다.On the other hand, when the band limiting technique using DCT is adopted among the techniques for removing high frequency components of the input frame, the frame output block 1140 determines the bandwidth for frequency domain division provided to the control block 1120 described above. On the basis of the output signal B to limit the high frequency components which are relatively insensitive to the time in the input image, the process can be substantially divided into a two-dimensional frequency conversion process and a frequency selection process, where discrete cosine is used in the two-dimensional frequency conversion process. In the frequency selection process, the passband of the DCT-converted video signal is determined based on the output signal B provided from the control block 1120.

다음에, 프레임 출력 블럭(1140)에서 입력 영상을 2차원 DCT 변환하고, 또한 주파수 영역 구분을 위한 대역폭을 결정하는 출력신호 B에 의거하여 2차원 DCT 변환된 영상신호의 주파수를 선택하는 과정에 대하여 첨부된 도면10을 참조하여 상세하게 설명한다.Next, in the frame output block 1140, the process of selecting the frequency of the 2D DCT transformed video signal based on the 2D DCT transformed input signal and the output signal B for determining the bandwidth for frequency domain division. It will be described in detail with reference to the accompanying Figure 10.

먼저, 프레임 출력 블럭(1140)에서는 입력 영상에 대하여 2차원 DCT 변환을 수행하는 데, 이 기술분야에 잘 알려진 바와같이, DCT 변환 과정은 영상신호의 공간적인 유사성을 잘 반영한다고 알려진 것으로, 이러한 DCT 변환 기법은 영상신호를 부호화하는 과정에서 많이 응용되는 것이다. 따라서, 여기에서의 상세한 언급은 생략한다. 따라서, 본 실시예에서는 입력 영상이 장면전환 부분일 때, 이러한 특성(공간적인 유사성 반영)을 갖는 DCT 변환을 영상신호의 복잡도에 따른 효과적인 주파수 선택 기법으로 이용한다. 이와같은 본 발명에서의 주파수 선택 과정은 단순한 주파수 변환 기법에 비해 영상신호의 특성을 보다 잘 반영하여 주파수 영역으로 반환하게 되므로, 결과적으로 입력 영상에 대한 주파수 선택시에 그 효율을 높일 수 있다.First, in the frame output block 1140, two-dimensional DCT conversion is performed on an input image. As is well known in the art, the DCT conversion process is well known to reflect spatial similarity of an image signal. The conversion technique is widely applied in the process of encoding an image signal. Therefore, detailed description is omitted here. Therefore, in the present embodiment, when the input image is a scene change part, DCT transform having such characteristics (reflecting spatial similarity) is used as an effective frequency selection technique according to the complexity of the image signal. The frequency selection process according to the present invention returns to the frequency domain by better reflecting the characteristics of the image signal than the simple frequency conversion technique, and as a result, it is possible to increase the efficiency when selecting a frequency for the input image.

도면10은 도면2에 도시된 본 발명에 따른 프레임 출력 블럭(1140)에 대한 세부적인 블럭구성도를 나타낸다. 동도면에 도시된 바와같이, 프레임 출력 블럭(1140)은 DCT 블럭(1141), 양자화 블럭(1143), 주파수 선택기(1145), 역양자화 블럭(1147) 및 IDCT 블럭(1149)을 포함한다.FIG. 10 shows a detailed block diagram of the frame output block 1140 according to the present invention shown in FIG. As shown in the figure, the frame output block 1140 includes a DCT block 1141, a quantization block 1143, a frequency selector 1145, an inverse quantization block 1147, and an IDCT block 1149.

도면10에 있어서, DCT 블럭(1141)은 영상신호가 갖는 공간영역의 유사성을 이용하는 것으로, 아래의 수식에 의거하여 공간영역의 영상신호(픽셀 데이타)를 코사인함수를 이용하여 N×N 단위, 예를들면 8×8 단위의 주파수 영역의 2차원 DCT 변환계수들로 변환하여 다음단의 양자화 블럭(1143)에 제공한다.In Fig. 10, the DCT block 1141 uses the similarity of the spatial domain of the video signal, and according to the following equation, the DCT block 1141 uses the cosine function to convert the video signal (pixel data) of the spatial domain into N × N units, for example. For example, two-dimensional DCT transform coefficients of a frequency domain of 8x8 units are converted and provided to the next quantization block 1143.

[수식 9][Equation 9]

상기 수식에서 F(u,v) 는 변환된 DCT 계수를 의미하고 f(x,y)는 입력 영상신호를 의미한다. 여기에는, x,y는 픽셀 데이타의 가로 및 세로 방향의 위치를 의미하고, u,v는 변환된 DCT 계수에서 가로 및 세로 방향의 주파수를 의미한다. 그런다음, 양자화 블럭(1143)에서는 상기한 수식을 통해 2차원 변환된 DCT 계수들에 대해, 예를들면 비선형연산을 통해 유한한 개수의 값으로 양자화한다. 이때, DCT 변환계수의 양자화 과정에서 QP값을 이용하는 데, 변환된 DCT 계수를 F(u,v) 라 하면, F(u,v)/(2*QP)를 수행하여 정수값을 취하는 연산이 대표적인 양자화 과정의 예라고 할 수 있다.In the above equation, F (u, v) means the transformed DCT coefficient and f (x, y) means the input video signal. Here, x, y means the horizontal and vertical position of the pixel data, u, v means the frequency in the horizontal and vertical direction in the transformed DCT coefficients. The quantization block 1143 then quantizes the two-dimensional transformed DCT coefficients using the above-described equation, for example, using a nonlinear operation to a finite number of values. In this case, the QP value is used in the quantization process of the DCT transform coefficient. When the transformed DCT coefficient is F (u, v), an operation of performing an integer value by performing F (u, v) / (2 * QP) is performed. This is an example of a representative quantization process.

한편, 주파수 선택기(1145)에서는 상술한 바와같은 과정을 통해 양자화된 DCT 변환계수들에 대하여, 라인 L14를 통해 도면2의 제어 블럭(1120)으로부터 제공되는 대역폭 결정을 위한 출력신호 B에 의거하여 그 통과되는 주파수를 결정한다. 이때, 전술한 [수식 5]에서와 같이 대역폭 결정을 위한 출력신호 B는 1에서 4사이의 정수값으로 설정할 수 있는 데, 이에 따라 선택되는 주파수는 다음과 같다.On the other hand, the frequency selector 1145 uses the output signal B for bandwidth determination provided from the control block 1120 of FIG. 2 through the line L14 for the DCT transform coefficients quantized through the above-described process. Determine the frequency passed. In this case, as shown in Equation 5, the output signal B for bandwidth determination may be set to an integer value between 1 and 4, and the selected frequency is as follows.

즉, 주파수 선택기(1145)에서는 변환된 주파수 Z(k,l)에서 특정한 주파수를 선택한다. 여기에서, k,l은 0에서 N-1 사이의 정수값이다. 따라서, 주파수 선택기(1145)에서 출력되는 값은 특정 주파수 성분(즉, 고주파 성분)이 제거된 신호가 된다. 예를들어, N = 8 인 경우에 도면4에 도시된 바와같이 그 통과 주파수가 결정될 것이다.That is, the frequency selector 1145 selects a specific frequency from the converted frequency Z (k, l). Here, k, l is an integer value between 0 and N-1. Therefore, the value output from the frequency selector 1145 becomes a signal from which a specific frequency component (ie, a high frequency component) is removed. For example, when N = 8, its pass frequency will be determined as shown in FIG.

따라서, 도면4에 도시된 바와같이, 라인 L14를 통해 제어 블럭(1120)으로부터 주파수 선택기(1145)로 제공되는 대역폭 결정을 위한 출력신호 B에 따라 각각에 해당하는 점선 이하의 주파수는 모두 0으로 하여 선택하지 않는다. 즉, 도면4에서 B 값이 4인 경우에는 Z(1,7), Z(2,6) 등과 같은 점선 이하의 주파수는 모두 0으로 매핑 처리되는 것이다. 이와는 달리 하나의 기설정 필터계수를 이용하여 제어 블럭(1120)으로부터의 출력신호 B에 응답하여 소정 레벨 이상의 고주파 성분을 제한(고정된 레벨 이상의 고주파 성분을 0 으로 대체 등)하도록 구성할 수도 있으며, 이 경우 적응적인(또는 선택적인) 대역제한에 비해 그 구현이 다소 용이할 것이다.Therefore, as shown in FIG. 4, the frequency below the dotted line corresponding to each of the frequencies according to the output signal B for determining the bandwidth provided from the control block 1120 to the frequency selector 1145 through the line L14 is all zero. Do not choose. That is, when the B value is 4 in FIG. 4, frequencies below the dotted line such as Z (1,7), Z (2,6), etc., are all mapped to 0. FIG. Alternatively, a predetermined filter coefficient may be used to limit the high frequency components of the predetermined level or more (replace the high frequency components of the fixed level or more with 0, etc.) in response to the output signal B from the control block 1120. In this case the implementation would be rather easy compared to the adaptive (or selective) band limit.

다음에, 상술한 바와같이 입력 영상이 장면전환 부분일 때, 입력 영상의 복잡 정도에 기초하여 결정되는 대역폭 결정을 위한 출력신호 B 값에 따라 특정영역의 주파수(고주파 성분)가 제거된 양자화된 DCT 변환계수들은 다음단의 역양자화 블럭(1147) 및 IDCT(1149)을 통해 원신호(픽셀 데이타)로 복원된다. 이때, IDCT 블럭(1149)에서의 역양자화된 DCT 변환계수의 역변환과정은 아래의 수식에 도시된 바와같다.Next, as described above, when the input image is a scene change part, the quantized DCT from which the frequency (high frequency component) of the specific region is removed according to the output signal B value for bandwidth determination determined based on the complexity of the input image. The transform coefficients are restored to the original signal (pixel data) through the next inverse quantization block 1147 and IDCT 1149. At this time, the inverse transformation process of the inverse quantized DCT transformation coefficient in the IDCT block 1149 is as shown in the following equation.

[수식 10]Equation 10

상기 수식에서 f(x,y)는 역변환된 영상신호(픽셀 데이타)를 의미하고, F(u,v)는 변환된 DCT 계수를 의미한다. 여기에서, u,v는 변환된 DCT 계수에서 가로 및 세로 방향의 주파수를 의미하고, x,y는 픽셀 데이타의 가로 및 세로 방향의 위치를 의미한다.In the above formula, f (x, y) means inversely transformed video signal (pixel data), and F (u, v) means transformed DCT coefficient. Here, u and v mean horizontal and vertical frequencies in the converted DCT coefficients, and x and y mean horizontal and vertical positions of the pixel data.

그 결과, IDCT 블럭(1149)에서는 라인 L15 상에 입력 영상이 장면전환 부분일 때 그 영상의 복잡도에 따라 특정영역의 주파수가 선택적으로 제거된 영상신호, 즉 입력 영상의 복잡도에 근거하여 산출되는 대역폭 결정을 위한 출력신호 B에 따라 영상의 고주파 성분이 선택적(또는 적응적)으로 제거된 프레임 신호(특정영역의 고주파 성분이 0 값으로 대체된 영상신호)를 발생하며, 여기에서 발생된 신호(인간의 시각특성에 비교적 둔감한 고주파 성분이 선택적으로 제거된 프레임 신호)는 도면1의 제1스위칭 블럭(114)의 c - a - d 라인, 강제적인 인트라 부호화 모드 라인 L17을 경유하여 영상 부호화 블럭(130)으로 제공될 것이다.As a result, in the IDCT block 1149, when the input image is the scene change portion on the line L15, the bandwidth calculated based on the complexity of the input image, that is, the image signal from which the frequency of a specific region is selectively removed according to the complexity of the image. According to the output signal B for the determination, a frame signal in which the high frequency component of the image is selectively (or adaptively) removed (an image signal in which the high frequency component of a specific region is replaced with a value of 0) is generated. The frame signal in which the high frequency component, which is relatively insensitive to the visual characteristics, of the frame signal is selectively removed) is obtained by using the image encoding block (c-a-d line of the first switching block 114 of FIG. 1 and the forced intra coding mode line L17). 130).

따라서, 도면1의 영상 부호화 블럭(130)에서는, 본 발명에 따른 영상 부호화 시스템내의 전처리 블럭(110)이 고주파 성분 제거를 위한 필터링 기법(1차원 또는 2차원 저역 통과 필터링, DFT 또는 DCT 를 이용한 대역제한)을 채용할 때, 입력 영상이 복잡한 장면전환 부분이면, 제1스위칭 블럭(114)의 출력 d에 연결되는 강제적인 인트라 부호화 모드 라인 L17을 통해 입력되는 프레임 신호 자체 또는 고주파 성분이 제거된 프레임 신호(인간의 시각특성에 비교적 둔감한 고주파 성분이 제거된 신호)에 대해 공간축상의 상관도를 고려한 DCT, 양자화 등의 강제적인 인트라 모드 부호화를 수행하게 되므로, 시간축상의 상관도가 매우 낮은 장면전환 영상의 효율적인 부호화는 물론 시각적으로 중요한 성분인 저주파 신호에 대해 양자화 오차가 적게 생기도록 하면서 부호화할 수 있는 것이다.Accordingly, in the image encoding block 130 of FIG. 1, the preprocessing block 110 in the image encoding system according to the present invention uses a filtering technique for removing high frequency components (band using one-dimensional or two-dimensional low pass filtering, DFT or DCT). (Restriction), if the input image is a complex scene change part, the frame signal itself or the frame from which the high frequency component is removed through the forced intra coding mode line L17 connected to the output d of the first switching block 114 is removed. Forcible intra-mode coding such as DCT and quantization taking into account the correlation on the spatial axis is performed on the signal (the signal from which the high frequency component relatively insensitive to human visual characteristics) is removed. Efficient coding of images as well as low quantization error for low frequency signals It can be done.

이상 설명한 바와같이 본 발명에 따르면, 소망하는 비트율의 부호화를 위해 영상 부호화 시스템에 입력되는 입력 영상에 대해 이전의 소정시간 동안의 복수의 각 프레임에 대한 평균과 표준편차에 의거한 단시간 통계와 현재 입력되는 영상 프레임의 평균과 표준편차를 이용하여 현재 부호화를 위해 입력되는 영상이 복잡한 장면전환 부분인지를 판단하며, 그 판단결과 입력 영상이 복잡한 장면전환 부분인 경우, 해당 프레임 신호 자체 또는 필터링 기법을 이용하여 인간의 시각특성에 둔감한 고주파 성분을 제거한 프레임 신호에 대해 DCT, 양자화 등을 포함하는 강제적인 인트라 모드 부호화를 수행하도록 함으로써, 입력 영상에서 큰 복잡도를 갖는 장면전환 상황이 발생하더라도 움직임 추정 기법을 이용하지 않는 강제적인 인트라 모드 부호화를 통해 부호화 효율을 개선할 수 있을 뿐만 아니라 양자화 단계에서의 과도한 양자화 스텝 사이즈의 증가 없이 부호화후 발생되는 비트량을 효과적으로 조절할 수 있다. 따라서, 본 발명에 의하면, 수신측에서 부호화된 영상을 복원하여 디스플레이할 때, 재생 영상에서 필연적으로 나타나는 양자화 오차로 인한 화질열화를 효과적으로 억제시킬 수 있다.As described above, according to the present invention, short-time statistics and current inputs based on averages and standard deviations of a plurality of frames for a predetermined time period for an input image input to an image encoding system for encoding a desired bit rate. It is determined whether the video input for current encoding is a complex scene change part by using the average and standard deviation of the video frames. If the input image is a complex scene change part, the frame signal itself or a filtering technique is used. By performing forced intra mode coding including DCT, quantization, etc. on a frame signal from which high frequency components are insensitive to human visual characteristics, the motion estimation technique is performed even if a scene change situation with a large complexity occurs in the input image. Via forced intra-mode encoding Both to an improved coding efficiency, but also it can effectively control the amount of bits generated after coding without increasing the excessive quantization step size of the quantization step. Therefore, according to the present invention, it is possible to effectively suppress deterioration in image quality due to quantization error inevitably present in the reproduced image when the encoded image is displayed on the receiving side.

Claims (14)

입력되는 현재 프레임 자체에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 수행하는 인트라 부호화 모드와, 상기 현재 프레임과 움직임 추정, 보상을 통해 얻어지는 예측 프레임간의 차분신호에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 수행하는 인터 부호화 모드를 갖는 부호화 수단을 포함하는 영상 부호화 시스템에 있어서, 부호화를 위해 순차 입력되는 프레임 각각에 대해 그 주파수 분석을 통해 그 통계적 특성을 나타내는 픽셀들의 평균(MIp)과 표준편차(ACT)를 각각 추출하는 통계적 특성 산출 블럭; 기설정된 소정시간 동안 만큼 상기 추출된 각 프레임에 대한 평균(MIp)과 표준편차(ACT)를 순차적으로 저장하는 메모리 블럭; 상기 저장된 소정시간 동안에 상응하는 복수의 각 프레임에 대한 평균(MIp)과 표준편차(ACT) 각각에 대해 총평균(MMIp, MACT)과 총표준편차(SMIp, SACT)를 각각 산출하여 상기 기설정된 소정시간 동안의 단시간 통계를 산출하며, 상기 단시간 통계 산출에 이용된 프레임들보다 시간적으로 후에 존재하는 현재 입력 프레임의 통계적 특성과 상기 산출된 단시간 통계간의 비교결과에 의거하여 상기 부호화를 위해 입력되는 상기 현재 입력 프레임의 부호화 모드 결정을 위한 제어신호를 발생하는 제어 블럭; 및 상기 인트라 모드 부호화 및 인터 모드 부호화를 적응적으로 수행하는 적응 부호화 경로와 상기 인트라 모드 부호화만을 위한 강제 인트라 부호화 경로를 포함하며, 상기 제어 블럭으로부터 제공되는 상기 단시간 통계와 상기 현재 입력 프레임의 통계적 특성간의 비교결과에 의거하여 발생하는 절환 제어신호에 응답하여 상기 강제 인트라 부호화 경로를 통해 상기 현재 입력 프레임을 상기 부호화 수단에 제공하는 스위칭 수단을 더 포함하는 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템.Discrete cosine transform, quantization, and entropy encoding are performed on an intra encoding mode for performing discrete cosine transform, quantization, and entropy encoding on the input current frame itself, and a differential signal between the current frame and a prediction frame obtained through motion estimation and compensation. In an image encoding system including encoding means having an inter encoding mode, an average MIp and a standard deviation ACT of pixels representing statistical characteristics of the frames sequentially input for encoding through frequency analysis thereof. Statistical characteristic calculation block for extracting each; A memory block for sequentially storing an average Mp and a standard deviation ACT for each of the extracted frames for a predetermined time period; Computing the predetermined average by calculating the total average (MMIp, MACT) and the total standard deviation (SMIp, SACT) for each of the average (MIp) and the standard deviation (ACT) for each of the plurality of frames corresponding to the stored predetermined time Calculating short-time statistics for a time, wherein the current inputted for the encoding is based on a comparison result between the statistical characteristics of the current input frame present later in time than the frames used for calculating the short-time statistics and the calculated short-time statistics A control block for generating a control signal for determining an encoding mode of the input frame; And an adaptive encoding path for adaptively performing the intra mode encoding and the inter mode encoding and a forced intra encoding path only for the intra mode encoding, wherein the short-time statistics provided from the control block and statistical characteristics of the current input frame. And a switching means for providing the current input frame to the encoding means through the forced intra encoding path in response to a switching control signal generated based on a comparison result between the two. system. 제1항에 있어서, 상기 기설정된 소정시간 동안의 복수의 프레임은, 상기 부호화를 위해 입력되는 프레임에 시간적으로 바로 인접하는 이전의 30 프레임인 것을 특징으로 하는 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템.The method of claim 1, wherein the plurality of frames during the predetermined time period is the previous 30 frames immediately adjacent in time to the frame input for the encoding. Video encoding system. 입력되는 현재 프레임 자체에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 수행하는 인트라 부호화 모드와, 상기 현재 프레임과 움직임 추정, 보상을 통해 얻어지느 예측 프레임간의 차분신호에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 수행하는 인터 부호화 모드를 갖는 부호화 수단을 포함하는 영상 부호화 시스템에 있어서, 부호화를 위해 순차 입력되는 프레임 각각에 대해 그 주파수 분석을 통해 그 통계적 특성을 나타내는 픽셀들의 평균(MIp)과 표준편차(ACT)를 각각 추출하는 통계적 특성 산출 블럭; 기설정된 소정시간 동안 만큼 상기 추출된 각 프레임에 대한 평균(MIp)과 표준편차(ACT)를 순차적으로 저장하는 메모리 블럭; 상기 저장된 소정시간 동안에 상응하는 복수의 각 프레임에 대한 평균(MIp)과 표준편차(ACT)각각에 대해 총평균(MMIp, MACT)과 총표준편차(SMIp,SACT)를 각각 산출하여 상기 기설정된 소정시간 동안의 단시간 통계를 산출하며, 상기 단시간 통계 산출에 이용된 프레임들보다 시간적으로 후에 존재하는 현재 입력 프레임의 통계적 특성과 상기 산출된 단시간 통계간의 비교결과에 의거하여 상기 부호화를 위해 입력되는 상기 현재 입력 프레임의 필터링 제어신호를 발생하는 제어 블럭; 상기 발생된 필터링 제어신호에 따라 결정되는 필터계수에 의거해 상기 현재 입력 프레임을 필터링하여 그 통과 대역을 제한함으로써 고주파 성분을 제거한 프레임을 발생하는 대역 제한 수단; 및 상기 인트라 모드 부호화 및 인터 모드 부호화를 적응적으로 수행하는 적응 부호화 경로와 상기 인트라 모드 부호화만을 위한 강제 인트라 부호화 경로를 포함하며, 상기 제어 블럭으로부터 제공되는 상기 단시간 통계와 상기 현재 입력 프레임의 통계적 특성간의 비교결과에 의거하여 발생하는 절환 제어신호에 응답하여 상기 강제인트라 부호화 경로를 통해 상기 고주파 성분이 제거된 프레임 신호를 상기 부호화 수단에 제공하는 스위칭 수단을 더 포함하는 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템.Intra coding mode for performing discrete cosine transform, quantization and entropy encoding on the input current frame itself, and discrete cosine transform, quantization, and entropy encoding for differential signals between the current frame and prediction frames obtained through motion estimation and compensation. In an image encoding system including encoding means having an inter encoding mode, the average MIp and the standard deviation ACT of pixels representing a statistical property through frequency analysis of each frame sequentially input for encoding are performed. A statistical characteristic calculation block for extracting a); A memory block for sequentially storing an average Mp and a standard deviation ACT for each of the extracted frames for a predetermined time period; The predetermined average is calculated by calculating the total mean MMIp and MACT and the standard standard deviation SMIp and SACT for the average Mp and the standard deviation ACT for each of the plurality of frames corresponding to the stored predetermined time. Calculating short-time statistics for a time, wherein the current inputted for the encoding is based on a comparison result between the statistical characteristics of the current input frame present later in time than the frames used for calculating the short-time statistics and the calculated short-time statistics A control block for generating a filtering control signal of the input frame; Band limiting means for generating a frame from which a high frequency component is removed by filtering the current input frame and restricting a pass band based on a filter coefficient determined according to the generated filtering control signal; And an adaptive encoding path for adaptively performing the intra mode encoding and the inter mode encoding and a forced intra encoding path only for the intra mode encoding, wherein the short-time statistics provided from the control block and statistical characteristics of the current input frame. And a switching means for providing the coding means with a frame signal from which the high frequency component has been removed through the forced intra coding path in response to a switching control signal generated based on a comparison result between the two. Improved Image Coding System. 제 3 항에 있어서, 상기 기설정된 소정시간 동안의 복수의 프레임은, 상기 부호화를 위해 입력되는 프레임에 시간적으로 바로 인접하는 이전의 30 프레임인 것을 특징으로 하는 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템.[4] The improved encoding method of claim 3, wherein the plurality of frames during the predetermined predetermined time period is the previous 30 frames immediately adjacent in time to the frame input for the encoding. Video encoding system. 제 5 항에 있어서, 상기 대역 제한 수단은, 그 값이 서로 다른 복수의 필터계수중의 어느 하나를 이용하는 1차원 대역 필터링을 통해 상기 현재 입력 프레임의 고주파 성분 레벨을 선택적으로 제거하는 것을 특징으로 하는 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템.The method of claim 5, wherein the band limiting means selectively removes the high frequency component level of the current input frame through one-dimensional band filtering using one of a plurality of filter coefficients having different values. An Improved Image Coding System with Adaptive Coding Mode Determination. 제 10 항에 있어서, 상기 1차원 저역 통과 필터링은, 상기 8×8 블럭내의 각 픽셀 위치의 수평 - 수직 또는 수직 - 수평 방향으로 순차 수행되는 것을 특징으로 하는 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템.11. The improved method of claim 10, wherein the one-dimensional low pass filtering is performed sequentially in the horizontal-vertical or vertical-horizontal direction of each pixel position in the 8x8 block. Video encoding system. 제 5 항에 있어서, 상기 대역 제한 수단은 2차원 저역 통과 필터링을 통해 상기 현재 입력 프레임의 고주파 성분을 제거하는 것을 특징으로 하는 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템.6. The improved video encoding system of claim 5, wherein the band limiting means removes high frequency components of the current input frame through two-dimensional low pass filtering. 제 13 항에 있어서, 상기 대역 제한 수단은, 그 값이 서로 다른 복수의 필터계수중의 어느 하나를 이용하여 상기 현재 입력 프레임의 고주파 성분 레벨을 선택적으로 제거하는 것을 특징으로 하는 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템.14. The method of claim 13, wherein the band limiting means selectively removes a high frequency component level of the current input frame by using one of a plurality of filter coefficients having different values. An improved video encoding system with functionality. 제 5 항에 있어서, 상기 대역 제한 수단은, 상기 현재 입력 프레임에 대한 공간영역의 영상신호를 이산 푸리에 변환을 이용하여 M×N 블럭 단위의 주파수 영역의 DFT 변환계수들로 변환하고, 상기 발생된 대역제한을 위한 필터링 제어신호에 의거하여 상기 변환된 DFT 변환계수 블럭들에 대한 고주파 통과 대역을 결정하며, 상기 변환된 각 DFT 변환계수 블럭의 고주파 통과 대역을 상기 결정된 대역폭으로 제한하고, 상기 대역폭이 제한된 각 DFT 블럭들 각각에 대해 역이산 푸리에 변환을 통해 원신호로 복원함으로써 상기 고주파 성분이 제거된 프레임 신호를 발생하는 것을 특징으로 하는 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템.6. The method of claim 5, wherein the band limiting means converts the video signal in the spatial domain for the current input frame into DFT transform coefficients in the frequency domain in M × N block units using discrete Fourier transform. Determine a high frequency pass band for the converted DFT transform coefficient blocks based on a filtering control signal for band limitation, limit the high pass band of each converted DFT transform coefficient block to the determined bandwidth, And a frame signal from which the high frequency component is removed by reconstructing the original signal through an inverse discrete Fourier transform for each limited DFT block. 제 18 항에 있어서, 상기 현재 입력 프레임의 대역폭 제한은, 상기 입력 프레임의 복잡정도에 따라 기설정된 복수의 레벨중의 어느 한 레벨로 적응적으로 수행되는 것을 특징으로 하는 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템.19. The method of claim 18, wherein the bandwidth limitation of the current input frame is adaptively performed to any one of a plurality of levels preset according to the complexity of the input frame. Improved image coding system. 제 18 항 또는 제 20 항에 있어서, 상기 대역폭 제한은, 상기 변환된 각 DFT 변환계수 블럭들에 대해 상기 결정된 대역폭 이하의 고주파 성분을 제로(0)값으로 매핑하는 것을 특징으로 하는 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템.21. The adaptive encoding mode of claim 18 or 20, wherein the bandwidth limit maps high frequency components below the determined bandwidth to zero values for each of the transformed DFT transform coefficient blocks. Improved picture coding system with decision function. 제 5 항에 있어서, 상기 대역 제한 수단은: 상기 현재 입력 프레임 신호에 대한 공간영역의 영상신호를 코사인함수를 이용하여 M×N 블럭 단위의 주파수 영역의 2차원 DCT 변환계수들로 변환하는 이산 코사인 변환수단; 상기 M×N 단위의 2차원 DCT 변환계수 블럭들에 대해 양자화 파라메터값을 이용하여 유한한 개수의 값으로 양자화하는 양자화 수단;상기 제어 블럭으로부터 제공되는 상기 필터링 제어 신호에 의거하여 상기 양자화된 DCT 변환계수 블럭들에 대한 고주파 통과 대역을 결정하며, 상기 양자화된 각 DCT 변환계수 블럭의 고주파 통과 대역을 상기 결정된 대역폭으로 제한하는 주파수 선택 수단; 및 상기 대역폭이 제한된 양자화된 각 DCT 블럭들 각각에 대해 역양자화 및 역이산 코사인 변환을 수행하여 부호화전의 원신호로 복원하여 대역 제한된 프레임을 발생하며, 상기 대역 제한된 프레임을 상기 고주파 성분이 제거된 프레임 신호로써 상기 스위칭 수단에 제공하는 영상 복원 수단으로 이루어진 것을 특징으로 하는 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템.The method of claim 5, wherein the band limiting means comprises: a discrete cosine for converting an image signal in a spatial domain with respect to the current input frame signal into a two-dimensional DCT transform coefficients in a frequency domain in M × N block units using a cosine Conversion means; Quantization means for quantizing two-dimensional DCT transform coefficient blocks in units of M × N using a quantization parameter value to a finite number of values; based on the filtering control signal provided from the control block, the quantized DCT transform Frequency selecting means for determining a high frequency pass band for coefficient blocks and for limiting the high frequency pass band of each quantized DCT transform coefficient block to the determined bandwidth; And performing inverse quantization and inverse discrete cosine transform on each of the bandwidth-limited quantized DCT blocks to reconstruct the original signal before encoding to generate a band-limited frame, wherein the band-limited frame is removed from the high frequency component. An improved image encoding system having an adaptive encoding mode determining function, characterized in that it comprises image restoring means provided to said switching means as a signal. 제 23 항에 있어서, 상기 현재 입력 프레임의 대역폭 제한은, 상기 입력 프레임의 복잡정도에 상응하여 기설정된 복수의 레벨중의 어느 한 레벨로 적응적으로 수행되는 것을 특징으로 하는 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템.24. The adaptive encoding mode determination function of claim 23, wherein the bandwidth limitation of the current input frame is adaptively performed at any one of a plurality of levels preset according to the complexity of the input frame. An improved image encoding system with 제 23 항 또는 제 25 항에 있어서, 상기 대역폭 제한은, 상기 변환된 각 DCT 변환계수 블럭들에 대해 상기 결정된 대역폭 이하의 고주파 성분을 제로(0)값으로 매핑하는 것을 특징으로 하는 적응적인 부호화 모드 결정 기능을 갖는 개선된 영상 부호화 시스템.27. The adaptive encoding mode of claim 23 or 25, wherein the bandwidth limit maps high frequency components below the determined bandwidth to zero values for each of the transformed DCT transform coefficient blocks. Improved picture coding system with decision function.
KR1019960024046A 1996-06-26 1996-06-26 Improved image coding system having functions for adaptively determining image coding mode KR100229793B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019960024046A KR100229793B1 (en) 1996-06-26 1996-06-26 Improved image coding system having functions for adaptively determining image coding mode

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960024046A KR100229793B1 (en) 1996-06-26 1996-06-26 Improved image coding system having functions for adaptively determining image coding mode

Publications (2)

Publication Number Publication Date
KR980007729A KR980007729A (en) 1998-03-30
KR100229793B1 true KR100229793B1 (en) 1999-11-15

Family

ID=19463571

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960024046A KR100229793B1 (en) 1996-06-26 1996-06-26 Improved image coding system having functions for adaptively determining image coding mode

Country Status (1)

Country Link
KR (1) KR100229793B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101127221B1 (en) 2005-07-15 2012-03-29 삼성전자주식회사 Apparatus and method for encoding/decoding of color image and video using prediction of color components in frequency domain

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101127221B1 (en) 2005-07-15 2012-03-29 삼성전자주식회사 Apparatus and method for encoding/decoding of color image and video using prediction of color components in frequency domain

Also Published As

Publication number Publication date
KR980007729A (en) 1998-03-30

Similar Documents

Publication Publication Date Title
KR100203710B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
CA1333501C (en) Hierarchical encoding method and apparatus for efficiently communicating image sequences
US5852682A (en) Post-processing method and apparatus for use in a video signal decoding apparatus
US5757969A (en) Method for removing a blocking effect for use in a video signal decoding apparatus
EP0680219B1 (en) Improved post-processing method for use in an image signal decoding system
KR0178195B1 (en) Apparatus for encoding an image signal using vector quantization technique
KR0178221B1 (en) Improved pattern vector encoding system using average value of pixels
EP0886972B1 (en) Improved post-processing for removing blocking effects in decoded image signal
KR100229793B1 (en) Improved image coding system having functions for adaptively determining image coding mode
KR100229792B1 (en) Improved image coding system having functions for adaptively determining image coding mode
KR100229791B1 (en) Adaptive image coding system having functions for controlling bandpath of video signals
KR100220586B1 (en) Adaptive image coding system having functions for controlling bandpath of video signals
KR100203714B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203709B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203682B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203703B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203659B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203675B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203627B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203630B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203663B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203677B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100203628B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream
KR100229795B1 (en) Improved image decoding system
KR100203676B1 (en) Improved image coding system having functions for controlling generated amount of coded bit stream

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee