KR100203696B1 - 비트 발생량 조절기능을 갖는 영상 부호화 시스템 - Google Patents

비트 발생량 조절기능을 갖는 영상 부호화 시스템 Download PDF

Info

Publication number
KR100203696B1
KR100203696B1 KR1019960013778A KR19960013778A KR100203696B1 KR 100203696 B1 KR100203696 B1 KR 100203696B1 KR 1019960013778 A KR1019960013778 A KR 1019960013778A KR 19960013778 A KR19960013778 A KR 19960013778A KR 100203696 B1 KR100203696 B1 KR 100203696B1
Authority
KR
South Korea
Prior art keywords
value
complexity
encoding
frame
image
Prior art date
Application number
KR1019960013778A
Other languages
English (en)
Other versions
KR970073131A (ko
Inventor
김종일
Original Assignee
전주범
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전주범, 대우전자주식회사 filed Critical 전주범
Priority to KR1019960013778A priority Critical patent/KR100203696B1/ko
Publication of KR970073131A publication Critical patent/KR970073131A/ko
Application granted granted Critical
Publication of KR100203696B1 publication Critical patent/KR100203696B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, MC-DCT, 양자화를 포함하는 부호화 시스템에 있어서, 움직임 보상 오차값에 근거하여 예측되는 이전 영상과 입력 영상간의 시간 복잡도와 움직임 추정 및 보상을 위해 복원된 이전 프레임의 공간 복잡도에 근거하여 현재 부호화하고자 하는 영상의 복잡도를 산출하고, 그 산출결과에 의거하여 양자화시의 고주파 성분에 대한 가중치를 조절함으로써, 부호화 후의 비트 발생량을 적응적으로 조절할 수 있도록 한 비트 발생량 조절기능을 갖는 영상 부호화 시스템에 관한 것으로, 이를 위하여 본 발명은, 움직임 추정, 보상을 위해 복원된 이전 프레임 각각에 대해 공간 복잡도값을 산출한 다음 각각 산출된 각 이전 프레임의 공간 복잡도값들을 평균하여 기설정된 복수의 이전 프레임에 대한 평균 공간 복잡도값을 산출하고, 에러신호에 대해 각 매크로 블록 단위로 각 픽셀값을 가산하여 움직임 보상 오차값을 산출한 다음 각각 산출된 각 매크로 블록의 움직임 보상 오차값들을 평균하여 기설정된 복수의 이전 프레임에 대한 움직임 평균 오차값을 산출하며, 산출된 평균 공간 복잡도값과 움직임 평균 오차값에 의거하여 최종 복잡도값을 산출하는 시,공간 복잡도 계산 수단; 및 산출된 최종 복잡도값을 DCT, 양자화 및 엔트로피 부호화를 갖는 부호화 수단을 통해 현재 부호화하고자 하는 프레임의 복잡도로서 참조하여, 이산 코사인 변환을 통해 발생된 각 DCT변환계수 블록들의 저역 통과 필터링시 그 대역폭을 적응적으로 제한하는 기설정된 복수의 가중치들중 산출된 최종 복잡도값에 대응하는 가중치를 결정하여 부호화 수단에 제공하는 가중치 발생 수단을 더 포함하고, 부호화 수단은, 각 DCT변환계수 블록들에 대한 양자화전에 결정된 가중치에 의거하여 각 DCT 변화계수 블록들의 통과 주파수 대역을 제한함으로써, 각 DCT변환계수 블록들의 고주파 성분을 선택적으로 필터링함으로써, 양자화 단계에서의 과도한 스텝 사이즈의 증가 없이 부호화 후 발생되는 비트량을 효과적으로 조절할 수 있는 것이다.

Description

비트 발생량 조절기능을 갖는 영상 부호화 시스템
제1도는 본 발명의 바람직한 실시예에 따른 비트 발생량 조절기능을 갖는 영상 부호화 시스템의 블록구성도
제2도는 본 발명에 따라 일예로서 8×8 픽셀 블록에 대하여 그 복잡도에 의거하여 결정되는 가중치 결정 영역을 도시한 도면
* 도면의 주요부분에 대한 부호의 설명
100, 170 : 프레임 메모리 110 : 감산기
120 : 영상 부호화 블록 130 : 엔트로피 부호화 블록
140 : 전송 버퍼 150 : 영상 복호화 블록
160 : 가산기 180 : 현재 프레임 예측 블록
210 : 시, 공간 복잡도 계산 블록
220 : 가중치 발생 블록
본 발명은 영상신호를 압축 부호화하는 영상 부호화 시스템에 관한 것으로, 더욱 상세하게는 움직임 보상 차분 펄스 부호 변조(MC-DPCM) 기법을 이용하여 영상신호를 압축 부호화할 때, 움직임 보상 오차값에 근거하여 예측되는 이전 영상과 입력 영상간의 시간 복잡도(Variance)와 움직임 추정 및 보상을 위해 복원된 이전 프레임의 공간 복잡도에 근거하여 예측되는 입력 영상신호의 복잡도(Variance)를 참조하여 부호화 후의 발생 비트량을 적응적으로 조절하는 데 적합한 비트 발생량 조절기능을 갖는 영상 부호화 시스템에 관한 것이다.
이 기술분야에 잘 알려진 바와 같이 이산된 영상신호의 전송은 아날로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 “프레임”으로 구성된 비디오 신호가 디지털 형태로 표현될 때, 특히 고품질 텔레비전(일명 HDTV라함)의 경우 상당한 양의 데이터가 전송되어야 한다. 그러나 종래의 전송 채널의 사용 가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지털 데이터를 전송하기 위해서는 전송되는 데이터를 압축하여 그 양을 줄일 필요가 있다. 이와 같이 데이터를 압축하는 다양한 압축 기법 중에서, 확률적 부호화 기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있으며, 이러한 기법들은, 예를 들면 세계 표준화 기구에 의해 그 표준안이 이미 제정된 MPEG-1 및 MPEG-2등의 권고안에 광범위하게 개시되어 있다.
대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변화), DCT 계수의 양자화, VLC(가변장 부호화)등을 이용한다. 움직임 보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이 방법은 예를 들어 Staffan Ericsson의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12 (1985년 12월), 또는 Ninomiy 와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, NO.1 (1982년, 1월)에 기재되어 있다.
일반적으로, 이차원 DCT 는 영상 데이터간의 공간적 리던던시를 이용하거나 제거하는 것으로써, 디지털 영상 데이터 블록, 예를 들면 8×8 블록을 DCT변환계수로 변환한다. 이 기법은 Chen 과 Pratt 의 Scene Adaptive Coder, IEEE Transac-tions on Communication, COM-32, NO.3(1984년 3월)에 개시되어 있다. 이러한 DCT변환계수는 양자화기, 지그재그 주사, VLC등을 통해 처리됨으로써 전송할 데이터의 양을 효과적으로 감축(또는 압축)할 수 있다.
보다 상세하게, 움직임 보상 DPCM에서는 현재 프레임과 이전 프레임간의 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측한다. 이와 같이 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.
통상적으로, 물체의 변위를 추정하는 데에는 여러가지 접근방법이 있다. 이들은 일반적으로 두개의 타입으로 분류되는데, 그중 하나는 블록 매칭 알고리즘을 이용하는 블록단위 움직임 추정방법이고 다른 하나는 화소순환 알고리즘을 이용하는 화소단위 움직임 추정방법이다.
상기와 같이 물체의 변위를 추정하는 움직임 추정방법중, 화소단위 움직임 추정방법을 이용하면 변위는 각각의 화소 전부에 대해 구해진다. 이러한 방법은 화소값을 더 정화히 주정할 수 있고 스케일 변화(예를 들어, 영상면에 수직한 움직임인 주밍(zooming))도 쉽게 다룰 수 있다는 장점을 갖는 반면에, 움직임 벡터가 모든 화소 각각에 대해 결정되기 때문에, 다량의 움직임 벡터들이 발생하는 데 실질적으로 모든 움직임 벡터를 수신기로 전송한다는 것은 불가능하다.
또한, 블록단위 움직임 추정에서는, 현재 프레임의 소정 크기에 블록을 이전 프레임의 소정 범위의 탐색영역내에서 한 화소씩 이동하면서 대응 블록들과 비교하여 그 오차값이 최소인 최적 정합블럭을 결정하며, 이것으로부터, 전송되는 현재 프레임에 대해 블록 전체에 대한 프레임간 변위 벡터(프레임간에 블록이 이동한 정도)가 추정된다. 여기에서, 현재 프레임과 이전 프레임간의 대응하는 두 블록간의 유사성 판단은, 이 기술분야에 잘 알려진 바와 같은, 평균 절대차와 평균 제곱차 등이 주로 사용된다.
한편, 상술한 바와 같은 부호화 기법, 즉 움직임 보상 DPCM, 2차원 DCT, DCT계수의 양자화 및 VLC(또는 엔트로피 부호화)등의 부호화 기법을 통해 부호화된 영상 비트 스트림은 영상 부호화 시스템의 출력측에 구비되는 전송 버퍼에 저장된 다음 전송시점이 되면 원격지 수신측으로의 송신을 위해 전송기로 보내진다. 이 때, 여기에서의 전송시점은 전송 버퍼의 크리(즉, 용량)와 전송율에 관계되며, 전송 버퍼에서의 오동작(데이터 오버플로우(overflow) 또는 데이터 언더플로우(underflow))이 발생하지 않도록 제어된다.
보다 상세하게, 여러 가지 요인(예를 들면, 영상의 복잡도)으로 인해 부호화시에 각 프레임마다 발생되는 비트량이 달라지게 되는데, 이러한 점을 고려하여 영상 부호화 시스템에서는, 평균 전송율이 일정하게 유지될 수 있도록 출력측 전송 버퍼의 제어를 수행한다. 즉, 영상 부호화 시스템에서는 출력측 전송 버퍼의 데이터 충만상태 정보에 근거하여 현재 부호화하고 있는 프레임 이전까지의 비트 발생량을 조사하고 있다가 현재 프레임에서 할당해야 하는 비트량을 조절한다. 다시 말해, 종래의 전형적인 영상 부호화 시스템에서는 출력측 전송 버퍼의 데이터 충만상태 정보에 의거하여 실질적으로 양자화 스텝 사이즈(QP)를 제어함으로써 부호화 시스템에서의 발생 비트량을 조절, 즉 이전까지 비트 발생량이 많으면 양자화 스텝 사이즈를 크게 조절하여 비트 발생량을 줄이고, 이와 반대의 경우에는 양자화 스텝 사이즈를 작게 조절하여 비트 발생량을 늘리는 등의 방법을 통해 비트 발생량을 조절하고 있다.
그러나, 상술한 바와 같이 출력측 전송 버퍼의 데이터 충만상태 정보에 의거하여 양자화 스텝 사이즈를 조절함으로써 비트 발생량을 조절하는 종래방법은, 각 프레임에 해당하는 영상 데이터를 동일한 전송율로 부호화하여 전송하고자 하는 경우에 있어서, 부호화하고자 하는 영상이 복잡한 경우(고주파 성분이 다량 발생)에는 비트 발생량이 많아지게 되는데 이로 인해 양자화 스텝 사이즈가 커져 결과적으로 재생 영상에서의 심각한 화질열화가 야기된다는 문제를 갖는다. 여기에서 발생하는 고주파 성분은 실질적으로 인간의 시각특성에 매우 둔감한 성분(재생 영상의 화질에 거의 영향을 미치지 않는 성분)이다.
따라서, 본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로, MC-DCT, 양자화를 포함하는 부호화 시스템에 있어서, 움직임 보상 오차값에 근거하여 예측되는 이전 영상과 입력 영상간의 시간 복잡도와 움직임 추정 및 보상을 위해 복원된 이전 프레임의 공간 복잡도에 근거하여 현재 부호화하고자하는 영상의 복잡도를 산출하고, 그 산출결과에 의거하여 양자화시의 고주파 성분에 대한 가중치를 조절함으로써, 부호화 후의 비트 발생량을 적응적으로 조절할 수 있는 비트 발생량 조절기능을 갖는 영상 부호화 시스템을 제공하는 데 그 목적이 있다.
상기 목적을 달성하기 위하여 본 발명은, 입력되는 현재 프레임과, 이 현재 프레임 및 재구성된 이전 프레임을 이용하는 매크로 블록단위의 움직임 추정, 보상을 통해 얻어지는 예측 프레임간의 에러신호에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 포함하는 부호화 수단을 통해 압축 부호화하여 부호화된 비트 스트림을 발생하며, 상기 양자화는 출력측 버퍼에 저장되는 상기 비트 스트림의 충만상태 정보에 의거하여 그 스텝 사이즈가 조절되는 비트 발생량 조절기능을 갖는 영상 부호화 시스템에 있어서, 상기 움직임 추정, 보상을 위해 복원된 상기 이전 프레임 각각에 대해 공간 복잡도값을 산출한 다음 각각 산출된 상기 각 이전 프레임의 공간 복잡도값들을 평균하여 기설정된 복수의 이전 프레임에 대한 평균 공간 복잡도값을 산출하고, 상기 에러신호에 대해 각 매크로 블록 단위로 각 필셀값을 가산하여 움직임 보상 오차값을 산출한 다음 각각 산출된 각 매크로 블록의 움직임 보상 오차값들을 평균하여 기설정된 복수의 이전 프레임에 대한 움직임 평균 오차값을 산출하며, 상기 산출된 평균 공간 복잡도값과 움직임 평균 오차값에 의거하여 최종 복잡도값을 산출하는 시, 공간 복잡도 계산수단; 및 상기 산출된 최종 복잡도값을 상기 부호화 수단을 통해 현재 부호화하고자 하는 프레임의 복잡도로서 참조하며, 상기 이산 코사인 변환을 통해 발생된 각 DCT변환계수 블록들의 저역 통과 필터링시 그 대역폭을 적응적으로 제한하는 기설정된 복수의 가중치들중 상기 산출된 최종 복잡도값에 대응하는 가중치를 결정하여 상기 부호화 수단에 제공하는 가중치 발생 수단을 더 포함하고, 상기 부호화 수단은, 상기 각 DCT변환계수 블록들에 대한 양자화전에 상기 결정된 가중치에 의거하여 상기 각 DCT변환계수 블록들의 통과 주파수 대역을 제한함으로써, 상기 각 DCT변환계수 블록들의 고주파 성분을 선택적으로 필터링하는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템을 제공한다.
본 발명의 상기 및 기타 목적과 여러가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
제1도는 본 발명의 바람직한 실시예에 따른 비트 발생량 조절기능을 갖는 영상 부호화 시스템에 대한 블록구성도를 나타낸다. 동도면에 도시한 바와 같이, 본 발명의 영상 부호화 시스템은 제1프레임 메모리(100), 감산기(110), 영상 부호화 블록(120), 엔트로피 부호화 블록(130), 전송 버퍼(140), 영상 복호화 블록(150), 가산기(160), 제2프레임 메모리(170), 현재 프레임 예측 블록(180), 시, 공간 복잡도계산 블록(210) 및 가중치 발생 블록(220)을 포함한다.
제1도를 참조하면, 입력되는 현재 프레임 신호는 제1프레임 메모리(100)에 저장된 다음 라인 L11을 통해 감산기(110), 현재 프레임 예측 블록(180)에 각각 제공된다.
먼저, 감산기(110)에서는 라인 L11을 통해 제1프레임 메모리(100)에서 제공되는 현재 프레임 신호로부터 라인 L19를 통해 후술되는 현재 프레임 예측 블록(180)으로부터 제공되는 이동 물체에 대하여 움직임 보상된 예측된 현재 프레임 신호를 감산하며, 그 결과 데이터, 즉 차분화소값을 나타내는 에러신호를 라인 L12상에 발생한다. 그런 다음, 라인 L12상의 에러신호는 영상 부호화 블록(120)을 통해 이산 코사인 변환(DCT)과 이 기술분야에서 잘 알려진 양자화 방법들 중의 어느 하나를 이용함으로서, 일련의 양자화된 DCT변환계수들로 부호화된다. 이 때, 영상 부호화 블록(120)에서의 에러신호에 대한 양자화는 라인 L21을 통해 후술되는 출력측 전송 버퍼(140)로부터 제공되는 데이터 충만상태 정보에 따라 결정되는 양자화 파라메터(QP)에 의거하여 그 스텝 사이즈가 조절된다.
또한, 본 발명에 따라, 라인 L12상의 에러신호는 후술되는 시,공간 복잡도 계산 블록(210)으로 제공되며, 시,공간 복잡도 계산 블록(210)은 라인 L12상의 에러신호를 가산함으로써, 각 프레임의 움직임 보상 오차값을 산출하는데, 이와 같이 산출된 움직임 보상 오차값을 이용하여 부호화하고자 하는 프레임의 시간 복잡도를 계산하며, 본 발명에서는 이와 같이 계산된 시간 복잡도와 후술되는 복원된 이전 프레임의 공간 복잡도에 근거하여 영상 부호화 블록(120)에서의 양자화 단계에서 인간의 시각특성에 비교적 둔감한 고주파 성분을 적응적(또는 선택적)으로 제거(즉, 필터링)한다. 여기에서, 복원된 이전 프레임에서 공간 복잡도를 산출하는 과정에 대해서는 후에 상세하게 기술될 것이다.
즉, 제1도에서는 상세한 도시는 생략되었으나 영상 부호화 블록(120)에 구비되는 양자화기에서는, 본 발명에 따라 후술되는 가중치 발생 블록(220)으로부터 제공되는 산출된 움직임 보상 오차값 정보에 근거한 시간 복잡도와 복원된 이전 프레임의 공간 복잡도에 따른 가중치를 이용하여 양자화 단계에서 인간의 시각특성에 비교적 둔감한 고주파 성분을 제거(즉, 필터링)를 결정한다. 즉, 영상 부호화 블록(120)내의 양자화기에서는 양자화 단계에서의 저역 통과 필터링시에 제한되는 주파수 대역폭을 적응적(또는 선택적)으로 제한한다. 따라서, 본 발명에서는 부호화된 비트 발생량의 증가가 수반되는 복잡한 영상이라 할지라도 재생 영상에서의 화질열화를 야기시키는 양자화 스텝 사이즈를 적절하게 조절할 수 있다. 이와 같이 산출된 영상의 시간 복잡도와 공간 복잡도 정보에 근거해 설정되는 가중치를 이용하여 양자화 단계에서의 저역 통과 필터링시에 그 대역폭을 적응적으로 제한하는 구체적인 과정에 대해서는 후에 상세하게 기술될 것이다.
다음에, 라인 L13상의 양자화된 DCT변환계수들은 엔트로피 부호화 블록(130)과 영상 복호화 블록(150)으로 각각 보내진다. 여기에서, 엔트로피 부호화 블록(130)에 제공된 양자화된 DCT변환계수들은, 예를 들면 가변길이 부호화 기법등을 통해 부호화되어 출력측의 전송 버퍼(140)에 제공되며, 이와 같이 부호화딘 영상신호는 수신측으로의 전송을 위해 도시 생략된 전송기로 전달된다.
한편, 영상 부호화 블록(120)으로부터 영상 복호화 블록(150)에 제공되는 라인 L13 상의 양자화된 DCT변환계수들은 역양자화 및 역 이산 코사인 변환을 통해 다시 복원된 프레임 신호로 변환된 다음, 가산기(160)에 제공되며, 가산기(160)에서는 영상 복호화 블록(150)으로 부터의 복원된 프레임 신호와 라인 L19를 통해 후술되는 현재 프레임 예측 블록(180)으로부터 제공되는 예측된 현재 프레임신호를 가산하여 재구성된 이전 프레임 신호를 생성하며, 이와 같이 재구성된 이전 프레임 신호는 제2프레임 메모리(170)에 저장된다. 따라서, 이러한 경로를 통해 부호화 처리되는 매 프레임에 대한 바로 이전 프레임 신호가 계속적으로 갱신되며, 이와 같이 갱신되는 재구성된 이전 프레임 신호는 움직임 추정, 보상을 위해 후술되는 현재 프레임 예측 블록(180)으로 제공된다.
또한, 제2프레임 메모리(170)에 저장되는 복원되어 재구성된 이전 프레임 신호는 본 발명에 따른 입력 프레임의 공간 복잡도 계산을 위해 라인 L16을 통해 후술되는 시, 공간 복잡도 계산 블록(210)으로 제공된다.
다른 한편, 현재 프레임 예측 블록(180)에서는, 전술한 제1프레임 메모리(100)로부터 제공되는 라인 L11상의 현재 프레임 신호와 상기한 제2프레임 메모리(170)로부터 제공되는 라인 L15 상의 재구성된 이전 프레임 신호에 기초하여 블록 매칭 알고리즘을 이용해 재구성된 이전 프레임의 기설정 탐색범위(예를 들면, 16×16, 또는 32×32 탐색범위)에서 소정의 블록(예를 들면, 8×8 또는 16×16 DCT 블록) 단위로 현재 프레임을 예측한 다음 라인 L19상에 예측된 현재 프레임 신호를 발생하여 상술한 감산기(110)의 가산기(160)에 각각 제공한다. 이 때, 라인 L19상의 스위치(SW)는 도시 생략된 시스템 제어기로부터의 제어신호(CS)에 따라 그 접점이 온/오프되는 것으로, 스위치(SW)가 온일 때는 현재의 부호화 모드가 인터모드임을 의미하고 반대로 오프일때는 현재의 부호화 모드가 인트라 모드임을 의미한다. 따라서, 감산기(110)에서는 인터모드 부호화시에 현재 프레임 신호와 예측 프레임 신호간의 에러신호를 영상 부호화 블록(120)에 제공하고, 인트라 모드 부호화시에 현재 프레임 신호 자체를 영상 부호화 블록(120)에 제공한다.
또한, 현재 프레임 예측 블록(180)은 선택되는 각 블록(8×8 또는 16×16 블록)들에 대한 움직임 벡터들의 세트를 라인 L17상에 발생하여 전술한 엔트로피 부호화 블록(130)에 제공한다. 여기에서, 검출되는 움직임 벡터들의 세트들은 현재 프레임의 블록(8×8 또는 16×16 블록)과 이전 프레임내의 기설정 탐색영역(예를 들면, 16×16 또는 32×32 탐색번위)에서 예측된 가장 유사한 블록간의 변위이다. 따라서, 전술한 에트로피 부호화 블록(130)에서는 라인 L17상의 움직임 벡터들의 세트들과 더불어 라인 L13상의 양자화된 DCT변환계수들은, 예를 들면 가변길이 부호화 기법 등을 통해 부호화하여 부호화된 비트 스트림을 발생한다.
한편, 본 발명에 따른 시,공간 복잡도 계산 블록(210)에서는 현재 프레임과 복원된 이전 프레임간의 움직임 보상을 통해 얻어진 예측 프레임과 현재 프레임간의 에러신호에 의거하여 입력 영상의 시간 복잡도에 대한 평균 오차 AE(Average Error)를 산출하고, 또한 움직임 추정, 보상을 위한 이전 프레임의 공간 복잡도 ACT(Activity)를 산출한 다음, 이들 두 복잡도값(AE,ACT)을 이용하여 양자화 단계 전에 고주파 성분을 적응적으로 제거하도록 결정하는 가중치를 발생하기 위한 복잡도 C(Complexity)를 발생한다. 이와 같이 본 발명에 따라 시간영역상의 복잡도와 공간영역상의 복잡도를 모두 참조하여 입력 영상의 복잡도를 산출하는 경우, 단지 한 영역상의 복잡도(시간영역 또는 공간영역의 복잡도)만을 참조하는 것에비해 그 계산량은 다소 많아질 수도 있으나 보다 정확하게 입력 영상의 복잡도를 산출할 수가 있을 것이다.
먼저, 시,공간 복잡도 계산 블록(210)에서는 공간 복잡도값 ACT의 계산을 위해, 라인 L16을 통해 제2프레임 메모리(170)로 부터 제공되는 복원된 이전 프레임에 대한 영상의 공간 복잡도를 계산, 즉 영상신호의 분산값(표준편차)을 이용하여 부호화할 영상신호의 정보량에 관계되는 공간 복잡도를 계산하고, 이와 같이 계산된 이전 프레임의 공간 복잡도를 현재 부호화하고자 하는 프레임의 영상 복잡도로써 참조하며, 본 발명에서는 이와 같이 계산된 이전 프레임의 공간 복잡도와 후술되는 시간 복잡도에 근거하여 영상화 블록(120)에서의 양자화 단계에서 인간의 시각특성에 비교적 둔감한 고주파 성분을 적응적(또는 선택적)으로 제거(즉, 필터링)한다.
본 발명에서는 복원된 이전 프레임의 공간 복잡도 계산시에 영상신호의 분산값(표준편차)을 이용하는 데, 여기에서 이용되는 분산값의 경우 그 값이 큰 경우에는 DCT를 수행한 결과의 값이 고주파 성분(인간의 시각특성이 비교적 둔감한 성분)을 많이 포함할 것이므로 변환계수의 분포가 데이터를 압축하는 데 부적절하게 된다. 이상적인 데이타 압축에 좋은 영상은 고주파 성분이 존재하지 않고 단지 DC성분만이 존재하는 경우로서 변환된 계수의 분포는(0,0)의 위치에 있는 한 값만이 있게 된다. 또한, 분산값이 큰 경우에는 움직임 보상이 제대로 수행되지 않을 수 있어, 결과적으로 움직임 보상된 영상의 구조가 부호화하기에 적절하지 않게 된다. 따라서, 이와 같은 공간 복잡도는 영상신호의 정보량, 즉 실질적으로 부호화하여 전송해야 할 데이터량으로 해석할 수 있다.
예를 들어, 한 프레임이 M×N 의 크기를 갖는다고 가정하고, 부호화 후에 복원되어 재구성된 이전 프레임의 영상을 Ip, 부호화를 위해 입력되는 현재 프레임의 영상을 Ic라 할 때, 각 프레임의 (x,y) 위치에서의 Ip영상의 픽셀값은 Ip(x,y)이다. 이 때, 현재 입력되는 Ip영상에 대한 복잡도의 계산은 움직임 추정 및 보상을 위해 부호화(DCT, 양자화) 후에 복원된 이전 프레임의 영상신호에 대하여 다음의 (1)과 같이 계산되는 영상의 공간 복잡도(ACT)를 이용할 수 있다
상기 (1)식에 MIp는 복원된 이전 프레임인 Ip영상에 대한 평균값을 의미하는 데, 이러한 Ip영상에 대한 평균값 MIp는 다음의 (2)과 같이 계산된다.
상기한 바와 같이, 현재 부호화하고자 하는 프레임의 복잡도로서 복원된 이전 프레임의 ACT값을 이용하는 이유는 영상신호의 특성이 매 프레임마다 급격하게 변하지 않기 때문이다.
따라서, 이와 같이 산출되는 공간 복잡도 ACT값은 영상의 정보량(비트 발생량)에 관련된다고 볼 수 있는 데, 만일 현재 부호화된 영상이 복잡한 경우에는 산출되는 공간 복잡도 ACT값이 상대적으로 커질 것이고, 그 반대의 경우에는 산출되는 공간 복잡도 ACT값이 작아지게 될 것이다.
이러한 관점에 비추볼 때, 부호화시에 산출되는 복원된 이전 프레임간의 공간 복잡도 ACT값은 곧 전송할 정보량에 관계되는 값으로 해석할 수 있을 것이다. 그리고, 본 발명에 따른 복원된 이전 프레임의 공간 복잡도 ACT값 산출에 있어서는, 부호화 시스템이 움직임 추정 및 보상을 수행하는 과정에서 필요로 하는 재구성된 이전 프레임 신호를 프레임 메모리에 저장하고 있으므로, 이와 같은 각 부호화 시스템의 일부를 이용하면 원하는 복원된 이전 프레임의 공간 복잡도 ACT값을 쉽게 얻을 수 있을 것이다.
다른 한편, 시간 복잡도의 산출을 위해, 본 발명의 시,공간 복잡도 계산 블록(210)에서는 움직임 보상 과정에서 발생되는 오차를 계산하는데, 이러한 움직임 보상 오차값은 소정 단위(모든 MPEG 스펙에서는 움직임 추정이 16×16 단위(즉, 매크로 블록)의 블록으로 수행되며, 이 경우 이전 프레임내의 탐색블록의 크기는 32×32 단위임)의 움직임 추정에 의해 검출된 움직임 벡터를 이용하여 재구성된 이전 프레임으로부터 움직임 보상을 수행하여 얻은 라인 L19 상의 예측된 현재 프레임 신호와 라인 L11상의 현재 프레임 신호와의 에러신호를 가산함으로써 산출할 수 있다.
예를 들어, 재구성된 이전 프레임의 영상을 Ip라 하고 현재 입력되는 프레임의 영상을 Ic라 할 때, (x,y)의 위치에서 각 픽셀의 값은 Ip(x,y), Ic(x,y) 가 될 것이다. 이 때의 움직임 추정은, 전술한 바와 같이, M×N블록(예를 들면, 16×16의 매크로 블록) 단위로 수행되므로 i, j 번째의 매크로 블록에 대한 움직임 벡터를 MVX(i,j), MVY(I,j)라 하면, i, j번째 매크로 블록에 대한 움직임 보상 오차값 E(i,j)는 다음의 (3)식에 의해 계산된다. 이 때, 움직임 벡터는 전술한 현재 프레임 예측 블록(180)에서의 움직임 추정과정에서 이미 검출된 값이다.
상기한 (3)식에서 L은 매크로 블록의 가로 및 세로의 크기를 의미하는데, 한 프레임의 영상신호가 M×N 크기를 갖으며 한 매크로 블록이 L×L 의 크기를 갖는다면, 이 영상신호에 대한 매크로 블록의 개수는 (M/L)×(N/L)이 될 것이다. 예를 들어, 352×288 의 입력 영상신호에 대하여 16×16의 매크로 블록을 가정하면, 매크로 블록의 개수는 (352/16)×(288/16) 이므로 22×18, 즉 396개에 해당한다.
다음에, 시,공간 복잡도 계산 블록(210)에서는 상술한 바와 같은 과정을 통해 한 프레임의 각 매크로 블록에 대한 움직임 보상 오차값이 구해지면, 다시 아래의 (4)식을 이용하여 한 프레임의 전체 영상에 대한 평균 오차 AE값을 산출하는데, 여기에서 산출되는 한 프레임의 평균 오차 AE값은 전체 영상에 대하여 그 움직임 보상 오차값을 평균하여 얻은 값이다.
상기한 (4)식에서 P,Q 는 각각 가로 및 세로 방향의 매크로 블록의 개수에 해당하는 값이다. 여기에서, 상기(4)식을 이용하여 계산된 평균 오차 AE값은 실질적으로 영상 데이터의 복잡성을 잘 반영하는 값이라 할 수 있다. 따라서, 본 발명에서는 이와 같은 모든 매트로 블록의 움직임 보상 오차값을 평균하여 산출한 평균 오차 AE값을 부호화를 위해 입력되는 다음 영상신호의 복잡도로서 이용한다. 이 때, 산출되는 평균 오차 AE값은 영상의 정보량(비트 발생량)에 관련된다고 볼 수 있는데, 만일 현재 부호화된 영상이 복잡한 경우에는 산출되는 평균 오차 AE값이 상대적으로 커질 것이고, 그 반대의 경우에는 산출되는 평균 오차 AE값이 작아지게 될 것이다.
또한, 영상신호를 부호화하는 과정에서 산출되는 각 프레임의 평균 오차 AE값이 제로(0)인 경우, 수신측의 복호화 시스템에서는 이전에 부호화되어 전송된 영상만으로 현재의 영상신호를 재생할 수 있으므로, 부호화 시스템에서는 현재의 영상 데이터를 전송할 필요가 없는 것이다. 이러한 관점에 비춰볼 때, 부호화시에 산출되는 각 프레임의 평균 오차 AE 값은 곧 전송할 정보량에 관계되는 값으로 해석할 수 있을 것이다. 그리고, 본 발명에 따른 각 프레임의 평균 오차 AE값 산출에 있어서는, 부호화 시스템이 움직임 보상을 수행하는 과정에서 검출되는 움직임 벡터와 재구성된 이전 프레임 신호를 프레임 메모리에 저장하고 있으므로, 이와 같은 각 부호화 시스템의 일부를 이용하면 추가의 계산을 할 필요없이 단지 위에서 기술한 각 매크로 블록의 보상 오차값 E(i,J)를 평균하여 원하는 평균 오차 AE값을 쉽게 구현할 수 있을 것이다.
그런 다음, 시,공간 복잡도 계산 블록(210)에서는 상술한 바와 같은 과정을 통해 산출된 공간 복잡도 ACT 와 시간 복잡도를 위한 움직임 오차 평균값 AE 를 의거하여 최종적으로 산출되는 복잡도 C[C=(ACT+AE)/2] 를 발생하여 다음 단의 가중치 발생 블록(220)으로 제공된다.
한편, 가중치 발생 블록(220)은 상기한 시,공간 복잡도 계산 블록(210)으로부터 제공되는 시간 복잡도 AE와 공간 복잡도 ACT에 의거하여 산출되는 복잡도 C값에 의거하여 2차원 저역 통과 필터링시의 대역폭 제한을 위한 기설정된 복수의 가중치들(예를 들면, 각각 다른 필터계수 설정을 위한 4개의 가중치)중 그에 대응하는 가중치를 결정해 라인 L23상에 발생하여 전술한 영상 부호화 블록(120)에 제공한다. 여기에서, 결정되어 영상 부호화 블록(120)으로 제공된 가중치는 입력 영상(즉, DCT변환계수)의 양자화 바로 전에 다음과 같이 계산되는 주파수 영역 구분값 B에 따라 주파수값을 나누게 된다. 이 때, 주파수 영역을 구분하는 데 필요한 영역 구분값 B는 아래와 같은 방법으로 게산되며, 이 영역 구분값 B를 이용하여 주파수 영역을 설정하는 과정에 대해서는 첨부된 제2도를 참조하여 후에 상세하게 기술될 것이다.
보다 상세하게, 가중치 발생 블록(220)이 시,공간 복잡도 계산 블록(210)으로부터 출력되는 복잡도 C값을 이용하여 영역 구분값 B를 출력하는 과정은 다음의 (5)식과 같다.
B = 1 if (C ≤MC)
= 2 if (MC< C ≤MC + SC >
= 3 if (MC + SC < C ≤ MC + 2* SC >
= 4 if (C > MC + 2* SC ) ------------(5)
상기 (5)식에서 MC와 SC를 구하는 과정은 다음과 같다. 즉, 영상신호의 프레임 전송율이 30인 경우에는 1초동안 계산되는 C값 30개를 평균한 값이 MC이고, 이 값의 표준편차가 SC이다. 따라서, 이와 같이 구한 MC, SC 값과 매 프레임에 발생되는 C값을 비교함으로써 영역 구분값 B를 구할 수 있다. 즉, 가중치 발생 블록(220)에서는 이전의 30프레임 동안 발생된 C값의 평균과 표준편차를 이용하여 영역 구분값 B를 결정하는 것이다. 그 결과, 이러한 과정을 통해 얻어지는 현재 발생된 C값은 다시 30개 프레임의 평균값과 표준편차를 구하는데 이용된다. 따라서, 가중치 발생 블록(220)에서는 이전에 발생된 30개 프레임의 C값중에서 처음 구해진 C값(시간적으로 가장 오래된 C값)을 버리고 시,공간 복잡도 계산 블록(210)으로부터 새로 입력된 C값을 이용하여 평균과 표준편차를 구하는 것이다. 물론, 현재 발생된 C값도 31번째 프레임이 지나면 평균과 표준편차를 구하는 데 이용되지 않게 된다.
상기한 (5)식으로부터 명백한 바와 같이, 영역 구분값 B는 1부터 4사이의 정수값을 갖는데, 이것은 전술한 감산기(110)로부터 출력되는 에러신호(라인 L11 상의 현재 프레임과 라인 L19상의 예측 프레임간의 차분신호)를 이산 코사인 변환한 DCT변환계수들에 대한 양자화 전의 2차원 저역 통과 필터링시에 C값에 따라 그 대역폭을 적응적으로 조절하기 위해서이다.
다음에, 상기와 같이 계산된 영역 구분값 B를 이용하여 가중치를 조절하는 과정에 대하여 일예로서 첨부된 제2도를 참조하여 상세하게 설명한다.
제2도를 참조하면, 산출된 C값이 MC값보다 커 가중치 발생 블록(220)에서 산출되는 B값이 1인 경우, 영상 부호화 블록(120)에서는 라인 L12를 통해 감산기(110)로부터 입력되는 에러신호를 이산 코사인 변환한 DCT변환계수들에 대해 주파수 대역 제한을 위한 가중치를 주지 않고, 즉 2차원 저역 통과 필터링을 거치지 않고 전송 버퍼(140)의 데이터 충만상태 정보에 기초하여 결정되는 소정의 스텝 사이즈로 바로 양자화를 수행하게 된다. 이것은 결국 입력 영상이 복잡하지 않고 단순하여 종래의 방법과 동일하게 2차원 저역 통과 필터링 없이 그대로 부호화(양자화)하는 것이다.
상기와는 달리, 제2도에 도시된 바와 같이, B값이 2, 3 또는 4의 값을 갖는 경우, 영상 부호화 블록(120)에서는 각각의 값에 해당하는 점선 이하의 주파수를 모두 2로 나누어 양자화를 수행한다. 즉, B값이 4인 경우에, 제2도에서 F(1,7), F(2,6) 등과 같은 점선 이하의 주파수들은 모두 2로 나누어 부호화(양자화)하게 되는 것이다. 따라서, 본 발명에 따른 이와 같은 과정을 통해 부호화(양자화)를 수행하면 시각적으로 중요한 성분인 저주파 신호에 대해 양자화 오차가 적게 생기도록 하면서 부호화할 수 있는 것이다. 만일, 복잡한 영상임에도 불구하고 본 발명에서와 같이 주파수의 저역 통과 대역폭을 제한하는 가중치를 주지 않게 되면, 결과적으로 부호화 후에 발생되는 비트량이 많아져 양자화 스텝 사이즈가 커지게 되므로 모든 주파수 대역(고주파에서 저주파 대역)에 대하여 양자화 오차가 많이 발생되고, 그 결과 수신측의 재생 영상에서 양자화로 인한 화질열화가 야기될 것이다.
따라서, 본 발명의 가중치 발생 블록(220)에서는 움직임 추정 및 보상을 위해 부호화 후에 복원되어 재구성된 라인 L16상의 이전 프레임을 이용하여 매 프레임마다 계산되는 공간 복잡도값 정보와 움직임 보상 오차값에 근거하여 예측되는 이전 영상과 입력 영상간의 시간 복잡도값 정보를 이용하여 현재 부호화하고자 하는 입력 영상의 최종 복잡도를 산출하고, 그 최종 복잡도 산출결과에 의거하여 영상의 고주파 성분에 대한 대역폭을 제한하기 위한 가중치를 발생하여 양자화 전에 저역 통과 필터링(즉, 2차원 저역 통과 필터링)을 통해 영상의 비트량을 이차적으로 감소시켜 주므로써, 비록 복잡한 영상일지라도 양자화 단계에서의 스텝 사이즈가 과도하게 증가되는 것을 억제하면서도 시각적으로 중요한 정보인 저주파 성분을 충분하게 살려 부호화(양자화)할 수 있다. 다라서, 수신측 복호화 시스템에서 복원되는 재생 영상에서 양자화 오차로 인한 화질열화를 최대한 억제할 수가 있다.
다음에, 통상적인 DCT 및 양자화를 수행하는 과정과 본 발명에 따라 영상의 시간 복잡도와 공간 복잡도에 의거하여 가중치를 주면서 양자화하는 과정을, 일예로서 한 블록의 영상신호에 대해 본 발명자가 실험한 결과치에 의거하여 설명한다.
하기에서는, 8×8 픽셀로 구성된 블록의 영상신호에 대한 통상적인 DCT, 양자화, 역양자화 및 IDCT 과정을 통해 재생된 일예로서 설명한다. 또한, 여기에서는 DCT변환계수를 스텝 사이즈 QP*2로 나누는 연산에 해당하며, 스텝 사이즈가 2(QP=1)인 경우라 가정한다.
하기에 표 1은 한 블록(8×8 픽셀)에 대한 영상신호를 나타내는 데, 표1로부터 알 수 있는 바와 같이, 각각의 픽셀은 0에서 255사이의 레벨값을 갖음을 알 수 있으며, 이들은 수평, 수직 방향으로의 위치에 대한 각각의 픽셀값을 나타낸다.
하기의 표 2는 상기한 표 1에 도시된 바와 같은 픽셀값을 갖는 한 블록의 영상신호에 대하여 수평, 수직 방향으로 8×8 DCT 를 수행한 결과를 나타낸다. 이 때의 결과에 대한 각 위치에서의 값은 각 방향에서의 주파수 성분을 의미한다.
하기의 표 3은 상기한 표 2에 도시된 바와 같은 주파수 성분들을 갖는 DCT변환계수 블록(8×8)에 대하여 양자화를 수행한 결과를 나타낸다. 이 과정에서의 양자화 스텝 사이즈는 QP*2로서 계산되었으며, QP가 1인, 즉 스텝 사이즈가 2인 경우를 예로 든 것이다. 이 결과, 각 위치에서의 값은 전술한 표2의 값을 2로 나눈 결과에 해당한다. 따라서, 이러한 연산(양자화)의 수행결과, 각각의 양자화된 DCT변환계수들은 상기한 표2에 도시된 각각의 DCT변환계수들에 비해 그 크기가 작아지고, 또한 0의 값을 갖는 개수가 많아짐을 알 수 있다. 결과적으로, 이것은 부호화 후에 전송되어질 정보량이 줄어든다는 것을 의미한다. 만일, 이 때의 QP값이 커진다면 그 결과로서 나타나는 상기한 표3에서의 각각의 양자화된 DCT변환계수들은 그 크기가 작아질 뿐만 아니라 0의 값을 갖는 개수가 더 적어지므로, 결국 부호화 후에 전송되어질 발생 데이터량은 더욱 줄어들게 될 것이다. 이것은, 앞에서도 이미 기술한 바와 같이 양자화 단계에서 QP값을 조절해 주므로써, 전송할 정보량을 조절한다는 통상적인 방법인 것이다.
한편, 본 발명에서는 상술한 바와 같은 통상적인 양자화 스텝 사이즈 조절만을 통해 부호화 후에 발생되는 비트량을 조절하는 것이 아니라, 부호화시의 움직임 추정 및 보상을 위해 부호화 후에 복원되어 재구성된 이전 프레임을 이용하여 매 프레임마다 계산되는 공간 복잡도값 정보와 움직임 보상 오차값에 근거하여 예측되는 이전 영상과 입력 영상간의 시간 복잡도값 정보를 이용하여 현재 부호화하고자 하는 영상의 최종 복잡도를 산출하고, 산출된 최종 복잡도에 의거하여, 현재 입력되는 영상이 복잡한 영상(즉, 부호화 후에 많은 비트 발생이 야기되는 영상)인 것으로 판단되는 경우, 양자화 단계전에 소정의 고주파 차단 레벨을 갖는 복수의 가중치를 적응적으로 주어 DCT변환계수들의 통과 주파수 대역을 제한한다.
즉, 표 4는, 본 발명에 따라 일예로서 한 블록(8×8 DCT 블록)에 대해 제1도에 도시된 가중치 발생 블록(220)에서 산출된 영역 구분값 B가 4인 경우에 해당하는 가중치를 주어 DCT변환계수들을 양자화한 결과값을 나타낸다. 이와 같은 나타나는 표 4의 결과는 상기한 표3의 양자화된 DCT변환계수 값들과 비교해 볼 때, 표 4에서 점선 이하의 주파수 부분을 2로 나누어 양자화한 결과인 것으로, 0의 레벨을 갖는 개수가 많아지고, 또한 각각의 양자화된 DCT변환계수 값들의 크기도 2배 작아졌음을 알 수 있다. 결과적으로, 본 발명에서는 매 프레임마다 계산되는 복원된 이전 프레임의 공간 복잡도값 정보에 기초하여 판단되는 영상의 복잡도(시간 복잡도 및 공간 복잡도)에 근거하는 가중치를 주어 입력 영상의 고주파 성분들을 적응적으로 제거한 다음 양자화를 수행함으로써, 양자화 단계에서의 과도한 스텝 사이즈의 증가 없이 부호화 후 발생되는 비트량을 효과적으로 조절할 수가 있는 것이다. 하기의 표 4에서 4의 B 값에 따라 결정되는 것으로 도시한 점선은 제2도에서 가중치를 주는 B값이 4인 부분에 상응하는 부분이다.
이상 설명한 바와 같이 본 발명에 따르면, 움직임 추정 및 보상을 위해 부호화 후에 복원되어 재구성된 이전 프레임을 이용하여 매 프레임마다 계산되는 공간 복잡도 정보와 움직임 보상 오차값에 근거하여 예측되는 이전 영상과 입력 영상간의 시간 복잡도값 정보를 이용하여 현재 부호화하고자 하는 입력 영상의 최종 복잡도를 계산하고, 그 최종 복잡도 계산결과에 따라 현재 입력 영상이 복잡한 영상인 경우, 그에 상응하는 가중치를 주어 인간의 시각에 둔한감한 영상의 고주파 성분을 일차적으로 제거한 다음 DCT, 양자화 등의 부호화를 수행하도록 함으로써, 양자화 단계에서의 과도한 스텝 사이즈의 증가 없이 부호화 후 발생되는 비트량을 효과적으로 조절할 수 있다. 따라서, 본 발명에 의하면, 부호화된 영상을 복원하여 디스플레이할 때, 재생 영상에서 필연적으로 나타나는 양자화 오차로 인한 화질열화를 효과적으로 감소시킬 수 있다.

Claims (5)

  1. 입력되는 현재 프레임과, 이 현재 프레임 및 재구성된 이전 프레임을 이용하는 매크로 블록단위의 움직임 추정, 보상을 통해 얻어지는 예측 프레임간의 에러신호에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 포함하는 부호화 수단을 통해 압축 부호화하여 부호화된 비트 스트림을 발생하며, 상기 양자화는 출력측 버퍼에 저장되는 상기 비트 스트림의 충만상태 정보에 의거하여 그 스텝 사이즈가 조절되는 비트 발생량 조절기능을 갖는 영상 부호화 시스템에 있어서, 상기 움직임 추정, 보상을 위해 복원된 상기 이전 프레임 각각에 대해 공간 복잡도값을 산출한 다음 각각 산출된 상기 각 이전 프레임의 공간 복잡도값들을 평균하여 기설정된 복수의 이전 프레임에 대한 평균 공간 복잡도값을 산출하고, 상기 에러신호에 대해 각 매크로 블록 단위로 각 필셀값을 가산하여 움직임 보상 오차값을 산출한 다음 각각 산출된 각 매크로 블록의 움직임 보상 오차값들을 평균하여 기설정된 복수의 이전 프레임에 대한 움직임 평균 오차값을 산출하며, 상기 산출된 평균 공간 복잡도값과 움직임 평균 오차값에 의거하여 최종 복잡도값을 산출하는 시,공간 복잡도 계산 수단; 및 상기 산출된 최종 복잡도값을 상기 부호화 수단을 통해 현재 부호화하고자 하는 프레임의 복잡도로서 참조하며, 상기 이산 코사인 변환을 통해 발생된 각 DCT변환계수 블록들의 저역 통과 필터링시 그 대역폭을 적응적으로 제한하는 기설정된 복수의 가중치들중 상기 산출된 최종 복잡도값에 대응하는 가중치를 결정하여 상기 부호화 수단에 제공하는 가중치 발생 수단을 더 포함하고, 상기 부호화 수단은, 상기 각 DCT변환계수 블록들의 통과 주파수 대역을 제한함으로써, 상기 각 DCT변환계수 블록들은 고주파 성분을 선택적으로 필터링하는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.
  2. 제1항에 있어서, 상기 기설정된 각 가중치는, 상기 산출된 각 프레임의 평균 공간 복잡도값, 상기 각 프레임의 평균 공간 복잡도값을 평균하여 얻은 초당 전송되는 복수의 프레임에 대한 제1의 평균 에러치, 이 제1의 평균 에러치의 제1의 표준편차, 상기 산출된 각 프레임의 움직임 평균 오차값, 상기 각 프레임의 움직임 평균 오차값을 평균하여 얻은 초당 전송되는 복수의 프레임에 대한 제2의 평균 에러치 및 이 제2의 평균 에러치의 제2의 표준편차를 이용하여 결정되는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.
  3. 제1항 또는 제2항에 있어서, 상기 기설정된 복수의 가중치는, 상기 각 DCT변환계수 블록들의 각각 다른 필터계수 설정을 위한 정수값의 4개의 가중치를 포함하는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.
  4. 제3항에 있어서, 상기 부호화 수단은, 2차원 저역 통과 필터링을 통해 상기 결정된 가중치에 상응하여 상기 각 DCT변환계수 블록들의 고주파 성분을 선택적으로 필터링하는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.
  5. 제4항에 있어서, 상기 부호화 수단은, 상기 각 DCT변환계수 블록들의 고주파 성분에 대한 선택적인 필터링을 위해, 상기 결정된 가중치 이하의 고주파 성분을 2로 나누어 상기 양자화를 수행하는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.
KR1019960013778A 1996-04-30 1996-04-30 비트 발생량 조절기능을 갖는 영상 부호화 시스템 KR100203696B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019960013778A KR100203696B1 (ko) 1996-04-30 1996-04-30 비트 발생량 조절기능을 갖는 영상 부호화 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960013778A KR100203696B1 (ko) 1996-04-30 1996-04-30 비트 발생량 조절기능을 갖는 영상 부호화 시스템

Publications (2)

Publication Number Publication Date
KR970073131A KR970073131A (ko) 1997-11-07
KR100203696B1 true KR100203696B1 (ko) 1999-06-15

Family

ID=19457280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960013778A KR100203696B1 (ko) 1996-04-30 1996-04-30 비트 발생량 조절기능을 갖는 영상 부호화 시스템

Country Status (1)

Country Link
KR (1) KR100203696B1 (ko)

Also Published As

Publication number Publication date
KR970073131A (ko) 1997-11-07

Similar Documents

Publication Publication Date Title
KR100203710B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100425640B1 (ko) 비디오신호처리를위한노이즈추정및감소장치
US5852682A (en) Post-processing method and apparatus for use in a video signal decoding apparatus
US5757969A (en) Method for removing a blocking effect for use in a video signal decoding apparatus
US5694492A (en) Post-processing method and apparatus for removing a blocking effect in a decoded image signal
EP0734176A2 (en) Motion compensation apparatus for use in a video encoding system
KR100229796B1 (ko) 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템
KR100203714B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203682B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203696B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203676B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203630B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203707B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203659B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203699B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203703B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203629B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203697B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203677B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203627B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203663B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203709B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203675B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203698B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203678B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110302

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee