KR100220586B1

KR100220586B1 - 대역 제한 기능을 갖는 적응적인 영상 부호화 시스템

Info

Publication number: KR100220586B1
Application number: KR1019960024043A
Authority: KR
Inventors: 김종일
Original assignee: 전주범; 대우전자주식회사
Priority date: 1996-06-26
Filing date: 1996-06-26
Publication date: 1999-09-15
Also published as: KR980007750A

Abstract

본 발명은, 부호화하고자 하는 해당 프레임의 픽셀값 평균과 각 프레임의 평균값에 근거한 이전 소정시간 동안의 다수의 프레임의 단시간 통계에 의거하여 입력 영상의 장면전환을 검출하고, 그 검출결과에 따른 영상의 장면전환시에 필터링을 통한 대역 제한 기법을 이용하여 입력 영상신호의 고주파 성분을 적응적으로 제거함으로써, 부호화후의 비트 발생량을 효율적으로 조절할 수 있도록 한 대역 기능을 갖는 적응적인 영상 부호화 시스템에 관한 것으로서, 이를 위하여, 부호화를 위해 순차 입력되는 프레임 각각에 대해 주파수 분석을 통해 통계적 특성을 나타내는 평균(MIp)과 표준편차(ACT)를 각각 추출하고; 소정시간동안의 복수의 프레임에 대한 평균과 표준편차 각각에 대해 총평균(MMIp, MACT)과 총표준편차(SMIp, SACT)를 각각 산출하여 상기 기설정된 소정시간 동안의 단시간 통계를 산출하고; 현재 입력 프레임의 통계적 특성과 산출된 단시간 특성간의 비교결과에 의거하여 현재 입력 프레임에 대해 필터링 기법을 이용하여 그 통과 대역을 제한하고; 현재 입력 프레임 자체 또는 필터링 기법을 통해 고주파 성분이 제거된 대역 제한 프레임을 DCT, 양자화,VLC 기법 등을 갖는 부호화 수단에 선택적으로 제공하는 기술적수단을 포함하으로써, 입력 영상에서 큰 복잡도를 갖는 장면전환 상황이 발생하더라도 부호화 수단에서의 양자화시 과도한 스텝 사이즈의 증가 없이 부호화후 발생되는 비트량을 효과적으로 조절할 수 있도록 한 것이다.

Description

대역 제한 기능을 갖는 적응적인 영상 부호화 시스템

제1도는 본 발명의 바람직한 실시예에 따른 대역 제한 기능을 갖는 적응적인 영상 부호화 시스템의 블록구성도.

제2도는 제1도의 전처리 블록에 대한 세부적인 블록구성도.

제3도는 본 발명에 따라 입력 영상이 장면전환 부분일 때 일예로서 88 픽셀 블록에 대하여 하나의 고정된 레벨로 결정되는 고주파 성분 제한을 위한 결정 영역을 도시한 도면.

제4도는 본 발명에 따라 입력 영상이 장면전환 부분일 때 일예로서 88 픽셀 블록에 대하여 그 복잡정도에 의거하여 적응적으로 결정되는 고주파 성분 제한을 위한 결정 영역을 도시한 도면.

제5도는 본 발명에 따라 일예로서 88 픽셀 블록에 대한 예시도.

제6도는 본 발명에 따른 일예로써 차수가 7 인 1차원 저역 통과 필터계수를 도시한 예시도.

제7도는 본 발명이 다른 실시예에 따른 일예로써 (0,4) 위치에서의 수평 방향 필터링과 (3,0) 위치에서의 수직 방향 필터링 과정을 도시한 예시도.

제8도는 본 발명의 다른 실시예에 따른 일예로써 33 차수의 2차원 저역 통과 필터계수를 도시한 예시도.

제9도는 본 발명의 다른 실시예에 따른 일예로서 (3,3) 위치에서의 2차원 필터링 과정을 도시한 예시도.

제10도는 본 발명의 다른 실시예에 따른 제2도에 도시된 프레임 예측 블록의 세부적인 블록구성도.

* 도면의 주요부분에 대한 부호의 설명

100,180 : 프레임 메모리 110 : 전처리 블록

115 : 스위칭 블록 120 : 감산기

130 : 영상 부호화 블록 140 : 엔트로피 부호화 블록

150 : 전송 버퍼 160 : 영상 복호화 블록

170 : 가산기 190 : 현재 프레임 예측 블록

1110 : 통계적 특성 산출 블록 1120 : 제어블록

1130 : 메모리 블록 1140 : 대역 제한 블록

1141 : DCT 블록 1143 : 양자화 블록

1145 : 주파수 선택기 1147 : 역양자화 블록

1149 : IDCT 블록

본 발명은 영상신호를 압축 부호화 하는 영상 부호화 시스템에 관한 것으로, 더욱 상세하게는 압축 부호화를 위해 입력되는 소정시간 동안의 다수의 프레임 신호에 대한 평균과 표준편차를 이용하여 입력 영상의 장면전환을 검출하고, 이 검출 결과에 상응하여 부호화후의 발생 비트량을 적응적으로 조절하는 데 적합한 대역제한 기능을 갖는 적응적인 영상 부호화 시스템에 관한 것이다.

이 기술분야에 잘 알려진 바와같이 이산된 영상신호의 전송은 아날로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 "프레임"으로 구성된 비디오 신호가 디지털 형태로 표현될 때, 특히 고품질 텔레비젼(일면 HDTV 라 함)의 경우 상당한 양의 데이터가 전송되어야 한다. 그러나 종래의 전송 채널의 사용 가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지털 데이터를 전송하기 위해서는 전송되는 데이터를 압축하여 그 양을 줄일 필요가 있다. 이와같이 데이터를 압축하는 다양한 압축 기법 중에서, 확률적 부호화 기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있으며, 이러한 기법들은, 예를들면 세계 표준화 기구에 의해 그 표준안이 이미 제정된 MPEG-1 및 MPEG-2등의 권고안에 광범위하게 개시되어 있다.

대부분의 하이브리드 부호화 기법은 움직임 보상 DCPM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화)등을 이용한다. 움직임 보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이 방법은 예를 들어 Staffan Ericsson의 "Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding", IEEE Trasactions on Communication, COM-33, NO.12 (1985년, 12월), 또는 Ninomy와 Ohtsuka의 "A motion Compensated Interframe Coding Scheme for Television Pictures",IEEE Transactions on Communication, COM-30, NO.1 (1982년, 1월)에 기재되어 있다.

일반적으로, 2차원 DCT는 영상 데이터간의 공간적 리던던시를 이용하거나 제거하는 것으로써, 디지털 영상 데이터 블록, 예를 들면 88 블록을 DCT 변환계수로 변환한다. 이 기법은 Chen과 Pratt 의 "Scene Adaptive Coder", IEEE Trasactions on Communication, COM-32, NO.3 (1984년, 3월)에 개시되어 있다. 이러한 DCT 변환계수는 양자화기, 지그재그 주사, VLC 등을 통해 처리됨으로써 전송할 데이터의 양을 효과적으로 감축(또는 압축)할 수 있다.

보다 상세하게, 움직임 보상 DPCM 에서는 현재 프레임과 이전 프레임간에 추정된 물체이 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측한다. 이와 같이 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.

통상적으로, 물체의 변위를 추정하는 데에는 여러 가지 접근방법이 있다. 이들은 일반적으로 두 개의 타입으로 분류되는데, 그중 하나는 블록 매칭 알고리즘을 이용하는 블록단위 움직임 추정방법이고 다른 하나는 화소순환 알고리즘을 이용하는 화소단위 움직임 추정방법이다.

상기와 같이 물체의 변위를 추정하는 움직임 추정방법중, 화소단이 움직임 추정방법을 이용하면 변위는 각각의 화소 전부에 대해 구해진다. 이러한 방법은 화소값을 더 정확히 추정할 수 있고 스케일 변화(예를 들어, 영상면에 수직한 움직임인 주밍(zooming))도 쉽게 다룰 수 있다는 장점을 갖는 반면에, 움직임 벡터가 모든 화소 각각에 대해 결정되기 때문에, 다량의 움직임 벡터들이 발생하는 데 실질적으로 모든 움직임 벡터를 수신기로 전송하다는 것을 불가능하다.

또한, 블록단위 움직임 추정에서는, 현태 프레임의 소정 크기의 블록을 이전 프레임의 소정 범위의 탐색영역내에서 한 화소씩 이동하면서 대응 블록들과 비교하여 그 오차값이 최소인 최적 정합블럭을 결정하며,이것으로부터, 전송되는 현재 프레임에 대해 블록 전체에 대해 블록 전체에 대한 프레임간 변위 벡터(프레임간에 블록이 이동한 정도)가 추정된다. 여기에서, 현재 프레임과 이전 프레임간의 대응하는 두 블록간의 유사성 판단은, 이 기술분야에 잘 알려진 바와같은, 평균 절대차와 평균 제곱차 등이 주로 사용된다.

한편, 상술한 바와같은 부호화 기법, 즉 움직임 보상 DPCM, 2차원 DCT, DCT 계수의 양자화 및 VLC(또는 엔트로피 부호화)등의 부호화 기법을 통해 부호화된 영상 비트 스트림은 영상 부호화 시스템의 출력측에 구비되는 전송 버퍼에 저장된 다음 전송시점이 되면 원격지 수신측으로의 송신을 위해 전송기로 보내진다. 이때, 여기에서의 전송시점은 전송 버퍼의 크기(즉, 용량)와 전송율에 관계되며, 전송 버퍼에서의 오동작(데이터 오버플로우(overflow) 또는 데이터 언더플로우(underflow))이 발생하지 않도록 제어된다.

보다 상세하게, 여러 가지 요인(예를들면, 입력 영상의 장면전환)으로 인해 부화화시에 각 프레임마다 발생되는 비트량이 달라지게 되는데, 이러한 점을 고려하여 영상 부호화 시스템에서는, 평균 전송율이 일정하게 유지될 수 있도록 출력측 전송 버퍼의 제어를 수행한다. 즉, 영상 부호화 시스템에서는 출력측 전송 버퍼의 데이터 충만상태 정보에 근거하여 현재 부호화하고 있는 프레임 이전까지의 비트 발생량을 조사하고 있다가 현재 프레임에서 할당해야 하는 비트량을 조절한다. 다시말해, 종래의 전형적인 영상 부호화 시스템에서는 출력측 전송 버퍼의 데이터 충만상태 정보에 의거하여 실절적으로 양자화 스텝 사이트(QP)를 제어함으로써 부호화 시스템에서의 발생 비트량을 조절, 즉 이전까지 비트 발생량이 많으면 양자화 스텝 사이즈를 크게 조절하여 비트 발생량을 줄이고, 이와 반대의 경우에는 양자화 스텝 사이즈를 작게 조절하여 비트 발생량을 늘리는 등의 방법을 통해 비트 발생량을 조절하고 있다.

그러나, 상술한 바와같이 출력측 전송 버퍼의 데이터 충만상태 정보에 의거하여 양자화 스텝 사이트를 조절함으로써 비트 발생량을 조절하는 종래방법은, 각 프레임에 해당하는 영상 데이터를 동일한 전송율로 부호화하여 전송하고자 하는 경우에 있어서, 부호화하고자 하는 입력 영상이 장면전환 영상, 즉 시간축상에서 프레임간의 상관도가 낮은 영상인 경우, 움직임 보상과 같은 부호화 처리과정에서 그 효율이 떨어져 비트 발생량이 많아지게 되는 데 이로 인해 양자화 스텝 사이즈가 커져 결과적으로 재생 영상에서의 심각한 화질열화가 야기된다는 문제를 갖는다.

따라서, 본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로, 소정시간 동안의 다수의 프레임 신호에 대한 픽셀값의 평균과 표준편차를 이용하여 입력 영상이 장면전환 부분인지를 검출하고, 그 검출결과에 따른 영상의 장면전환시에 그 통과 대역을 제한하여 입력 영상신호의 고주파 성분을 적응적으로 제거함으로써, 부호화후의 비트 발생량을 효율적으로 조절할 수 있는 대역 기능을 갖는 적응적인 영상 부호화 시스템을 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위하여 본 발명은, 입력되는 현재 프레임을 자체에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 수행하는 인트라 부호화 모드와, 상기 현재 프레임과 이 현재 프레임 및 재구성된 이전 프레임을 이용하는 움직임 추정, 보상을 통해 얻어지는 예측 프레임간의 차분신호에 대해 이산 코산인 변환, 양자화 및 엔트로피 부호화를 수행하는 인터 부호화 모드를 갖는 부호화 수단을 포함하는 영상 부호화 시스템에 있어서, 부호화를 위해 순차 입력되는 프레임 각각의 대해 그 주파수 분석을 통해 그 통계적 특성을 나타내는 픽셀들의 평균(MIp)과 표준편차(ACT)를 각각 추출하는 통계적 특성 산출 블록; 기설정된 소정시간 동안 만큼 상기 추출된 각 프레임에 대한 평균(MIp)과 표준편차(ACT)를 순차적으로 저장하는 메모리 블록; 상기 저장된 소정시간 동안에 상응하는 복수의 각 프레임에 대한 평균(MIp)과 표준편차(ACT) 각각에 대해 총평균(MMIp, MACT)과 총표준편차(SMIp, SACT)를 각각 산출하여 상기 기설정된 소정시간 동안의 단시간 통계를 산출하며, 상기 단시간 통계 산출에 이용된 프레임들보다 시간적으로 후에 존재하는 현재 입력 프레임의 통계적 특성과 상기 산출된 단시간 통계간이 비교결과에 의거하여 상기 부호화를 위해 입력되는 상기 현재 입력 프레임의 필터링 제어신호를 발생하는 제어 블록; 상기 발생된 필터링 제어신호에 따라 결정되는 필터계수에 의거하여 부호화를 위해 입력되는 상기 현재 입력 프레임에 필터링 기법을 적용하여 고주파 성분을 제거함으로써 대역 제한된 프레임을 발생하는 대역제한 블록; 및 상기 제어 블록으로부터 제공되는 상기 단시간 통계와 상기 현재 입력 프레임의 통계적 특성간의 비교결과에 의거하여 발생하는 절환 제어신호에 따라 절환되어, 입력되는 상기 현재 입력 프레임 자체 또는 상기 대역 제한된 프레임을 상기 부호화 수단에 제공하는 스위칭 수단을 포함하는 대역 제한 기능을 갖는 적응적인 영상 부호화 시스템을 제공한다.

본 발명의 상기 및 기타 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

앞에서 이미 기수한 바와 같이, 영상신호의 효율적인 부호화를 위해 움직임 보상 DPCM, 2차원 DCT, DCT 계수의 양자화 및 VLC(또는 엔트로피 부호화) 등의 부호화 기법을 채용하는 하이브리드 부호화 시스템에 있어서, 입력 영상이 인접 프레임간의 시간축상에서 상관도가 낮은 장면전환 영상인 경우, 많은 비트 발생량으로 인해 양자화 스텝 사이즈가 과도하게 커져 재생 영상에서의 화질열화(양자화 오차로 인한 화질열화)가 야기될 수 있는 데, 본 발명에서는 이러한 점을 고려하여 먼저 입력 영상이 장면전환 부분인지의 여부를 검출하여 장면전환 부분인 것으로 판단되면 일정시간(즉, 장면전환이 진행되는 동안) 동안 입력 영상의 대역을 적응적으로 제한하여 인간의 시각특성에 비교적 둔감한 고주파 성분을 제거함으로써, 부호화후에 발생되는 비트량의 증가를 억제한다는데 가장 큰 기술적인 특징을 갖는 것으로, 이러한 기술적 수단을 통해 부호화시의 양자화 오차를 최소화함으로써 보다 자연스러운 재생 영상을 얻을 수 있다.

제1도는 본 발명의 바람직한 실시예에 따른 대역 제한 기능을 갖는 적응적인 영상 부호화 시스템에 대한 블록구성도를 나타낸다. 동도면에 도시된 바와 같이, 본 발명의 영상 부호화 시스템은 제1 프레임 메모리(100), 전처리 블록(110), 스위칭 블록(115), 감산기(120), 영상 부호화 블록(130), 엔트로피 부호화 블록(140), 전송 버퍼(150), 영상 복호화 블록(160), 가산기(170), 제2 프레임 메모리(180) 및 현재 프레임 예측 블록(190)을 포함한다.

제1도를 참조하면, 입력되는 현재 프레임 신호는 입력측의 제1 프레임 메모리(100)에 저장되는 데, 이러한 제1 프레임 메모리(100)에 저장되는 현재 프레임 신호는 라인 L11을 통해 후술되는 스위칭 블록(115)의 일측 입력 b에 연결되고, 또한 라인 L12를 통해 제2도를 참조하여 후에 상세하게 기술되는 전처리 블록(110)으로 제공된다. 여기에서, 스위칭 블록(115)의 타측 입력 c는 라인 L14를 통해 전처리 블록(110)의 일측 출력(프레임 신호 출력)에 연결되며, 이러한 스위칭 블록(115)의 절환은 라인 L13을 통해 전처리 블록(110)으로부터 제공되는 입력 프레임 신호의 통계적 특성 산출에 기초한 제어 신호(CS)에 의해 수행된다. 이와같은 스위칭 블록(115)의 구체적인 절환동작에 대해서는 후에 상세하게 기술될 것이다.

한편, 전처리 블록(110)은 본 발명에서 가장 특징적인 구성부재를 이루는 것으로, 본 발명에 따라 라인 L12를 통해 제1 프레임 메모리(100)로부터 제공되는 프레임 신호의 분석 및 조사를 통해 그 통계적 특성, 즉 각 입력 프레임 신호의 평균과 표준편차를 산출하고, 이와같이 각 프레임별로 평균(MIp)(픽셀값들의 평균)과 표준편차(ACT)(픽셀값의 변화율)를 각각 산출한 다수의 프레임(예를 들면, 30 프레임)에 대한 총평균 및 총표준편차 정보를 이용하여 입력 프레임의 통계적 특성을 산출하며, 이와같이 산출된 각 프레임 신호의 통계적 특성 정보에 기초하여 산출되는 기설정된 소정시간(예를들면, 1초) 동안의 단시간 통계에 의거하여 입력 영상신호가 장면전환 부분인지의 여부를 판단하며, 여기에서의 판단결과 입력 영상이 장면전환 부분이면 필터링 기법등을 적용하여 입력되는 각 프레임 신호의 통과 대역을 제한하여 인간의 시각특성에 비교적 둔감한 고주파성분을 적응적으로 제거한 다음 라인 L14를 통해 스위칭 블록(115)의 입력 c로 제공한다. 이러한 전처리 블록(110)의 구체적인 동작과정에 대해서는 첨부된 제2도를 참조하여 후에 상세하게 기술될 것이다.

다른한편, 스위칭 블록(115)에서는 전처리 블록(110)으로부터의 절환 제어 신호 CS 에 의거하여 라인 L11 상의 입력 프레임 신호 또는 라인 L15 상의 2차원 필터링된 프레임 신호를 라인 L16 상에 연결하며, 라인 L16 상의 프레임 신호(입력 프레임 신호 자체 또는 2차원 필터링된 프레임 신호)는 스위치(SW)를 경유하여 감산기(120) 또는 영상 부호화 블록(130)으로 제공되고, 또한 현재 프레임 예측 블록(190)으로 제공된다. 여기에서, 스위치(SW)는 도시 생략된 시스템 제어기, 예를들면 마이크로 프로세서로부터의 제어에 따라 그 접점을 절환하는 것으로, 인트라 모드 부호화시에는 라인 L16 상의 고정접점이 라인 L17 상의 가변점접에 연결되고, 인터모드 부호화시에는 라인 L16 상의 고정접점이 라인 L18을 통해 감산기(120)의 입력에 연결된다. 따라서, 후술되는 영상 부호화 블록(130)에서는 인트라 모드 부호화시에 DCT, 양자화 등의 기법을 이용하여 라인 L17 상의 현재 프레임 신호 자체(입력 프레임 신호 또는 전처리 블록(110)을 통해 대역 제한된 프레임 신호)를 부호화 하며, 인터 모드 부호화시에 DCT, 양자화 등의 기법을 이용하여 라인 L18 상의 에러신호(라인 L16 상의 현재 프레임 신호와 라인 L22 상의 예측된 프레임 신호간의 차분치)를 부호화하게 될 것이다. 즉, 인트라 모드 부호화에서는 움직임 추정, 보상기법의 사용없이 바로 입력 프레임 신호 자체를 부호화(DCT, 양자화, 엔트로피 부호화 등)하는데, 여기에서의 부호화는 실질적으로 인터 모드 부호화에서의 과정과 거의 동일하므로 이하에서는 이해의 증진과 설명의 편의를 위해 일예로서 인터 모드 부호화의 경우라 가정한다.

먼저, 감산기(120)에서는 라인 L16 및 스위치(SW)를 통해 제공되는 고주파 성분이 제거되지 않거나 혹은 고주파 성분이 선택적으로 제거된 현재 프레임 신호로부터 라인 L21를 통해 후술되는 현재 프레임 예측 블록(190)으로부터 제공되는 이동 물체에 대하여 움직임 보상된 예측된 현재 프레임 신호를 감산하며, 그 결과 데이터, 즉 차분화소값을 나타내는 에러신호는 영상 부호화 블록(130)을 통해 이산 코사인 변환(DCT)과 이 기술분야에서 잘 알려진 양자화 방법들중의 어느 하나를 이용함으로서, 일련의 양자화된 DCT 변환계수들로 부호화된다. 이때, 영상 부호화 블록(130)에서의 에러신호에 대한 양자화는 라인 L23을 통해 후술되는 출력측 전송 버퍼(150)로부터 제공되는 데이터 충만상태 정보에 따라 결정되는 양자화 파라메터(QP)에 의거하여 그 스텝 사이즈가 조절된다.

다음에, 라인 L19 상의 양자화된 DCT 변환계수들은 엔트로피 부호화 블록(140)과 영상 복호화 블록(160)으로 각각 보내진다. 여기에서, 엔트로피 부호화 블록(140)에 제공된 양자화된 DCT 변환계수은, 예를들면 가변길이 부호화 기법등을 통해 부호화되어 출력측의 전송 버퍼(150)에 제공되며, 이와같이 부호화된 영상신호는 수신측으로의 전송을 위해 도시 생략된 전송기로 전달된다.

한편, 영상 부호화 블록(130)으로부터 영상 영상 복호화 블록(160)에 제공되는 라인 L19 상의 양자화된 DCT 변환계수들은 역양자화 및 역이산 코사인 변환을 통해 다시 복원된 프레임 신호로 변환된 다음, 다음단의 가산기(170)의 제공되며, 가산기(170)는 영상 복호화 블록(160)으로 부터의 복원된 프레임 신호와 라인 L21를 통해 후술되는 현재 프레임 예측 블록(190)으로부터 제공되는 예측된 현재 프레임 신호를 가산하여 재구성된 이전 프레임 신호를 생성하며, 이와같이 재구성된 이전 프레임 신호는 제2 프레임 메모리(180)에 저장된다. 따라서, 이러한 경로를 통해 부호화 처리되는 매 프레임에 대한 바로 이전 프레임 신호가 계속적으로 갱신되며, 이와같이 갱신되는 재구성된 이전 프레임 신호는 움직임 추정, 보상을 위해 하기에 기술되는 현재 프레임 예측 블록(190)으로 제공된다.

다른한편, 현재 프레임 예측 블록(190)에서는, 고주파 성분이 제거되지 않은 라인 L16상의 현재 프레임 신호 또는 본 발명에 따른 전처리 블록(110)으로부터 제공되는 라인 L16 상의 고주파 성분이 선택적으로 제거된 현재 프레임 신호와 상기한 제2 프레임 메모리(180)로부터 제공되는 라인 L20 상의 재구성된 이전 프레임 신호에 기초하여 블록 매칭 알고리즘을 이용해 재구성된 이전 프레임의 기설정 탐색범위(예를들면, 3232 또는 1616 탐색범위)에서 소정의 블록(예를들면, 1616 또는 88 DCT 블록)단위로 움직임을 추정하여 현재 프레임을 예측한 다음 라인 L21상에 예측된 현재 프레임 신호를 발생하여 상술한 감산기(120)와 가산기(170)에 각각 제공한다.

또한, 현재 프레임 예측 블록(190)은 선택되는 각 블록(1616 또는 88 블록)들에 대한 움직임 벡터들의 세트를 라인 L22 상에 발생하여 전술한 엔트로피 부호화 블록(140)에 제공한다. 여기에서, 검출되는 움직임 벡터들의 세트들은 현재 프레임의 블록(1616 또는 88 블록)과 이전 프레임내의 기설정 탐색영역(예를들면, 3232 또는 1616 탐색범위)에서 예측된 가장 유사한 후보 블럭간의 변위이다. 따라서, 전술한 엔트로피 부호화 블록(140)에서는 라인 L22 상의 움직임 벡터들의 세트들과 더불어 라인 L19 상의 양자화된 DCT 변환계수들은, 예를들면 가변길이 부호화 기법 등을 통해 부호화하여 부호화된 비트 스트림을 발생한다.

다음에, 본 발명에서 가장 특징적인 부분을 이루며, 입력 영상이 장면전환 부분인지의 여부를 판단하여 입력 영상이 장면전환 부분일 때, 2차원 저역 통과 필터링을 통해 입력 영상의 고주파 성분을 선택적으로 제거하며, 이와같이 대역 제한된 영상신호를 입력 프레임 신호로서 라인 L16 상에 제공하는 전처리 블록(110)에서의 동작과정에 대하여 상세하게 설명한다.

제2도는 제1도에 도시된 전처리 블록에 대한 세부적인 블록구성도를 나타낸다. 동도면에 도시된 바와 같이, 본 발명의 전처리 블록(110)은 통계적 특성 산출 블록(1110), 제어블록(1120), 메모리 블록(1130) 및 대역 제한 블록(1140)을 포함한다.

제2도를 참조하면, 통계적 특성 산출 블록(1110)에서는 라인 L12 상의 입력 영상을 제공받아 현재의 영상이 장면전환을 위한 영상인지의 여부를 판단할 수 있는 파라메터를 산출하는 데, 본 발명에서는 이러한 파라메터로서 영상신호의 평균 MIp와 표준편차 ACT를 이용한다. 즉, 일예로서 현재 입력되는 영상을 Ip라 할 때, (x,y)의 위치에서 Ip영상의 화소값은 Ip(x,y)이다.

따라서, 입력되는 각 프레임 신호의 평균 MIp와 표준편차 ACT는 각각 다음의 수학식과 같이 구해진다.

상기 수학식 1 및 수학식 2에서 M,N은 각각 정수값으로서 영상신호의 수평, 수직방향의 크기를 나타낸다. 그런다음, 이와같이 추출된 파라메터, 즉 각 프레임의 평균 MIp와 표준편차 ACT는 다음단의 제어블록(1120)으로 제공된다.

본 발명에서 장면전환 부분인지를 판단하는데 사용하고자 하는 통계적 특성 정보로서 상술한 바와같이 추출되는 평균 MIp와 표준편차 ACT 이용하는 이유는 입력 영상신호가 장면전환 부분이 아니면 상기와 같이 추출된 영상신호의 통계적 특성(평균과 표준편차)이 이전의 영상신호와 크게 다르지 않고, 이와 반대로 입력 영상신호가 장면전환 부분이면 추출된 영상신호의 통계적 특성이 이전 영상신호의 통계적 특성과 많이 다르게 나타나기 때문이다. 따라서, 본 발명에서는 통계적 특성값의 시간적인 변화를 이용하여 입력 영상에 대한 장면전환 여부를 판단하며, 이러한 판단은 후술되는 제어블록(1120)에서 수행될 것이다.

즉, 제어블록(1120)에서는 상기한 통계적 특성 산출 블록(1110)으로부터 제공되는 파라메터, 즉 각 프레임의 평균(MIp) 및 표준편차(ACT) 값들을 이용하여 현재의 입력 영상이 장면전환 부분인지의 여부를 판단하며, 이러한 판단신호는 라인 L14를 통해 다음단의 연산 블록(1140)으로 제공된다. 즉, 영상신호의 장면전환 부분에서는 시간적인 변화가 많아 이전 영상과 현재 영상 사이에 유사성이 많지 않게 되는데, 그 결과 움직임 보상과 같은 부호화 시스템의 처리과정에서 부호화의 효율이 떨어져 부호화시에 많은 양의 비트가 발생하게 되므로써, 양자화 단계에서의 큰 양자화 오차(수신측의 복원된 재생 영상에서 블록킹 현상으로 인한 화질열화를 야기시키는 원인이 됨)를 수반하게 된다. 따라서, 이와같이 영상의 장면전환시에 발생되는 이러한 현상을 줄이기 위하여 입력 영상의 장면전환을 검출한다.

보다 상세하게, 제어블록(1120)에서는 입력 영상의 장면전환 검출을 위하여 일정시간 동안의 통계적 특성(단시간 통계)과 통계적 특성 산출 블록(1110)으로부터 입력되는 현재 프레임의 파라메터(평균, 표준편차)를 비교하여 그 장면전환 여부를 판단하는데, 이와같은 단시간 통계를 구하는 과정은 다음과 같다.

먼저, 입력 영상에 대한 일정시간 동안의 통계적 특성을 구하는 과정은 여러 가지 방법이 있을 수 있으나, 본 발명에서는 1초 동안의 프레임에 대한 각 프레임의 파라메터 평균과 표준편차를 이용하였다. 제어블록(1120)에서는 통계적 특성 산출 블록(1110)으로부터 제공되는 각 프레임에 대한 MIp 및 ACT 값을 입력하여 이 값들에 대한 1초 동안의 평균과 표준편차를 계산한다. 이와같은 계산을 위해 제어블록(1120)에서는 통계적 특성 산출 블록(1110)에서 매 프레임마다 입력되는 MIp, ACT 값을 메모리 블록(1130)에 저장한다.

즉, 현재 입력되는 영상(프레임)에서 추출한 파라메터를 MIp(0), ACT(0)라 하고, 바로 이전 영상에서 추출한 파라메터를 MIp(1), ACT(1), 이러한 순서로 MIp(i), ACT(i)라 하면(i는 1에서 30 사이의 정수값), 30 프레임 이전에 입력된 파라메터값은 MIp(30), ACT(30)이며, 이와같은 값은 메모리 블록(1130)에 저장되는 값이다. 따라서, 제어블록(1120)에서는 각 프레임의 평균 MIp(1)에서 MIp(30)까지의 30 개의 값으로부터 이 값들의 평균 MMIp 및 표준편차 SMIp를 각각 계산하고, 마찬가지로 각 프레임의 표준편차 ACT(1)에서 ACT(30) 까지의 30개의 값으로부터 이 값들의 평균 MACT 및 표준편차 SACT를 각각 계산함으로써, 단시간 통계(1초 동안의 통계적 특성)을 산출한다.

다음에, 상술한 바와같이 산출된 4개의 단시간 통계, MMIp, SMIp, MACT, SACT와 현재 제어블록(1120)에 입력된 한 프레임의 파라메터 MIp(0), ACT(0)를 이용하여 라인 L14 상에 발생되는 출력신호 B는 다음의 수학식과 같이 계산된다.

상기 수학식에서 는 앤드 연산을 의미한다. 따라서, 상기한 바와같이 산출되어 라인 L14 상에 발생된 출력신호 B는 대역 제한 블록(1140)으로 제공되는 데, 라인 L14 상의 출력신호 B 가 0인 경우에는 현재 입력되는 영상신호의 특성인 MIp(0)의 값이 이전의 단시간 특성과 비교하여 그다지 변화가 많지 않으므로 장면전환 부분이 아님을 의미하고, 이와달리 라인 L14 상의 출력신호 B가 1인 경우에는 현재 입력되는 영상신호의 특성이 이전의 단시간 특성과 비교하여 변화가 많은 부분이므로 장면전환 부분임을 의미한다. 즉, 제어블록(1120)에서는 각 프레임의 통계적 특성에 기초한 이전 소정시간 동안의 프레임에서 얻은 단시간 통계를 이용하여 현재 입력 프레임의 픽셀값 평균이 갑자기 변하는 지의 여부를 검출하며, 그 검출결과에 의거하여 현재 입력 영상이 장면전환 영상인지의 여부를 판단한다.

그 결과, 대역 제한 블록(1140)에서는 이와같은 라인 L14 상의 출력신호 B에 의거하여 제1도에 제1 프레임 메모리(100)로부터 제공되는 라인 L12 상의 현재 프레임 신호에 대해 고주파 성분의 제거없이 라인 L15 상에 발생하거나 또는 적절한 대역제한 처리, 즉 필터링을 수행하여 기설정된 고주파 성분이 제거된 프레임 신호를 라인 L15 상에 발생한다. 즉, 라인 L12 상의 입력 프레임 신호를 필터링할 때, 대역 제한 블록(1140)에서는, 일예로서 제3도에 도시된 바와 같이, Z(1,7), Z(2,6) 이하의 값을 모두 제로(0)값으로 매핑처리하여 그 대역폭을 제한, 필터링을 수행하게 된다.

그런다음, 고주파 성분이 제거된 출력 프레임 신호 제1도의 스위칭 블록(115)의 c-a 경로를 경유하여 라인 L16 에 연결된다. 따라서, 제1도의 영상 부호화 블록(130)에서는 인간의 시각특성에 비교적 둔감한 고주파 성분이 적응적으로 제거된 라인 L16 상의 프레임 신호를 DCT, 양자화 등의 기법을 통해 부호화를 수행하게 될 것이다.

다른한편, 제어블록(1120)에서는 본 발명에 따라 후술되는 대역 제한 블록(1140)이 입력 프레임 신호를 필터링하여 고주파 성분이 제거된 프레임 신호를 발생하도록 구성될 때, 고정된 하나의 레벨(즉, 필터계수)로 입력 프레임을 필터링하지 않고, 입력 영상의 복잡도 등을 고려하여 적응적 (또는 선택적)으로 피터링할 수 있도록 그의 출력신호 B 를 다음의 수학식과 같이 계산할 수 있다.

따라서, 상기한 바와같이 산출되어 라인 L14 상에 발생된 출력신호 B는 대역 제한 블록(1140)으로 제공되는 데, 라인 L14 상의 출력신호 B가 1인 경우에는 현재 입력되는 영상신호의 특성인 MIp(0) 및 ACT(0)의 값이 이전의 단시간 특성과 비교하여 그다지 변화가 많지 않으므로 장면전환 부분이 아님을 의미하고, 이와달리 라인 L14 상의 출력신호 B가 2,3,4인 경우에는 현재 입력되는 영상신호의 특성이 이전의 단시간 특성과 비교하여 변화가 많은 부분이므로 장면전환 부분임을 의미한다. 즉, 제어블록(1120)에서는 각 프레임의 통계적 특성에 기초한 이전 소정시간 동안의 프레임에서 얻은 단시간 통계를 이용하여 현재 입력 프레임의 픽셀값 평균이 갑자기 변하는 지의 여부를 검출하며, 그 검출결과에 의거하여 현재 입력 영상이 장면전환 영상인지의 여부를 판단한다.

그 결과, 대역 제한 블록(1140)에서는 이와같은 라인 L14 상의 출력신호 B에 의거하여 제1도의 제1 프레임 메모리(100)로부터 제공되는 라인 L12 상의 현재 프레임 신호에 대해 그에 사응하는 적절한 대역 제한 처리, 즉 적응적인 필터링을 수행한다. 즉, 라인 L12 상의 입력 프레임 신호를 필터링할 때, 대역 제한 블록(1140)에서는, 일예로서 제4도에 도시된 바와같이, 입력 영상의 복잡도에 근거하는 제어블록(1120)으로부터의 출력신호 B에 상응하여 그 출력값 이하(즉, 제4도에서 점선 이하의 값)의 값을 제로(0)값으로 매핑처리하여 그 대역폭을 제한, 필터링을 수행하게 된다. 다시말해, 본 실시예에 따르면, 입력 프레임의 복잡정도에 따라 입력 프레임 신호의 고주파 성분 제거레벨을 선택적(또는 적응적)으로 조절한다.

그런다음, 상기와 같이 고주파 성분이 적응적(또는 선택적)으로 제거된 출력 프레임 신호는 제1도의 스위칭 블록(115)의 c-a 경로를 경유하여 라인 L16에 연결된다. 따라서, 제1도의 영상 부호화 블록(130)에서는 인간의 시각특성에 비교적 둔감한 고주파 성분이 선택적 또는 적응적으로 제거된 라인 L16 상의 프레임 신호를 DCT, 양자화 등의 기법을 통해 부호화를 수행하게 될 것이다.

또한, 제어블록(1120)에서는 현재 프레임의 순차 입력에 따라 메모리 블록(1130)에 저장된 각 프레임에 대한 MIp, ACT 값들을 순차적으로 갱신, 즉 하나의 새로운 프레임에 대한 MIp(0), ACT(0) 값이 입력되면 기저장된 MIp(30), ACT(30) 의 값을 MIp(29), ACT(29)의 값으로, MIp(29), ACT(29)의 값을 MIp(28), ACT(28)의 값으로, 순차 대치하여 최종적으로 MIp(1), ACT(1)의 값을 MIp(0), ACT(0)의 값으로 대치함으로써, 하나의 입력 영상에 대해 새롭게 갱신된 단시간 통계의 산출을 가능하게 하며, 이러한 갱신과정은 매 프레임이 입력될 때마다 수행된다. 결국, 통계적 특성 산출 블록(1110)에서 추출된 각 프레임에 대한 파라메터가 메모리 블록(1130)에 저장되는 시간은 30 프레임 동안에 해당하고, 30 프레임이 지나면 단시간 통계의 산출에 이용되지 않게 된다. 이와같이 단시간 통계 산출을 위해 각 프레임의 파라메터를 저장하는 메모리 블록(1130)은, 예를들면 선입선출 버퍼 등을 이용하여 간단하게 구성할 수 있을 것이다.

한편, 제어블록(1120)에서는 메모리 블록(1130)에 저장된 30 프레임의 MIp, ACT 값을 이용하여 산출되는 소정시간(예를들면 1초) 동안의 이전 입력 영상의 대한 단시간 통계와 현재의 입력 영상의 통계적 특성 파라메터(MIp,ACT)에 의거하여 현재 입력 영상이 장면전환 부분인지 여부를 판단할 때 그 판단결과에 기초하여 제1도의 스위칭 블록(115)에서의 접점절환을 위한 제어신호 CS(예를 들면, 하이 또는 로우 레벨을 갖는 논리신호)를 라인 L13 상에 발생한다.

다시말해, 제어블록(1120)에서는 이전 영상에 대한 소정시간 동안의 단시간 통계와 현재 입력 영상의 통계적 특성(MIp,ACT)과의 비교결과, 현재 입력 영상이 장면전환 부분이 아닌 것으로 판단될 때, 라인 L13 상에 하이 또는 로우 레벨의 논리신호를 발생하여 제1도에 도시된 스위칭 블록(115)의 라인 b-a가 연결되도록 제어하고, 이와는 달리 현재 입력 영상이 장면전환 부분인 것으로 판단될 때, 라인 L13 상에 로우 또는 하이 레벨의 논리신호를 발생하여 제1도에 도시된 스위칭 블록(115)의 라인 c-a가 연결되도록 제어한다. 그 결과, 제어블록(1120)으로부터 제공되는 라인 L13 상의 제어신호(CS)에 의거하여, 스위칭 블록(115)의 라인 b-a가 연결되면 라인 L11 상의 현재 입력 프레임 신호 자체가 적응적인 인트라/인터 모드 부호화를 위한 라인 L16 상에 연결되고, 반대로 스위칭 블록(115)의 라인 c-a가 연결되면 전술한 대역 제한 블록(1140)에서 제공되는 라인 L15 상의 프레임 신호 또는 고주파 성분이 제거된 대역 제한 프레임 신호가 라인 L16 상에 연결될 것이다.

다른한편, 본 발명에 따라 대역 제한 블록(1140)이 필터링을 통해 고주파 성분이 제거된 대역 제한 프레임 신호를 입력 프레임 신호로써 라인 L15 상에 발생하도록 구성될 때, 그 고주파 성분 제거를 위한 방법으로는 1차원 저역 통과 필터링 기법, 2차원 저역 통과 필터링 기법, 이산 푸리에 변환(Discrete Fourier Trasform : 이하 DFT라 약칭함)을 이용한 대역 제한 기법 및 이산 코사인 변환(Discrete Cosine Trasform : 이하 DCT라 약칭함)을 이용한 대역 제한 기법 등을 들 수 있다.

상기한 바와같이 본 발명에 따라 인간의 시각특성에 비교적 둔감한 고주파 성분이 제거된 프레임을 입력 프레임 신호로써 제공하고자 할 때, 그 고주파 성분을 제거하는 기법들 중 하나인 1 차원 저역 통과 필터링 기법은, 입력되는 영상신호에 저역 통과 필터를 곱함으로써 수행된다. 즉, NM의 한 블록 (예를들면, 88 블록)의 영상에 대한 각 필셀의 값을 f(x,y)라 할 때, 일예로서 제5도에 도시된 바와같이 한 블록이 88의 블록인 경우, 픽셀의 수평 및 수직 방향으로의 위치값 x 및 y 는 0에서 7사이의 정수값을 갖으며, 각 값들은 0에서 255 사이의 레벨값을 갖는다. 즉, 제5도로부터 알 수 있는 바와 같이, 88 블록의 각 픽셀의 수평 및 수직 방향의 위치값을 f(0,0)에서 f(7,7)의 값을 갖는다.

한편, 본 발명에서의 1차원 저역 통과 필터로서는, 일예로서 제6도에 도시된 바와같이, 1차원 저역 통가 필터계수가 7개의 차수를 갖는 것이라 가정하여 도시하였다. 이러한 저역 통과 필터는 입력 영상신호의 샘플링 주파수가 fs인 경우 그 주파수 대역폭이 fs/2이므로 이 신호를 fs/4의 주파수 대역폭을 갖도록 대역 제한하는 저주파 통과 필터를 예로 든 것이다.

따라서, 대역 제한 블록(1140)에서 본 발명에 따라 영상신호를 1차원 저역 통과 필터링 하는 과정은 입력 영상신호가 수평 및 수직 방향으로의 2차원 신호이므로 각각의 방향에 대하여 1차원 저역 통과 필터링을 수행함으로써 구현할 수 있다. 이러한 과정에 대해서는 (0,4) 위치에서의 수평 방향 필터링과 (3,0) 위치에서의 수직 방향 필터링 과정을 도시한 제7도에 상세하게 도시되어 있다. 즉, (x,y) 의 위치에서 수직 방향으로 저역 통과 필터링된 신호를 z(x,y) 라고 하면, 이것은 아래의 수학식에 의해 계산된다.

상기한 수학식 5에서는 T 는 필터의 차수를 의미하므로, T = 7 이다. 따라서, u,v 값은 -3에서 3 사이의 정수값을 갖는다. 또한, 상기한 수학식 5에서 k(u) 값은 필터계수값이고, f(x,y) 값은 픽셀값이다. 만일, 상기한 수학식 5에서 f(x,y-u) 의 (y-u) 값이 0 보다 작아지면 0으로 하고, 혹은 전체 한 프레임의 영상 크기에 해당하는 M-1 값보다 커지는 경우에는 M-1 값으로 해 준다. 이것은, 그 영역, 즉 0에서 M-1 사이에서만 픽셀값이 존재하므로 이 영역을 넘는 경우에는 끝값으로 설정해 주는 방법인 것으로, 이러한 필터링 방법은 이 기술분야에 이미 공지된 기술이다.

따라서, 상기한 수학식 5에서와 같이 모든 픽셀의 위치에서 필터링을 수행하면, 일예로서 제7도에 도시된 바와같이, 수평 및 수직 방향으로 1차원 필터링한 결과를 얻을 수 있다. 이때, 본 발명에 따라 모든 픽셀의 위치에서 이러한 필터링을 수행하는 과정에서 수평 방향 필터링을 먼저 수행하고, 수평 방향 필터링된 결과에 대해 다시 수직 방향 필터링을 수행하거나 혹은 그 순서를 바꾸어서 수행할 수도 있다.

한편, 상술한 바와같은 1차원 저역 통과 필터링시에 기설정된(또는 고정된) 하나의 필터계수만을 이용하여 입력 영상신호의 고주파 성분을 완전 제거 또는 부분제거하도록 구성할 수도 있으나, 입력 영상의 복잡정도를 고려하여 그 복잡도의 크기에 따라 복수의 필터계수(예를들면, 4개 등)를 사용하여 입력 영상의 고주파 성분제거를 적응적(또는 선택적)으로 제거하도록 구성할 수도 있다. 이때, 복수의 필터계수를 이용하여 입력 프레임을 적응적으로 필터링할 경우, 기설정된 하나의 필터계수를 이용한 영상 필터링에 비해 하드웨어의 구현은 다소 복잡해질 수 있으나 제1도의 영상 부호화 블록(130)의 양자화 과정에서 양자화 스텝 사이즈의 고정밀한(촘촘한) 제어가 가능하다는 또다른 장점을 갖는다. 따라서, 이와같이 복수의 필터계수를 이용하여 적응적으로 필터링하는 경우에 대해서는 그 적용범위에 따라 선택적으로 응용할 수 있을 것이다.

다른한편, 입력 프레임의 고주파 성분 제거를 위한 기법들중 2차원 저역 통과 필터링은, 제5도에 도시된 바와같이, NM의 한 블록(예를들면, 88 블록)의 영상에 대한 각 필셀의 값을 f(x,y)라 하고, 일예로서 제8도에 도시된 바와같이, 2차원 저역 통과 필터계수가 3 개의 차수를 갖는 9 차수를 갖는 것이라 가정하면, 하기에 기술되는 수학식에서와 같이 필터계수 k에 의해 좌우되는 데, k(0,0)의 값은 1/2이고, 그 이외의 값은 1/16의 값을 갖는다.

따라서, 대역 제한 블록(1140)에서 본 발명에 따라 라인 L12 상의 입력 프레임 신호를 2차원 저역 통과 필터링하는 과정은, 예를들면 f(3,3)의 위치에서 필터링을 수행하는 과정을 보여주는 제9도에 도시된 바와같다. 제9도에 있어서, 필터계수와 겹치는 픽셀간의 곱을 모두 더하면 필터링한 결과를 얻게 된다. (x,y)의 위치에서 2차원 저역 통과 필터링된 신호를 Z(x,y)라고 하면, 이 갑은 아래의 수학식에 의해 계산된다.

상기한 수학식에서 T 는 필터의 차수를 의미하므로, T = 3 이다. 따라서, u 값은 -1 에서 1 사이의 정수값을 갖는다. 또한, 상기한 수학식에서 k(u,v) 값은 필터계수값이고, f(x,y) 값을 픽셀값이다. 이때, 전술한 1차원 저역 통과 필터링에서와 마찬가지로, 상기한 수학식에서 f(x-u,y-v)의 (x-u),(y-v) 값이 0 보다 작아지면 0 으로 하고, 혹은 전체 한 프레임의 영상 크기에 해당하는 M-1 값보다 커지는 경우에는 M-1 값으로 해 준다. 따라서, 상기 수학식에서와 같이 모든 픽셀의 위치에서 필터링을 수행하면, 일예로서 제9도에 도시된 바와같이, 수평 및 수직 방향으로 2차원 필터링한 결과를 얻을 수 있다.

다른한편, 입력 프레임의 고주파 성분 제거를 위한 기법들중 DFT를 이용한 대역 제한 기법을 채용하는 경우, 대역 제한 블록(1140)은 전술한 제어블록(1120)으로 제공되는 주파수 영역 구분을 위한 대역폭을 결정하는 출력신호 B 에 의거하여 입력 영상에서 시각에 비교적 둔감한 고주파 성분을 제한하는데, 그 과정은 실질적으로 2차원 주파수 변환과정과 주파수 선택과정으로 구분할 수 있으며, 이때 2차원 주파수 변환과정에서는 이산 푸리에 변환(DFT)을 이용하고, 주파수 선택과정에서는 제어블록(1120)으로부터 제공되는 출력신호 B 에 의거하여 DFT 변환된 영상신호의 통과 대역을 결정한다.

다음에, 대역 제한 블록(1140)에서 라인 L12 상의 입력 프레임을 2차원 DFT로 변환하고, 또한 대역폭 결정을 위한 출력신호 B에 의거하여 2차원 DFT 변환된 영상신호의 주파수를 선택하는 과정에 대하여 상세하게 설명한다.

먼저, 대역 제한 블록(1140)은 입력 영상신호라 갖는 공간영역의 유사성을 이용하는 것으로, 아래의 수학식에 의거하여 공간영역의 영상신호(픽셀 데이터)를 푸리에함수를 이용하여 MN 단위, 예를들면 88 단위의 주파수 영역의 2차원 DFT 변환계수들로 변환한다.

상기 수학식에서 f(u,v)는 각 픽셀의 값을, u는 수평 방향의 위치를 v는 수직 방향으로의 픽셀의 위치를 나타낸다. 따라서, NN 블록의 각 픽셀에 대한 값은 다음과 같은 값을 갖는다. 즉, N = 8 인 경우 u 및 v는 0과 7 사이의 값을 갖는다. 이때, 각 값들은 0 에서 255 사이의 정수값을 갖는다. 또한, 상기 수학식에서 Z(k,l)은 변환된 신호를 의미하고, k,l은 각각 수평 및 수직 방향으로의 주파수 성분을 의미한다. 따라서, N = 8 인 경우에는 88 DFT 블록, 즉 공간영역의 신호가 주파수 영역의 신호로 변환된다.

보다 상세하게, 대역 제한 블록(1140)에서는 상술한 바와같은 과정을 통해 얻어진 DFT 변환계수들에 대하여, 라인 L14를 통해 제어블록(1120)으로부터 제공되는 대역폭 결정을 위한 출력신호 B 에 의거하여 그 통과되는 주파수 대역을 결정한다. 이때, 전술한 수학식 5에서와 같이 대역폭 결정을 위한 출력신호 B 는 1에서 4 사이의 정수값으로 설정할 수 있는데, 이에 따라 선택되는 주파수는 다음과 같다.

즉, 대역 제한 블록(1140)에서는 변환된 주파수 Z(k,l)에서 특정한 주파수를 선택한다. 여기에서 k,l 은 0에서 N-1 사이의 정수값이다. 따라서, 대역 제한 블록(1140)에서 출력되는 값은 특정 주파수 성분(즉, 고주파 성분)이 제거된 신호가 된다. 예를들어, N = 8 인 경우에, 일예로서 제4도에 도시된 바와같이, 그 통과 주파수 대역이 결정될 것이다.

따라서, 제4도에 도시된 바와같이, 라인 L14를 통해 제어블록(1120)으로부터 대역 제한 블록(1140)으로 제공되는 대역폭 결정을 위한 출력신호 B에 따라 각각에 해당하는 점선 이하의 주파수는 모두 0으로 하여 선택하지 않는다. 즉, 제4도에서 B 값이 4 인 경우에는 Z(1,7),Z(2,6) 등과 같은 점선 이하의 주파수를 모두 0으로 매핑 처리되는 것이다. 이와는 달리 하나의 하나의 기설정 필터계수를 이용하여 제어블록(1120)으로 부터의 출력신호 B에 응답하여 소정 레벨 이상의 고주파 성분을 제한(고정된 레벨 이상의 고주파 성분을 0 으로 대체 등)하도록 구성할 수도 있으며, 이 경우 적응적인(또는 선택적인) 대역 제한에 비해 그 구현이 다소 용이할 것이다.

다음에, 상술한 바와같이 영상의 복잡도에 기초하여 결정되는 대역폭 결정을 위한 출력신호 B 값에 따라 특정영역의 주파수(고주파 성분)가 제거된 DFT 변환계수들(주파수 영역의 신호)은 아래의 수학식을 통해 원래의 공간영역의 신호로 역변환된다.

상기 수학식에서 f(u,v)는 각 픽셀이 값을 의미하고, u 및 v 는 수평 및 수직방향으로의 픽셀의 위치를 의미하며, Z(k,l)은 변환된 신호를 의미하고, k,l은 각각 수평 및 수직 방향으로의 주파수 성분을 의미한다. 따라서, N = 8 인 경우에는 주파수의 영역의 88 DFT 블록들은 공간영역의 신호(픽셀 데이터)로 변환된다.

그 결과, 대역 제한 블록(1140)에서는 라인 L15 상에 입력 영상이 장면전환 부분일 때 그 영상의 복잡도에 따라 특정영역의 주파수가 선택적으로 제거된 영상신호, 즉 입력 영상의 복잡도에 근거하여 산출되는 대역폭 결정을 위한 출력신호 B에 따라 영상의 고주파 성분이 선택적(또는 적용적)으로 제거된 프레임 신호(특정영역 고주파 성분이 0 값으로 대체된 영상신호)를 발생하며, 여기에서 발생된 신호(인간의 시각특성에 비교적 둔감한 고주파 성분이 선택적으로 제거된 프레임 신호)는 제1도의 스위칭 블록(115)의 c-a 및 라인 L16을 경유하여 감산기(120) 및 현재 프레임 예측 블록(190)으로 각각 제공(인터 모드 부호화)되거나 스위칭 블록(115)의 c-a 및 라인 L17을 경유하여 영상 부호화 블록(130)으로 제공(인트라 모드 부호화)될 것이다.

다른한편, 입력 프레임의 고주파 성분 제거를 위한 기법들중 DCT 를 이용한 대역 제한 기법을 채용하는 경우, 대역 제한 블록(1140)은 전술한 제어블록(1120)으로 제공되는 주파수 영역 구분을 위한 대역폭을 결정하는 출력신호 B에 의거하여 입력 영상에서 시각에 비교적 둔감한 고주파 성분을 제한하는 데, 그 과정은 실질적으로 2차원 주파수 변환과정과 주파수 선택과정으로 구분할 수 있으며, 이때 2차원 주파수 변환과정에서는 이산 코사인 변환(DCT)을 이용하고, 주파수 선택과정에서는 제어블록(1120)으로부터 제공되는 출력신호 B 에 의거하여 DCT 변환된 영상신호의 통과 대역을 결정한다.

다음에, 대역 제한 블록(1140)에서 입력 영상을 2차원 DCT 변환하고, 또한 주파수 영역 구분을 위한 대역폭을 결정하는 출력신호 B 에 의거하여 2차원 DCT 변환된 영상신호의 주파수를 선택하는 과정에 대하여 첨부된 제10도를 참조하여 상세하게 설명한다.

먼저, 대역 제한 블록(1140)에서는 입력 영상에 대하여 2차원 DCT 변환을 수행하는 데, 이 기술분야에 잘 알려진 바와같이, DCT 변환과정은 영상신호의 공간적인 유사성을 잘 반영한다고 알려진 것으로, 이러한 DCT 변환기법은 영상신호를 부호화하는 과정에서 많이 응용되는 것이다. 따라서, 여기에서의 상세한 언급은 생략한다. 따라서, 본 실시예에서는 입력 영상이 장면전환 부분일 때, 이러한 특성(공간적인 유사성 반영)을 갖는 DCT 변환을 영상신호의 복잡도에 따른 효과적인 주파수 선택 기법으로 이용한다. 이와같은 본 발명에서의 주파수 선택과정은 단순한 주파수 변환기법에 비해 영상신호의 특성을 보다 잘 반영하여 주파수 영역으로 반환하게 되므로, 결과적으로 입력 영상에 대한 주파수 선택시에 그 효율을 높일 수 있다.

제10도는 제2도에 도시된 본 발명에 따른 대역 제한 블록(1140)에 대한 세부적인 블록구성도를 나타낸다. 동도면에 도시된 바와같이, 대역 제한 블록(1140)은 DCT 블록(1141), 양자화 블록(1143), 주파수 선택기(1145), 역양자화 블록(1147) 및 IDCT 블록(1149)을 포함한다.

제10도에 있어서, DCT 블록(1141)은 영상신호가 갖는 공간영역의 유사성을 이용하는 것으로, 아래의 수학식에 의거하여 공간영역의 영상신호(픽셀 데이터)를 코사인함수를 이용하여 MN 단위, 예를들면 88 단위의 주파수 영역의 2차원 DCT 변환계수들로 변환하여 다음단의 양자화 블록(1143)에 제공한다.

상기 수학식에서 F(u,v) 는 변환된 DCT 계수를 의미하고, f(x,y)는 입력 영상 신호를 의미한다. 여기에서, x,y 는 픽셀 데이터의 가로 및 세로 방향의 위치를 의미하고, u,v 는 변환된 DCT 계수에서 가로 및 세로 방향의 주파수를 의미한다. 그런 다음, 양자화 블록(1143)에서는 상기한 수학식을 통해 2차원 변환된 DCT 계수들에 대해, 예를들면 비선형연산을 통해 유한한 개수의 값으로 양자화한다. 이때, DCT 변환계수의 양자화 과정에서 QP값을 이용하는데, 변환된 DCT 계수 F(u,v)라 하면, F(u,v)/(2*QP)를 수행하여 정수값을 취하는 연산이 대표적인 양자화 과정의 예라고 할 수 있다.

한편, 주파수 선택기(1145)에서는 상술한 바와같은 과정을 통해 양자화된 DCT 변환계수들에 대하여, 라인 L14를 통해 제2도의 제어블록(1120)으로부터 제공되는 대역폭 결정을 위한 출력신호 B 에 의거하여 그 통과되는 주파수를 결정한다. 이때, 전술한 수학식 5에서와 같이 대역폭 결정을 위한 출력신호 B는 1에서 4 사이의 정수값으로 설정할 수 있는 데, 이에 따라 선택되는 주파수는 다음과 같다.

즉, 주파수 선택기(1145)에서 변환된 주파수 Z(k,l)에서 특정한 주파수를 선택한다. 여기에서, k,l 은 0에서 N-1 사이의 정수값이다. 따라서, 주파수 선택기(1145)에서 출력되는 값은 특정 주파수 성분(즉, 고주파 성분)이 제거된 신호가 된다. 예를들어, N = 8 인 경우에 제4도에 도시된 바와같이 그 통과 주파수가 결정될 것이다.

따라서, 제4도에 도시된 바와같이, 라인 L14를 통해 제어블록(1120)으로부터 주파수 선택기(1145)로 제공되는 대역폭 결정을 위한 출력신호 B에 따라 각각에 해당하는 점선 이하의 주파수는 모두 0으로 하여 선택하지 않는다. 즉, 제4도에서 B 값이 4 인 경우에는 Z(1,7), Z(2,6) 등과 같은 점선 이하의 주파수는 모두 0으로 매핑 처리되는 것이다. 이와는 달리 하나의 하나의 기설정 필터계수를 이용하여 제어블록(1120)으로부터의 출력신호 B에 응답하여 소정 레벨 이상의 고주파 성분을 제한(고정된 레벨 이상의 고주파 성분을 0 으로 대체 등)하도록 구성할 수도 있으며, 이 경우 적응적인(또는 선택적인) 대역 제한에 비해 그 구현이 다소 용이할 것이다.

다음에, 상술한 바와같이 입력 영상이 장면전환 부분일 때, 입력 영상의 복잡정도에 기초하여 결정되는 대역폭 결정을 위한 출력신호 B 값에 따라 특정영역의 주파수(고주파 성분)가 제거된 양자화된 DCT 변환계수들은 다음단의 역양자화 블록(1147) 및 IDCT 블록(1149)을 통해 원신호(픽셀 데이터)로 복원된다. 이때, IDCT 블록(1149)에서의 역양자화된 DCT 변환계수의 역변환과정은 아래의 수학식에 도시된 바와같다.

상기 수학식에서 f(x,y)는 역변환된 영상신호(픽셀 데이터)를 의미하고, F(u,v) 는 변환된 DCT 계수를 의미한다. 여기에서 u,v, 는 변환된 DCT 계수에서 가로 및 세로 방향의 주파수를 의미하고, x,y 는 픽셀 데이터의 가로 및 세로 방향의 위치를 의미한다.

그 결과, IDCT 블록(1149)에서는 라인 L15 상에 입력 영상이 장면전환 부분일 때 그 영상의 복잡도에 따라 특정영역의 주파수가 선택적으로 제거된 영상신호, 즉 입력 영상의 복잡도에 근거하여 산출되는 대역폭 결정을 위한 출력신호 B에 따라 영상의 고주파 성분이 선택적(또는 적응적으로)으로 제거된 프레임 신호(특정영역의 고주파 성분이 0 값으로 대체된 영상신호)를 발생하며, 여기에서 발생된 신호(인간의 시각특성에 비교적 둔감한 고주파 성분이 선택적으로 제거된 프레임 신호)는 제1도의 스위칭 블록(115)의 c-a 및 라인 L16을 경유하여 감산기(120) 및 현재 프레임 예측 블록(190)으로 각각 제공(인터 모드 부호화)되거나 스위칭 블록(115)의 c-a 및 라인 L17을 경유하여 영상 부호화 블록(130)으로 제공(인트라 모드 부호화)될 것이다.

그 결과, 제1도의 영상 부호화 블록(130)에서는, 입력 영상이 복잡한 장면전환 부분인 경우, 상술한 바와같이 적응적인 대역 제한(1차원 또는 2차원 저역 통과 필터링, DFT 또는 DCT 를 이용한 대역 제한)을 통해 인간의 시각에 비교적 둔감한 영상의 고주파 성분을 제거한 상태에서 부호화(양자화)를 수행하게 되므로, 시각적으로 중요한 성분인 저주파 신호에 대해 양자화 오차가 적게 생기도록 하면서 부호화할 수 있는 것이다. 만일, 복잡한 장면전환 영상임에도 불구하고 본 발명에서와 같이 주파수의 통과 대역폭을 적응적으로 제한(고주파 성분 제거)하지 않게 되면, 결과적으로 부호화후에 발생되는 비트량이 많아져 양자화 스텝 사이즈가 커지게 되므로 모든 주파수 대역(고주파에서 저주파 대역)에 대하여 양자화 오차가 많이 발생되고, 그 결과 수신측의 재생 영상에서 양자화로 인한 화질열화가 야기될 것이다.

이상 설명한 바와같이 본 발명에 따르면, 소망하는 비트율의 부호화를 위해 영상 부호화 시스템에 입력되는 입력 영상에 대해 이전의 소정시간 동안 복수의 프레임에 대한 단시간 통계와 현재 입력되는 영상 프레임의 통계적 특성(평균과 표준편차)을 이용하여 현재 부호화를 위해 입력되는 영상이 복잡한 장면전환 부분인지를 판단하며, 그 판단결과 입력 영상이 복잡한 장면전환 부분인 경우 필터링 기법을 이용한 적응적인 대역 제한을 적용하여 인간의 시각특성에 둔감한 영상신호의 고주파 성분을 일차적으로 제거한 다음 인터 또는 인트라 모드 부호화에서 DCT, 양자화 등의 부호화를 수행하도록 함으로써, 입력 영상에서 큰 복잡도를 갖는 장면전환 상황이 발생하더라도 양자화 단계에서의 과도한 양자화 스텝 사이즈의 증가 없이 부호화후 발생되는 비트량을 효과적으로 조절할 수 있다. 따라서, 본 발명에 의하면, 수신측에서 부호화된 영상을 복원하여 디스플레이할 때, 재생 영상에서 필연적으로 나타나는 양자화 오차로 인한 화질열화를 효과적으로 억제시킬 수 있다.

Claims

입력되는 현재 프레임을 자체에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 수행하는 인트라 부호화 모드와, 상기 현재 프레임과 이 현재 프레임 및 재구성된 이전 프레임을 이용하는 움직임 추정, 보상을 통해 얻어지는 예측 프레임간의 차분신호에 대해 이산코산인 변환, 양자화 및 엔트로피 부호화를 수행하는 인터 부호화 모드를 갖는 부호화 수단을 포함하는 영상 부호화 시스템에 있어서, 부호화를 위해 순차 입력되는 프레임 각각의 대해 그 주파수 분석을 통해 그 통계적 특성을 나타내는 픽셀들의 평균(MIp)과 표준편차(ACT)를 각각 추출하는 통계적 특성 산출 블록; 기설정된 소정시간 동안 만큼 상기 추출된 각 프레임에 대한 평균(MIp)과 표준편차(ACT)를 순차적으로 저장하는 메모리 블록; 상기 저장된 소정시간 동안에 상응하는 복수의 각 프레임에 대한 평균(MIp)과 표준편차(ACT) 각각에 대해 총평균(MMIp, MACT)과 총표준편차(SMIp, SACT)를 각각 산출하여 상기 기설정된 소정시간 동안의 단시간 통계를 산출하며, 상기 단시간 통계 산출에 이용된 프레임들보다 시간적으로 후에 존재하는 현재 입력 프레임의 통계적 특성과 상기 산출된 단시간 통계간이 비교결과에 의거하여 상기 부호화를 위해 입력되는 상기 현재 입력 프레임의 필터링 제어신호를 발생하는 제어 블록; 상기 발생된 필터링 제어신호에 따라 결정되는 필터계수에 의거하여 부호화를 위해 입력되는 상기 현재 입력 프레임에 필터링 기법을 적용하여 고주파 성분을 제거함으로써 대역 제한된 프레임을 발생하는 대역 제한 블록; 및 상기 제어블록으로부터 제공되는 상기 단시간 통계와 상기 현재 입력 프레임의 통계적 특성간의 비교결과에 의거하여 발생하는 절환 제어신호에 따라 절환되어, 입력되는 상기 현재 입력 프레임 자체 또는 상기 대역 제한된 프레임을 상기 부호화 수단에 제공하는 스위칭 수단을 포함하는 대역 제한 기능을 갖는 적응적인 영상 부호화 시스템.
제1항에 있어서, 상기 메모리 블록은, 상기 기설정된 소정시간 동안의 복수의 프레임에 대한 복수의 각 통계적 특성을 순차 저장하는 선입선출 버퍼로 구성된 것을 특징으로 하는 대역 제한 기능을 갖는 적응적인 영상 부호화 시스템.
제1항에 있어서, 상기 기설정된 소정시간 동안의 복수의 프레임은, 상기 부호화를 위해 입력되는 프레임에 시간적으로 바로 인접하는 이전의 30 프레임인 것을 특징으로 하는 대역 제한 기능을 갖는 적응적인 영상 부호화 시스템.
제1항에 있어서, 상기 대역 제한 블록은, 1차원 저역 통과 필터링을 통해 상기 현재 입력 프레임에서 고주파 성분을 제거하는 것을 특징으로 하는 대역 제한 기능을 갖는 적응적인 영상 부호화 시스템.
제4항에 있어서, 상기 1차원 저역 통과 필터링은, 기설정된 하나의 필터계수를 이용하여 상기 현재 입력 프레임의 고주파 성분을 완전 또는 부분 제거하거나, 그 값이 서로 다른 복수의 필터계수중의 어느 하나를 이용하여 상기 현재 입력 프레임의 고주파 성분 레벨을 선택적으로 제거하는 것을 특징으로 하는 대역 제한 기능을 갖는 적응적인 영상 부호화 시스템.
제1항에 있어서, 상기 대역 제한 블록은, 하나의 필터계수를 이용하여 상기 현재 입력 프레임의 고주파 성분을 완전 또는 부분 제거하거나, 그 값이 서로 다른 복수의 필터계수중의 어느 하나를 이용하여 상기 현재 입력 프레임의 고주파 성분을 제거하는 것을 특징으로 하는 대역 제한 기능을 갖는 적응적인 영상 부호화 시스템.
제1항에 있어서, 상기 대역 제한 블록은, 상기 현재 입력 프레임에 대한 공간영역의 영상신호를 이산 푸리에 변환을 이용하여 MN 블록 단위의 주파수 영역에 DFT 변환계수들로 변환하고, 상기 발생된 대역 제한을 위한 필터링 제어신호에 의거하여 상기 변환된 DFT 변환계수 블록들에 대한 고주파 통과 대역을 결정하며, 상기 변환된 각 DFT 변환계수 블록의 고주파 통과 대역을 상기 결정된 대역폭으로 제한하고, 상기 대역폭이 제한된 각 DFT 블록들 각각에 대해 역이산 푸리에 변환을 통해 원신호로 복원함으로써 상기 대역 제한된 프레임 신호를 발생하는 것을 특징으로 하는 대역 제한 기능을 갖는 적응적인 영상 부호화 시스템.
제7항에 있어서, 상기 대역폭을 제한하는 과정은, 상기 입력 프레임의 복잡도 정도에 따라 기설정된 복수의 레벨로 적응적으로 수행하거나 기설정된 소정 범위의 한 레벨로 수행하고, 상기 변환된 각 DFT 변환계수 블록들에 대해서 상기 결정된 대역폭 이하의 고주파 성분을 제로(0)값을 매핑하는 것을 특징으로 하는 대역 제한 기능을 갖는 적응적인 영상 부호화 시스템.
제1항에 있어서, 상기 대역 제한 블록은: 상기 현재 입력 프레임 신호에 대한 공간영역의 영상신호를 코사인함수를 이용하여 MN 블록 단위의 주파수 영역의 2차원 DCT 변환계수들로 변환하는 이산코사인 변환수단; 상기 MN 단위의 2차원 DCT 변환계수 블록들에 대해 양자화 파라메터값을 이용하여 유한한 개수의 값으로 양자화하는 양자화 수단; 상기 제어 블록으로부터 제공되는 상기 필터링 제어신호에 의거하여 상기 양자화된 DCT 변환계수 블록들에 대한 고주파 통과 대역을 결정하며, 상기 양자화된 각 DCT 변환계수 블록의 고주파 통과 대역을 상기 결정된 대역폭으로 제한하는 주파수 선택 수단; 및 상기 대역폭이 제한된 양자화된 각 DCT 블록들 각각에 대해 역양자화 및 역이산 코사인 변환을 수행하여 부호화전의 원신호로 복원하여 대역 제한된 프레임을 발생하며, 상기 대역 제한된 프레임을 상기 고주파 성분이 제거된 프레임 신호로써 상기 스우칭 수단에 제공하는 영상 복원 수단으로 이루어진 것을 특징으로 하는 대역 제한 기능을 갖는 적응적인 영상 부호화 시스템.
제9항에 있어서, 상기 현재 입력 프레임에 대한 이산 코사인 변환은, 88 블록 단위로 수행되는 것을 특징으로 하는 대역 제한 기능을 갖는 적응적인 영상 부호화 시스템.