KR100404589B1 - 웨이브릿 변환을 이용한 초저속 동영상 부호화기의 주사 방법 - Google Patents

Abstract

본 발명은 웨이브릿 변환을 적용한 초저속 동영상 부호화기에서 4 대역 분리 필터를 이용하여 영상을 10 대역으로 분리하고, 분리된 부대역의 계수값을 이용해서 저주파 대역부터 차례로 대역별로 변환 계수를 1×1, 2×2, 4×4 형태로 뽑아서 8×8 블록 내에서의 위치를 부대역의 위치와 동일한 위치를 차지하도록 재배열하여 웨이브릿 변환한 후, 정규화시 재배열된 블록들을 각 대역별로 각기 상이한 정규화 인자 즉, 정보량이 많은 저주파 대역에 비트를 크게 할당하고, 고주파 대역에는 적은 비트가 할당되도록 조정된 정규화 인자를 사용하여 정규화한 후 주사(scan)시 압축 효율을 상승시키기 위하여 각 부대역 블록의 주사 순서를 적응적으로 하기 위한 주사 방법으로서, INTRA 프레임은 저주파에서 고주파 대역으로 주사하되 항상 수평만을 먼저 주사하고, INTER 프레임은 저주파에서 고주파 대역으로 주사하되 수평 수직의 두 블록중에서 에너지가 더큰 쪽의 블록 먼저 주사함으로써, 부호화 효율을 보다 향상시킬 수 있는 것이다.

Description

웨이브릿 변환을 이용한 초저속 동영상 부호화기의 주사 방법(scanning method in a very low bit rate video coder using wavelet transform)

본 발명은 웨이브릿 변환을 이용한 초저속 동영상 부호화기에서의 주사 방법에 관한 것으로서, 특히 이산 여현 변환(DCT-discrete cosine transform) 대신에 웨이브릿 변환(WT-wavelet transform)을 이용하여 초저속 동영상을 효율적으로 부호화할 수 있도록 한 웨이브릿 변환을 이용한 초저속 동영상 부호화기에서 웨이브릿 변환된 각 블록 대역의 에너지 분포를 고려하여 블록의 주사 순서를 적응적으로 변화시켜서 부호화 효율을 증대시킬 수 있도록 한 웨이브릿 변환을 이용한 초저속 동영상 부호화기에서의 주사 방법에 관한 것이다.

일반적으로, 디지털화된 비디오 신호는 아날로그 신호보다 더욱 고품질의 비디오 영상으로서 전송될 수 있다. 일련의 영상 프레임으로 구성되는 영상 신호를 디지털 형태로 표현할 때, 이 디지털 영상 신호를 전송하기 위해서는 상당량의 데이터가 발생된다. 그러나, 통상의 전송 채널의 이용 가능한 주파수 대역폭은 제한되어 있기에 상당량의 디지털 데이터를 제한된 채널 대역폭을 통하여 전송하기 위해서는 전송할 데이터 양을 압축하는 것이 필요하다.

한편, 영상 신호는 하나의 프레임내에서나 이웃하는 프레임내에서의 소정 픽셀들간의 어떤 상관 관계 또는 리던던시가 존재하기 때문에 영상 신호의 전체에 심각한 악영향을 주지 않고도 영상 신호를 압축하는 것이 가능하다. 따라서, 대부분의 종래 기술의 영상 신호 부호화 방법은 상술한 리던던시를 이용하거나 또는 없애버린다는 기술 사상에 기초하여 개발된 여러 가지 압축 기술을 이용한다.

이러한 부호화 방법의 한가지 카테고리는 하나의 프레임내에 존재하는 리던던시의 장점을 취하는 변환 기법에 관한 것으로서, 디지털 영상 데이터 블록을 변환 계수, 예를 들면 이산 여현 변환 계수로 변환하는 대각 변환 방법을 이용한다.

특히, 상술한 이산 여현 변환 등과 같은 대각 변환 방법에 있어서, 한 프레임의 비디오 신호는 중첩되지 않는 동일한 크기의 블록, 예를 들면 8×8 픽셀 블록들로 나누어지며, 각각의 픽셀 블록들은 공간 영역에서 주파수 영역으로 변환된다. 그 결과로서, 각 픽셀 블록은 하나의 DC 계수와 다수개(예를 들면, 63개)의 AC 계수로 이루어지는 한 세트의 변화 계수를 갖게 된다.

이러한 변환 계수들은 하나의 블록내에 있는 각각의 픽셀의 주파수 성분의 진폭을 나타내며, 특히 그 블록의 DC 계수는 그 불록내 픽셀들의 평균 휘도를 갖는 반면, 나머지 AC 계수들은 각각의 픽셀들의 공간 주파수 성분의 휘도를 나타낸다.

도 1은 일반적인 영상 부호화 장치를 나타낸 블록도로서, 프레임 메모리부(100), 차분 펄스 부호 변조기(DPCM-Differential Pulse Code Modulation, 120), 이산 여현 변환기(130), 양자화기(Quantizer, 140), 가변 길이 부호기(VLC-Variable Length Conding, 150), 역양자화기(160), 역이산 여현 변환기(170), 가산기(180) 및 움직임 보상기(190)를 포함하여 구성된다.

이러한 구성에 있어서, 영상 부호화 장치는 프레임 메모리부(100)를 매개로 입력되는 현재 영상 신호와 움직임 보상기(190)로부터 입력되는 이전 영상 신호가 차분 펄스 부호 변조기(120)로 입력되고, 이후 상기 차분 펄스 부호 변조기(120)로부터의 영상 데이터가 이산 여현 변환기(130)로 입력되어 이산 여현 변환된다.

다음에, 이산 여현 변환기(130)에 의해 이산 여현 변환된 영상 데이터가 양자화기(140)로 입력되어 양자화가 수행되고, 양자화된 데이터가 지그재그 주사 후, 런랭쓰 부호화와 가변 길이 부호화됨으로써 압축 부호화가 수행되게 된다.

상술한 바와 같은 MPEG-2 규정의 영상 부호화기에 있어서, I-픽쳐(picture)인 경우에는 그대로 출력되고, P-픽쳐와 B-픽쳐인 경우에는 화상간의 차 영상 신호가 출력되도록 된 차분 펄스 부호 변조기가 필요하게 된다.

또한, 상술한 차분 펄스 부호 변조기로 입력되는 영상 신호는 I-픽쳐와 P-픽쳐 및 B-픽쳐로 구분되는 바, 이러한 영상 신호, 예컨데 이전 화면과 차분 화면(P-픽쳐, B-픽쳐) 및 현재 화면(I-픽쳐)은 그대로 출력되게 된다. 그러나, 이산 여현 변환기 설계시 이산 여현 변환이 효율적으로 수행되면서 변환 시간의 감소를 위해 차분 펄스 부호 변조기로부터 출력되는 출력 값의 조정이 필요하게 된다.

한편, 최근 공중 전화망(PSTN)이나 이동 통신망과 같은 협대역망을 통한 화상 전화 또는 멀티미디어 서비스 등의 목적으로 동영상을 전송하기 위하여 초저속 동영상 부호화 기법에 관한 연구가 ISO/IEC MPEG-4 그룹과 ITU-T/LBC 그룹에서 활발히 진행되고 있다.

종합 정보 통신망(ISDN)과 달리 이들 협대역망은 전송 속도가 64kbps 이하로 매우 낮기 때문에 높은 압축율의 영상 압축 알고리즘에 관한 연구가 절실히 필요하다. ITU-T에서는 공중 전화망을 통한 화상 전화를 목적으로 기존에 존재하는 영상 압축 알고리즘을 이용하여 표준안을 완성하려는 단기 표준안과 공중 전화망 및 이동 통신망의 환경에 새로운 압축 알고리즘을 이용하여 표준안을 완성하려는 장기 표준안으로 나누어 연구를 진행해 왔으며, 단기 표준안 권고안인 H.263이 있으며 장기 표준안을 결정하기 위한 연구가 활발히 진행중에 있다.

그러나, H.263 권고안에서 채택한 변환 부호화 기법인 상술한 이산 여현 변환 기법을 기반으로 하는 이용하는 경우에 초저속 비트율에서는 블록화 현상이 발생하는 문제점이 있으며, 이 블록화 현상을 개선하기 위한 방법으로 웨이브릿 변환 방식을 생각할 수 있으나, 이를 그대로 적용하면 부호화기가 복잡해지고 부호화 효율이 크게 떨어지는 문제점이 발생하게 된다.

웨이브릿 변환은 퓨리에 변환(fourier transform)과 같이 기저함수들의 집합으로 신호를 분해하는 하나의 방법이다. 일반적으로 영상 신호에 대한 이산 웨이브릿 변환(discrete wavelet transform)은 2차원 신호를 수평, 수직 방향의 분리적인 신호로 간주하고 수행된다.

도 2는 2차원 이산 웨이브릿 변환에 의한 분해/합성을 위한 블록도로서, 이들 4개의 대역중에서 가장 낮은 주파수 대역에 대해서 연속적으로 이산 웨이브릿을 수행하면 영상을 피라미드 형태로 분해할 수 있다.

부연 설명하면, 이산 신호에 대한 웨이브릿 변환은 정규 직교 기저 함수로부터 유도되는 FIR 디지털 필터를 이용하여 수행될 수 있다. 여기의 필터로는 주파수 특성이 서로 거울상(mirror image)의 형태가 되는 QMF(quadrature mirror filter) 필터를 사용한다. 이러한 필터는 원 신호를 왜곡없이 복원이 가능하도록 한다.

영상 신호에 대한 이산 웨이브릿 변환은 2차원 신호를 수평, 수직 방향의 분리적인 신호로 간주하고 수행되며, 이들 4개의 대역중에서 가장 낮은 주파수 대역에 대해서 연속적으로 이산 웨이브릿을 수행하면 영상을 피라미드 형태로 분해할 수 있으며, 이 4개의 분해된 영상으로부터 원영상을 합성할 수 있게 된다.

한편, 영상의 부호화시 웨이브릿 기반 부호화를 적용하게 되면 이산 여현 기반 부호화 알고리즘이 가지는 단점인 초저속 비트율에서 블록화 현상을 현저히 줄일 수 있으며, 점진적 전송에 효과적으로 적용될 수 있기 때문에 MPEG-4 장기 표준화안의 유력한 후보중의 하나이다. 저주파수 대역의 경우 자세히 복원하기 위해 주로 차분 펄스 부호 변조기나 펄스 코드 변조기(PCM-Pulse Code Modulation)을 사용하며 상위 주파수 대역의 경우 벡터 양자화(VQ-Vector Quantization)를 사용하여 부호화한다.

벡터 양자화를 다단으로 사용할 경우에는 또한 벡터 양자화 하드웨어 구현이 어렵고 적응성이 떨어지는 단점이 있다. 이후 이런점을 고려해 웨이브릿 변환후 변환 계수를 이산 여현 변환 부호화 경우와 같이 주사하여 정지 영상의 부호화 표준인 JPEG에 적용한 부호화 알고리즘이 제안되었다. 이 방법은 점진적 전송은 되지 않으나 기존의 이산 여현 변환 대신에 쉽게 적용될 수 있는 장점을 가지고 있다.

한편, 초저속 동영상 부호화에 웨이브릿 변환을 적용한 초저속 동영상을 부호화하기 위하여 초저속 동영상을 4 대역 분리 필터를 이용하여 영상을 10 대역으로 분리하고, 분리된 부대역의 계수값을 이용해서 저주파 대역부터 차례로 대역별로 변환 계수를 1×1, 2×2, 4×4 형태로 뽑아서 8×8 블록 내에서의 위치를 부대역의 위치와 동일한 위치를 차지하도록 재배열하여 웨이브릿 변환한 후, 정규화시 재배열된 블록들을 각 대역별로 각기 상이한 정규화 인자 즉, 정보량이 많은 저주파 대역에 비트를 크게 할당하고, 고주파 대역에는 적은 비트가 할당되도록 조정된 정규화 인자를 사용하여 정규화하여 주사 및 양자화 가변 길이 부호화를 수행함으로써, 복호시 블록화 현상을 방지하면서 초저속 동영상을 압축할 수 있게 된다.

그러나, 이러한 초저속 동영상을 위한 웨이브릿 변환을 이용한 부호화기에서 도 3에 도시한 바와 같이 일반적인 지그재그 주사 방법을 이용하여 부호화하기에, 즉 저주파에서 고주파쪽으로 에너지가 큰 쪽이 먼저 주사되도록 영상의 주파수 특성을 고려한 주사 순서가 되도록 해서 영상의 압축 효율을 높이고 있으나, 재배열된 각 블록마다의 에너지 분포 특성이 다르게 되므로 한가지 주사 방식만을 이용하면 비효율적인 문제점이 있었다.

본 발명은 상술한 종래의 문제점을 해결하기 위하여 안출한 것으로서, 그 목적은 웨이브릿 변환 부호화를 이용하여 초저속 동영상 압축시 블록화 현상을 방지하면서 보다 효율적으로 부호화할 수 있는 웨이브릿 변환을 이용한 초저속 동영상 부호화기에서 웨이브릿 변환된 각 블록마다 각대역들의 주사 순서를 수평 또는 수직 방향중에 에너지 분포를 고려해 둘중 에너지가 큰쪽을 먼저 주사토록하여 부호화 효율을 증대시킬 수 있도록 한 웨이브릿 변환을 이용한 초저속 동영상 부호화기에서의 주사 방법을 제공하는데 있다.

도 1은 일반적인 영상 부호화 장치에 대한 블록도.

도 2는 2차원 이산 웨이브릿 변환에 의한 분해/합성을 위한 블록도.

도 3은 종래의 웨이브릿 변환 계수의 부대역 주사 순서를 도시한 도면.

도 4은 본 발명에 따라 채용된 웨이브릿 변환을 이용한 초저속 동영상 부호화 장치에 대한 블록도.

도 5a는 웨이브릿 변환에 따른 부대역 분해도.

도 5b는 부대역으로 분해된 각 8×8 블록의 구성도.

도 6은 대역별 정규화 인자를 도시한 도면.

도 7a는 웨이브릿 변환 계수의 부대역 주사 순서를 도시한 도면.

도 7b는 웨이브릿 변환 계수의 내부 주사 순서를 도시한 도면.

< 도면의 주요 부분에 대한 부호의 설명 >

300 : 프레임 메모리부 310 : 차분 펄스 부호 변조기

320 : 웨이브릿 변환기 330 : 정규화 및 주사기

340 : 양자화기 350 : 가변 길이 부호기

360 : 역양자화기 370 : 역정규화 및 주사기

380 : 역웨이브릿 변환기 390 : 가산기

400 : 움직임 보상기

본 발명에 따른 웨이브릿 변환을 이용한 초저속 동영상 부호화기에서의 주사 방법은, 초저속 비트율의 동영상을 부호화하기 위하여 웨이브릿 변환을 이용하여 변환 부호화를 수행하는 웨이브릿 변환을 이용한 초저속 동영상 부호화기에서 웨이브릿 변환된 영상을 주사하는 방법으로서, 웨이브릿 변환된 영상이 INTRA 프레임인지 INTER 프레임인지를 판단하는 단계와, 웨이브릿 변환된 영상이 INTRA 프레임이면 저주파에서 고주파 대역으로 블록을 주사하되 항상 수평 블록을 먼저 주사하는 단계와, 웨이브릿 변환된 영상이 INTER 프레임이면 저주파에서 고주파 대역으로 주사하되 수평 수직의 두 블록중에서 에너지가 더 큰 블록을 먼저 주사하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 상술한 목적과 여러 가지 장점은 이 기술 분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 후술되는 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

도 4는 웨이브릿 변환 부호화를 갖는 웨이브릿 변환 부호화 알고리즘을 64kbps 이하급의 초저속 동영상 부호화기에 적용한 본 발명에 따라 채용된 웨이브릿 변환을 이용한 초저속 동영상 부호화 장치에 대한 블록도로서, 프레임 메모리부(300), 차분 펄스 부호 변조기(310), 웨이브릿 변환기(320), 정규화 및 주사기(330), 양자화기(340), 가변 길이 부호기(350), 역양자화기(360), 역정규화 및 주사기(370), 역웨이브릿 변환기(380), 가산기(390) 및 움직임 보상기(400)를 포함하여 구성된다.

즉, 움직임을 보상한 영상과 원영상의 차영상을 변환 부호화하게 되는데 여기에 이산 여현 변환기 대신 웨이브릿 변환 부호화를 이용한다.

이러한 구성에 있어서, 프레임 메모리부(300)를 매개로 입력되는 현재 영상 신호와 움직임 보상기(390)로부터 입력되는 이전 영상 신호가 차분 펄스 부호 변조기(310)로 입력되고, 이후 차분 펄스 부호 변조기(310)로부터의 영상 데이터가 웨이브릿 변환기(320)로 입력되어 웨이브릿 변환된다.

그리고, 웨이브릿 변환기(320)에 의해 웨이브릿 변환된 영상 데이터가 변환 계수의 특성을 고려하여 분해된 대역별로 각기 다른 정규화 인자를 사용하여 정규화 및 주사되어 양자화기(330)로 입력되며, 이때 정규화 인자는 정보량이 상대적으로 많은 저주파 대역에 비트를 크게 할당하고 고주파 대역에는 적은 비트가 할당되도록 조정된다.

다음에, 상술한 구성을 갖는 본 발명에 따라 채용된 웨이브릿 변환을 이용한 초저속 동영상 부호화 장치의 동작 과정을 설명하면 다음과 같다.

먼저, 차분 펄스 부호 변조기(310)에서 프레임 메모리부(300)로부터 인가되는 원영상과 움직임 보상부(400)로부터 인가되는 이전 영상으로부터 움직임이 보상된 영상의 차영상을 생성하게 된다.

다음에, 웨이브릿 변환기(320)는 이 차영상을 변환 부호화하게 되는데, 웨이브릿 변환 부호화를 수행하게 되는데, 이때, 웨이브릿 변환은 먼저 4 대역 분리 필터를 이용하여 영상을 도 5a에 도시된 바와 같이 10 대역으로 분리하게 된다.

다음에, 도 5b에 도시한 바와 같이 각 부대역의 계수값을 이용해서 저주파 대역부터 차례로 대역별로 변환 계수를 1×1, 2×2, 4×4 형태로 뽑아서 8×8 블록 내에서의 위치를 부대역의 위치와 동일한 위치를 차지하도록 재배열한다.

그런 다음, 재배열된 블록들은 주사하기 전에 변환 계수의 특성에 따라 인간 시각 특성을 고려한 새로운 정규화 배열을 이용해야 하나, 초저속 동영상 부호화기에 적용함에 있어 기존의 이산 여현 변환 기반의 부호화기에서는 정규화 배열을 사용하지 않기 때문에 적합한 정규화 과정이 필요하게 되며, 도 6에 도시한 바와 같이 각 대역별로 각기 다른 정규화 인자를 사용하여 정규화/양자화를 수행할 수 있도록 하며, 이때 정규화 인자는 정보량이 많은 저주파 대역에 비트를 크게 할당하고, 고주파 대역에는 적은 비트가 할당되도록 조정한다.

다음에, 정규화 및 주사기(330)는 상술한 정규화 인자를 사용하여 웨이브릿 변환된 영상이 정규화되면, 정규화된 영상을 본 발명에 따라서 주사(scan)하게 되며, 이 주사 과정을 첨부한 도 7a, 7b를 참조하여 상세히 설명한다.

먼저, 8×8 블록으로 재배열된 블록을 주사시 재배열된 각 블록마다의 에너지 분포 특성이 다르게 되므로 한 가지 주사 방식만을 이용하면 비효율적이다.

따라서, 블록마다 각대역들의 주사 순서를 수평 또는 수직 방향중에 에너지 분포를 고려해 둘 중 에너지가 큰쪽을 먼저 주사토록 제어한다.

성능 조사 결과 대역 내부 주사 방식은 도 7b에 도시된 바와 같은 방식이 각 주파수 대역별로 가장 효율적임을 볼 수 있었고, 부대역 주사 순서를 살펴보면 대각 방향 성분은 수평, 수직 2번의 필터링을 거친 관계로 수평, 수직 방향 성분보다 에너지가 큰 블록은 거의 찾을 수 없었다.

따라서, 수평, 수직 방향의 에너지 대소만을 비교했다.

이렇게 대역의 대소를 비교한 뒤에 블록의 대역별 에너지 특성에 따라 수직 방향의 에너지가 더 크면 도 7a에 도시된 바와 같이 수직 성분의 대역을 먼저 주사하는 변형된 방식을 적용하게 된다.

그러나, 본 발명에 따른 주사 방식을 적용시 주의해야할 점은 블록을 부호화할 때 주사 방식에 대한 정보를 전송하기 위해 수직이냐, 수평이냐를 표시할 수 있는 1비트를 추가해야 한다. INTER 프레임의 경우에는 원영상과 보상된 영상과의 차영상을 부호화하게 되는데 이때 차영상을 살펴보면 정규화/양자화 이후이기 때문에 부호화해야할 블록이 거의 없기 때문에 성능에 별다른 영향을 미치지 않는다.

하지만, INTRA 프레임의 경우에는 모든 블록에 대해 1비트의 정보를 추가해야 하는 관계로 엄청난 추가 정보량을 필요로 하기 때문에 본 발명에 따른 주사 방식을 쓰지 않도록 한다.

실험 영상에서 전체 블록을 조사하고 항상 수평만을 먼저 주사하는 방식을 적용한 부호화기와 에너지가 더 큰 쪽을 적응적으로 주사하는 부호화기와의 성능 비교를 통해 에너지 분포에 따라 주사 방식을 변화시키는 본 발명에 따른 알고리즘에서의 PSNR(Peak Signal to Noise Ratio)이 0.1dB에서 0.25dB 정도 향상된 성능을 보였으며, 수직 방향의 에너지가 큰 블록의 비율이 커질수록 주사 방식을 적응적으로 변화시킨 본 발명에 따른 알고리즘을 이용할 때 성능 향상의 비율이 커지는 것을 알 수 있었다.

본 발명은 특정의 실시예와 관련하여 도시 및 설명하였지만, 첨부 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.

이상에서 살펴본 바와 같이 본 발명에 따르면, 변환 부호화로 웨이브릿 변환을 이용하여 초저속 비트율의 동영상을 부호화하는 부호화기에서 웨이브릿 변환된 각 대역 블록을 주사시 블록마다 각 대역들의 주사 순서를 수평 또는 수직 방향중에서 에너지 분포를 고려해 둘중 에너지가 큰쪽을 먼저 주사토록 하여, 초고속 동영상의 부호화 효율을 상승시킬 수 있는 효과가 있다.

Claims (1)

1. 초저속 비트율의 동영상을 부호화하기 위하여 웨이브릿 변환을 이용하여 변환 부호화를 수행하는 웨이브릿 변환을 이용한 초저속 동영상 부호화기에서 웨이브릿 변환된 영상을 주사하는 방법으로서,

   웨이브릿 변환된 영상이 INTRA 프레임인지 INTER 프레임인지를 판단하는 단계와;

   웨이브릿 변환된 영상이 INTRA 프레임이면 저주파에서 고주파 대역으로 블록을 주사하되 항상 수평 블록을 먼저 주사하는 단계와;

   웨이브릿 변환된 영상이 INTER 프레임이면 저주파에서 고주파 대역으로 주사하되 수평 수직의 두 블록중에서 에너지가 더 큰 블록을 먼저 주사하는 단계를 포함하는 것을 특징으로 하는 웨이브릿 변환을 이용한 초저속 동영상 부호화기에서의 주사 방법.