KR100284027B1

KR100284027B1 - 웨이블릿 패킷 계수의 재배치방법

Info

Publication number: KR100284027B1
Application number: KR1019980057182A
Authority: KR
Inventors: 조현덕
Original assignee: 서평원; 엘지정보통신주식회사
Priority date: 1998-12-22
Filing date: 1998-12-22
Publication date: 2001-03-02
Also published as: DE19903605B4; US6487318B1; DE19903605A1; JP2000197042A; KR20000041331A; JP3208436B2

Abstract

본 발명은 영상의 압축 및 전송기법에 관한 것으로서, 특히 영상의 오프-라인(off-line) 전송에 적합하도록 부호화기를 최적화하는 제로트리(zerotree) 부호화를 위한 웨이블릿 패킷(wavelet packet) 계수의 재배치방법에 관한 것이다.

이를 위하여 본 발명은 영상 데이터가 갖는 주파수 성분에 따라 여러 서브밴드로 나누어진 주파수 밴드상의 웨이블릿 패킷 계수들에 대해서, 상기 각 서브밴드에서 같은 위치를 나타내는 계수들끼리 모으고, 그 모아진 계수들이 주파수 밴드상의 같은 위치에 오도록 재배치하는 것을 특징으로 한다.

Description

웨이블릿 패킷 계수의 재배치방법(Relocating method of wavelet packet coefficient)

종래 영상 압축 및 전송기술은 도 1에 도시된 바와 같이, 영상 데이터를 여러 주파수 밴드로 나누어서 밴드상의 몇 개의 계수들에 대부분의 에너지가 집중되도록 만들어주는 웨이블릿 변환과정(10)과, 상기 웨이블릿 계수들로 나무구조(tree structure)를 형성하여 부호화하는 제로트리 부호화과정(20)을 통해 영상의 압축을 실현한다.

상기 웨이블릿 변환과정(10)에 의해 변환된 영상은 도 2에 도시된 바와 같이 몇 개의 주파수 밴드로 나뉘어진다. 좌측 상단으로 갈수록 주파수 밴드는 저주파를 나타내고, 우측 하단으로 갈수록 주파수 밴드는 고주파를 나타낸다. 따라서 좌측 상단에 위치한, 크기가 가장 작은 밴드가 가장 낮은 주파수를 나타내고, 우측 하단에 위치한, 크기가 가장 큰 밴드가 가장 높은 주파수를 나타낸다. 이때 영상 데이터의 에너지는 주로 저주파 밴드에 대부분이 몰려 있으므로, 크기가 작은 주파수 밴드(저주파 밴드)의 계수들만으로 영상 데이터의 대부분을 표현할 수 있다. 즉, 몇 개의 계수들에 에너지가 몰려 있으므로, 이 계수들만 부호화함으로써, 영상의 압축 효과를 얻을 수 있게 된다.

상기 제로트리 부호화 과정(20)은 도 3에 도시된 바와 같이, 웨이블릿 변환된 계수들을 나무 구조로 묶고, 이러한 나무 구조에서 최상단 계수를 ″부모(parent)″라 하고, 부모보다 하위의 계수들을 ″자녀(child)″라 하며, 자녀를 포함하여 더 하위의 계수들을 통칭하여 ″자손(descendent)″이라고 명칭한다. 제로트리 부호화과정에서는 부모 계수의 값이 특정 문턱값(threshold)(T)보다 작으면, 자손 계수들도 모두 문턱값보다 작을 가능성이 높다는 점을 이용하여 영상을 압축한다.

이와 같이 구성된 종래 기술에 대하여 살펴보면 다음과 같다.

먼저, 웨이블릿 변환과정에서는 영상을 주파수 밴드 상에서 몇 개의 계수들로 표현할 수 있도록 만들고, 제로트리 부호화과정(20)에서는 상기 웨이블릿 계수들로 나무구조를 형성하여 특정 문턱값을 기준으로 제로트리 부호화함으로써, 영상을 압축한다.

상기 웨이블릿 변환과정(10)은 필터링과 서브샘플링을 이용하여 이루어진다. 저주파 필터링과 서브샘플링, 고주파 필터링과 서브샘플링을 실시하면, 영상 데이터를 저주파 밴드와 고주파 밴드로 나눌 수 있다. 여기서 저주파 밴드는 보다 더 압축시킬 여지가 있으므로 저주파 밴드에 대해서는 필터링과 서브샘플링을 반복한다. 이렇게 함으로써 도 2와 같은 여러 주파수 밴드를 가지는 웨이블릿 변환된 영상을 얻을 수 있게 된다.

상기와 같이 웨이블릿 변환된 영상에 대하여 제로트리 부호화를 수행한다. 이 제로트리 부호화 과정은 어떤 문턱값(T)보다 절대값이 작으면, 그 계수를 ″제로(zero)″라고 정의하고, 문턱값(T)보다 크면 ″비-제로(non-zero)″라고 정의한다. 제로트리 부호화는 비-제로로 정의된 계수에 대해서는 양자화를 수행하여 그 값을 전송하고, 제로로 정의된 계수에 대해서는 그 자녀가 모두 제로인 경우에는 제로트리 루트(Zerotree Root)심벌로, 자녀 중 제로가 아닌 것이 있는 경우에는 독립 제로(Isolated Zero)심벌로 정의한 후, 웨이블릿 계수들을 도 3과 같은 나무구조 상에서 차례로 스캔(scan)해가면서 전송한다. 통상 영상 데이터는 웨이블릿 계수가 화상에서의 위치와 강한 상관 관계를 보이므로, 이 나무구조에서는 부모 계수가 제로이면, 자손 계수들도 제로일 가능성이 매우 높다. 따라서, 부모 계수를 포함해서 모든 자손 계수들이 제로인 경우를 한 개의 심벌(제로트리루트)로 정의하면, 제로트리루트심벌 아래의 자녀에 대해서는 계수 값들을 송신하지 않아도 되므로 큰 압축효과를 얻을 수 있다.

제로트리 부호화의 전체 동작은 아래와 같이 이루어진다. 먼저 초기 문턱값(T)에 대해서 위에서 설명한 대로 비-제로 계수의 양자화값, 독립 제로심벌 및 제로트리루트심벌을 전송한다. 그리고 그 문턱값(T)을 반으로 줄여서, 이전에 제로였던 계수들에 대해서 새로운 문턱값(T/2)을 적용해서 새로운 비-제로 계수의 양자화값, 독립 제로심벌 및 제로트리루트심벌을 전송한다. 계속해서 이런 과정을 반복하면서, 원하는 비트율에 도달하면, 부호화를 멈추게 된다.

복호화기는 상기 부호화기의 역과정을 거치면 복원된 영상을 얻을 수 있다.

상기와 같은 제로트리 부호화는 웨이블릿 변환된 계수들에 대해서 적합하도록 만든 기술로서, 도 2에서 보는 바와 같이 제로트리 부호화를 위한 나무 구조는 웨이블릿 변환이 아닌 다른 형태에서는 구성되기 힘들다.

그러나, 많은 종류의 영상데이터에 대해서 상기 웨이블릿 변환보다 더 좋은 성능을 제공하고, 상기의 웨이블릿 변환을 일반화시킨 웨이블릿 패킷 변환에 대해서는 기존의 제로트리 부호화기술을 적용시킬 수가 없으므로, 따라서 웨이블릿 패킷 변환된 계수들에 대해서 제로트리 부호화를 적용시킬 수 있는 영상 압축 및 전송 기술의 필요성이 대두되었다.

따라서 본 발명은 상기의 문제점을 해결하기 위해 창출한 것으로서, 본 발명은 웨이블릿 패킷 변환에 의해 같은 주파수를 나타내는 계수들끼리 모여있는 주파수 밴드 구조에서, 다른 주파수를 갖더라도 같은 위치를 나타내는 계수들끼리 모아 주파수 밴드를 재배치시킴으로써, 웨이블릿 패킷 변환된 계수들에 대하여 제로트리 부호화를 효율적으로 수행할 수 있게 한 웨이블릿 패킷 계수의 재배치방법을 제공함에 그 목적이 있다.

상기의 목적을 달성하기 위하여 본 발명의 일 실시예에서는 영상 주파수가 갖는 주파수 성분에 따라 여러 서브밴드로 나누어진 주파수 밴드상의 웨이블릿 패킷 계수들에 대해서, 상기 각 서브밴드에서 같은 위치에 해당하는 계수들끼리 모으고, 상기 모아진 계수들이 통합 주파수 밴드상의 같은 위치에 오도록 재배치하는 과정을 포함하는 웨이블릿 패킷 계수의 재배치방법을 제공한다.

또한 상기의 목적을 달성하기 위해서 본 발명에서는 웨이블릿 계수를 제로트리 부호화를 위해 나무구조로 재배열함에 있어서, 나무구조 상의 일부의 부모 아래에는 같은 서브밴드의 계수들이 자녀로 분포될 수 있고, 상기 웨이블릿 계수는 패킷 변환에 의해 구해진 계수임을 특징으로 하는 웨이블릿 계수의 재배치 방법을 제공한다.

도 1은 종래 영상 압축과정을 보인 블록도이고,

도 2는 상기 도 1에서 웨이블릿 변환된 영상 예이고,

도 3은 상기 도 1에서 웨이블릿 변환된 계수들과 나무구조 예이고,

도 4는 본 발명에 의한 영상 압축과정을 보인 블록도이고,

도 5는 상기 도 4에서 웨이블릿 패킷 변환된 영상예도이고,

도 6은 상기 도 4의 웨이블릿 패킷 계수의 재배치과정을 보인 일 실시예도이고,

도 7은 상기 도 4의 웨이블릿 패킷 계수의 재배치과정을 보인 다른 실시예도이고,

도 8은 본 발명에서 웨이블릿 패킷 변환된 영상이 최종 재배열 영상으로 변하는 과정을 보인 실시예도이다.

** 도면의 주요 부분에 대한 부호의 설명**

100 : 웨이블릿 패킷 변환과정 200 : 계수 재배치 과정

300 : 제로트리 부호화과정

이하에서 본 발명의 각 실시예에 따른 웨이블릿 패킷 계수의 재배치방법을 첨부된 도면에 의거하여 상세히 설명한다.

도 4는 본 발명에 의한 영상 압축과정을 설명하기 위한 블록도이다.

이에 도시한 바와 같이 영상 데이터를 필터링과 서브샘플링 하여 여러 주파수 밴드를 가지는 웨이블릿 패킷 계수들로 변환하는 웨이블릿 패킷 변환과정(100)과, 상기 웨이블릿 패킷 변환된 계수들을 주파수 밴드 상에서 같은 위치를 나타내는 계수들끼리 모아서, 상기 주파수 밴드를 통합해서 만든 통합된 주파수 밴드상의 같은 위치에 재배치하는 계수 재배치과정(200)과, 상기 주파수 밴드 상에서 같은 위치에 재배치된 웨이블릿 패킷 계수들로 나무구조를 형성하여 부호화를 실행하는 제로트리 부호화과정(300)을 포함할 수 있다.

도 5는 상기 웨이블릿 패킷 변환과정(100)에 의해 변환된 영상을 예를 들어 도시하고 있다.

이에 도시된 바와 같이, 웨이블릿 계수들처럼 주파수 밴드가 낮아질수록 주파수 밴드의 크기가 작아지지 않고, 주파수 밴드의 크기가 주파수가 높고 낮음에 제한 받지 않는 임의의 형태를 지니는 것을 알 수 있다.

따라서 이런 구조에서는 제로트리 부호화를 위한 나무 구조를 구성할 수 없으므로 본 발명에서는 주파수 밴드상의 계수의 위치를 재배치하여 제로트리 부호화를 효율적으로 수행하기 위한 나무구조를 구성할 수 있게 한다.

도 6a는 웨이블릿 패킷 계수들의 재배치과정의 일 실시예를 설명하기 위하여 주파수 밴드상의 웨이블릿 패킷 영역과 재배치 영역을 도시하며, 도 6b는 제로트리 부호화를 수행하기 위해 형성한 나무구조에서 각 밴드의 계수들의 분포를 도시한다.

도면에 도시된 바와 같이, 상기 계수 재배치 과정의 일 실시예에서는 도 6a에서와 같이 각기 다른 주파수를 갖는 서브밴드에서 같은 위치를 나타내는 웨이블릿 패킷 계수를 서로 인접하도록 재배치함으로써, 도 6b와 같이 나무구조(tree structure)상의 상위 저주파 밴드의 계수(한 부모″parent″) 아래에 각 서브밴드에서 같은 위치를 나타내는 계수들이 자녀(child)로 분포될 수 있게 한다.

도 7a는 웨이블릿 패킷 계수 재배치과정의 다른 실시예를 설명하기 위하여 주파수 밴드상의 웨이블릿 패킷 영역과 재배치 영역을 도시하며, 도 7b는 제로트리 부호화를 수행하기 위한 나무구조에서 각 밴드의 계수들의 분포를 도시한다.

도면에 도시된 바와 같이, 상기 계수 재배치 과정의 다른 실시예에서는 도 7a에서와 같이, 같은 주파수를 갖는 서브밴드에서 인접위치에 있는 웨이블릿 패킷 계수 4개를 한 단위로 하여 상기 도 6a에서와 같이 각기 다른 주파수를 갖는 서브밴드에서 같은 위치에 해당하는 상기 단위 묶음들을 다시 서로 인접하게 재배치함으로써, 도 7b와 같이 나무구조(tree structure)상의 최종 가지에서의 각 상위 저주파 밴드의 계수(한 부모″parent″) 아래에는 같은 서브밴드로부터 온 계수들이 자녀로 분포되도록 구성할 수 있다.

상기 묶음 단위의 재배치방법은 특정 주파수 대역에 웨이블릿 계수가 몰려 있는 정도가 클수록 효과적이며, 상기 재배치 방법은 영상테이터의 특성에 따라, 8, 16, 32개 등의 웨이블릿 계수를 한 단위로 하여 웨이블릿 계수를 재배치할 수 있다.

도 8은 본 발명에서 웨이블릿 패킷 변환된 영상이 최종 재배열 영상으로 변하는 과정을 보인 실시예도로서, 상기 계수 재배치 과정은 상기 주파수 밴드상의 각각의 서브밴드가 웨이블릿 계수가 될 때까지 반복 수행하는 것을 도시하고 있다.

스텝 1에서 스텝 2로 재배치되는 과정에서는 상기 주파수 밴드 상에서 크기가 가장 작은 서브밴드를 찾아 4개의 작은 서브밴드가 하나의 큰 밴드가 되도록 가상으로 합치는 과정을 도시하며, 스텝 2에서 스텝 3으로 재배치되는 과정에서는 상기 스텝 2에서 합쳐진 밴드와 같은 크기의 인접한 밴드들끼리 다시 재배치하여 합치는 과정을 도시하고, 스텝 3에서 스텝 4로 재배치되는 과정에서는 상기 스텝 3에서 합쳐진 밴드와 같은 크기의 인접한 밴드들끼리 다시 재배치하여 합치는 과정을 도시하며, 스텝 4는 웨이블릿 변환된 계수와 동일한 형태(최종적으로 원하는 형태)의 밴드구조를 도시한다.

그 후에는 종래 방법과 같은 방식으로 제로트리 부호화를 수행한다.

이와 같이 각 단계로 이루어진 본 발명의 동작 및 작용 효과에 대하여 상세히 설명하면 다음과 같다.

본 발명에서의 첫 번째 단계인 웨이블릿 패킷 변환과정(100)은 하향식(top down) 변환과 상향식(bottom up) 변환 중 어느 한가지로 이루어진다.

하향식 변환은 웨이블릿 변환 후에 고주파 밴드에 대해서도 압축효과가 있다고 판단되면 필터링과 서브샘플링을 수행하여 밴드를 더 분할하는 방식이고, 상향식 변환은 먼저 가능한 모든 주파수 밴드에 대해서 필터링과 서브샘플링을 정해진 수준까지 반복적으로 수행한 후에 압축효과가 있다고 판단되면 필터링과 업샘플링(up sampling)을 통해서(역방향 웨이블릿 변환), 분할된 밴드를 합쳐나가는 방식이다. 이들 방법 중 하나에 의해서 웨이블릿 패킷 변환과정이 이루어지지만 주파수 밴드의 크기가 규칙적이지 않기 때문에 곧바로 제로트리 부호화를 수행할 수 없다.

따라서 웨이블릿 패킷 변환된 계수들에 대해서 제로트리 부호화를 수행하기 위해서는 도 6a에 도시된 바와 같이 웨이블릿 패킷 계수의 위치를 재배치한다. 상기 계수 재배치과정(200)은 역방향 웨이블릿 변환을 하지 않고, 분할된 주파수 밴드를 합친 것과 같은 효과를 가져다준다. 웨이블릿 패킷 계수들은 각 계수마다 변환 전 영상의 위치정보를 나타내고 있다. 따라서 웨이블릿 패킷 계수들의 재배치를 실시할 때에는 도 6a에 나와 있는 것 같이 각 주파수 밴드에서 같은 위치를 나타내는 계수들끼리 모아서 합쳐진 밴드 상의 같은 위치에 배치한다.

도 6a에서와 같이 재배치된 웨이블릿 패킷 계수들을 제로트리 부호화하면 도 6b에 도시된 바와 같이 각 나무는 모두 다른 주파수 밴드로부터 온 계수들로 구성된다. 따라서 도 7a와 같이 4개의 계수를 한 단위로 묶어 재배치하게 되면, 도 7b에 도시된 바와 같이 나무의 각 최종가지는 같은 밴드로부터 온 계수들로 구성되기 때문에 도 6a와 같이 재배치하는 경우보다 부호화 성능이 향상될 가능성이 있게 된다. 상기 묶음 단위의 재배치 방법은 웨이블릿 계수가 주파수와 강한 상관관계를 보이는 경우에 더욱 유효할 것이며, 해당 영상데이터의 특성에 따라, 8, 16, 32개 등의 웨이블릿 계수를 한 묶음 단위로 하여 웨이블릿 계수를 재배치할 수 있다.

전체적인 계수 재배치 과정은 도 8에 도시된 바와 같이 위에서 설명한 방법을 크기가 작은 밴드로부터 도 6a 또는 도 7a의 재배치 과정을 반복적으로 수행함으로써 이루어진다. 먼저 크기가 가장 작은 밴드를 찾아 재배치과정을 거침으로써, 4개의 작은 밴드가 하나의 큰 밴드가 되도록 가상적으로 합친다. 그 후에 상기 합쳐진 밴드와 같은 크기의 인접한 밴드들끼리 다시 재배치하여 합친다. 이런 과정을 최종적으로 웨이블릿 변환된 계수들과 같은 형태가 될 때까지 반복한다.

이와 같은 계수 재배치 과정을 통과한 후에는 웨이블릿 변환에서의 경우와 똑같은 방법으로 제로트리 부호화를 수행한다.

복호화기는 여기서 수행한 것의 역과정을 거치면 복원된 영상을 얻을 수 있다.

이상에서와 같은 본 발명에 의하면 웨이블릿 변환보다 일반화한 형태의 웨이블릿 패킷 변환에 제로트리 부호화를 적용했기 때문에, 동일한 비트율에서 종래 기술보다 영상의 화질을 높일 수 있으며, 같은 화질인 경우에는 정보량을 줄일 수 있다. 또한 부호화를 오프-라인으로 수행하는 응용 기기(예를 들어 주문형 비디오 서비스, 웹(Web) 상에서의 영상 서비스, 의료영상의 저장 및 복원기기)에서 최상의 화질을 서비스할 수 있는 이점이 있다.

Claims

영상 주파수가 갖는 주파수 성분에 따라 여러 서브밴드로 나누어진 주파수 밴드상의 웨이블릿 패킷 계수들에 대해서, 상기 각 서브밴드에서 같은 위치에 해당하는 계수들끼리 모으고, 상기 모아진 계수들이 통합 주파수 밴드상의 같은 위치에 오도록 재배치하는 과정을 포함하는 것을 특징으로 하는 웨이블릿 패킷 계수의 재배치방법.
제 1항에 있어서, 상기 재배치된 웨이블릿 패킷 계수를 나무구조로 재배열함에 있어서, 상기 나무구조 상의 한 부모 아래에 상기 같은 위치에 해당하는 계수들이 자녀로 분포될 수 있게 하는 것을 특징으로 하는 웨이블릿 패킷 계수의 재배치방법.
제 1항에 있어서, 상기 계수 재배치 과정은 동일 서브밴드에서 인접위치에 있는 특정 개수의 웨이블릿 패킷 계수를 한 단위로 하여 이루어지는 웨이블릿 패킷 계수의 재배치방법.
제 3항에 있어서, 동일 서브밴드에서 인접위치에 있는 4개의 웨이블릿 패킷 계수를 한 단위로 하여 이루어지는 웨이블릿 패킷 계수의 재배치방법.
제 3항에 있어서, 한 단위를 이루는 웨이블릿 패킷 계수의 수는 해당 영상신호의 특성에 따라 변화하는 웨이블릿 패킷 계수의 재배치 방법.
제 3항에 있어서, 상기 재배치된 웨이블릿 패킷 계수를 나무구조로 재배열함에 있어서, 나무구조상의 일부의 부모 아래에 같은 서브밴드의 계수들이 자녀로 분포될 수 있게 한 것을 특징으로 하는 웨이블릿 패킷 계수의 재배치 방법.
제 1항에 있어서, 상기 계수 재배치 과정은 상기 주파수 밴드 상에서 4개의 작은 서브밴드가 하나의 큰 밴드가 되도록 합치는 과정에 의해 수행되는 것을 특징으로 하는 웨이블릿 패킷 계수의 재배치 방법.
웨이블릿 계수를 제로트리 부호화를 위해 나무구조로 재배열함에 있어서, 나무구조 상의 일부의 부모 아래에는 같은 서브밴드의 계수들이 자녀로 분포될 수 있고, 상기 웨이블릿 계수는 패킷 변환에 의해 구해진 계수임을 특징으로 하는 웨이블릿 계수의 재배치 방법.