KR20010074288A

KR20010074288A - 영상의 부호화 및 복호화 방법

Info

Publication number: KR20010074288A
Application number: KR1020010024383A
Authority: KR
Inventors: 이호석
Original assignee: 이호석
Priority date: 2001-05-04
Filing date: 2001-05-04
Publication date: 2001-08-04

Abstract

본 발명은 속도가 빠르고 bit 발생량을 줄일 수 있는 영상의 부호화 및 복호화 방법에 관한 것이다. 보다 상세하게는 웨이블릿 변환을 이용하여 영상 압축을 수행하는 SPIHT 부호화 및 복호화 과정의 성능 개선을 위한 방법에 관한 것이다.

본 발명은 1) SPIHT 부호화 과정의 단점을 개선하여 수행 시간을 감소시키고 생성되는 bit 양을 줄이기 위하여 두 가지의 방법을 제안한다. 2) 한가지는 영상(image)를 다운샘플링하며 그 방법으로 Quincunx 다운샘플링(downsampling) 방법을 사용한다. 3) 다른 한가지는 웨이블릿 계수의 대역들(LL, LH, HL, HH)을 지금까지의 방법처럼 모두 한번에 SPIHT 부호화하는 것이 아니라 대역들을 부분적으로 선택하여 SPIHT 부호화한다. 4) 이러한 두가지 방법을 사용함으로서 SPIHT 부호화에 소요되는 시간을 대폭 단축시킬 수 있을 뿐만 아니라 영상을 SPIHT 부호화하는 과정에서 생성되는 bit양을 감소시킬 수가 있을 것이다. 5) 그리고 다시 위의 부호화 단계를 거친 후에 bit 양을 최소화하기 위하여 반복길이 부호화 과정과 산술 부호화 과정을 수행하여 최종의 비트스트림을 생성한다. 6) 이후 복호화 과정은 부호화 과정의 역 과정으로 산술복호화 과정과 반복길이 복호화 과정을 거친 후에 SPIHT 복호화 과정을 수행한다. 다음에 수평적 업샘플링 혹은 수직적 업샘플링 과정을 거친다. 7) 이후 역 웨이블릿 변환을 거친후에 Quincunx 업샘플링(upsampling) 과정을 거쳐서 원래의 영상을 복원토록 한다.

따라서, 본 발명의 SPIHT 부호화와 복호화 기술은 향후 웨이블릿 변환을 이용한 영상의 압축, 영상의 저장, 컴퓨터 비젼, 실시간 영상의 전송 분야 등에 적용할 수 있다.

Description

영상의 부호화 및 복호화 방법{IMAGE ENCODING AND DECODING METHOD}

본 발명은 영상의 부호화 및 복호화 방법에 관한 것이다. 보다 상세하게는 웨이블릿 변환(Discrete Wavelet Transform; DWT)된 영상의 계수를 이용하여 영상 압축을 수행하는 SPIHT(Set Partitioning In Hierarchical Trees; SPIHT) 부호화및 복호화 과정의 성능 개선을 위한 방법에 관한 것이다.

이산여현변환(Discrete Cosine Transform; DCT)을 기반으로 하는 블록 단위의 변환에서는 낮은 비트율에서 블록간의 경계가 현저하게 나타나는 블록경계 현상(blocking effect)이 발생한다.

이에 비하여 웨이브릿 변환에서는 공간 및 주파수 해상도를 가변적으로 나타낼 수 있어 평탄하게 변하는 부분과 윤곽선과 같이 급격하게 변화하는 부분을 동시에 효과적으로 다룰 수 있으므로 낮은 비트율 압축에서 블록경계 현상을 일으키지 않는다. 이러한 장점 때문에 웨이블릿 변환을 이용한 영상의 압축은 컴퓨터 비젼(computer vision), 잡음 제거(denoising), 특징 추출(feature extraction) 등 다양한 분야에서 널리 사용되고 있다. 특히 영상 부호화의 새로운 표준으로서 마련되고 있는 JPEG 2000 및 MPEG-4 등은 웨이블릿 변환을 이용한 방법을 채택하고 있다.

SPIHT 알고리즘은 EZW(Embedded Zerotree Wavelet)알고리즘과 동일하게 제로트리(zerotree)를 이용하여 웨이브릿 계수(wavelet coefficients)를 점진적으로 처리한다. 그러나 EZW와의 주요한 차이점은 웨이브릿 계수를 계수의 중요도에 따라 부분 집합으로 분할해 가는 과정과 분할된 계수들을 부호화하는 과정에 있다. 이러한 계수의 중요도 검사 방법을 개선하여, 영상 부호화 시간을 단축하였다.

그러나, 영상의 크기가 커지면서 구성되는 제로트리의 깊이와 노드의 수가 증가하게 된다. 따라서 각 단계의 문턱값(threshold)에 대해 탐색해야 할 노드의 수가 급격히 증가하고, 이 과정에서 많은 시간을 소비하게 되는 부담(overhead)을갖게 된다. 즉, 계수의 중요도를 검색하여 부호화하는 과정에서 시간이 급격하게 증가하게 되는 단점이 있다.

본 발명은 상기한 문제점을 해결하기 위한 것으로서 본 발명은 웨이블릿 계수를 대역별로 파악하여 임의의 대역까지 부호화하는 방법을 제안하는데 그 목적이 있다.

또한, 본 발명은 Quincunx 다운샘플링 방법을 이용하여 영상을 다운샘플링함으로서 SPIHT 부호기에 입력되는 웨이블릿 계수의 개수를 감소시키는 방법을 제안하는데 그 목적이 있다.

또한, 본 발명은 반복길이 부호기와 산술 부호기를 적용하여 생성되는 비트스트림 양을 최소한으로 줄이는데 그 목적이 있다.

상기한 본 발명의 목적을 달성하기 위한 기술적 사상으로써 본 발명은 1) SPIHT 부호화 과정의 단점을 개선하여 시간 부담을 줄이고 생성되는 bit 양을 줄이기 위하여 두 가지의 방법을 제안한다. 2) 한가지는 영상을 다운샘플링하며 그 방법으로 Quincunx 다운샘플링 방법을 사용한다. 3) 다른 한가지는 웨이블릿 계수의 대역들(LL, LH, HL, HH)을 지금까지의 방법처럼 모두 한번에 SPIHT 부호화하는 것이 아니라 대역들을 부분적으로 선택하여 SPIHT 부호화한다. 4) 이러한 두가지 방법을 사용함으로서 SPIHT 부호화에 소요되는 시간을 대폭 단축시킬 수 있을 뿐만 아니라 영상을 SPIHT 부호화하는 과정에서 생성되는 bit양을 감소시킬 수가 있을 것이다. 5) 그리고 다시 위의 부호화 단계를 거친 후에 bit 양을 최소화 하기 위하여 반복길이 부호화 과정과 산술 부호화 과정을 수행하여 최종의 비트스트림을 생성한다. 6) 이후 복호화 과정은 부호화 과정의 역 과정으로 산술복호화 과정과 반복길이 복호화 과정을 거친 후에 SPIHT 복호화 과정을 거친다. 다음에 수평적 혹은 수직적 업샘플링 과정을 거친다. 7) 이후 역 웨이블릿 변환을 거친후에 Quincunx 업샘플링 과정을 거쳐서 원래의 영상을 복원토록 한다.

도 1은 일반적인 공간-방향 트리의 부모-자식 관계도

도 2는 본 발명에 따른 대역별 공간-방향 트리의 부모-자식 관계도

도 3a는 본 발명에 따른 다운샘플링 이전의 상태를 나타낸 도면이고, 도 3b는 Quincunx 샘플링을 나타낸 도면이며, 도 3c 및 도 3d는 Quincunx 다운샘플링 결과를 나타낸 도면

도 4는 본 발명에 따른 대역별 SPIHT 부호화 과정을 나타낸 도면

도 5는 본 발명에 따른 Gray-scale과 RGB 칼라 영상을 입력으로 하는 부호화 과정을 나타낸 블럭 구성도

도 6은 본 발명에 따른 Gray-scale과 RGB 칼라 영상을 입력으로 하는 복호화 과정을 나타낸 블럭 구성도

도 7은 본 발명에 따른 RGB 칼라를 YCbCr 칼라로 변환하여 부호화하는 과정을 나타낸 블럭 구성도

도 8은 본 발명에 따른 RGB 칼라를 YCbCr 칼라로 변환하여 복호화하는 과정을 나타낸 블럭 구성도

도 9a 내지 도 9c는 본 발명에 따른 전체 비트스트림과 헤더 및 비트내용의 구조를 나타낸 도면

도 10a 및 도 10b는 본 발명에 따른 Cb, Cr 성분의 다운샘플링 과정을 나타낸 도면

<도면의 주요부분에 대한 부호의 설명>

100, 300 : 입력영상 110, 320 : Quincunx 다운샘플링

130, 250 : 웨이블릿 계수 120, 340 : 이산 웨이블릿 변환

140, 230 : 분할된 웨이블릿 계수 150, 350 : SPIHT 부호기

160, 360 : 반복길이 부호기 170, 370 : 산술 부호기

200, 400 : 산술 복호기 210, 410 : 반복길이 복호기

220, 420 : SPIHT 복호기 240, 432 : 수직적 업샘플링

242, 434 : 수평적 업샘플링 270, 452 : Quincunx 업샘플링

244 : HH ← 0 260, 440 : 역 웨이블릿변환

280, 470 : 출력영상 310 : RGB → YCbCr 칼라 변환

330 : 4:1 다운샘플링 454 : 1:4 업샘플링

460 : YCbCr → RGB 칼라 변환

이하, 본 발명에서는 첨부된 도 1 내지 도 10b를 참조하여 먼저 SPIHT 알고리즘과 자료구조에 대해서 설명하기로 한다. 그리고 나서 Quincunx 다운샘플링과 업샘플링에 대하여 설명하기로 하며, 다음에 SPIHT 부호화와 복호화에 대하여 설명하고, 전체 시스템 구조에 대하여 설명하기로 한다. 그리고 마지막으로 비트스트림 구조를 설명한다.

1. 본 발명에 따른 SPIHT 알고리즘에 대하여 살펴보기로 한다.

SPIHT부호화 알고리즘은 초기화 단계, 정렬패스(Sorting pass), 리화인먼트 패스(Refinement pass), 양자화 값 갱신의 단계로 구성된다.

수학식 1에서 구해진 n값을 문턱값(threshold)으로 초기화하고, 문턱값을 기준으로 양자화 함수는 다음과 같은 수학식으로 정의한다.

SPIHT 부호화 알고리즘의 수행 단계를 살펴보면 다음과 같다.

1.초기화;

;

LIP,LSP,LIS 집합 초기화;

2. 정렬패스(Sorting pass);

2.1 while (LSP != End of list)

2.1.1 Out=;

2.1.2 if (= =1) then (i,j)를 LSP에 추가;

의 부호 출력;

2.2 while(LIS != End of list)

2.2.1 if(type = = A)then

- Out =;

- If= =1)

■ While( O (i,j) != End of list):

◆ Out =;

◆ if (= = 1) then (k,l)를 LSP에 추가,의 부호 출력;

◆ if (=0) then (k,l)를 LIP에 추가;

■if ( L (i,j) ≠0 ) then (i,j)를 LIS에 type B로 추가;

2.2.2 if (type = B) then

- Out =;

- If (= =1) then

(k,l)∈ O (i,j)를 LIS 에 type A로 추가;

(i,j)를 LIS에서 삭제;

3. 리화인먼트 패스(Refinement pass): 상기 정렬 패스에서 포함된 것을 제외하고 LSP의 각 좌표에 대해 n 번째 최상위 비트를 출력;

4. 양자화 값 갱신: n = n - 1; go to Step 2;

2. 본 발명에 따른 자료구조의 설계에 대하여 살펴보기로 한다.

일반적으로, 대부분의 영상 정보는 저주파 영역에 집중된다. 그러므로 영상의 주파수가 증가할수록 웨이블릿 계수는 감소하게 된다. 웨이블릿 변환은 이런 성질을 잘 나타낸다. N-level로 분해된 영상에서 낮은 레벨(lower level) 부분은 더높은 주파수 서브밴드와 일치한다. 예를 들어, level-1은 가장 높은 주파수 서브밴드이면서, 가장 미세한 영상 정보를 가진다. 그리고 n-th level은 가장 낮은 주파수 서브밴드이면서 가장 중요한 영상 정보들을 가진다. DWT에 의해 변환된 이미지는 이러한 특성과 자기-유사성의 특성을 가지게 된다.

즉, 의 화소는 의 화소들의 집합과 상관 관계를 갖게 된다. 이러한 특성을 이용하여 n-level의 각 화소들은 도 1에 도시된 바와 같이 n-1 level에 대응하는 4개의 화소와 부모-자식간의 관계를 가지는 공간방향 트리(spatial orientation tree)로 구성할 수 있다. 각 화소들은 집합의 개념으로 나눌 수 있는데 다음과 같다.

▶O(i,j): 노드(i,j)의 모든 자식들의 좌표집합

▶D(i,j): 노드(i,j)의 모든 자손들의 좌표집합

▶H: 모든 공간 방향 트리 뿌리들의 좌표 집합

▶L(i,j) =D(i,j) -O(i,j)

예를 들어, 최상위 서브밴드 레벨과 최하위 서브밴드 레벨을 제외한 나머지 레벨은 다음과 같다.

하위집합에서 중요도를 시험하기 위해 3개의 리스트를 구성하게 되는데 LSP와 LIP, LIS로 나눌 수 있다. 3개의 리스트는 연결 리스트로 구성되고, LSP는 '중요하다(significant)' 라고 판정된 화소의 좌표를 저장한다. LIP는 초기화 시에 가장 낮은 단계의 4개의 화소를 저장하고, 이후 '중요하지 않다(insignificant)' 라고 판정된 화소의 좌표를 저장하게 된다. LIS는 가장 낮은 단계에서 자식을 갖지 않는 좌표를 제외하고 3개의 화소를 저장하게 된다. 또한 화소의 집합 유형을 나타내기 위해 D (i,j)에 속하는 유형은 A로 표현하고, L (i,j)에 속하는 유형은 B로 표현하게 된다.

이러한 전체 영상에 대한 공간-방향 트리를 구성하는 기존의 SPIHT 부호화 기법은 앞에서도 언급 되었지만, 영상의 크기가 커질수록 트리의 깊이가 깊어지고, 따라서 각 노드의 자손 노드의 수가 증가하므로 L (i,j) 집합의 탐색 시간이 급격하게 증가하게 된다.

이러한 기존의 SPIHT 부호화 알고리즘을 개선하기 위해 도 2에 도시된 바와 같이 각 대역별로 각각의 공간-방향 트리를 구성하게 된다. 이렇게 트리의 구조를 구성함으로써 가능한 트리의 구조를 간단하게 만들고, 그에 따라 탐색에 필요한 시간의 부담(overhead)을 감소시킬 수 있다.

3. 본 발명에 따른 Quincunx 업샘플링과 다운샘플링에 대하여 살펴보기로 한다.

상술한 바와 같이, SPIHT 부호화하는데 소요되는 시간을 단축하기 위하여 영상을 Quincunx lattice를 활용하여 다운샘플링한다.

이는 도 3a 내지 도 3d에 도시되어 있으며, 다운샘플링이라는 말의 의미는영상 sample의 개수를 줄인다는 것을 의미한다. 다르게 표현하면 sample의 개수를 감소시켜서 전체 영상의 크기는 줄인다는 것을 의미한다.

업샘플링이라는 말은 sample의 개수를 증가시킨다는 것을 의미한다. 또 다르게 표현하면 sample의 개수를 증가시켜서 영상의 크기를 증가시킨다는 것을 의미한다.

본 발명에서는 특별히 Quincunx lattice를 사용하여 다운샘플링과 업샘플링을 하게 되는데 Quincunx lattice는 격자형으로 되어있다. 가로 쪽으로 보면 한 화소(pixel)씩 건너는 모양으로 되어 있고, 세로 쪽으로도 한 화소(pixel)씩 건너는 모양으로 되어 있다는 것을 알 수 있다. 도 3a 및 도 3b는 다운샘플링 하기 이전의 도면으로서 까만 점, 하얀 점 그리고 까만 삼각형점 모두 영상의 화소를 나타낸다.

여기서, Quincunx 다운샘플링이라는 것은 도 3b에서 까만 점과 까만 삼각형 점들은 선택하고, 하얀 점들은 선택하지 않는 다운샘플링 방법을 의미한다. 도 3c와 도 3d는 다운샘플링의 결과를 나타낸다. 물론, Quincunx 업샘플링 방법은 Quincunx 다운샘플링 방법의 역과정이다. 본 발명에서 Quincunx lattice 다운샘플링과 업샘플링 방법은 gray-scale 영상(image), RGB 칼라 영상 그리고 YCbCr 칼라의 Y 성분에 대하여 적용한다.

도 3b의 까만 점들과 까만 삼각형 점들이 모두 Quincunx 다운샘플링의 결과이다. 여기서, 다시 까만 점들만 최종적으로 선택하면 전체 영상의 크기를 1/4로 줄일 수 있다. 이 방법은 기존에 사용하였던 다운샘플링 방법과 유사하다.

반면에 까만 점과 까만 삼각형 점들을 모두 선택하면 영상의 크기를 1/2로줄일 수 있다. 이 경우 SPIHT 부호기는 두 번 수행된다. 다시 말하면 SPIHT 부호기는 까만 점들에 대하여 한번 수행하여 비트스트림을 만들어 내고 다시 까만 삼각형 점들에 대하여 수행하여 비트스트림을 만들어낸다.

도 3c는 선택한 까만 점들만 나타낸 것이고, 도 3d는 선택된 까만 삼각형 점들만 나타낸 것이다.

까만 점들만 선택한 경우에는 영상의 크기가 1/4로 줄어 들었기 때문에 SPIHT 부호화에 소요되는 시간은 더욱 단축시킬 수 있게 되며, 전체 bit양도 더욱 줄어들게 된다. 그러나 추후에 복원되는 영상의 품질은 다소 떨어지게 된다.

그러나 까만 점들과 까만 삼각형 점들을 모두 선택한 경우에는 영상의 크기는 1/2로 줄어들었고 SPIHT 부호기가 두 번 수행하여야 하기 때문에 부호화에 소요되는 시간은 다소 더 소요되게 되며 전체 bit양도 다소 늘어나게 되지만 추후에 복원되는 영상의 품질은 1/4로 다운샘플링된 경우보다 좋게 된다.

상술한 바와 같이, Quincunx 다운샘플링은 웨이블릿 변환의 전 과정으로서 영상의 다운샘플링 과정을 통하여 궁극적으로 SPIHT 부호기에 입력되는 웨이블릿 계수의 개수를 1/2 혹은 1/4로 감소시키는 것이다.

영상을 복원하는 복호화 과정은 부호화의 역 과정으로서, 우선 SPIHT 복호화 과정을 수행한다. 다음에 서브밴드의 구성에 따라 LL 서브밴드로만 구성된 경우에는 역 웨이블릿 변환(Inverse Discrete Wavelet Transform)을 수행한다. 이 경우는 LL 서브밴드만 복호하는 경우로 원래의 영상에 대한 아주 작은(thumbnail) 영상을 생성하는 경우이다. 다음에 서브밴드가 LL+LH밴드로 구성된 경우에는 다시열(columm)을 추가하는 수직적 업샘플링(vertical upsampling)을 수행하여 원래 영상 크기로 재구성한다. 서브밴드가 LL+HL인 경우에는 다시 행(row)을 추가하는 수평적 업샘플링(horizontal upsampling)을 수행하여 원래 영상의 크기로 재구성한다. 서브밴드가 LL+LH+HL인 경우에는 HH 서브밴드의 계수 값을 모두 0으로 하여 웨이블릿 계수들을 원래의 크기로 재구성한다. 다음에 역 웨이블릿 변환을 수행하고, Quincunx 업샘플링을 수행하여 원래의 영상을 복원한다. 만약 모든 서브밴드가 포함된 LL+LH+HL+HH 인 경우에는 그대로 역 웨이블릿 변환을 수행하고 Quincunx 업샘플링을 수행하여 원래의 영상을 복원한다.

4. 본 발명에 따른 SPIHT 부호와 및 복호화에 대하여 살펴보기로 한다.

본 발명에서 제시하는 SPIHT 부호화의 개선방법은 크게 두 가지로 나눌 수 있다. 첫째는 앞에서 언급한 영상의 크기가 커지면 공간-방향 트리의 깊이와 노드의 수가 증가한다. 그러므로, 부호화 시에 중요도 지도(significance map)를 작성할 때, 필요 이상으로 많은 노드들을 탐색해야 하는 부담(overhead)이 발생한다. 이를 개선하기 위해서 각 대역 - LL, LH, HL, HH - 을 각각의 독립된 영상으로 가정하고 이들 대역들로부터 부분적으로 선택하여 SPIHT 부호화 작업을 수행하는 것이다.

둘째로 영상의 크기를 감소시키기 위해 Quincunx 다운샘플링을 수행한다. 이렇게 함으로써 궁극적으로 SPIHT 부호기에 입력되는 웨이블릿 계수의 개수를 감소시킬 수 있다. 영상을 원래대로 다시 복원하기 위해서는 SPIHT 복호화를 수행하고난 다음에, 역 웨이블릿 변환을 수행한다. 다음에 Quincunx 업샘플링을 수행한다. 업샘플링하는 과정에서 복원하는 영상의 값에 대하여 보간을 수행하며, 보간은 화소들의 평균값을 사용한다. 웨이블릿 변환된 영상은 각 단계별로 LL, LH, HL, HH 의 대역으로 나누어지며, 낮은 대역의 LL 대역은 상위 대역의 LH, HL, HH 대역을 포함하게 된다. 도 4에 도시된 바와 같이 3단계로 웨이블릿 변환된 영상이 있다면 LL2는 LL3, LH3, HL3, HH3의 상의 단계의 대역을 포함하고 있는 것이다.

본 발명에서 제시한 시스템은 각 단계에서 LL대역 또는 LL+LH대역 또는 LL+HL 대역 또는 LL+LH+HL대역 또는 전체 대역LL+LH+HL+HH에 대해 부호화 그리고 복호화할 수 있는 방법을 제안하였다. 도 4를 살펴보면 LL3 대역, LL2(LL3, LH3, HL3, HH3)대역, 원 영상의 순으로 부호화 함으로서 가변적으로 영상의 정보를 보낼 수가 있다.

도 5, 6과 도 7, 8은 본 발명에서 제시된 시스템 구조도로서 원래의 영상을 입력받아 부호화하고 복호화하는 과정을 나타낸 것으로서 도 5에 도시된 Gray-scale과 RGB 칼라 영상을 입력으로 하는 부호화 과정에 대하여 상세히 살펴보기로 한다.

도 5를 참조하면, RGB 칼라 영상은 칼라변환하지 않고 직접 사용하는 경우이다. 우선 입력 영상(100)을 받는다. 다음에 입력 영상(100)에 대하여 Quincunx 다운샘플링(110)을 수행한다. 그 다음에 이산 웨이블릿 변환(120)을 수행한다. 그 결과는 웨이블릿 계수(130)이다. 분할된 웨이블릿 계수(140)는 서브밴드로 구성되며 이 서브밴드들을 LL, LH, HL, HH 라고 부른다. 다음에 웨이블릿 계수들에 대하여SPIHT 부호화(150)를 수행한다.

여기서. 이 서브밴드들을 5가지의 경우로 구분한다. 이 5가지 경우는 (1) LL (2) LL+LH (3) LL+HL (4) LL+LH+HL (5) LL+LH+HL+HH 이다. 이 각 5가지 경우는 시스템을 사용하는 사용자(user)가 선택할 수 있도록 하며, 나중에 시스템이 비트스트림(bitstream)을 출력할 때 헤더에 표시한다. 5가지 경우 중에서 선택된 서브밴드는 SPIHT 부호기(150)로 보내진다. SPIHT 부호화를 수행한 그 결과는 비트스트림으로 출력한다. 이 비트스트림은 다시 반복길이 부호기(Run-length encoder)(160)와 산술 부호기(Arithmetic encoder)(170)를 거쳐서 최종 비트스트림으로 출력된다.

이어서, 도 6을 참조하여 복호화 과정에 대하여 살펴보기로 한다.

기본적으로 복호화는 부호화의 역 과정이다. 입력은 비트스트림이며 산술 복호기(200)와 반복길이 복호기(210)를 거쳐 SPIHT 복호기(220)에 입력된다. SPIHT 복호화를 거치면 분할된 웨이블릿 계수(230)가 출력된다. 다음에 역 웨이블릿 변환(260)을 수행하고 Quincunx 업샘플링(270)을 거쳐서 원래의 영상(280)을 복원한다.

여기서 웨이블릿 계수(250)는 상기 부호기에서 설명한 5가지 경우 (1) LL (2) LL+LH (3) LL+HL (4) LL+LH+HL (5) LL+LH+HL+HH 중에서 한가지 경우에 해당된다. 첫째로 (1) LL 서브밴드만 존재하는 경우는 역 웨이블릿 변환(Inverse Wavelet Transform)(260)을 거쳐서 LL 서브밴드로만 구성된 출력영상(280)을 얻을 수 있다. 이 경우는 아주 작은(thumbnail) 영상으로 활용할 수 있다. 두번째로 (2) LL+LH 서브밴드가 출력된 경우에는 웨이블릿 계수에 대하여 수직적 업샘플링(240)과 역 웨이블릿 변환(260)을 수행하고 Quincunx 업샘플링(270)을 수행하여 출력영상(280)을 얻는다. (3) LL+HL 서브밴드로만 구성된 경우에는 웨이블릿 계수에 대하여 수평적 업샘플링(242)과 역 웨이블릿 변환(260)을 수행하고 Quincunx 업샘플링(270)을 수행하여 출력영상(280)을 얻는다. (4) LL+LH+HL 서브밴드로 구성된 경우에는 HH(244) 서브밴드의 웨이블릿 계수 값을 모두 0으로 만든 다음에 역 웨이블릿 변환(270)을 수행한다. (5) LL+LH+HL+HH 서브밴드로 구성된 경우에는 그대로 역 웨이블릿 변환(260)을 수행한다. 다음에 Quincunx 업샘플링을 수행하여 원래의 영상(280)을 얻는다.

이어서, 도 7을 참조하여 RGB 칼라를 YCbCr 칼라로 변환하여 부호화하는 과정에 대하여 살펴보기로 한다.

입력 영상(300)의 RGB 칼라를 YCbCr 칼라로 변환(310)한다. 그러면 각각 Y 성분, Cb 성분, Cr 성분이 생성된다. 다음에 각각의 성분에 대하여 다운샘플링을 수행한다. Y 성분은 일반적으로 다운샘플링하지 않으며, 꼭 필요한 경우에만 다운샘플링을 수행하며 이 경우에 Quincunx 다운샘플링(320)을 한다. 다음에 웨이블릿 변환(340)을 수행한다. 그리고 2가지 경우 (1) LL 서브밴드 (2) 전체 서브밴드(LL+LH+HL+HH) 경우만을 선택하여 SPIHT 부호기(350)에 보낸다.

Cb 성분에 대하여서는 4:1로 다운샘플링(330) 한다. 다음에 웨이블릿 변환을 수행하며, 다음 4가지의 경우 (1) LL 서브밴드 (2) LL+LH 서브밴드 (3) LL+HL 서브밴드 (4) LL+LH+HL+HH를 선택한다. Cr 성분에 대하여서도 4:1로 다운샘플링(330)한다. 다음에 웨이블릿 변환을 수행하며, 다음 4가지의 경우 (1) LL 서브밴드 (2) LL+LH 서브밴드 (3) LL+HL 서브밴드 (4) LL+LH+HL+HH를 선택한다. 이 경우 Cb 계수에서 선택한 서브밴드와 Cr 계수에서 선택한 서브밴드는 동일하여야 한다. 다음에 Y 계수, Cb 계수, Cr 계수 순서로 SPIHT 부호기(350)로 입력하여 부호화한다. 다음에 반복길이 부호기(360)와 산술 부호기(370)를 거쳐 최종적인 비트스트림이 출력된다.

이어서, 도 8을 참조하여 복호화 과정에 대하여 살펴보기로 한다.

기본적으로 복호화는 부호화의 역 과정이다. 비트스트림이 입력된다. 비트스트림은 산술복호기(400)와 반복길이 복호기(410)를 거쳐 SPIHT 복호기(420)에 입력된다. SPIHT 복호화를 거치면 Y 계수, Cb 계수, Cr 계수가 출력된다. Y 계수는 2가지 경우 (1) LL 서브밴드만 있는 경우와 (2) 전체 밴드(LL+LH+HL+HH)가 있는 경우이다. Cb 계수는 다음 4가지의 경우 (1) LL 서브밴드 (2) LL+LH 서브밴드 (3) LL+HL 서브밴드 (4) LL+LH+HL+HH 중 1가지이다. 그리고 (2) LL+LH 서브밴드의 경우에는 수직적 업샘플링(432)을 수행하며 (3) LL+HL 서브밴드의 경우에는 수평적 업샘플링(434)을 수행한다. Cr 계수의 경우에도 다음 4가지의 경우 (1) LL 서브밴드 (2) LL+LH 서브밴드 (3) LL+HL 서브밴드 (4) LL+LH+HL+HH 중 1가지이다. 이 경우에도 (2) LL+LH 서브밴드의 경우에는 수직적 업샘플링(432)을 수행하고 (3) LL+HL 서브밴드의 경우에는 수평적 업샘플링(434)을 수행한다. 그 다음에 각 Y 계수, Cb 계수, Cr 계수에 대하여 역 웨이블릿 변환(440)을 수행한다. 다음에 업샘플링을 수행한다. Y 성분인 경우에는 Quincunx 업샘플링(452)을 수행하고 Cb, Cr 성분인 경우에는 1:4 업샘플링(454)을 수행한다. 다음에 YCbCr 칼라를 RGB 칼라로 변환(460)한다. 최종적으로 RGB의 출력영상(470)을 얻게 된다.

5. 본 발명에 따른 전체 시스템 구조에 대하여 살펴보기로 한다.

이상에서 설명한 방법은, Gray-scale 영상 그리고 RGB 칼라 영상에 적용할 수 있다. Gray-scale 영상의 경우에는 상술한 방법이 그대로 적용될 수 있다. RGB 칼라 영상의 경우에는 R 성분, G 성분, B 성분 각각의 성분에 대하여 Quincunx 다운샘플링, 웨이블릿 변환, SPIHT 부호화, 반복길이 부호화, 산술 부호화 방법이 적용될 수 있다. 물론 이 경우에는 부호화를 수행할 때 R 성분, G 성분, B 성분에 적용한 다운샘플링/업샘플링 방법과 서브밴드 구성 방법은 모두 동일하여야 한다.

칼라 영상의 경우에는 위의 RGB 방법이외에 YCbCr 방법을 생각할 수 있다. 이 방법에서는 RGB 성분을 YCbCr 성분으로 칼라 변환을 수행한 다음에 다운샘플링을 수행한다. 그리고 그 다음에 웨이블릿 변환을 수행한다. 웨이블릿 변환 결과 Y 성분, Cb 성분, 그리고 Cr 성분의 웨이블릿 계수가 각각 생성된다. 여기서 Y 성분은 밝기(luminance) 성분이며, Cb,Cr 성분은 색(chrominance) 성분이다. Y 성분은 사람의 시각에 큰 영향을 끼치므로 Y 성분 웨이블릿 계수에 대하여서는 일반적으로 다운샘플링을 하지 않는다. 그러나, 다운샘플링이 요구되는 경우에는 Y 성분에 대하여 도 3b에 도시된 바와 같이 Quincunx 다운샘플링을 수행할 수 있다. 물론 이 경우 복호화를 수행할 때에는 Y 성분에 대하여 Quincunx 업샘플링을 수행하여야 한다. Cb 성분과 Cr 성분은 Y 성분에 비하여 인간의 시각에 끼치는 영향이 크지 않으므로 Cb 성분과 Cr 성분에 대하여서는 도 10b에 도시된 바와 같이 4:1로 다운샘플링을 수행한다. 다음에 SPIHT 부호화, 반복길이 부호화, 산술 부호화를 수행한다.

YCbCr 칼라 변환을 수행하여 부호화하는 경우에는 4 가지 서브밴드 구성 방법을 고려한다. 4 가지 서브밴드 구성방법은 LL, LL+LH, LL+HL, LL+LH+HL+HH이다. 이 경우 LL 서브밴드를 고려하는 경우에는 Y 성분, Cb 성분, Cr 성분 모두 LL 서브밴드만을 고려한다. 그 밖의 경우에는 Y 성분은 항상 모든 서브밴드를 포함하여 고려한다.

다음에 복호화하는 경우를 살펴보자. LL+LH 서브밴드의 경우에는 Cb 성분과 Cr 성분은, 우선 HL+HH 서브밴드 부분에 대하여 수직적 업샘플링(432)을 수행하여야 한다. LL+HL 서브밴드의 경우에는 Cb 성분과 Cr 성분은, 우선 LH+HH 서브밴드 부분에 대하여 수평적 업샘플링(434)을 수행하여야 한다. 다음에 역 웨이블릿 변환(440)을 수행하고 Y 성분에 대하여서는 Quincunx 업샘플링을(452), Cb, Cr 성분에 대하여서는 1:4 업샘플링(454)을 수행한다. 다음에 칼라변환(460)을 수행하여 출력영상(470)을 얻는다.

다음은 RGB에서 YCbCr로의 칼라 변환 공식이다.

Y = 0.29900R + 0.58700G + 0.11400B

Cb = -0.16874R - 0.33126G + 0.50000B

Cr = 0.50000R - 0.41869G - 0.08131B

다음은 YCbCr에서 RGB로의 칼라 변환 공식이다.

R = 1.00000Y + 1.40200Cr

G = 1.00000Y - 0.34414Cb - 0.71414Cr

B = 1.00000Y + 1.77200Cb

6. 본 발명에 따른 비트스트림의 구조에 대하여 살펴보기로 한다.

부호기가 생성하는 비트스트림의 전체 구조는 헤더와 비트 내용 부분으로 구성된다. 전체 비트스트림의 구조는 도 9a에 도시된 바와 같이, 비트스트림 시작 코드(start_code)에서 시작하여 비트스트림 종결 코드(end_code)로 끝맺는다.

헤더의 구조는 도 9b에 도시되어 있으며, 다음의 내용을 포함한다.

1) 헤더 시작 코드

2) 칼라 코드(Gray-scale, RGB, YCbCr)

3) 다운샘플링 방법 코드(Quincunx 다운샘플링, 4:1 다운샘플링)

4) 칼라 성분 코드 (Gray-scale인 경우)

(RGB인 경우 : R 성분, G성분, B성분)

(YCbCr인 경우 : Y성분, Cb성분, Cr성분)

5) 서브밴드 구성 정보 (LL, LL+LH, LL+HL, LL+LH+HL, LL+LH+HL+HH)

6) 서브밴드 비트 count 정보

7) 헤더 종결 코드

실제 비트 내용의 구조는 도 9c에 도시된 바와 같이 각 서브밴드 별로 비트내용을 구분하여 포함하고 있다.

1) 비트 내용 시작 코드

2) 비트 내용을 각 서브밴드에 별로 포함한다. 그 내용은 다음과 같다.

(a) LL 서브밴드 비트 내용

(b) LL 서브밴드 비트 내용 그리고

LH 서브밴드 비트내용

(c) LL 서브밴드 비트 내용 그리고

HL 서브밴드 비트 내용

(d) LL 서브밴드 비트 내용 그리고

LH 서브밴드 비트 내용 그리고

HL 서브밴드 비트 내용

(e) LL 서브밴드 비트 내용 그리고

LH 서브밴드 비트 내용 그리고

HL 서브밴드 비트 내용 그리고

HH 서브밴드 비트내용

3) 비트 내용 종결 코드

이상에서와 같이 본 발명에 의한 Quincunx 다운샘플링에 의한 SPIHT 부호화 및 복호화 방법에 따르면 다음과 같은 효과가 있다.

첫째, SPIHT 부호화 알고리즘의 수행속도를 개선하기 위한 방법으로, 영상에 대하여 Quincunx 다운샘플링을 수행하여 웨이블릿 계수의 개수를 감소시켜 SPIHT 부호화 과정의 속도를 개선할 수 있다.

둘째, 각 서브밴드별로 구성된 웨이블릿 계수에 대하여 선택적으로 부호화과정을 수행함으로서 역시 SPIHT 부호화에 소요되는 시간을 단축시킬 수 있다. 이 방법은 gray-scale 영상과 RGB 칼라 영상 그리고 YCbCr 영상에 적용할 수 있다.

셋째, RGB 칼라를 YCbCr 칼라로 변환한 다음에 웨이블릿 변환을 수행하여 처리함으로서 Cb 성분과 Cr 성분에 대하여서는 4:1 다운샘플링을 적용하고 Y 성분에 대하여서는 필요한 경우에만 Quincunx 다운샘플링을 적용할 수 있도록 하였다.

따라서, 본 발명의 SPIHT 부호화와 복호화 기술은 향후 웨이브릿 변환을 이용한 영상의 압축, 영상의 저장, 컴퓨터 비젼, 실시간 영상의 전송 분야 등에 적용할 수 있다.

Claims

Gray-scale과 RGB 칼라 영상을 입력으로 하는 SPIHT 부호화 방법에 있어서,

상기 입력 영상에 대하여 Quincunx 다운샘플링을 수행하여 영상의 크기를 감소시키는 단계와;

상기 크기가 감소된 영상에 대하여 웨이블릿 변환을 수행하여 크기가 감소된 서브밴드를 갖는 웨이블릿 계수를 획득하는 단계와;

상기 다운샘플된 웨이블릿 계수 중에 임의로 선택되는 소정의 서브밴드를 SPIHT 부호화하여 제 1비트스트림으로 출력하는 단계와;

상기 출력된 제 1비트스트림을 다시 반복길이 부호화하여 제 2비트스트림으로 출력하는 단계와;

상기 출력된 제 2비트스트림을 다시 산술 부호화하여 제 3비트스트림으로 출력하는 단계를 포함하는 특징으로 하는 영상 부호화 방법.
청구항 1에 있어서, 상기 서브밴드는 LL, LL+LH, LL+HL, LL+LH+HL, LL+LH+HL+HH 군으로 이루어진 것을 특징으로 하는 영상 부호화 방법.
청구항 1에 있어서, 상기 RGB 칼라 영상을 YCbCr 칼라 영상으로 변환하여 부호화하는 과정은

상기 입력 영상의 RGB 칼라를 YCbCr 칼라로 변환하여 Y 성분, Cb 성분, Cr성분을 획득하는 단계와;

상기 Y 성분, Cb 성분, Cr 성분을 다운샘플링하여 영상의 크기를 감소시키는 단계와;

상기 크기가 감소된 영상을 웨이블릿 변환하여 Y 웨이블릿 계수, Cb 웨이블릿 계수, Cr 웨이블릿 계수를 각각 획득하고, 서브밴드를 출력시키는 단계와;

상기 출력되는 서브밴드들을 임의로 선택하여 SPIHT 부호화하는 단계와;

상기 SPIHT 부호화된 서브밴드들을 반복길이 부호화함과 더불어 산술 부호화하여 최종 비트스트림으로 출력하는 단계를 더 포함하여 이루어진 것을 특징으로 하는 영상 부호화 방법.
청구항 3에 있어서, 상기 Y 성분을 다운샘플링하고 웨이블릿 변환하여 LL, LL+LH+HL+HH 서브밴드만을 선택하여 출력시키는 것을 특징으로 하는 영상 부호화 방법.
청구항 3에 있어서, 상기 Cb 성분과 Cr 성분을 4;1 다운샘플링하고 웨이블릿 변환하여 LL, LL+LH, LL+HL, LL+LH+HL+HH 서브랜드를 각각 선택하여 출력시키는 것을 특징으로 하는 영상 부호화 방법.
Gray-scale 및 RGB 칼라 영상을 입력으로 하여 최종적으로 출력되는 비트스트림을 SPIHT 복호화 하는 방법에 있어서,

상기 비트스트림을 산술 복호화하고 반복길이 복호화하는 단계와;

상기 복호화된 비트스트림을 SPIHT 복호화하여 임의로 선택되는 소정의 서브밴드를 갖는 웨이블릿 계수를 출력하는 단계와;

상기 출력된 웨이블릿 계수의 각 서브밴드를 역 웨이블릿 변환하고 Quincunx 업샘플링을 수행하여 출력영상을 획득하는 단계를 포함하여 이루어진 것을 특징으로 하는 영상 복호화 방법.
청구항 6에 있어서, 상기 서브밴드는 LL, LL+LH, LL+HL, LL+LH+HL, LL+LH+HL+HH 군으로 이루어지며, 상기 LL+LH 서브밴드는 수직적 업샘플링 과정을 거쳐 상기 각각의 서브밴드들을 포함하는 웨이블릿 계수로 출력되는 것을 특징으로 하는 영상 복호화 방법.
청구항 7에 있어서, 상기 LL+HL 서브밴드는 수평적 업샘플링 과정을 거쳐 상기 각각의 서브밴드들을 포함하는 웨이블릿 계수로 출력되며, 상기 LL+LH+HL 서브밴드는 HH 서브밴드 웨이블릿 계수 값을 모두 0으로 만든 다음에 웨이블릿 계수로 출력되는 것을 특징으로 하는 영상 복호화 방법.
청구항 6에 있어서, 상기 RGB 칼라 영상을 YCbCr 칼라 영상으로 변환하여 최종적으로 출력된 비트스트림을 복호화하는 과정은

상기 비트스트림을 산술복호화하고 반복길이 복호화하는 단계와;

상기 복호화된 비트스트림을 SPIHT 복호화하여 임의로 선택되는 제 1,2,3의 서브밴드를 각각 출력하는 단계와;

상기 제 1서브밴드를 역 웨이블릿 변환하고 Quincunx 업샘플링을 수행하여 Y 성분을 출력시키고, 상기 제 2,3서브밴드를 역 웨이블릿 변환하고 1:4로 업샘플링하여 Cb 성분, Cr 성분을 각각 출력시키는 단계와;

상기 획득된 각 YCbCr 칼라 성분을 RGB 칼라로 변환하여 출력영상을 획득하는 획득하는 단계를 더 포함하여 이루어진 것을 특징으로 하는 영상 복호화 방법.
청구항 9에 있어서, 상기 제 1서브밴드는 LL, LL+LH+HL+HH 서브밴드군으로, 상기 제 2,3 서브밴드는 LL, LL+LH, LL+HL, LL+LH+HL+HH 서브밴드군으로 이루어지며, 상기 제 2,3의 LL+LH 서브밴드는 수직적 업샘플링하여 웨이블릿 계수를 각각 출력되는 것을 특징으로 하는 영상 복호화 방법.
청구항 10에 있어서, 상기 제 2,3의 LL+HL 서브밴드는 수평적 업샘플링하여 웨이블릿 계수로 각각 출력되는 것을 특징으로 하는 영상 복호화 방법.