KR100287849B1 - 영상 부호화 방법 및 장치 - Google Patents

영상 부호화 방법 및 장치 Download PDF

Info

Publication number
KR100287849B1
KR100287849B1 KR1019980054625A KR19980054625A KR100287849B1 KR 100287849 B1 KR100287849 B1 KR 100287849B1 KR 1019980054625 A KR1019980054625 A KR 1019980054625A KR 19980054625 A KR19980054625 A KR 19980054625A KR 100287849 B1 KR100287849 B1 KR 100287849B1
Authority
KR
South Korea
Prior art keywords
band
coefficients
encoding
absolute values
average
Prior art date
Application number
KR1019980054625A
Other languages
English (en)
Other versions
KR20000039315A (ko
Inventor
정영안
소윤성
Original Assignee
구자홍
엘지전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구자홍, 엘지전자주식회사 filed Critical 구자홍
Priority to KR1019980054625A priority Critical patent/KR100287849B1/ko
Publication of KR20000039315A publication Critical patent/KR20000039315A/ko
Application granted granted Critical
Publication of KR100287849B1 publication Critical patent/KR100287849B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

영상을 부호화하는 방법 및 장치에 관한 것으로서, 특히 웨이브렛 구조로 변환된 데이터에 먼저, 밴드 적응적 선처리한 후 이것을 임베디드 제로트리 부호화하여 전송함으로써, 임베디드 제로트리 웨이브렛(EZW)을 이용한 모든 동영상 부호화기에 응용 가능하며, 특히 DFD 부호화의 효율 향상으로 인해 전체적인 부호화기의 성능을 향상시킬 수 있다. 또한, 스케일러블 특성 및 비트율 제어가 매우 용이한 장점을 가지면서, 높은 주파수 밴드에 존재하는 양자화 오차는 낮은 주파수 밴드의 양자화 오차보다 잘 인식하지 못하는 인간의 시각 특성을 잘 반영하여 주관적 화질 향상을 얻을 수 있다.

Description

영상 부호화 방법 및 장치
본 발명은 영상신호를 부호화하는 방법 및 장치에 관한 것으로서, 특히 웨이브렛 계수(wavelet cofficient)의 밴드 적응적 선처리를 이용한 임베디드 제로트리(Embedded Zerotree) 영상 부호화 방법 및 장치에 관한 것이다.
최근들어, 사피로(Shapiro)의 EZW(Embedded Zerotree Wavelet)의 개념이 소개된 이후로 정지 영상 압축분야에서 기존의 DCT(Discrete Cosine Transform) 기반 영상 부호화기(JPEG)보다 뛰어난 비트율 왜곡(rate distortion) 성능 향상을 보이는 임베디드 제로트리(embedded zerotree) 영상 부호화 방법들의 연구가 활발히 이루어지고 있다.
상기 임베디드 제로트리 영상 부호화 방법들의 대부분은 웨이브렛 변환된 계수 부호화에 많이 쓰이는 방법이다. 즉, 웨이브렛(wavelet) 계수의 제로트리 구조를 이용해 위치(position) 및 크기(amplitude) 정보를 중요도 순으로 부호화함으로써 중요도(significant)에 따라 정렬된 비트 스트림(bit stream) 예컨대, 임베디드 비트 스트림을 얻는다.
따라서, 이 방법은 뛰어난 압축성능 뿐만 아니라 알고리즘이 단순하고, 다양한 해상도 및 화질이 가능한 계위(scalability) 특성 및 정확한 비트율 조절기능을 갖는다. 즉, 비트 스트림의 전송이 어떤 시점에서 멈추더라도 주어진 비트율에서 양질의 영상을 얻을 수 있고 비트율 제어(rate control)가 매우 용이한 장점이 있다.
이러한 임베디드 제로트리 부호화의 주된 특징은 웨이브렛 변환의 자기 유사 성질(self-similarity)을 이용해서 밴드간 중요도(significance) 계수의 위치를 예측하고, 웨이브렛 계수의 크기가 순차적으로 근사화되는 연속추정양자화(Successive Approximation Quantization ; SAQ)를 한다.
대략적인 방법은 도 1에 도시된 바와 같이, 입력 영상은 웨이브렛 변환을 이용하여 다양한 해상도를 갖는 밴드(subband)들로 분해된다.
이때, 가장 상위 밴드에는 원 영상의 저주파성분들이 모여있고 다른 밴드에는 세부 고주파성분들이 모여있다. 그리고, 가장 높은 주파수 밴드를 제외하고 주어진 밴드에서의 모든 계수들은 다음 세부밴드의 유사한 방향의 계수들과 관계가 있다.
따라서, 상위 밴드에 있는 계수를 페어런트(parent), 비슷한 방향으로의 같은 위치에 있는 좀더 하위 밴드의 계수 집합을 칠드런(children)이라고 한다.
이때, 가장 낮은 주파수 밴드(가장 상위 밴드)에 있는 페어런트 노드(patent node)는 다른 방향의 3개의 칠드런을 가진다.
그리고, EZW는 상기된 페어런트-칠드런 관계에서 만들어진 제로트리라는 데이타 구조를 만든다.
상기 제로트리 구조는 만약 성긴(coarse) 밴드(즉, 상위 밴드)에 있는 웨이브렛 계수가 어떤 주어진 임계치보다 작다면 그것의 칠드런도 역시 작을 확률이 높다는 성질을 이용한다. 이런 제로트리 구조는 이산 코사인 변환(Discrete Cosine Transform ; DCT) 계수를 부호화하는데 일반적으로 이용되는 지그재그(zigzag) 스캐닝 및 EOB(End Of Block)의 개념과 매우 유사하다.
예컨대, 상기 EZW는 계수를 밴드별로 스캐닝한다.
즉, 페어런트들은 같은 밴드의 모든 이웃 페어런트들이 스캐닝된 다음에 그들의 칠드런이 스캐닝된다. 그리고, 각 계수들은 현 임계치에 대해서 비교된다. 이때, 계수의 절대값이 임계치보다 크면 음(negative) 또는 양(positive) 중요도 심볼(significant symbol)중 하나로 부호화된다.
또한, 제로트리 루트심볼(root symbol)은 제로트리 구조를 이루는 모든 칠드런이 임계치 이하값을 갖고있는 페어런트들을 부호화하는데 쓰인다. 아이솔레이티드 제로 심볼(isolated zero symbol)은 적어도 하나의 칠드런이 임계치 이상인 계수를 부호화한다.
이때, 상기 EZW는 중요정보라고 판정된 계수들에 대하여 연속추정양자화(SAQ)를 이용하여 좀더 부호화한다. 상기 웨이브렛 계수의 양자화를 위한 연속추정기법은 중요한 비트순으로 나열된 임베디드 비트스트림을 만드는 역할을 한다. 즉, 웨이브렛 계수의 트리 구조에서 알 수 있듯이, 상위 밴드에 속한 계수가 임계치 이하일 때, 그 하위 밴드의 같은 위치에 있는 계수들도 임계치 이하일 확률이 1에 가깝다는 가정을 이용하여 제로트리 구조를 만듦으로써 부호화의 효율을 증가시킨다.
그러나, 이러한 제로트리 영상 부호화 방법은 동영상 부호화 즉, 움직임 보상된 영상과의 에러 신호(즉, DFD)에 그대로 적용할 경우, 자연 영상과는 다른 DFD(Displaced Frame Difference) 특성 때문에 일반적으로 제로트리 부호화의 성능이 떨어진다. 그 이유는 DFD 영상이 주로 평탄(smoothing) 영역을 포함하는 자연(natural) 영상 보다는 공간적 상관성이 적은, 즉 훨씬 더 많은 중간(mid) 및 고주파수 성분을 가지며, 이로 인해 중간 주파수 밴드 및 고주파 밴드에서 상위 밴드의 계수보다 더 큰값이 발생할 확률이 높아짐으로써, 효율적인 제로트리 구조를 만들 수 없기 때문이다.
하기의 표 1 및 표 2는 웨이브렛 변환을 도 2와 같이 두 번한 2-레벨 피라미드 구조에서 각 밴드별 에너지 분포를 자연 영상(표 1) 및 DFD 영상(표 2)에서 조사해 본 결과를 보여준다. 또한, 도 3은 DFD 영상에서의 계수 분포의 예를 보여주고 있다.
[표 1]자연 영상에서 각 밴드별 에너지 분포 평균
밴드 Hall(Y) Container(Y) News(Y) Foreman(Y) Table(Y) Weather(Y)
LL2 98.26 98.23 94.99 99.11 98.67 93.58
HL2 0.59 0.41 1.86 0.36 0.14 1.90
LH2 0.49 0.58 0.95 0.25 0.51 1.57
HH2 0.09 0.08 0.41 0.09 0.06 1.02
HL1 0.24 0.22 1.21 0.06 0.06 1.00
LH1 0.31 0.45 0.50 0.10 0.53 0.78
HH1 0.03 0.03 0.09 0.02 0.03 0.16
[표 2]DFD 영상에서 각 밴드별 에너지 분포 평균(100 프레임)
밴드 Hall(Y) Container(Y) News(Y) Foreman(Y) Table(Y) Weather(Y)
LL2 21.27 10.68 27.3 41.71 35.42 21.58
HL2 15.09 8.04 14.25 10.72 17.02 10.87
LH2 9.57 8.68 11.1 12.64 11.4 11.51
HH2 7.11 7.08 6.94 7.29 6.65 8.05
HL1 21.11 22.31 18.21 9.89 13.38 19.32
LH1 19.28 32.05 16.79 3.94 12.24 19.11
HH1 6.57 11.17 5.23 3.94 3.88 9.24
상기된 표 1, 표 2의 결과는 자연 영상(또는 I 프레임)인 경우, 대부분의 에너지가 가장 상위 밴드(LL2)에 집중되어 있지만, DFD 영상인 경우 중간 및 고주파 밴드에 많은 계수가 분포되어 있음을 보여준다.
또한, 표 2 및 도 3에서와 같이 중간 주파수 밴드 및 고주파 밴드에서 상위 밴드의 계수보다 더 큰값이 발생할 확률이 높아짐으로써, 효율적인 제로트리 구조를 만들 수 없음을 알 수 있다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 변환된 웨이브렛 계수의 밴드 적응적 선처리 과정을 통해 DFD의 제로트리 부호화 효율을 높이는 영상 부호화 방법 및 장치를 제공함에 있다.
도 1은 일반적인 제로트리 구조 및 각 밴드에서의 페어런트-칠드런 관계를 나타낸 도면
도 2는 일반적인 2-레벨 피라미드 구조로 웨이브렛 변환된 영상의 예를 보인 도면
도 3은 일반적인 DFD 영상에서의 계수 분포의 예를 보인 도면
도 4는 본 발명에 따른 웨이브렛 기반 영상 부호화 장치의 구성 블록도
도 5a는 도 4의 밴드 적응 선처리부에서 구한 각 밴드의 계수 최대값의 예를 보인 도면
도 5b는 도 4의 밴드 적응 선처리부에서 구한 각 밴드의 계수 절대치의 평균에 대한 예를 보인 도면
도 5c는 도 4의 밴드 적응 선처리부에서 구한 각 밴드의 에너지의 예를 보인 도면
도 6a는 도 4의 밴드 적응 선처리부에서 각 밴드의 각 계수들의 절대값을 각 밴드의 계수 절대치의 평균으로 바이어스시킨 예를 보인 도면
도 6b는 도 6a의 결과에 가중치를 곱해주는 예를 보인 도면
도 7의 (a)는 밴드 적응 선처리되기 전의 각 밴드의 각 계수들의 크기를 나타낸 그래프
도 7의 (b)는 밴드 적응 선처리된 후의 각 밴드의 각 계수들의 크기를 나타낸 그래프
도면의 주요부분에 대한 부호의 설명
401 : DWT부 402 : 밴드 적응 선처리부
403 : 제로트리 부호화부 404 : 엔트로피 부호화부
405 : 채널 406 : 역밴드 적응 선처리부
407 : IDWT부 408 : 가산기
409 : 프레임 메모리 410 : 움직임 예측부
411 : 감산기
본 발명에 따른 영상 부호화 방법은, 입력되는 영상을 적어도 하나 이상의 밴드를 갖는 웨이브렛 피라미드 구조로 변환하는 단계와, 상기 웨이브렛 피라미드 구조에서 각 계수들의 절대값 및 각 밴드별로 계수 절대값의 평균을 구하는 단계와, 상기 단계에서 구한 각 밴드에 있는 계수들의 각 절대값을 각 밴드의 계수 절대값의 평균값으로 빼주는 밴드 적응 선처리 단계와, 상기 단계에서 각 밴드의 계수 절대값의 평균으로 바이어스된 각 계수들의 위치 및 크기 정보를 중요도 순으로 부호화하여 중요도에 따라 정렬된 비트 스트림을 출력하는 제로트리 부호화 단계를 포함하여 이루어지는 것을 특징으로 한다.
상기 밴드 적응 선처리 단계는 DC 성분이 있는 가장 상위 밴드를 제외한 각 밴드의 각 계수들의 절대값을 각 밴드의 계수 절대값의 평균으로 바이어스시키는 것을 특징으로 한다.
상기 밴드 적응 선처리 단계는 각 밴드의 계수 절대값의 평균으로 바이어스된 각 계수들에 대해 각 밴드별로 가중치를 곱하는 단계를 더 포함하는 것을 특징으로 한다.
상기 가중치는 전체 에너지에 대한 각 계수의 밴드별 에너지에 반비례하는 것을 특징으로 한다.
본 발명에 따른 영상 부호화 장치는, 입력되는 영상을 적어도 하나 이상의 밴드를 갖는 웨이브렛 피라미드 구조로 변환하는 변환부와, 상기 웨이브렛 피라미드 구조에서 각 밴드별로 각 계수들을 바이어스시키는 밴드 적응 선처리부와, 상기 밴드 적응 선처리부에서 출력되는 각 계수들의 위치 및 크기 정보를 중요도 순으로 부호화하여 중요도에 따라 정렬된 비트 스트림을 출력하는 제로트리 부호화부를 포함하여 구성되는 것을 특징으로 한다.
상기 밴드 적응 선처리부는 DC 성분이 있는 가장 상위 밴드를 제외한 각 밴드의 계수들을 바이어스시키는 것을 특징으로 한다.
상기 밴드 적응 선처리부는 상기 웨이브렛 피라미드 구조에서 각 계수들의 절대값 및 각 밴드별로 계수 절대값의 평균을 구한 후 각 밴드에 있는 계수들의 각 절대값을 각 밴드의 계수 절대값의 평균값으로 빼주는 것을 특징으로 한다.
상기 밴드 적응 선처리부는 각 밴드의 계수들의 평균으로 바이어스된 각 계수들에 대해 각 밴드별로 전체 에너지에 대한 각 계수의 밴드별 에너지에 반비례하는 가중치를 곱하는 것을 특징으로 한다.
상기 제로트리 부호화부는 상기 밴드 적응 선처리부에서 출력되는 각 계수들을 일련의 임계치들과 비교하여 중요 계수의 위치 및 부호를 부호화하며, 초기 임계치는 최대 계수치보다 작은 2의 최대 계승으로 하고, 이를 반씩 줄여나가면서 수행하는 것을 특징으로 한다.
본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
이하, 본 발명의 바람직한 실시예를 첨부도면을 참조하여 상세히 설명한다.
본 발명은 임베디드 제로트리 부호화전에 각 밴드의 최대 절대값 계수 및 에너지, 계수 절대치의 평균을 구하여 각 밴드별로 적응적 선처리 과정을 행함으로써, 제로트리 부호화의 효율을 높이는데 있다.
도 4는 본 발명에 따른 밴드 적응적 선처리가 적용된 웨이브렛 기반 동영상 부호화 장치의 구성 블록도이다.
도 4를 보면, 입력되는 비디오 비트스트림 또는 DFD 영상 신호를 이산 웨이브렛 구조로 변환하는 이산 웨이브렛 변환부(Discrete Wavelet Transform ; DWT)(401), 웨이브렛 변환된 계수들에 대해 밴드 적응적 선처리를 하는 밴드 적응 선처리부(402), 상기 밴드 적응 선처리된 계수들을 임베디드 제로트리 부호화를 이용해 양자화하는 제로트리 부호화부(403), 상기 제로트리 부호화된 계수들의 전체 비트 수를 줄인 후 채널(405)을 통해 전송하는 엔트로피 부호화부(404), 상기 제로트리 부호화된 계수들을 밴드 적응적 선처리의 역과정으로 처리하는 역밴드 적응 선처리부(406), 상기 역밴드 적응 선처리된 계수를 역 이산 웨이브렛 구조로 변환하는 IDWT(Inverse Discrete Wavelet Transform)(407), 상기 역 이산 웨이브렛 구조로 변환된 데이터와 움직임 보상된 데이터를 더하여 원 영상으로 복원하는 가산기(408), 상기 가산기(408)의 출력을 저장하는 프레임 메모리(409), 상기 프레임 메모리(409)에 저장된 데이터를 기준 프레임으로하여 현재 입력되는 프레임의 움직임을 예측한 후 움직임 보상을 하고 그에 따른 움직임 벡터와 움직임 보상된 프레임을 출력하는 움직임 예측부(410), 및 상기 움직임 보상된 프레임과 현재 입력되는 비디오 비트스트림과의 차(즉, DFD)를 상기 DWT부(401)로 출력하는 감산기(411)로 구성된다.
이와 같이 구성된 본 발명에서 영상 부호화는 크게 I(Intra) 프레임 부호화 및 P(Predictive) 프레임 부호화로 나누어진다. 여기서, I 프레임 부호화시는 기존의 EZW 부호화를 그대로 사용 가능하나, P 프레임 부호화시는 움직임 벡터와 함께 DFD를 부호화해서 전송해야 한다.
즉, I 프레임은 임의의 화면을 압축 부호화할 때 기준이 되는 화면으로서, 기본적으로 첫 번째 프레임은 I-프레임 부호화하고 표준에 따라서 전송된 패킷의 손실이 있을 경우 수시로 수신단에서 I 프레임 요청을 하면 송신단에서는 I 프레임을 보내게 된다.
그리고, P 프레임 부호화의 경우, 입력 프레임은 크게 두 부분, 즉 인접 프레임간의 높은 시각적 상관성을 이용하는 움직임 보상 예측(motion compensated prediction) 부분과 움직임 보상 후의 예측 에러인 DFD(Displaced Frame Difference)를 부호화하는 과정으로 나뉜다.
상기 DFD는 감산기(411)의 출력 즉, 현재 프레임과 움직임 벡터만큼 이동시킨 이전 프레임과의 차 신호로서, DFD 부호화는 보통 P 프레임 발생 비트의 대부분을 차지한다.
따라서, I 프레임인 경우는 입력되는 비디오 비트스트림이 스위치를 통해 그대로 DWT부(401)로 출력되고, P 프레임인 경우는 감산기(411)의 출력 즉, 움직임 보상된 데이터와 현재 입력되는 비트스트림과의 차인 DFD 영상이 DWT부(401)로 출력된다.
상기 DWT부(401)는 입력되는 비디오 비트스트림이 어떤 형태이든 적어도 하나 이상의 밴드(subband)를 갖는 웨이브렛 피라미드 구조로 변환한다. 일 예로, DCT된 데이터들을 웨이브렛 구조로 변환하는 기술이 본 출원인에 의해 출원된 바 있다.
이때, 웨이브렛 변환시 분해 밴드의 수는 영상 크기 및 웨이브렛 필터의 종류에 따라 달라질 수 있으나 설명의 편의를 위해서 도 2와 같이 2-레벨 피라미드 구조로 변환하는 것을 실시예로 한다.
그리고, 상기 도 2와 같이 웨이브렛 구조로 변환된 계수는 밴드 적응 선처리부(402)를 통해 제로트리 부호화부(403)로 입력된다.
상기 밴드 적응 선처리부(402)는 먼저 도 5a 내지 도 5c와 같이 각 밴드별로 최대 절대값 계수 및 계수 절대치의 평균, 그리고 에너지 분포를 구한다.
한편, 제로트리 부호화부(403)에서 각 계수들은 일련의 임계치들과 비교하여 중요(significant) 계수의 위치 및 부호(sign)를 부호화하는데, 초기 문턱치(threshold level)는 변환된 영상의 최대 계수치보다 작은 2의 최대 계승으로 하고, 이를 반씩 줄여나가면서 부호화를 수행한다. 즉, 임계치보다 큰 계수는 중요 계수로, 임계치보다 작으면 중요하지 않은(insignificant) 계수로 구분하면서 부호화된다.
따라서, 도 5a와 같은 각 밴드별 계수의 최대값은 제로트리 부호화 효율에 영향을 끼친다. 만일 도 3에서와 같이, 고주파 밴드(HL1,LH1,HH1)에 크기(magnitude) 값이 큰 계수( |CB| , 여기서, B는 밴드를 나타냄)가 발생할 경우, 그런 고주파 밴드에 있는 계수를 부호화하기 위해서는 일반적으로 위치 정보에 드는 비트가 밴드의 수에 따라서 기하급수적으로 늘어나므로 제로트리 부호화의 효율이 저하된다.
즉, 도 3을 보면, HL1 및 LH1에 에너지가 주로 집중해있고 수직 고주파 성분(LH1)이 가장 많음을 알 수 있다. 예컨대, 수직 고주파 성분(LH1)에 있는 계수의 크기가 가장 상위 밴드(LL2)에 있는 계수의 크기보다 더 크다. 이를 그대로 제로트리 부호화에 이용하면 제일 중요한 정보가 있는 상위 밴드(LL2)의 계수보다 먼저 수직 고주파 성분(LH1)의 계수가 중요 계수로서 부호화되므로 부호화 효율이 떨어진다. 이것은, 시각적으로는 DC 성분이 가장 중요한데 시각적으로 도움이 별로 안되는 중간 주파수 성분이나 고주파 성분이 먼저 부호화되어 전송된 후 전송 레이트등의 문제로 DC 성분이 전송되지 못할 경우 복호화기에서 DC 성분을 제대로 살리지 못하기 때문이로 이로 인해 화질에 치명적인 에러가 발생하게 된다.
이와 같이, 제로트리 부호화는 페어런트의 계수보다 칠드런의 계수들이 작다는 성질을 이용하는데, 중요 계수가 칠드런에서 나오므로 제로트리의 부호화 효율이 떨어진다.
따라서, 제로트리 부호화 효율을 높이기 위해 즉, DC 성분을 중간 및 고주파 성분들보다 먼저 부호화하기 위해 밴드 적응 선처리부(402)에서는 이런 고주파 밴드에 있는 계수들의 각 절대값을 도 5b와 같은 각 밴드의 계수 절대치의 평균값으로 빼준다( |계수값의 절대값 - 절대값의 평균값| ). 즉, DC 성분이 있는 가장 상위 밴드를 제외한 각 밴드의 각 계수들의 절대값을 도 6a와 같이 각 밴드의 계수 절대치의 평균으로 바이어스시켜( CB′ , 여기서, B는 밴드를 나타냄), 전체적인 계수의 크기 분포를 상위 밴드보다 줄인다.
이런 과정은 저주파 밴드에는 세밀하게(finer) 양자화하고 고주파 밴드에서는 성기게(coarse) 양자화하는 효과를 주어 부호화의 향상뿐 아니라, 높은 주파수 밴드에 존재하는 양자화 오차는 낮은 주파수 밴드의 양자화 오차보다 잘 인식하지 못하는 인간의 시각 특성을 잘 반영하여 주관적 화질 향상을 얻을 수 있다.
또한, 에너지는 밴드별 각 계수의 자승이므로, 도 5c와 같이 전체 에너지에 대한 각 밴드별 에너지 분포( EB , 여기서, B는 각 밴드)를 조사한다. 이 정보는 영상의 특성을 나타낸다. 예를 들어, 우측 방향으로는 수직 주파수 성분이, 아래 방향으로는 수평 주파수 성분이, 대각 방향으로는 대각 주파수 성분이 모여 있으므로, 상기 표 2의 Container 시퀀스의 경우는 HL1 및 LH1에 에너지가 주로 집중해있고 수직 고주파 성분(LH1)에 에너지가 가장 많음을 알 수 있다.
따라서, 전체 에너지에 대한 각 계수의 밴드별 에너지 분포는 영상 특성에 따라서 살릴 수 있는 밴드를 적응적으로 부호화할 수 있는 일종의 가중치 요소(scale factor)로서 사용할 수 있다. 특히, 중간 및 고주파 밴드에서 중요 계수가 많이 분포하면 할수록 에너지가 커지고, 제로트리 부호화의 효율에 영향을 크게 미치므로 전체 에너지에 대한 각 계수의 밴드별 에너지는 도 6b와 같이 밴드 적응적 선처리의 한 요소로서 작용한다( ).
즉, 도 6a와 같이 각 밴드의 계수 절대치의 평균으로 바이어스시킨 각 밴드의 각 계수들의 절대값에 도 6b와 같이 가중치(SB)를 곱해주는데( SB× CB′ , 여기서 B는 각 밴드 ), 상기 가중치(SB)는 각 밴드별 에너지에 반비례한다. 따라서, 중간 및 고주파 밴드에서 크기(magnitude) 값이 큰 계수들이 많이 발생할수록 가중치가 곱해진 계수들의 크기는 더욱 작아진다.
도 7의 (a)는 표 2 또는 도 3과 같은 Container 시퀀스의 경우에서 밴드 적응 선처리되기 전의 각 밴드의 계수들의 크기를 나타낸 것으로서, 수직 고주파 성분(LH1)에 있는 계수의 크기가 가장 상위 밴드(LL2)에 있는 계수의 크기보다 더 크며 따라서, 수직 고주파 성분(LH1)에 있는 계수가 초기 임계치보다 큰 값으로 판정될 수 있다. 만일 이를 그대로 제로트리 부호화에 이용하면 제일 중요한 정보가 있는 상위 밴드(LL2)보다 먼저 수직 고주파 성분(LH1)의 계수가 부화되므로 부호화 효율이 떨어진다.
도 7의 (b)는 상기 도 7의 (a)와 같이 발생된 계수에 상기된 밴드 적응 선처리 과정을 거친 경우의 각 밴드의 계수들의 크기를 나타낸 것으로서, 가장 상위 밴드(LL2)에 있는 계수의 크기가 중간 및 고주파 성분의 계수의 크기보다 커짐을 알 수 있다. 따라서, 가장 상위 밴드(LL2)에 있는 계수가 초기 임계치보다 큰 값으로 판정되어 중요 계수로 부호화된다.
즉, 상기 제로트리 부호화부(403)는 가장 상위 밴드부터 제로트리 부호화함으로써, 시각적으로 가장 중요한(significant) 영향을 미치는 계수들을 우선적으로 부호화한 결과가 된다.
그리고, 상기 제로트리 부호화부(403)의 임베디드 제로트리 부호화 과정에서 발생하는 중요성 테스트 결과와 부호, 세밀한 분류 심볼은 엔트로피 부호화부(404)에서 적응적 산술 부호화 방법에 의하여 무손실 엔트로피(entropy) 부호화된 후 채널(405)을 통해 전송된다.
한편, 상기 제로트리 부호화부(403)의 출력은 P 프레임의 움직임 예측을 위해 역양자화되어야 한다. 이를 위해 역밴드 적응 선처리부(406)에서 상기 제로트리 부호화부(403)의 출력을 밴드 적응 선처리되기 전의 상태로 변환하면 역양자화가 수행된 결과를 얻는다.
그리고, 상기 역밴드 적응 선처리부(406)의 출력은 IDWT부(407)에서 IDWT되어 가산기(408)로 출력되고, 상기 가산기(408)는 움직임 예측부(410)에서 움직임 예측 및 보상된 데이터와 상기 IDWT된 데이터를 가산하여 프레임 메모리(409)에 저장한다.
여기서, 시간축으로 연속된 픽쳐들은 주로 화면의 중앙 부분에서 사람이나 물체의 움직임이 있기 때문에 움직임 예측부(410)에서는 이러한 성질을 이용하여 시간축의 중복성을 제거한다. 즉, 상기 움짐임 예측부(410)의 출력과 IDWT된 출력을 가산기(408)에서 더하여 프레임 메모리(409)에 저장하면 상기 움직임 예측부(410)에서 현재 입력되는 픽쳐의 움직임 추정시 상기 프레임 메모리(409)에 저장된 데이터가 바로 전 픽쳐가 된다. 이때, 이렇게 픽쳐 사이에서 가장 비슷한 블록을 찾는 일을 움직임 추정(Motion estimation)이라 하고, 얼마만큼 움직였나 하는 변위를 나타내는 것을 움직임 벡터(Motion Vector ; MV)라 한다. 상기 움직임 벡터는 엔트로피 부호화부(404)로 입력되어 제로트리 부호화된 계수 정보와 함께 전송된다. 상기 움직임 벡터는 전송을 위해 엔트로피 부호화부(404)로 출력되고 움직임 보상된 데이터는 DFD 영상을 만들기 위해 감산기(411)로 출력된다.
이상에서와 같이 본 발명에 따른 영상 부호화 장치에 의하면, 입력되는 영상을 다수개의 해상도를 갖는 웨이브렛 피라미드 구조로 변환하고 변환된 데이터에 대해 먼저, 밴드 적응적 선처리한 후 이것을 임베디드 제로트리 부호화하여 전송함으로써, 다음과 같은 장점이 있다.
첫째, 임베디드 제로트리 웨이브렛(EZW)을 이용한 모든 동영상 부호화기에 응용 가능하며, 더욱이 DFD 부호화의 효율 향상으로 인해 전체적인 부호화기의 성능이 향상된다.
둘째, EZW의 장점을 그대로 가지므로 스케일러블 특성 및 비트율 제어가 매우 용이한 장점을 가진다. 따라서, 순차(progressive) 전송 및 영상 데이터 베이스에서의 이미지 브라우징(image browzing), 트랜스코딩(transcoding)등에 적용 가능하다.
셋째, 높은 주파수 밴드에 존재하는 양자화 오차는 낮은 주파수 밴드의 양자화 오차보다 잘 인식하지 못하는 인간의 시각 특성을 잘 반영하여 주관적 화질 향상을 얻을 수 있다.
넷째, 블록 왜곡 현상이 줄어든다. 이것은 DC 계수가 우선적으로 부호화되고 중간 및 구주파수 성분 반영의 결과이다.
다섯째, 본 발명은 현재 표준화가 진행중인 MPEG-4, H.263++, H.26L, JPEG2000등의 요구 조건에 적합하며 실제 응용 가능하다.

Claims (9)

  1. 입력되는 영상을 적어도 하나 이상의 밴드를 갖는 웨이브렛 피라미드 구조로 변환하여 부호화하는 영상 부호화 방법에 있어서,
    상기 웨이브렛 피라미드 구조에서 각 계수들의 절대값 및 각 밴드별로 계수 절대값의 평균을 구하는 단계와,
    상기 단계에서 구한 각 밴드에 있는 계수들의 각 절대값을 각 밴드의 계수 절대값의 평균값으로 빼주는 밴드 적응 선처리 단계와,
    상기 단계에서 각 밴드의 계수 절대값의 평균으로 바이어스된 각 계수들의 위치 및 크기 정보를 중요도 순으로 부호화하여 중요도에 따라 정렬된 비트 스트림을 출력하는 제로트리 부호화 단계를 포함하여 이루어지는 것을 특징으로 하는 영상 부호화 방법.
  2. 제 1 항에 있어서, 상기 밴드 적응 선처리 단계는
    DC 성분이 있는 가장 상위 밴드를 제외한 각 밴드의 각 계수들의 절대값을 각 밴드의 계수 절대값의 평균으로 바이어스시키는 것을 특징으로 하는 영상 부호화 방법.
  3. 제 1 항에 있어서, 상기 밴드 적응 선처리 단계는
    각 밴드의 계수 절대값의 평균으로 바이어스된 각 계수들에 대해 각 밴드별로 가중치를 곱하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  4. 제 3 항에 있어서, 상기 가중치는
    각 밴드의 영상 특성에 따라 달라지는 것을 특징으로 하는 영상 부호화 방법.
  5. 입력되는 영상을 적어도 하나 이상의 밴드를 갖는 웨이브렛 피라미드 구조로 변환하여 부호화하는 영상 부호화 장치에 있어서,
    상기 웨이브렛 피라미드 구조에서 각 밴드별로 각 계수들을 바이어스시키는 밴드 적응 선처리부와,
    상기 밴드 적응 선처리부에서 출력되는 각 계수들의 위치 및 크기 정보를 중요도 순으로 부호화하여 중요도에 따라 정렬된 비트 스트림을 출력하는 제로트리 부호화부를 포함하여 구성되는 것을 특징으로 하는 영상 부호화 장치.
  6. 제 5 항에 있어서, 상기 밴드 적응 선처리부는
    DC 성분이 있는 가장 상위 밴드를 제외한 각 밴드의 계수들을 바이어스시키는 것을 특징으로 하는 영상 부호화 장치.
  7. 제 5 항에 있어서, 상기 밴드 적응 선처리부는
    상기 웨이브렛 피라미드 구조에서 각 계수들의 절대값 및 각 밴드별로 계수 절대값의 평균을 구한 후 각 밴드에 있는 계수들의 각 절대값을 각 밴드의 계수 절대값의 평균값으로 빼주는 것을 특징으로 하는 영상 부호화 장치.
  8. 제 5 항에 있어서, 상기 밴드 적응 선처리부는
    각 밴드의 계수들의 평균으로 각각 바이어스된 각 계수들에 대해 각 밴드별로 가중치를 곱하는 것을 특징으로 하는 영상 부호화 장치.
  9. 제 5 항에 있어서, 상기 제로트리 부호화부는
    상기 밴드 적응 선처리부에서 출력되는 각 계수들을 일련의 임계치들과 비교하여 중요 계수의 위치 및 부호를 부호화하며, 초기 임계치는 최대 계수치보다 작은 2의 최대 계승으로 하고, 이를 반씩 줄여나가면서 수행하는 것을 특징으로 하는 영상 부호화 장치.
KR1019980054625A 1998-12-12 1998-12-12 영상 부호화 방법 및 장치 KR100287849B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019980054625A KR100287849B1 (ko) 1998-12-12 1998-12-12 영상 부호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980054625A KR100287849B1 (ko) 1998-12-12 1998-12-12 영상 부호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20000039315A KR20000039315A (ko) 2000-07-05
KR100287849B1 true KR100287849B1 (ko) 2001-05-02

Family

ID=19562536

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980054625A KR100287849B1 (ko) 1998-12-12 1998-12-12 영상 부호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100287849B1 (ko)

Also Published As

Publication number Publication date
KR20000039315A (ko) 2000-07-05

Similar Documents

Publication Publication Date Title
JP3204645B2 (ja) 映像符号化及び復号化方法並びにその装置
US6895050B2 (en) Apparatus and method for allocating bits temporaly between frames in a coding system
Marpe et al. Very low bit-rate video coding using wavelet-based techniques
Martucci et al. A zerotree wavelet video coder
US6084908A (en) Apparatus and method for quadtree based variable block size motion estimation
JP5270757B2 (ja) 係数ブロックにおける有意な係数の位置の符号化によるビデオ符号化
US6728316B2 (en) Video coding method
JP2003504987A (ja) ビデオシーケンスを圧縮する符号化方法
US20020136304A1 (en) Method and system for a highly efficient low bit rate video codec
Xing et al. Arbitrarily shaped video-object coding by wavelet
Wang et al. Operational rate-distortion modeling for wavelet video coders
Martucci et al. Zerotree entropy coding of wavelet coefficients for very low bit rate video
KR100547853B1 (ko) 블록별 에너지를 기초로 정지 영상을 적응적으로 부호화할수 있는 이산 웨이블렛 변환 장치 및 방법
KR101246115B1 (ko) 3차원 웨이블릿 기반 영상 부호화/복호화 방법 및 장치
KR100323701B1 (ko) 영상부호화장치
KR100287849B1 (ko) 영상 부호화 방법 및 장치
Goh et al. Multi-resolution based algorithms for low bit-rate image coding
KR100299484B1 (ko) 영상부호화및복호화방법과장치
Hsu et al. Wavelet and lapped orthogonal transforms with overlapped motion-compensation for multiresolution coding of HDTV
Kang et al. A Multi-threshold Embedded Zerotree Wavelet Coder
Danyali Highly scalable wavelet image and video coding for transmission over heterogeneous networks
Jérôme et al. Embedded zerotree wavelet coding of image sequence
Jain et al. Wavelet based video compression using STW, 3D-SPIHT & ASWDR techniques: A comparative study
KR20070028720A (ko) 웨이블릿 패킷 변환 기반의 동영상 인코딩 시스템 및 방법
Cheong et al. Significance tree image sequence coding with DCT-based pyramid structure

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20070130

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee