KR100323701B1

KR100323701B1 - 영상부호화장치

Info

Publication number: KR100323701B1
Application number: KR1019980047239A
Authority: KR
Inventors: 정영안
Original assignee: 구자홍; 엘지전자주식회사
Priority date: 1998-11-02
Filing date: 1998-11-02
Publication date: 2002-03-08
Also published as: KR20000031283A

Abstract

영상을 저전송 비트율로 부호화하는 장치에 관한 것으로서, 특히 8×8 블록 단위의 픽쳐 데이타를 DCT 변환하고 상기 DCT 계수를 웨이브렛 구조로 변환하여 중요도가 높은 정보순으로 분류한 결과를 얻은 후 이것을 임베디드 제로트리 구조로 부호화하여 전송함으로써, 기존 부호화기와의 호환성 및 뛰어난 비트율 왜곡 성능 향상으로 인해 저전송률 비디오 전송에 적합하다. 즉, 화질에 영향을 주는 중요도가 높은 정보를 우선하여 부호화하게 되어 재현 화질의 향상을 가져올 수 있게 하였다. 또한, I 프레임 부호화의 뛰어난 비트율 왜곡 성능으로 인해 장면 전환 및 물체의 빠른 이동으로 인한 장면에서의 드러나거나 겹쳐진 영역에 대하여 뛰어난 부호화 효율을 얻을 수 있다.

Description

영상 부호화 장치{image coding device}

본 발명은 영상신호를 부호화하는 장치에 관한 것으로서, 특히 공중망(PSTN)을 통한 영상 전화 시스템용 저전송율 비디오 전송에 적합한 부호화 장치에 관한 것이다.

종래의 영상 부호화 방법의 국제규격으로서 정지영상의 부호화/복호화 규격인 JPEG(Joint Photographic Coding Experts Group), 동영상의 부호화/복호화 규격인 MPEG(Moving Picture Experts Group), 또 저전송율 비디오 표준안인 H.261, H.263등이 제시되고 있다.

특히, 기존 공중망(Public Switched Telephone Network ; PSTN)을 통한 영상 통신의 필요성이 증대됨에 따라 부호화 알고리즘 및 표준화 활동 측면에서 초저 비트율 영상 부호화(very low bit video coding) 연구가 활발히 이루어지고 있으며, 그 대표적인 예로 ITU-T(International Telecommunication Union-Telecommunication Standardization Sector ; 국제 전기 통신 연합-전기 통신 표준화 부분, 전 CCITT)의 H.263 권고안은 영상 전화 시스템 구현을 위해서 매우 낮은 비트율 전송에 적합한 움직임 보상 하이브리드(motion compensated hybrid) DPCM/DCT(Differential Pulse Code Modulation/Discrete Cosine Transform) 부호화 방법을 사용한다.

이러한 영상 부호화 방법은 입력 디지탈 영상신호를 DCT 변환하고 양자화한다음, 양자화된 영상신호를 복원하여 원 영상 신호와의 오차를 검출하고 그 움직임을 추정하여 양자화 스텝을 제어함으로써 원하는 비트율을 확보하고 있다.

도 1은 종래의 이산 코사인 변환(Discrete Cosine Transform ; DCT) 기반 동영상 부호화 장치의 구성 블록도로서, 영상 부호화는 크게 I(Intra) 프레임 부호화 및 P(Predictive) 프레임 부호화로 나누어진다.

이때, I 프레임인 경우는 입력되는 비디오 비트스트림이 그대로 DCT부(101)로 출력되고, P 프레임인 경우는 감산기(110)의 출력 즉, 움직임 예측된 데이터와 현재 입력되는 비트스트림과의 차가 DCT부(101)로 출력된다.

상기 DCT부(101)는 2차원 축변환을 통해서 데이터의 상관성을 제거하는데 이를 위해 입력되는 프레임을 블록 단위로 나눈 후 나뉘어진 각각의 블록을 축변환시킨다. 즉, 각 블록의 영상을 공간 영역으로부터 주파수 영역으로 변환한다. 이렇게 DCT된 데이터들은 한쪽 방향(저역쪽)으로 몰리는 경향이 있는데 이렇게 몰려진 데이터들만을 양자화부에서 양자화한다. 이때, 상기 양자화에는 양자화 파라미터 즉, 가중치 매트릭스(weighting matrix)와 양자화 스케일 코드(quantizer-scale-code)가 이용된다. 여기서, 상기 가중치 매트릭스는 각 DCT 계수의 가중치를 나타내고, 양자화 스케일 코드는 양자화 스텝을 결정한다.

그리고, 이렇게 양자화된 후의 각 계수는 엔트로피 부호화(Entropy Coding)부(103)로 출력된다. 상기 엔트로피 부호화부(103)는 가변 길이 부호화(Valiable Length Coding ; VLC)를 적용하여 자주 나오는 값은 적은 수의 비트로, 드물게 나오는 값은 많은 수의 비트로 표시하여 전체 비트 수를 줄인 후 채널(104)을 통해전송한다.

또한, 상기 양자화된 데이터는 다시 역양자화부(105)에서 역양자화되고 IDCT부(106)에서 IDCT되어 가산기(107)로 출력된다. 상기 가산기(107)는 움직임 예측부(109)에서 움직임 예측된 데이터와 상기 IDCT된 데이터를 가산하여 프레임 메모리(108)에 저장한다.

한편, 시간축으로 연속된 픽쳐들은 주로 화면의 중앙 부분에서 사람이나 물체의 움직임이 있기 때문에 움직임 예측부(109)에서는 이러한 성질을 이용하여 시간축의 중복성을 제거한다. 즉, 화면의 변하지 않은 부분이나 움직였다 하더라도 비슷한 부분을 바로 전 픽쳐에서 가져와 채움으로써 전송해야 할 데이터 량을 큰 폭으로 줄일 수 있다.

즉, 상기 움짐임 예측부(109)의 출력과 IDCT된 출력을 가산기(107)에서 더하여 프레임 메모리(108)에 저장하면 상기 움직임 예측부(109)에서 현재 입력되는 픽쳐의 움직임 추정시 상기 프레임 메모리(108)에 저장된 데이터가 바로 전 픽쳐가 된다.

이렇게 픽쳐 사이에서 가장 비슷한 블록을 찾는 일을 움직임 추정(Motion estimation)이라 하고, 얼마만큼 움직였나 하는 변위를 나타내는 것을 움직임 벡터(Motion Vector ; MV)라 한다. 상기 움직임 벡터는 VLC된 변환 계수 정보와 함께 전송된다. 이때, 상기 움직임 벡터도 최대의 부호화 효율을 얻기 위해서 VLC된다.

즉, 상기 움직임 예측부(109)에서 움직임 추정을 하기 위해서는 먼저 움직임벡터(MV)를 구해야 한다. 이때, MV는 한 매크로 블록당 최대 4개까지 나올 수 있는데 이를 그냥 보내면 너무 비트량이 많으므로 바로 전 매크로블록의 MV와의 차이만을 VLC하여 전송한다.

그리고, 상기 움직임 예측부(109)의 움직임 보상 과정은 전방향, 후방향 예측 블록들을 이용하는데 두 가지의 움직임 보상 프레임이 있다. 그 중 P 프레임은 전방향 예측만으로 움직임 보상이 이루어지며 그 자체로 다음 P 프레임을 예측하는데 사용된다. 또한, 상기 P 프레임은 B 프레임(양방향에서 예측된 프레임)의 전방향 및 후방향 예측을 위해서도 사용된다. 그러나, B 프레임은 그 자체로서 예측을 위해 사용되지는 않는다.

한편, I 프레임은 임의의 화면을 압축 부호화할 때 기준이 되는 화면으로 원 신호를 블록마다 DCT 변환과 양자화 과정에 적용하여 공간 방향의 중복성만을 제거한다.

즉, 기본적으로 첫 번째 프레임은 I-프레임 부호화하고 표준에 따라서 전송된 패킷의 손실이 있을 경우 수시로 수신단에서 I 프레임 요청을 하면 송신단에서는 I 프레임을 보내게 된다. 이때, I 프레임은 P, B 프레임의 움직임 예측에 이용되므로, I 프레임 부호화 결과는 잇따르는 프레임들(P, B 프레임)의 부호화 효율을 크게 좌우한다. 더욱이, 영상의 배경(background) 부분인 경우 I 프레임 부호화 이후 장면 전환(scene change)이 일어나기 전까지는 잇따르는 P 프레임에서 배경 부분의 부호화가 거의 이루어지지 않으므로 I 프레임의 부호화한 결과가 계속해서 주관적 화질에 영향을 끼친다. 즉, I 프레임의 부호화 결과가 좋으면 이후의 P 프레임의 부호화 결과도 좋다.

그리고, P 프레임 부호화의 경우, 입력 프레임은 크게 두 부분, 즉 인접 프레임간의 높은 시각적 상관성을 이용하는 움직임 보상 예측(motion compensated prediction) 부분과 움직임 보상 후의 예측 에러인 DFD(Displaced Frame Difference)를 부호화하는 과정으로 나뉜다.

상기 DFD는 감산기(110)의 출력 즉, 현재 프레임과 움직임 벡터만큼 이동시킨 이전 프레임과의 차 신호로서, DFD 부호화는 보통 P 프레임 발생 비트의 대부분을 차지한다.

대부분의 표준에서, DFD 부호화 방법은 I 프레임 영상 부호화와 동일한 방식으로 부호화된다. 하지만, 이것은 자연(natural) 영상과 DFD 영상 특성이 다르다는 것을 제대로 이용하지 못하는 것이다. 그 이유는 DFD 영상은 주로 평탄(smoothing) 영역을 포함하는 자연 영상 보다는 공간적 상관성이 적은, 즉 훨씬 더 많은 중간(mid) 및 고주파수 성분을 가지기 때문이다. 따라서, DCT 변환시 높은 에너지 압축(compaction)을 갖는 자연 영상보다는 에너지 압축 효율이 떨어지게 되며, 그 결과로 기존의 지그재그 스캐닝에 의한 런-길이(run-length) 부호화 방법의 효율 또한 떨어지게 된다.

더욱이 매우 낮은 비트율 전송시 부호화되는 DCT 계수의 수가 매우 적으며 각 계수들 또한 매우 큰 양자화 레벨로 표현되므로, 결국 재구성된 영상에서 블록 현상 및 링잉(ringing) 효과가 현저히 나타난다.

그리고, 동영상 부호화의 또다른 문제(issue)는 비트율 조절이다. 단순히 고정된 양자화 파라미터에 의하여 비트가 발생되고, 계수별로 부호화되기 때문에 어떤 목표 비트율(target bit rates)에 맞추기 위해서는 반복적인 방법이 요구되며 또한, 그렇게 하더라도 정확한 비트율 조절이 매우 어렵다.

또한, I 프레임 부호화는 단순히 양자화 간격(양자화 파라미터x2)만을 조절함으로써 비트율을 조절하는 구조를 가진다. 따라서, 매우 낮은 비트율 전송시 큰 양자화 간격에 따른 DCT 변환 오차가 커지게 마련이며, 그 결과가 P 프레임의 움직임 추정 및 보상등을 포함한 부호화에 계속해서 영향을 끼쳐 전체적인 부호화 성능을 떨어뜨리는 주된 요인이 된다.

더욱이, 매우 낮은 비트율(12-48kbps)로 전송시 I 프레임 부호화에 드는 비트량이 대개 전체 발생 비트의 40%-70%임을 차지하므로 I프레임의 효율적인 부호화가 전체 부호화 성능향상을 위해서는 필수적이다.

한편, 최근에 사피로(Shapiro)의 EZW(Embedded Zerotree Wavelet)의 개념이 소개되면서 정지 영상 압축분야에서 기존의 DCT 기반 영상 부호화기(JPEG)보다 뛰어난 비트율 왜곡(rate distortion) 성능 향상을 보이는 임베디드 제로트리(embedded zerotree) 영상 부호화 연구가 활발히 이루어지고 있다.

상기 임베디드 제로트리 부호화는 대개 웨이브렛 변환된 계수 부호화에 많이 쓰이는 방법이다. 즉, 웨이브렛(wavelet) 계수의 제로트리 구조를 이용해 위치(position) 및 크기(amplitude) 정보를 중요도 순으로 부호화함으로써 중요도(significant)에 따라 정렬된 비트 스트림(bit stream) 예컨대, 임베디드 비트 스트림을 얻는다.

이 방법은 뛰어난 압축성능 뿐만 아니라 알고리즘이 단순하고, 다양한 해상도 및 화질이 가능한 계위(scalability) 특성 및 정확한 비트율 조절기능이 있다. 즉, 비트 스트림의 전송이 어떤 시점에서 멈추더라도 주어진 비트율에서 양질의 영상을 얻을 수 있고 비트율 제어(rate control)가 매우 용이한 장점이 있다.

이러한 임베디드 제로트리 부호화의 주된 특징은 웨이브렛 변환의 자기 유사 성질(self-similarity)을 이용해서 대역간 중요도(significance) 계수의 위치를 예측하고, 웨이브렛 계수의 크기가 순차적으로 근사화되는 연속추정양자화(Successive Approximation Quantization ; SAQ)을 한다.

대략적인 방법은 다음과 같다.

입력 영상은 웨이브렛 변환을 이용하여 다양한 해상도를 갖는 대역(subband)들로 분해된다.

이때, 가장 성긴(coarse) 대역에는 원 영상의 저주파성분들이 모여있고 다른 대역에는 세부 고주파성분들이 모여있다. 그리고, 가장 높은 주파수 대역을 제외하고 주어진 대역에서의 모든 계수들은 다음 세부대역의 유사한 방향의 계수들과 관계가 있다.

따라서, 성긴 대역에 있는 계수를 페어런트(parent), 비슷한 방향으로의 같은 위치에 있는 더 세밀한 대역의 계수 집합을 칠드런(children)이라고 한다.

이때, 가장 낮은 주파수대역에 있는 페어런트 노드(patent node)는 다른 방향의 3개의 칠드런을 가진다.

즉, EZW는 상기된 페어런트-칠드런 관계에서 만들어진 제로트리라는 데이타구조를 만든다.

상기 제로트리 구조는 만약 성긴 대역에 있는 웨이브렛 계수가 어떤 주어진 임계치보다 작다면 그것의 칠드런도 역시 작을 확률이 높다는 성질을 이용한다. 이런 제로트리 구조는 DCT 계수를 부호화하는데 일반적으로 이용되는 지그재그(zigzag) 스캐닝 및 EOB(End Of Block)의 개념과 매우 유사하다.

예컨대, 상기 EZW는 계수를 대역별로 스캐닝한다.

즉, 페어런트들은 같은 대역의 모든 이웃 페어런트들이 스캐닝된 다음에 그들의 칠드런이 스캐닝된다.

그리고, 각 계수들은 현 임계치에 대해서 비교된다. 이때, 계수의 절대값이 임계치보다 크면 음(negative) 또는 양(positive) 중요도 심볼(significant symbol)중 하나로 부호화된다.

또한, 제로트리 루트심볼(root symbol)은 제로트리 구조를 이루는 모든 칠드런이 임계치 이하값을 갖고있는 페어런트들을 부호화하는데 쓰인다.

아이솔레이티드 제로 심볼(isolated zero symbol)은 적어도 하나의 칠드런이 임계치 이상인 계수를 부호화한다.

이때, 상기 EZW는 중요정보라고 판정된 계수들에 대하여 연속추정양자화(SAQ)를 이용하여 좀더 부호화한다. 상기 웨이브렛 계수의 양자화를 위한 연속추정기법은 중요한 비트순으로 나열된 임베디드 비트스트림을 만든다.

상기 EZW는 웨이브렛이 주파수 및 공간 정보를 가지므로 데이타의 공간적인 그룹핑(grouping) 및 양자화가 가능하다.

또한, 같은 방향의 대역에 대한 연속추정 알고리즘의 효율 향상은 제로 및 비제로(nonzero)값을 효율적으로 예측하는 것이 관건이다.

수많은 웨이브렛 기반 영상 부호화기 중에서 향상된 제로트리 방법을 이용한 Said and Pearman의 SPIHT(Set Partitioning in Hierarchical Trees) 부호화기가 있는데, 압축 성능면에서 매우 뛰어난 임베디드 영상 부호화기이다.

상기 SPIHT 부호화 방법은 이미 부호화된 트리노드(tree node)를 제거하고 반씩 감소하는 임계치에 대해 중요 노드(significance node)를 갱신함으로써 계수간 중복성(redundency)을 효율적으로 제거한다.

이 방법이 EZW보다 큰 성능 향상을 보이는 가장 큰 이유는 중요한 계수들이 주로 가장 낮은 대역에 주로 분포한다는 성질을 이용한 향상된 제로트리 구조에 기인한다.

그러나, 이런 방법들은 주로 높은 해상도(512×512) 영상을 이용한 정지영상 압축 부호화에는 매우 효율적이지만 QCIF와 같은 낮은 해상도(176×144)를 주로 사용하는 저전송율 비디오 압축에서는 필터특성 및 불충분한 대역분해 즉, 웨이브렛 공간 주파수 특성 저하로(제로트리 부호화 효율이 떨어짐으로써) 인해 부호화 성능이 현저히 저하된다.

또한, EZW를 DFD 부호화에 적용할 경우 기존의 웨이브렛에 기반한 피라미드 구조의 분해는 상위 레벨로의 에너지 압축 효율 저하 및 중간, 고주파수 성분을 제대로 반영하지 못해 전체적인 부호화 효율은 오히려 DCT 기반 방법보다 떨어지는 결과를 보여준다.

더구나, DCT 변환이 대부분의 비디오 압축 표준안의 I 프레임 및 움직임 보상된 영상과의 에러(즉, DFD)를 부호화하기 위해서 사용됨을 감안할 때 기존 비디오 코덱과의 호환성(compatibility) 또한 큰 문제가 된다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 DCT 계수를 2-레벨 피라미드 구조로 재배치한 후 제로트리 부호화함으로써, 제로트리 부호화의 효율을 높이면서 기존 DCT 기반 부호화기와의 호환성을 유지하는 영상 부호화 장치를 제공함에 있다.

도 1은 종래의 DCT 기반 영상 부호화 장치의 구성 블록도

도 2는 본 발명에 따른 영상 부호화 장치의 구성 블록도

도 3은 DCT와 웨이브렛과의 관계를 설명하기 위한 도면

도 4는 도 2에서 DCT 계수가 2-레벨 피라미드 구조로 재배치되는 관계를 나타낸 도면

도 5는 도 2에서 DCT 계수의 2-레벨 피라미드 구조로의 재배치에서 페어런트-칠드런 관계를 나타낸 도면

도 6은 본 발명과 종래기술과의 성능평가의 일예를 나타낸 도면

도면의 주요부분에 대한 부호의 설명

101 : DCT부 102 : 양자화부

103 : 엔트로피 부호화부 104 : 채널

105 : 역양자화부 106 : IDCT부

107 : 가산기 108 : 프레임 메모리

109 : 움직임 예측부 110 : 감산기

111 : 비트율 제어부 201 : 재배치부

202 : 제로트리 부호화부 203 : 역재배치부

본 발명에 따른 영상 부호화 장치는, 입력 프레임을 복수개의 블록으로 나눈 후 각 블록의 공간 영역을 주파수 영역으로 변환하는 변환부와, 상기 변환부의 변환 계수를 영상재현에 필요한 정보를 포함하고 있는 정도에 따른 중요도 순으로 분류하여 재배치하는 재배치부와, 상기 재배치된 계수의 위치 및 크기 정보를 중요도 순으로 부호화하여 중요도에 따라 정렬된 비트 스트림을 출력하는 제로트리 부호화 부를 포함하여 구성되는 것을 특징으로 한다.

상기 변환부는 I 프레임의 경우 입력되는 데이타를 DCT에 의해 주파수 영역으로 변환하는 것을 특징으로 한다.

상기 변환부는 P 프레임의 경우 이전 I 또는 P 프레임을 이용하여 움직임 보상 예측을 한 후 상기 움직임 보상된 데이터와 현재 입력되는 데이터와의 차를 DCT에 의해 주파수 영역으로 변환하는 것을 특징으로 한다.

상기 변환부는 P 프레임의 각 블록에 대해서는 인트라 또는 인터 모드로 부호화하는 것을 특징으로 한다.

상기 재배치부는 상기 변환부의 DCT 계수를 웨이브렛 해석을 이용하여 분류한 후 이것을 2-레벨 피라미드 구조로 재배치하는 것을 특징으로 한다.

상기 재배치 부의 2-레벨 피라미드 구조는 균일 대역 분해방법으로 분해된 네개의 대역을 독립적으로 웨이브렛 변환한 구조인 것을 특징으로 한다.

상기 재배치부는 상기 DCT 계수의 DC 계수와 주파수에 따른 AC 계수 값으로 분해하여, DC의 공간적 상관성을 이용하기 위해서 정의된 페어런트-칠드런 관계로부터 가장 저주파수 대역만 다시 재배치한 형태로 분류 및 재배치하는 것을 특징으로 한다.

상기 재배치부는 재배열된 DCT 계수의 양자화를 위해서 DC 값을 바이어스(bias)시키는 것을 특징으로 한다.

상기 재배치부는 I 프레임에 대해서는 DC 계수들의 평균값을 DC 계수에서 감산하여 DC 평균으로 DC 값을 바이어스시키는 것을 특징으로 한다.

상기 재배치부는 P 프레임에 대해서는 각 프레임당 인트라 블록들의 DCT 계수의 평균값을 DC 계수에서 감산하여 DC 평균으로 DC 계수들을 바이어스시키는 것을 특징으로 한다.

상기 재배치부는 P 프레임의 인터 모드의 블록에 대해서는 DC 평균값을 0으로 하여 DC 값을 바이어스시키지 않는 것을 특징으로 한다.

상기 제로트리 부호화부는 재배치된 각 계수들은 일련의 임계치들과 비교하여 중요 계수의 위치 및 부호를 부호화하며, 초기 임계치는 최대 계수치보다 작은 2의 최대 계승으로 하고, 이를 반씩 줄여나가면서 수행하는 것을 특징으로 한다.

상기 제로트리 부호화부는 중요 정보의 위치 및 부호를 부호화하는 분류경로와, 중요계수를 연속적으로 추정하는데 필요한 세밀 구분 경로의 두 단계로 이루어지는 것을 특징으로 한다.

상기 제로트리 부호화부의 출력비트 스트림은 중요성 테스트 결과와 부호, 세밀하게 분류된 비트들로 이루어지는 것을 특징으로 한다.

상기 제로트리 부호화부는 가장 중요한 계수의 근사값을 먼저 전송하고 한번에 한비트씩 모든 중요 계수값들을 세밀하게 분류함으로써 가장 중요한 정보를 점진적으로 전송하는 것을 특징으로 한다.

상기 제로트리 부호화부는 제로트리 부호화 과정에서 발생하는 중요성 테스트 결과와 부호, 세밀한 분류 심볼은 적응적 산술 부호화 방법에 의해서 무손실 엔트로피 부호화하는 엔트로피 부호화부를 더 포함하는 것을 특징으로 한다.

상기 제로트리 부호화부의 출력은 움직임 보상 및 예측을 위해 다수개의 균일한 분해 대역을 갖도록 역재배치되는 것을 특징으로 한다.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

이하, 본 발명의 바람직한 실시예를 첨부도면을 참조하여 상세히 설명한다.

본 발명은 8×8 DCT가 64개의 균일한 분해 대역을 갖는 웨이브렛 변환이라는 웨이브렛 해석을 이용하여, DCT 계수를 2-레벨 제로트리 구조로 재배치함으로써,제로트리 부호화의 효율을 높이는데 있다.

모의 실험 결과 본 발명에 따른 영상 부호화 장치는 효율적인 제로트리 구조를 만들어 저전송 비트율 비디오 압축 표준안인 H.263의 I프레임 부호화 방법보다 화질면에서 뛰어난 성능을 나타내었으며, 더우기 기존의 사피로(Shapiro)의 웨이브렛을 이용한 EZW 방법보다도 더 높은 비트율 왜곡(rate distortion) 향상을 나타냈다.

또한, 정지영상 압축에서도 JPEG 및 다른 대표적인 웨이브렛 임베디드 영상 부호화기의 인용된 결과에 필적할 만한 비트율 왜곡 향상을 나타내었다.

도 2는 본 발명에 따른 영상 부호화 장치의 구성 블록도로서, 양자화기(200)를 제외한 나머지 블록은 상기된 종래의 도 1과 동일하므로 동일 블록에 대해서는 동일 부호를 사용하고 상세한 설명을 생략한다.

즉, 본 발명은 계수별로 부호화하는 기존의 접근 방법을 탈피해 각 계수를 일정 비트로 점진적으로 양자화하는 임베디드 제로트리 양자화기(200)를 채택한다.

이때, 도 2와 같은 영상 부호화기로 입력되는 비디오의 각 프레임은 첫 번째 프레임(I)을 위해서 인트라(Intra), 나머지 프레임(P)은 인터(Inter)로 부호화된다.

그리고, 부호화는 매크로 블록단위로 이루어지며 밝기 및 색 성분은 4:2:0 포맷이다.

즉, I 프레임의 경우 첫 번째 입력 영상의 밝기(Y) 및 색(Cb,Cr) 성분을 8×8 블록으로 나눈 후 각 블록은 DCT부(101)로 입력된다. 상기 DCT부(101)는 각블록의 영상을 DCT에 의해 공간 영역으로부터 주파수 영역으로 변환하여 공간적 중복성을 제거한다.

그리고, 상기 DCT부(101)에서 DCT된 각 블록의 계수들은 양자화기(200)의 재배치(Rearrange)부(201)로 입력되어 2-레벨 피라미드 구조로 재배치된다. 즉, 상기 DCT부(101)에서 주파수 영역으로 변환된 DCT 계수를 중요도가 높은 순으로 분류하고 2-레벨 피라미드 구조로 재배치한다.

상기 재배치부(201)에서 2-레벨 피라미드 구조로 재배치된 DCT 계수는 제로트리 코딩부(202)에서 임베디드 제로트리 구조로 코딩되어 양자화된다. 이때 SPIHT 코딩법을 사용할 수 있다.

상기 양자화된 각 계수는 엔트로피 부호화부(103)에서 엔트로피 부호화된 후 채널(104)을 통해 전송한다.

또한, 비디오 시퀀스의 모든 연속되는 프레임 예컨대, P 프레임의 경우는 H.263+에서 사용되는 움직임 추정 및 보상 방법을 쓴다. 따라서, 본 발명의 영상 부호화기는 블록 움직임 추정, ANNEX D(Unrestricted Motion Vector mode) 또는 ANNEX F(Advanced Prediction mode)를 선택적으로 사용할 수 있다.

그리고, 각 블록들이 움직임 예측된 후의 나머지(residuals) 에러도 DCT부(101)에서 DCT한 다음 양자화를 위해 재배치부(201)에서 2-레벨 피라미드 구조의 나머지 프레임으로 재배치한다.

이때, 아주 빠른 움직임이나 물체의 움직임에 의해 겹쳐지거나 드러난 영역, 또는 장면 전환이 일어날 경우, 그런 매크로 블록에 대해서는 예측이 실패한다. 그런 경우 움직임 추정 후 DFD를 부호화하는 것보다는 원 영상의 블록을 부호화하는 것이 부호화 효율 및 주관적 화질 측면에서 바람직하다.

본 발명은 그런 블록들에 대해서 인트라 모드로 선택하여 부호화한다.

이때, 인트라/인터 모드의 결정은 하기의 수학식 1과 같으며, H.263 부호화기의 모드 결정과 유사하다.

만약, A < (SAD(x,y) - T)이면 인트라 모드가 선택되고 움직임 추정을 행하지 않는다. 단 T는 주어진 임계치로서 각 블록의 움직임 상태에 따라 달라질 수 있으며, 인트라/인터 모드는 H.263과 같이 부가정보로서 전송된다. 여기서, MB_mean은 매크로 블록의 평균값이고, A는 상기 매크로 블록에 대해서 각 픽셀과 평균값과의 차이 즉, 각 픽셀의 편차이며, SAD는 이전 프레임의 같은 위치에서의 차값이다.

여기서, 인트라 모드로 선택된 블록의 DCT 변환 후 주파수 스펙트럼 특성은 다른 인터 모드의 블록과 많은 차이가 있다. 특히, 인트라 모드로 선택된 블록의 DC 계수의 크기가 크다.

따라서, 본 발명에서는 각 프레임당 인트라 블록들의 DCT 계수의 평균값을 DC 계수에서 빼줌으로서, DC 계수들을 DC 평균으로 바이어스시켜 큰 DC 계수로 인하여 불필요한 스캐닝에 낭비되는 비트수를 줄였다.

물론 인터 블록은 바이어스없이 그대로 재배치 과정을 행한다.

이와 같은 처리를 한 후 구성된 2-레벨 피라미드 구조의 DCT 계수는 I 프레임 부호화에서 행한 바와 같이, 제로트리 코딩부(202)에서 임베디드 제로트리 부호화를 이용해 양자화한다.

이때, 상기 재배치부(201)에서 DCT 계수를 2-레벨 피라미드 구조로 재배치하는 목적은 DCT가 임베디드 제로트리 부호화와 잘 결합할 수 있도록 만들어 계수의 공간 및 주파수간 상호 의존성을 높임으로써, 임베디드 제로트리 부호화 효율을 높이는데 있다.

도 3은 DCT와 웨이브렛의 관계를 직관적으로 알 수 있는 간단한 도면으로서, 일 예로 2×2 블럭 DCT를 고려하면, 변환 후 각 블럭은 정도의 차이는 있겠지만 도 3의 왼쪽 그림과 같이 a(가장 낮은 주파수)에서 d(가장 높은 주파수)까지 네 종류의 변환계수를 가진다.

이것은 동일 영상에 대한 적당한 2×2 분해필터를 이용하여 영상을 분해한 다음 각 방향으로 2만큼 부표본화하면 대역 분해된 영상은 변환된 블럭과 등가이다. 즉, 도 3의 오른쪽 그림과 같이 가장 상위대역(low-pass/low-pass)은 각 DCT 변환블럭의 가장 낮은 주파수 성분을 모아놓은 것과 같다. 다른 변환계수들은 나머지 대역에 대하여 비슷한 방법으로 모아진다.

이와같은 개념을 확장하면 8×8블럭 DCT는 64개의 분해대역을 갖는 웨이브렛 변환으로 볼 수 있다.

도 4는 DCT 계수를 2-레벨 피라미드 구조로 재배치하는 과정을 보인 도면으로서, 부호 401은 DCT된 계수를 표시하며, 부호 402는 이것을 2-레벨 피라미드 구조로 재배치한 것을 표시한다.

즉, 상기 재배치부(201)는 DCT된 각 8×8 블록을 EZW에서 정의된 형태의 3-레벨 웨이브렛 피라미드 구조로 간주한다. 그리고, 각 계수간 공간적 상관성을 나타내는 페어런트-칠드런 관계를 설명하기 위해 도 4와 같이 각 계수가 해당하는 위치에 번호를 부여한다.

이때, i가 1부터 63중의 계수라면 계수 i의 페어런트는 i/4의 정수값이며, 반면에 j가 1부터 15중의 계수라면 계수 j의 칠드런은 {4j,4j+1,4j+2,4j+3}이다.

그리고, DC 계수 0은 단지 계수 1,2,3 세개의 칠드런을 갖는 트리(tree)의 루트(root)이다.

여기서, 대부분의 영상에서 중요한 정보는 DC계수와 처음 몇개의 AC계수에 포함되어 있으므로 각 DCT 블럭의 DC 계수 및 칠드런 1,2,3은 영상 크기의 메모리의 최상위 대역으로 맵핑(mapping)되며 각 계수의 각 페어런트 1,2,3에 대한 칠드런 4,5,6,7; 8,9,10,11; 12,13,14,15;들이 각각 그 다음 대역으로, 다음 대역에 있는 페어런트들의 칠드런이 각각 그 다음 대역으로 대응된다.

도 5는 본 발명에 의한 구조의 페어런트-칠드런의 관계(501-502-502' -503-503')를 보여준다.

본 발명의 구조와 종래의 웨이브렛에 의한 2레벨 피라미드 구조와의 차이점은 분해방법에 의한 주파수 특성이다.

즉, 종래의 웨이브렛 2-레벨 피라미드 구조는 계층적 대역분해방법으로 하나의 저주파 대역에 대해서만 다시 웨이브렛 변환을 적용하지만 본 발명의 2-레벨 피라미드 구조는 균일 대역 분해방법으로 분해된 네개의 대역을 독립적으로 웨이브렛 변환한 구조를 2-레벨 피라미드 구조로 간주하는 것이다.

또한 본 발명의 재배치 구조가 단순하고 균일 대역 분해방법과 다른 차이점은 DC의 공간적 상관성을 이용하기 위해서 정의된 페어런트-칠드런 관계로 가장 저주파 대역만 다시 재배치한 형태이다.

따라서 기존의 웨이브렛 2-레벨 피라미드 구조가 저주파 성분을 잘 반영하나 중간주파수 성분을 잘 반영하지 못하는 특성이 있는 반면에 본 발명의 구조는 종래의 웨이브렛 2-레벨 구조에 비해서 저주파 성분의 반영특성은 다소 떨어지나 중간주파수 성분을 잘 반영하는 특성이 있다.

이러한 특징은 낮은 비트율 전송에서 계층적 분해방법보다 유리하다. 그 이유는 제로트리 부호화의 효율을 결정하는 디케잉 스펙트럼(decaying spectrum) 성질을 잃지 않으면서 일반적으로 낮은 비트율에서 고주파 성분까지 부호화하지 못하는 부호화 특성상, 중간주파수 성분을 잘 반영하여 부호화 효율을 높일 수 있기 때문이다.

한편, 이와 같이 2-레벨 피라미드 구조로 재배치된 DCT 계수의 양자화는 EZW의 향상된 방법 즉, 제로트리 부호화부(202)에서 제로트리 구조로 부호화하여 이루어진다.

즉, 상기 제로트리 부호화부(202)는 가장 상위 대역부터 부호화함으로써, 시각적으로 가장 중요한(significant) 영향을 미치는 계수들을 우선적으로 부호화한 결과가 된다. I 프레임의 경우 각 블록들의 DC 계수들의 평균값을 빼줌으로써 DC 계수들을 DC 계수의 평균으로 바이어스시켜 부호화의 효율을 높인다.

우선 가장 상위 대역의 DC성분(각 노드)에 대하여 DC 성분들의 평균값을 빼준다. 이웃하는 주변 블럭의 DC값은 공간적 상관성이 크므로, 이렇게함으로써 각 DC 값은 어느 정도 평균값으로 바이어스(bias)되고, 제로트리 부호화시 불필요한 스캐닝에 낭비되는 비트를 줄여 효율을 높일 수 있다.

그러나, P 프레임의 경우 이웃하는 주변 블록 DC의 공간적 상관성이 크지 않으므로 DC 평균값을 0으로 놓아 상기와 같은 과정을 거치지 않게 한다.

그리고, 각 계수들은 일련의 임계치들과 비교하여 중요(significant) 계수의 위치 및 부호(sign)를 부호화 하는데, 초기 문턱치(threshold level)는 최대 계수치보다 작은 2의 최대 계승으로 하고, 이를 반씩 줄여나가면서 수행한다.

이때, 임계치보다 큰 계수는 중요계수로 구분되고, 임계치보다 작은 계수는 중요하지 않는 것으로 구분된다.

즉, 중요도(significance)에 따라 LIS(list of significant sets), LIP(list of insignificant pixels), LSP(list of significant pixels)의 세개의 목록(list) 을 사용한다.

상기 LIP는 최상위 계층의 노드(root)들로, LIS는 LIP의 각 페어런트의 칠드런의 집합으로 각각 초기화된다.

부호화는 중요정보의 위치 및 부호를 부호화하는 분류경로(sorting pass)와중요계수를 연속적으로 추정하는데 필요한 상세 구분 경로(refinement pass)의 두 단계로 이루어진다.

상기 분류 경로에서는 먼저 LIP 화소들을 현재의 문턱치와 비교하여 중요계수(significant)이면 부호를 출력하고 LSP로 이동시킨다.

다음으로 LIS의 계수들을 조사하여 모두 중요하지 않으면(insignificant) 단 1비트만으로 표현이 가능하고, 만일 중요 픽셀(significant pixel)이 있으면, 현재 루트의 디센던트(descendant)들을 루트(foor)로 갖는 서브셋(subset)으로 분할 한 후 앞의 과정을 반복한다.

그리고, LIS와 LIP에 대해 한번의 분류 경로(sorting pass)가 끝나면 LSP에 대해 세밀 구분 경로(refinement pass)가 수행되어 각 계수값들은 1비트씩 세밀하게 분류된다.

이렇게 한번의 전체 경로가 끝나면 임계치를 2로 나누고 그 다음 분류경로로 넘어가게 된다.

출력비트 스트림은 중요성 테스트 결과와 부호, 세밀하게 분류된 비트들로 이루어지며, 부호기와 복호기가 동일한 알고리즘을 공유하면서, 부호화가 진행되는 동안의 모든 결정 결과가 출력되므로, 중요 계수의 위치 정보는 따로 전송될 필요가 없다.

이와 같은 방법은 결과적으로 가장 중요한 계수의 근사값을 먼저 전송하고 한번에 한 비트씩 모든 중요 계수 값들을 세밀하게 분류함으로써, 항상 가장 중요한 정보를 선택하는 프로그레시브(progressive) 전송이 되고, 만약 DCT가 웨이브렛과 같이 단위적(unirary)이고 기하학적 규칙(euclidean norm)이 보존된다면 이러한 점진적인 전송은 MSE(mean square error)를 줄이는 최적의 방법이다.

한편, 상기 엔트로피 부호화부(103)는 상기 제로트리 부호화부(202)의 임베디드 제로트리 부호화 과정에서 발생하는 중요성 테스트 결과와 부호, 세밀한 분류심볼은 적응적 산술 부호화 방법에 의하여 무손실 엔트로피(entropy)부호화 된다.

이 방법은 복호화기에 내재적(implicitly)으로 모델을 전송하므로 영상에 대한 사전 정보가 필요없고 중요계수간의 통계적 의존성을 매우 효율적으로 이용할 수 있다.

본 발명에서는 Witten등의 적응적 산술 부호화 알고리즘을 이용하였다.

그리고, 본 발명은 임베디드 부호화기이므로 비트율 제어부(111)의 비트율 조절은 출력단에서 기존의 비트율 왜곡에 기반한 어떠한 비트율 조절 알고리즘도 가능하며, 쉽게 비트율 조절이 가능하다.

한편, 상기 제로트리 부호화부(202)의 출력은 움직임 예측을 위해 역양자화되어야 한다. 이를 위해 상기 제로트리 부호화부(202)의 출력을 재배치부(201)로 입력되기 전의 상태 즉, 다수개의 균일한 분해 대역을 갖도록 역재배치부(203)에서 역재배치하면 역양자화가 수행된 결과를 얻는다.

그리고, 상기 역재배치부(203)의 출력은 IDCT부(106)에서 IDCT되어 가산기(107)로 출력된다. 이후의 동작은 도 1과 동일하다.

도 6은 종래의 부호화기와 본 발명에 따른 부호화기의 성능을 비교한 그래프로서, 본 발명의 부호화기는 H.263+ 및 ANNEX I를 갖는 H.263+ 영상 부호화기 보다 뛰어난 I 프레임 부호화의 뛰어난 비트율 왜곡 성능의 향상을 나타냄을 알 수 있다. 따라서, 장면 전환 및 물체의 빠른 이동으로 인한 장면에서의 드러나거나 겹쳐진 영역에 대하여 뛰어난 부호화 효율을 얻을 수 있다.

이와 같이 본 발명의 알고리즘은 DCT의 재배치로 양자화 계수를 MSB로부터 LSB순으로 부호화하며 대역내(DC계수의 공간적 상관성) 및 대역간 공간적 의존성(한 블럭의 저주파에서 고주파까지의 디케잉 스펙트럼 특성)을 이용하여 임베디드 제로트리의 부호화 효율을 높일 수 있었다.

이 방법은 어느 정도 비트플랜(bitplane)영상 부호화와 특성을 공유하지만 비트가 라인별(line by line)별로 전송되지 않고 단일 부호화된 심볼을 가진 제로트리 구조를 사용함으로써 복호화기는 비트플랜의 대부분 영역에 있는 거의 모든 비트가 0임을 추론한다는 점에서 차이가 있다.

한편, 이렇게 부호화되어 전송된 영상을 복호하는 영상 복호화기는 영상 부호화기와 동일한 알고리즘을 그대로 사용한다. 본 발명에 의한 영상 복호화는 영상 부호화와 같은 과정을 수행함으로써 이루어진다.

본 발명에 따른 영상 부호화기에 의하면, 8×8 블록단위의 픽쳐 데이터를 DCT 변환하고 상기 DCT 계수를 웨이브렛 구조로 변환하여 중요도가 높은 정보순으로 분류한 결과를 얻은 후 이것을 임베디드 제로트리 부호화하여 전송함으로써, 다음과 같은 장점이 있다.

첫째, 기존 부호화기와의 호환성(compatibility) 및 뛰어난 비트율왜곡(rate-distortion) 성능 향상으로 인해 공중망(PSTN)을 통한 영상 전화 시스템용 저전송률 비디오 전송에 적합하다.

둘째, 본 발명에서 이용한 제로트리 부호화는 스케일러블 특성 및 비트율 제어가 매우 용이한 장점을 갖는다. 따라서, 보통 이용 가능한 비트 버짓(budget)이 없거나 버퍼가 주어진 임계치를 넘을 때, 언제라도 비트스트림을 자를 수(truncation) 있다. 이런 특징은 영상 데이터 베이스에서의 브라우징(browing)에 특히 유용하다.

셋째, I 프레임 부호화의 뛰어난 비트율 왜곡 성능으로 인해 장면 전환 및 물체의 빠른 이동으로 인한 장면에서의 드러나거나 겹쳐진 영역(motion failed 영역)에 대하여 뛰어난 부호화 효율을 얻을 수 있다. 특히 MPEG-4 또는 H.263의 테스트 영상이 아닌 카메라로 직접 입력되는 자연 영상인 경우 인트라 매크로 블록의 발생이 많으므로 더 큰 부호화 효율을 얻을 수 있다. 즉, 저전송율 영상 부호화기의 성능은 I 프레임의 효율적인 부호화가 매우 중요하므로, 본 발명의 부호화기가 영상 부호화가에 실제로 적용될 경우 전체적인 부호화 효율이 향상된다.

넷째, 블록 왜곡 현상이 줄어든다. 이것은 DC 계수가 우선적으로 부호화되고 중간 및 구주파수 성분 반영의 결과이다.

다섯째, 본 발명의 현재 표준화가 진행중인 MPEG-4, H.263++, H.26L 요구 조건에 적합하며 실제 응용 가능하다.

Claims

하나의 프레임을 복수개의 블록으로 분해하여 부호화하는 영상 부호화 장치에 있어서,

입력 프레임을 복수개의 블록으로 나눈 후 각 블록의 공간 영역을 주파수 영역으로 변환하는 변환수단과;

상기 변환수단의 변환 계수를 영상재현에 필요한 정보를 포함하고 있는 정도에 따른 중요도 순으로 분류하여 재배치하는 재배치 수단과;

상기 재배치된 계수의 위치 및 크기 정보를 중요도 순으로 부호화하여 중요도에 따라 정렬된 비트 스트림을 출력하는 제로트리 부호화 수단을 포함하여 구성되는 것을 특징으로 하는 영상 부호화 장치.
제 1 항에 있어서, 상기 변환수단은 I 프레임의 경우

입력되는 데이터를 이산 여현 변환(DCT)에 의해 주파수 영역으로 변환하는 것을 특징으로 하는 영상 부호화 장치.
제 1 항에 있어서, 상기 변환 수단은 P 프레임의 경우

이전 I, P 프레임을 이용하여 움직임 보상 예측을 한 후 상기 움직임 보상된 데이터와 현재 입력되는 데이터와의 차를 이산 여현 변환(DCT)에 의해 주파수 영역으로 변환하는 것을 특징으로 하는 영상 부호화 장치.
제 3 항에 있어서, 상기 변환 수단은 P 프레임의 부호화시

하기의 수학식에 의해 각 블록의 인트라 모드/인터 모드를 결정하는 것을 특징으로 하는 영상 부호화 장치.

여기서, MB_mean은 매크로 블록의 평균값이고, A는 상기 매크로 블록에 대해서 각 픽셀과 평균값과의 차이임.
제 4 항에 있어서, 상기 변환 수단은

A < (SAD(x,y) - T)이면 움직임 추정을 하지 않는 인트라 모드로 결정하는 것을 특징으로 하는 영상 부호화 장치.

여기서, SAD는 이전 프레임의 같은 위치에서의 차값이고, T는 주어진 임계치이며, 각 매크록 블록의 움직임 상태에 따라 달라짐.
제 1 항에 있어서, 상기 재배치 수단은,

상기 변환 수단의 DCT 계수를 웨이브렛 해석을 이용하여 분류한 후 이것을 2-레벨 피라미드 구조로 재배치하는 것을 특징으로 하는 영상 부호화장치.
제 6 항에 있어서, 상기 재배치 수단의 2-레벨 피라미드 구조는

균일 대역 분해방법으로 분해된 네개의 대역을 독립적으로 웨이브렛 변환한 구조인 것을 특징으로 하는 영상 부호화 장치.
제 6 항에 있어서, 상기 재배치 수단은,

각 매크로 블록마다 DCT 계수들을 DC 계수와 주파수에 따른 AC 계수 값으로 분해한 후, 상기 분해된 DC 계수와 AC 계수들을 DC의 공간적 상관성을 이용하기 위해서 정의된 페어런트-칠드런 관계로부터 가장 저주파수 대역만 다시 재배치한 형태로 분류 및 재배치하는 것을 특징으로 하는 영상 부호화장치.
제 9 항에 있어서, 상기 제로트리 부호화 수단은,

I 프레임에 대해서는 DC 계수들의 평균값을 DC 계수에서 감산하여 DC 값을 바이어스시키는 것을 특징으로 하는 영상 부호화 장치.
제 9 항에 있어서, 상기 제로트리 부호화 수단은,

P 프레임의 경우에 대해서는 각 프레임당 인트라 블록들의 DCT 계수의 평균값을 DC 계수에서 감산하여 DC 계수들을 바이어스시키는 것을 특징으로 하는 영상 부호화 장치.
제 9 항에 있어서, 상기 제로트리 부호화 수단은,

P 프레임의 인터 모드의 블록에 대해서는 DC 평균값을 0으로 하여 DC 값을 바이어스시키지 않는 것을 특징으로 하는 영상 부호화 장치.
제 1 항에 있어서, 상기 제로트리 부호화 수단은,

재배치된 각 계수들을일련의 임계치들과 비교하여 중요 계수의 위치 및 부호를 부호화하며, 초기 임계치는 최대 계수치보다 작은 2의 최대 계승으로 하고, 이를 반씩 줄여나가면서 수행하는 것을 특징으로 하는 영상 부호화 장치.
제 1 항에 있어서, 상기 제로트리 부호화 수단의 출력은

움직임 보상 및 예측을 위해 다수개의 균일한 분해 대역을 갖도록 DCT 형태로 역재배치되는 것을 특징으로 하는 영상 부호화 장치.