KR100355829B1

KR100355829B1 - 영상의 공간적 유사성을 이용한 ｄｐｃｍ 영상 부호화 장치

Info

Publication number: KR100355829B1
Application number: KR1020000075881A
Authority: KR
Inventors: 조현덕; 마이보로다알렉산드르엘
Original assignee: 엘지전자 주식회사
Priority date: 2000-12-13
Filing date: 2000-12-13
Publication date: 2002-10-19
Also published as: US20020118884A1; KR20020047460A; US6993197B2

Abstract

본 발명은 DPCM 기반의 영상 부호화 장치에 관한 것으로서 특히, 영상의 공간적 유사성을 이용한 DPCM 기반 영상 부호화기에 관한 것이다.

본 발명은 원 영상에 대해서 평탄도 테스트기(201)에서 평탄도를 테스트하고, 선형 예측기(202a)에서 선형 예측값을 구한다. 스위칭부(202b)는 평탄도 테스트 결과에 따라서 스위칭된다. 평탄도 테스트 결과가 만족스러운 경우에는 선형 예측된 결과를 예측값으로 출력해서 원 영상과의 차를 양자화하고 부호화한다. 평탄도 테스트 결과가 만족스럽지 못한 경우에는 예측값 보정기(202c)에서 영상의 공간적 유사성을 이용해서 선형 예측값을 보정하고, 이 보정된 예측값을 출력해서 원 영상과의 차를 양자화하고 부호화한다.

본 발명은 선형 예측방법과 함께, 영상의 공간적 유사성을 이용한 예측방법을 동시에 적응적으로 적용함으로써, DPCM에 필요한 보다 좋은 예측값을 얻고 이를 통해서 영상 압축 효율을 향상시킨다.

Description

영상의 공간적 유사성을 이용한 ＤＰＣＭ 영상 부호화 장치{DPCM IMAGE CODER USING SELF-CORRELATED PREDICTION}

본 발명은 영상 압축 부호화 기법에 관한 것으로서 특히, DPCM을 기반으로 하는 영상 부호화에서, 선형 예측과 함께 영상의 공간적 유사성을 이용한 예측을 동시에 적용해서 DPCM에 필요한 보다 좋은 품질의 예측값을 얻고, 이 예측값을 이용해서 영상 부호화를 수행함으로써 영상 압축 효율을 향상시킬 수 있도록 한 영상 부호화 장치에 관한 것이다.

더욱 상세하게는 본 발명은 원 영상에서 부호화할 화소 부근에 대한 평탄도를 해석하고, 상기 평탄도 테스트 결과가 만족스러운 경우에는 선형 예측값을 사용하고, 그렇지 않은 경우에는 선형 예측값을 영상의 공간적 유사성을 이용해서 보정한 예측값을 사용해서 영상을 압축 부호화함으로써, 영상 압축 성능을 향상시킬 수 있도록 한 DPCM 기반 영상 부호화 장치에 관한 것이다.

상기한 바와같이 영상신호의 압축 부호화 기법으로 H.263이나 MPEG4 등에서는 움직임 벡터 부호화를 DPCM을 기반으로 하고 있다.

즉, 복호화기에서 알 수 있는 화소값들을 바탕으로 예측된 예측값과 현재 화소값의 차이값을 양자화 과정과 가변 길이 부호화 과정을 거쳐서 부호화한다. 따라서 DPCM 기반의 영상 압축 부호화는 예측값을 구하는 부분과, 예측값과 현재 부호화할 화소값의 차이값을 얻는 부분, 그리고 그 차이값을 양자화하는 부분과, 양자화된 차이값을 가변 길이 부호화(VLC)하는 부분으로 나눌 수 있다.

이와같이 DPCM 기반의 영상 압축 부호화시에는 예측값을 얼마나 잘 예측하는가에 따라 압축 성능이 좌우된다.

종래의 예측방법은 크게 나누어 선형적인 예측방법과 비선형적인 예측방법으로 나눌 수 있는데, 전자의 경우는 주변 화소들의 선형적인 조합에서 어떻게 가중치(weighted value)를 다르게 주는가에 대한 기술이 일반적이며, 선형적인 예측 방법을 기반으로 하는 DPCM 부호화기는 비규칙성으로 인해 보다 제한된 효율을 나타내지만, 평탄한 영역에서는 매우 효과적이다.

후자의 경우에는 정보 Z가 주어졌다고 가정할 때 정보 Y에 대한 최소 평균 자승(minimum mean square)의 관점에서의 최고의 예측값이 조건부 기대치 E(Y｜Z)임이 이론적으로 규명되어 있다.[R.Gray and A.Gersho, Vector quantization andsignal decomposition, Kluwer Academic Press, 1992.]. 그러나 이러한 이론적인 예측 방법은 실제로 구현할 수 있는 것은 아니어서 비선형 예측값을 실제로 이와같이 만들어 낼 수는 없다.

상기한 종래의 선형적 예측 및 비선형적 예측 방법을 이용하는데 있어서는 주변 화소의 특성 및 근사화를 기반으로 하고 있다. 그렇지만 이 경우에도 강한 경계나 선과 같은 경우를 비롯해서 예측이 주변 화소들의 근사성을 이용하는 것만으로는 적절하지 않은 경우가 실제 영상에서 많이 나타나고 있다는 점과, 이러한 경우의 영상 압축 부호화 문제를 해결하지는 못한다.

본 발명은 DPCM을 기반으로 하는 영상 부호화기로서, 선형적 예측방법과 비선형적 예측방법을 동시에 적용하는 것을 특징으로 하는 영상 부호화 장치를 제안한다.

특히, 본 발명은 DPCM을 기반으로 하는 영상 부호화기로서, 현재 부호화할 화소의 부근에 대한 평탄도(smoothness)를 테스트한 결과에 따라서 상기 선형적으로 예측된 예측값을 선택해서 사용하던가, 혹은 영상의 유사성을 이용해서 보정된 선형 예측값을 선택해서 예측값으로 사용함으로써 보다 품질이 좋은 예측값을 구하고 이를 통하여 압축 효율을 향상시킬 수 있도록 한 영상 부호화 장치를 제안한다.

또한 본 발명은 DPCM을 기반으로 하는 영상 부호화기로서, 상기 영상의 유사성을 이용해서 보정된 예측값을 구할 때, 국부 영역(Pool)의 공간적 유사성 탐색 기법을 이용해서 보정된 예측값을 구하고 이 예측값을 선택하여 부호화를 실행함으로써, 보다 높은 부호화 성능을 가질 수 있도록 한 영상 부호화 장치를 제안한다.

도1은 현재 부호화할 화소 및 주변 벡터와 풀을 설명하기 위한 도면

도2는 본 발명의 영상 부호화기의 구성을 나타낸 블럭도

도3은 본 발명의 영상 부호화기에서 선형 예측값 보정부의 내부 구성을 나타낸 블럭도

도4는 웨이블릿 계수들과 트리 구조를 나타낸 도면

도1은 본 발명을 설명하기 위한 화소 및 주변 벡터들에 대해서 예시한 도면이다. 현재 부호화할 화소 x와 이 화소에 인접한 주변의 벡터 A를 보여주고 있다. 주변 벡터 A는 화소 x의 주변에서 이미 부호화된 화소들로 구성되어 있다. 여기서 주변 벡터의 크기(dimension)와 사용된 구성(윈도우 사이즈와 형태)는 임의로 정할 수 있지만 본 발명에서는 A = [B_-2, B_-1, B₀, B₁, B₂, C_-2, C_-1]을 고려하였다(단, 영상의 경계에 x가 있는 경우는 여기서 고려하지 않는다). 즉, 주변 벡터 A는 부호화 하고자 하는 화소 x의 주변 화소들 중에서 이미 처리된 화소들이 주변 벡터에 해당한다.

한편, 이미 처리된 화소값 영역 중에서 특정 영역 내에 있는 각 화소마다 그 것을 둘러싼 하나의 주변 벡터를 생각할 수 있는데, 이 것을 풀(Pool)이라고 정의한다. 이 풀(Pool)의 크기는 도1에 나타낸 바와같이 현재 부호화할 화소 x의 부근에서 임의의 크기로 주어질 수 있으며, 이 풀(Pool) 안의 각 화소는 그 것을 둘러싼 하나의 주변 벡터와 연관해서 생각할 수 있다. 도1에서 풀(Pool)의 크기 PSize = 2ㆍHSizeㆍVSize - HSize + VSize -1 가 된다.

이 풀(Pool)은 후술하는 본 발명의 풀 탐색 기반 예측에 이용될 것이다.

도2는 본 발명의 영상 부호화기의 구성을 나타낸 블럭도로서, 원 영상의 평탄도를 평가하는 평탄도 테스트기(201)와, 부호화할 화소에 대한 예측값을 영상의유사성을 이용해서 예측하는 예측기(202)와, 상기 예측값과 원 영상의 차이값을 출력하는 감산기(203)와, 상기 감산기(203)에서 출력된 차이값을 양자화하는 스칼라 양자화기(204)와, 상기 양자화된 차이값을 상기 평탄도 테스트기의 출력에 따라 부호화하여 출력하는 제어형 산술 부호화기(205)로 이루어진다.

상기 평탄도 테스트기(201)는 현재 부호화할 화소 x의 부근에 대한 평탄도(smoothness)를 평가하고, 평탄도를 테스트한 결과를 영상의 유사성을 이용한 예측기(202)와 제어형 산술 부호화기(205)에 제공한다.

평탄도 테스트에 사용되는 척도로는 주변 벡터 A[A = (B_-2, B_-1, B₀, B₁, B₂, C_-2, C_-1)]중에서 C_-1과 A_i의 차의 절대값이 가장 큰 값을 소정의 임계치(Th)와 비교한 결과에 다른다.

즉, max_i(｜C_-1- A_i｜) < Th. 여기서, A_i는 주변 벡터 A의 i번째 요소를 의미하며, 임계치(Th)의 값은 거의 최적화된 상태로 Th = 3.0ㆍsqrt(Quant)(단, Quant는 양자화 변수)로 구해진다.

예측기(202)(Self-correlated Predictor)는 영상의 유사성을 이용해서 예측값(P_x)을 출력하는데, 그 방법은 선형 예측을 먼저 수행하고 상기 평탄도 테스트 결과에 따라 선형 예측값을 선택하여 최종적인 예측값(Predicted Value)으로 출력하던가(평탄한 영역에서 선형 예측값의 보정은 효과적이지 않다), 아니면 상기 선형 예측값을 영상의 유사성을 이용해서 보정하여 이 것을 최종적인 예측값(Predicted Vaue)으로 출력한다.

이를 위하여, 영상의 유사성을 이용한 예측기(202)는, 현재 부호화할 화소에 대해서 주변 화소값들을 이용해서 선형 예측을 수행하는 선형 예측기(202a)와, 평탄도 테스트 결과에 따라 상기 선형 예측값(P_l)를 최종적인 예측값으로 출력하던가 혹은 보정단계로 전환하여 공급하는 스위칭부(202b)와, 상기 스위칭부(202b)에 의해서 제공된 선형 예측값(P_l)에 대해서 영상의 공간적 유사성을 이용한 보정을 수행하여 이 것을 최종 예측값으로 출력하는 예측값 보정기(202c)로 이루어지고 있다.

따라서 본 발명에 따른 영상의 유사성을 이용한 예측기법에서는, 선형 예측기(202a)가 원 영상에 대해서 현재 부호화할 화소 주변값들을 이용해서 선형 예측을 수행하고, 이 예측된 값(P_l)을 출력한다.

여기서, 선형 예측방법으로는 예측할 화소 x의 주변의 4개 화소(B_-1, B₀, B₁, C_-1)를 이용하는 적응적 예측기법을 사용할 수 있다.

즉, P_l= f₀ㆍC_-1+ f₁ㆍB₀+ f₂ㆍB_-1+ f₃ㆍB₁.

여기서 f_i의 값은 다음의 변수 DVH에 따라 적용된다.

DVH = Dif_V/Dif_H, Dif_V = ｜C_-1- B_-1｜, Dif_H = ｜B_-1- B₀｜.

즉, 화소 x를 기준으로 고려된 4개의 주변 화소들 중에서 수직 방향으로 인접한 2개의 화소(C_-1, B_-1)들의 차의 절대값과 수평 방향으로 인접한 2개의 화소(B_-1, B₀)들의 차의 절대값의 비로써 DVH를 정하고, 이 DVH에 따라서 f_i를 다음과 같이설정하여 예측값(P_l)을 구하는 것이다.

DVH > 1.5 이면 f₀= 0.75, f₁= 0.05, f₂= 0.15, f₃= 0.05.

DVH < 0.7 이면 f₀= 0.15, f₁= 0.55, f₂= 0.15, f₃= 0.15.

0.7 ≤DVH ≤1.5 이면 f₀= 0.75, f₁= -0.25, f₂= 0.25, f₃= 0.25.

이와같이 하여 구한 선형 예측값(P_l)은 스위칭부(202b)에 의해서 선택적으로 서로 다른 경로로 제공된다.

즉, 스위칭부(202b)는 상기 평탄도 테스트 결과에 따라 상기 선형 예측값(P_l)을 최종적인 예측값으로 출력하던가, 혹은 보정기(202c)로 공급한다.

만약, 상기 평탄도 테스트 결과, 부호화할 화소 x 부근이 평탄하다고 판정되면 스위칭부(202b)는 상기 선형 예측기(202a)에서 얻어진 예측값(P_l)을 최종적인 예측값으로 선택하여 출력한다. 그러나 부호화할 화소 x 부근이 평탄하지 않다고 판정되면 상기 스위칭부(202b)는 선형 예측기(202a)에서 얻어진 예측값(P_l)을 예측값 보정기(202c)(Self-correlated Corrector)로 제공한다.

예측값 보정기(202c)는 영상의 공간적 유사성을 이용해서 상기 선형 예측값(P_l)을 보정하여 최종적인 예측값으로 출력하게 된다. 예측값 보정기(202c)의 자세한 구성과 설명하는 도3을 참조하여 후에 설명한다.

다시, 도2를 참조하면, 위와같이 하여 예측기(202)에서 출력된 최종적인 예측값은 감산기(203)에 입력되고, 감산기(203)는 원 영상과 예측값의 차이값(예측오차)을 구하여 스칼라 양자화기(204)에 입력해 준다. 양자화기(204)는 예측오차에 대한 양자화를 수행하여 그 결과로 양자화된 값과 부호(sign)를 제어형 산술 부호화기(205)에 제공한다.

부호화기(205)는 예측오차의 부호와 양자화된 데이터를 상기 평탄도 테스트 결과에 따라 두개의 비트열(bit-stream)로 나누어 부호화한다. 여기서 부호화기는 전형적인 가변 길이 부호화기를 사용할 수 있다.

도2에 의하는 바와같이 본 발명에서는 평탄도 테스트 결과에 따라서 선형 예측값을 최종적인 예측값으로 선택하여 예측오차를 구하고 이를 양자화 및 부호화하던가, 혹은 선형 예측값을 영상의 공간적 유사성을 이용해서 보정한 다음에, 이 보정된 선형 예측값을 최종적인 예측값으로 선택하여 예측오차를 구하고 이를 양자화 및 부호화하고 있다.

위와같은 부호화 장치에서 영상의 공간적 유사성을 이용한 선형 예측값의 보정기(202c)의 실시예를 도3에 나타내었다.

도3을 참조하면 본 발명에 따른 선형 예측값 보정기는, 현재 부호화할 화소에 대한 주변 벡터를 결정하는 주변 벡터 결정기(301)와, 현재 부호화할 화소 부근에 있는 화소들에 해당하는 주변 벡터들의 풀(Pool)을 결정하는 풀 결정기(302)와, 벡터 탐색을 위한 거리 정보를 제공하는 거리 연산기(304)와, 상기 거리 연산기(304)에서 제공된 거리 측정자를 이용해서, 상기 결정된 풀에 속해있는 주변 벡터들 가운데 부호화할 화소에 해당하는 주변 벡터와 가장 근사한 벡터들을 탐색하는 탐색기(304)와, 상기 탐색기(304)에서 탐색된 벡터 정보를 이용해서 풀 탐색 기반의 예측값(P_pool)을 결정하는 예측값 결정기(305)와, 최종 예측값 결정을 위한 가중치 계수를 구하는 가중치 계수 결정기(306)와, 상기 선형 예측값(P_l)과 풀 기반 예측값(P_pool)에 상기 가중치를 고려해서 최종적인 예측값을 출력하는 최종 예측값 결정기(307)를 포함하여 이루어지고 있다.

상기한 바와같이 구성된 본 발명에서의 선형 예측값 보정기의 동작을 설명한다.

먼저, 주변 벡터 결정기(301)는 현재 부호화할 화소 x에 대한 주변 벡터 A를 결정한다. 도1의 경우라면 주변 벡터 A는 앞에서 설명한 것처럼 A = [B_-2, B_-1, B₀, B₁, B₂, C_-2, C_-1] 으로 결정할 것이다. 여기서 결정된 주변 벡터 A 정보는 탐색기(304)에 제공된다.

풀 결정기(302)는 도1에서 설명한 풀(Pool)을 결정하는데, 풀은 앞에서 설명한 바와같이 현재 부호화할 화소 x의 부근에 있는 화소들에 해당하는 주변 벡터들의 영역이다. 즉, 이미 처리된 화소값 영역 중에서 특정 영역 내에 있는 각 화소마다 그 것을 둘러싼 하나의 주변 벡터를 풀(Pool)이라고 정의하고 이 풀을 선택하며, 도1에 따르면 풀(Pool)의 크기 PSize = 2ㆍHSizeㆍVSize - HSize + VSize -1 가 된다. 풀 결정기(302)는 결정된 풀 정보를 탐색기(304)에 제공한다.

탐색기(304)는 상기 풀 결정기(302)로부터 제공받은 풀 정보와, 상기 주변벡터 결정기(301)로부터 제공받은 주변 벡터 A 정보를 이용해서, 풀에 속해 있는 주변 벡터들 가운데 상기 부호화할 화소 x에 해당하는 주변 벡터 A와 가장 근사한 벡터들을 검출하고 선택해 낸다. 이때 거리 연산기(304)에서 정의된 거리 측정자를 이용해서 탐색을 수행한다.

탐색기(304)에서 탐색된 벡터들은 풀 탐색 기반 예측값 결정기(305)와 가중치 계수 결정기(306)에 제공된다.

풀 탐색 기반 예측값 결정기(305)는 상기 탐색 결과를 이용해서 풀 탐색에 기반한 예측값(P_pool)을 출력하고, 가중치 계수 결정기(306)는 상기 탐색 결과를 이용해서 최종 예측값의 결정을 위한 가중치를 구하여 최종 예측값 결정기(307)에 제공한다.

최종 예측값 결정기(307)는 선형 예측값(P_l)과, 상기 풀 탐색에 기반한 예측값(P_pool)에 가중치를 고려해서 최종적인 예측값(P_x)을 출력한다.

여기서, 풀 탐색을 기반으로 예측값(P_pool)을 얻는 과정과, 가중치 계수를 결정하는 과정, 그리고 이들과 선형 예측값(P_l)으로부터 최종적인 예측값(P_x)을 구하는 과정을 상세하게 살펴본다.

본 발명은 기본적으로 품질이 좋은 예측값을 얻기 위해서 영상의 자기 유사성(self-kindness)을 이용한다는 것이다. 특히, 경계나 선과 같이 높은 콘트라스트(contrast)를 갖는 영상에서 보다 좋은 예측값을 얻고자 한다. 따라서본 발명에서는 현재 화소값을 예측하는데 있어서 주변의 몇 개의 화소값을 이용하는데, 이렇게 이용되는 주변 화소의 선택은 이미 설명한 바와같이 해당 주변 화소의 주변벡터와 현재 화소의 주변 벡터가 얼마나 유사한가에 의존한다.

그러므로, 풀 탐색에 기반한 예측값(P_pool)을 얻는 과정 중에서 첫번째 단계는 주변 벡터들의 풀을 구성하는 것이다(도1 참조). 주변 벡터의 구성과 크기(dimension)는 다양하지만 도1에서와 같이 주변 벡터 A = [B_-2, B_-1, B₀, B₁, B₂, C_-2, C_-1]를 고려할 수 있고, 또 PSize = 2ㆍHSize ×VSize - HSize + VSize -1 로 풀(Pool)을 결정할 수 있다.

또 한가지 시도로써, 영상을 확대해서 이 확대된 해상도의 영상을 주변 벡터를 이용할 때 사용할 수 있지만, 이 경우는 계산량이 보다 많이 필요하다.

상기한 바와같이 풀 결정기(302)에 의해서 결정된 풀 안에서 주변 벡터 결정기(301)가 결정한 현재 주변 벡터 A에 가장 근접한 벡터들을 탐색한다는 것은 곧 주변 벡터의 근사성을 얼마나 허용할 것인가의 문제가 된다. 이 것을 위해서 주변 벡터의 근사성을 가늠하는 측정자를 정의하는 것이 중요한 문제가 된다. 본 발명에서 거리 연산기(303)는 다음의 가중치 놈(norm)을 사용한다. 이 것은 주변 벡터의 유사성의 척도를 결정짓는 인자가 된다.

상기 식1에서 A_i는 주변 벡터 A의 각 성분(2차원 x-y좌표상에서 볼 때 x,y 성분)을 의미한다. n_i와 m_i는 가중치 계수로서 이와같이 가중치 계수를 사용한 것은 하나의 주변 벡터의 각 요소들은 각각 다른 중요도를 가진다고 생각할 수 있기 때문에 각각의 중요도에 합당한 가중치를 주기 위한 것이며, n_i와 m_i는 실험적으로 구해진다. 식1의 경우가 다소 좋은 결과를 나타내지만, 식2가 보다 적은 연산량을 요구한다.

한편, 탐색기(304)에서는 풀(Pool)에 속해있는 주변 벡터들 가운데서 부호화할 화소 x에 해당하는 주변 벡터 A와 가장 근사한 벡터들을 N개 골라낸다.

즉, A₁,A₂,A₃,...,A_N∈ Pool 과, 각각에 대응하는 화소값 x₁,x₂,x₃,...,x_N을 출력한다.

상기 탐색 결과는 예측값 결정기(305)에 제공되어 풀 탐색에 기반한 예측값(P_pool)을 출력하게 된다.

풀 탐색 기반의 예측값은 상기 화소값 x₁,x₂,x₃,...,x_N중에서 A₁과의 거리가 소정의 임계치 T_dist보다 적은 주변 벡터에 해당하는 화소값 만을 예측에 고려하여, 다음의 식3과 같은 풀 탐색 기반의 예측값(P_pool)을 출력하는 것이다.

여기서, M ≤N이고, M은 탐색기(304)에서 제공된 N개의 주변 벡터 중에서 A₁과의 거리가 임계치 T_dist보다 적은 주변 벡터의 수이며, T_dist와 t_i ^M은 실험적으로 정한다.

이와같이 하여 구한 예측값(P_pool)은 최종 예측값 결정기(307)에 제공되고, 최종 예측값 결정기(307)는 선형 예측값(P_l)과 상기 풀 탐색 기반의 예측값(P_pool)에 가중치를 고려해서 최종적인 예측값(P_x)을 결정한다.

즉, P_x= W ·P_pool+ (1-W) ·P_l로 최종적인 예측값(P_x)을 결정하며, 여기서 가중치(W)는 가중치 계수 결정기(306)에서 결정된 값인데, 이 값(W)은 주변 벡터 A와 A₁의 차의 절대값의 평균(D_A= ∥A-A₁∥)에 의존한다. 즉, D_A가 작을 수록 보다 큰 가중치(W)가 풀 탐색 기반 예측값(P_pool)에 곱해진다.

예를 들어 가중치(W)를, W = 1/(1 + e ·D_A ²) 으로 구할 수 있고, 여기서 e는 실험적으로 결정된다.

이와같이 해서 최종적으로 구한 예측값(P_x)과 원 영상과의 차이값(예측오차)은 상기 도2에서 설명한 바와같이 양자화 및 부호화되어 출력될 것이다.

상기한 바와같이 본 발명의 영상 부호화 기법을 하나의 실시예로서 설명하였으나, 본 발명의 기술적 사상의 범주 안에서 국부적인 변경을 가하는 것도 가능할 것이다. 예를 들면 앞에서 설명한 기법과는 다른 형태의 선형 예측(또는 다른 예측)이 사용될 수도 있고, 또한 주변 벡터의 구성도 바꿀 수 있을 뿐만 아니라, 탐색에 사용되는 거리 측정자도 다르게 정의할 수 있을 것이다.

지금 까지는 영상 도메인에서의 DPCM 방법에 대해서 살펴보았다. 그러나, 최근에는 영상을 특정한 변환 방법으로 변환한 후에 변환 도메인에서 압축하는 방법이 널리 사용되고 있다. 그러나 기존의 선형 예측기는 변환 도메인에 적합하지 않기 때문에, 일반적으로 전통적인 DPCM 방법은 변환 도메인에서 적용되지 않았다.

그러나 본 발명은 그 비선형적 특성 때문에 변환 도메인에서도 잘 적용될 수 있다.

도4는 한가지 예를 보여준다. 영상 압축을 위한 변환 방법 중에서 많이 사용되는 방법으로 웨이블릿 변환(wavelet transform)이 있다. 웨이블릿 변환을 수행하면 영상은 저주파 영역부터 고주파 영역까지 각각의 밴드 주파수를 나타내는 영역으로 나뉘어지고, 이 나뉘어진 영역을 서브 밴드(밴드 영역)이라고 한다.

웨이블릿 변환의 결과는 원 영상에 대하여 상대적으로 더 의미있는 정보를 많이 포함하고 있는 저주파수 영역으로 정보가 몰리는 특성을 갖게 된다. 그래서 이 밴드 영역을 효과적으로 압축하는 방법으로 제로트리 부호화(zerotree coding)가 알려져 있다.

제로트리 부호화는 지배적 경로(dominant pass)와 종속적 경로(subordinatepass)의 연속으로 이루지며, 자세한 부호화 방법은 'J.M.Shapiro, "Embedded image coding using zerotrees of wavelet coefficients," IEEE Trans. Signal Proc., 41(12):3445-3462, Dec.1993' 등에 알려져 있다.

본 발명에서는 한 번의 지배적 경로와 한 번의 종속적 경로로 압축을 수행하도록 하고, 종속적 경로로 DPCM을 수행하도록 한다.

먼저, 지배적 경로를 간단하게 설명한다. 도4에서 보는 것처럼 웨이블릿 변환된 결과 즉, 웨이블릿 계수들을 트리 구조(tree structure)로 묶는다. 이 트리 구조에서 최상단의 계수를 부모(parents)라고 하고, 부모 보다 하위의 계수들을 자녀(children)라고 하고, 자녀를 포함하여 더 하위의 계수들을 통칭하여 자손(descendents)이라고 한다.

제로트리 부호화는 상기 부모 계수의 값이 특정한 임계치 보다 작으면 자손 계수들도 모두 임계치 보다 작을 가능성이 높다는 점을 이용해서 영상을 압축한다.

즉, 어떤 임계치와의 비교를 통해, 웨이블릿 계수의 절대값이 작으면 그 계수를 제로(zero)라고 정의하고, 임계치 보다 크면 비제로(nonzero)라고 정의한다. 이 때 비제로(nonzero)로 정의된 계수에 대해서 그 계수의 위치 정보를 전송하는 것을 지배적 경로(dominant pass)라고 한다. 그리고 이 계수에 대한 양자화를 수행하게 되는데, 여기에 DPCM을 적용할 것이다.

한편, 비제로(nonzero) 계수들의 위치 정보를 전송하기 위해서 트리 구조가 이용된다. 부모 계수가 제로(zero)이면 자손 계수들도 제로일 가능성이 매우 높으므로 트리 구조에서 부모 계수를 포함해서 모든 자손 계수들이 제로인 경우를 한개의 심볼(symbol)로 정의하면 큰 압축 효과를 얻을 수 있다.

따라서, 제로 트리 부호화에서 비제로(nonzero) 계수의 위치정보는, 1.자기 자신이 비제로(nonzero) 계수인 경우, 2.자기 자신만 제로이고 자손 계수들 중에 하나는 비제로인 경우, 3.자기 자신과 그 자손 계수들 모두 제로인 경우를 각각 3개의 심볼로 정의한 후, 웨이블릿 계수들을 스캔(scan)해 가면서(통상 지그재그 스캔함), 3개의 심볼 형태로 전송된다.

이와같이 3개의 심볼의 연속으로 이루어진 지배적 경로가 끝나면, 비제로(nonzero) 값에 대하여 DPCM을 수행하고 그 후에 양자화를 수행한다.(제로값은 복호화기에서 '0'으로 복원된다). 그리고 밴드 영역에서의 DPCM은 영상 도메인에서 수행하는 것과 같은 방식이지만, 밴드 영역은 영상 도메인과 비교해 볼 때 픽셀간의 상관성이 떨어지기 때문에(변환 도메인이므로) 선형 예측기(202a)의 효력이 미미할 수 있다.

따라서, 밴드 영역에서의 DPCM을 위하여 상기 가중치 W=1/(1 + e ·D_A ²)를 구할 때 사용하는 계수 e의 값을 새롭게 선정해 주고, 또 평탄도 테스트의 척도인 max_i(｜C_-1- A_i｜) < Th 를 max_i(｜C_-1- A_i｜) < Th, where^∃A_iTh4zero 로 수정한다.

단, Th4zero는 제로와 비제로로 구분하는 임계치이다.

즉, 현재 DPCM을 수행하려고 하는 계수는 비제로(nonzero)임에도 불구하고선형 예측에 필요한 주변 계수들이 모두 제로이면 선형 예측을 사용했을 때 '0'인 값을 예측하게 된다. 이 것은 결과적으로 예측 오차를 증가시키게 되므로, 전술한 평탄도 테스트의 척도를 만족하였다고 하더라도 주변 계수들이 모두 제로이면 선형 예측을 수행하지 않고 선형 예측 보정과정을 거치도록 하는 것이다.

본 발명은 DPCM 기반의 영상 압축 부호화에서 보다 높은 품질의 예측값을 사용해서 압축 부호화를 할 수 있다.

본 발명은 DPCM 기반의 영상 압축 부호화에서 선형 예측값과, 선형 예측값을 영상의 공간적 유사성을 이용해서 보정한 예측값을 평탄도에 따라 선택적으로 이용해서 압축 부호화를 수행할 수 있다.

그러므로 본 발명에 따르면 평탄한 영역 뿐만 아니라, 강한 경계나 선과 같이 복잡한 영역에서도 영상의 유사성을 효과적으로 살려서 좋은 품질의 예측값을 얻어낼 수 있고, 이 것은 영상 압축효율의 향상을 가능하게 한다.

Claims

현재 부호화할 화소 주변의 평탄도를 평가하는 평탄도 테스트수단과, 원 영상에 대한 선형 예측 및 영상의 유사성을 이용한 예측을 수행하여 예측값을 구하는 예측수단과, 상기 예측값과 원 영상과의 예측오차를 양자화하는 양자화 수단 및, 상기 평탄도 테스트 결과에 따라 상기 양자화 정보를 산술 부호화하는 부호화 수단을 포함하여 이루어진 것을 특징으로 하는 영상의 공간적 유사성을 이용한 DPCM 영상 부호화 장치.
제 1 항에 있어서, 상기 평탄도 테스트수단에 의한 평탄도 평가가 현재 부호화할 화소의 주변 벡터들 사이의 차의 절대값과 설정된 소정 임계치 사이의 비교를 통해서 이루어지는 것을 특징으로 하는 영상의 공간적 유사성을 이용한 DPCM 영상 부호화 장치.
제 1 항에 있어서, 상기 예측수단은, 현재 부호화할 화소에 대한 선형 예측값을 구하는 선형 예측수단과, 상기 선형 예측값을 영상의 유사성을 이용해서 보정하는 선형 예측값 보정수단과, 상기 평탄도 테스트 결과에 따라서 상기 선형 예측값 또는 보정된 예측값을 최종적인 예측값으로 선택하여 출력하는 예측값 선택수단을 포함하여 이루어지는 것을 특징으로 하는 영상의 공간적 유사성을 이용한 DPCM 영상 부호화 장치.
제 3 항에 있어서, 상기 예측값 선택수단은 상기 평탄도 테스트 결과, 부호화할 화소 부근이 평탄하지 않을 경우에 상기 선형 예측값 보정수단이 선형 예측값에 대한 보정을 수행하고, 평탄한 경우에는 예측값 보정없이 상기 선형 예측값이 최종 예측값으로 출력되도록 스위칭되는 것을 특징으로 하는 영상의 공간적 유사성을 이용한 DPCM 영상 부호화 장치.
제 3 항에 있어서, 상기 선형 예측값 보정수단은, 현재 부호화할 화소 주변의 벡터를 정의하는 주변벡터 결정수단과, 현재 부호화할 화소의 주변에 있는 화소들에 해당하는 주변벡터들의 풀을 정의하는 풀 결정수단과, 상기 주변 벡터의 유사성을 가늠하기 위한 거리 연산수단과, 상기 결정된 풀 내에 속해 있는 주변 벡터들 중에서 상기 현재 부호화할 화소에 해당하는 주변 벡터와 가장 근사한 벡터들을 소정 갯수 찾아내는 탐색수단과, 상기 탐색수단에서 구한 주변 벡터들을 이용해서 풀 탐색에 기반하는 풀 탐색 예측값을 출력하는 풀 탐색 기반 예측값 결정수단과, 최종 예측값 결정을 위한 소정의 가중치 계수를 구하는 가중치 결정수단과, 상기 선형 예측에서 얻어진 예측값과 풀 탐색 기반 예측값을 이용해서 상기 가중치를 고려한 최종 예측값을 출력하는 최종 예측값 결정수단을 포함하여 이루어지는 것을 특징으로 하는 영상의 공간적 유사성을 이용한 DPCM 영상 부호화 장치.
제 5 항에 있어서, 상기 풀 탐색 기반 예측값은 상기 풀을 기반으로 예측된화소값 중에서 현재 주변 벡터와 가장 유사한 주변 벡터에 해당하는 화소값을 예측에 고려하는 것을 특징으로 하는 영상의 공간적 유사성을 이용한 DPCM 영상 부호화 장치.
제 5 항에 있어서, 상기 최종 예측값 결정수단에 의한 최종 예측값의 결정은, 풀 탐색 기반 예측값(P_pool), 선형 예측값(P_l), 가중치(W)에 대하여 최종 예측값(P_x)을, P_x= WㆍP_pool+ (1-W)ㆍP_l; 로 결정하는 것을 특징으로 하는 영상의 공간적 유사성을 이용한 DPCM 영상 부호화 장치.
제 1 항에 있어서, 상기 원 영상에 대한 선형 예측 및 영상의 유사성을 이용한 예측과 최종 예측값의 결정이, 원 영상의 웨이블릿 변환된 계수에 대해서 제로트리 기반 엔코딩으로 이루어지는 것을 특징으로 하는 영상의 공간적 유사성을 이용한 DPCM 영상 부호화 장치.
제 8 항에 있어서, 상기 웨이블릿 계수의 평탄도 테스트를 위한 척도가 제로(zero) 및 비제로(nonzero)를 구분하는 임계치를 더 포함하는 것을 특징으로 하는 영상의 공간적 유사성을 이용한 DPCM 영상 부호화 장치.