KR20010089729A - 웨이블렛 분해에 기초한 컬러 비디오 부호화 방법 - Google Patents

Abstract

본 발명은 4: 2: 0 포맷으로 된 휘도 평면 Y와 색상 평면들 U 및 V 에 의해 구성된 컬러 공간에 적용되는 소위 3D-SPIHT 알고리즘을 사용하는 컬러 부호화 방법에 관한 것이다. U 및 V 평면들의 웨이블렛 분해는, 휘도 평면의 웨이블렛 분해의 해상도 레벨들의 수에서 1을 뺀, 다수의 해상도 레벨들을 통해 실행된다. 완전 해상도 컬러 U 또는 V 평면은 완전 해상도 휘도 평면의 근사값으로서 보일수도 있고, 상기 완전 해상도 컬러 U 또는 V 평면의 크기는 Y 평면의 다중해상도 분해에서 의 제 1 레벨의 근사값의 크기와 동일하며, 휘도의 n번째 해상도 레벨은 색상의 (n-1)번째 레벨과 동일한 크기를 갖는다. Y 평면의 가장 낮은 해상도에서의 근사값 서브-대역의 각 화소(i, j)는 U 및 V 평면들의 대응하는 서브-대역에서 동일한 위치에의 화소와 연관된다.

Description

웨이블렛 분해에 기초한 컬러 비디오 부호화 방법 {Color video encoding method based on a wavelet decomposition}

가장 효과적인 비디오 압축 알고리즘들 중에 하나는 관련된 비디오 시퀀스의 3차원 (2D+t) 프로세싱에 기초한다: 비디오 정보에서의 여분(redundancy)은, 분리할 수 있는 3D 웨이블렛 변환을 실행함으로써 감소된다(주된 차이는 예고 접근(predictive approach)이, 시간적 축(temporal axis)이 공간적 축들(spatial ones)로서 처리된다는 사실). 이 접근의 효율은 시간적 여과(temporal filtering)에서 고려되는 프레임들의 그룹(GOF:group of frames)의 모션 보상(motion compensation)이 이전에 여과에 적용될 때 개선된다. 긴 여과기(long filter)들로부터 이익을 얻는 공간적인 분해와 달리, 시간적 여과를 위한 최선의 선택은 소위 Haar 다중해상도 분석(Haar multiresolution analysis)이라고 증명된다. 왜냐하면 그것은 경계(boundary) 문제들을 일으키지 않고 최소한의 지연을 일으키기 때문이다.

3D 웨이블렛 분해는 그러므로 시퀀스내의 각 GOF에 적용된다. 그 그룹의 크기는 재구성내의 지연과(비디오컨퍼런스(videoconference)와 같은 리얼 타임 어플리케이션들(real time applications)에서 중요한) 후속의 부호화 알고리즘의 효율을 교환하기 위하여 선택된다. 데이터 압축 컨퍼런스의 학회지, 스노우버드 (Snowbird), Utah, USA, 1997, pp.251-257에서 B.J.Kim 및 W.A.Pearlman에 의한 "계층적 트리들(hierarchical trees)로 분할하는 3차원 세트를 사용하는 삽입된 웨이블렛 비디오 부호기"로서 설명된 것과 같은, 3D-SPIHT 알고리즘이 분해된 GOF에 적용될 때, 충분한 수의 분해 레벨들이 그 알고리즘이 기초된 시공간적인 트리들(spatio-temporal trees)을 구성하기 위하여 존재해야 한다. 실제로, GOF에서의 16개의 프레임들의 수는 대부분의 시퀀스들을 위한 훌륭한 선택이다.

이 3D-SPIHT 알고리즘은 명암(grey) 비디오 시퀀스들에 적용될 수도 있지만, 컬러 시퀀스들의 프로세싱은 동일한 비트 스트림내에 컬러를 삽입하는 문제를 발생시킨다. 휘도 Y 및 색상 평면들 U 및 V이 4:2:0 의 포맷으로 된 YUV와 같은 삼중 자극 컬러 공간을 고려하면, 컬러 비디오의 부호화 문제에 대처하기 위한 단순한 방법은, 종래의 컬러 비디오 부호기에 의해 행해진 것처럼, 각 컬러 평면을 개별적으로 부호화하는 것일 것이다. 그러나 이 기술은 삽입된 비트스트림을 제공하지는 못한다. 왜냐하면 이것은 컬러 평면들 사이에서 비트-할당(bit-allocation) 전략을 요구하기 때문이다. 게다가, 색상 평면들 비트스트림들은 연결되어 있고, 수신기는 비디오를 재구성(reconstruction)하고 디스플레이하기 위하여, 전체 비트스트림이도달할 때까지 기다려야 한다.

또다른 해결책에 따르면, 모든 컬러 평면들은 부호화 단계에서 한 개의 유니트로 취급될 수도 있고 그때 한 개의 혼합된 비트스트림이 생성될 수도 있으며, 그래서 한 개의 비트스트림은 재구성에서의 임의의 점에서 정지하고 주어진 비트율에서 컬러 비디오를 디스플레이할 수 있다. 이 해결책은 각 컬러 평면상의 동일한 수의 레벨들로 3D 웨이블렛 분해를 개별적으로 실행함으로써 진행된다. 그리고 나서, 모든 평면들을 함께 부호화하기 위하여, SPIHT로 정의된 LIP 및 LIS는 세 평면들 모두에서 가장 높은 레벨(top level)의 적절한 좌표들을 가지고 초기화된다.

이전에 설명된 접근에서, 각 컬러 평면은 그 자신의 시공간 방위 트리 (spatio-temporal orientation tree)를 갖지만, Y-, U- 및 V- 트리들은 상호간에 배타적이다. 평균 시간에서, 4:2:0 구성을 사용할 때, Y-, U- 및 V- 평면들 간의 크기들의 차이들은 동일한 다중해상도 분석을 실행할 가능성에 많은 영향을 미치며 또한 후속의 SPIHT 알고리즘의 부호화 효율에도 또한 많은 영향을 미친다. 사실, 나타난 문제는, 심지어 비디오의 본래 포맷(CIF 또는 QCIF)이, 휘도 평면을 고려할 시에 임의의 수의 해상도 레벨들을 허용한다 해도(예를 들어, QUIF 포맷 176×144는 4개의 해상도 레벨들을 허용한다), 이미 서브샘플된 포맷으로 있는 색상에 있어서, 더 적은 레벨이 분해에서 행해져야 한다는 것이다. 다른 한편으로, SPIHT 부호화는 오직 짝수 크기들(even sizes)의 서브밴드들을 가지고 잘 작동하기 때문에, 그때 3개의 레벨들만이 휘도 평면에 있어서 가능하다. 색상 평면들의 분해 레벨들의 수용될 수 있는 수에 관해서, 두가지 전략들이 가능하다:

동일한 수의 해상도 레벨들이 색상 다중해상도 분석을 위해 고려되고, 그것은 가장 낮은 해상도 레벨에서 홀수-크기의(odd-sized) 서브밴드들을 야기시킨다(그러므로 본래 SPIHT 알고리즘은 임의의 적응(adaptation) 없이는 이 전략에 대처할 수 없다.);

적절한 수의 분해 레벨들이 각 컬러 평면에 있어서 선택되어, SPIHT 알고리즘이 직접 적용된다.

본 발명은 휘도 평면 Y와 색상 평면들 U 및 V 가 4 : 2: 0 의 포맷으로 된 YUV와 같은 삼중자극(tri-stimulus) 컬러 공간에 적용되는 소위 3D-SPIHT 알고리즘을 사용하는 컬러 비디오 부호화 방법에 관한 것이다. 본 발명은 컬러 이미지들뿐 아니라, 컬러 비디오 시퀀스들에도 적용한다.

본 발명은, 예에 의해, 첨부된 도면들을 참조하여 설명될 것이다:

도 1은 본래의 SPIHT 알고리즘의 루트(root) 서브 밴드에서, 3D 분해의 8개의 계수들의 그룹을 보여준다 (8개중에 한개는 LIS를 초기화하는 데 사용되지 않는다);

도 2는 - 도 1에 관하여 - 본 발명에 따라 소개된 변형예를 도시한다: LIS의 초기화에 사용되지 않는 루트 계수들은 이제 LIP의 초기화에 사용된다;

도 3은 본래의 SPIHT 알고리즘에서 공간적인 분해의 서로 다른 서브밴드들 간의 의존성들을 보여준다;

도 4는 - 도 3에 관하여 - 제안된 방법에 따라 소개된 컬러 평면들 분해들간의 부가적인 의존성들을 도시한다(화살표는 또한 부모-자식 관계임을 표시한다)

본 발명의 목적은 제 2 전략의 단순화된 실행을 제안하는 것이다.

이 목적을 위하여, 본 발명은 설명의 도입 부분에서 정의된 것과 같은 방법에 관한 것이고 다음에 따른다.

-U 및 V 평면들의 웨이블렛 분해는, 휘도 평면의 웨이블렛 분해의 해상도 레벨들의 수에서 1을 뺀, 다수의 해상도 레벨들을 통해 실행된다;

-U 및 V 컬러 평면들은 이미, 완전 해상도(full resolution) 컬러 U 및 V 평면을 완전 해상도 휘도 평면의 근사값으로서 보는 것을 허용하는 서브-샘플된 포맷으로 되어 있기 때문에, 상기 완전한 해상도 컬러 U 또는 V 평면의 크기는 Y 평면의 다중해상도 분해내의 제 1 레벨 근사값의 크기와 동일하고, 휘도의 n 번째 해상도 레벨은 색상의 (n-1)번째 레벨과 동일한 크기를 갖는다;

-Y 평면의 가장 낮은 해상도에서 근사값 서브-밴드의 각 화소(i, j)는 U 및 V 평면들의 대응 서브-밴드에서의 동일한 위치에의 화소와 연관되어 있다.

본 발명은 4:2:0 포맷인 U 및 V 컬러 평면들이 이미 서브샘플된 포맷으로 되어 있다는 사실을 이용한다: 완전 해상도 컬러 U 또는 V 평면은 그때 완전 해상도 휘도 평면의 근사값으로서 보일 수도 있다. 게다가, 그 크기는 Y 평면의 다중해상도 분해내의 제 1 레벨 근사값의 크기와 동일하다. 몇가지 해상도 레벨들을 통하여 웨이블렛 분해를 실행할 때, 휘도의 n 번째 해상도 레벨은 색상의 (n-1)번째 레벨과 동일한 크기를 가진다. 이 대응성은 따라서, 휘도 평면의 웨이블렛 분해의 해상도 레벨들의 수에서 1을 뺀, 다수의 해상도 레벨들을 통하여 U 및 V 평면들의 웨이블렛 분해를 실행하는 것을 허용한다.

Y-평면의 가장 낮은 해상도에서 근사값 서브밴드의 각 화소(i,j)는 U 및 V평면들의 대응하는 서브밴드에서 동일한 위치에의 화소와 연관된다. 색상 계수들은 루트 서브밴드에서 휘도 계수보다 더 작은 값들을 가진다는 선행 가정은 실제로 실험적으로 증명되었다. U 및 V 평면들의 근사값 서브밴드들은 Y평면의 근사값 서브밴드의 결과들(offsprings)이 되고, 이 결과들은 Y-평면의 결과들의 목록에 부가된다. 동일한 수의 화소들이 서로 다른 컬러 평면들로부터 이 근사값 서브밴드들내에 놓여지기 때문에(한 개는 Y-평면보다 U 또는 V 컬러 평면에서 더 적게 한 레벨의 분해를 실행했었다), 루트 서브밴드의 각 Y-계수는 U 및 V 루트 서브밴드로부터 오는 두 개의 부가적인 결과(offsprings)들을 가진다. 따라서, 3D-SPIHT 알고리즘에 있어서, 본래의 알고리즘에서와 같이 8개의 결과들 대신에, 한 개가 루트 서브 밴드의 Y-평면에서 각 계수를 위한 10개의 결과들을 갖는다. 다음의 분해 레벨들에 있어서, 본래의 알고리즘에서와 동일한 계층의 계수들이 유지된다. 이것은 의존성의 관계들이 컬러 평면들간에서보다 동일한 컬러 평면내에서 더 강하다는 사실에 의하여 동기화된다. 휘도와 색상 성분들은 동일한 공간적 위치를 위해 동일한 시간에 처리되기 때문에, 삽입되는 특성(embeddedness property)은 보증된다.

이 변형예는 계수들의 초기 목록들의 구조에서의 단순화가 동반된다. 사실, 본래의 알고리즘은 세 개의 평면들 모두에서 제일 높은 레벨의 적절한 좌표들을 가지고 LIP 및 LIS를 초기화한다. 이것은 LIP가 세 개의 컬러 평면들로부터의 루트 서브밴드의 계수들 모두를 가지고 세팅되고, LIS는, 본래의 SPIHT 알고리즘의 루트 서브밴드내의 8개의 계수들의 그룹을 도시하는 도 1 에서 도시된 바와 같이, 동일한 시공간 서브밴드로부터, 및 모든 컬러 평면들로부터 8개중에 7개의 화소들을 가지고 초기화된다(8개의 계수들중 한 개는 LIS의 초기화에 사용되지 않는다). 본 접근에 있어, 단지 휘도 평면으로부터의 제일 높은 레벨 계수들의 적절한 좌표들을 가지고 이 목록들을 초기화하는 것이 필요하다: U 및 V 근사값 서브밴드들의 색상 계수들은 루트 서브밴드 내의 휘도 계수들의 결과들로서 나타난다. 이것은 또한 또다른 변형예를 암시한다: LIS의 초기화를 위해서는 고려되지 않는 위치들에 대응하는 U 및 V 컬러 평면들로부터의 루트 계수들은 LIP의 초기화를 위해 사용되야 한다.(도 2를 보라).

단순성을 위해 2차원으로 도시된, 상기 제안된 기술은(이전 방법은 도 3에서 도시되어 있고, 본 방법에 의해 소개된 변형예는 도 4에 도시되어 있다), 부모-자식 관계를 도입함으로써 비디오 시퀀스들내의 휘도와 색상간에 존재하는 상관관계와 세 개의 컬러 평면들의 시공간 트리들간의 의존 관계들을 이용한다. 그 잇점들은 주로:

-휘도와 색상 성분들간의 의존성들은 시공간 트리들간의 관계에 의해 이용된다;

-U 및 V 컬러 평면들은 감소된 수의 해상도 레벨들을 통해 분해되고, 따라서 알고리즘의 계산에 관한 복잡성은 감소된다:

-외삽법(extrapolation)은 필요로 하지 않고 따라서, 어떤 인위적인 계수들도 도입되지 않으며(단지 실제 화소들은 분해되고 부호화된다), 어떤 모션 벡터도 이들 인위적인 화소들 각각을 위하여 계산되고 부호화되지 않는다.

본 발명은 휘도 평면 Y와 색상 평면들 U 및 V 가 4 : 2: 0의 포맷으로 된 YUV 와 같은 삼중 자극 컬러 공간에서 적용되는 소위 3D-SPIHT 알고리즘을 사용하는 컬러 비디오 부호화 방법에 관한 것이다. 본 발명은 컬러 이미지들뿐 아니라, 비디오 시퀀스들에도 적용한다.

Claims (3)

1. 휘도 평면 Y와 색상 평면들 U 및 V가 4:2:0의 포맷으로 된 YUV와 같은 삼중 자극(tre-stimulus) 컬러 공간에 적용된 소위 3D-SPIHT 알고리즘을 사용하는 컬러 비디오 부호화 방법에 있어서,

   -상기 U 및 V 평면들의 웨이블렛 분해는 상기 휘도 평면의 웨이블렛 분해의 해상도 레벨들의 수에서 1을 뺀 다수의 해상도 레벨들을 통해 실행되고;

   -상기 U 및 V 컬러 평면들이 이미, 완전 해상도 컬러 U 또는 V 평면을 상기 완전 해상도 휘도 평면의 근사값으로서 보는 것을 허용하는, 서브-샘플된 포맷으로 있고, 상기 완전 해상도 컬러 U 또는 V 평면의 크기는 상기 Y 평면의 다중해상도 분해에서의 제 1 레벨 근사값의 크기와 동일하고 상기 휘도의 n 번째 해상도 레벨은 상기 색상의 (n-1)번째 레벨과 동일한 크기를 가지며;

   상기 Y 평면의 가장 낮은 해상도에서 근사값 서브-밴드의 각 화소(i,j)는 상기 U 및 V 평면들의 상기 대응 서브-밴드에서 동일한 위치에의 상기 화소와 연관되는, 컬러 비디오 부호화 방법.
2. 제 1 항에 있어서, 상기 본래 컬러 이미지를 분해함으로써 만들어지는 상기 계수들의 초기 목록들의 구조는, 이 목록들이 상기 휘도 평면으로부터의 제일 높은 레벨 계수들의 적절한 좌표들을 가지고서 오직 초기화되고, 따라서 U 및 V 근사값 서브밴드들의 색상 계수들은 루트 서브-밴드내의 휘도 계수들의 결과들(offsprings)로서 나타난다는 의미에서, 단순화되는, 컬러 비디오 부호화 방법.
3. 제 2 항에 있어서, 중요하지 않은 세트들의 목록의 초기화를 위해서는 고려되지 않는 위치들에 대응하는 U 및 V 컬러 평면들로부터의 상기 루트 계수들은 초기화에서의 중요하지 않은 화소들의 목록에서 소개되는, 컬러 비디오 부호화 방법.