KR100296066B1

KR100296066B1 - 웨이브렛에기초한코딩기술에의해생성된제로트리를인코딩하기위한장치및방법

Info

Publication number: KR100296066B1
Application number: KR1019980703813A
Authority: KR
Inventors: 스티븐 앤쏘니 마투씨; 아이래 소다가르; 야-킨 장
Original assignee: 마찌다 가쯔히꼬; 샤프 가부시키가이샤; 윌리암 제이. 뷰케; 사노프 코포레이션
Priority date: 1995-10-25
Filing date: 1996-10-25
Publication date: 2001-08-07
Also published as: EP0857389A1; US6483946B1; JP3853758B2; EP0857389A4; EP0857389B1; KR19990067703A; JPH11513874A; DE69635055T2; JP3563740B2; EP0857389B8; DE69635055D1; WO1997016021A1; JP2004032760A; US6298167B1

Abstract

웨이브렛에 기초한 부호화 기술에서 제로트리를 부호화하는 장치(100, 900, 1000, 1100, 1200) 및 방법이다. 상기 방법은 제로트리를 횡단하기 위한 제1 깊이 패턴을 사용, 즉, 부모로부터 자식 및 손자등에 까지, 트리의 각 가지를 완전히 횡단하고 나서 다음 가지를 횡단한다. 제1 깊이 트리 횡단 패턴을 사용하여 트리의 계수를 양자화할 뿐아니라 양자화된 계수에 트리를 지정한다. 상기 방법은 각각의 노드에 대한 3 개의 심볼: ZEROTREE ROOT, 잠재적 VALUED ZEROTREE ROOT, 및 VALUE 중 하나를 지정한다. 3 개의 심볼 및 효율적인 트리 횡단 패턴을 사용함으로써, 상기 방법은 실질적으로 종래 기술보다 제로트리를 부호화하는데 더 효율적이다. 추가적으로, 본 개념은 또한 "벡터" 제로트리의 부호화에 적용된다.

Description

웨이브렛에 기초한 부호화 기술에 의해 생성된 제로트리를 부호화하기 위한 장치 및 방법{APPARATUS AND METHOD FOR ENCODING ZEROTREES GENERATED BY A WAVELET-BASED CODING TECHNIQUE}

본 출원은 1995년 10월 25일에 출원된 미국 가 특허 출원 제60/000,012 및 1996년 6월 28에 출원된 동 제60/020,852의 권리를 소급하여 청구한다.

본 발명은 화상 처리 시스템에 관한 것으로, 특히, 웨이브렛의 부호화 기술을 이용한 화상 처리 시스템에 관한 것이다.

데이터 압축 시스템은 가능한 한 최소 비트수로 정확하게 정보를 나타내고 그래서 정보 기억 시스템 또는 전송 시스템에 기억되거나 전송되어야만 하는 데이터양을 최소화하는데 유용하다. 본 기술 분야에 사용되는 압축의 주요한 수단중 하나는 원시 데이터와 비교될 때 신장된 데이터의 화질에 큰 영향을 주지 않고 원시 데이터로부터 여분 정보를 제거하는 것이다.

그러한 압축 기술중 하나가 'The Proceedings of International Conference on Acoustics, Speech and Signal Processing, San Francisco, Cal. March 1992, volume IV, pages 657 - 660'에 기재되어 있고, 이 문헌에는 제로트리(zerotree)를 포함하는 계층적 연속 근사 엔트로피 부호화된 양자기(hierarchical successive approximation entropy-coded quantizer)에 의해 이어받게 된, 계층적 서브밴드 분해(hierarchical subband decomposition), 또는 웨이브렛 변환을 적용한 신호 압축 시스템이 개시되어 있다. 다중 해상도 계층적 서브밴드 표시를 이용한 신호 데이터의 표시는 'Burt et al. in IEEE Trans. on Commun., Vol Com-31, No. 4, April 1983, page 533'에 의해 개시되어 있다. 임계 샘플링되는 직교 미러 필터(quadrature-mirror filter, QMF) 서브밴드로서도 알려진, 웨이브렛 피라미드는 화상의 다중 해상도 계층적 서브밴드 표시의 구체적인 형태이다. 웨이브렛 피라미드는 Pentland et al. in Proc. Data Compression Conference Apr. 8-11, 1991, Snowbird, Utah.에 개시된다. QMF 서브밴드 피라미드는 "Subband Image Coding", J.W. Woods ed., Kluwer Academic Publishers, 1991. and I. Daubechies, Ten Lectures on Wavelets, society for Industrial and Applied Mathematics(SIAM): Philadephia, Pa., 1992.에 기재되어 있다.

계층적 서브밴드 분해로서도 알려진, 웨이브렛 변환은, 그러한 분해에 의해 소오스 화상의 계층적 다중 스케일 표시를 얻기 때문에 최근에는 저 비트율 화상 압축용으로 사용되고 있다. 웨이브렛 변환은 저 비트율 화상 부호화의 중요한 특징: 즉, 변환 계수의 중요 맵으로서도 알려진, 비제로 값의 위치를 가리키는 2진 맵 (웨이브렛 트리)의 부호화에 적용된다. 즉, 1 비트/펠(pel)의 비트율을 달성하기 위해,스칼라 양자화(scalar quantization)와 그 후의 엔트로피 부호화를 행하면, 양자화후 생기기 쉬운 심볼 즉, '제로 심볼'일 확률이 극단적으로 높다. 전형적으로, 중요 맵을 인코딩하는 데 비트 다발의 대부분이 소비된다. 중요 맵의 부호화를 크게 개선하면는데 기억 또는 전송에 앞서 가(??) 정보의 압축을 크게 개선할 수 있다.

본 과제를 달성하기 위해, 제로트리로 불리우는 새로운 구조가 개발되어 왔다. 웨이브렛 계수(wavelett coefficient)는, 만약 계수가 임계(T)이하의 크기를 가진다면, 주어진 T에 대하여 무의미한 것으로 간주된다. 제로트리는, 만약 성긴 스케일에서 웨이브렛 계수가 주어진 임계(T)에 대하여 무의미한 것이면, 보다 정교한 스케일에 동일한 공간적인 위치에서 동일한 방향성을 갖는 웨이브렛 계수 전체는 T에 대하여 무의미한 것이 되기 쉬운 가정에 기반을 둔 것이다. 경험적인 증거는 이러한 가정이 종종 사실임을 제안한다는 것이다.

특히, 계층적 서브밴드 시스템에서, 최고 주파수 서브밴드를 제외하고, 소정의 스케일에 모든 계수가 웨이브렛 트리로 불리우는 구조에 따라 동일한 방향의, 보다 정교한 스케일의 한 세트의 계수와 관련될 수 있다. 가장 성긴 스케일에서 계수는 부모 노드라 하고, 동일한 방향의 보다 정교한 다음 스케일의 유사한 방향성에서 동일한 공간적 또는 시간적 위치에 대응하는 모든 계수는 자식 노드라 한다. 소정의 부모 노드에 대해, 동일한 위치에 대응하는 동일한 방향의 보다 정교한 모든 계층의 모든 계수 세트는 자손이라 불리운다. 유사하게, 소정의 자식 노드에 대해, 동일한 위치에 대응하는 동일한 방향의 보다 성긴 모든 스케일의 계수 세트는 조상으로 불리운다. 최저 주파수 서브밴드를 제외하고, 모든 부모 노드는 네개의 자식 노드를 가진다. 최저 주파수 서브밴드에 대해, 부모-자식 관계는 각각의 부모 노드가 세개의 자식 노드를 가지는 것으로 정의된다.

노드는, 분해 스케일의 가장 성긴 레벨에서 가장 정교한 레벨순으로 스캔된다. 이것은 부모 및 그 부모와 동일한 스케일의 전체 서브밴드에서의 다른 부모가 노드 주사되었던 것과 동일한 스케일로 자식 노드가 스캐닝되지 않는 것을 의미한다. 이것은 이차원의 데이터 세트의 웨이브렛 변환의 계수에 의해 정의된 모든 웨이브렛 트리를 횡단하도록 실행된 서브 대역마다의 변형된 제1 폭의 형태이다.

계수가 중요한지의 여부를 결정하기 위해 임계 레벨이 주어지면, 노드는 1) 노드에서 계수가 중요하지 않는 크기를 가진다면, 2) 노드가 루트의 자손이 아니라면, 즉 노드를 보다 성긴 스케일으로부터 완전히 예기할 수 없다면, 그리고 3) 루트의 모든 자손이 중요하지 않는 것이라면 이 노드를 제로트리 루트(ZEROTREE ROOT)라 한다. ZEROTREE ROOT는, 보다 미세한 스케일의 계수의 비중요성을 완전히 예측할 수 있는 것을 표시하는 특별한 심볼로 부호화된다. 2진의 중요 맵을 효율적으로 부호화하기 위해, 네개의 심볼이 엔트로피 부호화된다. ZEROTREE ROOT, ISOLATED ZERO 및 두 개의 비제로 심볼 즉, POSITIVE 및 NEGATIVE SIGNIFICANT가 엔트로피 부호화된다.

본 명세서에서 참조용으로 인용하는 1995년 5월 2일에 발행된 미국 특허 제5,412,741은 고도의 압축으로 정보를 부호화하기 위한 장치 및 방법을 개시한다. 장치는 이전의 어떠한 기술보다 좀더 효율적인 방법으로 웨이브렛 계수의 ZEROTREE 부호화을 이용한다. 본 장치의 키는 스캐닝될 계수 지표의 리스트를 동적으로 발생하고, 동적으로 발생된 리스트가 부호화되어야만 하는 심볼에 대한 계수 지표만을 포함한다. 이것은 계수 지표의 스태틱(static) 리스트가 사용되고 각각의 계수가 a) 심볼을 부호화해야만 하거나 또는 b) 심볼을 완전히 예상할수 있는가의 여부를 알기 위해 개별적으로 검사되어야만 하는 종래 기술에 대해서 극적으로 개량되어 있다.

'741 특허에 개시된 장치는, 화상의 웨이브렛 변환을 형성하는 단계, 웨이브렛 계수의 ZEROTREE 맵 형성 단계, 변환의 가장 성긴 레벨로부터 초기 주요 리스트상의 중요한 계수 및 부모의 계수가 중요한 것으로 판단한 때, 주요 리스트에 계수 지표가 추가된 자식의 계수를 부호화하는 단계, 임계를 감소시키는 단계, 부호화된 계수의 정확성을 증가시키도록 중요한 계수값의 예상치를 정련하는 단계, 및 신규하고, 감소된 임계에 신규로 주요 리스트에 스캐닝하도록 다시 순환하는 단계를 포함하는 정보를 부호화하기 위한 방법을 사용한다.

반복 과정을 달성하기 위해, '741 특허의 방법은 서브밴드별 웨이브렛 트리를 스캐닝함으로써 달성된다. 즉, 모든 부모 노드가 코드화되고, 다음에 모든 자식, 다음에 모든 손자등이 비트 평면별로 부호화된다. 화상의 웨이브렛 트리 표현을 통하여 프로세스가 반복함에 따라서, 본 장치는 ZEROTREE 맵내에 네 개의 심볼중 하나를 코드화한다. 웨이브렛 트리가 처리되는 속도에서 어떠한 개선도 유익할 것이다.

그러므로, 더 효율적인 부호화 및 신속한 처리로 이끄는 웨이브렛 트리의 노드를 분류하고 부호화하는 개선된 방법에 대해 당 기술분야에 요구된다.

<발명의 요약>

본 발명은 웨이브렛에 기초한 부호화 기술에서 ZEROTREE를 부호화하는 장치 및 부수적인 방법이다. 특히, 본 발명은 ZEROTREE를 횡단하기 위한 제1 깊이패턴(depth first pattern)을 사용, 즉, 부모로부터 자식 및 손자 등에 까지, 트리의 각 가지를 완전히 횡단한다. 제1 깊이 트리 횡단 패턴은 트리의 계수를 양자화할 뿐아니라 양자화된 계수로 심볼을 지정한다. 추가적으로, 본 발명은 각각의 노드에 대한 3 개의 심볼: ZEROTREE ROOT, VALUED ZEROTREE ROOT, 및 VALUE 중 하나를 지정한다. 3 개의 심볼 및 효율적인 트리 횡단 패턴을 사용함으로써, 본 발명은 실질적으로 종래 기술보다 제로트리를 부호화하는데 더 효율적이다. 추가적으로, 본 개념은 또한 "벡터" 제로트리 의 부호화에 적용된다.

도 1은 본 발명의 화상 부호화기의 블럭도를 도시하는 도면.

도 2는 도 1에 도시된 부호화기의 부호화 방법을 예시하는 흐름도.

도 3은 웨이브렛 트리내 3 개의 스케일로 분해된 화상에 서브밴드의 부모-자식 의존을 개략적으로 예시하는 도면.

도 4는 서브샘플링된 화상의 3 세대의 부모-자식 관계를 도시하는 도면.

도 5는 웨이브렛 트리내 다양한 노드의 상호관계를 개략적으로 표시하는 도면.

도 6은 웨이브렛 트리의 웨이브렛 블럭 표시를 도시하는 도면.

도 7은 본 발명에 의해 실행된 양자화 루틴의 흐름도를 도시하는 도면.

도 8은 본 발명에 의해 실행된 심볼 지정 루틴의 흐름도를 도시하는 도면.

도 9는 벡터-웨이브렛 변환의 일실시예의 블럭도를 도시하는 도면.

도 10은 벡터-웨이브렛 변환의 또다른 실시예의 블럭도를 도시하는 도면.

도 11은 스칼라-웨이브렛 변환과, 이어서 행해지는 벡터 또는 객체 그룹화의 일실시예의 블럭도를 도시하는 도면.

도 12는 스칼라-웨이브렛 변환과, 이어서 행해지는 벡터 또는 객체 그룹화의 또 다른 실시예의 블럭도를 도시하는 도면.

도 13은 벡터 웨이브렛의 예를 도시하는 도면.

도 14는 벡터 부모-자식 관계를 도시하는 도면.

도 15는 객체 부모-자식 관계를 도시하는 도면.

도 16은 "웨이브렛 블럭"을 형성하기 위해 각 웨이브렛 트리의 계수 벡터의 재편성하는 도면.

도 1은 본 발명의 부호화기(100)의 블럭도를 도시하고 도 2는 도 1의 부호화기(100)의 동작의 흐름도 표시를 도시한다. 본 발명을 가장 잘 이해하기 위해, 독자는 본 발명의 이어지는 설명을 읽는 동안 도 1 및 2 둘 다를 동시에 참고해야 한다.

부호화기(100)는 웨이브렛 트리 생성기(104), 선택적인 웨이브렛 트리 재편기(108), 양자화기(110), 심볼 지정기(112) 및 엔트로피 부호화기(114)를 포함한다. 이러한 구성요소 각각은 직렬로 연결되어 포트(102)에서의 화상을 포트(116)에서의 부호화될 출력 화상으로 처리한다. 입력 화상은 화상 스캐너 또는 컴퓨터 그래픽 시스템으로부터 생성될 수 있기 때문에 전형적으로 픽셀화(디지털화)된 사진 화상이다. 그러나, 입력 화상은 비디오 부호화 시스템에 의해 비디오 화상의일련의 프레임 또는 생성된 움직임 보상된 잔상 프레임(a motion compensated residuals frame)일 수 있다. 일반적으로, 본 발명은 디지털화된 화상 또는 그 일부를 처리한다. 그래서, 일반적으로 동작 방법이 단계 202에서 "화상"의 입력, 즉, 2차원 데이터의 어떠한 형태의 입력으로 시작한다.

웨이브렛 트리 생성기(104)는 단계 204에서 웨이브렛 계층적 서브밴드 분해를 수행하여 입력 화상의 종래의 웨이브렛 트리 표시를 생성한다. 그러한 화상 분해를 실행하기 위해, 화상은 각각의 2차원에 2회의 서브샘플링(subsampling)를 이용하여 고 수평적-고 수직적(HH), 고 수평적-저 수직적(HL), 저 수평적-고 수직적(LH), 저 수평적-저 수직적(LL)인 주파수 서브밴드으로 분해된다. LL 서브밴드는 각각의 2차원으로 2회 서브샘플링되어, 한 세트의 HH, HL, LH 및 LL 서브밴드를 생성한다. 이러한 서브샘플링이 반복적으로 수행되어 3회의 서브샘플링이 사용되어진 도 3에 예시된 것과 같은 한 어레이의 서브밴드를 생성한다. 서브밴드간의 부모-자식 종속성은 부모 노드의 서브밴드에서 자식 노드의 스케일대역까지 지적하는 화살표로서 예시된다. 최저 주파수 서브밴드가 상단 좌측의 LL₃이고 최고 주파수 서브밴드가 하단 우측 HH₁에 있다. 이러한 예에서, 모든 자식 노드는 하나의 부모를 가진다. 서브밴드 분해의 상세한 논의가 J.M. Shapiro, "Embedded Image Coding Using Zerotrees of Wavelet Coefficients", IEEE Trans.on Signal Processing, Vol. 41, No. 12, pp. 3445-62, December 1993.에 기재되어 있다.

도 4는 서브샘플링된 화상의 3 세대에 걸친 부모-자식 관계를 도시한다. 1개의 부모 노드(400)는 4회의 서브샘플링, 즉, 각 2차원에서 2회의 서브샘플링된 화상의 동일 영역에 대응하는 4개의 자식 노드(402)를 가진다. 각각의 자식 노드(402)는 4회의 서브샘플링된 4개의 대응하는 다음 세대 자식 노드(404)를 가진다. 자식 및 손자에 부모 노드를 관계시키는 관계, 또는 데이터 구조가 웨이브렛 트리이다. 저-저 서브밴드에 각각의 펠(pel) 또는 픽셀이 그것과 관련된 트리를 가진다는 것을 주지하기 바란다. 그러나, 상호 취해진 저-저 서브밴드으로부터 연장하는 다수의 트리가 일반적으로 화상에 대한 "웨이브렛 트리"로서 당해 기술 분야에 논의된다. 본 명세서에서는 이와 같은 명명법에 따드도록 한다.

도 1 및 2에 도시된 바와 같이, 양자화기(110)는 단계 210에서 "제1 깊이" 패턴으로 웨이브렛 트리의 계수를 양자화한다. 제1 깊이 패턴은 종래 기술의 부호화 시스템이 모든 서브밴드를 횡단하는 변경된 제1 폭 패턴으로 웨이브렛 트리를 횡단한다는 점, 즉, 모든 부모 노드, 다음 모든 자식, 다음 모든 자손등을 양자화한다는 점에서 종래 기술의 부호화 시스템과는 매우 상이하다. 대조적으로, 본 발명의 방법이 "제1 깊이" 순서로, 즉, 자식을 통하는 순서로 저-저 서브밴드(LL₃) 내의 루트로부터 각각의 트리를 횡단한다. 도 5는 각각의 트리를 횡단하도록 사용된 제1 깊이 패턴을 도시한다. 예를 들어, 본 발명의 제1 깊이 프로세스는 LL₃의 노드 500에서 시작되고, 다음에 굵은 글씨로 표시된 경로를 통하여, 서브밴드 LH₃내의 노드 502에 이어서, 다음 서브밴드 LH₂내의 노드 504로 이어진다. 제1 깊이 횡단 프로세스는 노드 504로부터, 서브밴드 LH₁내 노드 506, 508, 510 및 512, 즉, 노드 504의 모든 자식으로 연속하여 이어지고, 다음 4 자식의 각 형제가 다음 형제 및 그 자식전에 횡단되는 504(514,524,534)의 형제를 향하여 이어진다. 일단 트리의 전체 가지를 횡단하면, 횡단 프로세스는 노드 500의 또 다른 자식 노드, 예를 들어, 노드 544로 계속된다. 그 노드로부터, 제1 깊이 횡단 프로세스는 노드 546, 548, 550, 552로 진행하고, 그 다음에 노드 556으로 진행한다.

각 가지를 횡단하면, 계수는 이산 값으로 양자화된다. 본 발명에서는 임의의 양자화 방법을 사용할 수 있다. 양자화 프로세스는 양의 값, 음의 값 또는 제로 값 중 어느 하나를 의미하는 이산 값에 대하여 연속하는 계수값을 맵핑한다. 요컨대, 제1 깊이 스캐닝 패턴에서, 자식 506, 508, 510 및 512가 그들의 부모 504 이후 및 이웃 부모 514, 524 및 534의 어떠한 것 전에 스캐닝된다. 이러한 방식으로, 소정의 공간적인 위치를 나타내는 모든 계수가, 다음 인접한 공간적인 위치의 계수가 스캐닝되기 전에, 부모 500로부터 자식 502으로 손자 504로의 주파수가 높게 되는 순서로 스캐닝된다.

비록 제1 깊이 스캐닝 패턴의 앞서 말한 설명이 "위로부터 아래로의(top down)" 패턴으로서 논의되어었지만, 제1 깊이 스캐닝 패턴은 또한 하단에서 비롯된 것으로부터 스캐닝을 포함한다. 그러한 것으로서, 양자화는 또한 트리의 "잎"(최하단 노드)에서 시작 및 트리까지 게속함으로써 수행될 수 있다. 도 5의 예를 이용하여, "하단에서 비롯된" 패턴에서, 노드 506, 508, 510 및 512를 양자화하고,다음 노드 504를 양자화하고, 다시 트리를 위로 이동하여 마지막으로 500을 양자화 한다. 일단 트리가 완성되면, 양자화 프로세스는 모든 트리에 있는 모든 노드가 양자화될 때 까지, 다른 트리, 및 또 다른 트리 등을 양자화한다. 아래에 게속 논의되어짐에 따라, 본 발명은 위로부터 아래로의 보다 하단에서 비롯된 패턴을 이용할 때 더 효율적으로 동작한다.

이러한 제1 깊이 스캐닝 패턴을 용이하게 하기 위해, 본 발명은 웨이브렛 트리의 양자 계수를 재편하여 "웨이브렛 블럭(wavelet block)"을 형성한다. 도 1 및 2에 도시된 바와 같이, 재편은 단계 206에서 양자화 이전에 웨이브렛 트리 재편성기(108)에서 실행된다.

도 6은 본 발명에 의해 생성된 웨이브렛 블럭(604)을 개략적으로 도시하는 도면이다. 본 발명은 웨이브렛 트리(602)의 저-저 대역(602, LL₃)에 픽셀(600)로부터 연장하는 트리(602)를 웨이브렛 블럭(604)으로 맵핑한다. 화상 프레임(608)의 각각의 웨이브렛 블럭(604)는 프레임내에 블럭의 공간적인 위치에서 프레임을 나타내는 모든 스케일 및 방향성에서 이러한 계수들을 포함한다. 재편성은, 계수의 메모리 위치를 웨이브렛 블럭을 형성하는 신규 메모리 위치에 실제로 재맵핑함으로써 실행된다. 그러한 것으로서, 소정의 웨이브렛 블럭의 모든 계수가 연속적인 어드레스 위치에 기억된다. 양자 택일로, 계수는 실제로 재배치되는 것이 아니라, 오히려 가상 메모리로 재맵핑된다. 그래서, 물리적 메모리의 인덱스가 작성되고, 여기서 인덱스 (가상 메모리)는 웨이브렛 블럭으로 재배치된 메모리 위치를 갖는다.항목으로의 각 접속에 대해, 항목으로의 어드레스가 계수가 기억되는 물리적 메모리 위치에 맵핑된다. 그래서, 가상 메모리 방법에 의해, 메모리내 계수를 물리적으로 재배열함이 없이 웨이브렛 블럭의 잇점을 활용할 수 있다.

제1 깊이 스캐닝 패턴을 사용함으로써, 각각의 웨이브 블럭의 계수를 양자화하기 위하여, 각각의 웨이브렛 블럭을 완전히 스캐닝하고 그 다음 블럭을 스캐닝하여, 이러한 동작을 반복한다. 예를 들어, 블럭(610)을 완전히 스캐닝하고, 다음 웨이브렛 블럭의 프레임을 통과하는 래스터 스캔 패턴(raster scan pattern)으로, 다음 블럭(612), 그 다음 블럭(614) 등을 완전히 스캐닝한다. 블럭의 순서가 래스터 스캔 패턴에서 되어져야만 하는 것이 아니라 애플리케이션에 따른 임의의 순서가 될 수 있다. 이것은 다른 객체 이전에 스캐닝되고 코드화되는 임의의 객체에 대응하는 객체-지향된 블럭을 포함한다. 전체 블럭이 연속적인 메모리 어드레스에 위치되기 때문에, 블럭이 소정의 블럭에 대한 제1 또는 최종 메모리 엔트리를 선택함으로써 및 오름 차순 및 내림 차순으로 모든 다른 어드레스를 접속함으로써 위로부터 아래로의 또는 하단에서 비롯된 패턴에서 용이하게 스캐닝될 수 있다.

중요하게, 그러한 재편성에 의해, 프레임 내의 공간적인 위치에 기초하여, 다른 양자화기 스케일을 각각의 웨이브렛 블록에 지정할 수 있다. 이것은 양자화기(110)가 특히 계수의 공간적인 위치에 대하여 및/또는 계수로 표시된 주파수 대역과 일치하여 지정되게 허용한다. 그러한 것으로서, 양자화기의 스케일은 화상을 통해 다르게 될 수 있어서 화상의 중심 또는 화상내의 임의의 객체는 가장자리보다 더 정확하게 양자화될 수 있다. 유사하게, 양자화기 스케일은 주파수 의존이 될수 있어서 보다 높은 주파수(또는, 물체에 대해, 보다 낮은 주파수, 중간 주파수, 다양한 주파수 대역 등)가 다른 주파수와 다른 스케일을 이용하여 양자화될 수 있다.

특정한 애플리케이션 예를 들면, 비디오 폰, 전경 객체(foreground object)(들), 즉, 호출기의 머리부 및 어깨부를, 배경 객체보다 더 정확하게 양자화용으로 선택한다. 따라서, 중요한 정보는 정확하게 코드화돠고 전송되는 반면, 배경 정보는 덜 정확하게 부호화된다. 웨이브렛 블럭의 사용은 전경 및 배경 정보의 용이한 두 갈래로 나눠진 부호화을 허용한다. 정확히 부호화될 수 있는 영역을 선택하면,본 발명은 정확한 부호화을 요구하는 블럭을 플래그 할 수 있다. 그러한 것으로서, 양자화기는 플래그되지 않은 블럭상에 사용되는 것보다 더 훌륭한 양자화 단계를 이용하며, 플래그된 블럭들을 양자화한다.

비록 웨이브렛 블럭이 발명의 구현에 대한 직감적인 데이터 구조를 형성하더라도, 웨이브렛 블럭의 사용이 본 발명 부호화기(100)의 구현에 반드시 필요한 것은 아니다. 하기에 논의된 바대로, 종래의 트리 구조는 본 발명의 개선된 트리 횡단 프로세스 및 개선된 부호화 기술과 관련하여 사용될 수 있다. 그러한 것으로서, 도 1 및 2는 양자화기를 개별적으로 바이패스하는 경로 106 및 경로 208 및 관련된 기술로서 양자화기의 선택적인 특성을 도시하는 도면이다.

양자화후에, 트리의 각각의 노드에서, 양자화된 계수는 제로 값이거나 비제로 값을 가진다. "ZEROTREE"는 노드에서 계수가 제로일 때 마다 존재하고 그것의 모든 자손은 ZEROTREE를 형성, 즉 모든 자손 노드가 제로값을 가진다. 웨이브렛트리의 양자화된 계수는 제1 깊이로 각각의 트리를 다시 스캐닝함으로써 효율적으로 부호화된다. 그래서, 심볼 지정기(112)는 단계 212에서 트리를 횡단 및 각각 노드의 자손의 양자화된 값 뿐만 아니라 노드의 양자화된 값에 좌우되는 각각의 노드에 특별 심볼을 지정함으로써 동작한다.

특별히, 각각의 노드에서, 본 발명의 방법은 3 개의 심볼:ZEROTREE ROOT, VALUED ZEROTREE ROOT 및 VALUE 중 하나를 지정한다. ZEROTREE ROOT는 제로트리의 루트인 계수를 나타낸다. 심볼이 지정되도록 하는 스캐닝 후에, 제로 트리는 트리내의 모든 계수가 제로값을 가지는 것으로 판단되는 이상 제로트리를 스캐닝할 필요는 없다. VALUED ZEROTREE ROOT는 계수가 비제로 값을 가지고 모든 4개의 자식이 ZEROTREE ROOT인 노드이다. 이러한 트리의 부호화 스캐닝은, 이러한 노드보다 아래로 진행하지 않는다. VALUE 심볼는, 트리를 따라 어딘가의 임의의 위치에서 비제로 값을 갖는 자손을 갖고, 제로 또는 비제로값을 갖는 계수를 식별하는 심볼이다.

트리를 가장 효율적으로 스캐닝하여 노드에 심볼을 양자화 및 지정하기 위해, 양자화기는 심볼 지정기와 관련하여 동작한다. 도 7은 제로트리의 계수를 양자화하도록 사용된 양자화 루틴(700)의 상세한 흐름도를 도시하고 도 8은 양자 계수 값을 나타내기 위해 심볼 값을 지정하는 심볼 지정 루틴(800)의 상세한 흐름도를 도시한다.

루틴(700)은 블럭(702)에서 시작하고 계수 값이 웨이브렛 트리에 노드로부터 추출되는 단계 704에 이어진다. 하기에 논의된 바와 같이, 양자화 루틴은 웨이브렛 트리를 하단에서 비롯된, 제1 깊이 패턴에 스캐닝한다. 그래서, 제1 어드레스는 항상 고 주파수 서브밴드에 있고, 루틴을 통해 각각의 반복으로, 루틴은 트리위로 점점 낮은 주파수 서브밴드으로 이어진다. 양자화된 값이 생성됨에 따라, 루틴은, 즉, 자식 노드의 양자화된 값이 값을 갖던가 제로인가를 기억하고 있다. 단계 706에서 루틴은 추출된 계수 값을 양의 값, 음의 값, 또는 제로 값으로 양자화한다. 단계 708에서, 단지 양자화된 계수 값과 관련된 노드에 대해 가(??) 심볼 값으로 마크 맵이 갱신된다. 마크 맵 심볼은 현재 노드의 값 뿐만 아니라 자식 노드의 값에 좌우한다. 스캐닝이 하단으로부터 비롯되어 수행되기 때문에, 마크 맵은 노드가 ZEROTREE ROOT인지의 여부를 현시점에서는 최종적으로 나타낼 수 없음을 주지하기 바란다. 따라서, 모든 노드에 가 심볼 값이 지정된 후, 트리는 다시 위로부터 아래로의 패턴으로 스캐닝되어 결론적으로 심볼 값을 지정한다. 마크 맵은 양자화 루틴(700)에 의해 채워진 웨이브렛 트리 노드의 항목이다. 마크 맵에 각 어드레스에서, 루틴은 가 심볼: 잠재적인 VALUE, VALUED ZEROTREE ROOT, 또는 잠재적인 ZEROTREE ROOT를 기억한다. 만약 양자 계수 값이 어떤 값을 갖는 경우, 그 계수에 대한 마크업 위치에는 잠재적인 VALUE 심볼이 마크된다. 만약 양자 계수 값이 제로 값이고 그 노드의 모든 자식이 제로 값이면, 마크 맵 위치는 잠재적 ZEROTREE ROOT로 마크된다. 마지막으로, 만약 양자화된 값이 값을 가지고 그의 자식이 모두 제로 값이면, 마크맵 위치는 잠재적 VALUE ZEROTREE ROOT가 마크된다.

단계 710에서, 루틴은 트리에 모든 노드가 양자화 되었는지의 여부를 묻는다. 만약 질문이 부정적으로 대답되면, 루틴은 트리에 신규(다음) 노드가 양자화용으로 선택되는 단계 712로 게속된다. 다음 루틴은 단계 704에 복귀한다. 만약 단계 710에서 질문이 긍적적으로 대답되면 루틴은 단계 714로 진행된다. 루틴은 단계 714에서 모든 트리가 양자화 되었는지의 여부를 묻는다. 만약 질문이 부정적으로 대답되면, 루틴은 단계 716에서 신규(다음) 트리 또는 양자화를 선택한다. 만약 단계 714에서 질문이 긍정적으로 대답되면, 루틴은 단계 718로 진행된다. 루틴(700)에 이 지점에서, 모든 트리에 모든 노드가 양자화되고 가 심볼로 지정된다. 단계 718에서, 루틴(700)은 도 8의 심볼 지정 루틴(800)을 부른다. 심볼이 지정된 후, 루틴(700)은 블럭에서 종료한다.

루틴(800)은 트리를 위로부터 아래로의 패턴, 즉, 루트에서 잎으로 스캐닝한다. 그러나, 모든 트리가 ZEROTREE ROOT 또는 잠재적 VALUED ZEROTREE ROOT의 각각의 생성에서 제거되기 때문에 루틴이 모든 노드를 접속할 필요는 없다. 특히, 루틴(800)은 단계 802에서 들어가서 단계 804로 진행한다. 단계 804에서, 루틴(800)은 양자화된 계수의 트리로부터 양자 계수를 추출한다. 단계 806에서, 루틴은 추출된 계수에 대응하는 마크 맵에 가 심볼을 추출한다. 루틴은 단계 808에서 가 심볼이 잠재적 ZEROTREE ROOT인지의 여부를 묻는다. 만약 질문이 긍정적으로 대답되면, 단계 810에서, 루틴은 노드에 ZEROTREE ROOT를 지정한다. 다음, 단계 812에서, 루트는 트리를 제거한다. 즉, 루틴은, 정의에 의해, 모든 노드가 제로 값을 가지기 때문에 이러한 제로트리 노드 아래의 모든 노드를 무시한다.

루틴이 단계 820에서 모든 노드가 선택되어 왔는지의 여부를 묻는다. 만약 질문이 부정적으로 대답되면, 루틴은 NO 경로를 따라 단계 814로 진행한다. 단계814에서, 루틴은 트리에 다음 노드를 선택하고, 제거된 어떠한 가지라도 지나친후, 위로부터 아래로의, 제1 깊이 스캐닝이 실행된다.

만약 질문이 단계 808에서 부정적으로 대답되면, 루틴은 NO 경로를 따라 단계 816으로 진행한다. 단계 816에서, 루틴은 마크맵이 잠재적 VALUED ZEROTREE ROOT의 잠재적 심볼을 포함한다. 만약 질문이 긍정적으로 대답되면, 단계 812에서, 루틴은 노드에 대해 잠재적 VALUED ZEROTREE ROOT 심볼을 지정하고, 비제로 값의 리스트상의 값을 취함 및 단계 824에서 트리를 제거한다. 루틴은 단계 820에서 모든 노드가 선택되어 왔는지의 여부를 묻는다. 만약 질문이 단계 820에서 부정적으로 대답되면, 루틴은 단계 814로 진행한다. 다음, 단계 814에서, 루틴은 심볼 지정, 제거된 가지의 스키핑(skipping)에 대해 다음 노드를 선택한다.

만약 질문이 단계 816에서 부정적으로 대답되면, 루틴은, 단계 818에서, 노드에 대한 값 심볼을 지정하고, 값 제로를 포함하는 값의 리스트상에 있는 값을 취한다. 루틴은 단계 820에서 모든 노드가 선택되어 왔는지의 여부를 묻는다. 만약, 질문이 단계 820에서 부정적으로 대답되면, 루틴은 단계 814로 진행한다. 다음에, 루틴은, 단계 814에서, 심볼 지정을 위한 다음 노드를 선택한다. 지정 루틴이 모든 노드가 그것들에 지정된 심볼을 가질때까지 계속한다. 그래서, 만약 질문이 단계 820에서 긍정적으로 대답되면, 루틴은, 루틴 800이 종료하거나 루틴 700으로 복귀하는, 단계 826으로 진행한다.

심볼 및 값을 예를 들면, 종래의 산술 부호화기와 같은 엔트로피 부호화기(114)를 이용하여 단계 214에서 부호화된다. 부호화을 수행하기 위한 하나의 가능한 방법이 다음과 같다. 심볼은 3 가지의 심볼 알파벳을 이용하여 부호화된다. VALUED ZEROTREE ROOT에 일 대 일 대응하는 리스트는 값 제로를 포함하지 않는 알파벳을 이용하여 부호화된다. VALUE 심볼에 일 대 일 대응하는, 잉여 계수는 값 제로를 포함하는 알파벳을 이용하여 부호화된다. 스캐닝에 도달되는 어떠한 노드에 대해, 어떠한 자식으로도, 어떠한 루트 심볼로도 적용할 수 없는 잎이 있다. 그러므로, 몇몇 비트는 이 노드에 대해 어떠한 심볼을 부호화하지 않음으로써 및 값 제로를 포함하는 알파벳을 이용하여 계수를 부호화하지 않음으로써 절약될 수 있다. 심볼에 대한 3 가지 심볼의 부호화 알파벳 및 값에 대한 다중-심볼 알파벳을 이용하여 예시하는 부호화기는 1987년 6월자 Witten et al., "Arithmetic Coding for Data Compression", Comm. of the ACM, Vol. 30, No. 6, pp. 520-540 에 개시된 것을 따른다. 사실상, 당해 기술분야의 통상의 지식을 가진 자는 본 발명의 지정된 심볼과 일치하여 계수의 값(또는 이러한 값의 표시)만을 간단하게 부호화 함으로써 변환될 수 있다는 것을 알 것이다. 즉, 계수의 중요성을 가리키는 심볼을 부호화 해야만 하는 것이 없이 단지 계수의 값만 부호화된다.

부호화기(100)는 단계 216에 포트 116에서 부호화된 출력 화상을 생성한다. 본 발명의 이용을 통해, 화상은 웨이브렛 트리의 각 노드 플러스(plus) 비트에서 3 개의 심볼 중 하나를 이용하여 신속하고 효율적으로 코드화되어 계수 값을 부호화한다.

본 발명의 다수의 대체 실시예는 본 발명의 부호화 수법을 화상 또는 비디오용 벡터 또는 객체 제로트리 부호화에 적용한다. 즉,웨이브렛 변환을 이용한, 본발명의 부호화 수법은 양자화된 웨이크렛 계수의 양자화 및 제로트리 엔트로피 부호화을 수반하는 벡터(또는 객체) 제로트리 부호화의 개념에 적용된다. 본 발명의 각각의 벡터 또는 객체 제로트리 부호화 실시예는 제로트리의 이용에 대한 벡터 또는 객체 접근을 구성하여 화상 또는 비디오 레지듀얼(residual)에 대한 웨이브렛 계수를 부호화한다. 각각의 웨이브렛 트리의 각 노드와 관련되어 단일 계수 보다는 오히려 하나의 리스트(벡터) 계수이다. 트리 노드가 스캐닝되고, 계수가 양자화되고, 심볼 엔트리는 벡터 제로트리 엔트로피 부호화으로 불리는 방법의 사용으로 모두 부호화된다.

다양한 벡터 또는 객체 제로트리 부호화 실시예가 2 개의 카테고리, 벡터(또는 객체) 그룹화에 의해 생성되는 스칼라-웨이브렛 변환, 또는 벡터 웨이브렛 변환에 의해 생성되는 벡터(또는 객체) 그룹화로 된다. 즉, 화상, 비디오 프레임, 또는 움직임 보상 비디오 레지듀얼은 먼저 변환된 스칼라-웨이브렛 또는 변환된 벡터-웨이브렛이다. 도 11-12는 스칼라-웨이브렛이 먼저 계산되고, 다음 웨이브렛 계수가 변환후 벡터 또는 객체로 그룹화되는 제1 카테고리를 예시하는 도면이다. 대조적으로, 도 9-10은 입력이 벡터로서 그룹화되고 벡터-웨이브렛 변환을 통해 이동되어, 벡터로서 출력을 생성하는, 제1 카테고리를 예시하는 도면이다. 두 경우에서, 결과는 웨이브렛 계수의 벡터 또는 객체 프레임으로서 보여질 수 있다.

간단하게, 본 발명(도 9 및 10)의 두 실시예에서, 벡터는 화상 또는 비디오 픽셀 또는 레지듀얼의 2차원 매트릭스의 고정된 타일(tiling)에 의해 정의되고 계산된 웨이브렛 변환은 벡터 웨이브렛 변환이다. 다음에, 벡터 양자화 또는 스칼라양자화가 벡터 제로트리 엔트로피 부호화으로 조합되어 부호화된 출력 화상을 생성한다.

본 발명(도 11 및 12)의 또 다른 4 가지의 실시예에서, 스칼라 웨이브렛 변환이 계산되고 벡터가 가장 성긴 스케일에서 웨이브렛 계수의 2차원 매트릭스의 고정된 기와로 정의되거나 또는 독단적인 크기 및 형태의 객체는 분류 알고리즘(즉 2 가지의 실시예를 생성)에 의해 결정된다. 교대로, 벡터 또는 객체는 벡터 제로트리 엔트로피 부호화과의 조합으로 양자화된 벡터이거나 양자화된 스칼라중 하나이어서 부호화된 출력 화상을 생성(즉, 총 4개 실시예에 대한 또 다른 두 실시예를 생성)한다. 벡터 웨이브렛의 한 형태는 1995년 2월자 W.Li and Y.-Q. Zhang, "Vector-Based Signal Processing and Quantization for Image and Video Compression", Proceedings of the IEEE, vol. 83, pp.317-335 에 개시된다.

도 13은 벡터 웨이브렛의 예를 예시하는 도면이다. 화상 또는 비디오 레지듀얼의 벡터 웨이브렛은 변환이고 그에 의해 화상 또는 비디오 레지듀얼의 인접 샘플링이 함께 그룹화되어 벡터를 형성하고 웨이브렛 변환이 이러한 벡터에 적용된다. 벡터 웨이브렛 변환이 다음의 단계: 공간적으로 오프셋 프레임-대표 신호의 다수의 서브샘플링된 프레임을 얻기 위해 프레임을 서브샘플링하는 단계; 웨이브렛 변환 계수-대표 신호의 다수의 대응하는 프레임을 얻기 위해 이산 웨이브렛 변환에 의해 각각의 서브샘플링된 프레임을 변환시키는 단계; 및 각 프레임의 계수-대표 신호의 대응하는 계수-대표 신호로부터 벡터-대표 신호를 형성하는 단계에 의해 연산된다.

즉, 프레임(입력 화상, 1302)이 2차원의 다상 구성요소로 분해된다. 각각의 다상 구성요소는 4개의 델타 함수 1304₁- 1304₄에 의해 예시된 바와 같이 원시 프레임의 공간적으로-오프셋된 프레임이다. 공간적으로-오프셋된 각각의 프레임은 4회의 서브샘플링, 즉, 서브샘플링기(1306)에 의해 각 2차원에서 2회의 서브샘플링로 부본화되어 다상의 구성요소를 생성한다. 교대로, 웨이브렛 변환(1308)이 각각의 다상 구성요소에 적용되고, 다음에 벡터가 변환 계수, 각 웨이브렛-변환된 구성요소로부터 하나를, 동일한 지표로, 함께 그룹화함으로써 형성된다. 이러한 방법으로, m × n 픽셀의 벡터는 m × n 계수(1310)의 벡터로 변환된다.

벡터 웨이브렛 변환은 또한 다수의 중복하는 프레임으로서 보여질 수 있고 각각의 벡터 또는 객체가 이러한 계수 모두가 동일한 항목을 공유하는 각각의 프레임으로부터 하나의 계수를 포함한다. 프레임 수는 벡터의 차원 또는 객체의 크기와 동일하다.

다양한 실시예가 도 9 -12를 참조하여 상세하게 논의된다. 더 구체적으로, 도 11-12는 벡터(또는 객체) 그룹화에 의해 따르는 스칼라-웨이브렛 변환을 적용하는 4 가지의 실시예를 예시하는 도면이다. 도 11 및 12의 부호화기는 많은 유사점을 공유하므로, 다양한 실시예가 숫자적인 표시의 사용을 통해 하기에 동시에 논의된다.

부호화기 1100(1200)는 웨이브렛 트리 생성기 1103(1203), 벡터 또는 객체 편성기 1104(1204), 선택적인 벡터/객체 웨이브렛 트리 재편기 1108(1208), 벡터양자화기 1110(양자화후 프로세서 1211), 심볼 지정기 1112(1212), 및 엔트로피 부호화기 1114(벡터 엔트로피 부호화기 1214)를 포함한다. 이러한 구성요소 각각은 직렬로 연결되어 포트 1102(1202)에서 화상을 포트 1116(1216)에서 부호화된 출려 화상로 처리한다.

웨이브렛 트리 생성기 1103(1203)는 웨이브렛 계층적 서브밴드 분해를 수행하여 상기에 논의된 바와 같이 입력 화상 1102(1202)의 종래의 웨이브렛 트리 표시를 생성한다. 교대로, 벡터 또는 객체 편성기 1104(1204)는 웨이브렛 변환의 저-저 대역에서 인접 계수의 고정된 그룹화에 의해 벡터를 규정한다. 객체는 구분 알고리즘를 저-저 대역의 웨이브렛 계수에 적용함으로써 규정된다. 구분은 완전하고 겹치지 않게 되는 것으로 가정한다. 그러므로, 저-저 대역에서 각각의 계수는 하나 및 단지 하나의 벡터 또는 객체에서 요소이다. 다양한 구분 알고리즘이,1991년 6월자 Media Arts and Science Section, Massachusetts Institute of Technology에 제출된 석사 논문인 Patrick Campbell McLean, in "Structured Video Coding", 또는 1994년 11월 14일자 미국 특허 출원 계류중인 제08/339,491에 의해 개시된 것과 같이, 본 발명에 적용될 수 있다.

도 14 -15를 참고하여, 업샘플링(upsampling)함으로써 벡터 1402 또는 객체 1502가 보다 높은 대역으로 확장되어 다음에 보다 정교한 스케일로 아웃 라인(1404)을 규정한다. 성긴 스케일에 동일 크기로 벡터 및/또는 객체를 유지하기 위해, 아웃 라인내의 각 벡터 또는 객체의 계수를 도 14-15에 예시된 바와 같이 4 개의 벡터(1406) 또는 객체(1506)으로 재그룹화된다. 보다 성긴 스케일에서 벡터 및 객체는 벡터 또는 객체 부모로 불리우고 다음의 보다 정교한 스케일에서 4 개의 벡터 또는 객체는 벡터 또는 객체 자식으로 불리운다. 4 개의 벡터/객체 자식은 4 개의 다상 성분 1408(1508)를 취함으로써 아웃 라인으로부터 추출된다. 이것은 아웃 라인의 쉬프트된 서브샘플링과 동등하다. 벡터 부모-자식 관계 및 객체 부모-자식 관계의 예가 도 14 및 15에 각각 도시된다. 이러한 관계는 벡터 또는 객체 웨이브렛 트리를 규정한다.

벡터 또는 객체 웨이브렛 트리는 이러한 벡터 또는 객체 웨이브렛 트리의 각각의 노드에서 단일 값 대신 벡터의 웨이브렛 계수인 것을 제외하고 스칼라 ZTE 부호화의 웨이브렛 트리와 유사하다. 상기 상술된 스칼라 ZTE 부호화에서 행해짐에 따라, 각 트리는 루트로부터 자식 또는 손자를 통해 저-저 대역에 제1 깊이로 횡단한다. 노드가 횡단됨에 따라, 계수는 현재 양자화 스펙에 따라 양자화된다. 이러한 양자화는 스칼라 양자화기(1210)에 의한 벡터의 스칼라 양자화로서 또는 벡터 양자화기(1110)에 의한 단일 벡터 양자화로서 행해질 수 있다. 다양한 벡터 양자화 기술이 Allen Gersho et al. in "Vector Quantization and Signal Compression", Kluwer Academic Pubrishers, (1992)에 개시된다.

상기 상술된 바와 같이 스칼라 ZTE 부호화과 유사하게, 도 16에 도시된 바와 같은 "웨이브렛 블럭"을 형성하기 위해 각 웨이브렛 트리의 계수 벡터를 재편하는 것은 유익하다. 제1 깊이 스캐닝 패턴을 용이하게 하기 위해, 본 발명은 "웨이브렛 블럭"(1604)을 형성도록 각 웨이브렛 트리의 양자 계수를 선택적으로 재편할 수 있다. 도 11 및 12에 도시된 발와 같이, 재편은 양자화전에 벡터/객체 웨이브렛트리 재편기 1108(1208)에서 실행된다. 재편화가 선택적이므로, 도 11 및 12 둘 다 재편기를 각각 바이패스하는 경로 1106 및 경로 1206으로서 및 그것의 관련된 기능으로서 재편기의 선택적인 특성을 도시하는 도면이다.

도 16은 본 발명에 의해 생성된 웨이브렛 블럭(1604)을 개략적으로 도시하는 도면이다. 프레임의 각 웨이브렛 블럭은 부모에서 자식 그리고 손자까지 상승적인 주파수 순서로 편성된 블럭의 공간적인 위치에서 프레임을 나타내는 모든 스케일 및 방향성에서 이러한 계수 벡터를 포함한다. 즉, 본 발명은 웨이브렛 트리(1602)에 저-저 대역 1606(LL₃)에서 벡터로부터 연장하는 트리(1602)를 웨이브렛 블럭(1604)으로 맵핑한다. 그러한 구조는 스칼라 양자화의 경우에 대해 양자화 요소, 또는 벡터 양자화의 경우에 대해 코드북을 허용하여, 블럭이 공간적으로 위치된 곳 및 블럭이 프레임에 표시하는 것에 따른 각 블럭에 적응시킨다.

제1 깊이 스캐닝 패턴을 사용함으로써, 각각의 웨이브렛 블럭이 완전히 스캐닝되어 다음 블럭이 스캐닝되기 전에 그것의 계수 벡터 등을 양자화한다. 예를 들어, 블럭 1610이, 다음 블럭 1612, 다음 블럭 1614등이, 웨이브렛 블럭의 프레임을 통해 래스터 스캔 패턴으로 완전히 스캐닝된다. 블럭의 순서는 래스터 스캔 패턴으로 되어야 하는 것이 아니라, 적용에 따라 원하는 바대로 어떠한 순서일 수 있다.

더욱이, 본 발명은 웨이브렛 계수의 벡터의 양자화를 수행하기 위한 두 가지의 명확한 방법을 제시한다. 양자화는 각 벡터의 각 요소 상에 스칼라 양자화로서수행될 수 있고, 또는 각 벡터 상의 벡터 양자화로서 수행될 수 있다. 각 트리의 각 노드에서, 심볼 지정기 1112(1212)는 심볼을 지정하여 그 노드에서 양자화된 벡터를 특성화한다. 심볼 및 양자화된 계수 값은 산술 부호화기와 같은, 엔트로피 부호화기 1114(1214)를 이용하여 모두 부호화된다.

어느 한쪽 형태의 양자화후에, 제로트리는 노드에서 계수 벡터가 제로 벡터 및 모든 자손이 제로트리인 어느 곳이든 존재한다. 웨이브렛 트리는 노드를 나타내도록 심볼을 지정함으로써 및 제로트리에서 트리를 제거함으로써 효율적으로 표시되고 부호화된다. 산술 부호화기는 부호화기에 의해 요구되는 단지 이러한 심볼 및 값에 대한 최소 수의 비트를 지정하도록 사용되어 웨이브렛 계수 벡터의 트리를 충실하게 재조성한다.

본 발명(도 12에 도시된 바와 같이)의 일실시예가 웨이브렛 계수의 벡터 요소의 스칼라 양자화를 이용한다. 양자화후에, 각 벡터는 제로 모두 또는 하나 이상의 비제로 값중 하나를 포함할 것이다. 벡터 제로트리는 트리의 모든 노드에서 제로 벡터인 곳에 존재한다. 벡터 ZEROTREE ROOT는 벡터 제로트리의 루트이다. 벡터 ZEROTREE ROOT에서 계수 벡터는 제로 벡터이고 벡터 ZEROTREE ROOT의 모든 자손은 그 자체가 벡터 ZEROTREE ROOT이다.

ZEROTREE ROOT는 웨이브렛 트리가 ZEROTREE ROOT에서 제거되므로 중요하고 그러므로 어떠한 비트도 완전히 제거되는 계수를 코드화하도록 요구되지 않는다. 그러므로, 부호화 효율을 증가시키기 위해, 가능한 한 양자화후에 제로트리를 그렇게 많이 가지는 것이 바람직하다. 하나의 방법이 "양자화후 프로세서" 1211(1010)를 적용하는 것으로 최종 재조성된 프레임에 단지 무시할만한 추가적인 왜곡을 일으키도록 그렇게 할 때 제로 벡터에 그것을 변화시키기 위한 노력으로 각 벡터의 몇몇 양자자 후 프로세스(도 10 및 12에 도시된 바와 같이)를 수행한다. 각 벡터의 크기를 계산할 수 있고 임의의 임계 이하일 때, 벡터는 제로로 세트되어 진다.

적절한 제로 벡터 위치에 대한 벡터를 강요하기 위한 제로벡터 요소의 양자화 및 양자자 후 프로세스 후에, 트리 노드의 스캐닝 및 분류는 스칼라 ZTE 부호화에서의 것과 유사한 방식으로 행해진다. 각각의 노드는 3 개의 심볼: "ZEROTREE ROOT", "VALUED ZEROTREE ROOT" 및 "VALUE" 중 하나가 지정된다. 이러한 심볼는, 노드가 벡터이고 제로 또는 비제로의 분류는 전체 벡터를 언급하는 것을 제외하고, 스칼라 ZTE 부호화으로서 동일한 의미를 가진다. 엔트로피 부호화기는 심볼 및 값의 테이블을 코드화하도록 사용된다. 값의 테이블은 스칼라 ZTE 부호화으로서 조성된다. 값을 엔트로피 코드화하기 위해 스칼라 엔트로피 부호화 대신에 벡터 엔트로피 부호화을 이용하는 것이 필요하다.

본 발명의 일실시예(도 11에 도시된 바와 같이)는 웨이브렛 계수의 벡터 양자화를 이용한다. 벡터 양자화(VQ)는 성숙한 필드이며 소정의 VQ의 다양한 형태가 사용될 수 있다. 상기 논의된 바와 같이, 재구성된 프레임의 변형을 현저하게 증가시키지 않도록 그렇게 할 때, ZEROTREE ROOT의 수를 증가시키는 것은 바람직하다. 이러한 결과를 달성하기 위해, VQ라는 형태의 데드 존(dead zone)을 포함하도록 적용될 수 있고 그에 의해 임의의 임계 이하의 크기를 갖는 벡터가 제로 벡터로서 재조성하는 항목에 맵핑된다.

벡터 양자화는 트리의 각 노드에서 벡터를 그 노드에 대한 최상의 제조성 벡터를 선택하는 벡터의 코드북에의 항목으로 대체한다. 벡터 양자화후, 트리 노드의 스캐닝 및 등급화는 스칼라 ZTE 부호화에서의 것과 유사한 방식으로 행해진다. 각각의 노드는 3 개의 심볼: "ZEROTREE ROOT", "VALUED ZEROTREE ROOT" 및 "VALUE" 중 하나가 지정된다. 이러한 심볼는, 노드가 지금 코드북으로 지표이고 제로 또는 비제로가 각 항목에 대한 코드북 엔트리를 언급하는 것을 제외하고, 스칼라 ZTE 부호화으로서 동일한 의미를 가진다. 엔트로피 부호화기는 심볼 및 지표의 테이블을 코드화하도록 사용된다. 지표의 테이블은 스칼라 ZTE 부호화으로서 조성된다.

도 9 및 10은 벡터 웨이브렛 변환을 사용하는 본 발명의 대안적인 실시예를 예시하는 도면이다. 다시, 도 9 및 10의 부호화기(900 및 1000)는 각각 도 11 및 12의 부호화기와 유사하므로, 디바이스 908-914는 논의하지 않는다. 이러한 디바이스가 각각 1108-1114 및 1208-1214의 것으로서 동일한 기능을 수행하므로, 이러한 디바이스의 설명은 상기 논의된 것과 동일시된다.

그러나, 부호화기(1100 및 1200)와는 달리, 부호화기(900 및 1000)는, 도 13을 참조하여 상기 논의된 바와 같이, 벡터 웨이브렛 트리 생성기 904(1004)와 관련하여 벡터 편성기 903(1003)를 적용한다. 벡터 웨이브렛 트리가 생성되고 난 후, 부호화기(900 및 1000)는 각각 부호화기(1100 및 100)와 유사하게 동작한다.

비록 벡터 또는 객체 웨이브렛 부호화이 제로트리 엔트로피(ZTE) 부호화 방법을 통합하지만, Embedded Zerotree Wavelet(EZW) 알고리즘과 같은 다른 부호화 방법으로 또한 구현될 수 있음을 당해 기술분야의 통상의 실시자는 알 수 있다.

본 발명의 기술을 통합하는 다양한 실시예가 본 명세서에 상세하게 보여지고 논의되었지만, 당해 기술분야의 통상의 실시자는 여전히 본 기술을 통합하는 다른 다양한 실시예를 용이하게 고안할 것이다.

Claims

부모-자식 관계로 편성된 다수의 노드를 갖는 웨이브렛 트리(wavelet tree)를 생성하도록, 웨이브렛 변환을 사용하여 입력 화상을 부호화하기 위한 방법에 있어서,

다수의 웨이브렛 계수의 각각에 1개의 노드가 대응하도록, 입력 화상에 대한 웨이브렛 트리를 생성하는 단계;

제1 깊이 패턴(depth first pattern)으로 상기 다수의 계수를 양자화하는 단계;

동일한 웨이브렛 트리 내의 계수의 양자화값에 기초하여, 상기 노드 각각에 심볼을 지정하는 단계; 및

상기 심볼을 부호화하는 단계

를 포함하는 것을 특징으로 하는 입력 화상을 부호화하기 위한 방법.
제1항에 있어서,

상기 제1 깊이 패턴이, 인접하는 부모 노드를 횡단하기 전에, 상기 부모 노드에서 시작하여 아래로 모든 자식 노드 및 상기 자식의 모든 자손 노드를 통과하도록 하는 톱-다운(top-down) 스캐닝 패턴으로 이루어진 것을 특징으로 하는 입력 화상을 부호화하기 위한 방법.
제1항에 있어서,

상기 제1 깊이 패턴이, 인접하는 자식 노드를 횡단하기 전에 상기 자식 노드에서 시작하여 위로 모든 부모 노드 및 상기 부모의 모든 조상 노드를 통과하도록 하는 바톰-업(bottom-up) 스캐닝 패턴으로 이루어진 것을 특징으로 하는 입력 화상을 부호화하기 위한 방법.
제1항에 있어서,

상기 심볼 지정 단계는, 각 노드에 적어도 ZEROTREE ROOT 심볼, VALUED ZEROTREE ROOT 심볼 또는 VALUE 심볼을 포함하는 심볼 중 1개의 심볼을 지정하는 것이고,

상기 ZEROTREE ROOT 심볼은 제로트리의 루트인 노드를 나타내고,

상기 VALUED ZEROTREE ROOT 심볼은 비제로 값을 갖고, 또한 모든 자손이 ZEROTREE ROOT인 노드를 나타내며,

상기 VALUE 심볼은 제로 또는 비제로 값을 갖고, 또한 비제로 값을 갖는 자손을 적어도 하나 갖는 노드를 나타내도록 한 것을 특징으로 하는 입력 화상을 부호화하기 위한 방법.
제4항에 있어서,

상기 심볼을 부호화하는 단계는, 상기 ZEROTREE ROOT 심볼이 지정된 노드에는 심볼만을 부호화하고,

상기 VALUED ZEROTREE ROOT 심볼이 지정된 노드에는, 심볼과 계수치를 부호화하며,

상기 VALUE 심볼이 지정된 노드에는, 심볼과 계수치를 부호화하도록 한 것을 특징으로 하는 입력 화상을 부호화하기 위한 방법.
제5항에 있어서,

상기 심볼 또는 계수치의 부호화 방법으로서 산술 부호화를 이용하고,

상기 VALUED ZEROTREE ROOT 심볼이 지정된 노드의 계수치는, 제로를 포함하지 않는 산술 부호화 모델을 사용하여 부호화되도록 한 것을 특징으로 하는 입력 화상을 부호화하기 위한 방법.
제4항 내지 제6항 중 어느 한 항에 있어서,

상기 웨이브렛 트리를 제거하는 단계를 더 포함하고,

상기 노드를 톱-다운 스캐닝 패턴으로 횡단하여, 상기 ZEROTREE ROOT 심볼 또는 상기 VALUED ZEROTREE ROOT 심볼을 갖는 각 노드를 제거하도록 한 것을 특징으로 하는 입력 화상을 부호화하기 위한 방법.
부모-자식 관계로 편성된 다수의 노드를 가지는 웨이브렛 트리를 생성하도록, 웨이브렛 변환을 사용하여 입력 화상을 부호화 하기 위한 장치에 있어서,

다수의 웨이브렛 계수 각각에 1개의 노드가 대응하도록, 입력 화상에 대한웨이브렛 트리를 생성하기 위한 웨이브렛 트리 발생 수단,

상기 웨이브렛 트리 발생 수단에 결합되어 있고, 제1 깊이 패턴으로 상기 다수의 계수를 양자화하기 위한 양자화 수단;

상기 양자화 수단에 결합되어 있고, 동일한 웨이브렛 트리 내의 계수의 양자화 값에 기초하여, 상기 노드 각각에 심볼을 지정하기 위한 심볼 지정 수단; 및

상기 심볼 지정 수단에 결합되어 있고, 상기 심볼을 부호화하기 위한 부호화수단

을 포함하는 것을 특징으로 하는 입력 화상을 부호화하기 위한 장치.
제8항에 있어서,

상기 심볼 지정 수단은, 각 노드에 적어도 ZEROTREE ROOT 심볼, VALUED ZEROTREE ROOT 심볼 또는 VALUE 심볼을 포함하는 심볼 중 하나의 심볼을 지정하는 것이고,

상기 ZEROTREE ROOT 심볼이 제로트리의 루트인 노드를 나타내며,

상기 VALUED ZEROTREE ROOT 심볼이 비제로값을 갖고, 또한 모든 자식이 ZEROTREE ROOT인 노드를 나타내고,

상기 VALUE 심볼이 제로 또는 비제로인 값을 갖고, 또한 비제로 값을 갖는 자손을 적어도 1개를 갖는 노드를 나타내도록 한 것을 특징으로 하는 입력 화상을 부호화하기 위한 장치.
제9항에 있어서,

상기 부호화 수단은, 상기 제로트리 루트 심볼이 지정된 노드에는, 심볼만을 부호화하고,

상기 VALUED ZEROTREE ROOT 심볼이 지정된 노드에는 심볼과 계수치를 부호화하고,

상기 VALUE 심볼이 지정된 노드에는, 심볼과 계수치를 부호화하도록 한 것을 특징으로 하는 입력 화상을 부호화하기 위한 장치.
제10항에 있어서,

상기 심볼 또는 계수치의 부호화 방법으로서 산술 부호화를 이용하고,

상기 VALUED ZEROTREE ROOT 심볼이 지정된 노드의 계수값은, 제로를 포함하지 않는 산술 부호화 모델을 사용하여 부호화되도록 한 것을 특징으로 하는 입력 화상을 부호화하기 위한 장치.
제9항 내지 제11항 중 어느 한 항에 있어서,

상기 웨이브렛 트리를 제거하는 수단을 더 포함하고,

상기 노드를 톱-다운 스캐닝으로 횡단하고, 상기 ZEROTREE ROOT 심볼 또는 상기 VALUED ZEROTREE ROOT 심볼을 갖는 각 노드를 제거하도록 한 것을 특징으로 하는 입력 화상을 부호화하기 위한 장치.
제1항 내지 제6항 중 어느 한 항에 있어서,

상기 웨이브렛 변환이 벡터 웨이브렛 트리를 생성하기 위한 벡터 웨이브렛 변환이고, 상기 복수의 계수 각각이 상기 벡터 웨이브렛 트리의 노드에 대응하는 계수 쌍이도록 한 것을 특징으로 하는 입력 화상을 부호화하기 위한 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,

상기 웨이브렛 트리 생성하는 단계후에, 인접하는 계수를 다수의 벡터로 편성하는 단계를 더 포함하는 것을 특징으로 하는 입력 화상을 부호화하기 위한 방법.